JP2003333590A - 現場の画像生成システム - Google Patents

Abstract

(57)【要約】 【課題】 建設作業現場の３次元形状を把握して、丁張
りと現況出来形との関係や走行可能範囲や危険範囲など
を、建機オペレータに的確に知らせる。 【解決手段】 複数のカメラ２からなるステレオカメラ
３を備えた、複数のカメラポール１がそれぞれ異なる場
所に配置され、各カメラ２が建設作業現場の建設作業現
場５を撮影する。各ステレオカメラ３は、撮影画像をス
テレオ処理して距離画像を得る。各ステレオカメラ３か
ら距離画像を取得したホスト装置４が、距離画像を統合
して建設作業現場５の３次元モデルデータを生成する。
建機６のオペレータは、運転席からホスト装置４に対し
て任意の仮想視点９−１、９−２、９−３又は９−４を
指定する。ホスト装置４は、指定された仮想視点から建
設作業現場５を見た画像を、上記３次元モデルデータに
基づいて描き、それを建機６に送って運転席に表示させ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば建設機械な
どの作業車両の乗員等のオペレータや現場作業員や監督
者などに、現場を任意の仮想視点から観察した画像を提
供するための画像処理技術に関する。

【０００２】

【従来の技術】例えば土木工事の施工現場においては、
現在、建設機械（以下、建機と略称する）のオペレータ
は丁張り（地面上に立てられた、木棒等で作られた、土
地等の出来形を指示するための十字架形やその他規定形
状のガイド）に基づいて施工を行っているが、実際の出
来形が丁張りに対してどの様になっているか、建機のオ
ペレータ席から正確に把握することは出来ない。そこ
で、建機オペレータを誘導する作業員を導入したり、建
機オペレータが席から降りて現況と丁張りの関係を確認
したりしているので作業効率が悪い。

【０００３】自動車では、例えば特開2001-339716号の
様に、車両に搭載したカメラで撮影した画像を用い、仮
想的に視点位置をダイナミックに変更して、車内の表示
装置に運転状況に応じて車両周辺の最適な合成画像を表
示することができる車両周辺監視装置及び方法が開示さ
れている。この仮想視点の技術を、建機にも応用するこ
とによって施工作業の効率化が期待される。

【０００４】

【発明が解決しようとする課題】しかしながら、特開20
01-339716号に記載のものをそのまま建機に適用して
も、建機搭載のカメラからの画像を用いるため、建機を
中心とした視点から建機周辺の現場領域を眺めた様子し
か把握することしかできない。また、建機が移動する範
囲内での現場の様子しか把握できず、現場全体の状況を
精度良く把握することができない。そのため、丁張りと
現況出来形との関係や走行可能範囲や危険範囲などとい
った、建機オペレータや現場作業員や監督者などが知り
たい現場全体の現況を、的確にそれらの関係者に知らせ
ることが困難である。

【０００５】そこで、本発明の目的は、現場全体の現況
を把握して的確に関係者に知らせるためのシステムを提
供することである。

【０００６】

【課題を解決するための手段】本発明の一つの実施形態
に従う現場の画像生成システムは、現場をその現場の所
定の異なる場所から眺めた複数の画像を入力する画像入
力手段と、所望の仮想視点を指定する視点指定手段と、
前記現場の複数の画像を用いて、前記指定された仮想視
点から前記現場を眺めた画像を生成する画像生成手段と
を備える。

【０００７】好適な実施形態では、前記画像生成手段
は、前記現場の３次元モデルデータを生成する３次元モ
デリング手段を更に有する。

【０００８】好適な実施形態では、現場を観察できる異
なる場所に配置された複数台のステレオカメラを備え、
前記画像生成手段は、前記複数台のステレオカメラが撮
影した画像を用いて、前記指定された仮想視点から前記
現場を眺めた画像を生成する。

【０００９】好適な実施形態では、また、前記ステレオ
カメラの各々は、上下方向に一列に並んだ複数のカメラ
を有したポール形のものである。

【００１０】好適な実施形態では、また、前記画像入力
手段は、前記現場の複数の動画像を入力し、前記画像生
成手段は、前記入力された複数の動画像を用いて、前記
指定された仮想視点から前記現場を眺めた動画像を生成
する。

【００１１】好適な実施形態では、また、前記現場にお
ける丁張り等の特定物の３次元位置を検出する特定物検
出手段を更に備え、前記画像生成手段は、前記現場を眺
めた画像を生成するとき、前記検出された特定物の３次
元位置に基づいて、前記生成した画像に、前記特定物を
示すための表示を含める。

【００１２】好適な実施形態では、また、前記視点指定
手段と前記表示手段は、前記現場で作業する作業車両に
搭載されている。

【００１３】好適な実施形態では、また、前記視点指定
手段は、指定された１以上の仮想視点を登録する視点登
録手段と、登録されている１以上の仮想視点の中から所
望の仮想視点を選択する視点選択手段とを有し、前記画
像生成手段は、前記視点選択手段によって仮想視点が或
る値から別の値へと切り替えられると、これに直ちに応
答して、画像を生成するときの仮想視点を切り替える。

【００１４】

【発明の実施の形態】以下、本発明を適用した実施形態
に係る作業車両のための現場画像生成システムについ
て、図面を用いて説明する。

【００１５】図１は、本発明の第１の実施形態に係る現
場画像生成システムにおいて建設作業現場に設置された
カメラの配置などを示す図である。

【００１６】本システムは、複数（ここでは３本）のカ
メラポール１を有し、各カメラポール１は、建設作業現
場５を撮影するために、それぞれ異なる位置に配置され
ている。各カメラポール１は、地面に固定することもで
きるし、車両などに搭載して、移動可能とすることもで
きる。各カメラポール１が配置される位置は、建設作業
現場５全体を撮影するために、死角ができないような位
置に配置され、その三次元座標は予め計測されている。
カメラポール１の本数は、必ずしも３本である必要は無
い。

【００１７】各カメラポール１は、所定の異なる相対位
置に配置された複数（ここでは５台）の動画カメラ２
（例えば、ビデオカメラ）を組み合わてなるステレオカ
メラ３を有する。１つのステレオカメラ３に含まれる５
台のカメラ２は、高さ方向に一列に並んでいるが、必ず
しもそうでなければならないわけではなく、例えばサイ
コロの５の目のように並んでいても、或いは、他の配置
であってもよく、さらに、カメラ２の台数も５台である
必要は無く、２台以上であれば５台より多くても少なく
てもよい。そして、各カメラポール１のすべてのカメラ
２が、建設作業現場の建設作業現場５を同時に撮影す
る。各カメラポール１からの５本の動画像から、後述す
るように、それぞれ距離画像が独立して生成され、それ
らの距離画像から建設作業現場５の動的な３次元モデル
が合成されることになる。

【００１８】建設作業現場５には複数箇所に丁張り７が
打ってあり、建設機械（以下、建機という）６が丁張り
７に従って所定の作業を行っている。ここで、図中、丁
張り７を結んでいる点線８は、丁張り７によって指示さ
れる土地の出来形を表した仮想的な設計線である。建機
６のオペレータは、丁張り７の示す設計線８に土地形状
が合うように作業を行なうことになるから、作業中随時
に丁張り７と実際の地形との関係を確認する必要があ
る。また、安全かつ効率的に作業を進めるために、オペ
レータは、随時に建設作業現場５の地形を観察して、危
険領域や走行可能領域なども把握する必要がある。

【００１９】それを可能にするために、後に詳述するよ
うに、建機６の運転室にはジョイスティックのような操
作装置とディスプレイ装置をもった情報端末が備え付け
られている。そして、オペレータは運転席上で操作装置
を操作することで任意の仮想視点（視点の位置と視線の
方向を含み、以下、纏めて視点パラメータという）を指
定することができ、また、予め任意の複数の視点パラメ
ータを登録しておいて、その中から所望の視点パラメー
タを選択することもできる。建機６とは別の場所に設置
された（又は建機６に搭載された）ホストコンピュータ
が、ステレオカメラ３からの動画像を用いて建設作業現
場５の動的な３次元モデルデータを生成し、その動的な
３次元モデルデータを用いて、オペレータの望む視点パ
ラメータで建設作業現場５を眺めたときの動画像を作成
して、その動画像を建機６の運転室の情報端末へ送って
そのディスプレイ装置に表示する。オペレータは、その
動作画像を見て施工状態の確認を行う。

【００２０】建機６は、それぞれ、ステレオカメラ３か
ら視認できる所定場所（ここでは運転席の屋根上の所定
位置）に特定形状（ここでは球形）のマーカ６１、６２
を複数（ここでは２つ）備える。マーカ６１および６２
は、例えば、互いに異なる色が着色されていて、カメラ
２で撮影した画像から画像処理によって識別可能であ
る。このマーカペアは、後述するように、建機６の位置
および向きを検出するときに利用される。

【００２１】次に、本システムの機能構成について、図
２〜図５を用いて説明する。

【００２２】図２は、本システムの概略的な動作の流れ
を示す。

【００２３】図２に示すように、ステップ１００で、複
数のステレオカメラ３によって建設作業現場５の地形情
報（距離画像）が収集される。ステップ１１０で、複数
のステレオカメラ３からの地形情報が合成されて建設作
業現場５の動的な３次元モデルデータが生成される。ス
テップ１２０で、予め登録されている複数の視点パラメ
ータの中からオペレータ所望の視点パラメータが指定さ
れる。ステップ１３０で、指定された視点パラメータで
建設作業現場５を眺めた動画像が、上記動的な３次元モ
デルデータから生成される。ステップ１４０で、その動
画像が建機運転室内のディスプレイ装置に表示される。

【００２４】視点パラメータの指定は、建機運転室内の
ジョイスティックなどの操作装置を操作することで行な
われ、上述したように予め登録された複数の視点パラメ
ータの中から選択するだけでなく、視点パラメータを自
由に動かして好きな視点パラメータを指定することもで
きる。通常、作業の開始時に、ステップ１５０で、オペ
レータは視点パラメータを適当に変えながらその視点パ
ラメータでの画像を観察することで、丁張りと土地との
関係或いは地形の状態等が都合良く把握できる適切な視
点パラメータ(視点位置と視線方向)を探す。そして、ス
テップ１６０で、見つかった適切な視点パラメータの各
々を車載の上記情報端末又は上記ホストコンピュータに
登録する。この方法で複数の視点パラメータを登録する
ことができる。例えば、図１に例示するように、丁張り
７の示す仮想設計線８の高さでそれに直交する方向から
水平に眺めた（つまり、現場５の断面図が表示されるよ
うな）視点パラメータ９−１、９−２、９−３や、上空
から鉛直に見下ろした（つまり、現場５の平面図が表示
されるような）視点パラメータ９−４などを、見つけて
登録することができる。一旦１以上の視点パラメータが
登録されると、以後、上述したステップ１２０〜１４０
によって、その登録された視点パラメータをオペレータ
が選択するだけで、いちいち視点パラメータをマニュア
ルで変化させ調整しなくても、システムは直ちにその選
択された視点パラメータで建設作業現場５を眺めた画像
を生成して、ディスプレイ装置に表示する。登録された
視点パラメータの変更や削除や追加は自由である。

【００２５】図３は、本システムの全体の機能構成を示
す図である。本システムは、各カメラポール１に設置さ
れたステレオカメラ３と、各ステレオカメラ３で合成さ
れた距離画像を統合して建設作業現場５の３次元モデル
を求めるホスト装置４と、建設機械６の運転席に搭載さ
れた情報端末２００を備える。

【００２６】各ステレオカメラ３は、それぞれ、５台の
カメラ２と、その５台のカメラ２が撮影した輝度動画像
を用いてステレオ画像処理法により距離動画像を生成す
る画像処理部３１と、画像処理部３１の処理結果をホス
ト装置４へ無線で送信する無線送受信部３２とを備え
る。（なお、この実施形態では、各ステレオカメラ３に
おいて距離動画像を生成してホスト装置４へ送信し、ホ
スト装置４にて、集まった複数の距離動画像から建設作
業現場５の３次元モデルを生成するようになっている
が、必ずしもそうでなければならないわけではない。他
の方式、例えば、各ステレオカメラ３では複雑な画像処
理は行なわずに、５台のカメラ２の輝度動画像をホスト
装置４へ送信し、ホスト装置４にて、ステレオ画像処理
法でステレオカメラ３毎の距離動画像を生成し、更に、
それらの距離動画像から３次元モデルを生成するように
してもよい。このようなステレオカメラ３とホスト装置
４の処理分担には、様々なバリエーションが採用し得る
から、以下の説明は一つの例示にすぎない。）

【００２７】各ステレオカメラ３毎の画像処理部３１の
詳細な機能構成を図４に示す。

【００２８】画像処理部３１は、建機位置認識部３３
と、ステレオ処理部３４と、座標変換処理部３５とを備
える。

【００２９】ここで、ステレオ画像処理を行って距離画
像を得るために、１つのステレオカメラ３に含まれる５
台のカメラ２のうち１台を基準カメラ２ａとし、残りの
４台を比較カメラ２ｂとする。そして、基準カメラ２ａ
と比較カメラ２ｂの各々とで一つのカメラペアを構成す
る。すなわち、本実施形態では４つのカメラペアが構成
される。

【００３０】ステレオ処理部３４は、基準カメラ２ａお
よび比較カメラ２ｂが撮影したそれぞれの画像のノイズ
を除去し且つエッジを強調するためのＬｏＧ（ラプラシ
アン・オブ・ガウシアン）処理部３４１と、各カメラペ
アごとに、基準カメラ２ａからの画像（以下、基準画像
という）とそれぞれの比較カメラ２ｂからの画像（以
下、比較画像という）との間で、パターンマッチングを
行ってＳＡＤ（Sum of Absolute Distance）を計算する
ＳＡＤ処理部３４２と、４つのカメラペアのＳＡＤを合
計するＳＳＡＤ（Sum of SAD）処理部３４３と、距離画
像を合成する距離画像合成部３４４とを備える。

【００３１】各ＬｏＧ処理部３４１が、各カメラ２から
の画像にそれぞれＬｏＧ処理を施すと、異なるカメラ間
の画質の差を小さくすることができる。その結果、引き
続く異なるカメラの画像間のでパターンマッチング処理
を精度の良いものにすることができる。

【００３２】各ＳＡＤ処理部３４２およびＳＳＡＤ処理
部３４３は、例えば、以下のような手順で処理を行い、
いわゆる対応点探索を行う。

【００３３】(1) 基準画像内から、距離計測のターゲ
ットとなる一つの画素を選ぶ。このターゲット画素に対
応する建設作業現場内の物体までの距離として、或る距
離を仮定する。そして、その仮定された距離だけ離れた
建設作業現場空間中の座標点に対応する各比較画像内の
画素（以下「対応候補画素」という）の位置を求める。

【００３４】(2) 基準画像内に、ターゲット画素の位
置を中心とする例えば３画素×３画素というサイズのマ
ッチングウィンドウ（画素ブロック）（以下、「参照ウ
ィンドウ」という）を設定する。各比較画像内にも、対
応候補画素の位置を中心とする同サイズのマッチングウ
インドウ(以下「比較ウィンドウ」という)を設定する。

【００３５】(3) 個々のカメラペア毎に、基準画像上
の参照ウインドウ内の各画素の画素値と、比較画像上の
比較ウィンドウ内の対応する各画素の画素値とを比較
し、画素間の「相違度」を求める。なお、前記「相違度」と
しては、画素値間の差の絶対値、あるいは、画素値間の
差の二乗などを用いる。

【００３６】(4) 参照ウインドウ内の全画素について
上記「相違度」を求め、それら「相違度」を参照ウイン
ドウ内の全画素について合計（以下、ウインドウ加算と
いう）して、「ウインドウ加算した相違度」をカメラペア
毎に求める。この「ウインドウ加算した相違度」が「ＳＡ
Ｄ」である。

【００３７】ＳＳＡＤ処理部３４３は、各ＳＡＤ処理部
３４２からの各カメラペアの「ＳＡＤ」を取得し、そし
て、集まった４つのカメラペアの「ＳＡＤ」を合計し
て、「相違度の最終合計」を求める。この「相違度の最終
合計」が「ＳＳＡＤ」である。

【００３８】各ＳＡＤ処理部３４２は、ターゲット画素
に対応する建設作業現場内の物体までの距離として、他
に複数個の距離を更に仮定し、それらの距離の各々につ
いても、上述した処理により「ＳＡＤ」を求め、これに
対応して、ＳＳＡＤ処理部３４３が上述した処理を行な
って、各々の距離について「ＳＳＡＤ」を求める。そし
て、ＳＳＡＤ処理部３４３は「ＳＳＡＤ」が最小となる一
つの仮定距離を、ターゲット画素に対応する物体までの
距離として推定し、ターゲット画素および推定距離を距
離画像合成部３４４へ出力する。

【００３９】ここで、「ＳＳＡＤ」が最小となるというこ
とは、基準画像の参照ウインドウ内の画像パターンと、
比較画像の比較ウィンドウ内の画像パターンとが最も良
く類似するということを意味している。

【００４０】そして、基準画像内の全画素をターゲット
画素として上記のような処理を行って距離を推定し、距
離画像合成部３４４がこれを蓄積することにより、基準
画像に対応した距離画像が得られる。

【００４１】なお、本実施形態では、建機６の動きを実
時間で把握するために、各カメラ２は基本的に動画カメ
ラ(例えば、ビデオカメラ)であり、動画カメラ２から出
力される各時点のフレーム画像毎に対応点探索が行なわ
れる。その結果としてステレオ処理部３４から出力され
る画像も、各時点のフレーム画像が距離画像であるよう
な動画像である。

【００４２】上記の対応点探索をステレオカメラ３ごと
に行なうことで、各ステレオカメラ３ごとに距離画像が
得られるが、各ステレオカメラ３の距離画像から得られ
る対象領域５の３次元座標値（つまり、画像内の画素の
ｘ、ｙ座標値と、画素値が示す距離値（ｚ座標値））
は、そのステレオカメラ３の配置場所と方向を基準にし
たカメラ座標系で表現されたものである。従って、座標
変換処理部３５は、各ステレオカメラ３の距離画像から
得られる各カメラ座標系の座標値を、所定の共通の基準
座標系に変換する処理を行う。

【００４３】なお、座標変換処理を行なうための具体的
な装置として、例えば特開２００２−３２７４４号に開
示された装置を応用することができる。

【００４４】建機位置認識部３３は、基準カメラからの
画像中の建機に付けられたマーカを検出するマーカ座標
検出部３３１と、カメラポール１からマーカまでの距離
を決定するマーカ距離決定部３３２とを備える。

【００４５】マーカ座標検出部３３１は、５台のカメラ
２のうちの一つ、例えば基準カメラ２ａから基準画像を
受け付ける。画像上では、建機６に取り付けられた各マ
ーカ６１，６２は、それぞれ円として写っているので、
パターン認識によってそれを抽出し、各マーカ６１，６
２の基準画像上のｘ、ｙ座標値を決定する。

【００４６】マーカ距離決定部３３２は、距離画像合成
部３４４によって合成された基準画像に対応する距離画
像から、マーカ座標検出部３３１により検出された各マ
ーカ６１，６２のｘ、ｙ座標に対応するｚ座標値を求
め、カメラポール１からマーカ６１，６２までの距離を
求める。

【００４７】マーカ距離決定部３３２は、基準画像上で
の各マーカ６１，６２の座標値とカメラポール１から各
マーカ６１，６２までの距離を座標変換処理部３５へ通
知する。座標変換処理部３５は、距離画像の変換と同様
に、各マーカの位置を示す３次元座標値（画像内の画素
のｘ、ｙ座標値と、マーカまでの距離値（ｚ座標値））
を、所定の共通の基準座標系に変換する処理を行う。

【００４８】座標変換処理部３５は、各マーカの３次元
座標値および距離画像を無線送受信部３２へ渡し、無線
送受信部３２がホスト装置４へ送信する。（なお、変形
例として、座標変換処理部３５はホスト装置４に設け、
座標変換前のカメラ座標系のマーカ座標値および距離画
像を、各ステレオカメラ３からホスト装置４へ送信する
ようにしてもよい。）

【００４９】次に、図３に戻り、ホスト装置４及び建機
６の情報端末２００について説明する。

【００５０】ホスト装置４は、例えば汎用的なコンピュ
ータシステムにより構成され、以下に説明するホスト装
置４内の個々の構成要素または機能は、例えば、コンピ
ュータプログラムを実行することにより実現される。

【００５１】ホスト装置４は、その内部機能として、ス
テレオカメラ３からの無線信号を受信する無線送受信部
４１と、複数のステレオカメラ３からのマーカの３次元
座標値に基づいて、個々の建機の位置及び方向を検出す
る建機検出部４２と、複数のステレオカメラ３からの距
離画像を統計処理して建設作業現場の地形の３次元モデ
ルデータを生成する地形生成部４３と、建機の位置及び
方向を示すデータと地形の３次元モデルデータをＧＩＳ
（Geographic Information System）データとして記憶
するためのＧＩＳデータ記憶部４４とを備える。更に、
ホスト装置４は、ＧＩＳデータ記憶部４４内の地形の３
次元モデルデータの中から丁張りの部分を検出する丁張
り検出部４５と、ＧＩＳデータ記憶部４４内の建機の位
置及び方向を示すデータ及び地形の３次元モデルデータ
を用いて、オペレータ所望の視点パラメータで建設作業
現場５を見た画像を作成するレンダリング部４６と、建
機の情報端末２００と無線で通信し、視点パラメータの
指定などの情報を情報端末２００から受信したり、レン
ダリング部４６からの画像をの情報端末２００へ送信し
たりする無線送受信部４７とを備える。

【００５２】また、建機の情報端末２００も、例えば汎
用的なコンピュータシステムにより構成される。情報端
末２００は、オペレータが視点パラメータの変更や登録
や選択を行なうための視点操作部２０１と、表示された
建設作業現場画像中からオペレータが丁張りの部分を指
定するための丁張り指定部２０２と、ホスト装置４から
の建設作業現場画像を表示するためのディスプレイ装置
２０３と、ホスト装置４と無線で通信して、視点操作部
２０１から視点パラメータの情報及び丁張り指定部２０
２からの丁張り指定の情報をホスト装置４へ送信した
り、ホスト装置４から建設作業現場画像を受信したりす
る無線送受信部２０４とを備える。

【００５３】図５は、ホスト装置４の建機検出部４２お
よび地形生成部４３の詳細な構成を示す。

【００５４】図５に示すように、建機検出部４２は、３
つのステレオカメラ３がそれぞれ推定したマーカの位置
に基づいて、個々の建機に対応したマーカのペアを識別
し、そのマーカペアの位置から建機の位置および方向を
決定する建機位置決定部４２１と、地形の３次元モデル
中から個々の建機の３次元モデルを認識する建機認識部
４２２と、個々の建機の３次元モデルの特徴パターンを
記憶した建機パターン記憶部４２３とを備える。

【００５５】建機位置決定部４２１は、例えば、３つの
ステレオカメラ３によって推定された各マーカの３次元
座標値に、所定の統計的処理（例えば、３つのステレオ
カメラ３からの座標値の平均値を求める、３つのステレ
オカメラ３からの座標値の多数決をとる、或いは、３つ
のステレオカメラ３からの座標値のうち最も信頼性の高
い値を選ぶ、など）を施して、各マーカの最終的な位置
座標値を決定する。そして、位置の確定した複数のマー
カを、相互位置関係が所定の関係になっているペアのマ
ーカに分類することで、個々の建機に取り付けられたペ
アのマーカ６１，６２を検出し、そのペアのマーカペア
６１，６２の代表的な位置をその建機の位置とし、そし
て、そのペアのマーカ６１，６２の配列方向に基づいて
その建機の方向を決定する。この位置と方向の決定を、
全ての建機（つまり、全てのペアのマーカ）について行
なう。

【００５６】建機認識部４２２は、建機位置決定部４２
１からの個々の建機の位置および方向と、建機パターン
記憶部４２３に蓄積されている様々な機種の建機の３次
元特徴パターンとを用いて、後述する距離画像統合処理
部４３１が作成した地形の３次元モデルデータの中か
ら、個々の建機に対応する３次元モデル部分を抽出す
る。例えば、地形の３次元モデルデータの中から、建機
位置決定部４２１からの個々の建機の位置および方向に
よって決まるの個々の建機と推定される領域の３次元モ
デル部分を取り出し、その取り出した３次元モデル部分
の３次元形状特徴を、建機パターン記憶部４２３に蓄積
されている様々な機種の建機の３次元特徴パターンと照
合することで、個々の建機の３次元モデル部分をより正
確に割出すとともに、その建機が何の機種であるかも識
別できる。こうして得られた個々の建機の位置および方
向並びに３次元モデルは、ＧＩＳデータの要素としてＧ
ＩＳデータ記憶部４４に格納される。（なお、建機認識
部４２２による建機の３次元モデルデータの抽出処理は
省略してもよい。この場合、ＧＩＳデータに含まれる建
機関連のデータは、建機位置決定部４２１からの建機の
位置および方向だけとなる。）

【００５７】地形生成部４３は、３つのステレオカメラ
３からの距離画像を統計処理して統合する距離画像統合
処理部４３１と、距離画像統合処理部４３１の処理結果
及び上述した建機認識部４２２の処理結果に基づいて建
設作業現場の地形の３次元モデルを決定する地形決定部
４３１とを備える。

【００５８】距離画像統合処理部４３１は、３つのステ
レオカメラ３からの距離画像に、所定の統計的処理（例
えば、３つのステレオカメラ３からの座標値の多数決を
とる、或るいは、３つのステレオカメラ３からの座標値
のうち最も信頼性の高い値を選ぶ、など）を施して、地
形（建機も含んでいる）の最終的な３次元座標値（すな
わち、地形の３次元モデルデータ）を求める。

【００５９】なお、上記統計的処理のより具体的な方法
としては、特開２００２−３２７４４号に開示された方
法、すなわち、複数のステレオカメラからの距離画像に
基づいて、３次元空間のボクセルデータを求めて統合す
る方法を応用することができる。

【００６０】地形決定部４３２は、距離画像統合処理部
４３１からの地形（建機や丁張りも含んでいる）の３次
元モデルデータから、建機認識部４２２の決定した建機
の３次元モデルを取り除いて、建設作業現場の建機を含
まない純粋な地形（丁張りは含む）の３次元モデルデー
タを生成する。この純粋な地形の３次元モデルデータ
は、ＧＩＳデータの要素として、ＧＩＳデータ記憶部４
４に格納される。（なお、上述したように建機認識部４
２２を省略した場合には、地形決定部４３２も省略され
る。その場合には、距離画像統合処理部４３１からの建
機も含んだ地形の３次元モデルデータが、ＧＩＳデータ
記憶部４４に格納される。）

【００６１】再び図３を参照する。ホスト装置４内のレ
ンダリング部４６は、ＧＩＳデータ記憶部４４内のＧＩ
Ｓデータ（リアルタイムで変化する地形及び建機の動的
な３次元モデルデータ）を用いて、建機の情報端末２０
０の視点操作部２０１から指定された視点パラメータで
建設作業現場５を眺めた動画像を描画する。ここで、Ｇ
ＩＳデータにおいて建機の位置と方向が判明しているた
め、上記動画像内で建機と建機以外の地形等とを色分け
などで区別して表示することができる。特に、建機の３
次元モデルデータが抽出されている場合には、建機を明
確に他の地形から区別して表示することができる。地形
の３次元モデルと建機の位置、方向及び３次元モデル
は、カメラで撮影された動画像の動きに追従して動く動
的なものであるから、それらのデータに基づいた画像表
示も動的に行なうことができる。さらに、次に説明する
丁張り検出部４５の機能によって、ＧＩＳデータにおけ
る地形の３次元モデルデータの中から丁張りの部分も識
別されるようになっているので、上記動画像内で、丁張
りも、それ以外の地形から区別して表示することができ
る。

【００６２】図６は、丁張り検出部４５の詳細な機能構
成を示す。

【００６３】図６に示すように、丁張り検出部４５は、
オペレータによる表示画像上での丁張り位置の指定及び
その表示画像の視点パラメータを入力する丁張り指定入
力部４５１と、入力された丁張り位置の指定と視点パラ
メータとに基づいて、地形の３次元モデルデータの中か
ら丁張りの位置を割り出す丁張り位置決定部４５２と、
様々な形状の丁張りの３次元形状特徴パターンを記憶し
た丁張りパターン記憶部４５３と、地形の３次元モデル
データの中から丁張りの３次元モデルデータを識別し
て、丁張りの３次元モデルデータをＧＩＳデータの要素
としてＧＩＳデータ記憶部４４に格納する丁張り認識部
４５４とを備える。

【００６４】丁張り指定入力部４５１には、建機の情報
端末２００の丁張り指定部２０２からの表示画像上での
丁張りの位置指定が入力される。すなわち、建機のオペ
レータは、通常、作業を開始する前に、ディスプレイ装
置２０３に表示された建設作業現場画像の中から丁張り
を見つけ出して、表示画像内での丁張りの部位を丁張り
指定部２０２を操作して指定する（例えば、ディスプレ
イ画面上でカーソルを丁張り部位に置いて、指定ボタン
を押す、などの操作で指定する）。すると、その指定さ
れた丁張り部位表示画像内での座標値が、丁張り位置指
定情報として丁張り指定入力部４５１に入力される。こ
れとともに、その表示画像を作成するときにレンダリン
グ部４６が用いた視点パラメータも、丁張り指定入力部
４５１に入力される。丁張り指定入力部４５１は、表示
画像内での丁張り部位の座標値と、表示画像の視点パラ
メータに基づいて、丁張りの概略の３次元座標値を推定
する。

【００６５】丁張り位置決定部４５２は、丁張り指定入
力部４５１からの丁張りの概略の３次元座標値を、ＧＩ
Ｓデータ記憶部４４からの地形の３次元モデルデータの
座標値に合わせ込むことで、地形の３次元モデルデータ
における丁張りと推定される３次元座標値を割り出す。

【００６６】丁張り認識部４５４は、丁張り位置決定部
４５２により割り出された丁張りと推定される３次元座
標値の近傍領域の３次元モデルデータを、地形の３次元
モデルデータから抽出して、その抽出した近傍領域の３
次元モデルデータの形状特徴を、丁張りパターン記憶部
４５３に記憶されている様々な丁張りの形状特徴パター
ンと照合することで、地形の３次元モデルデータにおけ
る丁張りに該当する部分を識別して、識別した丁張りの
３次元モデルデータ（３次元座標値）を、ＧＩＳデータ
記憶部４４に格納する。レンダリング部４６は、画像を
生成するとき、地形の３次元モデルデータだけでなく丁
張りの３次元モデルデータを用いることで、丁張りと他
の地形とを色分けなどで明確に区別した画像を生成する
ことが出来る。一度設置された丁張りは、破壊されたり
意図的に移動されたりしないかぎり、作業が進行しても
不動であるのが通常であるから、ある時点で識別された
丁張りの３次元モデルデータ（３次元座標値）は、その
時点以降、レンダリング部４６による動画像の各フレー
ム生成に継続的に利用される。また、こうすることによ
り、丁張りが破壊されたりしても、破壊前の丁張りを表
示画像上に表示することができるから、正しく建設作業
を継続することができる。

【００６７】なお、上述した丁張り認識部４５４による
丁張りの３次元モデルデータの割出処理を省略して、丁
張り位置決定部４５２で推定された丁張りの３次元位置
を、ＧＩＳデータの要素として記憶しておき、画像をレ
ンダリングするときには、その丁張りの３次元位置に該
当する画像上の位置に目印などを表示するようにしても
よい。また、上述のように丁張りを検出して表示画像上
に表示する処理と併せて又はそれに代えて、オペレータ
に丁張りによって示される仮想的な設計線８を表示画像
上で引かせて、その設計線を表示画像上に表示するよう
にすることもできる。また、上述のように丁張り又は仮
想設計線をオペレータに指定させる代わりに、特徴点抽
出やパターン認識の技術を使って完全に自動的に丁張り
の検出や仮想設計線の設定を行なうことも可能である
が、オペレータの手を借りるという上述の方法は、人間
の持つ非常に高度な認識能力を活用してシステムの負担
を軽減できるので実用的であると考えられる。

【００６８】図７は、異なる仮想視点から眺めた表示画
像の例を示す。

【００６９】図７に示すように、例えば建機端末２００
の視点操作部２０１に設けられた表示選択部２１１に設
けられた複数の視点選択ボタン「視点１」〜「視点４」
に予め、例えば誘導員視点、オペレータ視点、上空視点
及び丁張り横視点などの予め設定された仮想視点の視点
パラメータを割り当てておくことができる。そして、
「視点１」〜「視点４」の任意のボタンを押して所望の
視点を選ぶことで、ディスプレイ装置２０３に、それら
の仮想視点から眺めた建設現場の画像２３１〜２３４を
選択的に表示することができる。

【００７０】上述した本発明の実施形態は、本発明の説
明のための例示であり、本発明の範囲をそれらの実施形
態にのみ限定する趣旨ではない。当業者は、本発明の要
旨を逸脱することなしに、他の様々な態様で本発明を実
施することができる。

【００７１】例えば、上記実施形態では、建機の位置お
よび向きの検出は、建機に設置されたマーカを利用して
行っているが、これは、建機画像とのパターンマッチン
グや、建機に特有の色情報を用いた検出と置き換えても
良い。

【００７２】また、上記の実施形態では、ステレオカメ
ラごとに距離画像を合成し、ホスト装置でこれらの統合
処理を行っているが、各カメラが撮影した画像をすべて
ホスト装置へ送信し、ホスト装置がすべての処理を一貫
して行うようにすることもできる。

【００７３】さらに、最終的に出力されるデータはＧＩ
Ｓデータである必要は無く、他の形式のデータであって
もよい。

【００７４】画像のソースは、上述の実施形態のように
動画カメラである必要は必ずしも無く、静止画カメラで
もよいし、ネットワークから取得した画像を用いてもよ
い。

【００７５】また、上述した実施形態では、複数台のカ
メラで撮影された作業現場の画像から、一旦作業現場の
３次元モデルデータを作成して、その３次元モデルデー
タに基づいて、任意視点から作業現場を眺めた画像を生
成している。しかし、カメラの３次元位置が決まってい
ることから、それらのカメラで撮影した作業現場の画像
と、任意視点から作業現場を眺めた画像との関係は幾何
学的に決まるから、この幾何学的な関係を用いて、撮影
画像から直接的に（つまり、３次元モデルデータを作成
することなしに）、任意視点から眺めた画像を生成し表
示することもできる。この場合も、丁張り又は仮想設計
線の表示については、例えば、上述の実施形態と同様に
表示画像上でオペレータが指定し、その指定に基づいて
丁張り又は仮想設計線の３次元座標を割出し、その３次
元座標に基づいて任意視点からの画像上での丁張り位置
又は仮想設計線の位置を決定し表示する、という方法を
採ることができる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る作業現場画像生成シス
テムのカメラの配置などを示す図である。

【図２】本発明の実施形態に係る作業現場画像生成シス
テムの概略的な動作の流れを示す図である。

【図３】本発明の実施形態に係る作業現場画像生成シス
テムの機能構成を示す図である。

【図４】画像処理部の詳細な機能構成を示す図である。

【図５】ホスト装置の３次元モデルを生成する部分の詳
細な機能構成を示す図である。

【図６】ホスト装置の丁張り検出部の機能構成を示す図
である。

【図７】異なる仮想視点から眺めた表示画像の例を示す
図である。

【符号の説明】

１…カメラポール、２…カメラ、３…ステレオカメラ、
４…ホスト装置、５…建設作業現場、６…建設機械、７
…丁張り、８…仮想設計線

───────────────────────────────────────────────────── フロントページの続き (72)発明者 三輪 浩史 神奈川県平塚市万田1200 株式会社小松製 作所研究所内 (72)発明者 山口 博義 神奈川県平塚市万田1200 株式会社小松製 作所研究所内 Ｆターム(参考） 5B050 AA03 BA04 BA09 BA11 DA07 EA27 FA02 FA06 5B057 AA20 CA12 CB13 CD14 CH01 DA16 5C054 CE15 CF03 DA07 EH00 FE02 HA00 HA05

Claims (3)

【特許請求の範囲】
1. 【請求項１】 現場を前記現場の所定の異なる場所から
   眺めた複数の画像を入力する画像入力手段と、 所望の仮想視点を指定する視点指定手段と、 前記現場の複数の画像を用いて、前記指定された仮想視
   点から前記現場を眺めた画像を生成する画像生成手段
   と、を備える現場の画像生成システム。
2. 【請求項２】 前記画像生成手段は、 前記作業現場の３次元モデルデータを生成する３次元モ
   デリング手段と、を有する請求項１記載の作業現場の画
   像生成システム。
3. 【請求項３】 現場を前記現場の所定の異なる場所から
   眺めた複数の画像を入力するステップと、 所望の仮想視点を指定するステップと、 前記現場の複数の画像を用いて、前記指定された仮想視
   点から前記現場を眺めた画像を生成するステップと、を
   備える現場の画像生成方法。