JP7624291B2

JP7624291B2 - マップ生成システム及びマップ生成方法

Info

Publication number: JP7624291B2
Application number: JP2019103158A
Authority: JP
Inventors: 和久高濱
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2019-05-31
Filing date: 2019-05-31
Publication date: 2025-01-30
Anticipated expiration: 2039-05-31
Also published as: JP2020197044A; CA3134057C; AU2020282145B2; WO2020241572A1; CA3134057A1; US12210102B2; AU2020282145A1; US20220155453A1

Description

本発明は、マップ生成システム及びマップ生成方法に関する。

作業機械を遠隔操作する場合、作業機械のオペレータ視点の画像を用いた操作では、表示される画像が２次元のため、遠近感に乏しくなる。そのため、作業対象と作業機械との距離の把握が難しくなり、作業効率が低下する可能性がある。また、作業機械に搭乗したオペレータが作業機を操作する場合も、オペレータの熟練度によっては作業機と作業対象との距離を把握することが難しい場合があり、作業効率が低下する可能性もある。このような課題を解決するための画像表示システムの一例が特許文献１に記載されている。特許文献１に記載されている画像表示システムは、作業具を有する作業機を備えた作業機械に取り付けられる撮像装置と、作業機の姿勢を検出する姿勢検出装置と、作業機械の作業対象までの距離の情報を求める距離検出装置と、作業機の姿勢を用いて得られた作業具の位置の情報と、距離検出装置が求めた距離の情報から得られた作業対象の位置の情報とを用いて、作業具と対向する作業対象上で作業具に対応する部分の画像を生成し、撮像装置によって撮像された作業対象の画像と合成して、表示装置に表示させる処理装置とを含む。特許文献１に記載されている画像表示システムによれば、作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下を抑制することができる。

特開２０１６－１６０７４１号公報

特許文献１に記載されている画像表示システムでは、距離検出装置として、複数の計測点（測定点）を順次走査しながら距離を検出する走査式測距センサを用いる場合、一走査期間の間に作業機械が旋回したり移動したりすると、計測位置にずれが生じてしまうという課題がある。

本発明は、上記事情に鑑みてなされたものであり、上記課題を解決することができるマップ生成システム及びマップ生成方法を提供することを目的とする。

上記課題を解決するため、本発明の一態様は、被計測対象までの距離を計測する走査式測距センサから計測データを取得する計測データ取得部と、前記走査式測距センサによる計測データの更新の周期の間に生じた作業機械の動作を表す動作情報を取得する動作情報取得部と、前記動作情報に基づいて、前記計測データの計測点ごとの補正量を演算する補正量演算部と、前記補正量を前記計測データの計測点ごとに適用して計測データを補正する補正処理部と、を有するマップ生成システムである。

本発明の態様によれば、走査式測距センサを用いる場合に生じるずれを補正することができる。

図１は、実施形態に係る作業機械の画像表示システム及び作業機械の遠隔操作システムを示す図である。図２は、実施形態に係る作業機械である油圧ショベルを示す斜視図である。図３は、実施形態に係る作業機械である油圧ショベルの制御系を示す図である。図４は、図１に示す処理部５１Ｐの機能的構成例を示すブロック図である。図５は、実施形態に係る画像表示システム及び遠隔操作システムでの座標系を説明するための図である。図６は、油圧ショベルの背面図である。図７は、撮像装置及び距離検出装置の座標系を説明する図である。図８は、画像表示システム及び遠隔操作システムが実行する制御例のフローチャートである。図９は、図８に示す処理を説明するための図である。図１０は、図８に示す処理を説明するための図である。図１１は、図８に示す処理を説明するための図である。図１２は、図８に示す処理を説明するための図である。図１３は、図８示す処理を説明するための図である。図１４は、撮像装置及び距離検出装置と作業対象とを示す図である。図１５は、占有領域を説明する図である。図１６は、占有領域を除去した作業対象の形状の情報を示す図である。図１７は、作業対象上でバケットの位置を示す画像を説明するための図である。図１８は、作業対象上でバケットの位置を示す画像を説明するための図である。図１９は、作業対象上でバケットの位置を示す画像を説明するための図である。図２０は、基準画像である格子画像を示す図である。図２１は、基準画像である格子画像を示す図である。図２２は、作業用の画像を示す図である。

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。なお、各図において同一又は対応する構成には同一の符号を付けて説明を適宜省略する。

＜作業機械の画像表示システム及び作業機械の遠隔操作システムの概要＞
図１は、実施形態に係る作業機械の画像表示システム１００（マップ生成システム）及び作業機械の遠隔操作システム１０１を示す図である。作業機械の画像表示システム１００（以下、適宜画像表示システム１００と称する）は、オペレータが、作業機械である油圧ショベル１を遠隔操作する際に、油圧ショベル１の作業対象、より具体的には、油圧ショベル１が備える作業機２による作業の対象である地形面、すなわち作業対象ＷＡ及び作業具であるバケット８を撮像装置１９で撮像し、得られた画像を表示装置５２（表示部）に表示させる。このとき、画像表示システム１００は、撮像装置１９によって撮像された作業対象ＷＡの画像６８と、格子画像６５と、作業対象ＷＡ上においてバケット８の位置を示すための画像６０と、を含む作業用の画像６９を、表示装置５２に表示させる。

画像表示システム１００は、撮像装置１９と、姿勢検出装置３２と、距離検出装置２０と、処理装置５１とを含む。作業機械の遠隔操作システム１０１（以下、適宜遠隔操作システム１０１と称する）は、撮像装置１９と、姿勢検出装置３２と、距離検出装置２０と、作業機制御装置２７と、表示装置５２と、処理装置５１と、操作装置５３とを含む。実施形態において、画像表示システム１００の撮像装置１９、姿勢検出装置３２及び距離検出装置２０は油圧ショベル１に設けられ、処理装置５１は施設５０に設けられる。施設５０は、油圧ショベル１を遠隔操作したり、油圧ショベル１を管理したりする施設である。実施形態において、遠隔操作システム１０１の撮像装置１９、姿勢検出装置３２、距離検出装置２０及び作業機制御装置２７は油圧ショベル１に設けられ、表示装置５２、処理装置５１及び操作装置５３は施設５０に設けられる。

画像表示システム１００の処理装置５１は、処理部５１Ｐと、記憶部５１Ｍと、入出力部５１ＩＯとを含む。処理部５１Ｐは、例えばＣＰＵ（Central Processing Unit）のようなプロセッサである。記憶部５１Ｍは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスクドライブ、ストレージデバイス又はこれらの組み合わせである。入出力部５１ＩＯは、処理装置５１と外部機器とを接続するためのインターフェース回路である。実施形態において、入出力部５１ＩＯには、外部機器として、表示装置５２、操作装置５３及び通信装置５４が接続されている。入出力部５１ＩＯに接続される外部機器はこれらに限定されるものではない。

処理装置５１は、作業機２の姿勢を用いて得られた作業具であるバケット８の位置の情報と、距離検出装置２０が求めた距離の情報から得られた作業対象ＷＡの位置の情報とを用いて、バケット８と対向する作業対象ＷＡ上でバケット８に対応する部分の画像を、撮像装置１９を基準として生成する。そして、処理装置５１は、生成した画像と撮像装置１９によって撮像された作業対象ＷＡの画像とを合成して、表示装置５２に表示させる。作業対象ＷＡは、油圧ショベル１の作業機２が掘削又は地ならし等の作業をする対象となる面である。

表示装置５２は、液晶ディスプレイ又はプロジェクタが例示されるがこれらに限定されるものではない。通信装置５４は、アンテナ５４Ａを備えている。通信装置５４は、油圧ショベル１に備えられた通信装置２５と通信して、油圧ショベル１の情報を取得したり、油圧ショベル１に情報を送信したりする。

操作装置５３は、オペレータの左側に設置される左操作レバー５３Ｌと、オペレータの右側に配置される右操作レバー５３Ｒと、を有する。左操作レバー５３Ｌ及び右操作レバー５３Ｒは、前後左右の動作が２軸の動作に対応されている。例えば、右操作レバー５３Ｒの前後方向の操作は、油圧ショベル１が備える作業機２のブーム６の操作に対応されている。右操作レバー５３Ｒの左右方向の操作は、作業機２のバケット８の操作に対応されている。左操作レバー５３Ｌの前後方向の操作は、作業機２のアーム７の操作に対応している。左操作レバー５３Ｌの左右方向の操作は、油圧ショベル１の上部旋回体３の旋回に対応している。

左操作レバー５３Ｌ及び右操作レバー５３Ｒの操作量は、例えば、ポテンショメータ及びホールＩＣ等によって検出され、処理装置５１は、これらの検出値に基づいて電磁制御弁を制御するための制御信号を生成する。この信号は、施設５０の通信装置５４及び油圧ショベル１の通信装置２５を介して作業機制御装置２７に送られる。作業機制御装置２７は、制御信号に基づいて電磁制御弁を制御することによって作業機２を制御する。電磁制御弁については後述する。

処理装置５１は、左操作レバー５３Ｌ及び右操作レバー５３Ｒの少なくとも一方に対する入力を取得し、作業機２及び上部旋回体３の少なくとも一方を動作させるための命令を生成する。処理装置５１は、生成した命令を、通信装置５４を介して油圧ショベル１の通信装置２５に送信する。油圧ショベル１が備える作業機制御装置２７は、通信装置２５を介して処理装置５１からの命令を取得し、命令にしたがって作業機２及び上部旋回体３の少なくとも一方を動作させる。

油圧ショベル１は、通信装置２５と、作業機制御装置２７と、姿勢検出装置３２と、撮像装置１９と、距離検出装置２０と、アンテナ２１、２２と、グローバル位置演算装置２３とを備える。作業機制御装置２７は、作業機２を制御する。通信装置２５は、アンテナ２４に接続されており、施設５０に備えられた通信装置５４と通信する。作業機制御装置２７は、作業機２及び上部旋回体３を制御する。姿勢検出装置３２は、作業機２及び油圧ショベル１の少なくとも一方の姿勢を検出する。撮像装置１９は、油圧ショベル１に取り付けられて、作業対象ＷＡを撮像する。距離検出装置２０は、油圧ショベル１の所定の位置から作業対象ＷＡまでの距離の情報を求める。アンテナ２１、２２は、測位衛星２００からの電波を受信する。グローバル位置演算装置２３は、アンテナ２１、２２が受信した電波を用いて、アンテナ２１、２２のグローバル位置、すなわちグローバル座標における位置を求める。

＜油圧ショベル１の全体構成＞
図２は、実施形態に係る作業機械である油圧ショベル１を示す斜視図である。油圧ショベル１は、本体部としての車両本体１Ｂと作業機２とを有する。車両本体１Ｂは、旋回体である上部旋回体３と走行体としての走行装置５とを有する。上部旋回体３は、機関室３ＥＧの内部に、動力発生装置であるエンジン及び油圧ポンプ等の装置を収容している。実施形態において、油圧ショベル１は、動力発生装置であるエンジンに、例えばディーゼルエンジン等の内燃機関が用いられるが、動力発生装置は内燃機関に限定されない。油圧ショベル１の動力発生装置は、例えば、内燃機関と発電電動機と蓄電装置とを組み合わせた、いわゆるハイブリッド方式の装置であってもよい。また、油圧ショベル１の動力発生装置は、内燃機関を有さず、蓄電装置と発電電動機とを組み合わせた装置であってもよい。

上部旋回体３は、運転室４を有する。運転室４は、上部旋回体３の一端側に設置されている。すなわち、運転室４は、機関室３ＥＧが配置されている側とは反対側に設置されている。上部旋回体３の上方には、手すり９が取り付けられている。

走行装置５は、上部旋回体３を搭載する。走行装置５は、履帯５ａ、５ｂを有している。走行装置５は、左右に設けられた油圧モータ５ｃの一方又は両方が駆動する。走行装置５の履帯５ａ、５ｂが回転することにより、油圧ショベル１を走行させる。作業機２は、上部旋回体３の運転室４の側方側に取り付けられている。

油圧ショベル１は、履帯５ａ、５ｂの代わりにタイヤを備え、エンジンの駆動力を、トランスミッションを介してタイヤへ伝達して走行が可能な走行装置を備えたものであってもよい。このような形態の油圧ショベル１としては、例えば、ホイール式油圧ショベルがある。また、油圧ショベル１は、このようなタイヤを有した走行装置を備え、さらに車両本体（本体部）に作業機が取り付けられ、図１に示すような上部旋回体３及びその旋回機構を備えていない構造を有する、例えばバックホウローダであってもよい。すなわち、バックホウローダは、車両本体に作業機が取り付けられ、車両本体の一部を構成する走行装置を備えたものである。

上部旋回体３は、作業機２及び運転室４が配置されている側が前であり、機関室３ＥＧが配置されている側が後である。上部旋回体３の前後方向がｙ方向である。前に向かって左側が上部旋回体３の左であり、前に向かって右側が上部旋回体３の右である。上部旋回体３の左右方向は、幅方向又はｘ方向ともいう。油圧ショベル１又は車両本体１Ｂは、上部旋回体３を基準として走行装置５側が下であり、走行装置５を基準として上部旋回体３側が上である。上部旋回体３の上下方向がｚ方向である。油圧ショベル１が水平面に設置されている場合、下は鉛直方向、すなわち重力の作用方向側であり、上は鉛直方向とは反対側である。

作業機２は、ブーム６とアーム７と作業具であるバケット８とブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とを有する。ブーム６の基端部は、ブームピン１３を介して車両本体１Ｂの前部に回動可能に取り付けられている。アーム７の基端部は、アームピン１４を介してブーム６の先端部に回動可能に取り付けられている。アーム７の先端部には、バケットピン１５を介してバケット８が取り付けられている。バケット８は、バケットピン１５を中心として回動する。バケット８は、バケットピン１５とは反対側に複数の刃８Ｂが取り付けられている。刃先８Ｔは、刃８Ｂの先端である。

バケット８は、複数の刃８Ｂを有していなくてもよい。つまり、図２に示されるような刃８Ｂを有しておらず、刃先が鋼板によってストレート形状に形成されたようなバケットであってもよい。作業機２は、例えば、単数の刃を有するチルトバケットを備えていてもよい。チルトバケットとは、バケットチルトシリンダを備え、バケットが左右にチルト傾斜することで油圧ショベルが傾斜地にあっても、斜面、平地を自由な形に成形したり、整地したりすることができ、底板プレートによる転圧作業もできるバケットである。この他にも、作業機２は、バケット８の代わりに、法面バケット又は削岩用のチップを備えた削岩用のアタッチメント等を作業具として備えていてもよい。

図２に示されるブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とは、それぞれ油圧ポンプから吐出される作動油の圧力によって駆動される油圧シリンダである。ブームシリンダ１０はブーム６を駆動して、回動させる。アームシリンダ１１は、アーム７を駆動して、アームピン１４の周りを回動させる。バケットシリンダ１２は、バケット８を駆動して、バケットピン１５の周りを回動させる。

上部旋回体３の上部には、アンテナ２１、２２及びアンテナ２４が取り付けられている。アンテナ２１、２２は、油圧ショベル１の現在位置を検出するために用いられる。アンテナ２１、２２は、図３に示されるグローバル位置演算装置２３と電気的に接続されている。グローバル位置演算装置２３は、油圧ショベル１の位置を検出する位置検出装置である。グローバル位置演算装置２３は、ＲＴＫ－ＧＮＳＳ（Real Time Kinematic - Global Navigation Satellite Systems、ＧＮＳＳは全地球航法衛星システムをいう）を利用して油圧ショベル１の現在位置を検出する。以下の説明において、アンテナ２１、２２を、適宜ＧＮＳＳアンテナ２１、２２と称する。ＧＮＳＳアンテナ２１、２２が受信したＧＮＳＳ電波に応じた信号は、グローバル位置演算装置２３に入力される。グローバル位置演算装置２３は、グローバル座標系におけるＧＮＳＳアンテナ２１、２２の設置位置を求める。全地球航法衛星システムの一例としては、ＧＰＳ（Global Positioning System）が挙げられるが、全地球航法衛星システムは、これに限定されるものではない。

ＧＮＳＳアンテナ２１、２２は、図２に示されるように、上部旋回体３の上であって、油圧ショベル１の左右方向、すなわち幅方向に離れた両端位置に設置されることが好ましい。実施形態において、ＧＮＳＳアンテナ２１、２２は、上部旋回体３の幅方向両側にそれぞれ取り付けられた手すり９に取り付けられる。ＧＮＳＳアンテナ２１、２２が上部旋回体３に取り付けられる位置は手すり９に限定されるものではないが、ＧＮＳＳアンテナ２１、２２は、可能な限り離れた位置に設置される方が、油圧ショベル１の現在位置の検出精度は向上するので好ましい。また、ＧＮＳＳアンテナ２１、２２は、オペレータの視界を極力妨げない位置に設置されることが好ましい。

撮像装置１９は、図１に示される作業対象ＷＡを撮像し、距離検出装置２０は、自身（油圧ショベル１の所定の位置）から作業対象ＷＡまでの距離を求めるので、できる限り広い作業対象ＷＡからの情報を取得することが好ましい。このため、実施形態において、アンテナ２４、撮像装置１９及び距離検出装置２０は、上部旋回体３の運転室４の上方に設置される。撮像装置１９及び距離検出装置２０が設置される場所は運転席４の上方に限定されるものではない。例えば、撮像装置１９及び距離検出装置２０は、運転室４の内部かつ上方に設置されてもよい。

撮像装置１９は、撮像面１９Ｌが上部旋回体３の前方を向いている。距離検出装置２０は、検出面２０Ｌが上部旋回体３の前方を向いている。実施形態において、撮像装置１９は、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサのようなイメージセンサを備えた単眼カメラである。

実施形態において、距離検出装置２０は、三次元レーザーレンジファインダ、三次元レーザースキャナ、三次元距離センサ等である。三次元レーザーレンジファインダ等は、ＬｉＤＡＲ（Light Detection and Ranging；ライダー）等とも呼ばれ、一定の範囲にわたる複数の測定方向に対して、測定方向を順次走査させながらパルス状に発光するレーザ光を照射し、反射した散乱光が戻ってくるまでの時間と照射方向に基づき距離と向きを計測するセンサ（走査式測距センサ）である。本実施形態において、距離検出装置２０は、一走査周期毎に各計測点（各反射点）の測定結果を示す三次元データ（計測データ）を順次、記憶及び更新して出力する。距離検出装置２０が出力する三次元データは、各計測点までの距離と向きあるいは各計測点の三次元座標値を示す点群データである。なお、ＬｉＤＡＲは、長距離化、屋外対応の点で優れている。
なお、他の実施形態においては、計測データとして二次元の走査データに対する作業機械に対応する部分を除去することもできるが、三次元の地形データに適用するために本実施形態では三次元の走査データに対する補正量を求めている。

なお、三次元レーザーレンジファインダは、上述したパルス方式(伝搬時間検出方式)の光波距離計に限らず、強度変調方式(位相差検出方式)の光波距離計であってもよい。

＜油圧ショベル１の制御系＞
図３は、実施形態に係る作業機械である油圧ショベル１の制御系１Ｓを示す図である。制御系１Ｓは、通信装置２５と、センサコントローラ２６と、作業機制御装置２７と、撮像装置１９と、距離検出装置２０と、グローバル位置演算装置２３と、姿勢検出装置３２と、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）３３と、油圧システム３６と、を備える。通信装置２５と、センサコントローラ２６と、作業機制御装置２７とは、信号線３５によって接続されている。このような構造により、通信装置２５と、センサコントローラ２６と、作業機制御装置２７とは、信号線３５を介して相互に情報をやり取りすることができる。制御系１Ｓ内で情報を伝達する信号線は、ＣＡＮ（Controller Area Network）のような車内信号線が例示される。

センサコントローラ２６は、ＣＰＵ（Central Processing Unit）等のプロセッサと、ＲＡＭ及びＲＯＭ等の記憶装置とを有する。センサコントローラ２６には、グローバル位置演算装置２３の検出値、撮像装置１９によって撮像された画像の情報、距離検出装置２０の検出値、姿勢検出装置３２の検出値及びＩＭＵ３３の検出値が入力される。センサコントローラ２６は、入力された検出値及び画像の情報を、信号線３５及び通信装置２５を介して、図１に示される施設５０の処理装置５１に送信する。

作業機制御装置２７は、ＣＰＵ等のプロセッサと、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等の記憶装置とを有する。作業機制御装置２７は、施設５０の処理装置５１によって生成された、作業機２及び上部旋回体３の少なくとも一方を動作させるための命令を、通信装置２５を介して取得する。作業機制御装置２７は、取得した命令に基づいて、油圧システム３６の電磁制御弁２８を制御する。

油圧システム３６は、電磁制御弁２８と、油圧ポンプ２９と、ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２及び旋回モータ３０等の油圧アクチュエータとを備える。油圧ポンプ２９は、エンジン３１によって駆動されて、油圧アクチュエータを動作させるための作動油を吐出する。作業機制御装置２７は、電磁制御弁２８を制御することにより、ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２及び旋回モータ３０に供給される作動油の流量を制御する。このようにして、作業機制御装置２７は、ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２及び旋回モータ３０の動作を制御する。

センサコントローラ２６は、第１ストロークセンサ１６、第２ストロークセンサ１７及び第３ストロークセンサ１８の検出値を取得する。第１ストロークセンサ１６はブームシリンダ１０に、第２ストロークセンサ１７はアームシリンダ１１に、第３ストロークセンサ１８はバケットシリンダ１２に、それぞれ設けられる。

第１ストロークセンサ１６は、ブームシリンダ１０の長さであるブームシリンダ長を検出してセンサコントローラ２６に出力する。第２ストロークセンサ１７は、アームシリンダ１１の長さであるアームシリンダ長を検出してセンサコントローラ２６に出力する。第３ストロークセンサ１８は、バケットシリンダ１２の長さであるバケットシリンダ長を検出してセンサコントローラ２６に出力する。

ブームシリンダ長、アームシリンダ長及びバケットシリンダ長が決定されれば、作業機２の姿勢が決定される。したがって、これらを検出する第１ストロークセンサ１６、第２ストロークセンサ１７及び第３ストロークセンサ１８は、作業機２の姿勢を検出する姿勢検出装置３２に相当する。姿勢検出装置３２は、第１ストロークセンサ１６、第２ストロークセンサ１７及び第３ストロークセンサ１８に限定されるものではなく、角度検出器であってもよい。

センサコントローラ２６は、第１ストロークセンサ１６が検出したブームシリンダ長から、油圧ショベル１の座標系であるローカル座標系における水平面と直交する方向（ｚ軸方向）に対するブーム６の傾斜角を算出する。作業機制御装置２７は、第２ストロークセンサ１７が検出したアームシリンダ長から、ブーム６に対するアーム７の傾斜角を算出する。作業機制御装置２７は、第３ストロークセンサ１８が検出したバケットシリンダ長から、アーム７に対するバケット８の傾斜角を算出する。ブーム６、アーム７及びバケット８の傾斜角は、作業機２の姿勢を示す情報である。すなわち、センサコントローラ２６は、作業機２の姿勢を示す情報を求める。センサコントローラ２６は、算出した傾斜角を、信号線３５及び通信装置２５を介して、図１に示される施設５０の処理装置５１に送信する。

ＧＮＳＳアンテナ２１は、自身の位置を示す位置Ｐ１を測位衛星から受信する。ＧＮＳＳアンテナ２２は、自身の位置を示す位置Ｐ２を測位衛星から受信する。ＧＮＳＳアンテナ２１、２２は、例えば１０Ｈｚ周期で位置Ｐ１、Ｐ２を受信する。位置Ｐ１、Ｐ２は、グローバル座標系において、ＧＮＳＳアンテナが設置されている位置の情報である。ＧＮＳＳアンテナ２１、２２で受信されたＧＮＳＳ電波に応じた信号、すなわち位置Ｐ１、Ｐ２は、グローバル位置演算装置２３に入力される。ＧＮＳＳアンテナ２１、２２は、位置Ｐ１、Ｐ２を受信する毎に、グローバル位置演算装置２３に出力する。

グローバル位置演算装置２３は、ＣＰＵ等のプロセッサと、ＲＡＭ及びＲＯＭ等の記憶装置とを有する。グローバル位置演算装置２３は、例えば１０Ｈｚの周波数でグローバル座標系におけるＧＮＳＳアンテナ２１、２２の位置Ｐ１、Ｐ２を検出し、基準位置情報Ｐｇａ１、Ｐｇａ２としてセンサコントローラ２６に出力する。実施形態において、グローバル位置演算装置２３は、取得した２つの位置Ｐ１、Ｐ２から、油圧ショベル１の方位角、より具体的には上部旋回体３の方位角であるヨー角を求めてセンサコントローラ２６に出力する。センサコントローラ２６は、取得した基準位置情報Ｐｇａ１、Ｐｇａ２及びヨー角を、信号線３５及び通信装置２５を介して、図１に示される施設５０の処理装置５１に送信する。

ＩＭＵ３３は、油圧ショベル１の動作及び姿勢を検出する。油圧ショベル１の動作は、上部旋回体３の動作及び走行装置５の動作の少なくとも一方を含む。油圧ショベル１の姿勢は、油圧ショベル１のロール角、ピッチ角及びヨー角によって表すことができる。実施形態において、ＩＭＵ３３は、油圧ショベル１の角速度及び加速度を検出して出力する。

＜処理部５１Ｐの機能的構成例＞
図４は、図１に示す処理部５１Ｐの機能的構成例を示すブロック図である。図４に示すように、本実施形態の処理部５１Ｐは、ハードウェアとソフトウェアとの組み合わせから構成される機能的要素として、三次元データ取得部５１Ｐ１（計測データ取得部）、動作情報取得部５１Ｐ２、補正量演算部５１Ｐ３、補正処理部５１Ｐ４及び表示処理部５１Ｐ５を有する。三次元データ取得部５１Ｐ１は、センサコントローラ２６等を介して、所定の周期で測距した三次元データを更新する距離検出装置２０（走査式測距センサ）から三次元データを取得する。動作情報取得部５１Ｐ２は、センサコントローラ２６等を介して、距離検出装置２０による三次元データの更新の周期の間に生じた油圧ショベル１（作業機械）の動作を表す動作情報を取得する。ここで、動作情報は、油圧ショベル１の位置と作業機２の姿勢を示す情報を含む。補正量演算部５１Ｐ３は、動作情報に基づいて、三次元データの計測点ごとの補正量を演算する。補正処理部５１Ｐ４は、補正量を三次元データの計測点ごとに適用して三次元データを補正する。そして、表示処理部５１Ｐ５は、撮像装置１９（カメラ）による撮影画像に、補正された三次元データに基づく画像を重畳して表示装置５２に表示する。この構成によれば、走査式測距センサからなる距離検出装置２０を用いる場合に生じるずれを補正することができる。ただし、処理部５１Ｐは、例えば表示処理部５１Ｐ５を有さずに、三次元データ取得部５１Ｐ１と、動作情報取得部５１Ｐ２と、補正量演算部５１Ｐ３と、補正処理部５１Ｐ４とを有し、三次元データを補正して三次元マップを生成する処理を行う態様としてもよい。

なお、補正処理部５１Ｐ４は、三次元データを距離検出装置２０（走査式測距センサ）の座標系から油圧ショベル１（作業機械）の座標系に変換した後、補正量を三次元データの計測点ごとに適用して三次元データを補正し、補正した三次元データをグローバル座標系に変換する。この構成によれば、旋回や併進移動（並進移動）等の移動によるずれを補正することができる。この点については後述する。

＜座標系について＞
図５は、実施形態に係る画像表示システム１００及び遠隔操作システム１０１での座標系を説明するための図である。図６は、油圧ショベル１の背面図である。図７は、撮像装置及び距離検出装置の座標系を説明する図である。画像表示システム１００及び遠隔操作システム１０１においては、グローバル座標系と、ローカル座標系と、撮像装置１９の座標系と、距離検出装置２０の座標系（以下、センサ座標系ともいう）とが存在する。実施形態において、グローバル座標系とは、例えば、ＧＮＳＳにおける座標系である。グローバル座標系は、油圧ショベル１の作業区画ＧＡに設置された基準となる、例えば基準杭８０の基準位置ＰＧを基準とした、（Ｘ、Ｙ、Ｚ）で示される三次元座標系である。図５に示されるように、基準位置ＰＧは、例えば、作業区画ＧＡに設置された基準杭８０の先端８０Ｔに位置する。

ローカル座標系とは、油圧ショベル１を基準とした、（ｘ、ｙ、ｚ）で示される三次元座標系である。実施形態において、ローカル座標系の原点位置ＰＬは、上部旋回体３の回転中心軸であるｚ軸と、上部旋回体３のスイングサークル内においてｚ軸と直交する平面との交点であるがこれに限定されるものではない。スイングサークル内においてｚ軸と直交する平面は、スイングサークルのｚ軸方向における中心を通る平面とすることができる。

実施形態において、撮像装置１９の座標系は、図７に示されるように、撮像素子１９ＲＣの受光面１９Ｐの中心を原点ＰＣとした、（Ｘｃ、Ｙｃ、Ｚｃ）で示される三次元座標系である。実施形態において、距離検出装置２０の座標系は、図７に示されるように、距離検出素子２０ＲＣの受光面２０Ｐの中心を原点ＰＤとした、（Ｘｄ、Ｙｄ、Ｚｄ）で示される三次元座標系である。

＜油圧ショベル１の姿勢＞
図６に示されるように、上部旋回体３の左右方向、すなわち幅方向に対する傾斜角θ４は油圧ショベル１のロール角であり、図５に示されるように上部旋回体３の前後方向に対する傾斜角θ５は油圧ショベル１のピッチ角であり、ｚ軸周りにおける上部旋回体３の角度は油圧ショベル１のヨー角である。ロール角はＩＭＵ３３によって検出されたｙ軸周りの角速度を時間で積分することにより、ピッチ角はＩＭＵ３３によって検出されたｘ軸周りの角速度を時間で積分することにより、ヨー角はＩＭＵ３３によって検出されたｚ軸周りの角速度を時間で積分することにより求められる。ｚ軸周りの角速度は、油圧ショベル１の旋回角速度ωである。すなわち、旋回角速度ωを時間で積分することにより油圧ショベル１、より具体的には上部旋回体３のヨー角が得られる。

ＩＭＵ３３が検出した加速度及び角速度は、動作情報としてセンサコントローラ２６に出力される。センサコントローラ２６は、ＩＭＵ３３から取得した動作情報にフィルタ処理及び積分といった処理を施して、ロール角である傾斜角θ４、ピッチ角である傾斜角θ５及びヨー角を求める。センサコントローラ２６は、求めた傾斜角θ４、傾斜角θ５及びヨー角を、油圧ショベル１の姿勢に関連する情報として、図３に示される信号線３５及び通信装置２５を介して、図１に示される施設５０の処理装置５１に送信する。

センサコントローラ２６は、前述したように、作業機２の姿勢を示す情報を求める。作業機２の姿勢を示す情報は、具体的には、ローカル座標系における水平面と直交する方向（ｚ軸方向）に対するブーム６の傾斜角θ１、ブーム６に対するアーム７の傾斜角θ２及びアーム７に対するバケット８の傾斜角θ３である。図１に示される施設５０の処理装置５１は、油圧ショベル１のセンサコントローラ２６から取得した作業機２の姿勢を示す情報、すなわち傾斜角θ１、θ２、θ３からバケット８の刃先８Ｔの位置（以下、適宜刃先位置と称する）Ｐ４を算出する。

処理装置５１の記憶部５１Ｍは、作業機２のデータ（以下、適宜作業機データという）を記憶している。作業機データは、ブーム６の長さＬ１、アーム７の長さＬ２及びバケット８の長さＬ３を含む。図５に示されるように、ブーム６の長さＬ１は、ブームピン１３からアームピン１４までの長さに相当する。アーム７の長さＬ２は、アームピン１４からバケットピン１５までの長さに相当する。バケット８の長さＬ３は、バケットピン１５からバケット８の刃先８Ｔまでの長さに相当する。刃先８Ｔは、図２に示される刃８Ｂの先端である。また、作業機データは、ローカル座標系の原点位置ＰＬに対するブームピン１３までの位置の情報を含む。処理装置５１は、長さＬ１、Ｌ２、Ｌ３、傾斜角θ１、θ２、θ３及び原点位置ＰＬを用いて、原点位置ＰＬに対する刃先位置Ｐ４を求めることができる。実施形態において、施設５０の処理装置５１が刃先位置Ｐ４を求めたが、油圧ショベル１のセンサコントローラ２６が刃先位置Ｐ４を求めて施設５０の処理装置５１に送信してもよい。

＜画像表示システム１００及び遠隔操作システム１０１が実行する制御例＞
図８は、画像表示システム１００及び遠隔操作システム１０１が実行する制御例のフローチャートである。図１４は、撮像装置１９及び距離検出装置２０と作業対象ＷＡとを示す図である。

ステップＳ１０１において、図３に示されるセンサコントローラ２６は、油圧ショベル１の情報を取得する。油圧ショベル１の情報は、撮像装置１９、距離検出装置２０、グローバル位置演算装置２３、姿勢検出装置３２及びＩＭＵ３３から得られる情報である。撮像装置１９は、図１４に示されるように、撮像範囲ＴＡ内で作業対象ＷＡを撮像し、作業対象ＷＡの画像を得る。距離検出装置２０は、検出範囲ＭＡ内に存在する作業対象ＷＡ及びその他の物体までの、距離検出装置２０からの距離Ｌｄを検出する。グローバル位置演算装置２３は、グローバル座標系におけるＧＮＳＳアンテナ２１、２２の位置Ｐ１、Ｐ２に対応する基準位置情報Ｐｇａ１、Ｐｇａ２を求める。姿勢検出装置３２は、ブームシリンダ長、アームシリンダ長及びバケットシリンダ長を検出する。ＩＭＵ３３は、油圧ショベル１の姿勢、より具体的には、上部旋回体３のロール角θ４、ピッチ角θ５及びヨー角を検出する。

ステップＳ１０２において、画像表示システム１００及び遠隔操作システム１０１の処理装置５１は、三次元データ取得部５１Ｐ１又は動作情報取得部５１Ｐ２によって、油圧ショベル１の通信装置２５及び処理装置５１に接続された通信装置５４を介して、油圧ショベル１のセンサコントローラ２６から油圧ショベル１の情報を取得する。

処理装置５１がセンサコントローラ２６から取得する油圧ショベル１の情報は、撮像装置１９によって撮像された作業対象ＷＡの画像と、距離検出装置２０が検出した、距離検出装置２０から作業対象ＷＡまでの距離の情報と、姿勢検出装置３２によって検出された油圧ショベル１が備える作業機２の姿勢の情報と、基準位置情報Ｐｇａ１、Ｐｇａ２と、油圧ショベル１の姿勢の情報と、を含む。

距離検出装置２０から作業対象ＷＡまでの距離の情報は、検出範囲ＭＡ内に存在する作業対象ＷＡ又は物体ＯＢまでの距離Ｌｄと、距離Ｌｄに対応する位置Ｐｄの方位の情報とを含む。図１４では、作業対象ＷＡまでの距離として距離Ｌｄを示す。位置Ｐｄの方位の情報は、距離検出装置２０を基準としたときの位置Ｐｄの方位であり、距離検出装置２０の座標系の各軸Ｘｄ、Ｙｄ、Ｚｄに対する角度である。処理装置５１が取得する作業機２の姿勢の情報は、ブームシリンダ長、アームシリンダ長及びバケットシリンダ長を用いてセンサコントローラ２６が求めた、作業機２の傾斜角θ１、θ２、θ３である。油圧ショベル１の姿勢の情報は、油圧ショベル１、より具体的には上部旋回体３のロール角θ４、ピッチ角θ５及びヨー角である。

処理装置５１は、例えば補正量演算部５１Ｐ３によって、センサコントローラ２６から取得した作業機２の傾斜角θ１、θ２、θ３と、記憶部５１Ｍに記憶されているブーム６の長さＬ１、アーム７の長さＬ２及びバケット８の長さＬ３とを用いて、バケット８の刃先位置Ｐ４を求める。バケット８の刃先位置Ｐ４は、油圧ショベル１のローカル座標系（ｘ、ｙ、ｚ）における座標の集合である。

ステップＳ１０３に進み、処理装置５１は、補正処理部５１Ｐ４によって、距離検出装置２０の計測開始時と計測終了時の油圧ショベル１の情報から、補正量（併進移動量・回転量）を求める。補正量の求め方等については後述する。

ステップＳ１０４に進み、処理装置５１は、例えば補正量演算部５１Ｐ３又は補正処理部５１Ｐ４によって、作業対象ＷＡまでの距離の情報を用いて、作業対象ＷＡまでの距離Ｌｄを位置の情報に変換する。位置の情報は、距離検出装置２０の座標系（Ｘｄ、Ｙｄ、Ｚｄ）における位置Ｐｄの座標である。ステップＳ１０４においては、検出範囲ＭＡ内で距離検出装置２０によって検出されたすべての距離Ｌｄが、位置の情報に変換される。処理装置５１は、例えば補正量演算部５１Ｐ３又は補正処理部５１Ｐ４によって、距離Ｌｄと、距離Ｌｄに対応する位置Ｐｄの方位の情報とを用いて、距離Ｌｄを位置の情報に変換する。ステップＳ１０４においては、検出範囲ＭＡ内に存在する物体ＯＢまでの距離も、作業対象ＷＡの距離Ｌｄと同様に、位置の情報に変換される。ステップＳ１０４の処理によって、検出範囲ＭＡ内における作業対象ＷＡの位置の情報が得られる。作業対象ＷＡの位置の情報から、作業対象ＷＡの形状の情報を得ることができる。

作業対象ＷＡの位置の情報及び形状の情報は、距離検出装置２０の座標系（Ｘｄ、Ｙｄ、Ｚｄ）における位置Ｐｄの座標の集合である。処理装置５１は、例えば補正量演算部５１Ｐ３又は補正処理部５１Ｐ４によって、作業対象ＷＡの形状の情報を、撮像装置１９の座標系（Ｘｃ、Ｙｃ、Ｚｃ）の値に変換した後、油圧ショベル１のローカル座標系（ｘ、ｙ、ｚ）の値に変換する。

ステップＳ１０５に進み、処理装置５１は、補正処理部５１Ｐ４によってステップＳ１０３で求めた補正量を基に各計測点のローカル座標値を補正する。ここで、図９から図１３を参照して、ステップＳ１０３の処理とステップＳ１０５の処理について説明する。図９から図１３は、図８に示すステップＳ１０３の処理とステップＳ１０５の処理を説明するための図である。なお、後述する変換式は、旋回と併進移動や原点位置ＰＬを通るｚ軸以外を中心軸とする回転等にも対応した一般式であるが、図９から図１３では油圧ショベル１の旋回（原点位置ＰＬを通るｚ軸を中心軸とする回転）のみを変位の例として用いて本実施形態における補正処理について説明する。

距離検出装置２０を走査式測距センサとする場合、図９に示すように、距離検出装置２０の一走査期間（一フレームともいう）の計測中に油圧ショベル１が旋回した場合、一走査期間の初期に計測された位置を一走査期間終了時のローカル座標系を基準としてグローバル座標系の位置に変換すると、初期計測点の位置は、終了時近くに計測された計測点に比べて位置の誤差が大きくなる。

また、図１０に示すように、ある計測対象物ＯＢ１について複数の３次元データを計測した場合、計測終了時の角度で計測対象物ＯＢ１のマップ（３次元マップ）を生成すると、計測対象物ＯＢ１が旋回方向に歪んだ状態でマップが生成される。

本実施形態では、図１１に示すローカル座標系において、図１２に示す旋回によってずれて変換された位置（ｘ，ｙ，ｚ）を、実際に計測した位置（ｘ’，ｙ’，ｚ’）に補正するために、１フレーム前の角度と当該フレームの角度との差から算出した旋回角θｚを、１フレーム毎の計測点数Ｎで除したΔθ＝θｚ／Ｎを、計測点１点毎のずれの角度に設定する。そして、図１３に示すように、計測点のリサジュ走査において、第ｉ計測点の補正角ΔθｉをΔθｉ＝Δθ×（Ｎ－ｉ）に設定する。例えば、第１計測点の補正角Δθ１はΔθ１＝Δθ×（Ｎ－１）であり、第２計測点の補正角Δθ２はΔθ２＝Δθ×（Ｎ－２）であり、第３計測点の補正角Δθ３はΔθ３＝Δθ×（Ｎ－３）である。また、第Ｎ－１計測点の補正角ΔθＮ－１はΔθＮ－１＝Δθであり、第Ｎ計測点の補正角ΔθＮはΔθＮ＝０である。

また、実際に計測した位置（ｘ’，ｙ’，ｚ’）は、ずれて変換された位置（ｘ，ｙ，ｚ）と当該計測点の補正角Δθｉから下式で求められる。

また、本実施形態におけるセンサ座標系の計測点座標Ｐ_Ｓを、グローバル座標系の計測点座標Ｐ_Ｇに変換する変換手順は次の（１）から（３）の手順である。すなわち、（１）まず、センサ座標系をローカル座標系（車体座標系）に変換する。（２）次に、同次変換行列で旋回中（移動・揺動を含む）の計測誤差を補正する。（３）そして、ローカル座標系をグローバル座標系に変換する。ただし、上記ではローカル座標系から補正しているが、これと異なり、グローバル座標に変換してから補正してもよい。

上記（１）から（３）の手順に従い、油圧ショベル１の旋回、併進移動や揺動一般に対応して、センサ座標系の計測点座標Ｐ_Ｓを、グローバル座標系の計測点座標Ｐ_Ｇに変換する変換式は、下式である。

ここで、Ｒ_{Ｅ’ｔｏＧ}はローカル座標系⇒グローバル座標系の同次変換行列（４×４の行列）であり、走査終了時の位置が適用される。Ｒ_{ＥｔｏＥ’}は補正の同次変換行列（４×４の行列）であり、１走査中に生じた油圧ショベル１（作業機械）の動きによるずれを補正するための変換行列であってｉ点目計測時点の位置から走査終了時の位置までの差分を表す行列である（ｉ点目ごとに異なる。）。Ｒ_ＳｔｏＥはセンサ座標系⇒ローカル座標系の同次変換行列（４×４の行列）であり、距離検出装置２０の油圧ショベル１（車体）への取付け位置で一意に定まる行列である。

また、補正の同次変換行列Ｒ_{ＥｔｏＥ’}（４×４の行列）において、３×１の行列Ｔ_{ＥｔｏＥ’}は次式で表される。

ここで、ΔＰはΔＰ＝（距離検出装置２０の１フレーム分の計測終了時のローカル座標原点位置）－（当該計測点の計測時のローカル座標原点位置）である。

また、補正の同次変換行列Ｒ_{ＥｔｏＥ’}（４×４の行列）において、３×３の行列Ｒ_{ＥｔｏＥ’}はロール、ピッチ、ヨーそれぞれの回転行列の積であって、次式で表される。

ここで、ＲΔｙａｗ、ＲΔｐｉｔｃｈ、ＲΔｒｏｌｌ＝（距離検出装置２０の１フレーム分の計測終了時の油圧ショベル１の姿勢角度）－（当該計測点の計測時の油圧ショベル１の姿勢角度）である。

また、グローバル座標系での（ｉ点目の）計測点座標Ｐ_ＧをＸ'＝（Ｘ'、Ｙ'、Ｚ'、１）（４×１の行列）と置き、センサ座標系での（ｉ点目の）計測点座標Ｐ_ＳをＸｄ＝（ｘｄ、ｙｄ、ｚｄ、１）（４×１の行列）と置き、併進移動を考慮しない（併進行列Ｔをゼロ行列とする）場合の変換式は次の通りである。ここで、座標値（ｘｄ、ｙｄ、ｚｄ）は、距離検出装置２０から得られる最初の点群データである。また、座標値（Ｘ'、Ｙ'、Ｚ'）が最終的に求めたい値である。

ここで、行列Ｔは、併進行列であって３×１の行列式である。Ｒ_ｄｔｏｘはセンサ座標系からローカル座標系（車体座標系）への変換行列（４×４の行列）であり、距離検出装置２０の油圧ショベル１（車体）への取付け位置で一意に定まる行列である。Ｒ_{ｘｔｏｘ'}は１走査中に生じた油圧ショベル１（作業機械）の動きによるずれを補正するための変換行列（４×４の行列）であり、ｉ点目計測時点の位置から走査終了時の位置までの差分を表す行列である（ｉ点目ごとに異なる。）。Ｒ_{ｘ'ｔｏＸ'}は（補正後の）ローカル座標系からグローバル座標系への変換行列（４×４の行列式）であり、走査終了時の位置が適用される。

また、上式の４×４の行列Ｒ_ｄｔｏｘ、Ｒ_{ｘｔｏｘ'}及びＲ_{ｘ'ｔｏＸ}は、併進移動が無い場合、回転のみを考慮して、３×３の行列Ｒ_ｄｔｏｘ、Ｒ_{ｘｔｏｘ'}及びＲ_{ｘ'ｔｏＸ}を用いて下式に置き換えることができる。

ここで、Ａ１～Ａ４は下式を表す。

上式ではヨー角以外を考慮せず、ヨー角の回転行列で表されている。なお、ヨー角θ_ｙａｗは上部旋回体３の旋回角度である。なお、ピッチ、ロール及びヨー方向の回転行列は次の通りである。

ステップＳ１０６において、処理装置５１は、表示処理部５１Ｐ５によって、作業対象ＷＡの位置の情報、バケット８の刃先位置Ｐ４及び油圧ショベル１のセンサコントローラ２６から取得した基準位置情報Ｐｇａ１、Ｐｇａ２を、グローバル座標系（Ｘ、Ｙ、Ｚ）に変換する。グローバル座標系（Ｘ、Ｙ、Ｚ）への変換にあたって、処理装置５１は、表示処理部５１Ｐ５によって、センサコントローラ２６から取得した油圧ショベル１のロール角θ４、ピッチ角θ５及びヨー角を用いた回転行列を生成する。処理装置５１は、表示処理部５１Ｐ５によって、生成した回転行列を用いて、作業対象ＷＡの位置の情報、バケット８の刃先位置Ｐ４及び基準位置情報Ｐｇａ１、Ｐｇａ２を、グローバル座標系（Ｘ、Ｙ、Ｚ）に変換する。次に、ステップＳ１０７に進み、処理装置５１は、表示処理部５１Ｐ５によって、占有領域を求める。

図１５は、占有領域ＳＡを説明する図である。占有領域ＳＡは、作業対象ＷＡの形状の情報内において、作業機２が占める領域である。図１５に示される例では、作業機２のバケット８の一部が距離検出装置２０の検出範囲ＭＡ内、かつ距離検出装置２０と作業対象ＷＡとの間に入っている。このため、占有領域ＳＡの部分は、距離検出装置２０によって、作業対象ＷＡまでの距離ではなくバケット８までの距離が検出される。実施形態において、処理装置５１は、表示処理部５１Ｐ５によって、ステップＳ１０４で得られた作業対象ＷＡの形状の情報から、占有領域ＳＡの部分を除去する。

処理装置５１は、表示処理部５１Ｐ５によって、バケット８の位置及び姿勢の少なくとも一方に応じて距離検出装置２０が検出する位置及び姿勢の少なくとも一方の情報を、例えば記憶部５１Ｍに記憶させておく。このような情報は、本実施形態において油圧ショベル１の作業機２の姿勢に含まれる。作業機２の姿勢は、作業機２の傾斜角θ１、θ２、θ３、ブーム６の長さＬ１、アーム７の長さＬ２及びバケット８の長さＬ３を用い、必要に応じて油圧ショベル１の姿勢を用いて求めることができる。そして、処理装置５１は、表示処理部５１Ｐ５によって、距離検出装置２０によって検出されたデータと記憶部５１Ｍに記憶されている情報とを比較し、両者がマッチングしたならば、バケット８が検出されたものとすることができる。このような作業機２の姿勢を用いた処理により、処理装置５１は、図１に示される格子画像６５を生成する際に、占有領域ＳＡのバケット８の情報を使わないので、格子画像６５を正確に生成できる。

なお、占有領域ＳＡの部分を除去するために、作業機２の姿勢を用いた処理は、次のような方法によって行われてもよい。作業機２の姿勢に含まれる、バケット８のグローバル座標系における位置及び姿勢の少なくとも一方に関する情報は、作業機２の傾斜角θ１、θ２、θ３、ブーム６の長さＬ１、アーム７の長さＬ２及びバケット８の長さＬ３から求められる。ステップＳ１０４及びステップＳ１０６で、グローバル座標系における作業対象ＷＡの形状の情報が得られている。ステップＳ１０８において、処理装置５１は、表示処理部５１Ｐ５によって、バケット８の位置を作業対象ＷＡの形状の情報に投影した領域を占有領域ＳＡとして、作業対象ＷＡの形状から除去する。

図１６は、占有領域を除去した作業対象ＷＡの形状の情報を示す図である。作業対象ＷＡの形状の情報ＩＭＷＡは、グローバル座標系（Ｘ、Ｙ、Ｚ）における座標Ｐｇｄ（Ｘ、Ｙ、Ｚ）の集合である。占有領域ＩＭＢＡは、ステップＳ１０８の処理により、座標の情報が存在しない。次に、ステップＳ１０９に進み、処理装置５１は、表示処理部５１Ｐ４によって、バケット８の位置を示す画像を生成する。バケット８の位置を示す画像は、作業対象ＷＡ上でバケット８に対応する部分の画像である。

図１７から図１９は、作業対象ＷＡ上でのバケット８の位置を示す画像を説明するための図である。実施形態において、バケット８の位置を示す画像は、作業対象ＷＡ上でのバケット８の刃先８Ｔの位置を示す画像である。以下において、バケット８の刃先８Ｔの位置を示す画像を、適宜、刃先位置画像と称する。刃先位置画像は、図１７に示されるように、刃先８Ｔを鉛直方向、すなわち重力が作用する方向の作業対象ＷＡに投影したときに、作業対象ＷＡの表面ＷＡＰの位置Ｐｇｔ（Ｘ、Ｙ、Ｚ）で規定される画像である。鉛直方向は、グローバル座標系（Ｘ、Ｙ、Ｚ）におけるＺ方向であり、Ｘ方向及びＹ方向とは直交する方向である。

図１８に示されるように、作業対象ＷＡの表面ＷＡＰの第１位置Ｐｇｔ１（Ｘ１、Ｙ１、Ｚ１）と第２位置Ｐｇｔ２（Ｘ２、Ｙ２、Ｚ２）との間で、作業対象ＷＡの表面ＷＡＰに沿って形成される線画像が、刃先位置画像６１である。第１位置Ｐｇｔ１（Ｘ１、Ｙ１、Ｚ１）は、バケット８の幅方向Ｗｂの一方の端部８Ｗｔ１側における刃８Ｂの外側の位置Ｐｇｂ１から鉛直方向に向かって延ばした直線ＬＶ１と作業対象ＷＡの表面ＷＡＰとの交点である。第２位置Ｐｇｔ２（Ｘ２、Ｙ２、Ｚ２）は、バケット８の幅方向Ｗｂの他方の端部８Ｗｔ２側における刃８Ｂの外側の位置Ｐｇｂ２から鉛直方向に向かって延ばした直線ＬＶ２と作業対象ＷＡの表面ＷＡＰとの交点である。バケット８の幅方向Ｗｂは、複数の刃８Ｂが配列される方向である。

処理装置５１は、表示処理部５１Ｐ４によって、バケット８の位置Ｐｇｂ１及び位置Ｐｇｂ２から鉛直方向に延びた直線ＬＶ１及び直線ＬＶ２を求める。次に、処理装置５１は、表示処理部５１Ｐ４によって、得られた直線ＬＶ１及び直線ＬＶ２と、作業対象ＷＡの形状の情報とから、第１位置Ｐｇｔ１（Ｘ１、Ｙ１、Ｚ１）及び第２位置Ｐｇｔ２（Ｘ２、Ｙ２、Ｚ２）を求める。そして、処理装置５１は、表示処理部５１Ｐ４によって、第１位置Ｐｇｔ１と第２位置Ｐｇｔ２とを結ぶ直線を作業対象ＷＡの表面ＷＡＰに投影したときの表面ＷＡＰの位置Ｐｇｔの集合を刃先位置画像６１とする。

実施形態において、処理装置５１は、表示処理部５１Ｐ４によって、位置Ｐｇｂ１と第１位置Ｐｇｔ１（Ｘ１、Ｙ１、Ｚ１）とを結ぶ直線ＬＶ１の画像である第１直線画像６２と、位置Ｐｇｂ２と第２位置Ｐｇｔ２（Ｘ２、Ｙ２、Ｚ２）とを結ぶ直線ＬＶ２の画像である第２直線画像６３とを生成する。次に、処理装置５１は、表示処理部５１Ｐ４によって、刃先位置画像６１、第１直線画像６２及び第２直線画像６３を、撮像装置１９を基準、すなわち撮像装置１９の視点の画像に変換する。

図１９に示されるように、撮像装置１９の視点の画像は、グローバル座標系（Ｘ、Ｙ、Ｚ）における撮像装置の原点Ｐｇｃ（Ｘｃ、Ｙｃ、Ｚｃ）から刃先位置画像６１、第１直線画像６２及び第２直線画像６３を見たときの画像である。撮像装置の原点Ｐｇｃ（Ｘｃ、Ｙｃ、Ｚｃ）は、撮像装置１９が備える撮像素子１９ＲＣの受光面１９Ｐの中心、すなわち原点ＰＣを、グローバル座標系（Ｘ、Ｙ、Ｚ）に変換した座標である。

刃先位置画像６１、第１直線画像６２及び第２直線画像６３は、三次元空間内の画像であるが、撮像装置１９の視点の画像は２次元の画像である。したがって、処理装置５１は、表示処理部５１Ｐ４によって、三次元空間、すなわちグローバル座標系（Ｘ、Ｙ、Ｚ）内に定義された刃先位置画像６１、第１直線画像６２及び第２直線画像６３を、２次元面上に投影する透視投影変換を実行する。撮像装置１９の視点の画像に変換された刃先位置画像６１、第１直線画像６２及び第２直線画像６３を、以下においては適宜、作業具案内画像６０と称する。

図２０及び図２１は、基準画像である格子画像６５を示す図である。作業具案内画像６０が生成されたら、ステップＳ１１０に進み、処理装置５１は、表示処理部５１Ｐ４によって、基準画像である格子画像６５を生成する。格子画像６５は、作業対象ＷＡの位置の情報を用いて作業対象ＷＡの表面ＷＡＰに沿った線画像である。格子画像６５は、複数の第１の線画像６６と、複数の第１の線画像６６と交差する複数の第２の線画像６７とを備えた格子である。実施形態において、第１の線画像６６は、例えば、グローバル座標系（Ｘ、Ｙ、Ｚ）におけるＸ方向と平行に延び、Ｙ方向に配置される線画像である。第１の線画像６６は、グローバル座標系（Ｘ、Ｙ、Ｚ）において、油圧ショベル１が備える上部旋回体３の前後方向と平行に伸び、上部旋回体３の幅方向に配置される線画像であってもよい。

格子画像６５は、作業対象ＷＡの位置の情報、より具体的には表面ＷＡＰの位置Ｐｇｇ（Ｘ、Ｙ、Ｚ）を用いて生成される。第１の線画像６６と第２の線画像６７との交点が位置Ｐｇｇ（Ｘ、Ｙ、Ｚ）となる。第１の線画像６６及び第２の線画像６７は、図２１に示されるように、グローバル座標系（Ｘ、Ｙ、Ｚ）で定義されるので、三次元の情報を含んでいる。実施形態において、複数の第１の線画像６６は等間隔で配置され、複数の第２の線画像６７は等間隔で配置される。隣接する第１の線画像６６同士の間隔と、隣接する第２の線画像６７同士の間隔とは等しい。

格子画像６５は、表面ＷＡＰの位置Ｐｇｇ（Ｘ、Ｙ、Ｚ）を用いて生成された第１の線画像６６及び第２の線画像６７が、撮像装置１９の視点の画像に変換された画像である。処理装置５１は、表示処理部５１Ｐ４によって、第１の線画像６６及び第２の線画像６７を生成したら、これらを撮像装置１９の視点の画像に変換して、格子画像６５を生成する。第１の線画像６６及び第２の線画像６７が撮像装置１９の視点の画像に変換されることで、作業対象ＷＡの絶対距離を補助するために、水平面において等間隔の格子画像６５を、作業対象ＷＡの形状に合わせて変形させて表示させることができる。

次に、ステップＳ１１１において、処理装置５１は、表示処理部５１Ｐ４によって、生成された作業具案内画像６０及び基準画像である格子画像６５から、前述した占有領域ＳＡを除去する。ステップＳ１１１において、処理装置５１は、表示処理部５１Ｐ４によって、占有領域ＳＡを撮像装置１９の視点の画像に変換して、作業具案内画像６０及び基準画像である格子画像６５から除去する。実施形態において、処理装置５１は、表示処理部５１Ｐ４によって、撮像装置１９の視点の画像に変換される前の刃先位置画像６１、第１直線画像６２及び第２直線画像６３と、撮像装置１９の視点の画像に変換される前の第１の線画像６６及び第２の線画像６７とから、それぞれ撮像装置１９の視点の画像に変換される前の占有領域ＳＡを除去してもよい。

図２２は、作業用の画像６９を示す図である。ステップＳ１１２において、処理装置５１は、表示処理部５１Ｐ４によって、占有領域ＳＡが除去された作業具案内画像６０と、格子画像６５と、撮像装置１９によって撮像された作業対象ＷＡの画像６８とを合成して、作業用の画像６９を生成する。ステップＳ１１３において、処理装置５１は、表示処理部５１Ｐ４によって、生成された作業用の画像６８を、表示装置５２に表示する。作業用の画像６９は、作業対象ＷＡの画像６８に、格子画像６５及び作業具案内画像６０が表示された画像である。

格子画像６５は、作業対象ＷＡの表面ＷＡＰに沿った格子なので、油圧ショベル１のオペレータは、格子画像６５を参照することにより、作業対象ＷＡの位置を把握することができる。例えば、オペレータは、第２の線画像６７により奥行き、すなわち油圧ショベル１が備える上部旋回体３の前後方向の位置を把握でき、第１の線画像６６によりバケット８の幅方向の位置を把握できる。

作業具案内画像６０は、刃先位置画像６１が、作業対象ＷＡの表面ＷＡＰ及び格子画像６５に沿って表示される。また、図２２に示す例では、刃先位置画像６１を延長した延長線画像６１－１と延長線画像６１－２も作業対象ＷＡの表面ＷＡＰ及び格子画像６５に沿って表示されている。このため、オペレータは、格子画像６５及び刃先位置画像６１により、バケット８と作業対象ＷＡとの位置関係を把握できるので、作業効率及び作業の精度が向上する。実施形態においては、バケット８の幅方向Ｗｂの両側から、第１直線画像６２と第２直線画像６３とが刃先位置画像６１の両端を結んでいる。オペレータは、第１直線画像６２及び第２直線画像６３により、バケット８と作業対象ＷＡとの位置関係を、さらに容易に把握できる。格子画像６５及び刃先位置画像６１は、作業対象となる地形（作業対象ＷＡ）の形状に沿って表示されるため、地形面上（２次元上）での両者の相対位置関係が容易に把握できる。さらに、格子画像６５を構成する、第１の線画像６６及び第２の線画像６７は、グローバル座標系にて等間隔に配置されているため、地形面上での距離感をつかみやすく、遠近感の把握が容易になる。

実施形態において、作業用の画像６９は、バケット８の刃先８Ｔと作業対象ＷＡとの距離を示す情報６４を含む。このようにすることで、オペレータは、バケット８の刃先８Ｔと作業対象ＷＡとの実際の距離を把握できるという利点がある。バケット８の刃先８Ｔと作業対象ＷＡとの距離は、バケット８の幅方向Ｗｂの中央における刃先８Ｔから作業対象ＷＡの表面ＷＡＰまでの距離とすることができる。

なお、情報６４は、バケット８の刃先８Ｔと作業対象ＷＡとの距離に代え、又はその距離に加えて、バケット８の角度といった姿勢に関する情報、バケット８と作業対象ＷＡとの相対距離を示す情報、バケット８の例えば刃先８Ｔの向きと作業対象ＷＡの面の向きとの関係を示す情報、バケット８の位置を座標で示した情報、作業対象ＷＡの面の向きを示す情報及び撮像装置１９からバケット８の刃先８Ｔまでのローカル座標系におけるｙ方向の距離を示す情報といった情報を含む、作業具又は作業対象Ｗに関する空間位置情報であればよい。

すなわち、処理装置５１は、表示処理部５１Ｐ４によって、作業具であるバケット８の位置、バケット８の姿勢、作業対象ＷＡの位置、作業対象ＷＡの相対的な姿勢、バケット８と作業対象ＷＡとの相対的な距離、バケット８と作業対象ＷＡとの相対的な姿勢の少なくとも１つを求めて、表示装置５２に表示させてもよい。

以上、画像表示システム１００及び遠隔操作システム１０１は、撮像装置１９の視点で生成された作業具案内画像６０及び格子画像６５を、撮像装置１９によって撮像された実際の作業対象ＷＡの画像６８と重ね合わせて、表示装置５２に表示する。このような処理により、画像表示システム１００及び遠隔操作システム１０１は、表示装置５２に表示された作業対象ＷＡの画像を用いて油圧ショベル１を遠隔操作するオペレータに、バケット８の位置と作業対象ＷＡとの位置関係を把握させやすくすることができるので、作業効率及び作業の精度を向上させることができる。経験の浅いオペレータも、画像表示システム１００及び遠隔操作システム１０１を用いることにより、バケット８の位置と作業対象ＷＡとの位置関係を容易に把握できる。その結果、作業効率及び作業の精度の低下が抑制される。また、画像表示システム１００及び遠隔操作システム１０１は、作業具案内画像６０と、格子画像６５と、実際の作業対象ＷＡの画像６８とを重ね合わせて表示装置５２に表示することにより、作業中にオペレータが注目する画面を単一として、作業効率を向上させることができる。

格子画像６５は、隣接する第１の線画像６６同士の間隔と、隣接する第２の線画像６７同士の間隔とが等しい。このため、格子画像６５と、撮像装置１９によって撮像された実際の作業対象ＷＡの画像６８とを重ね合わせて表示することにより、作業対象ＷＡでの作業地点を把握しやすくなる。また、作業具案内画像６０の刃先位置画像６１と格子画像６５とを重ね合わせることにより、オペレータは、バケット８が移動した距離を把握することが容易になるので、作業効率が向上する。

作業具案内画像６０及び格子画像６５は、作業機２の領域である占有領域ＳＡが除去されるので、作業具案内画像６０及び格子画像６５は、占有領域ＳＡによる歪み及び作業機２に作業具案内画像６０及び格子画像６５が重畳して表示されることを回避できる。その結果、画像表示システム１００及び遠隔操作システム１０１は、オペレータにとって見やすい形態で作業用の画像６９を表示装置５２に表示できる。

実施形態において、作業具案内画像６０は、少なくとも刃先位置画像６１を含んでいればよい。格子画像６５は、少なくとも複数の第２の線画像６７、すなわち油圧ショベル１が備える上部旋回体３の前後方向と直交する方向を示す複数の線画像を含んでいればよい。また、処理装置５１は、バケット８の刃先８Ｔと作業対象ＷＡとの距離に応じて、作業具案内画像６０のうち、例えば刃先位置画像６１の色を変更してもよい。このようにすることで、オペレータは、バケット８の位置と作業対象ＷＡとの距離を把握しやすくなる。

実施形態において、処理装置５１は、作業対象ＷＡの形状の情報をグローバル座標系（Ｘ、Ｙ、Ｚ）に変換して作業具案内画像６０及び格子画像６５を生成したが、作業対象ＷＡの形状の情報をグローバル座標系（Ｘ、Ｙ、Ｚ）に変換しなくてもよい。この場合、処理装置５１は、作業対象ＷＡの形状の情報を油圧ショベル１のローカル座標系（ｘ、ｙ、ｚ）で取り扱い、作業具案内画像６０及び格子画像６５を生成する。作業対象ＷＡの形状の情報を油圧ショベル１のローカル座標系（ｘ、ｙ、ｚ）で取り扱う場合、ＧＮＳＳアンテナ２１、２２及びグローバル位置演算装置２３は不要である。

前述の実施形態では、距離検出装置２０により検出された油圧ショベル１の一部（例えば、前述のようにバケット８）を除去し、作業対象ＷＡの形状の情報（三次元地形データ）とした。しかし、過去（例えば数秒前）に取得した三次元地形データを処理装置５１の記憶部５１Ｍに記憶しておき、処理装置５１の処理部５１Ｐが、現在の作業対象ＷＡと、その記憶されている三次元地形データとが同じ位置であるのか判断し、同じ位置であるのであれば、過去の三次元地形データを用いて、格子画像６５を表示させてもよい。つまり、処理装置５１は、撮像装置１９から見て、油圧ショベル１の一部によって隠れている地形があっても、過去の三次元地形データがあれば、格子画像６５を表示させることができる。

また、格子を用いた格子画像６５による表示ではなく、例えばローカル座標系を極座標系として格子画像６５を表示させるようにしてもよい。具体的には、油圧ショベル１の中心（例えば、上部旋回体３の旋回中心）からの距離に応じた等間隔の同心円を線画像（第２の線画像）として描き、かつ上部旋回体３の旋回角度に応じて旋回中心から等間隔に放射状の線画像（第１の線画像）を描くようにしてもよい。この場合、同心円の線画像である第２の線画像と旋回中心からの放射状の線画像である第１の線画像とは交差する。このような格子画像を表示させることによっても、旋回時や掘削時にバケット８の位置と作業対象ＷＡとの位置関係を容易に把握することができる。

＜油圧ショベル１の制御系の変形例＞
前述した画像表示システム１００及び遠隔操作システム１０１は、図１に示される施設５０の操作装置５３を用いて油圧ショベル１を遠隔操作したが、図２に示される運転室４内に表示装置５２を設けたり、油圧ショベル１にオペレータの作業を補助するために、作業用の画像６９が運転室４内の表示装置５２に表示したりしてもよい。この場合、油圧ショベル１は、表示装置５２に表示された作業対象ＷＡの画像を用いて油圧ショベル１を操作するオペレータに、バケット８の位置と作業対象ＷＡとの位置関係を把握させやすくすることができる。その結果、作業効率及び作業の精度を向上させることができる。また、経験の浅いオペレータも、バケット８の位置と作業対象ＷＡとの位置関係を容易に把握できる。その結果、作業効率及び作業の精度の低下が抑制される。さらに、夜間作業等の場合、オペレータが実際の作業対象ＷＡを目視し難い状況であっても、表示装置５２に表示された作業具案内画像６０及び格子画像６５を見ながら作業することができるので、作業効率の低下が抑制される。

以上、実施形態を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも１つを行うことができる。作業機械は油圧ショベル１に限定されず、ホイールローダー又はブルドーザのような他の作業機械であってもよい。

１油圧ショベル、１Ｂ車両本体、１Ｓ制御系、２作業機、３上部旋回体、４運転席、６ブーム、７アーム、８バケット、８Ｂ刃、８Ｔ刃先、１６第１ストロークセンサ、１７第２ストロークセンサ、１８第３ストロークセンサ、１９撮像装置、２０距離検出装置、２１、２２アンテナ（ＧＮＳＳアンテナ）、２３グローバル位置演算装置、２６センサコントローラ、２７作業機制御装置、３２姿勢検出装置、３３ＩＭＵ、５０施設、５１処理装置、５２表示装置、５３操作装置、６０作業具案内画像（画像）、６１刃先位置画像、６２第１直線画像、６３第２直線画像、６５格子画像、６６第１の線画像、６７第２の線画像、６８画像、６９作業用の画像、１００作業機械の画像表示システム（マップ生成システム）、１０１作業機械の遠隔操作システム（遠隔操作システム）

Claims

作業機械に設けられた走査式測距センサを用いて計測した被計測対象までの距離の計測データを取得する計測データ取得部と、
前記走査式測距センサによる計測データの更新の周期の間に生じた作業機械の動作を表す動作情報を取得する動作情報取得部と、
前記動作情報に基づいて、前記計測データの計測点ごとの補正量を演算する補正量演算部と、
前記補正量を前記計測データの計測点ごとに適用して計測データを補正する補正処理部と、
を有し、
前記動作情報には少なくとも前記作業機械の上部旋回体の旋回角を示す情報が含まれる、
マップ生成システム。
前記補正処理部は、前記計測データを前記走査式測距センサの座標系から前記作業機械の座標系に変換した後、前記補正量を前記計測データの計測点ごとに適用して計測データを補正し、補正した前記計測データをグローバル座標系に変換する
請求項１に記載のマップ生成システム。
撮像装置による撮影画像に、前記補正された計測データに基づく画像を重畳して表示する表示処理部をさらに備える
請求項１または２に記載のマップ生成システム。
作業機械に設けられた走査式測距センサを用いて計測した被計測対象までの距離の計測データを取得するステップと、
前記走査式測距センサによる計測データの更新の周期の間に生じた作業機械の動作を表す動作情報を取得するステップと、
前記動作情報に基づいて、前記計測データの計測点ごとの補正量を演算するステップと、
前記補正量を前記計測データの計測点ごとに適用して計測データを補正するステップと、
を含み、
前記動作情報には少なくとも前記作業機械の上部旋回体の旋回角を示す情報が含まれる、
マップ生成方法。