JP6581844B2

JP6581844B2 - 建設機械の遠隔操作システム

Info

Publication number: JP6581844B2
Application number: JP2015165887A
Authority: JP
Inventors: 竹内　隆; 隆竹内; 亮介藤原; 片岸　誠; 片岸　　誠; 稲田　圭介; 圭介稲田; 浩朗伊藤; 星野　和則; 和則星野; 菅原　一宏; 一宏菅原; 小倉　弘; 弘小倉
Original assignee: Hitachi Construction Machinery Co Ltd
Current assignee: Hitachi Construction Machinery Co Ltd
Priority date: 2015-08-25
Filing date: 2015-08-25
Publication date: 2019-09-25
Anticipated expiration: 2035-08-25
Also published as: JP2017043924A

Description

本発明は、建設機械、特に油圧ショベルの遠隔操作用映像伝送装置、システム、及び方法に関する。

近年、災害復旧現場、ダム建設現場、トンネル掘削現場、火山活動の影響が懸念される現場など、人が立ち入ることが危険な作業現場において、無人の建設機械を効率良く運用し、施工や監視を安全に行うことが望まれている。このような無人の建設機械の一つとして、遠隔地から操作（操縦）できる遠隔操作型の建設機械が検討されている。例えば特開平１１−９３２２０によれば、現場の建設機械にカメラを搭載し、そのカメラで撮像した映像を現場から離れた場所でモニタに表示させ、このモニタの表示映像を見て、建設機械に所定の作業を行うように指示する建設機械用遠隔操作装置が提案されている。

特開平１１−９３２２０号公報

しかしながら、特許文献１に示される遠隔操作装置において、現場の建設機械は無線ネットワークで接続されており、通常、建設機械が利用可能な伝送容量は限られている。例えば建設機械がカメラで撮像した動画像を送信している場合を考える。通常、ある時刻t1を基準として、その後の時刻t2の映像データを送信する場合、カメラの動画像はその前の時刻t1との差分を映像データとして伝送する。このため、建設機械が旋回動作等を行った場合や、カメラがパンする、あるいは、カメラに映りこむ機械の一部（例えばアームやバケットなど）が動くなどした場合、映像の動きが大きくなることから、伝送路を通るデータ量が一時的に増加することが考えられる。このため、伝送路において輻輳によるデータパケットの欠落（ロス）が生じる可能性がある。特に複数の遠隔建設機械が動作しているような現場では、それぞれの建設機械が同時に旋回動作を行うことは十分に考えられ、データの増加、およびそれに伴うパケットロスはより深刻な問題となる。データの欠落は、モニタ画像の視認性を低下させ、作業効率を低下させる可能性がある。

本発明の一つの側面は、操縦装置からの制御信号を無線により受信し、制御信号に基づいて、一部または全部の機械的な動作が制御される建設機械であって、周囲の映像を撮影するカメラと、カメラで撮影した映像データを操縦装置に無線により送信する無線通信装置と、制御信号に基づいて、無線により送信される映像データの送信条件を制御する、通信制御部を有する建設機械である。

本発明の典型的な具体例では、カメラで撮影した映像データを圧縮する映像エンコーダを備え、無線通信装置は、映像エンコーダで圧縮された映像データを操縦装置に無線により送信し、通信制御部は、映像エンコーダの圧縮率を制御する。

本発明の他の具体例である油圧制御機械等の場合、制御信号の入力があってから、実際に被制御手段が動作を始めるまでにタイムラグが生じる。そのタイムラグの時間を利用して送信データの品質を制御することにより、パケットロス等を減らすことができる。

また本発明の他の具体例では、MPEG等の動画圧縮技術を用いて動画を伝送する。即ち、映像データを無線送信等する場合、例えば、ある時刻t1を基準として、その後の時刻t2において映像データを送信する場合、時刻t2のデータは、カメラ等の画像データのすべてを送信するのではなく、その前の時刻t1のデータとの差分を送ることを前提としており、その差分量が大きいほど、コマ落ちなどが生じやすい。従って、本発明はMPEG等の動画圧縮技術を用いて動画を伝送する技術に適用して、大きな効果が期待できる。

本発明によると、建設機械の信頼性の高い遠隔操作を実現できる。

本発明の第１の実施形態に係る遠隔操縦システムの構成を示すブロック図である。本発明の第１の実施形態に係る通信制御部の制御例を示した表図である。本発明の第２の実施形態に係る遠隔操縦システムの構成を示したブロック図である。本発明の第２の実施形態に係る無線基地局のＱｏＳ制御方法を示したチャート図である。本発明の第２の実施形態に係る通信制御部の制御例を示した表図である。本発明の第３の実施形態に係る遠隔操縦システムの構成を示したブロック図である。本発明の第１、２、３の実施形態に係るカメラ優先度制御の例を示した表図である。本発明の第５の実施形態に係る通信制御部の制御例を示したブロック図である。遠隔操縦システムの概念を示した図である。本発明の第１の実施形態に係る図２の例における制御のフローを示した図である。本発明の第１の実施形態に係る制御のフローの例を示した図である。本発明の第２の実施形態に係る図５の例における制御のフローを示した図である。

実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

本発明の実施例では、以下の構成が詳細に説明される。

本実施例を説明するにあたり、まず遠隔操縦システムの概念図を図９に示す。例えば建設機械１２０５にはカメラ１２０６が取り付けられており、カメラ１２０６で取得した映像信号をネットワーク１２０４を介して取得することができる。ネットワーク１２０４から取得した映像はモニタ１２０３に投影され、オペレータ１２０１はモニタ１２０３の映像を見ながら操縦桿１２０２を操作する。このとき、操縦桿１２０２からの制御信号はネットワーク１２０４を介して建設機械１２０５に伝達され、当該制御信号に応じて建設機械１２０５が所定の動作を行う。

［システム構成］
図１は本発明の第１の実施形態に関わる建設機械の遠隔操縦システムを示した図である。図１において、建設機械１２２は操縦装置１２１から遠隔操縦される。操縦装置１２１の操作部１１４から制御信号が入力され、その制御信号は無線基地局１１１を介して建設機械１２２の無線通信装置１０６に送られる。制御信号を受信した無線通信装置１０６は、駆動制御部１０４に受信した制御内容を伝達する。駆動制御部１０４は、アクチュエータ１０５を機械式、電動式、あるいは油空圧式に制御する。

建設機械１２２にはカメラ１０１が取り付けられており、カメラ１０１からの映像データは映像エンコーダ１０２によって圧縮される。通常、映像データの圧縮は、第一のフレームを基準とし、第二のフレームデータを伝送する際に、第一のフレームと第二のフレームの差分データのみを映像データとして伝送することにより行われる。圧縮された映像データは無線伝送路を介して操縦装置１２１側に伝送される。映像データは映像デコーダ１１２によって伸長され、操縦装置１２１側のモニタ１１３に映像が表示される。オペレータはこのモニタ１１３に映った映像を見ながら遠隔地にある建設機械１２２を制御する。

ここで、駆動制御部１０４は受信した制御信号に基づき、所定の指示をアクチュエータ１０５に送信するとともに、通信制御部１０３に同様の制御内容１０８を伝達するようになっている。通信制御部１０３はこの制御内容１０８に応じて映像伝送にかかわるパラメータを変更する指示１０７を出し、映像エンコーダ１０２から出力される映像データ量を変更することができる。駆動制御部１０４がアクチュエータ１０５と通信制御部１０３に制御内容を伝達する時間は、同時刻でも良いし、油圧等の制御遅れを考慮し、通信制御部１０３に伝達して所定時間が経過した後に、アクチュエータ１０５に制御信号を伝達しても良い。

アクチュエータ等を機械的に駆動する場合には、通常、制御信号と実際の駆動の間には、機械的な摩擦などにより遅延時間が想定される。よって、この遅延時間の間に、映像伝送にかかわるパラメータを変更できれば、アクチュエータの駆動による映像データ量増加前に、エンコーダを制御することが可能である。

本システムにおいて、映像エンコーダ１０２、映像デコーダ１１２、モニタ１１３はカメラ１０１の台数に応じて複数あっても良く、また映像とともに音声を伝送するものであっても良い。またアクチュエータ１０５にはカメラ１０１の雲台も含まれるものとし、カメラ１０１本体にズーム、パン、チルトを制御できる機能を備えている場合、駆動制御部１０４がカメラ１０１の設定を変更する制御経路を設けても良い。

図１の例では、制御信号の例として、アクチュエータを駆動する信号を説明している。しかし、制御信号には建設機械を機械的に制御するための種々の信号が考えられる。例えば、車両にアームが搭載されている油圧ショベルを例にとれば、アームの各関節を制御するアクチュエータや、車両を移動させるためのエンジンの制御、駆動輪に動力を伝達するミッションの制御、移動方向を変更するステアリングの制御などがある。また、上記のカメラの撮像方向を変更するために、カメラを移動させるアクチュエータなどの制御も含む。

［通信制御部１０３］
通信制御部１０３は、建設機械１２２に入力される制御信号に応じて映像エンコーダ１０２に指示を出し、建設機械１２２の動きに先立って映像データ量を制御する。通常、人間がモニタで細部を確認する際は建設機械の動きを止めることから、映像上の動きが大きいときに細部を確認することは無いと考えられる。このため、映像データ量の変化が大きい場合は細部の情報を削り、データ量を大きく削減することができる。

図２では、油圧ショベルを例として、油圧ショベル、またはカメラ１０１の操作に伴う通信制御部１０３の制御例を示す。本実施例では各制御２０４における映像データ量の変化２０１を小、中、大の３段階の領域に分類している。また映像データ量の変化２０１に対応して、通信条件の設定、例えば、映像エンコーダ設定２０３が設定される。建設機械の種別や制御内容、カメラ位置によって映像データの変化量２０１は変わるため、映像エンコーダ設定２０３は建設機械の種別に応じて設定を行うことができる。図２の例では油圧ショベルの運転席視点のカメラを想定している。例えば、カメラ雲台制御や定位置での旋回を行う場合、カメラに映る画像が大きく変化することから、映像データ量が増えることが予測される。このため、旋回の制御指示が出された場合、通信制御部１０３はこれから映像データ量の変化が大きくなると判断し、映像エンコーダ１０２に対して解像度を７２０×４８０、フレームレートを３０ｆｐｓに変更してデータ量を削減するよう指示することができる。図２に示すような設定データは、建設機械の種類ごとに任意に定めることができ、通信制御部１０３内、または通信制御部１０３がアクセスできるメモリなどに格納される。

図２の例における制御フローを図１０に示す。油圧ショベルの遠隔操縦を開始して、旋回、カメラ雲台制御のいずれかの指示が入力された場合、映像エンコーダは映像のデータ量が大きくなることを見越して、データ量が少なくなるよう、解像度を７２０×４８０、フレームレートを３０ｆｐｓに下げる（Ｓ１３０１）。

移動の指示が入力された場合、映像のデータ量の変化が中程度になるものと見越して、解像度を１２８０×７２０、フレームレートを３０ｆｐｓに設定する（Ｓ１３０２）。

また上記いずれの指示も無い場合は映像の動きが少ないと判断し、エンコーダの解像度を１２８０×７２０、フレームレートを６０ｆｐｓに変更している（Ｓ１３０３）。ここでは、映像データ量が大きくなると予想される制御から順に、映像データの削減量が大きくなるようにエンコーダ設定を変更している。エンコーダの圧縮率を変更することで同様の機能を実現しても良い。本実施例では、例えば旋回、移動の両方の指示があった場合、より映像の動きが大きい旋回指示による設定変更が優先される。

図２、図１０は通信制御部１０３が映像エンコーダ１０２に対して行う制御の一例であり、建設機械の各制御２０４によって映像エンコーダ１０２にどのような指示を出すかは通信制御部１０３の設定で変更できる。通信制御部１０３は単純に制御信号の有無や種別を判断するだけでなく、さらに細かな条件設定をすることも可能である。例えばショベルの動作速度、位置や旋回角度など、あるいは、カメラ雲台の動作速度や移動量など、あるいは、建設機械自体の移動速度など、制御信号内の制御量から状況を判断して設定変更の指示を出すことができる。また一度設定が変更された場合は所定の時間、設定の変更が行われないようにすることもできる。これによって頻繁な設定変更による操縦者へのストレスを解消することができる。

また、例えば、カメラの視角の移動速度が速いと、画像の変化が大きくなるためデータ量が増える。よって、制御内容として、カメラが所定以上の移動速度でパンした場合に、データ量を削減するように設定してもよい。また、カメラが動かない場合でも、カメラで写される建設機械の一部の移動量や移動速度が大きい場合、画像の変化が大きくなるため、データ量が増える。よって、制御内容として、可動部分（例えば、ホイールローダのステアリングや、ショベルのアーム）が所定以上大きくあるいは早く動く場合、データ量を削減するように設定してもよい。

ショベルを例とした制御フローを図１１に示す。例えばショベルに入力された制御信号が、旋回速度Ｔ_１度/secを超えるものであった場合、又は、旋回速度Ｔ_１度／ｓｅｃを超えない場合でも移動速度がＴ_２ｋｍ／ｈを超える場合、映像エンコーダは映像のデータ量が大きくなることを見越して、解像度を７２０×４８０、フレームレートを３０ｆｐｓに下げることができる（Ｓ１５０１）。

また、旋回速度がＴ_１度／ｓｅｃより小さい場合において、移動速度がＴ_３ｋｍ／ｈより大きく、Ｔ_２ｋｍ／ｈより小さい（Ｔ_３＜Ｔ_２）場合、または移動速度がＴ_３ｋｍ／ｈより小さい値であっても、アームの移動量がＴ_４度／ｓｅｃより大きい場合には、映像のデータ量の変化が中程度になるものと見越して、解像度を１２８０×７２０、フレームレートを３０ｆｐｓに設定することができる（Ｓ１５０２）。

さらに、旋回速度がＴ_１度／ｓｅｃより小さく、移動速度がＴ_３ｋｍ／ｈより小さく、さらにアームの移動量もＴ_４度／ｓｅｃより小さい場合には、映像の動きが少ないと判断し、エンコーダの解像度を１２８０×７２０、フレームレートを６０ｆｐｓに変更できる（Ｓ１５０３）。

制御信号に対応する可動部分の移動量は、建設機械各部の寸法や制御信号により駆動される各関節の角度が既知であるため、これらから計算することができる。よって、制御信号に対して所定閾値を設定して、制御信号がこれを超えた場合にデータ量を制御すればよい。あるいは、Ｓ１５０２のように、閾値を上下２つ以上設定して、制御信号が予め定めた範囲に入った場合にデータ量を制御すればよい。

映像データ量の変化２０１の領域は３段階でなくても良い。また、カメラが複数ある場合はカメラごとに異なる領域数を持っても良い。例えば、建設機械１２２の運転席前方を映すカメラについてはデータ量の制御を２段階に分類し、運転席の左右を映すカメラについてはデータ量の制御を３段階に分類して映像データ量の制御を行うことができる。また映像エンコーダ１０２に対する指示量はカメラごとに異なっても良く、指示項目は解像度、フレームレートだけでなく、圧縮率や圧縮方式を変更するものであっても良い。また、複数の制御信号が同時に入力された場合は、データの削減量が多い方の指示を優先して指示しても良い。操作部１１４からカメラ１０１に対して直接ズーム、パン、チルト制御を行う場合、アクチュエータ１０５への制御信号と同様に、通信制御部１０３がカメラの制御内容を判別し、カメラ１０１への制御内容に応じて映像エンコーダ１０２の設定を変更しても良い。

なお、ホイールローダについては、ショベルの移動がホイールローダの直進移動に相当し、ショベルの旋回が操舵しながらの移動に相当するものとして同等の制御を行うことができる。

［システム構成］
図３は本発明の第２の実施形態に関わる建設機械の遠隔操縦システムを示した図である。例えば現場に遠隔操縦される建設機械１２２が２台ある場合、建設機械１２２−１は操縦装置１２１−１、建設機械１２２−２は操縦装置１２１−２によってそれぞれ遠隔操縦される。それぞれの操縦装置１２１から建設機械１２２に制御信号が送られ、その制御信号に基づいて建設機械１２２が動作を開始すると、映像エンコーダ１０２から送られる映像のデータ量が増加する。このため、２台の建設機械１２２が同時に動作を開始すると、建設機械１２２と無線基地局１１１との通信において伝送帯域が圧迫され、データの欠落や、データの遅延が生じる可能性がある。

無線基地局１１１と建設機械１２２との間の通信に、ＱｏＳ（ＱｕａｌｉｔｙｏｆＳｅｒｖｉｃｅ）機能を有するＩＥＥＥ８０２．１１ｅ規格に対応した無線ＬＡＮを用いる場合において、ＱｏＳ機能を応用することによってデータの欠落や遅延を抑制することができる。ここで、ＱｏＳ機能とは、通信内容に応じてそれぞれに適した通信品質を確保するための通信制御機能のことである。ＩＥＥＥ８０２．１１ｅは無線ＬＡＮ環境においてＱｏＳを実現するための規格であり、音声や動画などのストリーミングデータの伝送を効率よく行うために実装されている。ＩＥＥＥ８０２．１１ｅには優先度の高いフレームを優先して送信するＥＤＣＡ（ＥｎｈａｎｃｅｄＤｉｓｔｒｉｂｕｔｅｄＣｈａｎｎｅｌＡｃｃｅｓｓ）方式と、優先度の高いフレームに専用の帯域を割り当てるＨＣＣＡ（ＨｙｂｒｉｄｃｏｏｒｄｉｎａｔｉｏｎｆｕｎｃｔｉｏｎＣｏｎｔｒｏｌｌｅｄＣｈａｎｎｅｌＡｃｃｅｓｓ）方式がある。

駆動制御部１０４は、受信した制御信号に基づき、アクチュエータ１０５を機械式、電動式、あるいは油空圧式に制御するとともに、通信制御部１０３に同様の制御内容１０８を伝達するようになっている。通信制御部１０３はこの制御内容１０８に応じてＱｏＳのパラメータを変更する要請５０１を出力し、要請５０１は無線通信装置１０６を介して無線基地局１１１に伝送される。ＱｏＳパラメータ変更の要請５０１を受け取った無線基地局１１１は、それぞれの建設機械１２２から受信した要請に基づき、建設機械１２２ごとにＱｏＳ制御を実施することができる。

本システムにおいて建設機械１２２は２台とは限らず、複数台同時に運用されても良い。また駆動制御部１０４がアクチュエータ１０５と通信制御部１０３に制御内容を伝達する時間は、同時刻でも良いし、通信制御部１０３に伝達して所定時間が経過した後に、アクチュエータ１０５に制御信号を伝達しても良い。駆動制御部１０４が無線通信装置１０６よりＱｏＳ制御の変更が完了したことを知らせる通知を受け取ることが出来る場合、駆動制御部１０４は当該制御信号に対するＱｏＳ制御変更の完了を待ってからアクチュエータ１０５に制御信号を伝達しても良い。

[無線基地局１１１]
図４は、実施例２の遠隔操作システムにおける、無線基地局１１１のＱｏＳ制御の様子を示したものである。ある無線チャネルにおいて、ＱｏＳ制御にＨＣＣＡ方式を利用する場合、無線基地局１１１が予め定められた特定の無線通信装置１０６とだけ通信を行う期間ＣＦＰ（Ｃｏｎｔｅｎｔｉｏｎ−ＦｒｅｅＰｅｒｉｏｄ）と、他の無線局が利用していなければ自由に通信を行える期間ＣＰ（ＣｏｎｔｅｎｔｉｏｎＰｅｒｉｏｄ）が設定される。無線基地局１１１は特定の無線通信装置１０６にＣＦ−Ｐｏｌｌと呼ばれる制御フレームを送信し、ＣＦ−Ｐｏｌｌの中には無線通信装置１０６がチャネルを利用できる期間（ＴＸＯＰ）の値が記載されている。例えばＣＦ−Ｐｏｌｌ１によって無線通信装置１０６−１がＴＸＯＰ１の間の送信権を得た場合、無線通信装置１０６−２はこの間、通信を行わない。一方ＣＦ−Ｐｏｌｌ２によって無線通信装置１０６−２がＴＸＯＰ２の期間だけ送信権を得た場合、この時間の間、無線通信装置１０６−１は無線基地局１１１との通信を行わない。このように無線基地局１１１がＴＸＯＰの値を無線通信装置１０６ごとに変えることで、特定の建設機械１２２に対して優先的に帯域を割り当てることができる。

このため、例えば建設機械１２２−２の駆動制御部１０４−２が制御信号を受け取り、それを通信制御部１０３−２に伝達した段階で、映像データの増加が想定される場合は、通信割り当て時間ＴＸＯＰ２の延長を無線基地局１１１に対して申請することができる。このＣＦＰとＣＰはＣＦＲＰ（Ｃｏｎｔｅｎｔｉｏｎ−ＦｒｅｅＲｅｐｅｔｉｔｉｏｎＰｅｒｉｏｄ）毎に繰り返されることから、次のＣＦＲＰ（２）内で送信機会が与えられた際に、通信制御部１０３−２で生成された通信時間変更申請Ｄは無線通信装置１０６−２を介して制御パケットを無線基地局１１１に送られる。申請を受理した無線基地局１１１は、さらに次のＣＦＲＰ（３）からＴＸＯＰ２の変更を行うことができる。このＱｏＳ制御により、データ量の増加が見込まれる建設機械１２２に対して、予め優先的に帯域を確保しておくことが可能となる。ＴＸＯＰの時間がすぐに戻ってしまうことを避けるため、ＴＸＯＰの変更は一定時間継続しても良く、また次のＴＸＯＰ変更申請が受信されるまでは現在のＴＸＯＰ設定を維持するものであっても良い。

［通信制御部１０３］
図５に実施例２の遠隔操縦システムにおける無線基地局１１１に対するＱｏＳ設定の例を示す。映像データ量の変化７０１に、ＱｏＳの設定方法７０２が対応付けられる。またＱｏＳの設定方法７０２に対応して、具体的な通信条件の設定、例えば、帯域保証量７０３が設定される。通信制御部１０３は、駆動制御部１０４から送られる制御信号１０８に応じて無線通信装置１０６にＱｏＳ変更指示を出し、建設機械１２２の動きに先立って無線通信区間のＱｏＳを制御する。図５に示す例では、建設機械１２２、またはカメラ１０１の操作に伴う映像データ量の変化７０１を小、中、大の３段階の領域に分類している。建設機械の種別や制御内容、カメラ位置によって映像データの変化量は変わるが、図５の例では運転席視点のカメラを想定し、建設機械の各制御７０４を映像データ量の変化７０１の３段階の領域に対応させている。

ＱｏＳの設定方法７０２では、データ量の変化が小さいと見込まれる場合はＢ１の帯域、データ量の変化が中程度と見込まれる場合はＢ２の帯域、データ量の変化が大きいと見込まれる場合はＢ３の帯域を保証するようＱｏＳ設定を変更する。これにより、例えばショベルにおいて旋回の制御指示が出された場合、通信制御部１０３はこれから映像データ量の変化が大きくなると判断し、無線基地局１１１に対して帯域保証量をＢ３＝２４Ｍｂｐｓに変更するようＱｏＳ設定の変更を申請することができる。図５は通信制御部１０３が無線基地局１１１に対して行うＱｏＳ制御の一例であり、建設機械の各制御によって無線基地局１１１にどのような指示を出すかは通信制御部１０３の設定で変更できる。領域の異なる複数の制御信号が同時に入力された場合、通信制御部は、より大きい帯域保証値を優先して指示する。図５に示す設定データは、建設機械の種類ごとに任意に定めることができ、通信制御部１０３内、または通信制御部１０３がアクセスできるメモリなどに格納される。

なお、以上で説明した例では、建設機械１２２がＱｏＳのパラメータを変更する要請を無線基地局１１１に伝送しているが、操縦装置１２１の操作部１１４から入力された制御信号に基づいて、操縦装置がＱｏＳパラメータ変更の要請を生成し、操縦装置１２１から無線基地局１１１にＱｏＳパラメータ変更の要請を送信するように構成することもできる。

図５の例における制御フローを図１２に示す。油圧ショベルの遠隔操縦を開始して、旋回、カメラ雲台制御のいずれかの指示が入力された場合、映像エンコーダは映像のデータ量が大きくなることを見越して、帯域の保証値をＢ３＝２４Ｍｂｐｓに設定する（Ｓ１４０１）。移動の指示が入力された場合は帯域保証値をＢ２＝１８Ｍｂｐｓに設定する（Ｓ１４０２）。また上記いずれの指示も無い場合は映像の動きが少ないと判断し、帯域保証値をＢ１＝１２Ｍｂｐｓに設定している（Ｓ１４０３）。本実施例では、例えば旋回、移動の両方の指示があった場合、より映像の動きが大きい旋回指示による設定変更が優先される。

図６は本発明の第３の実施形態に関わる建設機械の遠隔操縦システムを示したものである。操縦装置１２１と建設機械１２２がネットワークＨＵＢ９０２、ゲートウェイ９０３、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ：広域網）９０１、無線基地局１１１を介して接続され、オペレータは例えばインターネットなどの回線を介して超長距離からの遠隔制御が可能となっている。

無線基地局１１１は作業現場側に配置され、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）側にある複数の建設機械１２２が無線基地局１１１に接続される。すなわち、無線基地局１１１は現場一帯の通信を集約する役割を持つ。また無線基地局１１１は操縦装置１２１−１から届いたパケットを建設機械１２２−１に、操縦装置１２１−２から届いたパケットを建設機械１２２−２に伝達するルータとしての機能を有する。

また通信制御部１０３は映像エンコーダ１０２の映像データ量を制御する経路１０７（図1で説明した構成と同様である）、および無線通信装置１０６を介して無線基地局１１１にＱｏＳ制御を要求する経路５０１（図３で説明した構成と同様である）を持つ。

通信制御部１０３の設定により、例えばショベルの旋回制御に対しては映像エンコーダの映像データ量制御指示１０７を行うが、無線基地局１１１に対するＱｏＳ制御指示５０１は出さない、といった制御の取捨選択が可能である。

［システム構成］
実施例１、２、３に示す遠隔操縦システムにおいて、１台の建設機械１２２が複数のカメラ１０１を有し、無線基地局１１１と無線通信装置１０６との間の通信に、ＱｏＳ制御としてＥＤＣＡを利用できる場合、複数のカメラに対してカメラごとのデータの優先度を決めることができる。ＥＤＣＡではカメラからのパケットを４つのアクセスカテゴリ（ＡＣ）に分類して送信キューに格納することができ、優先度の高いキューから順にパケットを送信することができる。

パケットの分類はＩＰパケットのＴＯＳフィールドの値に基づいて行われるため、図1、図３あるいは図６の構成において、送信制御部１０３は建設機械１２２の種別や制御内容に応じて、映像エンコーダ１０２やカメラ１０１に対して出力パケットのＴＯＳフィールドを変更するよう指示を出すように構成すればよい。

［通信制御部１０３］
図７にＥＤＣＡ利用時のカメラの優先度設定の実施例を示す。カメラ位置１００１に対して、カメラ優先度設定１００２が対応している。優先度設定は、建設機械の種類により種々の設定が可能である。建設機械１２２がダンプであり、運転制御が行われている間、通信制御部１０３は車体後方のカメラの優先度が低、車体左右のカメラの優先度が中、車体前方のカメラの優先度が高であると判断する。

さらに通信制御部１０３は、前記カメラの優先度設定１００２に応じて、ＱｏＳのモード設定１００３を切り替えるよう、映像エンコーダ１０２やカメラ１０１に対して指示を出す。例えば優先度１００２が低のカメラに対しては、ＡＣ＿ＢＥ（ＢｅｓｔＥｆｆｏｒｔ）モード、優先度１００２が中のカメラに対しては、ＡＣ＿ＶＩ（Ｖｉｄｅｏ）モード、優先度１００２が高のカメラに対しては、ＡＣ＿ＶＯ（Ｖｏｉｃｅ）モードが選択されるよう、ＩＰヘッダのＴＯＳフィールドを書き換える指示１００３を出す。指示を受けたブロックがＴＯＳフィールドを書き換えた上でパケットを出力することで、重要な映像データを優先して伝送し、データの欠落や遅延を抑制することができる。

図８に本発明の第５の実施形態に関わる建設機械の遠隔操縦システムを示す。実施例１〜４に示す遠隔操縦システムにおいて、操作部１１４はオペレータが操作可能なスイッチ１１０１を具備し、スイッチの情報１１０２を操作部１１４から出力される制御パケットに付与することができる。

制御パケットを受け取った無線通信装置１０６は制御内容とスイッチ情報１１０２を駆動制御部１０４に伝達する。駆動制御部１０４は前記制御内容に基づいてアクチュエータ１０５の制御を行うとともに、通信制御部１０３に制御内容とスイッチ情報１１０２を伝達する。

スイッチ情報１１０２を受け取った通信制御部１０３は、各スイッチ１１０１のＯＮ・ＯＦＦと、通信制御部１０３が行う各制御のＯＮ・ＯＦＦを対応付けて制御を実施することができる。例えば操作部１１４でスイッチＡがＯＦＦ（０）、スイッチＢがＯＮ（１）、スイッチＣがＯＦＦ（０）であったとすると、各スイッチ１１０１の情報１１０２は制御パケットに格納されて通信制御部１０３まで伝達される。このとき通信制御部１０３においてスイッチＡが映像データ量制御１０７、スイッチＢが無線ＱｏＳ制御（ＨＣＣＡ）５０１、スイッチＣが無線ＱｏＳ制御（ＥＤＣＡ）１００３に割り当てられていたとすると、通信制御部１０３は無線ＱｏＳ制御（ＨＣＣＡ）５０１のみ実施し、映像データ量制御１０７、無線ＱｏＳ制御（ＥＤＣＡ）１００３は実施しないよう、オペレータ側で制御を選択することができる。これにより、オペレータが遠隔地でモニタ１１３を見ながら建設機械１２２を操縦する際に、伝送路の状態を考慮して通信制御部１０３が行う制御を任意に切り替えることが可能となる。

本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記の実施例において、各実施例の構成の一部を他の実施例の構成に追加、または置換することが可能である。また上記各構成、機能、処理部、処理手段は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するためのプログラムを解釈し、実行することで、ソフトウェアとして実現してもよい。

本発明の装置・システムは、その各手順をコンピュータに実行させるための通信プログラム、通信プログラムを記録したコンピュータが読み取り可能な記憶媒体、通信プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。

１０１カメラ
１０２映像エンコーダ
１０３通信制御部
１０４駆動制御部
１０５アクチュエータ（機械式、電動式あるいは油空圧式）
１０６無線通信装置
１１１無線基地局
１１２映像デコーダ
１１３モニタ
１１４操作部
１２１操縦装置
１２２建設機械
５０１無線伝送路のＱｏＳを制御する信号
９０１ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ：広域網）
９０２ネットワークＨＵＢ
９０３ゲートウェイ
１１０１制御切替えスイッチ
１１０２通信パケット内に保持されたスイッチの状態情報

Claims

操縦装置からの制御信号を無線により受信し、前記制御信号に基づいて、動作が制御される建設機械であって、
建設機械の周囲を撮像するカメラと、
前記カメラで撮影した映像データのデータ量を圧縮する映像圧縮装置と、
前記映像圧縮装置により圧縮された映像データを前記操縦装置に送信する無線通信装置と、
前記制御信号に基づいて、前記無線により送信される映像データの送信条件を制御する、通信制御部を有し、
前記建設機械は上部旋回体と下部走行体から構成され、
前記上部旋回体は前記下部走行体に対して旋回する機構を有し、
前記映像圧縮装置は映像フレーム間の差分データを送信することにより映像データを圧縮する機能を有し、
前記制御信号が旋回指示であるとき、前記通信制御部は、前記制御信号が旋回以外の指示であるときよりも前記カメラで撮影した映像の解像度を下げるよう前記映像圧縮装置に指令を行い、
前記カメラで撮影した映像データが無線通信のＱｏＳ（ＱｕａｌｉｔｙｏｆＳｅｒｖｉｃｅ）を制御できる無線基地局に送信されるとき、
前記制御信号が旋回指示であるとき、前記無線基地局に対して、前記制御信号が旋回以外の指示であるときよりもデータ量の大きいデータ伝送帯域を確保するようＱｏＳ設定を変更することを特徴とする建設機械。
前記制御信号が前記下部走行体の移動を指示するものであるとき、前記通信制御部は、前記制御信号が前記下部走行体の移動を指示するものでないときよりも前記カメラで撮影した映像の解像度を下げるよう前記映像圧縮装置に指令を行うことを特徴とする、
請求項１記載の建設機械。
前記制御信号が旋回指示であるとき、前記通信制御部は、前記制御信号が旋回以外の指示であるときよりも前記カメラで撮影した映像の解像度を下げるとともに、フレームレートを上げることがないよう前記映像圧縮装置に指令を行うことを特徴とする、請求項１記載の建設機械。
前記カメラを複数備え、
前記通信制御部は、前記制御信号に応じて前記複数のカメラから取得される前記映像データの優先度を決定するとともに、前記制御信号と前記優先度に基づいて、前記カメラ毎に映像データのデータ量を制御する、請求項1記載の建設機械。