[go: up one dir, main page]

JP6343573B2 - 操作支援システムおよび操作支援システムを備えた作業機械 - Google Patents

操作支援システムおよび操作支援システムを備えた作業機械 Download PDF

Info

Publication number
JP6343573B2
JP6343573B2 JP2015034704A JP2015034704A JP6343573B2 JP 6343573 B2 JP6343573 B2 JP 6343573B2 JP 2015034704 A JP2015034704 A JP 2015034704A JP 2015034704 A JP2015034704 A JP 2015034704A JP 6343573 B2 JP6343573 B2 JP 6343573B2
Authority
JP
Japan
Prior art keywords
work
operator
data
support system
work quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015034704A
Other languages
English (en)
Other versions
JP2016156193A (ja
Inventor
柄川 索
索 柄川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2015034704A priority Critical patent/JP6343573B2/ja
Priority to US14/995,607 priority patent/US10373406B2/en
Publication of JP2016156193A publication Critical patent/JP2016156193A/ja
Application granted granted Critical
Publication of JP6343573B2 publication Critical patent/JP6343573B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/438Memorising movements for repetition, e.g. play-back capability
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mechanical Engineering (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Operation Control Of Excavators (AREA)
  • Artificial Intelligence (AREA)
  • Feedback Control In General (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)

Description

本発明は、操作支援システムおよび操作支援システムを備えた作業機械に関する。
従来、ショベル等の操作者によって操作される作業機械の作業効率を高めるために、作業機械の操作を支援する技術が提案されている。
操作者に情報を提示することにより操作を支援する技術の一例として、特許文献1には以下のように記載されている。建設機械の運転システムは、建設機械の運転状況に関する所定状態値の頻度分布に対する設定目標値を設定する設定手段と、所定状態値を検出する検出手段と、検出手段により検出された所定状態値の頻度分布を計算し、計算された頻度分布と設定手段により設定された設定目標値とを比較し、その比較結果に応じて、予め用意してあるメッセージを出力する制御手段とを備えている。
また、操作者の操作を学習して操作を支援する技術の一例として、特許文献2には以下のように記載されている。車両の操作具と駆動部の間に制御則を学習可能な、言い換えると入力と出力の関数関係を逐次修正して最適化可能な制御器を介在させる。制御器は操作具が出力する操作信号と、作業環境や車両内部の状況を検出するセンサ信号を入力とし、駆動部に送る動作指令を出力とする。学習と再生の切り替えは操作者らが手動で行うこともできるが、熟練操作者と非熟練操作者の操作具の扱い、言い替えると入力信号の時間変化に有意な差がある場合は、熟練・非熟練を自動判定して、自動的に切り替えることができる。
また、ニューラルネットワーク再構築のための教師データを自動抽出する技術の一例として、特許文献3には以下のように記載されている。自動学習により最新教師データを追加学習する自己成長型のニューラルネットワークを構築して、複数の入力パラメータから出力予測値を算出する想起を行うニューラルネットワークにおいて、制御結果に基づいて教師データを抽出し、当該教師データを前記各入力パラメータのパターン毎に分類し、それぞれのデータベースを構成するニューラルネットワークの教師データ自動抽出方法が提案される。
特許第4173121号公報 特開2001−142506号公報 特開平7−160661号公報
作業機械の操作支援によって高い作業品質を得るには、理想的な操作の規範が必要である。ここで、作業品質とは作業の良さを評価する定量指標であり、例えば、作業機械が油圧ショベルの場合は、掘削積込みのサイクルタイム、運搬量、燃料消費量、目標地面形状に対する仕上げ精度などを用いることができる。
操作者に操作をアドバイスする情報を提示する場合、操作者の操作を理想的な操作と比較することが必要である。油圧ショベル等の作業機械では、作業する度に作業環境が変わり、理想的な操作も変化するので、作業環境に応じて理想的な操作の規範を生成する操作モデルが必要である。
油圧ショベル等の作業機械による複雑な作業の操作モデルを人手で作るのは難しいので、操作者による操作の記録データから学習するのが効果的である。良い作業モデルを学習するには、作業品質の良い操作のデータが多く必要である。また、作業環境は作業する度に変化するのに加えて、作業が進むにつれて変化していくので、多くのデータを継続的に収集して繰り返し学習することが必要である。しかし、収集されるデータは作業品質の良いものみではないため、データを選別する必要がある。特に、多数の記録データを扱う場合には、データを手動で選別すると大きなコストがかかるので、選別を自動で行う必要がある。
特許文献1の例では、設定手段により、建設機械の運転状況に関する所定状態値の頻度分布に対する設定目標値を設定するので、作業環境の変化に対応することができず、結果として最適なメッセージを出力できないおそれがある。
また、特許文献2の例には、熟練操作者と非熟練操作者の操作具の扱い、言い替えると入力信号の時間変化に有意な差がある場合は、熟練・非熟練を自動判定して、自動的に切り替えることができると記載されているが、一般には操作の微妙な違いによって作業品質に大きな差が生じるので、入力信号から熟練・非熟練を自動判定するのは困難である。
また、特許文献3の例では、制御結果、すなわち作業品質に基づいて教師データを抽出することが記載されているが、油圧ショベル等の作業機械による作業では、作業する度に作業環境が大きく変わり、理想的な作業品質も変化するため、作業品質のみから熟練度の評価を行うのは困難である。
本発明は、上記の課題を解決し、高い作業品質が得られるデータを自動選別して学習することにより、様々な作業の環境条件に適応し、高い作業品質が得られる操作支援システムおよび操作支援システムを備えた作業機械を提供することを目的とする。
上記課題を解決するための本発明の特徴は、例えば以下の通りである。
作業機械の操作データを検出する操作データ検出手段と、作業機械を操作する複数の操作者を識別する操作者識別手段と、操作データおよび識別された複数の操作者の識別情報を蓄積するデータ蓄積手段と、蓄積されたデータに基づき、複数の操作者の作業品質を評価して最良の操作者を選定する作業品質評価手段と、 最良の操作者に対応する操作データに基づき、作業機械の操作モデルのパラメータを学習する学習手段と、操作モデルに基づいて、操作者を支援する操作支援手段と、を有する操作支援システム。
本発明により、様々な作業の環境条件に対応して操作者の操作を支援することができる。上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。
本発明の一実施形態に関わる操作支援システムのシステム構成図である。 本発明の一実施形態に関わるショベルの側面図である。 本発明の一実施形態に関わる操作支援システムのブロック図である。 本発明の一実施形態に関わる記録データの項目表である。 本発明の一実施形態に関わる学習の手順を示すフローチャートである。 本発明の効果を説明するグラフである。
以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。
なお、下記の説明では、作業機械として油圧ショベルに適用した例を示すが、本発明は、これに限定されるものではなく、工作機械、自動車、産業プラントなど、人によって操作または調整される作業機械へ適用可能である。
図1に本発明の操作支援システム1のシステム構成図を示す。複数台の作業機械である油圧ショベル2が作業サイト3の中に配置されている。ここで作業サイト3は、鉱山現場、土木工事現場などの1つの作業現場に対応している。油圧ショベル2には、それぞれ図示されない操作者が搭乗しており、油圧ショベル2を操作して作業を行う。作業を連続して行うため、一台の油圧ショベル2に対して、複数の操作者が交代して搭乗する。
また、作業サイト3には、管理センタ5が設けられている。油圧ショベル2と管理センタ5は無線および優先の通信システム6により接続されており、油圧ショベル2から管理センタ5へのデータ送信および管理センタ5から油圧ショベル2へのパラメータ送信が行われる。管理センタ5には、統合制御装置101、管理ディスプレイ102が備えられており、管理者(図示されない)へ、油圧ショベル2から送信されたデータおよびその分析結果を提示する。
図2は本発明の操作支援システム1を備える油圧ショベル2の構造を示す側面図である。油圧ショベル2は、ブーム201、アーム202、バケット203および上部旋回体204、および、それらを駆動する油圧アクチュエータであるブームシリンダ211、アームシリンダ212、バケットシリンダ213および旋回モータ214、および、これらの油圧アクチュエータを駆動するアクチュエータ駆動装置215を備えている。また、油圧アクチュエータの油圧圧力を検出するブーム油圧センサ241、アーム油圧センサ242、バケット油圧センサ243、旋回油圧センサ244を備えている。
また、油圧ショベル2は、動作状態を検知するための、ブーム角度センサ221、アーム角度センサ222、バケット角度センサ223、旋回角度センサ224、および、作業環境の状態を検知するための環境センサであるカメラ225を備えている。
また、油圧ショベル2は、操作者(図示されない)が搭乗する運転席230、操作者が操作する操作レバー231、操作レバー231の操作量を検出する操作量センサ226、操作者に操作支援情報を提示するディスプレイ232、作業機械を操作する複数の操作者を識別する操作者識別センサ227(操作者識別手段)を備えている。ここで、操作者識別センサ227は操作者の個人識別を行うものであり、例えば、操作者が携帯している無線タグを検知して識別情報を得る。
また、油圧ショベル2は、センサの情報に基づいて作業データの収集、ディスプレイ232へ提示する情報の生成、アクチュエータ駆動装置215に与える制御信号の生成を行う車載制御装置234を備えている。また、油圧ショベル2は、車載制御装置234と管理センタ5の間で通信を行うための通信システム6を介して通信するための無線通信装置235を搭載している。
操作者は、操作レバー231を操作してブームシリンダ211、アームシリンダ212、バケットシリンダ213を駆動して作業を行うが、ディスプレイ232を通じて操作者に操作支援情報を提示することにより作業品質を向上させる。また、車載制御装置234からアクチュエータ駆動装置215へ与えられる制御信号により、操作者の操作の一部を代替することにより、作業品質を向上させる。
図3は、本発明の操作支援システムにおける情報処理・制御システムの構成を示すブロック図である。この操作支援システム1における情報処理・制御の機能は、管理センタ5に設けられている統合制御装置101および油圧ショベル2に設けられている車載制御装置234に搭載されたソフトウェアによって実現される。
データ蓄積部301(データ蓄積手段)は、操作者識別センサ227により得られる操作者識別子311と、操作データ315を半導体メモリ、磁気記憶装置などの記憶装置に蓄積する。換言すれば、データ蓄積部301は、操作データ315および識別された複数の操作者の識別情報を蓄積する
記録されるデータの構造を図4に示す。なお、ここで、操作データ315は、操作量センサ226により得られる操作量312、環境センサ225により得られる環境状態313、車体状態センサ309により得られる車体状態314をまとめたものである。また、作業機械の操作データを検出する車体状態センサ309(操作データ検出手段)は、車体の状態に関わるセンサであるブーム角度センサ221、アーム角度センサ222、バケット角度センサ223、旋回角度センサ224、ブーム油圧センサ241、アーム油圧センサ242、バケット油圧センサ243、旋回油圧センサ244をまとめて表記したものである。
データ選別部302は、データ蓄積部301から操作データ315を読み出し、後述する手順により作業品質を高めるために有効なデータを選別する。
パラメータ学習部303(学習手段)は、データ選別部302で選択された操作データ315を用いて操作モデル304のパラメータを学習し、学習結果の操作モデルパラメータ321を操作モデル304に設定する。換言すれば、パラメータ学習部303は、最良の操作者に対応する操作データ315に基づき、作業機械の操作モデル304のパラメータを学習する。
操作モデル304は、環境状態センサ225および車体状態センサ309から得られる環境状態313、車体状態314から、動作目標322と操作評価指標基準323(作業指標の基準)を生成する関数であり、ニューラルネットなどの入出力の教師データからパラメータを学習する方法で作成する。
ここで、動作目標322は、望ましい動作において、例えばバケットの位置などの動作位置(動作点)を示すものであり、これを目標としてアクチュエータを駆動する。また、操作評価指標基準323は、後述する評価指標の基準となる値であり、望ましい動作において期待される値を示す。
自動操作部305は、動作目標322と、環境状態313と、車体状態314に基づいて、車体の動作を動作目標322に近づけるように、操作指令322を生成する。
操作選択部306は、操作者による手動操作と自動操作を切り替えるものであり、手動操作の場合は操作量センサ224で得られる操作量312をアクチュエータ駆動装置215に伝達し、自動操作の場合は、自動操作部305で生成された操作指令324によって操作量312の一部または全部を置き換えてアクチュエータ駆動装置215に伝達する。
操作評価部307(作業品質評価手段)は、操作量312、環境状態313、車体状態314から、操作評価指標325(作業指標)を算出する。ここで、操作評価指標325は、操作の特性を定量的に評価する指標であり、例えば、サイクルタイム等の作業品質は評価指標の一つである。また、停止状態などの特定の動作状態の頻度を評価指標として用いることもできる。操作評価部307は、データ蓄積部301に蓄積されたデータに基づき、複数の操作者の作業品質を評価して最良の操作者を選定する。
操作支援情報生成部308(操作支援手段)は、操作評価部307で算出された操作評価指標325と、操作モデル304で生成された操作評価指標基準323を比較して、操作アドバイスなどの操作支援情報326を生成し、ディスプレイ232に表示する。また、操作モデル304で制裁された自動操作の動作目標322を可視化してディスプレイ232に表示する。ディスプレイ232に表示する情報は、管理センタ5へ伝送し、管理ディスプレイ102へも表示する。換言すれば、操作支援情報生成部308は、操作モデル304に基づいて、操作者を支援する。
データの蓄積、選別、学習の手順を図5に示すフローチャートを用いて説明する。
まず、データの蓄積を行う。センサから得られた操作者識別子311と操作データ315をデータ蓄積部301に記録する(ステップ501)。次に、所定のデータ記録期間が終了したどうかを判定し(ステップ502)、記録期間が終了してない場合は、ステップ501のデータ蓄積を繰り返し、終了した場合は以下のデータ選別の段階に進む。
データ選別では、まず、データ蓄積部301に蓄積されたデータから最初の操作者の操作データを選択抽出する(ステップ503)。選択したデータに対して、そのデータ全体の平均作業品質を計算して記憶する(ステップ504)。全ての操作者のデータの平均作業品質の計算が完了したかどうかを判定し(ステップ505)、完了していない場合は、次の操作者の操作データを選択し(ステップ506)、ステップ504の平均作業品質計算を繰り返す。
完了した場合は、全ての操作者のなかから平均作業品質が最大になる操作者を選定し(ステップ507)、データ蓄積部301からその操作者の操作データを抽出する(ステップ508)。
最後に抽出された操作データを用いて操作モデルの学習を行い、操作モデルパラメータ321を生成する(ステップ509)。その後、ステップ501から繰り返す。
以下、本発明の一実施形態における操作支援システムおよび操作支援システムを備えた作業機械の作用を説明する。
操作者が油圧ショベル2の運転席230に搭乗すると、操作者識別センサ227は操作者が携帯している無線タグから操作者識別子311を読み出す。
操作者が操作レバー231を操作して作業を行うと、操作者識別子311と、操作量センサ226、環境状態センサ225、車体状態センサ309から得られる操作量312、環境状態313、車体状態314からなる操作データ315が、無線通信装置235と通信システム6を経由して管理センタ5の統合制御装置101に送られ、データ蓄積部301に記録される。
図5のフローチャートに示したように、所定の期間操作データ315が蓄積されると、データの選別と学習が行われる。ここで所定の期間は、多数の異なる操作者のデータを収集するために十分長く、かつ、作業環境が大幅に変化しない範囲に定める。例えば、交替勤務によって連続作業を行っている場合には、交替が一巡する期間を1セットとすると、1回ないし数セットに定める。
データ選別部302は、蓄積された操作データ315から、操作者ごとに作業品質を評価し、操作者間の作業品質を比較することによってデータ選別を行う。作業環境は時々刻々変化しているため、操作データ315には、様々な環境条件での作業が含まれており、作業品質も変動している。
そこで、各操作者について、記録データ全体の平均の作業品質を求めて評価に用いる。例えば、作業品質として、掘削積込み作業のサイクルタイムを用いる場合、一人の操作者の記録データには多くの回数の掘削積込みサイクルが含まれているが、それらのサイクルタイムの平均値をその操作者による平均の作業品質とする。これによって、毎回の作業環境の変動による作業品質のばらつきの影響を除き、操作者ごとの作業品質を比較評価することが可能となる。上記の方法により全ての操作者の平均作業品質を求め、それらを比較して、作業品質が最良となる操作者、すなわち最も優秀な操作者を選定し、その操作者の操作データを抽出してパラメータ学習部303に渡す。これによって、作業品質の良い操作規範を生成する操作モデル304を得ることができる。
パラメータ学習部303は、選定された操作データ315を用いて操作モデル304のパラメータ321を生成する。まず、操作データ315から、バケット位置等の動作点を算出する。また、操作評価部307と同様に操作評価指標325を算出する。環境状態313と車体状態314を入力、動作点と操作評価指標325を出力の教師データとし、これを用いてバックプロパゲーション法などにより操作モデル304を学習させ、操作モデルパラメータ321を得る。これによって、環境状態313と車体状態314を入力、動作点の目標と操作評価指標を出力とする操作モデル304が得られる。
上記により得られた操作モデル304を用いて、以下のように操作支援が行われる。
操作評価部307は、操作量312、環境状態313、車体状態314を用いて、サイクルタイムや、動作状態別の頻度などの操作評価指標325を生成する。また、操作モデル304は、操作モデルパラメータ321に基づいて、環境状態313と車体状態314から、良好な操作が行われた際に得られる操作評価指標値を推測し、操作評価指標基準323として出力する。操作支援情報生成部308は、操作評価指標325と操作評価指標基準323を比較して、差が大きい場合には操作をアドバイスする操作支援情報326を生成する。例えば停止状態の頻度が基準値よりも高い場合には、停止状態を減らすことを促すメッセージを生成する。操作者はディスプレイ232を見てアドバイスを受け、それに従って、あるいは参考にして作業するので、作業品質が高まる。
また、必要に応じて、操作者は操作選択部306を自動操作に切り替える。この時、操作モデル304は、環境状態313と車体状態314から、良好な操作が行われた際のバケット203の位置などの動作目標322を出力する。自動操作部305は、動作目標322と車体状態314から、車体を動作目標322に導くための操作指令324を求める。すなわち、例えば動作目標322がバケット203の位置の場合には、バケットをその位置に導くためのレバー操作量を算出して操作指令324として出力する。操作選択部306は、生成された操作指令324により、操作量312の一部または全部を置き換えてアクチュエータ駆動装置215に伝える。これにより、操作者による操作の一部または全部が、良好な操作を学習している操作モデル304によって代替される、つまり、操作支援情報生成部308は、動作目標322に基づいて、操作者の操作の一部を代替する、ので、作業品質が高まる。なお、自動操作を行っている際には、操作者はレバー操作を行わなくなるため、データ蓄積部301はデータ蓄積を行わない。
なお、上記において、操作モデル304によって直接にアクチュエータに対する操作指令を生成させるのではなく、操作モデル304に動作目標322を生成させ、自動動作部305によって、動作がその動作目標322に一致するように操作指令を生成させている理由は、アクチュエータの動作は外部から働く力などの外乱の影響を強く受けるため、操作指令は外乱に応じて高速かつ大幅に調整する必要があり、操作指令を直接に学習するのは困難なためである。動作目標322を学習による操作モデル304で生成し、自動動作部305で制御理論に基づくフィードバック制御を行うことにより、より学習基の操作者に近い動作させることができる。
上記において、データ選別部302は、まず最も作業品質の高い操作者を選定し、その操作者のデータを抽出することによりデータ選別を行うが、その効果を図6を用いて説明する。
図6は、作業環境の状態と、その状態下において得られる作業品質およびその時の動作点の関係を模式的に示したグラフである。作業機械によって得られる最良の作業品質601は、一般に未知であり、かつ環境状態によって複雑に変化する。また、最良の作業品質601が得られる最良動作点604も環境状態によって変化する。
ここで、熟練度の高い操作者Aと熟練度の低い操作者Bが複数回の作業を行い、それぞれ複数の操作者Aの作業品質データ602(黒丸の点群)と操作者Bの作業品質データ603(白丸の点群)、複数の操作者Aによる作業の動作点データ605(黒丸の点群)、操作者Bによる作業の動作点データ606(白丸の点群)が得られたとする。環境は作業する度に変化し、得られる作業品質も変化するが、操作者Aは熟練度が高いため、いずれの環境でも、その作業品質は最良の作業品質601に近い。
一方、熟練度の低い操作者Bにより得られる作業品質は、その環境における最良作業品質よりも劣る。環境条件によって最良の作業品質601が異なるため、個々のデータを比較すると操作者Aよりも操作者Bの方が作業品質が良いケースもあるが、様々な環境条件を含むデータを平均して比較すれば、操作者Aの平均作業品質610は操作者Bの平均作業品質611よりも良い。
また、操作者A、操作者Bによる作業の動作点データ605、作業の動作点データ606を比較すると、熟練度の高い操作者Aによる作業の動作点データ605の方が、最良動作点604に近くなる。
本発明の一実施形態では、作業品質を操作者ごとに平均して比較して、操作者を選定しているので、最良に近い作業品質が得られる熟練度の高い操作者を選定できる。さらに、その選定した操作者のデータから操作モデル304のパラメータ321を学習するので、図6の操作Aのデータからの学習結果607に示すように、最良動作点604に近い値を出力する操作モデルが得られる。これにより、全ての操作者のデータから学習した結果608に対して、良い操作モデルを得ることができ、より高い作業品質が得られる。
なお、上記の実施例では、データ蓄積、学習、制御等の機能を油圧ショベル2に搭載した車載制御装置234と、管理センタ5に設置した統合制御装置101に搭載した例を示したが、機能の配置は上記の例に限定されず、機能をどこに配置しても良い。例えば、より多くの機能を統合制御装置101に搭載して油圧ショベル2に搭載する装置を簡素化したり、逆により多くの機能を車載制御装置234に搭載して管理センタ5を簡素化しても良い。また、上記の例では管理センタ5は、作業サイト3に設けるものとしているが、複数のサイトの管理センタを統合して、作業サイトとは異なる場所に設置しても良い。
1 操作支援システム、2 油圧ショベル(作業機械)、3 作業サイト、5 管理センタ、6 通信システム、101 統合制御装置、102 管理ディスプレイ、201 ブーム、202 アーム、203 バケット、204 上部旋回体、211 ブームシリンダ、212 アームシリンダ、213 バケットシリンダ、214 旋回モータ、215 アクチュエータ駆動装置、221 ブーム角度センサ、222 アーム角度センサ、223 バケット角度センサ、224 旋回角度センサ、225 環境センサ(カメラ)、226 操作量センサ、227 操作者識別センサ、230 運転席、231 操作レバー、232 ディスプレイ、234 車載制御装置、235 無線通信装置、241 ブーム油圧センサ、242 アーム油圧センサ、243 バケット油圧センサ、244 旋回油圧センサ、301 データ蓄積部、302 データ選別部、303 パラメータ学習部、304 操作モデル、305 自動操作部、306 操作選択部、307 操作評価部、308 操作支援情報生成部、309 車体状態センサ、311 操作者識別子、312 操作量、313 環境状態、314 車体状態、315 操作データ、321 操作モデルパラメータ、322 動作目標、323 操作評価指標基準、324 操作指令、325 操作評価指標、326 操作支援情報、601 最良の作業品質、602 操作者Aの作業品質データ、603 操作者Bの作業品質データ、604 最良動作点、605 操作者Aによる作業の動作点データ、606 操作者Bによる作業の動作点データ、607 操作者Aのデータからの学習結果、608 全ての操作者のデータからの学習結果、610 操作者Aの平均作業品質、611 操作者Bの平均作業品質

Claims (3)

  1. 作業機械の操作データを検出する操作データ検出手段と、
    前記作業機械を操作する複数の操作者を識別する操作者識別手段と、
    前記操作データおよび前記識別された複数の操作者の識別情報を蓄積するデータ蓄積手段と、
    前記蓄積されたデータに基づき、前記複数の操作者の平均の作業品質を評価して最良の操作者を選定する作業品質評価手段と、
    前記最良の操作者に対応する操作データに基づき、前記作業機械の操作モデルのパラメータを学習する学習手段と、
    前記操作モデルに基づいて、前記操作者を支援する操作支援手段と、を有する操作支援システム。
  2. 請求項1において、
    前記作業品質評価手段は、作業指標を算出し、
    前記操作モデルにより前記作業指標の基準が生成され、
    前記操作支援手段は、前記作業指標と前記作業指標の基準に基づき、前記操作者に支援情報を提供する、操作支援システム。
  3. 請求項1乃至2のいずれかにおいて、
    前記操作モデルにより前記作業機械の動作目標が生成され、
    前記操作支援手段は、前記動作目標に基づいて、前記操作者の操作の一部を代替する、操作支援システム。
JP2015034704A 2015-02-25 2015-02-25 操作支援システムおよび操作支援システムを備えた作業機械 Active JP6343573B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015034704A JP6343573B2 (ja) 2015-02-25 2015-02-25 操作支援システムおよび操作支援システムを備えた作業機械
US14/995,607 US10373406B2 (en) 2015-02-25 2016-01-14 Operation support system and working machine including operation support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015034704A JP6343573B2 (ja) 2015-02-25 2015-02-25 操作支援システムおよび操作支援システムを備えた作業機械

Publications (2)

Publication Number Publication Date
JP2016156193A JP2016156193A (ja) 2016-09-01
JP6343573B2 true JP6343573B2 (ja) 2018-06-13

Family

ID=56689969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015034704A Active JP6343573B2 (ja) 2015-02-25 2015-02-25 操作支援システムおよび操作支援システムを備えた作業機械

Country Status (2)

Country Link
US (1) US10373406B2 (ja)
JP (1) JP6343573B2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6617088B2 (ja) * 2016-09-13 2019-12-04 日立建機株式会社 油圧ショベルの作業効率指標表示システム
JP6658494B2 (ja) * 2016-12-20 2020-03-04 横河電機株式会社 作業支援装置、作業支援システム、作業支援方法、プログラム、および記録媒体
JP6690568B2 (ja) * 2017-02-01 2020-04-28 株式会社デンソー 能力評価システムおよび能力評価装置
JP6713688B2 (ja) 2017-03-06 2020-06-24 キタムラ機械株式会社 マシニングセンタnc操作盤
JP7240382B2 (ja) 2017-05-05 2023-03-15 ジェイ.シー. バンフォード エクスカベターズ リミテッド 作業機械
CN111079942B (zh) * 2017-08-30 2023-03-24 第四范式(北京)技术有限公司 执行机器学习的分布式系统及其方法
DE102018200232A1 (de) * 2018-01-09 2019-07-11 Robert Bosch Gmbh Verfahren zum Betrieb einer Arbeitsmaschine und Arbeitsmaschine
JP7328212B2 (ja) * 2018-03-30 2023-08-16 住友重機械工業株式会社 建設機械の運転支援システム、建設機械
JP6626544B1 (ja) * 2018-08-21 2019-12-25 三菱ロジスネクスト株式会社 作業用車両決定装置および作業用車両決定方法
JP7097022B2 (ja) * 2018-08-31 2022-07-07 コベルコ建機株式会社 建設機械
CN113167057B (zh) * 2018-11-19 2023-07-07 住友建机株式会社 挖土机、挖土机的控制装置
JP7146594B2 (ja) * 2018-11-27 2022-10-04 Ihi運搬機械株式会社 荷役機械運転支援装置
JP7316052B2 (ja) * 2019-01-29 2023-07-27 株式会社小松製作所 作業機械を含むシステム、およびコンピュータによって実行される方法
EP3933118B1 (en) * 2019-02-28 2024-05-22 Sumitomo Heavy Industries, Ltd. Work machine and information processing device
JP6853845B2 (ja) * 2019-03-07 2021-03-31 大豊建設株式会社 減圧管理システム及び減圧管理方法
EP3919687A4 (en) * 2019-04-04 2022-11-16 Komatsu Ltd. WORK MACHINE SYSTEM, COMPUTER-EXECUTED METHOD, METHOD OF PRODUCTION FOR TRAINED POSITION ESTIMATION MODELS AND LEARNING DATA
CN115467382B (zh) * 2019-05-24 2025-08-08 川崎重工业株式会社 带学习功能的建筑机械
JP7367568B2 (ja) * 2020-03-10 2023-10-24 コベルコ建機株式会社 自動操作システム、自動操作プログラム、および自動操作方法
JP2021143498A (ja) * 2020-03-11 2021-09-24 株式会社小松製作所 操作システム
JP7388954B2 (ja) 2020-03-11 2023-11-29 株式会社小松製作所 操作ガイド装置
JP7451240B2 (ja) * 2020-03-13 2024-03-18 株式会社小松製作所 作業システム、コンピュータによって実行される方法、および学習済みの姿勢推定モデルの製造方法
JPWO2021193450A1 (ja) * 2020-03-25 2021-09-30
CN115279974B (zh) 2020-05-27 2025-10-24 住友重机械工业株式会社 挖土机用施工支援系统
JP7406641B2 (ja) * 2020-08-24 2023-12-27 日本国土開発株式会社 操作制御方法
US20220206481A1 (en) * 2020-12-31 2022-06-30 Schneider Electric Systems Usa, Inc. Systems and methods for benchmarking operator performance for an industrial operation
JP2024007313A (ja) 2022-07-05 2024-01-18 吉谷土木株式会社 作付け支援方法と圃場作業支援システム等
DE112023003383T5 (de) * 2022-08-08 2025-05-22 Ntn Corporation Informationsverarbeitungsvorrichtung

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59150837A (ja) * 1983-02-17 1984-08-29 Hitachi Constr Mach Co Ltd 作業機械の動作再生装置
JPH07160661A (ja) 1993-12-02 1995-06-23 Hitachi Ltd ニューラルネットワークの教師データ自動抽出方法と、それを用いたニューラルネットワークシステム、並びに、プラント運転支援装置
JP2001142506A (ja) * 1999-11-16 2001-05-25 Hitachi Ltd 操作支援機能付き車両
JP4173121B2 (ja) 2003-09-02 2008-10-29 株式会社小松製作所 建設機械の運転システム
JP2010133140A (ja) * 2008-12-04 2010-06-17 Sumitomo Metal Ind Ltd 回転貫入杭施工システム
JP5874330B2 (ja) * 2011-11-08 2016-03-02 Jfeスチール株式会社 産業用制御システムの監視装置
EP2984532B1 (en) * 2013-04-12 2018-12-05 Dana Limited Vehicle and operator guidance by pattern recognition
US20150004574A1 (en) * 2013-06-27 2015-01-01 Caterpillar Inc. Prioritizing Method of Operator Coaching On Industrial Machines

Also Published As

Publication number Publication date
JP2016156193A (ja) 2016-09-01
US10373406B2 (en) 2019-08-06
US20160247332A1 (en) 2016-08-25

Similar Documents

Publication Publication Date Title
JP6343573B2 (ja) 操作支援システムおよび操作支援システムを備えた作業機械
US11701772B2 (en) Operation prediction system and operation prediction method
US11222202B2 (en) Targeted testing and machine-learning systems for detecting and identifying machine behavior
US7464063B2 (en) Information processor, state judging unit and diagnostic unit, information processing method, state judging method and diagnosing method
EP2984532B1 (en) Vehicle and operator guidance by pattern recognition
AU2015318047B2 (en) Method for developing machine operation classifier using machine learning
JP4032045B2 (ja) データ処理方法及びデータ処理装置、並びに診断方法及び診断装置
Naskoudakis et al. A thematic review of main researches on construction equipment over the recent years
JP2019162712A (ja) 制御装置、機械学習装置及びシステム
US12093024B2 (en) Operation evaluation device, operation evaluation method, and program
JP6603260B2 (ja) 数値制御装置
JP2019038074A (ja) 異常検知装置及び機械学習装置
US20220120056A1 (en) Method, device and user interface for presentation of information describing a running operating condition of a demolition robot
CN118311935B (zh) 一种家居自动化生产控制系统及方法
US20180231388A1 (en) Waste management system having roadway condition detection
US20160104391A1 (en) Method of training an operator of machine
KR20210120192A (ko) 차량의 진동 검사 시스템 및 그 방법
KR102513839B1 (ko) 건설 장비의 결함 진단 시스템 및 결함 진단 방법
Naskoudakis et al. A thematic review of the main research on construction equipment over recent years
US20180164994A1 (en) Operator interface for wireless sensing and system and method thereof
CN105988430A (zh) 生成生产过程语义模型的方法和装置
KR20230138504A (ko) 기계의 상태 검출 장치
Koiwai et al. A consideration on responsiveness evaluation for an excavator based on control engineering approach
US10573092B2 (en) Real-time remote visualization of frame damage from field data
CN119088038A (zh) 一种用于智能移动机器人的循迹系统及方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170111

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180521

R150 Certificate of patent or registration of utility model

Ref document number: 6343573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150