[go: up one dir, main page]

CN111226009B - 作业机的外形形状测定系统、作业机的外形形状显示系统、作业机的控制系统以及作业机械 - Google Patents

作业机的外形形状测定系统、作业机的外形形状显示系统、作业机的控制系统以及作业机械 Download PDF

Info

Publication number
CN111226009B
CN111226009B CN201880055028.1A CN201880055028A CN111226009B CN 111226009 B CN111226009 B CN 111226009B CN 201880055028 A CN201880055028 A CN 201880055028A CN 111226009 B CN111226009 B CN 111226009B
Authority
CN
China
Prior art keywords
work machine
coordinate system
image
machine
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880055028.1A
Other languages
English (en)
Other versions
CN111226009A (zh
Inventor
早川直树
广松航平
坂井大斗
泉枝穗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Publication of CN111226009A publication Critical patent/CN111226009A/zh
Application granted granted Critical
Publication of CN111226009B publication Critical patent/CN111226009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39393—Camera detects projected image, compare with reference image, position end effector
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

测定控制器(20)基于通过摄影装置(19)对作业机(1A)的侧面进行拍摄而得到的图像和摄影装置的内部参数，算出在摄影装置坐标系(Co1)中呈现作业机的侧面的平面(S1)的位置，基于在摄影图像上构成作业机的任意的像素的摄影图像中的位置信息和平面(S1)的位置，算出与该任意的像素对应的作业机上的点的摄影装置坐标系(Co1)中的坐标值，将与该任意的像素对应的作业机上的点的摄影装置坐标系中的坐标值转换成作业机坐标系(Co3)中的坐标值，并输出至液压挖掘机(1)的作业机械控制器(50)。

Description

作业机的外形形状测定系统、作业机的外形形状显示系统、作 业机的控制系统以及作业机械
技术领域
本发明涉及具有测定控制器的作业机的外形形状测定系统，测定控制器对搭载于作业机械的作业机的形状进行计测。
背景技术
近年来，伴随对信息化施工的应对，在包括液压挖掘机在内的作业机械中有具有如下的功能的作业机械：(1)利用传感器检测动臂、斗杆、铲斗等的作业机(前部作业机)的位置和姿势，并在监控器显示根据该传感器信息的位置和姿势的铲斗的图像而提供给操作员的机械指导(MG)；(2)与MG同样地利用作业机的位置和姿势的传感器信息，按照预先决定的条件来控制作业机的机械控制(MC)的功能。通常，在搭载有这种功能的液压挖掘机中，为了向操作员告知实际的铲斗与目标面的相对位置关系，将在侧面观察铲斗的图像与目标面一并在驾驶室内的监控器上显示。
与这种技术相关地，在专利文献1中，从在监控器显示多个种类的铲斗的图像时减少操作员的不适感的观点来看公开了如下的技术。即，引用文献1公开了一种具有安装有铲斗的作业机的作业机械的显示系统，该作业机械的显示系统包括：生成部，其利用所述铲斗的形状以及尺寸的信息，生成用于描绘从侧面观察所述铲斗的图像的描绘信息；显示部，其基于由所述生成部生成的所述描绘信息，显示从侧面观察所述铲斗的图像以及表示地形的剖面的图像，所述铲斗的形状以及尺寸的信息包括在侧面观察所述铲斗时所述铲斗的刀尖与将所述铲斗安装于所述作业机的铲斗销的距离、连结所述刀尖以及所述铲斗销的直线与表示所述铲斗的底面的直线所成的角度、所述刀尖的位置、所述铲斗销的位置、以及从将所述铲斗连结至所述作业机的部分到所述刀尖为止的所述铲斗的外侧的至少一个位置。
现有技术文献
专利文献
专利文献1：国际公开第2016/56674号手册
发明内容
然而，从提升上述MG或MC的准确度的观点来看，需要以铲斗为首的作业机的准确的外形信息。
通常，由于包括铲斗在内的作业机利用由操作员进行的焊接等的手工操作来制造，所以在该过程中会发生变形或位置偏移等而成形成与设计数据不同的形状。因此，通常通过针对每个作业机械进行基于度量仪的测定、使用了全站仪的测定等来获取作业机的外形信息。在这些手法中，为了得到足够的测定精度，需要限制作业机的姿势或使用大规模的测定装置。在此基础上，为了按照实际的形状在监控器上准确地显示作业机的形状，需要事先测定尽可能多的点，成为非常费功夫的作业。
因此，几乎没有外形信息按照实物而准确被登记的作业机，在基本上的情况下仅登记作业机的外形上的代表性的1点(例如铲斗爪尖)或数点的位置，这种实际情况会妨碍准确的MG或MC的实现。即，在MC中，作业机的外形上位置没有被登记的点与目标面接触致使目标面预料之外地发生变形、损伤，或在MG中，存在在与目标面在事实上处于最短距离的外形上的点未登记的情况下而向监控器提供错误的距离的担忧。
本发明的目的在于，提供一种能够简单地测定作业机的外形信息的测定系统、利用测定系统来支援操作员高精度地成形目标面的显示系统以及控制系统、以及具有这些系统的作业机械。
本申请包含多个解决上述课题的手段，若举出其中一例则如下，在具备对搭载于作业机械的作业机的形状进行计测的测定控制器在内的作业机的外形形状测定系统中，具备对所述作业机的侧面进行拍摄的摄影装置，所述测定控制器基于通过所述摄影装置对所述作业机的侧面进行拍摄而得到的图像和所述摄影装置的内部参数，算出在对所述摄影装置设定的作为三维坐标系的摄影装置坐标系中呈现所述作业机的侧面的平面的位置，基于在所述图像上构成所述作业机的任意的像素的所述图像中的位置信息和所述平面的位置，算出与所述像素对应的所述作业机上的点在所述摄影装置坐标系中的坐标值，将与所述像素对应的所述作业机上的点在所述摄影装置坐标系中的坐标值转换成对所述作业机设定的作为二维坐标系的作业机坐标系中的坐标值，并输出至所述作业机械的作业机械控制器。
发明效果
根据本发明，能够简单地测定作业机的外形信息。
附图说明
图1是本发明的实施方式1的液压挖掘机和摄影装置的构成图。
图2是本发明的实施方式1的系统的构成图。
图3是呈现液压挖掘机中的坐标系的图。
图4是本发明的实施方式1的作业机的外形形状测定系统的功能框图。
图5是示出在作业机侧面上安装的已知点标识的例子的图。
图6是示出摄影装置坐标系中的摄影装置和作业机侧面上的已知点标识的位置关系的图。
图7是示出图像传感器坐标系中的像的位置关系的图。
图8是示出摄影装置坐标系和作业机坐标系的关系的图。
图9是本发明的实施方式1的液压挖掘机的系统的功能框图。
图10是呈现从作业机坐标系向车身坐标系转换的图。
图11是示出车身坐标系中的目标面的图。
图12是示出作业机与目标面的关系的例子的图。
图13是示出在显示监控器18显示的画面的例子的图。
图14是本发明的第二实施方式的液压挖掘机的构成图。
图15是本发明的第二实施方式的系统的功能框图。
具体实施方式
以下，利用附图对本发明的实施方式进行说明。此外，以下，作为应用本发明的作业机械，例示作为作业机(前部作业机)的前端的附件而具有铲斗4的液压挖掘机，但也可以在具有铲斗以外的附件的液压挖掘机应用本发明。另外，即使是液压挖掘机以外的作业机械，只要是像例如轮式装载机那样具有作业机的作业机械就能够应用本发明。而且，在以下的说明中，有时将作业机1A所包含的多个前部部件(具体来说，动臂2、斗杆3以及铲斗4)中期望由测定控制器20计测形状(作业机1A上的任意点的作业机坐标系Co3(后述)中的位置)的一个以上的前部部件称为作业机。
<第一实施方式>
在第一实施方式中，对具备摄影装置(例如相机)19、测定控制器20和搭载于液压挖掘机1的作业机械控制器50的系统进行说明，其中，摄影装置19对搭载于液压挖掘机(作业机械)1的作业机1A进行拍摄的摄影装置(例如相机)19，测定控制器20利用通过摄像装置19拍摄作业机1A的侧面得到的图像(以下有时称为“作业机侧面图像”)对与作业机1A的形状有关的信息进行计测，作业机械控制器50输入由测定控制器20运算出的与作业机1A的形状有关的信息，并用于由液压挖掘机1执行的例如MG或MC。
图1是本发明的实施方式的液压挖掘机1和摄影装置19以及测定控制器20的构成图。另外，图2是本实施方式的系统的构成图。如图2所示，本实施方式的系统由搭载有作业机械控制器50的液压挖掘机1、设于与液压挖掘机1分离的位置的摄影装置19以及测定控制器20构成。摄影装置19为对作业机1A的侧面的照片(图像)进行拍摄的相机。测定控制器20算出呈现作业机1A的侧面的平面的位置，基于该平面的位置和由摄像装置19拍摄到的图像，生成作业机1A的侧面上的任意点的作业机坐标系Co3中的坐标值和作业机1A的描绘图像。搭载于液压挖掘机1的作业机械控制器50提供机械指导(MG)功能、机械控制(MC)功能，但作为用于该MG、MC的作业机1A的形状信息、描绘信息，而利用测定控制器20输出的作业机1A的侧面上的任意点的作业机坐标系Co3中的坐标值和作业机1A的描绘图像。
测定控制器20以及作业机械控制器50分别为具有处理装置(例如CPU)和保存有该处理装置所执行的程序的存储装置(例如ROM、RAM等的半导体存储器)的控制装置。本实施方式的控制器20、50分别接收来自外部装置(例如摄影装置19、目标面数据输入装置37(参照图9)、各种传感器12、13、14、16、17、操作杆10、11)的信息或信号，进行生成作业机1A的坐标值和描绘图像所需的各种运算、向设于液压挖掘机1的驾驶室内的显示监控器(显示装置)18的显示或与液压挖掘机1的动作有关的各种运算。后面利用图4、图9的功能框图对该测定控制器20以及作业机械控制器50所执行的运算的具体的内容进行说明。
如图1所示，液压挖掘机1通过将沿垂直方向分别转动的多个前部部件(动臂2、斗杆3以及铲斗4)连结而构成的多关节型的作业机(前部作业机)1A、和由上部旋转体1BA以及下部行使体1BB构成的车身1B构成，位于作业机1A的基端侧的动臂2的基端可在上下方向上转动地支承于上部旋转体1BA的前部。上部旋转体1BA可旋转地安装于下部行使体1BB的上部。另外，在作业机1A的侧方设置有用于对作业机1A侧面的照片进行拍摄的内部参数(例如，焦点距离(f)、图像传感器尺寸(纵h、横w)、像素数(纵H，横W)、单元单位尺寸、图像中心坐标等)明确的摄影装置19和测定控制器20。
摄影装置19为具备CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor：互补性氧化金属半导体)等的摄像元件(图像传感器)的单反相机。摄影装置19将拍摄到的图像数据输出至测定控制器20。另外，摄影装置19也可以替换成如下这种相机，除了能够获取图像信息之外还能够获取，像立体相机(stereo camera)那样利用了视差的深度信息(到被摄体为止的距离信息)、发射激光等而对反射光的到达时间进行计测等的深度信息。此外，测定控制器20也可以内置于摄影装置19。
动臂2、斗杆3、铲斗4、上部旋转体1BA以及下部行使体1BB分别构成由动臂液压缸5、斗杆液压缸6、铲斗液压缸7、旋转液压马达8以及左右的行使液压马达9a、9b(液压执行机构)驱动的被驱动部件。这些多个被驱动部件的动作由通过操作员对设于上部旋转体1BA上的驾驶室内的行使右杆10a、行使左杆10b、操作右杆11a以及操作左杆11b(有时将这些总称为操作杆10、11)进行操作而产生的先导压来控制。驱动上述多个被驱动部件的先导压不仅包括由操作杆10、11的操作输出的先导压，还包括搭载于液压挖掘机1的多个比例电磁阀39(图9参照)的一部分(增压阀)与操作杆10、11的操作无关地动作而输出的先导压、将多个比例电磁阀39的一部分(减压阀)动作而由操作杆10、11的操作输出的先导压减压后的先导压。像这样，从多个比例电磁阀39(增压阀以及减压阀)输出的先导压根据预先决定的条件起动使动臂液压缸5、斗杆液压缸6以及铲斗液压缸7动作的MC。
在作业机1A中，以能够测定动臂2、斗杆3、铲斗4的转动角度α、β、γ(参照图3)的方式在动臂销安装有动臂角度传感器12，在斗杆销安装有斗杆角度传感器13，在铲斗连杆15安装有铲斗角度传感器14。在上部旋转体1BA安装有对相对于基准面(例如水平面)的上部旋转体1BA(车身1B)的前后方向上的倾斜角θ(参照图3)进行检测的车身前后倾斜角传感器16a、和对上部旋转体1BA(车身1B)的左右方向上的倾斜角
Figure BDA0002390841390000061
(未图示)进行检测的车身左右倾斜角传感器16b。此外，图3中标记的X轴以及Z轴以动臂销的轴心上的点(例如中央点)为原点，示出以车身上方方向为Z轴、以车身前方方向为X轴、以车身右方向为Y轴的车身坐标系Co4。
在上部旋转体1BA配置有第一GNSS天线17a和第二GNSS天线17b。第一GNSS天线17a以及第二GNSS天线17b为RTK-GNSS(Real Time Kinematic-Global Navigation SatelliteSystems：实时动态全球导航卫星系统)用的天线，接收从多个GNSS卫星发出的电波(驾驶术信号)。作业机械控制器50基于直到从多个GNSS卫星发出的电波到达第一以及第二GNSS天线17a、17b为止所需的时间，能够对各自的天线位置的纬度、经度以及高度(椭圆体高)进行测定。由此，能够对作为三维坐标系的地理坐标系(世界坐标系)Co5中的液压挖掘机1(上部旋转体1BA)的位置和朝向进行运算。此外，也可以采用如下的构成：利用专用的接收机对第一以及第二GNSS天线17a、17b的位置以及高度进行运算，将运算结果输出至作业机械控制器50。
基于根据各种姿势传感器12、13、14、16的输出而运算出的作业机1A的姿势信息、根据GNSS天线17a、17b的接收信号运算出的上部旋转体1BA的位置信息等，在液压挖掘机1的驾驶室内的显示监控器18的画面上显示从侧面观察作业机1A的图像以及目标面的剖面形状。从侧面观察作业机1A的图像是基于由摄影装置19拍摄到的作业机侧面图像而由测定控制器20生成的。接着，利用附图针对测定控制器20基于摄像装置19的作业机侧面图像而生成作业机1A的作业机坐标系Co3上的坐标值和描绘图像的处理进行说明。
(测定控制器的构成)
图4是本发明的实施方式的测定控制器20的功能框图。如图所示，测定控制器20具备对作业机坐标系Co3的作业机1A的坐标值进行运算的作业机坐标系坐标运算部21、和生成作业机坐标系Co3的作业机1A的描绘图像的作业机坐标系描绘图像生成部22，接受由摄影装置19拍摄的作业机1A的侧面照片的输入。
作业机坐标系坐标运算部21具备：摄影位置运算部23，其算出在对摄影装置19设定的作为三维坐标系的摄影装置坐标系Co1中呈现作业机1A的侧面的平面的位置；摄影装置坐标系坐标转换部24，其对在由摄影装置19拍摄到的作业机侧面图像上构成作业机1A的像素(以下有时称为“作业机构成像素”)所包含的任意的像素所对应的作业机1A上的点(以下有时称为“作业机对应点”)的摄影装置坐标系Co1中的坐标值进行计算；以及作业机坐标系坐标转换部25，其将摄影装置坐标系Co1中的作业机对应点的坐标转换成作业机坐标系Co3中的坐标值。作业机坐标系坐标运算部21将由摄影装置19拍摄到的作业机1A的侧面图像(作业机侧面图像)作为输入，输出在该作业机侧面图像上指定的作业机构成像素的作业机对应点的作业机坐标系Co3中的坐标值。
此外，在输入由摄影装置19拍摄到的作业机侧面图像时，也可以利用测定控制器20执行以摄影装置19的内部参数为基础对该作业机侧面图像实施失真修正的处理。另外，在本实施方式中，说明了在作业机侧面图像中，针对作业机侧面部与其他部分(背景)的边界线的轮廓线上的所有像素的作业机对应点输出作业机坐标系Co3中的坐标值(作业机坐标系坐标值)的情况，但也可以采用输出作业机侧面图像上的作业机侧面部的所有像素(即作业机侧面部的轮廓线内的所有像素)的作业机对应点的作业机坐标系坐标值、或输出用户经由某种输入接口指定的作业机侧面部上的像素的作业机对应点的作业机坐标系坐标值等任意方法。
摄影位置运算部23基于通过摄影装置19对作业机1A的侧面拍摄到的图像(作业机侧面图像)和摄影装置19的内部参数，对摄影装置19设定的作为三维坐标系的摄影装置坐标系Co1中的表示作业机1A的侧面的平面S1(后述图8参照)的位置进行计算。在本实施方式中，利用摄影装置坐标系Co1中的平面S1的方程式特定摄影装置坐标系Co1中的平面S1的位置。
在本实施方式中，在由摄影位置运算部23进行表示作业机1A的平面S1的方程式的计算时，如图5所示，采用在由摄影装置19拍摄的作业机1A的侧面上将彼此的距离为已知的标识(已知点标识)40在成为三角形这样的位置设置三个的方法。在本实施方式中，根据该三个标识40的作业机侧面图像中的像素位置计算该三个已知点标识40的摄影装置坐标系Co1中的位置(坐标)，根据该三点的位置来运算平面S1的方程式。此外，在包括液压挖掘机在内的作业机械的领域中，在显示监控器18显示的作业机1A的图像通常成为侧面图像，因此，优选以使平面S1与作业机1A的动作平面(例如与动臂销正交的面)平行的方式，将三个标识配置在与该动作平面平行的面上，但也可以在与动作平面交叉的面(即与动作平面不平行的面)的上配置三个标识。由于已知点标识40只要以平面定义即可，所以也可以在作业机1A的侧面设置4个以上已知点标识40，来求出所有标识40位于的平面S1的方程式。
标识40为具有规定的大小、颜色、图案、形状、性质等的特征的物体，例如可以利用对特定的波长的光进行反射的标识或向特定的方向反射光的标识、利用AR(AugmentedReality：增强现实)技术的AR标识、包括像QR码(注册商标)这样的二维码在内的标识。
图5示出本实施方式中的已知点标识40的具体的例子。在本实施方式中，以在铲斗4的侧面上三个已知点标识40不位于同一直线上的方式设置，求出三个已知点标识40的坐标值并算出平面。此外，关于三个标识40的配置位置，也可以在作业机侧面上描画三条直线，在该三条直线交叉的三个交点配置三个标识40。
图6呈现出在摄影装置坐标系Co1中摄影装置19的摄影装置和作业机侧面上的已知点标识40(P1、P2、P3)的位置关系的图。摄影装置坐标系Co1为以摄影装置19的透镜中心为原点O、以光轴的方向为Z轴、以摄影装置19的上方为Y轴、以右方为X轴的坐标系。另外，摄影装置坐标系Co1中的坐标值的单位为例如毫米之类的长度的单位。点P1～P3为已知点标识40的位置，将与点P1～P3同样的作业机侧面上的任意点设为Q。Lij(i，j＝1～3，i≠j)为点Pi与点Pj间的距离(两个已知点标识40的距离)。在此，Lij为已知的值。另外，摄影装置19的图像传感器35在摄影装置19的焦点距离为f时，位于Z＝-f的平面上。
图7示出在摄影装置19的图像传感器35上拍摄到的点P1～3以及点Q的像，点P1’～P3’、Q’分别为点P1～P3、Q的像的位置。在此，将以光轴中心为原点O’、以传感器的右方向为U轴、以上方向为V轴的二维坐标系设为图像传感器坐标系Co2。在点P1’～P3’映出像素(Uk，Vk)(k＝1～3，Uk，Vk的单位为像素)时，若图像传感器的尺寸为纵h、横w，像素数为纵H像素、横W像素，则点P1’～P3’的摄影装置坐标系Co1中的坐标值以下述式(1)表达。
【数学式1】
Figure BDA0002390841390000101
此时，摄影装置19的透镜中心的点O和点Pk、Pk’(k＝1～3)如图6所示，由于位于同一直线状，所以以下述式(2)表达。
【数学式2】
Figure BDA0002390841390000102
此外，rk(k＝1～3)为比例常数，在该阶段为未知数。利用该rk表达点Pk(k＝1～3)的摄影装置坐标系Co1中的坐标值则成为下述式(3)。
【数学式3】
OPk：(rk·xk，rk·yk，rk·-f) 式(3)
在此，
Figure BDA0002390841390000103
此时，已知点标识40间的距离Lij(i，j＝1～3，i≠j)以下述式(4)表达。
【数学式4】
Lij 2＝(rixi-rjxj)2+(riyi-rjyj)2+f2(ri-rj)2 式(4)
三个已知点标识40间的距离Lij(i，j＝1～3，i≠j)为已知，因此，能够根据L12、L23、L31的值导出三个联立方程式。通过解出该联立方程式能够求出rk(k＝1～3)，根据上述式(3)求出摄影装置坐标系Co1中的点Pk(k＝1～3)的坐标(即三个已知点标识40的坐标)。
若将i、j、k设为1～3的各自不同的数，将c设为0以外的常数，则表示作业机1A的侧面的平面S1(图8参照)的法线矢量n(参照图8)以下述式(5)表达。
【数学式5】
Figure BDA0002390841390000111
然后，根据点Pk(k＝1～3)的摄影装置坐标系Co1中的坐标，以下述方式求出表示作业机1A的侧面的平面S1上的与任意点Q有关的方程式。
【数学式6】
Figure BDA0002390841390000112
接着，摄影装置坐标系坐标转换部24基于在作业机侧面图像上的任意作业机构成像素的位置信息和由摄影位置运算部23算出的方程式，对该任意作业机构成像素的作业机对应点的摄影装置坐标系Co1中的坐标值进行计算。具体来说，摄影装置坐标系坐标转换部24通过图像处理从由摄影装置19拍摄到的作业机侧面图像提取作业机1A的轮廓线，针对位于所提取出的轮廓线上的任意的像素(作业机构成像素)，基于与像素位置信息和点Q有关的方程式(平面S1的方程式)求出作业机对应点的摄影装置坐标系Co1中的坐标值。
在此，求出与作业机侧面上的点成像于像素位置(U、V)的点(即作业机构成像素)对应的作业机1A上的点(作业机对应点)的摄影装置坐标系Co1中的坐标值的方法如下所示。在此，将作业机侧面的平面S1上的任意点Q(作业机对应点)成像于图像传感器上的点(作业机构成像素)设为点Q’。在点Q’的像素位置为(U、V)时，与上述式(1)同样地，点Q’以以下的式(7)的方式表达。
【数学式7】
Figure BDA0002390841390000113
点Q’、原点O以及点Q位于同一直线上，因此，直线OQ利用上述式(7)以下述式(8)的方式表达。
【数学式8】
Figure BDA0002390841390000121
因此，摄影装置坐标系Co1中的点Q(作业机对应点)的位置(坐标)由表示作业机1A的侧面的平面S1的方程式(上述式(6))、与从图像传感器上的点Q’和原点O通过的直线的方程式(上述式(8))的交点求出。
作业机坐标系坐标转换部25将摄影装置坐标系Co1中的作业机对应点的坐标值(点Q的位置)转换成作业机坐标系Co3中的坐标值，将转换后的坐标值(以下有时称为“作业机坐标系坐标值”)输出至作业机械控制器50和作业机坐标系描绘图像生成部22。在此，作业机坐标系Co3为在由摄影位置运算部23求出方程式的表示作业机1A的侧面的平面S1上规定的二维的坐标系，作业机坐标系Co3中的坐标值的单位例如为毫米之类的长度单位。作业机坐标系Co3以作业机1A的转动中心为原点，以作业机前端方向为x轴，以与x轴正交的方向设为y轴。
图8示出本实施方式中的表示作业机1A的侧面的平面S1、作业机坐标系Co3和摄影装置坐标系Co1的关系图。在图8中，以构成多关节型的作业机1A的多个前部部件2、3、4中的铲斗4为对象，以铲斗4的转动中心为作业机坐标系Co3的原点，将从该原点朝向铲斗爪尖的直线设定为作业机坐标系Co3的x轴，将与该x轴正交的方向设定为作业机坐标系Co3的y轴。此外，在对动臂2、斗杆3上的点设定作业机坐标系Co3的情况下，只要将各自的基端侧的转动中心设为原点，朝向斗杆3、铲斗4的转动中心(各前部部件的前端部)设定x轴即可。
此外，在作业机坐标系Co3的设定(原点的位置、x轴、y轴的方向)在作业机械控制器50侧未登记的情况下，不仅向作业机械控制器50输出坐标值，还输出作业机坐标系Co3的设定。
接着，对由作业机坐标系描绘图像生成部22进行的处理进行说明。在本实施方式中，例示并记载了如下的情况，即，作业机坐标系坐标运算部21针对作业机1A的轮廓线上的所有像素的作业机对应点运算作业机坐标系坐标，向作业机坐标系描绘图像生成部22输出，但也可以对轮廓线上的一部分的像素的作业机对应点运算并输出作业机坐标系Co3的坐标。另外，对轮廓线上的像素和该轮廓线内所包含的一个以上的像素、轮廓线上的像素和该轮廓线内所包含的所有像素、用户使用某种输入接口而从所有作业机构成像素中任意指定的一个以上的像素的作业机对应点的坐标值进行运算并输出的情况也相同。在此，基于MC的作业机1A的控制的准确性或基于MG的作业机1A与目标面的距离的准确性能够仅利用由作业机坐标系坐标运算部21运算出的坐标值来担保，所以例如在显示监控器18显示的作业机1A的形状不要求准确性的情况下能够省略作业机坐标系描绘图像生成部22。
作业机坐标系描绘图像生成部22基于由作业机坐标系坐标转换部24转换的作业机坐标系Co3中的作业机对应点的坐标值，生成作业机坐标系Co3中的作业机1A的描绘图像(以下，有时称为“作业机坐标系描绘图像”。这里包含例如从侧面观察铲斗4的图像)，将该描绘图像输出至作业机械控制器50。作为作业机1A的描绘图像的具体的生成方法，例如有如下的方法，即，执行利用作为作业机1A的颜色而预先决定的颜色填涂由通过作业机坐标系坐标运算部21输出的作业机坐标系Co3中的作业机1A的轮廓线上的点包围的区域的处理。另外，关于作业机1A的描绘图像的生成，除了利用特定的颜色填涂作业机1A的轮廓线的内部区域的方法之外，也可以利用将在作业机侧面图像上对应的像素复制粘贴的方法。像这样，若创建描绘图像，则能够在显示监控器18上显示与在作业机侧面图像上映出的图像(即实物的图像)相同的图像，因此，能够非常容易地抑制操作员产生不适感。另外，也可以利用与轮廓匹配地使预先准备的图像等变形的方法等。
(作业机的外形形状测定系统的作用和效果)
(1)根据由以上这种摄影装置19以及测定控制器20构成的测定系统，在获取作业机1A(例如铲斗4)的外形信息时，用户在作业机1A的侧面安装三个以上的已知点标识40，仅进行利用摄影装置19拍摄该图像(作业机侧面图像)的操作即可。在拍摄作业机侧面图像之后，测定控制器20基于作业机侧面图像和摄像装置18的内部参数对由多个已知点标识40定义的平面S1的方程式进行运算(基于摄影位置运算部23的处理)，基于在作业机侧面图像上位于作业机1A的轮廓线上的所有像素(作业机构成像素)的位置信息和平面S1的方程式对该所有像素的作业机对应点的摄影装置坐标系Co1中的坐标值进行计算(基于摄影装置坐标系坐标转换部24的处理)，将该坐标值转换成作业机坐标系Co3的坐标值并输出至作业机械控制器50(基于作业机坐标系坐标转换部25的处理)。由此，由于能够容易地获取作业机侧面图像中的位于作业机1A的轮廓线上的所有像素的作业机对应点的位置信息，所以与以往相比能够简单地测定作业机械1A的准确的外形信息。其结果为，执行遵照作业机1A的实际形状的MC、MG，其准确度提高，从而可预见提高作业效率。
(2)另外，本实施方式的测定控制器20(摄影装置坐标系坐标转换部24)通过图像处理提取作业机侧面图像中的作业机1A的轮廓线，基于该作业机侧面图像中的该轮廓线上的任意的像素(例如轮廓线上的所有像素)的位置信息和平面S1的方程式算出该任意的像素的作业机对应点的摄影装置坐标系Co1中的坐标值。由此，能够通过测定控制器20自动获取在侧面观察作业机1A时的外形(轮廓)的位置信息。
(3)另外，本实施方式的测定控制器20(作业机坐标系描绘图像生成部22)基于由作业机坐标系坐标转换部25转换的作业机坐标系Co3中的作业机对应点的坐标值，能够生成作业机坐标系Co3中的作业机1A的描绘图像。由此，由于在显示监控器18显示的作业机1A的描绘图像的外形接近实物，所以能够防止作业机1A的图像与实物不同而给操作员造成不适感。
(4)另外，若通过测定控制器20针对在作业机侧面图像上构成作业机1A的所有像素的作业机对应点计算摄影装置坐标系Co1中的坐标值(摄影装置坐标系坐标转换部24)，配置与对应于各坐标值的像素相同的像素(匹配)，由此来生成作业机1A的描绘图像(作业机坐标系描绘图像生成部22)，能够使在显示监控器18显示的作业机1A的描绘图像的外观更接近实物。
此外，在上述的实施方式中，基于安装有三个已知点标识40的作业机1A的侧面图像，特定摄影装置坐标系Co1中的平面S1的位置，但平面S1的位置特定的手法不限于此。例如可以利用如下的方法：(1)从与摄影装置19的位置关系为已知的投影仪等的投影装置向作业机1A的侧面投影三个以上的标识40，针对该标识40利用摄影装置19拍摄作业机侧面图像，根据该作业机侧面图像上中的标识40的像素位置计算平面S1的方程式；(2)利用彼此的位置关系为已知的多个摄影装置(例如立体相机)分别拍摄作业机1A的侧面，基于该多个摄影装置间的距离算出两张作业机侧面图像上的任意三点的距离(位置)，由此计算出平面S1的方程式的方法；(3)通过与摄影装置19的位置关系为已知的、能够计测作业机1A的侧面上的任意点与摄影装置19的距离的测距装置(例如，激光式，LED式，超声波式的距离传感器)，获取作业机1A的侧面上的任意三点以上的距离信息，由此计算出平面S1的方程式。此外，平面S1的特定不限于上述的根据平面S1上的三点以上的位置来特定的方法。例如，若知道平面S1的斜率(例如法线矢量)，则仅利用平面S1上的1点的位置就能够特定平面S1。
(液压挖掘机的系统构成)
接着，对利用从测定控制器20输出的作业机1A的坐标值和描绘图像的作业机械控制器50进行说明。
图9是图1的液压挖掘机1的系统构成图。本实施方式的液压挖掘机1具备：发动机47；与发动机47的输出轴机械连结且由发动机47驱动的液压泵46以及先导泵(未图示)；操作杆10、11，其将根据操作量而对从先导泵排出的液压油减压而得到的液压油作为各液压执行机构5-9的控制信号，经由比例电磁阀39输出至控制阀45；多个控制阀45，其基于操作杆10、11或从比例电磁阀39输出的控制信号(先导压)，对从液压泵46向各液压执行机构5-9导入的工作油的流量以及方向进行控制；对作用于各控制阀45的先导压的压力值进行检测的多个压力传感器48；作业机械控制器50，其基于作业机1A的位置、姿势以及其他的车身信息算出修正目标先导压，将能够产生该修正目标先导压的指令电压输出至比例电磁阀27；以及用于将由作业机1A形成的目标面的信息输入至作业机械控制器50的目标面数据输入装置37。
液压泵46以使车身按照各液压执行机构5-8的目标输出进行动作的方式，机械地控制转矩和流量。
控制阀45与控制对象的液压执行机构5-8存在相同的数量，但在图9中将这些控制阀概括为一个示出。在各控制阀作用有使该内部的滑阀向轴向上的一方或另一方移动的两个先导压。例如，对动臂液压缸5用的控制阀45作用有动臂抬升的先导压和动臂下降的先导压。
压力传感器48用于检测作用于各控制阀45的先导压，所以可存在控制阀的2倍的数量。压力传感器48设于控制阀45的正下方，实际上检测作用于控制阀45的先导压。
比例电磁阀39存在多个，但在图9中概括示出一个框部。比例电磁阀39有两种。一种为减压阀，其直接将从操作杆10、11输入的先导压输出或直到减压至由指令电压指定的期望的修正目标先导压为止，并进行输出，另一种为增压阀，其在需要比操作杆10、11输出的先导压大的先导压的情况下，直到将从先导泵输入的先导压增压至由指令电压指定的期望的修正目标先导压为止，并进行输出。关于针对某一控制阀45的先导压，在需要比从操作杆10、11输出的先导压大的先导压的情况下借助增压阀生成先导压，在需要比从操作杆10、11输出的先导压小的先导压的情况下借助减压阀生成先导压，在没有从操作杆10、11输出先导压的情况下，借助增压阀生成先导压。也就是说，能够利用减压阀和增压阀，使与从操作杆10、11输入的先导压(操作员操作的先导压)不同的压力值的先导压作用于控制阀45，能够使该控制阀45的控制对象的液压执行机构进行期望的动作。
针对一个控制阀45，最多分别存在两个减压阀和增压阀。例如在本实施方式中，对动臂液压缸5的控制阀45设有两个减压阀和两个增压阀。具体来说，液压挖掘机1具备：在从操作杆11向控制阀45导入动臂抬升的先导压的第一管路设置的第一减压阀；在从先导泵迂回操作杆11而向控制阀45导入动臂抬升的先导压的第二管路设置的第一增压阀；在从操作杆11向控制阀45导入动臂下降的先导压的第三管路设置的第二减压阀；以及在从先导泵迂回操作杆11而向控制阀45导入动臂下降的先导压的第四管路设置的第二增压阀。
在本实施方式中，不存在行使液压马达9a、9b和旋转液压马达8的控制阀45用的比例电磁39。因此，行使液压马达9a、9b和旋转液压马达8基于从操作杆10、11输出的先导压来驱动。
(作业机械控制器的构成)
作业机械控制器50具备位置姿势检测部26、信息处理部30、显示控制部33和作业机控制部35。
位置姿势检测部26具备作业机姿势检测部27、车身位置检测部28和车身角度检测部29，将各种传感器信息作为输入，输出作业机1A的姿势信息、车身位置信息、车身角度信息。
作业机姿势检测部27基于在作业机1A安装的姿势传感器12、13、14的输出而对车身坐标系Co4中的作业机1A的姿势进行检测。更具体来说，根据基于动臂角度传感器12、斗杆角度传感器13、铲斗角度传感器14的信息对动臂2、斗杆3、铲斗4的转动角度α、β、γ(参照图3)这些作业机1A的姿势信息进行检测。
车身位置检测部28根据由第一GNSS天线17a获得的信息对车身位置信息进行检测。
车身角度检测部29通过车身前后倾斜角传感器16a检测倾斜角θ(参照图3)，通过车身左右倾斜角传感器16b检测左右方向上的倾斜角
Figure BDA0002390841390000181
(未图示)，根据第一GNSS天线17a和第二GNSS天线17b的位置信息检测车身的方位角，来获得车身角度信息。此外，在本实施方式中，根据第一GNSS天线17a的信息获得车身位置信息，但也可以利用第二GNSS天线17b的位置信息，也可以利用全站仪等的三维测量仪。另外，在本实施方式中，根据第一GNSS天线17a和第二GNSS天线17b的位置信息检测车身的方位角信息，但也可以采用使用电子罗盘仪的方法或使用旋转角度传感器的方法。
信息处理部30具备车身坐标转换部31和目标面运算部32。作为信息处理部30的输入数据有如下的数据：从测定控制器20输出的作业机坐标系坐标值以及作业机坐标系描绘图像；由目标面数据输入装置37输入的目标面数据；由位置姿势检测部26输出的作业机的姿势信息、车身位置信息、以及车身角度信息。另外，作为信息处理部30的输出数据，在从位置姿势检测部26输入的作业机1A的姿势信息、车身位置信息以及车身角度信息以外，还有由车身坐标转换部31求出的作业机1A的车身坐标系坐标值信息以及车身坐标系描绘图像信息、由目标面运算部32求出的车身坐标系Co4的目标面信息。
车身坐标转换部31将从测定控制器20(作业机坐标系坐标转换部25以及作业机坐标系描绘图像生成部22)输出的作业机坐标系Co3中的作业机对应点的坐标值(车身坐标系坐标值信息)和作业机1A的描绘图像(车身坐标系描绘图像信息)转换成对液压挖掘机1设定的二维坐标系即车身坐标系Co4中的坐标值。具体来说，如图10所示，基于由位置姿势检测部26的作业机姿势检测部27检测的作业机1A的姿势信息，以与实际的作业机1A的位置和姿势一致的方式，将从测定控制器20输出的作业机坐标系坐标值和作业机坐标系描绘图像实施平行移动或旋转，向车身坐标系Co4的XZ平面投影，由此转换成车身坐标系Co4的坐标值。此外，在动臂2、斗杆3、铲斗4的转动角度α、β、γ为已知时，就用于将作业机坐标系坐标值和作业机坐标系描绘图像转换成车身坐标系Co4的坐标值的平行移动或旋转的量而言，可以针对任意不同的2点，通过比较作业机坐标系Co3的坐标值、和由例如全站仪等的计测装置测定的车身坐标系Co4的坐标值来求出。
如图11所示，目标面运算部32对从目标面数据输入装置37输入的目标面数据(三维数据)51与车身坐标系Co4的XZ平面相交的线段进行运算，将该线段设定为目标面55。车身坐标系Co4的XZ平面基于由位置姿势检测部26输出的车身位置信息和由车身角度检测部29输出的车身角度信息来求出。在本实施方式中，由目标面数据输入装置37输入的目标面数据51假设为三维数据，但也可以为二维数据、即示出目标面的线段数据。另外，在目标面数据为二维数据的情况下，不需要使用车身位置检测部28的车身位置信息、车身角度检测部29的车身方位角信息。
显示控制部33基于通过车身坐标转换部31进行坐标转换的作业机坐标系Co4中的作业机1A的描绘图像、通过车身坐标转换部31进行坐标转换的作业机对应点的车身坐标系Co4中的坐标值、由姿势传感器12、13、14得到的车身坐标系Co4中的作业机1A的姿势，与车身坐标系Co4中的作业机1A的姿势相匹配地在显示监控器18显示作业机1A的描绘图像。显示控制部33具备目标面信息运算部34，作为显示控制部33的输入数据，有由信息处理部30输出的作业机1A的姿势信息、车身位置信息以及车身角度信息、作业机1A的车身坐标系坐标值信息以及车身坐标系描绘图像信息、车身坐标系XZ平面上的目标面信息。另外，作为输出数据，在这些输入的信息以外，还包括作业机-目标面矢量信息。输出信息被输入至显示监控器18，并提示给用户。
针对目标面信息运算部34，利用示出作业机1A和目标面55的位置关系的例子的图12进行说明。首先，目标面信息运算部34针对作业机1A的轮廓线上的任意点(图12中的点P)，求出构成目标面55的多个平面(以下有时称为“目标平面”)中距离作业机1A在一定距离内的平面(图12中的目标平面1以及目标平面2)中的最近点(点P1以及点P2)。接着，从作业机轮廓线上的任意点(点P)求出向目标平面上的最近点(点P1以及点P2)的作业机-目标面矢量(矢量PP1以及矢量PP2)。针对从测定控制器20输入的作业机轮廓线上的所有点(即所有作业机坐标系坐标值)进行这些运算，并作为向显示监控器18的输出信息。在本实施方式中，将输出信息作为从作业机1A上的点到目标面55的平面中的最近点为止的矢量信息，但也可以输出距离信息，也可以输出从作业机1A上的点到目标面55为止的铅垂方向上的距离等。另外，在本实施方式中，针对作业机1A的轮廓线上的所有点进行运算，但也可以仅进行针对作业机1A的前端的点或作业机1A的背面的点这些特定的点的运算。
图13示出在显示监控器18显示的画面的例子。在指导画面IM显示如下的图像：基于车身坐标系描绘图像信息描绘的车身图像IM1；基于车身坐标系Co4的XZ平面上的目标面数据描绘的目标面图像IM2；以及基于作业机-目标面矢量信息描绘的作业机-目标面矢量图像IM3。在此，作业机-目标面矢量图像IM3为由目标面信息运算部34输出的作业机-目标面矢量信息中、对相对于各目标平面的矢量的大小为最小的矢量进行描绘的图像。此外，在作业机轮廓线上的点潜入目标面55的情况下的矢量的大小设为负的值。此外，在指导画面IM上，除了在本实施方式中举出的例子以外，还可以显示从目标面信息运算部34输出的信息以及对其进行加工而得到的信息。另外，在本实施方式中，作为机械指导功能仅对在显示监控器18显示的指导画面IM进行了说明，但除了这种视觉信息以外，还可以通过声音或振动等来提示信息。
作业机控制部35基于从信息处理部30输入的预先决定的目标面55的位置信息、由车身坐标转换部31进行坐标转换得到的作业机对应点的车身坐标系Co4中的坐标值、由姿势传感器12、13、14得到的车身坐标系Co4中的作业机1A的姿势，以使与作业机对应点对应的作业机1A的控制点保持在目标面55的上方的方式控制作业机1A(液压液压缸5、6、7)。作业机控制部35具备目标动作运算部36，作为作业机控制部35的输入数据，有显示控制部33的输出、位置姿势检测部26的作业机1A的姿势信息、向由操作杆10、11构成的操作输入装置的操作输入，作为输出数据有比例电磁阀39的控制信号。
目标动作运算部36基于上述的输入信息(作业机1A的姿势信息、操作杆10、11的操作输入信息)对作业机1A的动态方向和速度进行预测。此时，在预测到例如作业机1A潜入目标面55的情况下，以使作业机1A成为不潜入目标面55的动态的方式将对先导压进行减压或者增压的控制信号输出至电磁比例阀39。由电磁比例阀39修正的先导压驱动控制阀45，基于该动作使液压液压缸5、6、7适当驱动，由此防止作业机1A向目标面55的潜入。此外，在本实施方式中，电磁比例阀39控制先导压，但电磁比例阀也可以直接控制执行机构的工作液压。
在本实施方式中的作业机械控制器50(主要为显示控制部33和作业机控制部35)中，利用在测定控制器20中基于作业机1A的侧面图像而运算的、与实际的作业机1A的形状非常一致的坐标信息以及描绘图像进行MG和MC。由此，由显示控制部33在显示监控器18显示的指导信息(例如，作业机-目标面矢量图像IM3、从作业机1A到目标面55为止的距离信息等)的准确度得到提高，另外，能够抑制操作员对在显示监控器18上显示的作业机1A的描绘图像产生不适感。而且，即使为作业机1A需要曲线部、突起部等的多个控制点的形状，作业机控制部35也能够进行准确的MC。
<第二实施方式>
在第二实施方式中，将摄影装置19和测定控制器20搭载于液压挖掘机1，且特征在于一边实时进行作业机1A的外形信息(作业机1A的车身坐标系坐标值信息以及车身坐标系描绘图像信息)的计测，一边提供机械指导、机械控制功能这一点。此外，有时对与之前的实施方式相同的部分标注相同的附图标记并适当省略说明。
如图14所示，本实施方式的摄影装置19借助支承装置(多关节斗杆)60而安装于上部旋转体1BA的前方。图14的支承装置60为连结多个水平斗杆的水平多关节斗杆，通过驱动嵌入在各关节内的执行机构(例如马达)19b能够改变车身坐标系Co4中的摄影装置19的朝向或位置。另外，在支承装置60的各关节设置有检测各水平斗杆的旋转角的角度传感器(摄影装置传感器)19a，角度传感器19a的检测值如图15所示，输出至测定控制器20。此外，在本实施方式中，将支承装置60设成水平多关节斗杆，但还能够利用在垂直方向上可移动的斗杆，还能够利用其他支承装置。
图15是本实施方式的液压挖掘机1的系统构成图。如该图所示，本实施方式的液压挖掘机1具备摄影装置19、测定控制器20、和作业机械控制器50。
在本实施方式中，摄影装置19以规定的间隔对作业机侧面图像进行拍摄，测定控制器20基于该作业机侧面图像，实时对作业机1A的车身坐标系坐标值以及车身坐标系描绘图像进行运算，并输出至作业机械控制器50。在此，第一实施方式的测定控制器20输出了作业机坐标系Co3中的坐标值和描绘图像，但在本实施方式中，摄影装置19安装在液压挖掘机1的车身(上部旋转体1BA)，因此，能够直接计算车身坐标系Co4中的坐标值和描绘图像。另外，本实施方式的作业机械控制器50基于从测定控制器20实时输出的信息，向用户提供机械指导以及机械控制功能。
测定控制器20具备车身坐标系坐标运算部21b、和车身坐标系描绘图像生成部22b。从由摄影装置19拍摄到的作业机1A的侧面图像以及角度传感器19a向测定控制器20输入摄影装置19的车身坐标系中的位置信息以及朝向信息。
车身坐标系坐标运算部21b具备摄影位置运算部23、摄影装置坐标系坐标转换部24、和车身坐标系坐标转换部25b，以由摄影装置19拍摄到的作业机1A的侧面图像为输入，针对在作业机1A的侧面图像上所指定的点输出车身坐标系坐标值，并且输出与车身坐标系Co4中的作业机1A的形状以及尺寸一致的车身坐标系描绘图像。另外，在本实施方式中也输出作业机侧面图像中的作业机的轮廓线上中的所有像素的作业机对应点的车身坐标系坐标值，但与第一实施方式同样地，也可以采用其他方法(例如仅输出轮廓线上的一部分的像素的作业机对应点的坐标值)。
测定控制器20在车身坐标系坐标运算部21b中，摄影位置运算部23和摄影装置坐标系坐标转换部24进行与第一实施方式同样的运算。车身坐标系坐标转换部25b基于从角度传感器19a输入的摄影装置19的车身坐标系Co4中的位置信息以及朝向信息，将摄影装置坐标系Co1中的坐标值进行平行移动、旋转，而坐标转换成车身坐标系Co4中的坐标值。另外，在车身坐标系描绘图像生成部22b中也同样地，生成向车身坐标系Co4进行坐标转换后的描绘图像。
在本实施方式中，从测定控制器20向作业机械控制器50输入的信息(作业机1A的车身坐标系坐标值以及车身坐标系描绘图像)已经成为车身坐标系Co4中的信息。因此，本实施方式的作业机械控制器50的信息处理部30不存在第一实施方式的车身坐标转换部31，但其他部分的构成以及处理内容相同。另外，由于利用测定控制器20也能够检测作业机1A的姿势，所以不需要位置姿势检测部26中的作业机姿势检测部27。显示控制部33以及作业机控制部35中的处理内容与第一实施方式相同。
在以上述方式构成的本实施方式的液压挖掘机1中，测定控制器20实时对作业机1A的位置、形状信息进行计测。因此，用户如第一实施方式那样不需要测定事先作业机1A的形状等，能够简单地获取作业机形状信息。另外，由于实时地获取作业机1A的位置、形状，所以即使在产生作业机1A的摩耗或变形等的情况下也能够计测准确的作业机形状，能够在显示控制部33的机械指导功能中对用户进行易于理解的提示。另外，能够在作业机控制部35中根据实际的作业机的状态进行准确的控制。
此外，本发明不限于上述的实施方式，包括在不脱离其主旨的范围内的各种各样的变形例。例如，本发明不限于具有在上述的实施方式中说明的所有构成的方式，也包括将该构成的一部分删除的方式。另外，能够将某一实施方式的构成的一部分追加至或替换成其他实施方式的构成。
另外，上述的控制器20，50的各构成、该各构成的功能以及执行处理等也可以将这些一部分或全部用硬件(例如由集成电路设定执行各功能的逻辑等)来实现。另外，也可以设为通过使上述的控制器20、50的构成由运算处理装置(例如CPU)读取并执行来实现该控制器20、50的构成的各功能的程序(软件)。该程序的信息例如能够存储在半导体存储器(快闪存储器、SSD等)、磁存储装置(硬盘驱动等)以及记录介质(磁盘、光盘等)等。
附图标记说明
1液压挖掘机(作业机械)，1A作业机(前部作业机)，1B车身，1BA上部旋转体，1BB下部行使体，2动臂，3斗杆，4铲斗，5动臂液压缸，6斗杆液压缸，7铲斗液压缸，10、11操作杆，12动臂角度传感器(姿势传感器)，13斗杆角度传感器(姿势传感器)，14铲斗角度传感器(姿势传感器)，18显示监控器(显示装置)，19摄影装置，20测定控制器，21作业机坐标系坐标运算部，22作业机坐标系描绘图像生成部，23摄影位置运算部，24摄影装置坐标系坐标转换部，25作业机坐标系坐标转换部，39比例电磁阀，40已知点标识，50作业机械控制器。

Claims (13)

1.一种作业机的外形形状测定系统，其具备对作业机械所具有的作业机的外形形状进行测定的测定控制器，所述作业机的外形形状测定系统的特征在于，
具备对所述作业机的侧面进行拍摄的摄影装置，
所述测定控制器基于通过所述摄影装置对所述作业机的侧面进行拍摄而得到的图像和所述摄影装置的内部参数，算出在对所述摄影装置设定的作为三维坐标系的摄影装置坐标系中呈现所述作业机的侧面的平面的位置，
基于在所述图像上构成所述作业机的任意的像素的所述图像中的位置信息和所述平面的位置，算出与所述像素对应的所述作业机上的点在所述摄影装置坐标系中的坐标值，
将与所述像素对应的所述作业机上的点在所述摄影装置坐标系中的坐标值转换成对所述作业机设定的作为二维坐标系的作业机坐标系中的坐标值，并输出至所述作业机械的作业机械控制器。
2.根据权利要求1所述的作业机的外形形状测定系统，其特征在于，
所述测定控制器提取所述图像中的所述作业机的轮廓线，基于所述图像中的所述轮廓线上的任意的像素的位置信息和所述平面的位置，算出与所述像素对应的所述作业机上的点在所述摄影装置坐标系中的坐标值。
3.根据权利要求1所述的作业机的外形形状测定系统，其特征在于，
所述测定控制器提取所述图像中的所述作业机的轮廓线，基于所述图像中的所述轮廓线上的所有像素的位置信息和所述平面的位置，算出与所述所有像素对应的所述作业机上的点在所述摄影装置坐标系中的坐标值。
4.根据权利要求1所述的作业机的外形形状测定系统，其特征在于，
与所述像素对应的所述作业机上的点在所述摄影装置坐标系中的坐标值是针对在所述图像上构成所述作业机的所有像素所对应的所述作业机上的多个点运算出的。
5.根据权利要求1所述的作业机的外形形状测定系统，其特征在于，
所述测定控制器基于在所述作业机的侧面安装的彼此之间的距离为已知的三个以上的标识在所述图像中的像素位置，算出所述平面的位置。
6.根据权利要求1所述的作业机的外形形状测定系统，其特征在于，
还具备与所述摄影装置之间的位置关系为已知的投影装置，
在所述图像上拍摄有从所述投影装置向所述作业机的侧面投影的标识，
所述测定控制器基于所述图像中的所述标识的像素位置，算出所述平面的位置。
7.根据权利要求4所述的作业机的外形形状测定系统，其特征在于，
所述摄影装置为彼此之间的位置关系为已知的多个摄影装置，
所述测定控制器基于所述多个摄影装置间的距离来算出所述平面的位置。
8.根据权利要求4所述的作业机的外形形状测定系统，其特征在于，
还具备测量所述摄影装置与所述作业机的侧面上的任意点之间的距离的测距装置，
所述测定控制器基于由所述测距装置测定到的所述作业机的侧面上的三点以上的距离信息，算出所述平面的位置。
9.根据权利要求1所述的作业机的外形形状测定系统，其特征在于，
所述测定控制器基于与所述像素对应的所述作业机上的点在所述作业机坐标系中的坐标值，生成所述作业机坐标系中的所述作业机的描绘图像。
10.一种作业机的外形形状显示系统，其特征在于，
具备权利要求1的作业机的外形形状测定系统、所述作业机械控制器、以及搭载于所述作业机械的显示装置，
所述测定控制器基于与所述像素对应的所述作业机上的点在所述作业机坐标系中的坐标值，生成所述作业机坐标系中的所述作业机的描绘图像，
所述作业机械控制器将从所述测定控制器输出的与所述像素对应的所述作业机上的点在所述作业机坐标系中的坐标值转换成对所述作业机械设定的作为二维坐标系的车身坐标系中的坐标值，
基于在所述作业机安装的姿势传感器的输出，检测所述车身坐标系中的所述作业机的姿势，
基于所述作业机坐标系中的所述作业机的描绘图像、与所述像素对应的所述作业机上的点在所述车身坐标系中的坐标值、以及所述车身坐标系中的所述作业机的姿势，与所述车身坐标系中的所述作业机的姿势相匹配地在所述显示装置上显示所述作业机的描绘图像。
11.一种作业机的控制系统，其特征在于，
具备权利要求1的作业机的外形形状测定系统、和所述作业机械控制器，
所述作业机械控制器将从所述测定控制器输出的与所述像素对应的所述作业机上的点在所述作业机坐标系中的坐标值转换成对所述作业机械设定的作为二维坐标系的车身坐标系中的坐标值，
基于在所述作业机安装的姿势传感器的输出，检测所述车身坐标系中的所述作业机的姿势，
基于预先决定的目标面的位置信息、与所述像素对应的所述作业机上的点在所述车身坐标系中的坐标值、以及所述车身坐标系中的所述作业机的姿势，以使与所述像素对应的所述作业机的控制点保持在所述目标面的上方的方式控制所述作业机。
12.一种作业机械，其具备作业机、显示装置、使所述显示装置显示预先决定的目标面与所述作业机的位置关系的作业机械控制器，所述作业机械的特征在于，具备：
对所述作业机的侧面进行拍摄的摄影装置；以及
测定控制器，
所述测定控制器基于通过所述摄影装置对所述作业机的侧面进行拍摄而得到的图像和所述摄影装置的内部参数，算出在对所述摄影装置设定的作为三维坐标系的摄影装置坐标系中呈现所述作业机的侧面的平面的位置，基于在所述图像上构成所述作业机的任意的像素的所述图像中的位置信息和所述平面的位置，算出与所述像素对应的所述作业机上的点在所述摄影装置坐标系中的坐标值，将与所述像素对应的所述作业机上的点在所述摄影装置坐标系中的坐标值转换成对所述作业机械的车身设定的作为二维坐标系的车身坐标系中的坐标值并输出至所述作业机械控制器，基于与所述像素对应的所述作业机上的点在所述车身坐标系中的坐标值，生成所述车身坐标系中的所述作业机的描绘图像并输出至所述作业机械控制器，
所述作业机械控制器基于在所述作业机安装的姿势传感器的输出，检测所述车身坐标系中的所述作业机的姿势，
基于从所述测定控制器输出的所述车身坐标系中的所述作业机的描绘图像、与所述像素对应的所述作业机上的点在所述车身坐标系中的坐标值、以及所述车身坐标系中的所述作业机的姿势，与所述车身坐标系中的所述作业机的姿势相匹配地在所述显示装置上显示所述作业机的描绘图像。
13.根据权利要求12所述的作业机械，其特征在于，
所述作业机械控制器基于预先决定的目标面的位置信息、与所述像素对应的所述作业机上的点在所述车身坐标系中的坐标值、以及所述车身坐标系中的所述作业机的姿势，以使与所述像素对应的所述作业机上的点所对应的所述作业机的控制点保持在所述目标面的上方的方式控制所述作业机。
CN201880055028.1A 2018-09-25 2018-09-25 作业机的外形形状测定系统、作业机的外形形状显示系统、作业机的控制系统以及作业机械 Active CN111226009B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/035525 WO2020065738A1 (ja) 2018-09-25 2018-09-25 作業機の外形形状測定システム，作業機の外形形状表示システム，作業機の制御システム及び作業機械

Publications (2)

Publication Number Publication Date
CN111226009A CN111226009A (zh) 2020-06-02
CN111226009B true CN111226009B (zh) 2022-03-04

Family

ID=69952994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880055028.1A Active CN111226009B (zh) 2018-09-25 2018-09-25 作业机的外形形状测定系统、作业机的外形形状显示系统、作业机的控制系统以及作业机械

Country Status (6)

Country Link
US (1) US11434623B2 (zh)
EP (1) EP3859090B1 (zh)
JP (1) JP6826233B2 (zh)
KR (1) KR102231510B1 (zh)
CN (1) CN111226009B (zh)
WO (1) WO2020065738A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155516B2 (ja) * 2017-12-20 2022-10-19 コベルコ建機株式会社 建設機械
EP3832034B1 (en) * 2018-07-31 2023-08-23 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Excavator
JP7166108B2 (ja) * 2018-08-31 2022-11-07 株式会社小松製作所 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット
JP7301514B2 (ja) * 2018-09-21 2023-07-03 日立建機株式会社 座標変換システム及び作業機械
CN109782767B (zh) * 2019-01-25 2022-06-07 北京百度网讯科技有限公司 用于输出信息的方法和装置
KR102833501B1 (ko) * 2019-07-17 2025-07-11 스미토모 겐키 가부시키가이샤 작업기계 및 작업기계에 의한 작업을 지원하는 지원장치
JP2022054072A (ja) * 2020-09-25 2022-04-06 コベルコ建機株式会社 位置検出システム
JP7533163B2 (ja) * 2020-11-27 2024-08-14 日本精機株式会社 作業支援システムの制御方法、作業支援システムの制御プログラム
CN114550067B (zh) * 2022-02-28 2025-04-15 新华智云科技有限公司 一种体育赛事自动直播与导播方法、装置、设备及存储介质
EP4502293A1 (en) * 2022-03-31 2025-02-05 Hitachi Construction Machinery Co., Ltd. Work assistance system
JP2024055416A (ja) * 2022-10-07 2024-04-18 兵庫県公立大学法人 作業機械、および位置検出装置
US12486756B2 (en) * 2023-04-18 2025-12-02 Baker Hughes Oilfield Operations Llc Methods for providing one or more positioning indicators via an image capture device and related systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114235A (ja) * 2003-10-07 2005-04-28 Hitachi Constr Mach Co Ltd 移動式作業機の埋設物処理支援装置
JP2016089388A (ja) * 2014-10-30 2016-05-23 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システム
CN106888569A (zh) * 2015-10-23 2017-06-23 株式会社小松制作所 作业机械的显示系统、作业机械以及显示方法
JP2017181340A (ja) * 2016-03-31 2017-10-05 日立建機株式会社 建設機械及び建設機械の較正方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5476450B1 (ja) * 2012-11-19 2014-04-23 株式会社小松製作所 掘削機械の表示システム及び掘削機械
WO2015089403A1 (en) * 2013-12-12 2015-06-18 The Regents Of The University Of Michigan Estimating three-dimensional position and orientation of articulated machine using one or more image-capturing devices and one or more markers
EP3222042B1 (en) * 2014-11-17 2022-07-27 Yanmar Power Technology Co., Ltd. Display system for remote control of working machine
WO2016196292A1 (en) * 2015-05-29 2016-12-08 Hexagon Metrology, Inc. Coordinate measuring machine with object location logic
JP6322612B2 (ja) * 2015-10-05 2018-05-09 株式会社小松製作所 施工管理システム及び形状計測方法
JP6925775B2 (ja) * 2015-10-05 2021-08-25 株式会社小松製作所 施工管理システム
JP6674846B2 (ja) * 2016-05-31 2020-04-01 株式会社小松製作所 形状計測システム、作業機械及び形状計測方法
CA3029812C (en) * 2016-08-31 2020-07-14 Komatsu Ltd. Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine
JP6867132B2 (ja) 2016-09-30 2021-04-28 株式会社小松製作所 作業機械の検出処理装置及び作業機械の検出処理方法
JP6496338B2 (ja) * 2017-03-14 2019-04-03 ファナック株式会社 工作機械の制御システム
JP6445070B2 (ja) * 2017-03-27 2018-12-26 ファナック株式会社 工作機械の制御システム
GB2563262B (en) * 2017-06-08 2020-06-10 Caterpillar Sarl Improvements in the stability of work machines
US10262411B2 (en) * 2017-09-01 2019-04-16 Deere & Company Site scanning using a work machine with a camera
JP6927821B2 (ja) * 2017-09-15 2021-09-01 株式会社小松製作所 表示システム、及び表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114235A (ja) * 2003-10-07 2005-04-28 Hitachi Constr Mach Co Ltd 移動式作業機の埋設物処理支援装置
JP2016089388A (ja) * 2014-10-30 2016-05-23 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システム
CN106888569A (zh) * 2015-10-23 2017-06-23 株式会社小松制作所 作业机械的显示系统、作业机械以及显示方法
JP2017181340A (ja) * 2016-03-31 2017-10-05 日立建機株式会社 建設機械及び建設機械の較正方法

Also Published As

Publication number Publication date
US20210156121A1 (en) 2021-05-27
EP3859090A4 (en) 2022-05-18
JPWO2020065738A1 (ja) 2021-01-07
US11434623B2 (en) 2022-09-06
KR20200037285A (ko) 2020-04-08
CN111226009A (zh) 2020-06-02
WO2020065738A1 (ja) 2020-04-02
KR102231510B1 (ko) 2021-03-24
EP3859090A1 (en) 2021-08-04
EP3859090B1 (en) 2025-06-18
JP6826233B2 (ja) 2021-02-03

Similar Documents

Publication Publication Date Title
CN111226009B (zh) 作业机的外形形状测定系统、作业机的外形形状显示系统、作业机的控制系统以及作业机械
CN112673284B (zh) 坐标转换系统及作业机械
CN106029994B (zh) 校正系统、作业机械和校正方法
CN105518228B (zh) 位置计测系统、工作机械以及位置计测方法
CN108700402B (zh) 位置测量系统、作业机械及位置测量方法
US11427988B2 (en) Display control device and display control method
JP6966218B2 (ja) 撮像装置の校正装置、作業機械および校正方法
WO2016031009A1 (ja) 作業車両の表示システム、表示制御装置、作業車両、及び表示制御方法
JP7080750B2 (ja) 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JPWO2020003497A1 (ja) 撮像装置の校正装置、監視装置、作業機械および校正方法
US12043989B2 (en) Working machine
JP2024028464A (ja) 表示制御システムおよび表示制御方法
JP7636598B2 (ja) 表示制御装置及び表示方法
JP2017193958A (ja) 校正システム、作業機械及び校正方法
JP7733563B2 (ja) ショベル向け周囲監視システム
US20230267895A1 (en) Display control device and display control method
CN120719719A (zh) 工作装置落点显示方法、装置及作业机械

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant