KR20240076002A - Control system of working vehicle - Google Patents
Control system of working vehicle Download PDFInfo
- Publication number
- KR20240076002A KR20240076002A KR1020220157999A KR20220157999A KR20240076002A KR 20240076002 A KR20240076002 A KR 20240076002A KR 1020220157999 A KR1020220157999 A KR 1020220157999A KR 20220157999 A KR20220157999 A KR 20220157999A KR 20240076002 A KR20240076002 A KR 20240076002A
- Authority
- KR
- South Korea
- Prior art keywords
- marker
- horizontality
- control
- work
- work tool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/003—Steering or guiding of machines or implements pushed or pulled by or mounted on agricultural vehicles such as tractors, e.g. by lateral shifting of the towing connection
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B63/00—Lifting or adjusting devices or arrangements for agricultural machines or implements
- A01B63/02—Lifting or adjusting devices or arrangements for agricultural machines or implements for implements mounted on tractors
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/001—Steering by means of optical assistance, e.g. television cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C9/00—Measuring inclination, e.g. by clinometers, by levels
- G01C9/02—Details
- G01C9/06—Electric or photoelectric indication or reading means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C9/00—Measuring inclination, e.g. by clinometers, by levels
- G01C9/02—Details
- G01C9/06—Electric or photoelectric indication or reading means
- G01C2009/066—Electric or photoelectric indication or reading means optical
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Soil Sciences (AREA)
- Environmental Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
본 발명은 견인되어 있는 작업 도구에 의한 작업을 수행하는 작업 차량에 관한 것으로, 특히 작업 도구의 수평 및 경심 제어에 관한 것이다.The present invention relates to a work vehicle that performs work with a towed work tool, and in particular to horizontal and tilt control of the work tool.
특별한 작업을 처리하기 위한 목적으로 제작된 많은 종류의 작업 차량들이 있다. 작업 차량들 중에는 자체적으로 구축된 작업 도구에 의해 작업을 수행하는 차량도 있지만, 별도의 작업 도구를 연결하여 작업을 수행하는 차량도 있다. 본 발명은 별도의 작업 도구를 연결하여 작업을 수행하는 작업 차량과 관계한다.There are many types of work vehicles built to handle special tasks. Among work vehicles, some vehicles perform work using self-built work tools, while others perform work by connecting separate work tools. The present invention relates to a work vehicle that performs work by connecting separate work tools.
별도의 작업 도구는 작업 차량에 의해 견인되면서 그 기능에 따른 작업을 수행한다.Separate work tools perform tasks according to their functions while being towed by a work vehicle.
작업 도구를 견인하면서 작업을 수행하는 대표적인 작업 차량으로 농용 트랙터를 들 수 있다.A typical work vehicle that performs work while towing work tools is an agricultural tractor.
농용 트랙터는 주로 농작업을 위해 제작된다.Agricultural tractors are mainly manufactured for agricultural work.
농용 트랙터는 농작업에 필요한 다양한 작업 도구(로터베이터, 쟁기, 로더, 백호, 잔디깎기 등)를 탈착해 가면서 그 만큼 다양한 작업을 수행할 수 있다.Agricultural tractors can perform a variety of tasks by attaching and detaching various work tools (rotavator, plow, loader, backhoe, lawn mower, etc.) required for agricultural work.
농용 트랙터 자체는 특별한 작업 기능을 가지지는 않지만, 다양한 작업 도구들에 의한 작업을 수행하기 위해 특별한 주행, 변속 및 동력 구조를 가지고 있다.Agricultural tractors themselves do not have special work functions, but have special travel, transmission, and power structures to perform tasks performed by various work tools.
또, 견인할 작업 도구를 탈착하거나 작동시키기 위한 기구 및 기계적 구조를 가지고 있다.In addition, it has a mechanism and mechanical structure for detaching or operating the work tool to be towed.
일반적으로, 농용 트랙터는 그 후미에 작업 도구를 탈착하기 위한 연결기를 구비한다.Generally, agricultural tractors are equipped at the rear with a coupler for attaching and detaching work tools.
연결기는 대개 3점 링크로 구현되며, 1개의 상부 링크와 2개의 하부 링크를 가진다.The connector is usually implemented as a three-point link, with one upper link and two lower links.
상부 링크에는 동력이 제공되지 않지만, 2개의 하부 링크 중 적어도 하나에는 유압실린더에 의해 승강 동력이 제공된다. 그리고 2개의 하부 링크는 수평 방향으로 일정 간격 이격되게 구비된다. 그래서 3점 링크를 통해 농용 트랙터에 결합된 작업 도구는 하부 링크로 제공되는 승강 동력에 의해 수평 및 높이가 제어될 수 있다.No power is provided to the upper link, but lifting power is provided to at least one of the two lower links by a hydraulic cylinder. And the two lower links are provided to be spaced apart at regular intervals in the horizontal direction. Therefore, a work tool coupled to a farm tractor through a three-point link can have its level and height controlled by the lifting power provided by the lower link.
한편, 흙을 잘게 부수거나 땅을 파는 작업은 작업 도구의 수평도나 경운 깊이(이하 '경심'이라 함)에 의해 작업의 품질이 좌우된다.On the other hand, the quality of the work of breaking the soil into small pieces or digging the ground is determined by the horizontality of the work tool or the tillage depth (hereinafter referred to as 'plowing depth').
예를 들어, 로터베이터와 같은 작업 도구들의 수평도나 경심은 작업 대상(흙 등)에 대한 전체적인 고른 작업 상태나 적절한 작업 상태를 결정한다.For example, the horizontality or inclination of work tools such as rotavators determines the overall even working condition or appropriate working condition for the work object (soil, etc.).
그런데, 작업 도구가 농용 트랙터에 의해 견인되는 구조를 가지다 보니, 작업 차량에 대한 작업 도구의 수평도나 경심이 작업 과정에서 종종 흐트러지고 적절한 상태를 유지하지 못하게 된다.However, since the work tool is towed by an agricultural tractor, the horizontality or concentricity of the work tool with respect to the work vehicle is often disturbed during the work process and is not maintained in an appropriate state.
그렇다고, 작업 도중에 농용 트랙터의 조종자가 작업 도구의 수평도 및 경심을 수동적으로 제어하기는 사실상 곤란하다.However, it is actually difficult for the operator of the agricultural tractor to manually control the horizontality and inclination of the work tool during work.
그래서 농용 트랙터의 경심 및 수평도를 자동 제어하기 위한 많은 기술들이 제안되었다.Therefore, many technologies have been proposed to automatically control the tilt and horizontality of agricultural tractors.
그러한 제안들 중 아이엠유(IMU : Inertia Measurement Unit)센서를 이용한 수평 제어 방법에 관한 기술(이하 '종래기술'이라 함)이 있다.Among such proposals, there is a technology regarding a horizontal control method using an IMU (Inertia Measurement Unit) sensor (hereinafter referred to as 'prior art').
종래기술에 의하면 농용 트랙터의 본체에 제1 아이엠유센서를 탑재하고, 농용 트랙터에 의해 견인되는 작업 도구에는 제2 아이엠유센서를 탑재한다.According to the prior art, a first IMU sensor is mounted on the main body of an agricultural tractor, and a second IMU sensor is mounted on a work tool pulled by the agricultural tractor.
제1 아이엠유센서로는 농용 트랙터의 수평도를 확인하고, 제2 아이엠유센서로는 작업 도구의 수평도를 확인한다. 그리고 작업 도구의 수평도를 농용 트랙터의 수평도에 일치시키는 자동 제어를 수행하도록 되어 있다.The first IMU sensor checks the horizontality of the agricultural tractor, and the second IMU sensor checks the horizontality of the work tool. And it is designed to perform automatic control to match the horizontality of the work tool to that of the agricultural tractor.
그런데 종래기술에 의하면, 작업 도구에 제2 아이엠유센서를 설치하기 위해 별도의 센서 브라켓이 요구된다.However, according to the prior art, a separate sensor bracket is required to install the second IMU sensor in the work tool.
또 종래기술에 의하면, 농용 트랙터의 전원을 제2 아이엠유센서로 공급하거나, 제2 아이엠유센서로부터 오는 감지값을 농용 트랙터의 제어장치에서 수신하기 위해 별도의 연결 케이블이 구비되어야만 한다.In addition, according to the prior art, a separate connection cable must be provided to supply power to the agricultural tractor to the second IMU sensor or to receive the detection value from the second IMU sensor to the control device of the agricultural tractor.
또 종래기술에 의하면, 자동제어에 따른 작업의 적절성을 사용자가 확인하기 곤란하여 작업의 신뢰성에 대한 의문을 가지게 한다.In addition, according to the prior art, it is difficult for the user to confirm the appropriateness of the work according to automatic control, raising questions about the reliability of the work.
본 발명은 다음과 같은 동기에서 안출되었다.The present invention was conceived with the following motive.
첫째, 보다 수월한 설치로 작업 도구의 수평도와 경심을 제어할 수 있어야 한다.First, it should be possible to control the horizontality and inclination of work tools through easier installation.
둘째, 작업 도구마다 소요되는 설치 비용 및 설치 공간을 최소화할 필요가 있다.Second, there is a need to minimize installation costs and installation space for each work tool.
셋째, 작업을 수행하는 사용자가 현재 작업 상태를 직관적으로 확인 및 이해할 수 있도록 할 필요가 있다.Third, there is a need to enable users performing tasks to intuitively check and understand the current task status.
본 발명의 일 형태에 따른 작업 차량의 제어시스템은 작업 차량에 설치되며, 작업 차량에 의해 견인되는 작업 도구에 있는 수평 제어용 마커(Marker)를 촬영하기 위해 마련되는 카메라; 상기 작업 차량의 수평도를 감지하기 위한 수평센서; 및 상기 수평센서에 의해 감지된 감지값으로부터 작업 도구에 요구되는 수평도(이하 '제1 수평도'라 함)를 계산하고, 상기 카메라에 의해 촬영된 이미지에서 수평 제어용 마커를 검출하여 작업 차량에 대한 작업 도구의 상대적인 수평도(이하 '제2 수평도'라 함)를 연산한 후 상기 제2 수평도가 상기 제1 수평도에 일치되게 작업 도구의 수평도를 제어하기 위한 수평도 제어신호를 출력시키는 영상처리기; 를 포함한다.A control system for a work vehicle according to one aspect of the present invention includes a camera installed on the work vehicle and provided to photograph a marker for horizontal control on a work tool towed by the work vehicle; A horizontal sensor for detecting the levelness of the work vehicle; and calculates the horizontality required for the work tool (hereinafter referred to as 'first horizontality') from the detection value detected by the horizontal sensor, detects a horizontal control marker from the image captured by the camera, and places it on the work vehicle. After calculating the relative horizontality of the work tool (hereinafter referred to as 'second horizontality'), a horizontality control signal is sent to control the horizontality of the work tool so that the second horizontality matches the first horizontality. Image processor for output; Includes.
상기 수평 제어용 마커는 상호 일정 간격 이격되어 있는 제1 표시와 제2 표시를 포함하고, 상기 영상처리기는 상기 제1 표시와 상기 제2 표시를 검출하여 상기 제2 수평도를 연산한다.The horizontal control marker includes a first mark and a second mark that are spaced apart from each other at a predetermined distance, and the image processor detects the first mark and the second mark and calculates the second horizontality.
상기 영상처리기는 상기 카메라에서 수신된 이미지에서 수평 제어용 마커를 검출하는 마커 검출 수단; 상기 마커 검출 수단에 의해 검출된 수평 제어용 마커를 통해 상기 제2 수평도를 연산하는 제1 연산수단; 상기 제1 수평도와 상기 제2 수평도 간의 차이를 연산하는 제2 연산수단; 및 상기 제2 연산수단에 의해 연산된 차이가 0이 되도록 작업 도구의 수평도를 제어하기 위한 수평도 제어신호를 생성하여 출력시키는 신호 생성수단; 을 포함한다.The image processor includes marker detection means for detecting a marker for horizontal control in the image received from the camera; first calculation means for calculating the second horizontality through the horizontal control marker detected by the marker detection means; second calculating means for calculating a difference between the first horizontality and the second horizontality; and signal generating means for generating and outputting a horizontality control signal for controlling the horizontality of the work tool so that the difference calculated by the second calculating means is 0. Includes.
상기 카메라에서 촬영되는 이미지를 사용자에게 출력시키기 위한 모니터; 를 더 포함하고, 상기 영상처리기는 상기 제1 수평도에 따른 제1 선분과 상기 제2 수평도에 따른 제2 선분을 상기 모니터상에 출력시키는 묘사수단; 을 더 포함하고, 상기 묘사수단은 상기 제1 선분이 상기 제2 선분과 교차점을 가지도록 묘사한다.a monitor for outputting images captured by the camera to a user; The image processor further includes: rendering means for outputting a first line segment according to the first horizontality and a second line segment according to the second horizontality on the monitor; It further includes, and the depiction means depicts the first line segment to have an intersection with the second line segment.
상기 카메라는 작업 도구에 있는 경심 제어용 마커를 더 촬영하고, 상기 영상처리기는 상기 카메라에 의해 촬영된 이미지에서 경심 제어용 마커를 검출하여 검출된 경심 제어용 마커가 기 설정된 경심에 대응하는 원형(原形)마커와 동일해지도록 작업 도구의 경심을 제어하기 위한 경심 제어신호를 출력시킨다.The camera further photographs the warp center control marker on the work tool, and the image processor detects the warp center control marker in the image captured by the camera, and the detected warp center control marker is a circular marker corresponding to the preset warp center. Outputs a warp center control signal to control the warp center of the work tool so that it is the same as .
본 발명의 일 형태에 따른 작업 차량의 제어시스템은 작업 차량에 설치되며, 작업 차량에 의해 견인되는 작업 도구에 있는 경심 제어용 마커(Marker)를 촬영하기 위해 마련되는 카메라; 및 상기 카메라에 의해 촬영된 이미지에서 경심 제어용 마커를 검출한 후 검출된 경심 제어용 마커(이하 '검출마커'라 함)가 기 설정된 경심에 대응하는 원형(原形)마커(이하 '원형마커'라 함)와 동일해지도록 작업 도구의 경심을 제어하기 위한 경심 제어신호를 출력시키는 영상처리기; 를 포함한다.A control system for a work vehicle according to one aspect of the present invention includes a camera installed on the work vehicle and provided to photograph a marker for controlling the width of the work tool towed by the work vehicle; And after detecting the warp center control marker in the image captured by the camera, the detected warp center control marker (hereinafter referred to as 'detection marker') is a circular marker (hereinafter referred to as 'circular marker') corresponding to the preset warp center. ) an image processor that outputs a warp center control signal to control the warp center of the work tool to be the same as Includes.
상기 영상처리기는 상기 검출마커를 검출하는 마커 검출수단; 및 상기 마커 검출수단에 의해 검출된 상기 검출마커와 상기 원형마커의 차이에 기반하여 검출마커가 원형마커와 동일해지도록 작업 도구의 경심을 보정하기 위한 보정값을 연산하는 연산수단; 상기 연산수단에 의해 연산된 보정값에 따른 경심 제어신호를 생성하여 출력하는 신호 생성수단; 을 포함한다.The image processor includes marker detection means for detecting the detection marker; and calculation means for calculating a correction value for correcting the concentricity of the work tool so that the detection marker becomes the same as the circular marker based on the difference between the detection marker detected by the marker detection means and the circular marker. Signal generation means for generating and outputting a warp center control signal according to the correction value calculated by the calculation means; Includes.
상기 영상처리기는 상기 카메라에 의해 촬영된 이미지를 탑뷰(Top View)로 전환하는 전환수단; 을 더 포함하고, 상기 마커 검출수단은 상기 전환수단에 의해 생성된 탑뷰 이미지에서 상기 검출마커를 검출한다.The image processor includes switching means for converting the image captured by the camera into a top view; It further includes, wherein the marker detection means detects the detection marker in the top view image generated by the switching means.
상기 카메라에서 촬영되는 이미지를 사용자에게 출력시키기 위한 모니터; 를 더 포함하고, 상기 영상처리기는 상기 검출마커와 상기 원형마커를 상기 모니터상에 함께 출력시키는 묘사수단; 을 더 포함하며, 상기 묘사수단은 상기 검출마커와 상기 원형마커의 중심을 일치시켜서 상기 모니터상에 출력시킨다.a monitor for outputting images captured by the camera to a user; The image processor further includes: rendering means for outputting the detection marker and the circular marker together on the monitor; It further includes, wherein the rendering means aligns the centers of the detection marker and the circular marker and outputs them on the monitor.
본 발명에 따르면 다음과 같은 효과가 있다.According to the present invention, the following effects are achieved.
첫째, 작업 도구에 얇은 박판형의 마커를 설치하는 것만으로 작업 도구의 수평도와 경심을 제어할 수 있어서 설치가 수월하고 설치 비용이 절감된다.First, the horizontality and inclination of the work tool can be controlled simply by installing a thin plate-shaped marker on the work tool, making installation easier and reducing installation costs.
둘째, 작업 도구들마다 얇은 박판형의 마커만 설치하면 되고 공간 낭비도 거의 없어서, 여러 개의 작업 도구에 대한 운용이 수월해지고 설치 비용이 더욱 절감된다.Second, only a thin plate-type marker needs to be installed on each work tool and there is little space wasted, making operation of multiple work tools easier and installation costs further reduced.
셋째, 작업을 수행하는 사용자가 모니터를 통해 현재의 작업 상태를 직관적으로 확인 및 이해하면서 작업을 진행할 수 있어서 작업의 적절성이 담보될 수 있다.Third, the appropriateness of the work can be guaranteed because the user performing the work can proceed with the work while intuitively checking and understanding the current work status through the monitor.
도 1은 수평도 제어를 위한 본 발명의 일 실시예에 따른 작업 차량의 제어시스템에 대한 구성도이다.
도 2는 수평 제어용 마커의 설치 형태를 보여주기 위한 참고도이다.
도 3은 도 1의 제어시스템에 적용된 영상처리기에 대한 구성도이다.
도 4는 수평 제어용 마커를 설명하기 위한 참고도이다.
도 5는 도 1의 제어시스템에서 이루어지는 제어 흐름을 설명하기 위한 흐름도이다.
도 6 내지 도 9는 도 5의 제어 흐름을 설명하기 위한 참고도들이다.
도 10 및 도 11은 수평 제어용 마커에 대한 다른 예들이다.
도 12는 경심 제어를 위한 본 발명의 일 실시예에 따른 작업 차량의 제어시스템에 대한 구성도이다.
도 13은 경심 제어용 마커의 설치 형태를 보여주기 위한 참고도이다.
도 14는 도 13의 제어시스템에 적용된 영상처리기에 대한 구성도이다.
도 15는 작업 차량에 견인되는 작업 도구의 상대적인 이동을 설명하기 위한 참고도이다.
도 16은 도 12의 제어시스템에서 이루어지는 제어 흐름을 설명하기 위한 흐름도이다.
도 17 및 도 18은 도 16의 제어 흐름을 설명하기 위한 참고도들이다.
도 19 및 도 20은 경심 제어용 마커의 다를 예들이다.1 is a configuration diagram of a control system for a work vehicle according to an embodiment of the present invention for horizontality control.
Figure 2 is a reference diagram showing the installation form of the marker for horizontal control.
FIG. 3 is a configuration diagram of an image processor applied to the control system of FIG. 1.
Figure 4 is a reference diagram for explaining a marker for horizontal control.
FIG. 5 is a flowchart for explaining the control flow performed in the control system of FIG. 1.
Figures 6 to 9 are reference diagrams for explaining the control flow of Figure 5.
10 and 11 are other examples of markers for horizontal control.
Figure 12 is a configuration diagram of a control system for a work vehicle according to an embodiment of the present invention for light core control.
Figure 13 is a reference diagram showing the installation form of the marker for warp center control.
FIG. 14 is a configuration diagram of an image processor applied to the control system of FIG. 13.
Figure 15 is a reference diagram for explaining the relative movement of a work tool towed by a work vehicle.
FIG. 16 is a flowchart for explaining the control flow performed in the control system of FIG. 12.
Figures 17 and 18 are reference diagrams for explaining the control flow of Figure 16.
Figures 19 and 20 show different examples of markers for diagonal control.
본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 설명하되, 설명의 간결함을 위해 주지된 구성에 대한 설명은 가급적 생략하거나 압축한다.Preferred embodiments according to the present invention will be described with reference to the accompanying drawings, but for brevity of explanation, descriptions of well-known configurations will be omitted or compressed as much as possible.
<수평도 제어를 위한 설명><Explanation for horizontality control>
1. 구성 설명1. Configuration description
도 1은 본 발명의 일 실시예에 따른 작업 도구의 수평도 제어를 위한 작업 차량의 제어시스템(100, 이하 '수평도 제어시스템'이라 약칭함)에 대한 개략적인 구성도이다.Figure 1 is a schematic configuration diagram of a control system 100 (hereinafter abbreviated as 'horizontality control system') of a work vehicle for controlling the horizontality of a work tool according to an embodiment of the present invention.
수평도 제어시스템(100)은 카메라(110), 수평센서(115), 영상처리기(120)및 모니터(130)를 포함한다.The
각 구성에 대한 설명에 앞서서 제1 수평도와 제2 수평도에 대하여 먼저 설명한다.Before explaining each configuration, the first horizontal degree and the second horizontal degree will first be described.
제1 수평도는 작업 도구에 요구되는 수평도를 말하며, 계산에 의해 추정될 수 있다.The first horizontality refers to the horizontality required for the work tool and can be estimated by calculation.
제2 수평도는 작업 도구의 실제 수평도를 말하며, 일정한 계산에 의해 얻어질 수 있다. 제2 수평도는 작업 차량에 대한 작업 도구의 상대적인 수평도로 표현될 수 있다.The second horizontality refers to the actual horizontality of the work tool and can be obtained by certain calculations. The second horizontality may be expressed as the relative horizontality of the work tool with respect to the work vehicle.
예를 들어, 작업 도구를 견인하면서 주행하는 작업 차량이 지면 상태에 따라 기울어질 수 있다. 이 때, 작업 도구도 어느 정도 작업 차량을 따라서 기울어지게 된다. 그러면, 제2 수평도가 제1 수평도로부터 벗어나게 된다. 이에 따라 현재 작업 도구에 의해 작업이 이루어지고 있는 특정 작업 영역의 작업 상태가 불량해질 수 있다. 그래서 제2 수평도가 제1 수평도에 일치되도록 작업 도구의 수평도를 제어할 필요가 있다.For example, a work vehicle driving while towing a work tool may tilt depending on ground conditions. At this time, the work tool is also tilted to some extent along the work vehicle. Then, the second horizontal degree deviates from the first horizontal degree. Accordingly, the work status of a specific work area where work is currently being performed by a work tool may become poor. Therefore, it is necessary to control the horizontality of the work tool so that the second horizontality matches the first horizontality.
그런데, 작업 차량의 기울어짐이 작업 도구의 기울어짐에 그대로 반영되지는 않는다. 왜냐하면 작업 차량이 있는 지면 상태와 작업 도구가 있는 지면의 상태가 다를 수 있고, 작업 차량과 작업 도구의 연결 구조도 다를 수 있기 때문이다. 이 외에도 여러 원인에 의해 작업 차량의 기울어짐 정도와 작업 도구의 기울어짐 정도는 일치하지 않는다. 따라서 제1 수평도 및 제2 수평도를 계산하여 추정하고, 제2 수평도를 제1 수평도에 일치시키기 위한 제어가 필요하며, 본 발명은 이를 위한 구성들에 관한 것이다. 이어서 본 발명의 특징적인 구성들에 대하여 설명한다.카메라(110)는 후방에 있는 작업 도구를 촬영한다. 이를 위해 카메라(110)는 작업 차량의 후미 상단에 설치된다. 여기서 작업 도구(WD)는 로터베이터일 수 있다.However, the tilt of the work vehicle is not directly reflected in the tilt of the work tool. This is because the state of the ground where the work vehicle is located and the state of the ground where the work tool is located may be different, and the connection structure of the work vehicle and the work tool may also be different. In addition, the degree of tilt of the work vehicle and the degree of tilt of the work tool do not match due to various reasons. Therefore, it is necessary to calculate and estimate the first horizontality and the second horizontality and control to match the second horizontality to the first horizontality, and the present invention relates to configurations for this. Next, the characteristic configurations of the present invention will be described. The
카메라(110)는 특히 그 시야각 안에 작업 도구에 있는 수평 제어용 마커(Marker)가 배치될 수 있도록 설치된다. 물론, 작업 도구는 작업 차량에 의해 견인되는 상태여야 한다.The
본 실시예에서는 카메라(110)가 작업 차량의 후미 상단에 붙박이 또는 매립 구조로 고정되게 설치된다. 따라서 카메라(110)의 수평도는 작업 차량의 수평도와 일치한다.In this embodiment, the
도 2는 작업 도구(WD)에 있는 수평 제어용 마커(HM)에 대한 일 예를 개략적으로 보여주고 있다.Figure 2 schematically shows an example of a marker (HM) for horizontal control on a work tool (WD).
수평 제어용 마커(HM)는 카메라(110)에 의해 촬영된 이미지에서 식별될 수 있는 단순한 식별 표지로서 구비된다. 그래서 전원이 필요하거나, 특별한 동작이 요구되지 않는다.The horizontal control marker (HM) is provided as a simple identification mark that can be identified in the image captured by the
또, 평면 형태의 얇은 박판형의 부착물이므로 실질적으로 설치 공간도 요구되지 않는다. 더 구체적으로, 수평 제어용 마커(HM)는 평면 형태의 부착물에 인자된 특별한 식별 무늬일 수 있다. 그래서 수평 제어용 마커(HM)는 적당한 위치에 페인팅 된 형태로 마련될 수도 있다.In addition, since it is a flat, thin plate-shaped attachment, virtually no installation space is required. More specifically, the horizontal control marker (HM) may be a special identification pattern printed on a flat attachment. Therefore, the horizontal control marker (HM) may be provided in a painted form at an appropriate location.
즉 본 발명에 따르면, 작업 도구(WD)의 수평도 제어를 위해서 작업 도구(WD)에 구축되어야 할 필요물로서 브라켓이나 케이블 등이 요구되지 않는다.That is, according to the present invention, brackets, cables, etc. are not required to be installed in the work tool WD in order to control the horizontality of the work tool WD.
또, 평평함 외에는 수평 제어용 마커(HM)를 설치하기 위한 특별한 설치 공간의 제약도 없다.In addition, other than flatness, there are no special installation space restrictions for installing the horizontal control marker (HM).
수평 제어용 마커(HM)는 서로 이격되어 있는 제1 표시(m1)와 제2 표시(m2)를 가진다.The horizontal control marker (HM) has a first mark (m1) and a second mark (m2) that are spaced apart from each other.
제1 표시(m1)와 제2 표시(m2)는 카메라(110)에 의해 촬영된 이미지에 대하여 일정한 영상처리 과정을 거치면 그 위치가 정확히 특정될 필요가 있다. 이를 위해 수평 제어용 마커(HM)는 영상 처리 시에 정확히 검출될 수 있는 무늬(형태나 패턴 등등)를 가지는 것이 바람직하다. 이와 관련하여서는 후술한다.The positions of the first mark m1 and the second mark m2 need to be accurately specified by performing a certain image processing process on the image captured by the
수평센서(115)는 작업 차량의 수평도를 감지한다. 수평센서(115)는 아이엠유센서일 수 있다.The
영상처리기(120)는 카메라(110)에 의해 촬영된 이미지를 영상처리하여 제1 수평도와 제2 수평도를 연산한 후, 제2 수평도가 제1 수평도에 일치되게 작업 도구(WD)의 수평도를 제어하기 위한 수평도 제어신호를 출력시킨다. 이를 위해 도 3에서와 같이 영상처리기(120)는 추정수단(EM), 마커 검출수단(121), 제1 연산수단(122), 제2 연산수단(123), 신호 생성수단(124) 및 묘사수단(125)을 포함한다.The
추정수단(EM)는 수평센서(115)에서 감지된 감지값으로부터 제1 수평도를 계산하여 추정한다. 이 때, 제1 수평도는 작업 차량의 수평도를 영점 기준점으로 하여 계산된다.The estimation means (EM) calculates and estimates the first horizontality from the detection value detected by the
예를 들어, 수평센서(115)로부터 감지된 감지값에 근거하여 작업 차량이 좌측으로 4도 기울어졌다고 가정한다. 이렇게 작업 차량이 좌측으로 4도 기울어진 경우, 추정수단(EM)은 작업 차량에 대하여 우측으로 4도 기울어진 값으로 제1 수평도를 계산하게 된다. 이하부터는 좌측 기울어짐에는 ??를 부여하고, 우측 기울어짐에는 +를 부여한다. 그래서 다시 표현하면, 작업 차량이 -4도 기울어졌을 때, 제1 수평도는 +4도가 된다.For example, assume that the work vehicle is tilted 4 degrees to the left based on the value detected from the
그런데 앞서 언급한 바와 같이, 작업 도구의 경우에도 -4도만큼은 아니지만 일정 정도 기울어진다는 점을 고려해야 한다. 그래서 다음의 구성들이 필요하다.However, as mentioned earlier, even in the case of work tools, it must be taken into account that they are tilted to a certain degree, although not as much as -4 degrees. So the following configurations are needed.
마커 검출수단(121)은 카메라(110)에 의해 촬영된 이미지를 영상처리하여 수평 제어용 마커(HM)를 검출하고, 수평 제어용 마커(HM)에 있는 설정지점을 확인한다. 여기서 도 4를 참조하여 수평 제어용 마커(HM) 및 설정지점(P1, P2)에 대하여 좀 더 살펴본다.The marker detection means 121 processes the image captured by the
수평 제어용 마커(HM)는 제2 수평도를 확인하기 위해 구비된다.A horizontal control marker (HM) is provided to check the second horizontality.
수평 제어용 마커(HM)는 서로 이격된 제1 표시(m1)와 제2 표시(m2)를 포함한다.The horizontal control marker (HM) includes a first mark (m1) and a second mark (m2) spaced apart from each other.
본 실시예에 따르면 영상처리 과정에서 수평 제어용 마커(HM)인 제1 표시(m1)와 제2 표시(m2)를 검출하는 단계와 해리스 코너(Harris Corner)를 확인하는 단계를 가진다. 그래서 제1 표시(m1)와 제2 표시(m2)는 이진화 처리에서 경계가 분명히 나뉠 수 있는 무늬를 가지도록 디자인되는 것이 바람직하다. 또, 해리스 코너의 확인을 위해 픽셀값이 급변하는 지점을 명확히 확인할 수 있는 무늬를 가지도록 디자인되는 것이 바람직하다.According to this embodiment, the image processing process includes the step of detecting the first mark (m1) and the second mark (m2), which are horizontal control markers (HM), and the step of checking the Harris Corner. Therefore, it is desirable that the first mark (m1) and the second mark (m2) be designed to have patterns that can be clearly divided into boundaries during binarization processing. Additionally, in order to identify Harris corners, it is desirable to design the pattern to clearly identify points where pixel values change rapidly.
본 실시예에서는 제1 표시(m1)와 제2 표시(m2)가 사각 박스의 흰색 바탕에 검은색 작은 사각형 2개가 상호 모서리가 연접되게 배치되는 형태를 가지도록 디자인되어 있다. 이에 따라 검은색 작은 사각형 2개와 흰색 작은 사각형 2개가 동일 색상끼리 서로 엇갈리게 연접하여 배치된다. 이 경우, 이진화 처리를 하게 되면, 흰색과 검은색의 경계가 분명하게 나뉠 수 있다. 그래서 흰색 사각형이 명확히 검출될 수 있다. 또, 2개의 흰색 사각형과 2개의 검은색 사각형이 모두 만나는 지점인 설정지점(P1, P2)도 정확히 확인될 수 있다.In this embodiment, the first mark (m1) and the second mark (m2) are designed to have the shape of a rectangular box in which two small black squares are arranged on a white background with their corners adjacent to each other. Accordingly, two small black squares and two small white squares of the same color are placed alternately and adjacent to each other. In this case, when binarization is performed, the boundary between white and black can be clearly divided. So the white square can be clearly detected. Additionally, the set points (P1, P2), which are the points where two white squares and two black squares meet, can also be accurately identified.
본 실시예에서, 제1 표시(m1) 및 제2 표시(m2)의 흰색 작은 사각형 2개는 이진화 처리 단계에서 검출되는 검출부분으로서 기능한다. 그리고 검은색 작은 사각형 2개는 이진화 처리 단계에서 흰색 작은 사각형 2개가 다양한 배경과 분리되어 명확히 검출되거나 픽셀값이 급변하는 해리스 코너가 확인되도록 지원하는 지원부분으로서 기능한다.In this embodiment, the two small white squares of the first mark (m1) and the second mark (m2) function as detection portions detected in the binarization process step. In addition, the two small black squares function as a support part to ensure that the two small white squares are clearly detected by separating them from the various backgrounds during the binarization process, or that the Harris corner where the pixel value changes rapidly is identified.
제1 연산수단(122)은 마커 검출 수단(121)에 의해 검출된 제1 표시(m1)와 제2 표시(m2)의 설정지점(P1, P2)을 통해 제2 수평도를 연산한다. 예를 들어, 작업 차량의 기울기가 -4도일 때, 검출된 수평 제어용 마커(HM)를 이용해 제1 연산수단(122)에 의해 연산된 제2 수평도는 +3도 일 수 있다. 여기서 제2 수평도도 작업 차량의 수평도를 영점 기준점으로 하여 계산된다. 물론, 반드시 작업 차량의 수평도가 제1 수평도와 제2 수평도의 영점 기준점일 필요는 없다. 어떠한 수평도이든 알고리즘 상에서 제1 수평도와 제2 수평도를 계산하기 위한 기준 역할을 할 수 있으면 영점 기준점으로 족하다.The first calculation means 122 calculates the second horizontality through the set points P1 and P2 of the first mark m1 and the second mark m2 detected by the marker detection means 121. For example, when the inclination of the work vehicle is -4 degrees, the second horizontality calculated by the first calculating means 122 using the detected horizontal control marker (HM) may be +3 degrees. Here, the second horizontality is also calculated using the horizontality of the work vehicle as the zero reference point. Of course, the horizontality of the work vehicle does not necessarily need to be the zero reference point of the first horizontality and the second horizontality. Any horizontality is sufficient as a zero reference point if it can serve as a reference for calculating the first horizontality and the second horizontality in the algorithm.
제2 연산수단(123)은 제1 수평도와 제2 수평도 간의 차이를 연산한다. 이에 따라 작업 차량에 대한 작업 도구(WD)의 상대적인 수평 상태가 확인될 수 있다. 예를 들어, 제1 수평도는 +4도이고, 제2 수평도가 +3도이면, 그 차가 +1도이다. 이는 작업 도구가 우측으로 +1도만큼 더 기울어져야 제2 수평도가 제1 수평도와 일치될 수 있다는 것을 의미한다.The second calculating means 123 calculates the difference between the first horizontality and the second horizontality. Accordingly, the relative horizontal state of the work tool (WD) with respect to the work vehicle can be confirmed. For example, if the first horizontal degree is +4 degrees and the second horizontal degree is +3 degrees, the difference is +1 degree. This means that the work tool must be tilted more to the right by +1 degree for the second horizontality to coincide with the first horizontality.
참고로, 본 실시예에서의 제1 수평도와 제2 수평도 간의 차이는 제1 수평도를 따르는 제1 선분과 제2 수평도를 따르는 제2 선분 간의 각도를 말한다. 이에 대해서는 후술된다. For reference, the difference between the first horizontal degree and the second horizontal degree in this embodiment refers to the angle between the first line segment along the first horizontal degree and the second line segment along the second horizontal degree. This will be described later.
신호 생성수단(124)은 제2 연산수단(123)에 의해 연산된 각도가 0이 되도록 작업 도구의 수평도를 제어하기 위한 수평도 제어신호를 생성하여 출력한다. 이렇게 신호 생성수단(124)에서 생성된 후 출력되는 수평도 제어신호는 작업 차량의 제어수단으로 입력되고, 제어수단은 하부 링크를 구동시키는 구동장치를 제어하여 작업 도구(WD)의 수평도를 조정한다. 그러면, 하부 링크의 구동에 의해 작업 도구(WD)의 제2 수평도가 작업 차량의 제1 수평도와 일치하게 된다.The signal generating means 124 generates and outputs a horizontality control signal for controlling the horizontality of the work tool so that the angle calculated by the second calculating means 123 is 0. The horizontality control signal generated and output from the signal generating means 124 is input to the control means of the work vehicle, and the control means controls the driving device that drives the lower link to adjust the horizontality of the work tool (WD). do. Then, by driving the lower link, the second horizontality of the work tool WD matches the first horizontality of the work vehicle.
묘사수단(125)은 제1 선분과 제2 선분을 생성하여 모니터(130)상에 출력시킨다.The rendering means 125 generates a first line segment and a second line segment and outputs them on the
여기서 제1 선분은 작업 차량의 수평도인 제1 수평도를 묘사하기 위한 선분이다.Here, the first line segment is a line segment for depicting the first horizontality, which is the horizontality of the work vehicle.
제1 선분은 카메라(110)에 의해 촬영된 사각 이미지 틀에서 추정수단(EM)에 의해 구해진 제1 수평도를 따르는 직선으로 생성될 수 있다. The first line segment may be created as a straight line following the first horizontality obtained by the estimation means (EM) in the square image frame captured by the
제2 선분은 제2 수평도를 묘사하기 위한 선분이다. 그래서 제2 선분은 제2 수평도의 연산에 의해 얻어질 수 있다.The second line segment is a line segment for depicting the second horizontal degree. So the second line segment can be obtained by calculating the second horizontal degree.
예를 들어, 제2 선분은 제1 표시(m1)의 설정지점(P1)과 제2 표시(m2)의 설정지점(P2)을 잇는 직선일 수 있다.For example, the second line segment may be a straight line connecting the setting point P1 of the first mark m1 and the setting point P2 of the second mark m2.
제2 선분은 작업 차량과 작업 도구(WD)의 수평도가 일치할 때는 제1 선분과 평행하면서 일치한다. The second line segment is parallel and coincides with the first line segment when the horizontality of the work vehicle and the work tool WD coincides.
작업 차량의 사용자는 모니터(130)로 카메라(110)에 의해 촬영된 이미지상에서 제1 선분과 제2 선분을 확인할 수 있다. 이에 따라 사용자는 제1 선분과 제2 선분의 직관적인 비교를 통해 제1 수평도와 작업 차량에 대한 작업 도구의 상대적인 수평도인 제2 수평도의 차를 알 수 있다.The user of the work vehicle can check the first line segment and the second line segment on the image captured by the
더 나아가 제1 선분이 제2 선분과 교차점을 가지도록 묘사되는 것이 바람직하게 고려될 수 있다. 이러한 방식은 제1 선분과 제2 선분 간의 틀어진 각도를 사용자가 더 명확하게 직관할 수 있게 한다.Furthermore, it may be considered desirable to depict the first line segment having an intersection with the second line segment. This method allows the user to more clearly intuit the angle between the first and second line segments.
또, 제1 선분과 제2 선분은 분별력을 위해 서로 다른 색상을 가지도록 표시되는 것이 더 바람직하게 고려될 수 있다.Additionally, it may be more desirable for the first line segment and the second line segment to be displayed in different colors for discernment.
제1 선분과 제2 선분에 대한 구체적인 사례는 도 5를 참고한 흐름 설명에서 더 다룬다.Specific examples of the first line segment and the second line segment are further discussed in the flow description referring to FIG. 5.
2. 흐름 설명(도5의 흐름도 참고)2. Flow description (refer to the flow chart in Figure 5)
가. 이미지 획득<S11>go. Image acquisition<S11>
작업 차량에 설치된 카메라(110)로 작업 도구를 촬영하여 이미지를 획득한다. 그리고 카메라(110)에 의해 획득되는 이미지는 도 6에서와 같은 화면으로 모니터(130)를 통해 출력된다.Images are acquired by photographing the work tool with the
나. 이진화 처리<S12>me. Binarization processing <S12>
영상처리기(120)의 마커 검출 수단(110)은 획득된 이미지를 이진화 처리한다.The marker detection means 110 of the
이진화 처리에 의해 기 설정되어 있는 기준 명도 값보다 이하인 명도를 가진 지점은 명도가 0으로 처리되고, 기준 명도값보다 이상인 명도를 가진 지점은 명도가 1로 처리된다. 그래서 수평 제어용 마커(HM)의 제1 표시(m1)와 제2 표시(m2) 상의 흑백 명암이 분명하게 나뉘어 검출된다.Through binarization processing, points with a brightness lower than the preset standard brightness value are treated as 0, and points with a brightness higher than the standard brightness value are treated as 1. Therefore, the black and white contrast on the first mark (m1) and the second mark (m2) of the horizontal control marker (HM) are clearly divided and detected.
도 7은 도 6의 상태에서 이진화 처리가 이루어진 상태에 대한 개략적이고 개념적인 상태도이다. 참고로, 도 7의 상태도는 프로그램적으로만 구현되는 것이기 때문에 사용자에게는 디스플레이되지 않는다.Figure 7 is a schematic and conceptual state diagram of the state in which binarization processing is performed in the state of Figure 6. For reference, the state diagram in FIG. 7 is not displayed to the user because it is implemented only programmatically.
도 7을 보면, 이진화 처리에 의해 수평 제어용 마커(HM)가 명확히 검출되었음을 알 수 있다.Looking at FIG. 7, it can be seen that the horizontal control marker (HM) was clearly detected through binarization processing.
다. 설정지점 확인<S13>all. Check set point <S13>
영상처리기(120)의 마커 검출 수단(121)은 이진화 처리 후에 픽셀값이 급변하는 설정지점(P1, P2)을 확인한다.The marker detection means 121 of the
라. 제2 수평도 연산<S14>la. Second horizontality calculation <S14>
영상처리기(120)의 제1 연산수단(122)은 양 표시(m1, m2)의 설정지점(P1, P2)을 통해 제2 수평도를 연산한다. 이 연산으로 도 8에서 참조되는 양 설정지점(P1, P2)을 잇는 제2 선분(L2)이 구해질 수 있다.The first calculation means 122 of the
마. 차이 연산<S15>mind. Difference operation<S15>
제2 연산수단(123)은 제1 수평도와 제2 수평도 간의 차이를 연산한다. 여기서 제1 수평도는 추정수단(EM)에 의해 연산된 작업 도구에 요구되는 수평도로서, 제1 수평 연산 단계<S21>를 통해 구해진다.The second calculating means 123 calculates the difference between the first horizontality and the second horizontality. Here, the first horizontality is the horizontality required for the work tool calculated by the estimation means (EM), and is obtained through the first horizontal calculation step <S21>.
일 실시 형태에 따르면, 제2 연산수단(123)은 제1 선분(L1)과 제2 선분(L2) 간의 각도(α)를 연산하도록 구현될 수 있다. 여기서 제1 선분(L1)은 제1 수평도에 따른 선분이다.According to one embodiment, the second calculating means 123 may be implemented to calculate the angle α between the first line segment L1 and the second line segment L2. Here, the first line segment L1 is a line segment according to the first horizontal degree.
바. 수평도 제어 신호 생성<S16>bar. Generation of horizontality control signal <S16>
신호 생성수단(124)은 제2 수평도를 제1 수평도에 일치시키기 위해서 작업 도구(WD)의 수평도를 제어하기 위한 수평도 제어신호를 생성한다.The signal generating means 124 generates a horizontality control signal for controlling the horizontality of the work tool WD in order to match the second horizontality to the first horizontality.
본 실시예에서의 수평도 제어신호는 제1 수평도와 제2 수평도 간의 각도 차이를 0으로 하기 위한 값으로 생성된다.In this embodiment, the horizontality control signal is generated with a value to set the angle difference between the first horizontality and the second horizontality to 0.
사. 수평도 제어신호 출력<S17>buy. Horizontal control signal output <S17>
신호 생성수단(124)은 생성된 수평도 제어신호를 출력한다.The signal generating means 124 outputs the generated horizontality control signal.
이렇게 출력된 수평도 제어신호는 제어수단으로 입력된다. 그리고 제어수단은 하부 링크를 구동시키는 구동장치를 제어하여 작업 도구(WD)의 수평도를 조정한다. 이에 따라 작업 도구(WD)의 수평도인 제2 수평도가 작업 차량의 수평도인 제1 수평도와 일치하게 된다.The horizontality control signal output in this way is input to the control means. And the control means controls the driving device that drives the lower link to adjust the horizontality of the work tool (WD). Accordingly, the second horizontality, which is the horizontality of the work tool WD, coincides with the first horizontality, which is the horizontality of the work vehicle.
아. 선분 생성<S18>ah. Create line segment<S18>
한편 묘사수단(125)은 도 8에서 참고되는 바와 같이 제1 수평도를 표시하기 위한 제1 선분(L1)과 제1 연산수단(122)에 의해 연산된 제2 수평도에 기반하는 제2 선분(L2)을 생성한다.Meanwhile, as referenced in FIG. 8, the depiction means 125 includes a first line segment L1 for displaying the first horizontal degree and a second line segment based on the second horizontal degree calculated by the first calculating means 122. Create (L2).
여기서 제1 선분(L1)은 작업 도구에 요구되는 수평도인제1 수평도를 보여주기 위한 것이다. 그리고 제2 선분(L2)은 작업 도구(WD)의 현재 수평도인 제2 수평도를 보여주기 위한 것으로, 제1 연산수단(122)에 의해 연산된 값에 의해 생성되는 직선으로서, 양 설정지점(P1, P2)을 잇는 직선으로 표현된다.Here, the first line segment (L1) is for showing the first horizontality, which is the horizontality required for the work tool. And the second line segment L2 is for showing the second horizontality, which is the current horizontality of the work tool WD, and is a straight line generated by the value calculated by the first calculation means 122, and is a straight line generated by the value calculated by the first calculation means 122, and is a straight line at both set points. It is expressed as a straight line connecting (P1, P2).
자. 선분 표시<S19>ruler. Line segment display<S19>
그리고 도 9에서와 같이, 묘사수단(125)은 생성된 제1 선분(L1)과 제2 선분(L2)을 모니터(130)에 출력된 이미지상에 표시한다And as shown in FIG. 9, the rendering means 125 displays the generated first line segment L1 and second line segment L2 on the image output to the
본 실시예에 따르면, 제1 선분(L1)은 제1 수평도를 직관시키는 선분으로서 제2 선분(L2)과 교차점을 가지도록 표시된다. 그래서 사용자는 모니터(130)에 출력된 제1 선분(L1)과 제2 선분(L2) 간의 각도(α)를 직관적으로 빠르게 확인하고, 현재의 작업 상태에 대한 적절성을 확인해 가면서 작업을 수행할 수 있게 된다. According to this embodiment, the first line segment (L1) is a line segment that straightens the first horizontality and is displayed to have an intersection with the second line segment (L2). Therefore, the user can quickly and intuitively check the angle (α) between the first line segment (L1) and the second line segment (L2) output on the
3. 부가적인 설명3. Additional explanation
위의 실시예는 수평 제어용 마커(HM)의 설정지점(P1, P2)을 0차원적인 점으로 설정하고 있다. 그러나 실시하기에 따라서는 도 10에서와 같이 수평 제어용 마커(HM)의 설정지점(P)이 좁은 영역을 가진 2차원적인 점으로 표시될 수도 있다.In the above embodiment, the setting points (P1, P2) of the horizontal control marker (HM) are set to zero-dimensional points. However, depending on implementation, the setting point (P) of the horizontal control marker (HM) may be displayed as a two-dimensional point with a narrow area, as shown in FIG. 10.
이 경우 제2 수평도 및 제2 선분에 대한 정확성은 다소 떨어질 수 있으나, 해리스 코너의 확인 과정이 생략될 수 있다. 즉, 도 10의 예에 따르면 이진화 처리 만으로 명도 값이 1로 둘러싸인 0인 영역을 확인할 수 있고, 그 만큼 처리 속도가 향상되는 이점을 가질 수 있다.In this case, the accuracy of the second horizontality and the second line segment may be somewhat reduced, but the process of checking the Harris corner can be omitted. That is, according to the example of FIG. 10, an area where the brightness value is 0 surrounded by 1 can be confirmed only through binarization processing, which has the advantage of improving processing speed accordingly.
더 나아가 도 11에서와 같이 수평 제어용 마커(HM)는 작업 도구(WD)의 좌우 방향으로 긴 1차원적인 막대 무늬(R)를 가지도록 디자인될 수도 있다. 이 경우 묘사수단(125)는 제1 선분(L1)을 막대 무늬(R)와 교차되도록 표시한다.Furthermore, as shown in FIG. 11, the horizontal control marker (HM) may be designed to have a long one-dimensional bar pattern (R) in the left and right directions of the work tool (WD). In this case, the depiction means 125 displays the first line segment L1 so that it intersects the bar pattern R.
이처럼, 본 발명의 구체적인 실시 형태는 다양할 수 있다. As such, specific embodiments of the present invention may vary.
즉, 본 발명의 가장 근원적인 특징은 수평 제어용 마커(HM)를 검출한 후, 검출된 수평 제어용 마커(HM)를 통해 제2 수평도를 연산하고, 제2 수평도를 제1 수평도와 일치시키는 자동 제어를 수행하는 것이다. 그래서 이 근원적인 특징을 벗어나지 않는 범위 내에서 다양한 실시 형태가 고려될 수 있다.In other words, the most fundamental feature of the present invention is to detect the horizontal control marker (HM), calculate the second horizontality through the detected horizontal control marker (HM), and match the second horizontality with the first horizontality. This is to perform automatic control. Therefore, various embodiments can be considered without departing from this fundamental feature.
<경심 제어를 위한 설명><Explanation for controlling alertness>
1. 구성 설명1. Configuration description
도 12는 본 발명의 일 실시예에 따른 작업 도구(WD)의 경심 제어를 위한 작업 차량의 제어시스템(200, 이하 '경심 제어시스템'이라 약칭함)에 대한 개략적인 구성도이다.Figure 12 is a schematic configuration diagram of a control system 200 (hereinafter abbreviated as 'width control system') of a work vehicle for controlling the width of a work tool (WD) according to an embodiment of the present invention.
경심 제어시스템(200)은 카메라(210), 영상처리기(220) 및 모니터(230)를 포함한다.The
카메라(210)는 후방에 있는 작업 도구(WD)를 촬영한다. 이를 위해 카메라(210)는 작업 차량의 후미 상단에 설치된다. 여기서 작업 도구(WD)는 로터베이터나 쟁기일 수 있다.The
카메라(210)는 그 시야각 안에 작업 도구(WD)에 있는 경심 제어용 마커(Marker)가 배치될 수 있도록 설치된다. 작업 도구(WD)는 작업 차량에 의해 견인되는 상태이다.The
도 13은 작업 도구(WD)에 있는 경심 제어용 마커(DM)에 대한 일 예를 개략적으로 보여주고 있다.FIG. 13 schematically shows an example of a marker (DM) for dispersion control on a work tool (WD).
경심 제어용 마커(DM)는 카메라(210)에 의해 촬영된 이미지에서 식별될 수 있는 단순한 식별 표지로서 구비된다. 그래서 전원이 필요하거나, 특별한 동작이 요구되지 않는다.A marker for controlling the depth of field (DM) is provided as a simple identification mark that can be identified in an image captured by the
또, 평면 형태의 얇은 박판형의 부착물이므로 실질적으로 설치 공간도 요구되지 않는다. 더 구체적으로, 경심 제어용 마커(DM)는 평면 형태의 부착물에 인자된 특별한 식별 무늬일 수 있다. 그래서 경심 제어용 마커(DM)는 적당한 위치에 페인팅 된 형태로 마련될 수도 있다. 즉 본 발명에 따르면, 작업 도구(WD)의 경심 제어를 위해 작업 도구(WD)에 구축되어야 할 필요물로서 브라켓이나 케이블 등이 요구되지 않는다.In addition, since it is a flat, thin plate-shaped attachment, virtually no installation space is required. More specifically, the distal center control marker (DM) may be a special identification pattern printed on a flat attachment. Therefore, the marker for controlling the warp depth (DM) may be provided in a painted form at an appropriate location. That is, according to the present invention, brackets, cables, etc. are not required as necessary items to be built into the work tool WD in order to control the warp axis of the work tool WD.
또, 경심 제어용 마커(DM)를 설치하기 위한 특별한 설치 공간의 제약도 없다.In addition, there are no special installation space restrictions for installing the radius control marker (DM).
경심 제어용 마커(DM)는 작업 도구의 중앙 부위에 구비되는 것이 바람직하게 고려될 수 있다.It may be desirable to consider that the marker for controlling the warp depth (DM) is provided in the central portion of the work tool.
경심 제어용 마커(DM)는 카메라(210)에 의해 촬영된 이미지에 대하여 일정한 영상처리 과정을 거치면 그 검출된 무늬의 크기(넓이를 포함하는 개념임)가 정확히 특정될 필요가 있다. 이를 위해 경심 제어용 마커(DM)는 영상 처리 시에 정확히 확인이 될 수 있는 무늬를 가지는 것이 바람직하다. 이와 관련하여서는 후술한다.When the diagonal control marker (DM) undergoes a certain image processing process for the image captured by the
영상처리기(220)는 카메라(210)에 의해 촬영된 이미지를 영상처리하여 경심 제어용 마커(DM)를 검출한다.The
영상처리기(220)는 검출된 경심 제어용 마커(이하 '검출마커'라 함)가 기 설정된 경심에 대응하는 원형(原形)마커(이하 '원형마커'라 함)와 동일해 지도록 작업 도구의 경심을 제어하기 위한 경심 제어신호를 출력시킨다. 이를 위해 도 14에서와 같이 영상처리기(220)는 전환수단(221), 마커 검출수단(222), 연산수단(223), 신호 생성수단(224) 및 묘사수단(225)을 포함한다.The
전환수단(221)은 카메라(210)에 의해 촬영된 이미지를 탑뷰(Top view)로 전환한다.The conversion means 221 converts the image captured by the
본 실시예는 카메라(210)와 경심 제어용 마커(DM) 간의 거리 변화에서 오는 경심 제어용 마커(DM)에 대한 이미지상의 크기차를 이용하기 위한 것이다.This embodiment is intended to utilize the size difference in the image for the distal center control marker (DM) resulting from a change in the distance between the
그런데, 카메라(210)는 작업 차량의 후미에 설치되고, 작업 도구(WD)는 카메라(210)보다 더 후방에서 배치된다. 그래서 촬영된 경심 설정용 마커(DM)는 이미지상에서 그 형태가 왜곡될 수 있다.However, the
또, 작업 도구(WD)는 작업 차량의 하부 링크에 매달려 견인된다. 그래서 도 15에서와 같이 작업 도구(WD)는 작업 차량(WV)과 작업 도구(WD)가 연결되는 연결점(C)을 중심으로 하여 작업 차량에 대하여 상대적인 이동 움직임을 보인다. 더 구체적으로 도 15를 살펴보면, 작업 도구(WD)는 연결점(C)을 회전 중심점으로 하여 대략 상하 방향으로 움직이는 회전 이동을 하게 된다. 이에 따라 작업 도구(WD)는 상하 이동 벡터(Y방향 벡터)와 전후 이동 벡터(X방향 벡터)를 모두 가지도록 작업 차량에 대하여 상대적으로 움직인다. 이러한 작업 도구(WD)의 움직임은 경심 제어용 마커(DM)에 대한 카메라(210)의 상대적인 촬영각을 변화시킨다. 그래서 카메라(210)에 의해 촬영된 이미지 내에서 작업 도구(WD)와 함께 움직이는 경심 제어용 마커(DM)의 형태가 변화될 수 있다.Additionally, the work tool (WD) is towed by hanging on the lower link of the work vehicle. Therefore, as shown in FIG. 15, the work tool WD shows relative movement with respect to the work vehicle centered on the connection point C where the work vehicle WV and the work tool WD are connected. Looking more specifically at FIG. 15, the work tool WD rotates approximately in the up and down direction with the connection point C as the rotation center point. Accordingly, the work tool WD moves relative to the work vehicle so as to have both a vertical movement vector (Y direction vector) and a forward and backward movement vector (X direction vector). This movement of the work tool (WD) changes the relative shooting angle of the
위와 같은 이유로 전환수단(221)이 카메라(210)에 의해 촬영된 이미지를 탑뷰로 전환한다. 그리고 이 과정에서 검출마커의 형태와 원형마커의 형태가 대략 동일해진다. 이에 따라 사용자는 모니터(230)상에 출력된 검출마커와 원형마커의 표시로부터 양자를 직관적으로 구분하고 그 크기차를 인식할 수 있게 된다.For the above reason, the conversion means 221 converts the image captured by the
마커 검출수단(132)은 탑뷰로 전환된 이미지에서 경심 제어용 마커(DM)를 검출한다. 여기서 경심 제어용 마커(DM)에 대하여 좀 더 살펴본다.The marker detection means 132 detects a marker (DM) for declination control in the image converted to a top view. Here, we take a closer look at the nerve center control marker (DM).
경심 제어용 마커(DM)는 작업 도구의 경심을 확인하기 위해 구비된다.The warp center control marker (DM) is provided to check the warp center of the work tool.
경심 제어용 마커(DM)는 영상처리 과정에서 이진화 처리에 의해 검출될 수 있다. 그래서 경심 제어용 마커(DM)는 이진화 처리에 의해 명확히 검출될 수 있는 무늬를 포함하도록 디자인되는 것이 바람직하다.A marker for deflection control (DM) can be detected through binarization during image processing. Therefore, it is desirable that the marker for controlling the radius (DM) be designed to include a pattern that can be clearly detected by binarization processing.
본 실시예에서는 경심 제어용 마커(DM)가 검은색의 동그라미 영역으로 구현되고 있다. 물론, 경심 제어용 마커(DM)의 주변에는 흰색이 배치되어 있다. 이는 이진화 처리에서 검은색의 경심 제어용 마커(DM)가 주변과 명확하게 구분되도록 하기 위함이다.In this embodiment, the meridian control marker (DM) is implemented as a black circle area. Of course, white is placed around the center control marker (DM). This is to ensure that the black center control marker (DM) is clearly distinguished from the surrounding area in the binarization process.
한편, 마커 검출수단(222)은 피팅을 수행하도록 구현될 수 있다. 탑뷰로 전환하더라도 검출마커가 완벽한 원형(原形) 형태가 아닐 수 있기 때문에, 피팅과정을 통해 검출마커를 원형(原形) 형태로 보정하는 것이다.Meanwhile, the marker detection means 222 may be implemented to perform fitting. Even if you switch to top view, the detection marker may not be in a perfectly circular shape, so the detection marker is corrected to its original shape through a fitting process.
연산수단(223)은 마커 검출 수단(222)에 의해 검출된 검출마커의 크기 및 원형마커와 검출마커의 크기차를 연산한 후 검출마커가 원형마커와 동일한 크기가 되도록 작업 도구의 경심을 보정하기 위한 보정값을 연산한다. 여기서 크기는 다양한 개념일 수 있다.The calculation means 223 calculates the size of the detection marker detected by the marker detection means 222 and the size difference between the circular marker and the detection marker, and then corrects the diagonal of the work tool so that the detection marker has the same size as the circular marker. Calculate the correction value for Here, size can be a variety of concepts.
예를 들어, 크기는 원형마커와 검출마커로 표현된 검은색 영역의 픽셀수(넓이)일 수 있다.For example, the size may be the number of pixels (width) of the black area expressed by the circular marker and the detection marker.
예를 들어, 크기는 원형마커와 검출마커로 표현된 검은색 영역의 지름이나 반지름 또는 그에 대응하는 픽셀수(길이) 일 수 있다.For example, the size may be the diameter or radius of the black area expressed by the circular marker and the detection marker, or the number (length) of pixels corresponding thereto.
참고로, 보정값은 검출마커와 원형마커 간 기하학적 관계식에 의한 추정값이다. 여기서 기하학적 관계식은 작업 차량(WV)에 대한 작업 도구(WD)의 상대적인 회전 운동에 따른 검출마커의 위치 및 크기 변화와 원형마커 간의 차이가 반영된 보정값을 구하는 관계식이다. For reference, the correction value is an estimated value based on the geometric relationship between the detection marker and the circular marker. Here, the geometric relationship is a relationship that obtains a correction value that reflects the difference between the position and size of the detection marker and the circular marker due to the relative rotational movement of the work tool (WD) with respect to the work vehicle (WV).
신호 생성수단(224)은 연산수단(223)에 의해 연산된 보정값에 따른 경심 제어신호를 생성하여 출력한다. 이렇게 신호 생성수단(224)에서 출력된 경심 제어신호는 작업 차량(WV)의 제어수단으로 입력되고, 제어수단은 하부 링크를 구동시키는 구동장치를 제어하여 작업 도구(WD)의 겸심을 조정한다. 이에 따라 하부 링크의 구동에 의해 작업 도구(WD)의 경심이 기 설정된 경심과 일치하게 된다.The signal generating means 224 generates and outputs a warp center control signal according to the correction value calculated by the calculating means 223. The width control signal output from the signal generating means 224 is input to the control means of the work vehicle (WV), and the control means controls the driving device that drives the lower link to adjust the width of the work tool (WD). Accordingly, the drive of the lower link causes the concentricity of the work tool WD to match the preset concentricity.
묘사수단(225)은 원형마커와 검출마커를 생성하여 모니터(230)상에 출력시킨다.The depiction means 225 generates a circular marker and a detection marker and outputs them on the
원형마커는 작업을 위해 기 설정된 경심에 대응하는 크기를 가지고 있다. 그래서 작업이 시작되기 전에 사용자에 의해 설정되는 경심에 대응되는 크기로 자동 설정된다.The circular marker has a size that corresponds to the preset circumference for the work. Therefore, it is automatically set to a size that corresponds to the circumference set by the user before the job starts.
검출마커는 현재의 경심을 묘사하기 위한 것이다. 그래서 검출마커는 현재 촬영된 이미지에서 원근감이 적용된 크기로 변화되어 반영된다. 이에 따라 검출마커는 연산수단(223)의 연산에 의해 얻어질 수 있다.The detection marker is intended to depict the current state of mind. Therefore, the detection marker is reflected by changing the size to which the perspective is applied in the currently captured image. Accordingly, the detection marker can be obtained through calculation by the calculation means 223.
본 실시예에서, 경심 제어용 마커(DM)는 검은색의 동그라미이다. 그래서 원형마커는 현재의 이미지에서 검출마커가 위치한 지점에 기 설정된 경심에 대응하는 원형 고리 형태로 표시될 수 있다. 그리고 검출마커는 연산수단에 의해 연산된 크기로 원형마커의 중심과 일치되는 중심을 가지도록 표시될 수 있다. 검출마커는 원형 고리 형태로 표시될 수도 있지만, 넓이를 가지는 원반의 형태로 표시될 수도 있다.In this embodiment, the marker (DM) for distal center control is a black circle. Therefore, the circular marker can be displayed in the form of a circular ring corresponding to the preset centroid at the point where the detection marker is located in the current image. Additionally, the detection marker may be displayed to have a center that coincides with the center of the circular marker with a size calculated by a calculation means. The detection marker may be displayed in the form of a circular ring, but may also be displayed in the form of a disk with an area.
묘사수단(225)에 의한 표시에 의해, 작업 차량(WV)의 사용자는 카메라(210)에 의해 촬영된 이미지상에서 원형마커와 검출마커를 확인할 수 있다. 그리고 사용자는 원형마커와 검출마커의 직관적인 비교를 통해 작업 도구(WD)의 현재 경심 상태를 알 수 있다.By displaying by the depiction means 225, the user of the work vehicle WV can confirm the circular marker and the detection marker on the image captured by the
2. 흐름 설명(도 16 참조)2. Flow description (see Figure 16)
가. 이미지 획득<21>go. Image acquisition<21>
작업 차량에 설치된 카메라(210)로 작업 도구(WD)를 촬영하여 이미지를 획득한다. 이렇게 획득된 이미지는 모니터(230)로 출력된다.An image is acquired by photographing the work tool (WD) with the
나. 이미지 전환<S22>me. Image conversion <S22>
영상처리기(220)의 전환수단(221)은 카메라(210)에 의해 촬영된 이미지를 탑뷰로 전환한다.The switching means 221 of the
다. 이진화 처리<S23>all. Binarization processing <S23>
영상처리기(220)의 마커 검출 수단(222)은 획득된 이미지를 이진화 처리한다.The marker detection means 222 of the
이진화 처리는 기준 명도 값의 기준 이하인 지점은 0, 이상인 지점은 1로 처리된다. 그래서 경심 제어용 마커(DM)는 주변의 흰색과 명암이 분명하게 나뉘어 검출된다.In the binarization process, points below the standard brightness value are treated as 0, and points above the standard brightness value are treated as 1. Therefore, the light control marker (DM) is detected with the surrounding white and light and dark areas clearly divided.
도 17은 이진화 처리에 의해 경심 제어용 마커(DM)가 검출된 개념적인 상태도이다. 도 17은 프로그램 내의 이미지상에서 경심 제어용 마커(DM)에 해당하는 검출마커(DM1)가 분명히 검출되고 있음을 알 수 있게 한다. 이 과정에서 검출마커(DM1)를 원형(原形)으로 재생하기 위한 피팅이 수행될 수 있다.Figure 17 is a conceptual state diagram in which a marker (DM) for deflection control is detected through binarization processing. Figure 17 shows that the detection marker (DM1) corresponding to the diagonal control marker (DM) is clearly detected on the image in the program. In this process, fitting may be performed to reproduce the detection marker DM1 in its original form.
라. 검출마커의 크기 연산<S24>la. Calculate the size of the detection marker <S24>
연산수단(223)은 검출마커(DM1)의 크기를 연산한다. 검출마커(DM1)의 크기는 픽셀수를 근거로 연산될 수 있다.The calculating means 223 calculates the size of the detection marker DM1. The size of the detection marker DM1 can be calculated based on the number of pixels.
마. 검출마커와 원형마커의 크기차 연산<S25>mind. Calculation of size difference between detection marker and circular marker <S25>
연산수단(223)은 원형마커와 검출마커(DM1)의 크기차를 연산한다.The calculating means 223 calculates the size difference between the circular marker and the detection marker DM1.
이 때, 원형마커는 기 설정된 경심에 의해 미리 연산되어 있고, 검출마커(DM1)는 이미지 상에서 검출된 후에 픽셀수를 근거로 연산된다.At this time, the circular marker is calculated in advance based on a preset girth center, and the detection marker DM1 is calculated based on the number of pixels after being detected on the image.
바. 보정값 연산<S26>bar. Compensation value calculation <S26>
연산수단(223)은 연산된 크기차를 0으로 하기 위해, 검출마커(DM1)가 원형마커와 동일한 크기가 되도록 작업 도구의 경심을 보정하기 위한 보정값을 연산한다. 즉, 보정값은 검출마커(DM1)의 크기가 고정된 원형마커의 크기와 동일해지도록 제어하기 위한 제어값이다. In order to set the calculated size difference to 0, the calculation means 223 calculates a correction value for correcting the concentricity of the work tool so that the detection marker DM1 has the same size as the circular marker. That is, the correction value is a control value for controlling the size of the detection marker DM1 to be the same as the size of the fixed circular marker.
사. 경심 제어 신호 생성<S27>buy. Generation of light control signal <S27>
신호 생성수단(224)은 검출마커(DM1)가 원형마커에 동일해지도록 하기 위해 작업 도구(WD)의 경심을 제어하기 위한 경심 제어신호를 생성한다.The signal generating means 224 generates a convergence control signal for controlling the concentricity of the work tool WD so that the detection marker DM1 is equal to the circular marker.
본 실시예에서의 경심 제어신호는 원형마커와 검출마커(DM1)가 동일해지는 값으로 생성된다.In this embodiment, the center control signal is generated at a value that makes the circular marker and the detection marker (DM1) the same.
마. 경심 제어신호 출력<S28>mind. Radius control signal output <S28>
신호 생성수단(224)은 생성된 경심 제어신호를 출력한다.The signal generating means 224 outputs the generated light core control signal.
이렇게 출력된 경심 제어신호는 제어수단으로 입력된다. 그리고 제어수단은 하부 링크를 구동시키는 구동장치를 제어하여 작업 도구(WD)의 경심을 조정한다. 이에 따라 작업 도구(WD)의 경심이 기 설정된 경심에 일치하게 된다.The light core control signal output in this way is input to the control means. And the control means controls the driving device that drives the lower link to adjust the tilt of the work tool (WD). Accordingly, the diameter of the work tool (WD) matches the preset diameter.
바. 마커 생성<S29a>bar. Create marker<S29a>
한편 묘사수단(225)은 원고리 형태의 원형마커와 연산수단(223)에 의해 연산된 검출마커(DM1)를 생성한다.Meanwhile, the description means 225 generates a circular marker in the form of a circular ring and a detection marker DM1 calculated by the calculation means 223.
여기서 원형마커는 기 설정된 경심에 대응하고, 검출마커(DM1)는 현재 작업 도중에 있는 경심에 대응한다.Here, the circular marker corresponds to the preset warp center, and the detection marker DM1 corresponds to the warp center currently in progress.
사. 마커 표시<S29b>buy. Marker display<S29b>
그리고 도 18에서와 같이, 묘사수단(225)은 생성된 원형마커(DM0)와 검출마커(DM1)를 모니터(230)에 출력된 이미지상에 표시한다.And as shown in FIG. 18, the rendering means 225 displays the generated circular marker DM0 and detection marker DM1 on the image output to the
본 실시예에 따르면, 원형마커(DM0)와 검출마커(DM1)는 중심이 일치되도록 표시된다. 그래서 사용자는 모니터(230)에 출력된 원형마커(DM0)와 검출마커(DM1)의 크기 비교를 통해 현재의 작업 상태에 대한 적절성을 확인해 가면서 작업을 수행할 수 있게 된다.According to this embodiment, the circular marker DM0 and the detection marker DM1 are displayed so that their centers coincide. Therefore, the user can perform work while checking the appropriateness of the current work state by comparing the sizes of the circular marker (DM0) and the detection marker (DM1) output on the
마찬가지로, 모니터(230)에 표시되는 원형마커(DM0)와 검출마커(DM1)는 서로 다른 색상을 가지도록 하여 사용자가 수월하게 인식할 수 있게 하는 것이 바람직하다.Likewise, it is desirable that the circular marker DM0 and the detection marker DM1 displayed on the
참고로 도 18과 같은 작업 상태에서는 원형마커(DM0)의 지름이 검출마커(DM1)의 지름보다 크다. 이는 설정치보다 카메라(210)로부터 경심 제어용 마커(DM)가 더 멀어진 것을 의미한다. 즉, 이는 작업 도구(WD)의 경심이 설정치보다 더 깊다는 것을 의미하므로, 보정값은 작업 도구(WD)를 상승시키는 값으로 연산될 것이다. For reference, in the working state as shown in FIG. 18, the diameter of the circular marker (DM0) is larger than the diameter of the detection marker (DM1). This means that the marker (DM) for diagonal control is further away from the
3. 부가적인 설명3. Additional explanation
가. 마커 형태 및 크기 비교 관련go. Marker shape and size comparison
위의 실시예는 경심 제어용 마커(DM)가 검은색의 동그라미 영역으로 표현되는 무늬이지만 반드시 이에 한정되지는 않는다.Although the above embodiment is a pattern in which the center control marker (DM) is expressed as a black circle area, the pattern is not necessarily limited to this.
예를 들어, 도 19에서와 같이 경심 제어용 마커(DM)는 사각형의 무늬일 수도 있다.For example, as shown in FIG. 19, the marker (DM) for diagonal control may be a square pattern.
예를 들어, 도 20에서와 같이 경심 제어용 마커(DM)는 길쭉한 막대 무늬일 수도 있다. 도 20의 예에서는 원형마커(DM0)나 검출마커(DM1)의 크기가 막대 무늬의 길이를 의미할 수 있다.For example, as shown in FIG. 20, the marker DM for diagonal control may be an elongated bar pattern. In the example of FIG. 20, the size of the circular marker DM0 or the detection marker DM1 may indicate the length of the bar pattern.
즉, 경심 제어용 마커(DM)는 길이나 넓이 등의 비교를 통해 원형마커(DM0)와 검출마커(DM1)의 크기차를 알 수 있는 형태라면, 1차원적이거나 2차원적인 어떠한 형태도 충분히 고려될 수 있다. In other words, as long as the radius control marker (DM) has a shape that allows the size difference between the circular marker (DM0) and the detection marker (DM1) to be known through comparison of length, width, etc., any one-dimensional or two-dimensional shape can be fully considered. It can be.
나. 원형마커와 검출마커의 차이 관련me. Difference between circular marker and detection marker
한편, 위의 실시예에서는 원형마커(DM0)와 검출마커(DM1) 간 크기 차이로 보정값이 연산되는 방식만을 제시하고 있다.Meanwhile, the above embodiment only presents a method in which the correction value is calculated based on the size difference between the circular marker (DM0) and the detection marker (DM1).
그러나 경심 제어용 마커(DM)에 대한 카메라(210)의 촬영각이 상대적으로 변함에 따른 차이를 이용하는 방식도 고려할 수 있다.However, a method of using the difference resulting from a relative change in the shooting angle of the
예를 들어, 경심 제어용 마커(DM)의 위치 변화에서 오는 검출마커(DM1)의 형태 왜곡 정도의 차이에 기반하여 보정값을 연산하는 방식으로 구현될 수도 있다. 형태 왜곡에 의해 검출마커(DM1)는 다양한 타원 형태로 검출될 수 있다. 그래서 타원 형태를 가진 검출마커(DM1)의 장반경과 단반경의 비율이 원형마커(DM0)와 동일해지도록 하는 보정값을 연산하도록 구현되는 것도 충분히 고려될 수 있는 것이다. 이 예에서는 전환수단(221)이 생략될 수 있다.For example, it may be implemented by calculating a correction value based on the difference in the degree of shape distortion of the detection marker (DM1) resulting from a change in the position of the warp center control marker (DM). Due to shape distortion, the detection marker DM1 may be detected in various elliptical shapes. Therefore, it can be fully considered that the detection marker (DM1), which has an elliptical shape, is implemented to calculate a correction value such that the ratio of the major radius and the minor radius is the same as that of the circular marker (DM0). In this example, the switching means 221 may be omitted.
즉, 본 발명은 검출마커(DM1)가 원형마커(DM0)와 동일해지는 보정값을 연산하여 제어하는 것이므로, 검출마커(DM1)가 원형마커(DM0)와 동일해지는 값을 연산하기 위한 어떠한 팩터(factor) 및 그 팩터에 기반한 연산 방식도 본 발명에 바람직하게 적용될 수 있다.In other words, the present invention controls the detection marker (DM1) by calculating a correction value that becomes the same as the circular marker (DM0), so any factor ( factor) and calculation methods based on the factor can also be preferably applied to the present invention.
<수평도와 경심 제어><Horizontality and warp center control>
앞선 설명에서는 수평도 제어와 경심 제어를 나누어 설명하였다.In the previous explanation, horizontality control and concentricity control were explained separately.
그렇지만, 예를 들어 로터베이터와 같은 작업 도구(WD)는 수평도 제어와 경심 제어가 함께 이뤄져야 할 필요가 있다. 이를 위해 위의 수평도 제어시스템(100)과 경심 제어시스템(200)이 하나로 묶일 수 있다. 즉, 수평도 제어시스템(100)의 기본 구성에 경심 제어를 위한 특이 구성들이 추가됨으로써 수평도 및 경심 제어시스템이 구축될 수 있다. 이러한 수평도 제어와 경심 제어가 묶일 수 있는 이유는 수평도 제어시스템(100)과 경심 제어시스템(200)이 모두 작업 차량(WV)에 설치되는 카메라(110, 210)와 작업 도구(WD)에 구비되는 마커(HM, DM)로 구축되고 있기 때문이다.However, work tools (WD) such as rotavators, for example, require horizontality control and warp center control to be achieved together. For this purpose, the
따라서 동일한 하드웨어적 구성으로 수평도 및 경심 제어가 모두 가능하기 때문에 구축 비용이 절감된다. 또한, 작업 도구(WD)마다 마커(HM, DM) 외에는 수평도 및 경심 제어를 위한 하드웨어적 구성을 장착할 필요가 없으므로 추가적인 운용 비용의 절감을 가져온다.Therefore, construction costs are reduced because both horizontality and inclination control are possible with the same hardware configuration. In addition, there is no need to install hardware components for horizontality and warp center control other than the markers (HM, DM) for each work tool (WD), resulting in additional savings in operating costs.
이 경우에는 경심 제어용 마커(DM)가 작업 도구(WD)의 중간에 배치되고, 수평 제어용 마커(HM)의 제1 표시(m1)와 제2 표시(m2)가 경심 제어용 마커(DM)를 사이에 두고 상호 이격되게 배치되는 것이 바람직하게 고려될 수 있다. In this case, the warp center control marker (DM) is placed in the middle of the work tool (WD), and the first mark (m1) and the second mark (m2) of the horizontal control marker (HM) are between the warp center control marker (DM). It may be considered desirable to place them spaced apart from each other.
참고로, 위의 실시예에서는 마커(HM, DM)의 명확한 검출을 위해 흰색과 검은 색으로 대비 색상을 구현하고 있다. 하지만, 이진화 처리에 의한 명확한 마커(HM, DM)의 검출만 가능하다면 다른 대비 색상을 가지도록 구현되어도 얼마든지 족하다.For reference, in the above embodiment, contrasting colors of white and black are implemented for clear detection of markers (HM, DM). However, as long as it is possible to detect clear markers (HM, DM) through binarization processing, it is sufficient to implement it with different contrasting colors.
또 수평도 및 경심 제어가 모두 가능한 제어시스템으로 구축된다고 하더라도, 사용자가 수평도만 제어하거나 경심만 제어하도록 설정할 수 있게 구현되는 것이 바람직하다. In addition, even if a control system is constructed that allows both horizontality and warp center control, it is desirable to implement it so that the user can set it to control only the horizontality or warp center only.
한편, 본 발명에 따른 수평도 제어 및 경심 제어가 이루어지기 위해서는 수평도 제어를 위한 흐름에 따른 방법과 경심 제어를 위한 흐름에 따르는 방법을 컴퓨터 상에서 실행시킬 수 있는 프로그램이 작업 차량의 롬(ROM : 기록매체)에 탑재되어야 할 것이다.Meanwhile, in order to perform horizontality control and warp center control according to the present invention, a program that can execute the flow-based method for horizontality control and the flow-following method for warp center control on a computer must be installed in the work vehicle's ROM (ROM: It will have to be mounted on a recording medium).
상술한 실시예는 본 발명의 바람직한 예를 들어 설명하였을 뿐이며, 다양한 응용 형태를 가질 수 있다. 그래서 본 발명이 위에 기재된 내용으로만 국한되게 이해되면 아니 된다. 대신 본 발명의 권리범위는 별도로 기재된 청구범위 및 그 균등범위로 이해되어야 한다.The above-described embodiments are only described as preferred examples of the present invention, and may have various application forms. Therefore, the present invention should not be understood as limited to the content described above. Instead, the scope of rights of the present invention should be understood as the separately stated claims and their equivalents.
100, 200 : 작업 차량의 제어시스쳄
110, 210 : 카메라
115 : 수평센서
120, 220 : 영상처리기
EM : 추정수단
121, 222 : 마커 검출 수단
122 : 제1 연산수단
123 : 제2 연산수단
124, 224 : 신호 생성수단
125, 225 : 묘사수단
221 : 전환수단
223 : 연산수단
130, 230 : 모니터
HM : 수평 제어용 마커
m1 : 제1 표시
m2 : 제2 표시
DM : 겸심 제어용 마커
HM0 : 원형마커
HM1 : 검출마커 100, 200: Control system of work vehicle
110, 210: Camera
115: Horizontal sensor
120, 220: Image processor
EM: means of estimation
121, 222: marker detection means
122: first operation means
123: second operation means
124, 224: Signal generation means
125, 225: means of description
221: means of conversion
223: Operation means
130, 230: Monitor
HM: Marker for horizontal control
m1: first mark m2: second mark
DM: Marker for control of despondency
HM0: Circular marker HM1: Detection marker
Claims (9)
상기 작업 차량(WV)의 수평도를 감지하기 위한 수평센서; 및
상기 수평센서에 의해 감지된 감지값으로부터 작업 도구에 요구되는 수평도(이하 '제1 수평도'라 함)를 계산하고, 상기 카메라(210)에 의해 촬영된 이미지에서 수평 제어용 마커(HM)를 검출하여 작업 차량(WV) 에 대한 작업 도구(WD)의 상대적인 수평도(이하 '제2 수평도'라 함)를 연산한 후 상기 제2 수평도가 상기 제1 수평도에 일치되게 작업 도구(WD)의 수평도를 제어하기 위한 수평도 제어신호를 출력시키는 영상처리기(120); 를 포함하는
작업 차량의 제어시스템.A camera 110 installed on the work vehicle (WV) and provided to photograph a marker (HM) for horizontal control on the work tool (WD) towed by the work vehicle (WV);
A horizontal sensor for detecting the horizontality of the work vehicle (WV); and
The horizontality required for the work tool (hereinafter referred to as 'first horizontality') is calculated from the value detected by the horizontal sensor, and a horizontal control marker (HM) is selected from the image captured by the camera 210. After detecting and calculating the relative horizontality (hereinafter referred to as 'second horizontality') of the work tool (WD) with respect to the work vehicle (WV), the work tool (hereinafter referred to as 'second horizontality') is adjusted so that the second horizontality matches the first horizontality. An image processor 120 that outputs a horizontality control signal to control the horizontality of WD); containing
Control system for work vehicles.
상기 수평 제어용 마커(HM)는 상호 일정 간격 이격되어 있는 제1 표시(m1)와 제2 표시(m2)를 포함하고,
상기 영상처리기(120)는 상기 제1 표시(m1)와 상기 제2 표시(m2)를 검출하여 상기 제2 수평도를 연산하는
작업 차량의 제어시스템.According to claim 1,
The horizontal control marker (HM) includes a first mark (m1) and a second mark (m2) spaced apart from each other at a predetermined distance,
The image processor 120 detects the first mark (m1) and the second mark (m2) and calculates the second horizontality.
Control system for work vehicles.
상기 영상처리기(120)는
상기 카메라(110)에서 수신된 이미지에서 수평 제어용 마커(HM)를 검출하는 마커 검출 수단(121);
상기 마커 검출 수단(121)에 의해 검출된 수평 제어용 마커(HM)를 통해 상기 제2 수평도를 연산하는 제1 연산수단(122);
상기 제1 수평도와 상기 제2 수평도 간의 차이를 연산하는 제2 연산수단(123); 및
상기 제2 연산수단(123)에 의해 연산된 차이가 0이 되도록 작업 도구(WD)의 수평도를 제어하기 위한 수평도 제어신호를 생성하여 출력시키는 신호 생성수단(124); 을 포함하는
작업 차량의 제어시스템.According to claim 1,
The image processor 120 is
Marker detection means 121 for detecting a horizontal control marker (HM) in the image received from the camera 110;
First calculation means 122 for calculating the second horizontality through a horizontal control marker (HM) detected by the marker detection means 121;
Second calculating means 123 for calculating the difference between the first horizontality and the second horizontality; and
A signal generating means 124 for generating and outputting a horizontality control signal for controlling the horizontality of the work tool WD so that the difference calculated by the second calculating means 123 is 0; containing
Control system for work vehicles.
상기 카메라(110)에서 촬영되는 이미지를 사용자에게 출력시키기 위한 모니터(130); 를 더 포함하고,
상기 영상처리기(120)는
상기 제1 수평도에 따른 제1 선분(L1)과 상기 제2 수평도에 따른 제2 선분(L2)을 상기 모니터(130)상에 출력시키는 묘사수단(125); 을 더 포함하고,
상기 묘사수단(125)은 상기 제1 선분(L1)이 상기 제2 선분(L2)과 교차점을 가지도록 묘사하는
작업 차량의 제어시스템.According to clause 3,
a monitor 130 for outputting images captured by the camera 110 to the user; It further includes,
The image processor 120 is
a rendering means (125) for outputting a first line segment (L1) according to the first horizontal degree and a second line segment (L2) according to the second horizontal degree on the monitor (130); It further includes,
The depiction means 125 depicts the first line segment (L1) to have an intersection with the second line segment (L2).
Control system for work vehicles.
상기 카메라(110)는 작업 도구(WD)에 있는 경심 제어용 마커(DM)를 더 촬영하고,
상기 영상처리기(120)는 상기 카메라(110)에 의해 촬영된 이미지에서 경심 제어용 마커(DM)를 검출하여 검출된 경심 제어용 마커(DM)가 기 설정된 경심에 대응하는 원형(原形)마커(DM0)와 동일해지도록 작업 도구(WD)의 경심을 제어하기 위한 경심 제어신호를 출력시키는
작업 차량의 제어시스템.According to claim 1,
The camera 110 further photographs the marker for controlling the warp center (DM) on the work tool (WD),
The image processor 120 detects a meridian control marker (DM) from the image captured by the camera 110, and the detected meridian control marker (DM) is a circular marker (DM0) corresponding to a preset meridian. which outputs a warp center control signal to control the warp center of the work tool (WD) to be the same as
Control system for work vehicles.
상기 카메라(210)에 의해 촬영된 이미지에서 경심 제어용 마커(DM)를 검출한 후 검출된 경심 제어용 마커(이하 '검출마커'라 함, DM1)가 기 설정된 경심에 대응하는 원형(原形)마커(이하 '원형마커'라 함, DM0)와 동일해지도록 작업 도구(WD)의 경심을 제어하기 위한 경심 제어신호를 출력시키는 영상처리기(220); 를 포함하는
작업 차량의 제어시스템.A camera 210 installed on the work vehicle (WV) and provided for photographing a marker (DM) for tilt control on a work tool (WD) towed by the work vehicle (WV); and
After detecting the meridian control marker (DM) in the image captured by the camera 210, the detected meridian control marker (hereinafter referred to as 'detection marker', DM1) is a circular marker (original shape) corresponding to the preset meridian center. Hereinafter referred to as a 'circular marker', an image processor 220 that outputs a warp center control signal to control the warp center of the work tool (WD) to be the same as DM0); containing
Control system for work vehicles.
상기 영상처리기(220)는
상기 검출마커(DM1)를 검출하는 마커 검출수단(222); 및
상기 마커 검출수단(222)에 의해 검출된 상기 검출마커(DM1)와 상기 원형마커(DM0)의 차이에 기반하여 검출마커(DM1)가 원형마커(DM0)와 동일해지도록 작업 도구(WD)의 경심을 보정하기 위한 보정값을 연산하는 연산수단(223);
상기 연산수단(223)에 의해 연산된 보정값에 따른 경심 제어신호를 생성하여 출력하는 신호 생성수단(224); 을 포함하는
작업 차량의 제어시스템.According to clause 6,
The image processor 220 is
Marker detection means (222) for detecting the detection marker (DM1); and
Based on the difference between the detection marker (DM1) and the circular marker (DM0) detected by the marker detection means 222, the detection marker (DM1) is set to the same as the circular marker (DM0) of the work tool (WD). Calculation means 223 for calculating a correction value for correcting the warp axis;
Signal generation means 224 for generating and outputting a warp center control signal according to the correction value calculated by the calculation means 223; containing
Control system for work vehicles.
상기 영상처리기(220)는
상기 카메라(210)에 의해 촬영된 이미지를 탑뷰(Top View)로 전환하는 전환수단(221); 을 더 포함하고,
상기 마커 검출수단(222)은 상기 전환수단(221)에 의해 생성된 탑뷰 이미지에서 상기 검출마커(DM1)를 검출하는
작업 차량의 제어시스템.According to clause 7,
The image processor 220 is
Switching means 221 for converting the image captured by the camera 210 into a top view; It further includes,
The marker detection means 222 detects the detection marker (DM1) in the top view image generated by the switching means 221.
Control system for work vehicles.
상기 카메라(210)에서 촬영되는 이미지를 사용자에게 출력시키기 위한 모니터(230); 를 더 포함하고,
상기 영상처리기(220)는
상기 검출마커(DM1)와 상기 원형마커(DM0)를 상기 모니터(230)상에 함께 출력시키는 묘사수단(225); 을 더 포함하며,
상기 묘사수단(225)은 상기 검출마커(DM1)와 상기 원형마커(DM0)의 중심을 일치시켜서 상기 모니터(230)상에 출력시키는
작업 차량의 제어시스템.
According to clause 7,
A monitor 230 for outputting images captured by the camera 210 to the user; It further includes,
The image processor 220 is
a rendering means (225) for outputting the detection marker (DM1) and the circular marker (DM0) together on the monitor (230); It further includes,
The rendering means 225 aligns the centers of the detection marker DM1 and the circular marker DM0 and outputs them on the monitor 230.
Control system for work vehicles.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220157999A KR20240076002A (en) | 2022-11-23 | 2022-11-23 | Control system of working vehicle |
| PCT/KR2023/010261 WO2024111778A1 (en) | 2022-11-23 | 2023-07-18 | Work vehicle control system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220157999A KR20240076002A (en) | 2022-11-23 | 2022-11-23 | Control system of working vehicle |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240076002A true KR20240076002A (en) | 2024-05-30 |
Family
ID=91196356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220157999A Pending KR20240076002A (en) | 2022-11-23 | 2022-11-23 | Control system of working vehicle |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20240076002A (en) |
| WO (1) | WO2024111778A1 (en) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR970000667U (en) | 1995-06-28 | 1997-01-21 | Electric Driver Assembly for Fastening Chassis of Spindle Motor | |
| KR970007715A (en) | 1995-07-10 | 1997-02-21 | 구자홍 | Structure of Data Recording / Playback Memory Cards |
| KR970007714U (en) | 1995-08-16 | 1997-03-27 | Horizontal and Hard Automatic Control of Tractor Rotary | |
| KR19990084070A (en) | 1999-09-10 | 1999-12-06 | 김태식 | Automatic planting depth control system of rotary implement |
| KR20140058776A (en) | 2012-11-06 | 2014-05-15 | 엘에스엠트론 주식회사 | Apparatus and method for controlling plowing depth in tractor |
| KR20170105352A (en) | 2016-03-09 | 2017-09-19 | 엘에스엠트론 주식회사 | Agricultural Working Vehicle |
| KR101869466B1 (en) | 2018-02-19 | 2018-06-20 | 충남대학교산학협력단 | Depth Control System and Same Method for Working Machine using Traction and Slip Rate of Tractor |
| KR101869456B1 (en) | 2018-02-19 | 2018-06-20 | 충남대학교산학협력단 | Control device for plowing depth of tractor |
| KR20190121891A (en) | 2018-04-18 | 2019-10-29 | 주식회사 세웅 | Plow with Controlling Structure of Plowing Depth |
| KR102046819B1 (en) | 2019-09-16 | 2019-11-20 | 충남대학교산학협력단 | Device for controlling plowing depth of autonomous tractor |
| KR102118702B1 (en) | 2019-10-21 | 2020-06-03 | 대호 (주) | Depth control apparatus of working machine for tractor |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2009113008A (en) * | 2009-04-08 | 2010-10-20 | Михаил Юрьевич Воробьев (RU) | METHOD FOR DETERMINING THE POSITION AND ORIENTATION OF THE VEHICLE TRAILER AND THE DEVICE FOR ITS IMPLEMENTATION |
| US9085261B2 (en) * | 2011-01-26 | 2015-07-21 | Magna Electronics Inc. | Rear vision system with trailer angle detection |
| JP7134860B2 (en) * | 2018-12-26 | 2022-09-12 | 株式会社クボタ | work vehicle |
| JP7207274B2 (en) * | 2019-11-19 | 2023-01-18 | 井関農機株式会社 | work vehicle |
| JP7271416B2 (en) * | 2019-12-27 | 2023-05-11 | 株式会社クボタ | Work vehicle and travel management system for work vehicle |
-
2022
- 2022-11-23 KR KR1020220157999A patent/KR20240076002A/en active Pending
-
2023
- 2023-07-18 WO PCT/KR2023/010261 patent/WO2024111778A1/en not_active Ceased
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR970000667U (en) | 1995-06-28 | 1997-01-21 | Electric Driver Assembly for Fastening Chassis of Spindle Motor | |
| KR970007715A (en) | 1995-07-10 | 1997-02-21 | 구자홍 | Structure of Data Recording / Playback Memory Cards |
| KR970007714U (en) | 1995-08-16 | 1997-03-27 | Horizontal and Hard Automatic Control of Tractor Rotary | |
| KR19990084070A (en) | 1999-09-10 | 1999-12-06 | 김태식 | Automatic planting depth control system of rotary implement |
| KR20140058776A (en) | 2012-11-06 | 2014-05-15 | 엘에스엠트론 주식회사 | Apparatus and method for controlling plowing depth in tractor |
| KR20170105352A (en) | 2016-03-09 | 2017-09-19 | 엘에스엠트론 주식회사 | Agricultural Working Vehicle |
| KR101869466B1 (en) | 2018-02-19 | 2018-06-20 | 충남대학교산학협력단 | Depth Control System and Same Method for Working Machine using Traction and Slip Rate of Tractor |
| KR101869456B1 (en) | 2018-02-19 | 2018-06-20 | 충남대학교산학협력단 | Control device for plowing depth of tractor |
| KR20190121891A (en) | 2018-04-18 | 2019-10-29 | 주식회사 세웅 | Plow with Controlling Structure of Plowing Depth |
| KR102046819B1 (en) | 2019-09-16 | 2019-11-20 | 충남대학교산학협력단 | Device for controlling plowing depth of autonomous tractor |
| KR102118702B1 (en) | 2019-10-21 | 2020-06-03 | 대호 (주) | Depth control apparatus of working machine for tractor |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024111778A1 (en) | 2024-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20150009329A1 (en) | Device for monitoring surroundings of machinery | |
| JP5908500B2 (en) | Excavator image display device | |
| AU2013293921B2 (en) | Environment monitoring device for operating machinery | |
| US8918246B2 (en) | Augmented reality implement control | |
| US9667923B2 (en) | Camera attitude detection device and work region line display device | |
| EP2955914B1 (en) | Surroundings monitoring device for slewing-type work machine | |
| EP2187166B1 (en) | Industrial Machine | |
| WO2015182455A1 (en) | Work state detection system of work vehicle, and work vehicle | |
| WO2013088995A1 (en) | Peripheral image display device and peripheral image display method for construction machinery | |
| KR20140060321A (en) | Surroundings monitoring device for work machine | |
| JP6196573B2 (en) | Tractor | |
| JP2012112108A (en) | Periphery monitoring device for work machine | |
| EP3841860B1 (en) | Working vehicle, traveling management system for the working vehicle, and method for determining a status of a working vehicle | |
| US11732440B2 (en) | Remote operation system and remote operation server | |
| US20170120820A1 (en) | Device and Method for Providing a Vehicle Surround View | |
| JP7150593B2 (en) | work vehicle | |
| KR20240076002A (en) | Control system of working vehicle | |
| KR20220043969A (en) | Safety system for excavator | |
| JP2007061042A (en) | Automatic control system for work equipment | |
| JP6746303B2 (en) | Excavator | |
| US11939744B2 (en) | Display system, remote operation system, and display method | |
| JP2022178057A (en) | Obstacle detection system around heavy machinery | |
| JP7009327B2 (en) | Excavator | |
| JP7178334B2 (en) | excavator and excavator display | |
| US20230237806A1 (en) | Object detection vision system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20221123 |
|
| PG1501 | Laying open of application |