RU2825885C1 - System and method for detection of wear and loss of bit for earthwork - Google Patents
System and method for detection of wear and loss of bit for earthwork Download PDFInfo
- Publication number
- RU2825885C1 RU2825885C1 RU2023122338A RU2023122338A RU2825885C1 RU 2825885 C1 RU2825885 C1 RU 2825885C1 RU 2023122338 A RU2023122338 A RU 2023122338A RU 2023122338 A RU2023122338 A RU 2023122338A RU 2825885 C1 RU2825885 C1 RU 2825885C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- wear
- edge
- desired region
- stereoscopic
- Prior art date
Links
Abstract
Description
Область техники Field of technology
Настоящее изобретение относится к системе и способу обнаружения износа объектов с течением времени, и, более конкретно, к системе и способу обнаружения износа в инструментах для земляных работ (GET) с течением времени, или их потерю, с использованием технологий компьютерного зрения. The present invention relates to a system and method for detecting wear of objects over time, and more particularly to a system and method for detecting wear in earthmoving tools (GET) over time, or loss thereof, using computer vision technologies.
Уровень техникиState of the art
Машины могут использовать для выполнения различных заданий на рабочей площадке. Например, машины могут использоваться для выкапывания, перемещения, придания формы, придания контура и/или удаления материалов, присутствующих на рабочей площадке, таких как гравий, бетон, асфальт, грунт и/или другие материалы. Эти машины могут содержать ковш, используемый для сбора таких материалов, а ковш может содержать набор инструментов для земляных работ (GET), таких как зубы, для разрыхления материала. GET также может содержать кожухи, прикрепленные к ковшу между зубами для защиты края ковша. С течением времени GET изнашиваются и уменьшаются в размере, что снижает их эффективность, затрудняя этим сбор ковшом материала на рабочей площадке. GET также могут отламываться от ковша. Когда поломка GET остается необнаруженной, GET могут смешиваться с материалом на рабочей площадке, что может привести к повреждению расположенного дальше по ходу потока технологического оборудования, такого как дробилки или измельчители. Рабочие машины могут использовать системы обнаружения износа для идентификации изношенных или сломанных GET до того, как произойдет повреждение расположенного дальше по ходу потока технологического оборудования. Machines may be used to perform a variety of tasks on a job site. For example, machines may be used to excavate, move, shape, contour, and/or remove materials present on a job site, such as gravel, concrete, asphalt, soil, and/or other materials. These machines may include a bucket used to collect such materials, and the bucket may include a set of earth moving tools (GETs), such as teeth, to loosen the material. The GETs may also include shrouds attached to the bucket between the teeth to protect the edge of the bucket. Over time, the GETs wear and shrink in size, which reduces their effectiveness, making it difficult for the bucket to collect material on the job site. The GETs may also break off from the bucket. When a GET breakage goes undetected, the GETs may become mixed with the material on the job site, which may cause damage to downstream processing equipment, such as crushers or shredders. Work machines can use wear detection systems to identify worn or broken GETs before damage occurs to downstream process equipment.
Попытка обеспечить систему обнаружения износа описана в публикации WIPO PCT WO 2019/227194 A1 («Публикация ’194»), опубликованной 5 декабря 2019 года. В частности, в публикации ’194 описаны способ и система для контроля условий рабочего приспособления тяжелого оборудования, такого как зуб ковша рабочей машины. Способ и система получают изображение рабочего приспособления и обрабатывают его, используя первую нейронную сеть, обученную идентифицировать нужные участки на изображении. Каждый нужный участок имеет соответствующее обозначение как критический участок или некритический участок. Встроенный процессор, расположенный возле тяжелого оборудования, дополнительно обрабатывает критические участки, используя вторую нейронную сеть, чтобы идентифицировать «признаки износа» на рабочем приспособлении. Затем система и способ сравнивают признаки износа с эталонным изображением для определения износа рабочего приспособления.An attempt to provide a wear detection system is described in WIPO PCT Publication WO 2019/227194 A1 (“Publication ’194”), published on December 5, 2019. In particular, Publication ’194 describes a method and system for monitoring the conditions of a working attachment of heavy equipment, such as a bucket tooth of a working machine. The method and system receive an image of the working attachment and process it using a first neural network trained to identify areas of interest in the image. Each area of interest has a corresponding designation as a critical area or a non-critical area. An embedded processor located near the heavy equipment further processes the critical areas using a second neural network to identify “wear features” on the working attachment. The system and method then compare the wear features with a reference image to determine wear of the working attachment.
Публикация ’194, опирающаяся на нейронные сети и машинное обучение для идентификации уровней износа, может быть проблематичной, поскольку может быть трудно измерить износ GET в масштабе, позволяющем быстро обнаружить состояние износа и точно спланировать профилактическое обслуживание. Например, исключительное использование нейронных сетей и машинного обучения может обеспечить точность измерения только в пределах нескольких сантиметров, однако точность в диапазоне менее 5 миллиметров может быть желательной. В дополнение, технологии машинного обучения, такие как описанные в публикации ’194, могут быть склонны к большому количеству «ложных срабатываний» в отношении износа или потери GET, что делает их неэффективными. Описанные в данном документе системы и способы направлены на решение одной или более из этих проблем.Publication ’194, which relies on neural networks and machine learning to identify wear levels, can be problematic because it can be difficult to measure GET wear at a scale that allows for rapid detection of wear conditions and accurate planning of preventive maintenance. For example, the sole use of neural networks and machine learning may only provide measurement accuracy to within a few centimeters, but accuracy in the range of less than 5 millimeters may be desirable. In addition, machine learning technologies such as those described in Publication ’194 can be prone to a large number of “false positives” regarding GET wear or loss, making them ineffective. The systems and methods described herein address one or more of these issues.
Сущность изобретенияThe essence of the invention
В соответствии с первым аспектом способ обнаружения износа или потери инструментов для земляных работ (GET) включает прием, со стереоскопической камеры, связанной с рабочей машиной, левого изображения и правого изображения ковша рабочей машины. Ковш содержит по меньшей мере один GET. Способ дополнительно включает идентификацию первого нужного участка с левого изображения, соответствующего по меньшей мере одному GET, и идентификацию второго нужного участка с правого изображения, соответствующего по меньшей мере одному GET. Способ также включает генерирование цифрового изображения левого края, соответствующего первому нужному участку, и генерирование цифрового изображения правого края, соответствующего второму нужному участку. Способ также включает определение рассеянной стереоскопической диспаратности между цифровым изображением левого края и цифровым изображением правого края. На основании рассеянной стереоскопической диспаратности способ определяет уровень износа или потерю по меньшей мере одного GET. According to the first aspect, the method for detecting wear or loss of earthmoving tools (GET) includes receiving, from a stereoscopic camera associated with a working machine, a left image and a right image of a bucket of the working machine. The bucket contains at least one GET. The method further includes identifying a first desired area from the left image corresponding to at least one GET, and identifying a second desired area from the right image corresponding to at least one GET. The method also includes generating a digital image of the left edge corresponding to the first desired area, and generating a digital image of the right edge corresponding to the second desired area. The method also includes determining diffuse stereoscopic disparity between the digital image of the left edge and the digital image of the right edge. Based on the diffuse stereoscopic disparity, the method determines the level of wear or loss of at least one GET.
В соответствии с дополнительным аспектом система обнаружения износа GET содержит стереоскопическую камеру, один или более процессоров и энергонезависимый машиночитаемый носитель, хранящий выполняемые команды. Выполняемые команды при выполнении процессором заставляют процессор выполнять операции, включающие прием со стереоскопической камеры левого изображения и правого изображения ковша рабочей машины. Ковш содержит по меньшей мере один GET. Операции также включают идентификацию первого нужного участка с левого изображения, соответствующего по меньшей мере одному GET, и идентификацию второго нужного участка с правого изображения, соответствующего по меньшей мере одному GET. Операции также включают генерирование цифрового изображения левого края, соответствующего первому нужному участку, и генерирование цифрового изображения правого края, соответствующего второму нужному участку. Операции дополнительно включают определение рассеянной стереоскопической диспаратности между цифровым изображением левого края и цифровым изображением правого края. На основании рассеянной стереоскопической диспаратности процессор определяет уровень износа или потерю по меньшей мере одного GET.According to an additional aspect, the GET wear detection system comprises a stereoscopic camera, one or more processors, and a non-volatile machine-readable medium storing executable instructions. The executable instructions, when executed by the processor, cause the processor to perform operations including receiving from the stereoscopic camera a left image and a right image of a bucket of a working machine. The bucket comprises at least one GET. The operations also include identifying a first desired area from the left image corresponding to the at least one GET, and identifying a second desired area from the right image corresponding to the at least one GET. The operations also include generating a digital image of the left edge corresponding to the first desired area, and generating a digital image of the right edge corresponding to the second desired area. The operations further include determining diffuse stereoscopic disparity between the digital image of the left edge and the digital image of the right edge. Based on the diffuse stereoscopic disparity, the processor determines the level of wear or loss of at least one GET.
В соответствии с другим аспектом рабочая машина содержит левый датчик черно-белого изображения, правый датчик черно-белого изображения и датчик цветного изображения. Рабочая машина также содержит ковш, имеющий по меньшей мере один инструмент для земляных работ (GET), один или более процессоров; а также энергонезависимый машиночитаемый носитель, хранящий выполняемые команды, которые, при выполнении одним или более процессорами, заставляют один или более процессоров выполнять операции. Операции могут включать прием левого изображения ковша, зафиксированного левым датчиком черно-белого изображения, правого изображения ковша, зафиксированного левым датчиком черно-белого изображения, и цветного изображения ковша, зафиксированного датчиком цветного изображения со стереоскопической камеры. Операции также включают идентификацию первого нужного участка c левого изображения и второго нужного участка c правого изображения путем применения основанного на глубоком обучении алгоритма обнаружения GET для левого изображения и правого изображения, а также генерирования карты плотной стереоскопической диспаратности для левого изображения и правого изображения. Операции также включают генерирование цифрового изображения левого края, соответствующего левому нужному участку, и цифрового изображения правого края, соответствующего правому нужному участку, с использованием технологий обнаружения края по величине градиента. Операции также включают определение рассеянной стереоскопической диспаратности между цифровым изображением левого края и цифровым изображением правого края, а также определение уровня износа или потери для по меньшей мере одного GET на основании рассеянной стереоскопической диспаратности.According to another aspect, a work machine comprises a left black and white image sensor, a right black and white image sensor, and a color image sensor. The work machine also comprises a bucket having at least one excavation tool (GET), one or more processors; and a non-volatile machine-readable medium storing executable instructions that, when executed by one or more processors, cause one or more processors to perform operations. The operations may include receiving a left image of the bucket captured by the left black and white image sensor, a right image of the bucket captured by the left black and white image sensor, and a color image of the bucket captured by the color image sensor from a stereoscopic camera. The operations also include identifying a first desired area from the left image and a second desired area from the right image by applying a deep learning-based GET detection algorithm for the left image and the right image, and generating a dense stereoscopic disparity map for the left image and the right image. The operations also include generating a digital image of the left edge corresponding to the left desired area and a digital image of the right edge corresponding to the right desired area using gradient magnitude edge detection technologies. The operations also include determining diffuse stereoscopic disparity between the digital image of the left edge and the digital image of the right edge, and determining a level of wear or loss for at least one GET based on the diffuse stereoscopic disparity.
Краткое описание графических материаловBrief description of graphic materials
Подробное описание изложено со ссылкой на сопроводительные фигуры. На фигурах крайняя левая цифра ссылочного номера идентифицирует фигуру, на которой ссылочный номер появляется впервые. Одинаковые ссылочные номера на разных фигурах указывают на подобные или идентичные элементы. The detailed description is given with reference to the accompanying figures. In the figures, the leftmost digit of the reference number identifies the figure in which the reference number first appears. The same reference numbers in different figures indicate similar or identical elements.
На фиг. 1 представлена блок-схема, на которой изображен схематический вид иллюстративной машины, содержащей иллюстративную систему для обнаружения износа в GET.Fig. 1 is a block diagram illustrating a schematic view of an illustrative machine comprising an illustrative system for detecting wear in a GET.
На фиг. 2 представлено изображение, на котором показан схематический вид сбоку иллюстративных окружающих условий, имеющих иллюстративную машину, содержащую иллюстративную систему для обнаружения износа в GET.Fig. 2 is a view showing a schematic side view of an exemplary environment having an exemplary machine comprising an exemplary system for detecting wear in a GET.
На фиг. 3 представлено изображение, на котором показан схематический вид сбоку других иллюстративных окружающих условий, имеющих иллюстративную машину, содержащую иллюстративную систему для обнаружения износа в GET.Fig. 3 is a view showing a schematic side view of another exemplary environment having an exemplary machine comprising an exemplary system for detecting wear in a GET.
На фиг. 4 представлено изображение, на котором показан схематический вид сбоку других иллюстративных окружающих условий, имеющих иллюстративную машину, содержащую иллюстративную систему для обнаружения износа в GET.Fig. 4 is a view showing a schematic side view of another exemplary environment having an exemplary machine comprising an exemplary system for detecting wear in a GET.
На фиг. 5 представлена схема потока данных изображения, на которой изображен иллюстративный поток данных изображения для процесса обнаружения нужного участка с использованием технологий компьютерного зрения. Fig. 5 is a diagram of an image data flow that depicts an illustrative image data flow for a process of detecting a desired region using computer vision technologies.
На фиг. 6 представлена схема потока данных изображения, на которой изображен иллюстративный поток данных изображения для процесса обнаружения нужного участка с использованием технологий глубокого обучения.Fig. 6 is a diagram of an image data flow that depicts an illustrative image data flow for a process of detecting a target region using deep learning technologies.
На фиг. 7 представлена схема потока данных изображения, на которой изображен иллюстративный поток данных изображения для процесса обнаружения износа с использованием технологий компьютерного зрения.Fig. 7 is an image data flow diagram illustrating an illustrative image data flow for a wear detection process using computer vision technologies.
На фиг. 8 представлена схема потока данных изображения, на которой изображен иллюстративный поток данных изображения для процесса обнаружения износа с использованием технологий глубокого обучения.Fig. 8 is an image data flow diagram showing an illustrative image data flow for a wear detection process using deep learning technologies.
На фиг. 9 представлен иллюстративный процесс для обнаружения износа в иллюстративных окружающих условиях с использованием технологий компьютерного зрения.Fig. 9 shows an illustrative process for detecting wear in illustrative environmental conditions using computer vision technologies.
На фиг. 10 представлен иллюстративный процесс для обнаружения износа в иллюстративных окружающих условиях с использованием технологий глубокого обучения. Fig. 10 shows an exemplary process for detecting wear in exemplary environments using deep learning technologies.
На фиг. 11 представлен иллюстративный процесс для обнаружения износа в иллюстративных окружающих условиях с использованием комбинирования компьютерного зрения и технологий глубокого обучения.Fig. 11 shows an exemplary process for detecting wear in exemplary environments using a combination of computer vision and deep learning technologies.
Подробное описаниеDetailed description
Настоящее изобретение в целом касается систем и способов обнаружения износа компонентов рабочей машины в окружающих условиях, таких как рабочая площадка, с использованием технологий компьютерного зрения. В некоторых примерах стереоскопическая камера (или «стереокамера»), связанная с рабочей машиной, фиксирует изображение компонента рабочей машины. Видео анализируется компьютерной системой обнаружения износа, связанной с рабочей машиной, которая может быть расположена внутри стереокамеры или за пределами стереокамеры, для обнаружения износа компонента. Компонент может представлять собой один или более инструментов для земляных работ (GET) ковша рабочей машины, в качестве одного примера. Стереокамера фиксирует левое изображение и правое изображение, включая GET, а компьютерная система обнаружения износа обрабатывает изображения с использованием стереоскопических технологий компьютерного зрения для идентификации нужной области как левого изображения, так и правого изображения, соответствующего GET. В дополнение или в качестве альтернативы, может быть использован основанный на глубоком обучении алгоритм обнаружения GET, обученный для идентификации нужной области как на левом, так и на правом изображениях. После того, как компьютерная система обнаружения износа идентифицирует нужные участки, как для левого изображения, так и для правого изображения, она дополнительно обрабатывает нужные участки для генерирования связанных с GET краев. Компьютерная система обнаружения износа определяет рассеянную стереоскопическую диспаратность с использованием цифрового изображения левого края и цифрового изображения правого края для определения износа или потери GET на основании количества пикселей, заключенных внутри рассеянной стереоскопической диспаратности, путем сравнения рассеянной стереоскопической диспаратности с ранее определенной рассеянной стереоскопической диспаратностью таких же GET или путем сравнения рассеянной стереоскопической диспаратности с эталонным изображением. Благодаря использованию рассеянной стереоскопической диспаратности между цифровым изображением левого края и цифровым изображением правого края, системы и способы, раскрытые в данном документе, могут точно измерять износ или потерю GET на уровнях точности менее 5 мм. The present invention generally relates to systems and methods for detecting wear of components of a work machine in an environment, such as a work site, using computer vision technologies. In some examples, a stereoscopic camera (or "stereo camera") associated with a work machine captures an image of a component of the work machine. The video is analyzed by a computer wear detection system associated with the work machine, which may be located inside the stereo camera or outside the stereo camera, to detect wear of the component. The component may be one or more excavation tools (GETs) of a bucket of a work machine, as one example. The stereo camera captures a left image and a right image, including the GET, and the computer wear detection system processes the images using stereoscopic computer vision technologies to identify a desired region of both the left image and the right image corresponding to the GET. In addition or as an alternative, a deep learning-based GET detection algorithm trained to identify a desired region in both the left and right images may be used. After the computer wear detection system identifies the desired areas for both the left image and the right image, it further processes the desired areas to generate edges associated with the GET. The computer wear detection system determines the diffuse stereoscopic disparity using the digital image of the left edge and the digital image of the right edge to determine the wear or loss of the GET based on the number of pixels enclosed within the diffuse stereoscopic disparity, by comparing the diffuse stereoscopic disparity with the previously determined diffuse stereoscopic disparity of the same GETs or by comparing the diffuse stereoscopic disparity with a reference image. By using the diffuse stereoscopic disparity between the digital image of the left edge and the digital image of the right edge, the systems and methods disclosed in this document can accurately measure the wear or loss of the GET at accuracy levels of less than 5 mm.
На фиг. 1 представлена блок-схема, на которой изображен схематический вид иллюстративной рабочей машины 100, содержащей иллюстративную компьютерную систему 110 обнаружения износа. Хотя на фиг. 1 изображена рабочая машина 100 в виде гидравлического карьерного экскаватора, в других примерах рабочая машина 100 может предусматривать любую машину, которая перемещается, оформляет, копает, или извлекает материал, такой как почва, камень или минералы. Как показано на фиг. 1, рабочая машина 100 может содержать ковш 120, прикрепленный к плечу 122. Ковш 120 может содержать один или более инструментов для земляных работ (GET) 125, таких как зубы, которые помогают рабочей машине 100 в разрыхлении материала. Хотя примеры, приведенные в настоящем изобретении, как правило, ссылаются на GET 125 как на зубы, другие типы GET рассматриваются, как находящиеся в рамках объема вариантов осуществления, предусмотренных настоящим изобретением. Например, GET могут включать межзубьевые сегменты, защитные элементы края, адаптеры, защитные элементы рыхлителей, режущие края, защитные элементы боковин, наконечники или любой другой инструмент, связанный с рабочей машиной, который с течением времени изнашивается из-за трения с материалом рабочей площадки. Fig. 1 is a block diagram that shows a schematic view of an exemplary work machine 100 that includes an exemplary wear detection computer system 110. Although Fig. 1 shows the work machine 100 as a hydraulic mining excavator, in other examples, the work machine 100 may include any machine that moves, shapes, digs, or extracts material, such as soil, rock, or minerals. As shown in Fig. 1, the work machine 100 may include a bucket 120 attached to an arm 122. The bucket 120 may include one or more ground-moving tools (GETs) 125, such as teeth, that assist the work machine 100 in loosening the material. Although the examples provided in the present invention generally refer to the GETs 125 as teeth, other types of GETs are considered to be within the scope of the embodiments provided by the present invention. For example, GETs may include tooth segments, edge protectors, adapters, ripper protectors, cutting edges, side protectors, tips, or any other tool associated with the work machine that wears over time due to friction with the work platform material.
Рабочая машина 100 может также содержать стереокамеру 128. Камера 128 имеет область 129 наблюдения, направленную на ковш 120 и GET 125. Стереокамера 128 содержит датчик левого изображения и датчик правого изображения, которые расположены на расстоянии друг от друга для фиксации стереоскопического изображения объектов внутри области 129 наблюдения, такой как ковш 120 и GET 125. В некоторых вариантах осуществления датчик левого изображения и датчик правого изображения фиксируют черно-белые изображения. Стереокамера 128 может также содержать датчик цветного изображения для фиксации цветного изображения объектов внутри области 129 наблюдения. В некоторых вариантах осуществления камера 128 выводит цифровые изображения или рабочая машина 100 может содержать преобразователь аналогового сигнала в цифровой, расположенный между камерой 128 и компьютерной системой 110 обнаружения износа, для преобразования аналоговых изображений в цифровые изображения перед их приемом компьютерной системой 110 обнаружения износа. The work machine 100 may also comprise a stereo camera 128. The camera 128 has a viewing area 129 directed toward the bucket 120 and the GET 125. The stereo camera 128 comprises a left image sensor and a right image sensor that are located at a distance from each other to capture a stereoscopic image of objects inside the viewing area 129, such as the bucket 120 and the GET 125. In some embodiments, the left image sensor and the right image sensor capture black and white images. The stereo camera 128 may also comprise a color image sensor to capture a color image of objects inside the viewing area 129. In some embodiments, the camera 128 outputs digital images or the work machine 100 may comprise an analog-to-digital signal converter located between the camera 128 and the wear detection computer system 110 to convert the analog images into digital images before they are received by the wear detection computer system 110.
По мере того, как рабочая машина 100 работает на рабочей площадке, она может перемещать плечо 122 для расположения ковша 120 для перемещения или копания материала на рабочей площадке, как части цикла копания-сбрасывания. По мере того, как рабочая машина 100 располагает ковш 120 во время цикла копания-сбрасывания, ковш 120 может перемещаться в область наблюдения 129 камеры 128 и из нее. Камера 128 может быть расположена так, чтобы она имела беспрепятственный обзор GET 125 во время цикла копания-сбрасывания. Например, камера 128 может быть расположена на рабочей машине 100 так, чтобы ковш 120 и GET 125 были видимы в тот момент, когда ковш 120 выгружает материал в пределах цикла копания-сбрасывания. В качестве другого примера, камера 128 может быть расположена так, что ковш 120 попадает в ее область наблюдения, когда плечо 122 полностью выдвинуто или полностью сжато в пределах цикла копания-сбрасывания. Как объясняется ниже в отношении фиг. 2-4, положение камеры 128 может меняться в зависимости от типа рабочей машины 100 и особенностей, связанных с ее рабочей площадкой.As the work machine 100 operates on the work site, it can move the arm 122 to position the bucket 120 for moving or digging material on the work site as part of a dig-dump cycle. As the work machine 100 positions the bucket 120 during the dig-dump cycle, the bucket 120 can move into and out of the viewing area 129 of the camera 128. The camera 128 can be positioned so that it has an unobstructed view of the GET 125 during the dig-dump cycle. For example, the camera 128 can be positioned on the work machine 100 so that the bucket 120 and the GET 125 are visible at the time when the bucket 120 dumps material within the dig-dump cycle. As another example, the camera 128 may be positioned such that the bucket 120 enters its viewing field when the arm 122 is fully extended or fully compressed within the digging-dumping cycle. As explained below with respect to Figs. 2-4, the position of the camera 128 may vary depending on the type of work machine 100 and the features associated with its work site.
В соответствии с некоторыми вариантами осуществления, рабочая машина 100 может содержать панель 130 управления оператора. Панель 130 управления оператора может содержать дисплей 133, который выдает выходной сигнал для оператора рабочей машины 100 так, чтобы оператор мог получать информацию о состоянии или сигналы тревоги, связанные с компьютерной системой 110 обнаружения износа. Дисплей 133 может включать жидкокристаллический дисплей (LCD), светодиодный дисплей (LED), дисплей на катодно-лучевой трубке (CRT) или другой тип дисплея, известный в данной области техники. В некоторых примерах дисплей 133 может содержать аудиовыходы, такие как динамики или порты для наушников или периферийных динамиков. Дисплей 133 может также содержать устройства звукового входа, такие как микрофон или порты для периферийных микрофонов. Дисплей 133 в некоторых вариантах осуществления может содержать чувствительный к прикосновению экран, который также может выступать в качестве устройства ввода. According to some embodiments, the work machine 100 may comprise an operator control panel 130. The operator control panel 130 may comprise a display 133 that provides an output signal for the operator of the work machine 100 so that the operator can receive status information or alarms associated with the wear detection computer system 110. The display 133 may include a liquid crystal display (LCD), a light-emitting diode (LED), a cathode ray tube (CRT) display, or another type of display known in the art. In some examples, the display 133 may comprise audio outputs, such as speakers or ports for headphones or peripheral speakers. The display 133 may also comprise audio input devices, such as a microphone or ports for peripheral microphones. The display 133 in some embodiments may comprise a touch-sensitive screen, which may also act as an input device.
В некоторых вариантах осуществления панель 130 управления оператора также может содержать клавиатуру 137. Клавиатура 137 может обеспечивать возможность ввода данных в компьютерную систему 110 обнаружения износа. Клавиатура 137 может содержать несколько кнопок, позволяющих оператору рабочей машины 100 обеспечивать ввод данных в компьютерную систему 110 обнаружения износа. Например, оператор может нажимать кнопки клавиатуры 137 для выбора или ввода типа рабочей машины 100, ковша 120, и/или GET 125 в соответствии с примерами настоящего изобретения. Клавиатура 127 может быть невиртуальной (например, содержащей физически нажимаемые клавиши) или клавиатура 127 может быть виртуальной клавиатурой, показанной на сенсорно-тактильном варианте осуществления дисплея 133.In some embodiments, the operator control panel 130 may also include a keyboard 137. The keyboard 137 may provide the ability to enter data into the wear detection computer system 110. The keyboard 137 may include several buttons that allow an operator of the work machine 100 to provide data input to the wear detection computer system 110. For example, the operator may press buttons of the keyboard 137 to select or enter a type of the work machine 100, a bucket 120, and/or GET 125 in accordance with examples of the present invention. The keyboard 127 may be non-virtual (e.g., comprising physically pressable keys) or the keyboard 127 may be a virtual keyboard shown on a touch-sensitive tactile embodiment of the display 133.
Как показано на фиг. 1, компьютерная система 110 обнаружения износа может содержать один или более процессоров 140. Процессор (процессоры) 140 может включать один или более из центрального процессорного устройства (CPU), графического процессорного устройства (GPU), программируемой пользователем вентильной матрицы (FPGA), некоторых сочетаний CPU, GPU, или FPGA, или любого другого типа процессорного устройства. Процессор (процессоры) 140 может иметь целый ряд арифметико-логических устройств (ALU), которые выполняют арифметические и логические операции, а также один или более блоков управления (CU), которые извлекают команды и хранимое содержимое из кэш-памяти процессора, а затем выполняют эти команды, обращаясь, при необходимости, к ALU во время выполнения программы. Процессор (процессоры) 140 может также быть ответственным за выполнение драйверов и других выполняемых компьютером команд для приложений, программ или процессов, хранящихся в памяти 150, которые могут быть связаны с обычными типами энергозависимой (RAM) и/или энергонезависимой (ROM) памяти.As shown in Fig. 1, the computer system 110 for detecting wear may include one or more processors 140. The processor(s) 140 may include one or more of a central processing unit (CPU), a graphics processing unit (GPU), a field programmable gate array (FPGA), some combination of a CPU, GPU, or FPGA, or any other type of processor. The processor(s) 140 may have a number of arithmetic logic units (ALUs) that perform arithmetic and logical operations, as well as one or more control units (CUs) that retrieve instructions and stored contents from the processor cache and then execute these instructions, accessing the ALUs as needed during program execution. Processor(s) 140 may also be responsible for executing drivers and other computer-executable instructions for applications, programs, or processes stored in memory 150, which may be associated with conventional types of volatile (RAM) and/or non-volatile (ROM) memory.
В некоторых вариантах осуществления компьютерная система 110 обнаружения износа может содержать память 150. Память 150 может включать системную память, которая может быть энергозависимой (например, RAM), энергонезависимой (например, ROM, флэш-память и т.д.) или некоторой их комбинацией. Память 150 может дополнительно включать энергонезависимый машиночитаемый носитель, такой как энергозависимый и энергонезависимый, съемный и несъемный носитель, реализованный в любом методе или технологии хранения информации, такой как машиночитаемые команды, структуры данных, программные модули или другие данные. Системная память, съемный носитель и несъемный носитель являются примерами энергонезависимого машиночитаемого носителя. Примеры энергонезависимых машиночитаемых носителей включают, но без ограничения, RAM, ROM, EEPROM, флэш-память или другую технологию памяти, CD-ROM, цифровые универсальные диски (DVD) или другие оптические устройства хранения данных, магнитные кассеты, магнитную ленту, накопитель на магнитных дисках или другие магнитные запоминающие устройства, или любой другой энергонезависимый носитель, который может быть использован для хранения необходимой информации и к которому может получить доступ компьютерная система 110 обнаружения износа. In some embodiments, the computer system 110 for detecting wear may comprise a memory 150. The memory 150 may include a system memory, which may be volatile (e.g., RAM), nonvolatile (e.g., ROM, flash memory, etc.), or some combination thereof. The memory 150 may further include a nonvolatile computer-readable medium, such as volatile and nonvolatile, removable and non-removable media, implemented in any method or technology for storing information, such as computer-readable instructions, data structures, program modules, or other data. System memory, removable media, and non-removable media are examples of nonvolatile computer-readable media. Examples of non-volatile computer-readable media include, but are not limited to, RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, digital versatile discs (DVD) or other optical storage devices, magnetic cassettes, magnetic tape, magnetic disk drive or other magnetic storage devices, or any other non-volatile media that can be used to store the necessary information and that can be accessed by the wear detection computer system 110.
Память 150 может хранить данные, включая выполняемые компьютером команды, для компьютерной системы 110 обнаружения износа, как описано в данном документе. Например, в памяти 150 может храниться один или более компонентов компьютерной системы 110 обнаружения износа, такие как библиотека 160 физических параметров, анализатор 170 изображения, анализатор 175 износа и диспетчер 180 оповещений. В памяти 150 также могут храниться дополнительные компоненты, модули или другой код, исполняемый процессором (процессорами) 140 для обеспечения работы компьютерной системы 110 обнаружения износа. Например, память 150 может содержать код, связанный с функциями ввода/вывода, программными драйверами, операционными системами или другими компонентами.Memory 150 may store data, including computer-executable instructions, for the computer system 110 for detecting wear, as described herein. For example, memory 150 may store one or more components of the computer system 110 for detecting wear, such as a library of physical parameters 160, an image analyzer 170, a wear analyzer 175, and an alert manager 180. Memory 150 may also store additional components, modules, or other code executed by the processor(s) 140 to provide operation of the computer system 110 for detecting wear. For example, memory 150 may contain code associated with input/output functions, software drivers, operating systems, or other components.
В соответствии с некоторыми вариантами осуществления, компоненты компьютерной системы 110 обнаружения износа могут быть расположены внутри камеры 128. Например, камера 128 может содержать один или более процессоров 140 и/или память 150. В дополнение или в качестве альтернативы, отдельные компоненты компьютерной системы 110 обнаружения износа могут быть расположены на рабочей машине 100 и за пределами камеры 128. Например, и рабочая машина 100, и камера 128 могут содержать один или более процессоров 140 или память 150, или один или более процессоров 140 или память 150 могут быть расположены полностью за пределами камеры 128, но внутри рабочей машины 100. According to some embodiments, components of the wear detection computer system 110 may be located within the chamber 128. For example, the chamber 128 may contain one or more processors 140 and/or memory 150. In addition or as an alternative, individual components of the wear detection computer system 110 may be located on the work machine 100 and outside of the chamber 128. For example, both the work machine 100 and the chamber 128 may contain one or more processors 140 or memory 150, or one or more processors 140 or memory 150 may be located entirely outside of the chamber 128, but inside the work machine 100.
Библиотека 160 физических параметров может включать наборы физических параметров, связанные с рабочей машиной 100, ковшом 120 и/или GET 125. Например, в качестве нескольких примеров, библиотека 160 физических параметров может включать данные измерений, связанные с размером ковша 120, формой ковша 120, размером GET 125, формой GET 125, а также пространственным соотношением между GET 125 и ковшом 120. Библиотека 160 физических параметров может также включать параметры, связанные с размером и формой GET 125 в новом или неизношенном состоянии, и параметрами, связанными с размером и формой GET 125 при достижении ими предельно допустимого износа. The library 160 of physical parameters may include sets of physical parameters associated with the work machine 100, the bucket 120, and/or the GET 125. For example, as several examples, the library 160 of physical parameters may include measurement data associated with the size of the bucket 120, the shape of the bucket 120, the size of the GET 125, the shape of the GET 125, and a spatial relationship between the GET 125 and the bucket 120. The library 160 of physical parameters may also include parameters associated with the size and shape of the GET 125 in a new or unworn condition, and parameters associated with the size and shape of the GET 125 when they reach their wear limit.
Библиотека 160 физических параметров может также включать шаблоны или эталонные изображения, связанные с комбинацией ковша 120 и GET 125 (например, шаблон ковш-инструмент). Например, для рабочей машины 100 один из шаблонов, хранящихся в библиотеке 160 физических параметров, может включать изображение ковша 120 с GET 125, поскольку предполагается, что ковш 120 будет расположен в области наблюдения камеры 128. Шаблоны ковш-инструмент могут быть, когда GET 125 не изношены (например, неизношенные или предполагаемые края) или когда они достигли предельно допустимого износа (например, пороговый край). Библиотека 160 физических параметров может также включать другую информацию, связанную с износом GET 125, чтобы помочь анализатору 175 износа определить, когда GET износились до такой степени, что требуется их замена. Данные об износе, связанные с GET 125, могут быть представлены в виде фактических измерений (например, метрических или имперских размеров) или в виде значений пикселей.The library 160 of physical parameters may also include patterns or reference images associated with the combination of the bucket 120 and the GET 125 (for example, a bucket-tool pattern). For example, for the work machine 100, one of the patterns stored in the library 160 of physical parameters may include an image of the bucket 120 with the GET 125, since it is assumed that the bucket 120 will be located in the observation area of the camera 128. The bucket-tool patterns may be when the GETs 125 are not worn (for example, unworn or assumed edges) or when they have reached the maximum allowable wear (for example, a threshold edge). The library 160 of physical parameters may also include other information associated with the wear of the GET 125 to help the wear analyzer 175 determine when the GETs have worn to such an extent that they need to be replaced. The wear data associated with GET 125 can be presented as actual measurements (e.g. metric or imperial sizes) or as pixel values.
Библиотека 160 физических параметров может включать множество наборов физических параметров, где каждый набор физических параметров соответствует рабочей машине, ковшу, GET или их комбинации. Во время работы оператор может использовать панель 130 управления оператора для выбора набора физических параметров из библиотеки 160 физических параметров, соответствующих ковшу 120 и GET 125, или рабочей машине 100. Например, если рабочая машина 100 представляет собой гидравлический карьерный экскаватор с номером модели «6015B», оператор может использовать панель 130 управления оператора для ввода номера модели «6015B», и компьютерная система 110 обнаружения износа может загрузить в память 150 набор физических параметров, соответствующий модели 6015B гидравлического карьерного экскаватора, из библиотеки физических параметров 160. В некоторых примерах список шаблонов, доступных в библиотеке 160 физических параметров, может быть показан на дисплее 133 при включении или сбросе компьютерной системы 110 обнаружения износа, и оператор может выбрать один из наборов физических параметров из списка для работы в зависимости от номера модели рабочей машины 100, типа ковша 120 или типа GET 125. The physical parameter library 160 may include a plurality of physical parameter sets, where each physical parameter set corresponds to a work machine, a bucket, a GET, or a combination thereof. During operation, the operator may use the operator control panel 130 to select a set of physical parameters from a library 160 of physical parameters corresponding to the bucket 120 and the GET 125, or the work machine 100. For example, if the work machine 100 is a hydraulic mining excavator with a model number of "6015B", the operator may use the operator control panel 130 to enter the model number "6015B", and the wear detection computer system 110 may load into the memory 150 a set of physical parameters corresponding to the model 6015B of the hydraulic mining excavator from the library of physical parameters 160. In some examples, a list of templates available in the library 160 of physical parameters may be shown on the display 133 when the wear detection computer system 110 is turned on or reset, and the operator may select one of the sets of physical parameters from the list for operation depending on the model number of the work machine 100, the type of the bucket 120, or the type of the GET 125.
В некоторых вариантах осуществления оператор может разместить ковш 120 и GET 125 в области 129 наблюдения камеры 128 в начале рабочей смены и заставить компьютерную систему 110 обнаружения износа зафиксировать изображение ковша 120 и GET 125 с помощью ввода данных на панели 130 управления оператора. Затем компьютерная система 110 обнаружения износа может выполнить процесс сопоставления изображений, чтобы сопоставить ковш 120 и GET 125 с набором физических параметров, и настроить себя на процессы обнаружения износа и обработки изображений, раскрытые в данном документе, на основе сопоставленного набора физических параметров. In some embodiments, the operator may place the bucket 120 and the GET 125 in the observation area 129 of the camera 128 at the beginning of a work shift and cause the computer system 110 for detecting wear to capture an image of the bucket 120 and the GET 125 using the input data on the operator control panel 130. The computer system 110 for detecting wear may then perform an image matching process to match the bucket 120 and the GET 125 with a set of physical parameters, and configure itself for the wear detection and image processing processes disclosed herein based on the matched set of physical parameters.
Анализатор 170 изображения может быть выполнен с возможностью анализа изображений, зафиксированных камерой 128, с целью идентификации GET 125 на этих изображениях и измерения износа GET 125 на основе обработанных версий этих изображений. Например, анализатор 170 изображения может получать стереоскопические изображения с камеры 128 в виде левых выровненных изображений (зафиксированных с помощью левого датчика изображения камеры 128) и правого выровненного изображения (зафиксированного с помощью правого датчика изображения камеры 128). Анализатор 170 изображения может выполнять различные технологии компьютерного зрения на левом выровненном изображении и правом уточненном изображении для идентификации или определения нужных участков в них, соответствующих GET 125. The image analyzer 170 may be configured to analyze images captured by the camera 128 in order to identify the GET 125 in these images and to measure the wear of the GET 125 based on processed versions of these images. For example, the image analyzer 170 may receive stereoscopic images from the camera 128 in the form of left aligned images (captured by the left image sensor of the camera 128) and a right aligned image (captured by the right image sensor of the camera 128). The image analyzer 170 may perform various computer vision technologies on the left aligned image and the right refined image to identify or determine desired areas in them corresponding to the GET 125.
В одном варианте осуществления анализатор 170 изображения может создать карту плотной стереоскопической диспаратности на основе левого выровненного изображения и правого выровненного изображения. Анализатор изображения может делить на сегменты карту плотной стереоскопической диспаратности для идентификации нужных участков. В дополнение, анализатор 170 изображения может также создавать облако 3D-точек на основе карты плотной стереоскопической диспаратности и делить на сегменты облако 3D-точек для идентификации нужных участков. In one embodiment, the image analyzer 170 may create a dense stereoscopic disparity map based on the left aligned image and the right aligned image. The image analyzer may segment the dense stereoscopic disparity map to identify areas of interest. In addition, the image analyzer 170 may also create a 3D point cloud based on the dense stereoscopic disparity map and segment the 3D point cloud to identify areas of interest.
После того как анализатор 170 изображения выделит нужные участки, он может дополнительно обработать их для создания цифрового изображения левого края, соответствующего левому выровненному изображению, и цифрового изображения правого края, соответствующего правому выровненному изображению. Анализатор 170 изображения может использовать поисковое обнаружение края на основе величины градиента, но в других вариантах осуществления для создания цифрового изображения левого края и цифрового изображения правого края могут быть использованы другие технологии обнаружения края, используемые в области компьютерного зрения (например, технологии обнаружения края на основе нулевого пересечения). After the image analyzer 170 has selected the desired areas, it can further process them to create a digital image of the left edge corresponding to the left aligned image, and a digital image of the right edge corresponding to the right aligned image. The image analyzer 170 can use a search edge detection based on the gradient value, but in other embodiments, other edge detection technologies used in the field of computer vision (for example, edge detection technologies based on zero intersection) can be used to create the digital image of the left edge and the digital image of the right edge.
В дополнение к технологиям компьютерного зрения или в качестве альтернативы технологиям компьютерного зрения, анализатор 170 изображения может также использовать технологии глубокого обучения или машинного обучения для идентификации нужных участков в левых выровненных изображениях и правых выровненных изображениях, зафиксированных камерой 128. Например, анализатор 170 изображения может использовать основанный на глубоком обучении алгоритм обнаружения GET, который использует нейронную сеть, обученную определять нужные участки на основе совокупности изображений, на которых были отмечены отдельные GET, группы GET или комбинации GET и ковша. Анализатор 170 изображения может также использовать основанный на глубоком обучении алгоритм определения местоположения GET, который использует нейронную сеть, обученную определять местоположение GET на изображении. Алгоритм определения местоположения GET был обучен на совокупности изображений, на которых были отмечены такие отдельные GET. После того как алгоритм определения местоположения GET идентифицирует отдельные GET на изображении, он выдает соответствующее местоположение GET. Например, алгоритм определения местоположения GET может выдавать пиксельное местоположение или выход ограничительной рамки, связанный с местоположением GET. In addition to computer vision technologies or as an alternative to computer vision technologies, the image analyzer 170 may also use deep learning or machine learning technologies to identify the desired regions in the left aligned images and the right aligned images captured by the camera 128. For example, the image analyzer 170 may use a deep learning-based GET detection algorithm that uses a neural network trained to determine the desired regions based on a set of images in which individual GETs, groups of GETs, or combinations of GETs and a bucket have been marked. The image analyzer 170 may also use a deep learning-based GET location determination algorithm that uses a neural network trained to determine the location of a GET in an image. The GET location determination algorithm was trained on a set of images in which such individual GETs were marked. After the GET location determination algorithm identifies individual GETs in an image, it outputs the corresponding GET location. For example, a GET location algorithm may output a pixel location or a bounding box output associated with the GET location.
В некоторых примерах анализатор 170 изображений может детализировать оценки краев GET и/или идентифицировать отдельные GET 125, используя предполагаемое местоположение GET 125 в зафиксированном изображении. Например, анализатор 170 изображения может знать предполагаемое положение GET 125 относительно ковша 120 на основе набора физических параметров, хранящихся в библиотеке 160 физических параметров, соответствующих типу используемых ковша 120 и GET 125. Используя эту информацию, анализатор 170 изображения может перейти к предполагаемому местоположению на выбранном изображении и зафиксировать пиксельный участок, расположенный вблизи зубов. Затем пиксельный участок может быть использована для дальнейшей идентификации зубца на основе технологий компьютерного зрения, таких как применение фильтра свертки, анализ сегментации, обнаружение края или анализ силы/темноты пикселей в области пикселей. В некоторых вариантах осуществления анализатор 170 изображения может использовать отдельный шаблон зуба для применения к пиксельному участку с целью дальнейшей детализации местоположения зуба с помощью технологий компьютерного зрения. Анализатор 170 изображения может дополнительно детализировать края, используя технологии динамического программирования. Технологии динамического программирования могут включать сглаживание на основе силы края, близости края к отверстию или участку нечеткости на карте плотной стереоскопической диспаратности, или другие технологии оптимизации обнаружения края. Анализатор 170 изображения также может использовать результаты работы алгоритма определения местоположения GET для получения уверенности в определении местоположения GET и дальнейшей детализации оценок края на основе результатов работы алгоритма определения местоположения GET. In some examples, the image analyzer 170 may refine the GET edge estimates and/or identify individual GETs 125 using the estimated location of the GET 125 in the captured image. For example, the image analyzer 170 may know the estimated location of the GET 125 relative to the bucket 120 based on a set of physical parameters stored in the physical parameter library 160 corresponding to the type of bucket 120 and GET 125 used. Using this information, the image analyzer 170 may navigate to the estimated location in the selected image and capture a pixel region located near the teeth. The pixel region may then be used to further identify the tooth based on computer vision technologies, such as applying a convolution filter, segmentation analysis, edge detection, or analyzing the strength/darkness of the pixels in the pixel region. In some embodiments, the image analyzer 170 may use an individual tooth template to apply to the pixel region to further refine the location of the tooth using computer vision technologies. The image analyzer 170 may further refine the edges using dynamic programming techniques. Dynamic programming techniques may include smoothing based on edge strength, edge proximity to a hole or a blurry area in a dense stereoscopic disparity map, or other edge detection optimization techniques. The image analyzer 170 may also use the results of the GET location algorithm to obtain confidence in the GET location determination and further refine the edge estimates based on the results of the GET location algorithm.
Анализатор 170 изображения может также создавать рассеянную стереоскопическую диспаратность, которая передается анализатору 175 износа так, чтобы анализатор 175 износа мог определить износ в GET 125. В некоторых вариантах осуществления анализатор 170 изображения создал рассеянную стереоскопическую диспаратность между цифровым изображением левого края (связанного с левым выровненным изображением) и цифровым изображением правого края (связанным с правым выровненным изображением), и эта диспаратность используется анализатором 175 износа. В качестве альтернативы рассеянная стереоскопическая диспаратность может быть рассчитана на основе первого изображения нужной области (связанного с левым выровненным изображением) и второго изображения нужной области (связанного с правым выровненным изображением), при этом анализатор 170 изображения может обнаружить край на основе изображения рассеянной стереоскопической диспаратности. The image analyzer 170 may also create a diffuse stereoscopic disparity, which is transmitted to the wear analyzer 175 so that the wear analyzer 175 can determine the wear in the GET 125. In some embodiments, the image analyzer 170 created a diffuse stereoscopic disparity between the digital image of the left edge (associated with the left aligned image) and the digital image of the right edge (associated with the right aligned image), and this disparity is used by the wear analyzer 175. Alternatively, the diffuse stereoscopic disparity may be calculated based on the first image of the desired region (associated with the left aligned image) and the second image of the desired region (associated with the right aligned image), and the image analyzer 170 can detect the edge based on the diffuse stereoscopic disparity image.
Анализатор 175 износа может быть выполнен с возможностью анализа рассеянной стереоскопической диспаратности, сгенерированной анализатором 170 изображения, на предмет износа. Например, набор физических параметров, связанный с ковшом 120 и GET 125, может включать предполагаемые данные, связанные с неизношенной GET 125, или набором неизношенных GET 125, который был откалиброван на основе предполагаемого фиксирования изображения камерой 128. Предполагаемые данные могут быть в виде пикселей, фактических измерений или изображения края, связанного с неизношенной GET. После того как анализатор 175 износа получит рассеянную стереоскопическую диспаратность, он может определить данные измерений, связанные с GET 125, используемыми рабочей машиной 100. Затем он может сравнить определенные данные измерений с предполагаемыми данными, соответствующими неизношенной версии GET 125, чтобы определить уровень износа или потерю для GET 125.The wear analyzer 175 may be configured to analyze the diffuse stereoscopic disparity generated by the image analyzer 170 for wear. For example, the set of physical parameters associated with the bucket 120 and the GET 125 may include estimated data associated with an unworn GET 125, or a set of unworn GETs 125 that has been calibrated based on an estimated image capture by the camera 128. The estimated data may be in the form of pixels, actual measurements, or an image of an edge associated with an unworn GET. After the wear analyzer 175 receives the diffuse stereoscopic disparity, it can determine measurement data associated with the GET 125 used by the work machine 100. It can then compare the determined measurement data with the estimated data corresponding to the unworn version of the GET 125 to determine the level of wear or loss for the GET 125.
В некоторых вариантах осуществления количество пикселей, связанное с рассеянной стереоскопической диспаратностью, может быть использовано для измерения износа или потери GET. В качестве нескольких примеров, количество пикселей может включать площадь (например, общее количество пикселей для GET), высоту GET в пикселях, ширину GET в пикселях, сумму высоты и ширины GET. Способ определения количества пикселей может меняться в зависимости от формы и типа GET. Например, для GET, длина которой значительно превышает ширину, может использоваться количество пикселей по высоте, тогда как для GET, ширина которой значительно превышает длину, может использоваться количество пикселей по ширине. Могут быть использованы различные способы определения количества пикселей, без отступления от сущности и объема настоящего изобретения. In some embodiments, the number of pixels associated with diffuse stereoscopic disparity can be used to measure wear or loss of the GET. As several examples, the number of pixels can include an area (e.g., the total number of pixels for the GET), the height of the GET in pixels, the width of the GET in pixels, the sum of the height and width of the GET. The method for determining the number of pixels can vary depending on the shape and type of the GET. For example, for a GET whose length significantly exceeds its width, the number of pixels by height can be used, while for a GET whose width significantly exceeds its length, the number of pixels by width can be used. Various methods for determining the number of pixels can be used without departing from the spirit and scope of the present invention.
В некоторых вариантах осуществления анализатор 175 износа может вычислять показатель сходства между определенными данными измерений, извлеченными из рассеянной стереоскопической диспаратности, и предполагаемыми данными, соответствующими изношенному GET 125. Показатель сходства может отражать меру того, насколько хорошо определенные данные измерений GET 125 соответствуют ожидаемым данным набора физических параметров. Например, показатель сходства может включать использование способа определения сходства по методу пересечения союзов или коэффициента Жаккара. В некоторых вариантах осуществления для определения показателя сходства может быть использован коэффициент Дайса или метод суммарной оценки F1 определения сходства. Показатель сходства может также включать значение, отражающее процентное соотношение количества пикселей рассеянной стереоскопической диспаратности, перекрывающегося с предполагаемым изображением края. В некоторых вариантах осуществления показатель сходства может быть масштабирован или стандартизован от нуля до ста.In some embodiments, the wear analyzer 175 may calculate a similarity score between the determined measurement data extracted from the diffuse stereoscopic disparity and the expected data corresponding to the worn GET 125. The similarity score may reflect a measure of how well the determined measurement data of the GET 125 matches the expected data of the set of physical parameters. For example, the similarity score may include using a union intersection similarity method or a Jaccard coefficient. In some embodiments, the Dice coefficient or the F1 sum score similarity determination method may be used to determine the similarity score. The similarity score may also include a value reflecting the percentage of the number of diffuse stereoscopic disparity pixels overlapping with the expected edge image. In some embodiments, the similarity score may be scaled or standardized from zero to one hundred.
Показатель сходства может обеспечивать указание на износ GET 125. Например, низкий показатель (например, в диапазоне от 0 до 20) может указывать на то, что одна из GET 125 сломана или отсутствует, что свидетельствует о потере зуба. Высокий показатель (например, в диапазоне 80-100) может указывать на то, что зуб находится в хорошем состоянии и не нуждается в замене. Показатель, находящийся между низким и высоким показателями, может обеспечить степень износа зуба, причем более высокие показатели указывают на более длительный срок выполнения замены зуба по сравнению с более низким показателем.The similarity score can provide an indication of the wear of the GET 125. For example, a low score (e.g., in the range of 0 to 20) can indicate that one of the GET 125s is broken or missing, indicating tooth loss. A high score (e.g., in the range of 80 to 100) can indicate that the tooth is in good condition and does not need to be replaced. A score in between the low and high scores can provide an indication of the degree of wear of the tooth, with higher scores indicating a longer time to replace the tooth compared to a lower score.
В некоторых вариантах осуществления анализатор 175 износа может собирать данные измерений, связанные с GET 125, с течением времени и использовать собранные данные измерений для определения уровня износа GET 125 и тенденции износа GET 125. Например, рабочая машина 100 может работать на своей рабочей площадке в течение нескольких дней, выполняя определенную работу. По мере того как рабочая машина 100 перемещает материал во время работы, камера 128 передает стереоскопические изображения ковша 120 и GET 125 в компьютерную систему 110 обнаружения износа, а анализатор 170 изображения создает рассеянные стереоскопические диспаратности для GET 125. Анализатор 175 износа может отображать данные измерений (например, количество пикселей, метрические измерения, имперские измерения), связанные с GET 125, в несколько моментов времени в течение всего периода работы. Предполагается, что поскольку ковш 120 и GET 125 вступают в контакт с материалом на рабочей площадке, размер GET 125 будет уменьшаться вследствие износа. Соответственно, данные измерений, связанные с GET 125, подобным образом будут уменьшаться с течением времени, а количество пикселей с течением времени будет отражать тенденцию износа. Анализатор 172 износа может определить уровень износа для GET 125 в конкретный момент времени, используя тенденцию износа в конкретный момент времени. Уровень износа для GET 125 может указывать на необходимость замены GET 125 или он может указывать на потерю одного или более GET 125. В некоторых вариантах осуществления данные измерений, связанные с GET 125, могут быть сохранены в памяти 150 и применены к нескольким рабочим заданиям и нескольким рабочим площадкам, а тенденция износа может быть применима к сроку службы GET 125. В таких вариантах осуществления количество пикселей, связанных с GET 125, зафиксированных анализатором 175 износа, может быть сброшено при замене ковша 120 или GET 125, при этом анализатор 175 износа может возобновить сбор количества пикселей для GET 125 с нулевого момента времени. In some embodiments, the wear analyzer 175 may collect measurement data associated with the GET 125 over time and use the collected measurement data to determine the level of wear of the GET 125 and the wear trend of the GET 125. For example, the work machine 100 may operate at its work site for several days, performing a certain job. As the work machine 100 moves material during operation, the camera 128 transmits stereoscopic images of the bucket 120 and the GET 125 to the wear detection computer system 110, and the image analyzer 170 creates diffuse stereoscopic disparities for the GET 125. The wear analyzer 175 may display measurement data (e.g., number of pixels, metric measurements, imperial measurements) associated with the GET 125 at several points in time throughout the operation period. It is assumed that as the bucket 120 and the GET 125 come into contact with material on the work site, the size of the GET 125 will decrease due to wear. Accordingly, the measurement data associated with the GET 125 will similarly decrease over time, and the number of pixels over time will reflect a wear trend. The wear analyzer 172 can determine the wear level for the GET 125 at a particular point in time using the wear trend at a particular point in time. The wear level for the GET 125 may indicate a need to replace the GET 125, or it may indicate a loss of one or more GETs 125. In some embodiments, the measurement data associated with the GET 125 may be stored in the memory 150 and applied to multiple work orders and multiple work sites, and the wear trend may be applicable to the service life of the GET 125. In such embodiments, the number of pixels associated with the GET 125, captured by the wear analyzer 175, may be reset when the bucket 120 or the GET 125 is replaced, and the wear analyzer 175 may resume collecting the number of pixels for the GET 125 from time zero.
Поскольку анализатор 175 износа определяет тенденцию износа на основе данных измерений для GET 125, измеренных с течением времени, анализатор 175 износа может также составлять прогнозы того, когда GET 125 может потребовать замены. Например, если анализатор 175 износа определил, что данные измерений, связанные с GET 125, показывают, что GET 125 теряют 1% ресурса за десять рабочих часов (поскольку данные измерений уменьшаются на 1% за десять рабочих часов), а GET 125 использовались в течение восьмисот рабочих часов, анализатор 175 износа может определить, что GET 125 необходимо заменить в течение 200 часов.Since the wear analyzer 175 determines a wear trend based on the measurement data for the GET 125 measured over time, the wear analyzer 175 can also make predictions about when the GET 125 may require replacement. For example, if the wear analyzer 175 has determined that the measurement data associated with the GET 125 shows that the GET 125 is losing 1% of its life in ten operating hours (since the measurement data decreases by 1% in ten operating hours), and the GET 125 has been used for eight hundred operating hours, the wear analyzer 175 can determine that the GET 125 needs to be replaced within 200 hours.
В некоторых вариантах осуществления компьютерная система 110 обнаружения износа может содержать диспетчер 180 оповещений. Диспетчер 180 оповещений может быть связан с анализатором 175 износа и может отслеживать тенденцию износа и уровень износа, определяемые анализатором 175 износа. Диспетчер 180 оповещений может предоставлять оповещения с сообщениями на панель 130 управления оператора на основе информации, установленной анализатором 175 износа. Например, когда уровень износа достигает порогового значения, диспетчер 180 оповещений может генерировать оповещение, которое отображается на дисплее 133 панели 130 управления оператора. Пороговое значение может соответствовать значениям, указывающим на экстремальный износ GET или, в некоторых случаях, о полной потере GET. Оповещение может указывать оператору рабочей машины 100 на необходимость замены одного или более GET 125. Пороговое значение износа может меняться среди вариантов осуществления и может зависеть от типа GET 125 и материала на рабочей площадке, с которым взаимодействуют GET 125. In some embodiments, the computer system 110 for detecting wear may comprise an alert manager 180. The alert manager 180 may be associated with the wear analyzer 175 and may monitor the wear trend and the wear level determined by the wear analyzer 175. The alert manager 180 may provide alerts with messages to the operator control panel 130 based on the information determined by the wear analyzer 175. For example, when the wear level reaches a threshold value, the alert manager 180 may generate an alert that is displayed on the display 133 of the operator control panel 130. The threshold value may correspond to values that indicate extreme wear of the GET or, in some cases, a complete loss of the GET. The alert may indicate to the operator of the work machine 100 that one or more GETs 125 need to be replaced. The wear threshold may vary among embodiments and may depend on the type of GET 125 and the material on the work site with which the GETs 125 interact.
Диспетчер 180 оповещений может также выдать оповещение о том, что GET 125 может потребовать замены в определенный момент в будущем, например, что GET 125 необходимо заменить в течение двух недель. Оповещение о замене может содержать информацию, связанную с прогнозами тенденции износа для GET 125. Например, предупреждение о замене может включать количественную оценку тенденции износа (например, износ GET 125 составляет 2% за рабочий день), количество времени использования зубов или ожидаемую дату или время достижения GET 125 порога износа на основе данных об использовании. The alert manager 180 may also issue an alert that the GET 125 may require replacement at a certain point in the future, such as that the GET 125 needs to be replaced within two weeks. The replacement alert may contain information related to predictions of the wear trend for the GET 125. For example, the replacement alert may include a quantitative estimate of the wear trend (for example, the GET 125 wears out at 2% per working day), the amount of time the teeth are used, or the expected date or time that the GET 125 reaches the wear threshold based on usage data.
В некоторых вариантах осуществления диспетчер 180 оповещений может отслеживать тенденцию износа, определяемую анализатором 175 износа, и выдавать значение уровня износа на дисплей 133, чтобы проинформировать оператора рабочей машины 100 о текущем уровне износа. Например, если тенденция износа указывает на то, что GET 125 изношены на 60%, то на основании тенденции износа диспетчер 180 оповещений может выдать сообщение о том, что до замены GET 125 осталось 40% их ресурса. Дисплей 133 также может информировать оператора о том, что зуб сломался, указывать на потерю зуба (например, когда ресурс одного или более GET 125 составляет менее 20%). In some embodiments, the alert manager 180 may monitor the wear trend determined by the wear analyzer 175 and output a wear level value to the display 133 to inform the operator of the work machine 100 of the current wear level. For example, if the wear trend indicates that the GETs 125 are worn by 60%, then based on the wear trend, the alert manager 180 may output a message that the GETs 125 have 40% of their life left before they need to be replaced. The display 133 may also inform the operator that a tooth has broken, indicating a tooth loss (for example, when the life of one or more GETs 125 is less than 20%).
Компьютерная система 110 обнаружения износа позволяет оператору рабочей машины 100 получать информацию о том, когда GET 125 требует замены, или сломалась, в результате существенного износа. Процессы, используемые компьютерной системой 110 обнаружения износа—которые более подробно описаны ниже—обеспечивают точное и четкое измерение износа GET в масштабе менее 5 мм, что позволяет оператору остановить работу рабочей машины 100 в случае очень сильного износа или потери GET. Процессы и технологии, используемые компьютерной системой 110 определения износа, могут применяться в различных рабочих машинах. The computer system 110 for detecting wear allows the operator of the working machine 100 to receive information about when the GET 125 requires replacement, or has broken down, as a result of significant wear. The processes used by the computer system 110 for detecting wear—which are described in more detail below—provide an accurate and clear measurement of the wear of the GET on a scale of less than 5 mm, which allows the operator to stop the operation of the working machine 100 in the event of very severe wear or loss of the GET. The processes and technologies used by the computer system 110 for detecting wear can be applied to various working machines.
Например, на фиг. 2 представлено изображение, на котором показан схематический вид сбоку иллюстративных окружающих условий 200, в которых работает рабочая машина 201 с колесным погрузчиком. Рабочая машина 201 с колесным погрузчиком может содержать ковш 220 и один или более GET 225. Как показано на фиг. 2, камера 228 расположена так, что GET 225 и ковш 220 находятся в области наблюдения 229 камеры 228 во время конца сбрасывания цикла копания-сбрасывания. В результате камера 228 в таких вариантах осуществления может быть выполнена с возможностью фиксации изображений, когда ковш 220 находится в состоянии покоя в конце сбрасывания цикла копания-сбрасывания. For example, Fig. 2 is an image that shows a schematic side view of an exemplary environment 200 in which a work machine 201 with a wheel loader operates. The work machine 201 with a wheel loader may include a bucket 220 and one or more GETs 225. As shown in Fig. 2, the camera 228 is positioned such that the GETs 225 and the bucket 220 are in the viewing area 229 of the camera 228 during the dumping end of the digging-dumping cycle. As a result, the camera 228 in such embodiments may be configured to capture images when the bucket 220 is at rest at the dumping end of the digging-dumping cycle.
В качестве другого примера на фиг. 3 представлено изображение, на котором показан схематический вид сбоку иллюстративных окружающих условий 300, в которых работает рабочая машина 301 в виде гидравлического карьерного экскаватора. Рабочая машина 301 в виде гидравлического карьерного экскаватора может содержать ковш 320 и один или более GET 325. В отличие от положения камеры 228 в рабочей машине 201 с колесным погрузчиком, камера 328 расположена таким образом, что GET 325 находятся в области наблюдения 329 камеры 328 во время конца копания цикла копания-сбрасывания. Камера 328 может быть выполнена в таких вариантах осуществления с возможностью фиксации изображений, когда ковш 320 находится в состоянии покоя в конце копания цикла копания-сбрасывания.As another example, Fig. 3 is an image that shows a schematic side view of an exemplary environment 300 in which a work machine 301 in the form of a hydraulic mining excavator operates. The work machine 301 in the form of a hydraulic mining excavator may comprise a bucket 320 and one or more GETs 325. Unlike the position of the camera 228 in the work machine 201 with a wheel loader, the camera 328 is positioned such that the GETs 325 are in the viewing area 329 of the camera 328 during the digging end of the digging-dumping cycle. The camera 328 may be configured in such embodiments to capture images when the bucket 320 is at rest at the digging end of the digging-dumping cycle.
В еще одном другом примере на фиг. 4 представлено изображение, на котором показан схематический вид сбоку иллюстративных окружающих условий 400, в которых работает рабочая машина 401 в виде канатного экскаватора с электрическим приводом. Рабочая машина 401 в виде канатного экскаватора с электрическим приводом может содержать ковш 420, один или более GET 425 и камеру 428. Как показано на фиг. 4, GET 425 могут быть в области наблюдения 429 камеры 428 в средней точке в цикле копания-сбрасывания, но когда ковш 420 находится относительно близко к камере 428. В таких вариантах осуществления камера 428 может быть выполнена с возможностью фиксации изображений, когда ковш 420 входит в различные положения, которые соответствуют области наблюдения 429 камеры 428.In yet another example, Fig. 4 is an image that shows a schematic side view of an exemplary environment 400 in which a work machine 401 in the form of an electric rope excavator operates. The work machine 401 in the form of an electric rope excavator may comprise a bucket 420, one or more GETs 425, and a camera 428. As shown in Fig. 4, the GETs 425 may be in the viewing area 429 of the camera 428 at a midpoint in a digging-dumping cycle, but when the bucket 420 is relatively close to the camera 428. In such embodiments, the camera 428 may be configured to capture images when the bucket 420 enters various positions that correspond to the viewing area 429 of the camera 428.
На фиг. 5 изображена схема 500 потока данных изображения, на которой показан иллюстративный поток данных изображения для процесса обнаружения нужного участка с использованием технологий компьютерного зрения. Схема 500 потока данных изображения включает изображения, которые принимаются, обрабатываются и генерируются анализатором 170 изображения во время обнаружения нужных участков в изображениях, зафиксированных камерой 128, связанной с GET 125. Схема 500 потока данных изображения включает левое изображение 510 и правое изображение 520, зафиксированные камерой 128. Левое изображение 510 может быть выровненным изображением, зафиксированным левым датчиком изображения камеры 128. Правое изображение 520 может быть выровненным изображением, зафиксированным правым датчиком изображения камеры 128. Как левое изображение 510, так и правое изображение 520 содержат изображения ковша 120 и GET 125.Fig. 5 shows a diagram 500 of an image data flow that shows an exemplary image data flow for a process of detecting a desired region using computer vision technologies. The diagram 500 of the image data flow includes images that are received, processed and generated by the image analyzer 170 during the detection of desired regions in images captured by the camera 128 associated with the GET 125. The diagram 500 of the image data flow includes a left image 510 and a right image 520 captured by the camera 128. The left image 510 may be an aligned image captured by the left image sensor of the camera 128. The right image 520 may be an aligned image captured by the right image sensor of the camera 128. Both the left image 510 and the right image 520 contain images of the bucket 120 and the GET 125.
Анализатор 170 изображения может обрабатывать левое изображение 510 и правое изображение 520 для создания карты 530 диспаратности. Карта 530 диспаратности может быть картой плотной стереоскопической диспаратности, показывающей диспаратность между каждым пикселем левого изображения 510 и каждым пикселем правого изображения 520. Используя карту 530 диспаратности и набор 535 физических параметров, полученных из библиотеки 160 физических параметров и связанных с ковшом 120, GET 125 и/или рабочей машиной 100, анализатор 170 изображения может построить облако 540 3D-точек. Облако 540 3D-точек показывает диспаратность между левым изображением 510 и правым изображением 520 в трех измерениях. Анализатор 170 изображения может затем выполнить регулярный сегментный анализ облака 540 3D-точек для идентификации первого нужного участка 550, соответствующего левому изображению 510, и второго нужного участка 560, соответствующего правому изображению 520. The image analyzer 170 can process the left image 510 and the right image 520 to create a disparity map 530. The disparity map 530 can be a dense stereoscopic disparity map showing the disparity between each pixel of the left image 510 and each pixel of the right image 520. Using the disparity map 530 and the set 535 of physical parameters obtained from the library 160 of physical parameters and associated with the bucket 120, GET 125 and/or the working machine 100, the image analyzer 170 can construct a 3D point cloud 540. The 3D point cloud 540 shows the disparity between the left image 510 and the right image 520 in three dimensions. The image analyzer 170 may then perform a regular segmental analysis of the 3D point cloud 540 to identify a first desired region 550 corresponding to the left image 510 and a second desired region 560 corresponding to the right image 520.
На фиг. 6 изображена схема 600 потока данных изображения, на которой показан иллюстративный поток данных изображения для процесса обнаружения нужного участка с использованием технологий глубокого обучения. Подобно схеме 500 потока данных изображения, описанной выше, результат процесса обнаружения нужного участка будет первым нужным участком 550 и вторым нужным участком 560, соответствующими GET 125. Однако, в отличии от схемы 500 потока данных изображения, анализатор 170 изображения применяет технологии глубокого обучения для обнаружения первого нужного участка 550 и второго нужного участка 560.Fig. 6 shows a diagram 600 of an image data flow, which shows an exemplary image data flow for a process of detecting a desired region using deep learning technologies. Similar to the diagram 500 of the image data flow described above, the result of the process of detecting a desired region will be a first desired region 550 and a second desired region 560, corresponding to GET 125. However, in contrast to the diagram 500 of the image data flow, the image analyzer 170 uses deep learning technologies to detect the first desired region 550 and the second desired region 560.
Схема 600 потока данных изображения включает левое изображение 510 и правое изображение 520, зафиксированные камерой 128. Левое изображение 510 может быть выровненным изображением, зафиксированным левым датчиком изображения камеры 128. Правое изображение 520 может быть выровненным изображением, зафиксированным правым датчиком изображения камеры 128. Как левое изображение 510, так и правое изображение 520 содержат изображения ковша 120 и GET 125. The image data flow diagram 600 includes a left image 510 and a right image 520 captured by the camera 128. The left image 510 may be an aligned image captured by the left image sensor of the camera 128. The right image 520 may be an aligned image captured by the right image sensor of the camera 128. Both the left image 510 and the right image 520 contain images of the bucket 120 and the GET 125.
Анализатор 170 изображения может применять основанный на глубоком обучении алгоритм обнаружения GET к левому изображению 510. Основанный на глубоком обучении алгоритм обнаружения GET может использовать нейронную сеть, которая обучалась с помощью совокупности данных изображения, где GET были по отдельности идентифицированы и отмечены и/или группы GET были по отдельности идентифицированы и отмечены. Когда анализатор 170 изображения применяет основанный на глубоком обучении алгоритм обнаружения GET к левому изображению 510, он может идентифицировать множество отдельных ограничивающих блоков 610 GET, содержащих изображения отдельных GET 125. В некоторых вариантах осуществления анализатор 170 изображения может также идентифицировать ограничивающий блок 615 группы GET, охватывающий отдельные ограничивающие блоки 610 GET. Аналогично, когда анализатор 170 изображения применяет основанный на глубоком обучении алгоритм обнаружения GET к правому изображению 520, он может идентифицировать множество отдельных ограничивающих блоков 620 GET, содержащих изображения отдельных GET 125. В некоторых вариантах осуществления анализатор 170 изображения может также идентифицировать ограничивающий блок 625 группы GET для правого изображения 520, охватывающий отдельные ограничивающие блоки 620 GET. После того, как анализатор 170 изображения идентифицирует ограничивающий блок 615 группы GET, он может извлекать его пиксели в качестве первого нужного участка 550. Анализатор 170 изображения может также извлекать пиксели ограничивающего блока 625 группы GET в качестве второго нужного участка 560.The image analyzer 170 may apply a deep learning-based GET detection algorithm to the left image 510. The deep learning-based GET detection algorithm may use a neural network that has been trained using a set of image data where GETs have been individually identified and labeled and/or groups of GETs have been individually identified and labeled. When the image analyzer 170 applies the deep learning-based GET detection algorithm to the left image 510, it may identify a plurality of individual GET bounding boxes 610 that contain images of individual GETs 125. In some embodiments, the image analyzer 170 may also identify a bounding box 615 of a GET group that encompasses the individual GET bounding boxes 610. Similarly, when the image analyzer 170 applies the deep learning-based GET detection algorithm to the right image 520, it can identify a plurality of individual GET bounding boxes 620 containing images of individual GETs 125. In some embodiments, the image analyzer 170 can also identify a GET group bounding box 625 for the right image 520 that covers the individual GET bounding boxes 620. After the image analyzer 170 identifies the GET group bounding box 615, it can extract its pixels as the first desired region 550. The image analyzer 170 can also extract the pixels of the GET group bounding box 625 as the second desired region 560.
На фиг. 7 изображена схема 700 потока данных изображения, на которой показан иллюстративный поток данных изображения для процесса обнаружения износа с использованием технологий компьютерного зрения. Схема 700 потока данных изображения включает изображения, которые принимаются, обрабатываются и генерируются анализатором 170 изображения во время генерирования результата, который в конечном итоге будет предоставлен анализатору 175 износа для обнаружения износа или потери GET 125. В некоторых вариантах осуществления генерируемый результат будет в виде рассеянного стереоскопического изображения.Fig. 7 shows a diagram 700 of an image data flow, which shows an exemplary image data flow for a process of detecting wear using computer vision technologies. The diagram 700 of an image data flow includes images that are received, processed and generated by the image analyzer 170 during the generation of a result that will ultimately be provided to the wear analyzer 175 for detecting wear or loss of GET 125. In some embodiments, the generated result will be in the form of a diffuse stereoscopic image.
Схема 700 потока данных изображения включает первый нужный участок 550 и второй нужный участок 560. Как первый нужный участок 550, так и второй нужный участок 560 могли быть сгенерированы анализатором 170 изображения, как описано выше в отношении либо фиг. 5, либо фиг. 6, т.е. анализатор 170 изображения мог сгенерировать первый нужный участок 550 и второй нужный участок 560 с использованием технологий компьютерного зрения или технологий глубокого обучения. В некоторых вариантах осуществления первый нужный участок 550 и второй нужный участок 560 могли быть сгенерированы с использованием комбинации технологий компьютерного зрения и технологий глубокого обучения.The image data flow diagram 700 includes a first desired region 550 and a second desired region 560. Both the first desired region 550 and the second desired region 560 could be generated by the image analyzer 170 as described above with respect to either Fig. 5 or Fig. 6, i.e., the image analyzer 170 could generate the first desired region 550 and the second desired region 560 using computer vision technologies or deep learning technologies. In some embodiments, the first desired region 550 and the second desired region 560 could be generated using a combination of computer vision technologies and deep learning technologies.
Схема 700 потока данных изображения также включает недетализированное цифровое изображение 710 левого края. Анализатор 170 изображения может генерировать недетализированное цифровое изображение 710 левого края, применяя технологии обнаружения края с помощью компьютерного зрения к первому нужному участку 550. Технологии обнаружения края с помощью компьютерного зрения могут включать поисковые технологии обнаружения края, такие как технология обнаружения края на основе величины градиента. Технологии обнаружения края с помощью компьютерного зрения могут также включать технологии на основе нулевого пересечения. Анализатор 170 изображения может также выполнять этапы предварительной обработки перед генерированием недетализированного цифрового изображения 710 левого края, например, сглаживание по Гауссу. В некоторых вариантах осуществления анализатор 170 изображения может использовать датчик краев Кэнни или другие хорошо известные датчики краев в области компьютерного зрения. Аналогично, анализатор 170 изображения может генерировать недетализированное цифровое изображение 720 правого края, используя подобные технологии края с использованием компьютерного зрения.The image data flow diagram 700 also includes a coarse digital image 710 of the left edge. The image analyzer 170 can generate the coarse digital image 710 of the left edge by applying edge detection technologies using computer vision to the first desired region 550. The edge detection technologies using computer vision can include search-based edge detection technologies, such as an edge detection technology based on a gradient magnitude. The edge detection technologies using computer vision can also include technologies based on a zero intersection. The image analyzer 170 can also perform pre-processing steps before generating the coarse digital image 710 of the left edge, such as Gaussian smoothing. In some embodiments, the image analyzer 170 can use a Canny edge sensor or other well-known edge sensors in the field of computer vision. Similarly, the image analyzer 170 can generate the coarse digital image 720 of the right edge using similar edge technologies using computer vision.
В некоторых вариантах осуществления анализатор 170 изображения может снизить ошибки в недетализированном цифровом изображении 710 левого края и недетализированном цифровом изображении 720 правого края, выполняя динамическое программирование над обоими. Динамическое программирование может включать применение набора 535 физических параметров к ряду программ оптимизации для уменьшения ошибок. Программы оптимизации могут включать оценку прочности обнаруженного края, анализ того, находится ли обнаруженный край близко к отверстию или участку нечеткости на карте 530 диспаратности или содержится в нем, или где может предполагаться край на основании набора 535 физических параметров. Анализатор 170 изображения может затем выводить детализированное цифровое изображение 740 левого края и детализированное цифровое изображение 750 правого края на основании динамического программирования. Анализатор 170 изображения может затем создать рассеянную стереоскопическую диспаратность 760 путем вычисления рассеянной стереоскопической диспаратности между детализированным цифровым изображением 740 левого края и детализированным цифровым изображением 750 правого края. Анализатор 170 изображения может затем передать рассеянную стереоскопическую диспаратность 760 анализатору 175 износа для обнаружения потери на износ GET 125 в соответствии с раскрытыми вариантами осуществления.In some embodiments, the image analyzer 170 may reduce errors in the coarse digital image 710 of the left edge and the coarse digital image 720 of the right edge by performing dynamic programming on both. The dynamic programming may include applying the set of physical parameters 535 to a series of optimization programs to reduce errors. The optimization programs may include assessing the strength of the detected edge, analyzing whether the detected edge is close to or contained in a hole or a region of fuzziness in the disparity map 530, or where an edge may be expected based on the set of physical parameters 535. The image analyzer 170 may then output a detailed digital image 740 of the left edge and a detailed digital image 750 of the right edge based on the dynamic programming. The image analyzer 170 may then create a diffuse stereoscopic disparity 760 by calculating the diffuse stereoscopic disparity between the detailed digital image 740 of the left edge and the detailed digital image 750 of the right edge. The image analyzer 170 may then transmit the diffuse stereoscopic disparity 760 to the wear analyzer 175 to detect wear loss of the GET 125 in accordance with the disclosed embodiments.
На фиг. 8 изображена схема 800 потока данных изображения, на которой показан иллюстративный поток данных изображения для процесса обнаружения износа с использованием технологий глубокого обучения. Схема 800 потока данных изображения включает изображения, которые принимаются, обрабатываются и генерируются анализатором 170 изображения во время генерирования результата, который в конечном итоге будет предоставлен анализатору износа 175 для обнаружения износа или потери GET 125. Генерируемый результат может быть в виде рассеянного стереоскопического изображения или он может быть в виде информации о местоположении, соответствующей GET 125. Анализатор 170 изображения может использовать сгенерированный результат в любой форме для создания достоверности в краях, определенных на основе процесса, описанного на фиг. 8. Fig. 8 shows a diagram 800 of an image data flow, which shows an exemplary image data flow for a process of detecting wear using deep learning technologies. The diagram 800 of an image data flow includes images that are received, processed and generated by the image analyzer 170 during the generation of a result that will ultimately be provided to the wear analyzer 175 for detecting wear or loss of the GET 125. The generated result can be in the form of a diffuse stereoscopic image or it can be in the form of location information corresponding to the GET 125. The image analyzer 170 can use the generated result in any form to create confidence in the edges determined based on the process described in Fig. 8.
Схема 800 потока данных изображения включает первый нужный участок 550 и второй нужный участок 560. Как первый нужный участок 550, так и второй нужный участок 560 могли быть сгенерированы анализатором 170 изображения, как описано выше в отношении либо фиг. 5, либо фиг. 6, т.е. анализатор 170 изображения мог сгенерировать первый нужный участок 550 и второй нужный участок с использованием технологий компьютерного зрения или технологий глубокого обучения. В некоторых вариантах осуществления первый нужный участок 550 и второй нужный участок 560 могли быть сгенерированы с использованием комбинации технологий компьютерного зрения и технологий глубокого обучения.The image data flow diagram 800 includes a first desired region 550 and a second desired region 560. Both the first desired region 550 and the second desired region 560 could be generated by the image analyzer 170, as described above with respect to either Fig. 5 or Fig. 6, i.e., the image analyzer 170 could generate the first desired region 550 and the second desired region using computer vision technologies or deep learning technologies. In some embodiments, the first desired region 550 and the second desired region 560 could be generated using a combination of computer vision technologies and deep learning technologies.
Схема 800 потока данных изображения также включает цифровое изображение 810 левого края и цифровое изображение 820 правого края. Анализатор 170 изображения может генерировать цифровое изображение 810 левого края и цифровое изображение 820 правого края, используя технологии глубокого обучения. Например, анализатор 170 изображения может генерировать цифровое изображение 810 левого края и цифровое изображение 820 правого края с помощью основанного на глубоком обучении алгоритма определения местоположения GET. Основанный на глубоком обучении алгоритм определения местоположения GET может использовать нейронную сеть, которая обучалась, используя совокупность изображений, идентифицируя, где края групп GET 125 были отмечены и идентифицированы в целях обучения. В некоторых вариантах осуществления анализатор 170 изображения определяет местоположения края, соответствующего GET 125. В дополнение или в качестве альтернативы, анализатор 170 определяет местоположение отдельных GET 125. The image data flow diagram 800 also includes a digital image 810 of the left edge and a digital image 820 of the right edge. The image analyzer 170 can generate the digital image 810 of the left edge and the digital image 820 of the right edge using deep learning technologies. For example, the image analyzer 170 can generate the digital image 810 of the left edge and the digital image 820 of the right edge using a deep learning-based algorithm for determining the location of the GET. The deep learning-based algorithm for determining the location of the GET can use a neural network that has been trained using a population of images, identifying where the edges of groups of GETs 125 have been marked and identified for training purposes. In some embodiments, the image analyzer 170 determines the locations of the edge corresponding to the GET 125. In addition or as an alternative, the analyzer 170 determines the location of individual GETs 125.
В некоторых вариантах осуществления после того, как анализатор 170 изображения сгенерирует цифровое изображение 810 левого края и цифровое изображение 820 правого края, он может использовать местоположение любого из краев или их обоих в отношении нужного участка для построения достоверности в краях, созданных с использованием технологий компьютерного зрения, таких как описанные выше, в отношении схемы потока данных изображения. В некоторых примерах анализатор 170 изображения может дополнительно детализировать изображения края, которые он создает с использованием технологий компьютерного зрения с помощью результата основанного на глубоком обучении алгоритма определения местоположения GET, или в тех случаях, где результат алгоритма определения местоположения GET значительно отличается от изображений края, сгенерированных с помощью традиционных технологий компьютерного зрения, может полностью игнорировать изображения для обработки обнаружения износа. In some embodiments, after the image analyzer 170 generates the digital image 810 of the left edge and the digital image 820 of the right edge, it can use the location of either edge or both of them with respect to the desired area to build confidence in the edges created using computer vision technologies, such as those described above, with respect to the image data flow diagram. In some examples, the image analyzer 170 can further refine the edge images that it creates using computer vision technologies using the result of a deep learning-based GET location algorithm, or in cases where the result of the GET location algorithm differs significantly from the edge images generated using traditional computer vision technologies, it can completely ignore the images for wear detection processing.
В некоторых вариантах осуществления анализатор 170 изображения создает рассеянную стереоскопическую диспаратность 760 путем вычисления рассеянной стереоскопической диспаратности между цифровым изображением 810 левого края и цифровым изображением 820 правого края. Анализатор 170 изображения может затем передать рассеянную стереоскопическую диспаратность 760 анализатору 175 износа для обнаружения потери на износ GET 125 в соответствии с раскрытыми вариантами осуществления. In some embodiments, the image analyzer 170 creates a diffuse stereoscopic disparity 760 by calculating the diffuse stereoscopic disparity between the digital image 810 of the left edge and the digital image 820 of the right edge. The image analyzer 170 can then transmit the diffuse stereoscopic disparity 760 to the wear analyzer 175 to detect wear loss of the GET 125 in accordance with the disclosed embodiments.
На фиг. 9 показана структурная схема, представляющая иллюстративный процесс 900 обнаружения износа с помощью компьютерного зрения, которое использует технологии компьютерного зрения для обнаружения износа GET 125. В некоторых вариантах осуществления процесс 900 может быть выполнен анализатором 170 изображения и анализатором 175 износа. Процесс 900 в целом следует потоку данных изображения по фиг. 5 и фиг. 7 и должен толковаться в соответствии с описанием этих фигур. Хотя следующее обсуждение описывает аспекты процесса 900, выполняемые анализатором 170 изображения или анализатором 175 износа, другие компоненты компьютерной системы 110 обнаружения износа могут выполнять один или более блоков процесса 900 без отступления от сущности и объема настоящего изобретения.Fig. 9 is a block diagram showing an example process 900 for detecting wear using computer vision that uses computer vision technologies to detect wear of the GET 125. In some embodiments, the process 900 may be performed by the image analyzer 170 and the wear analyzer 175. The process 900 generally follows the image data flow of Fig. 5 and Fig. 7 and should be interpreted in accordance with the description of these figures. Although the following discussion describes aspects of the process 900 performed by the image analyzer 170 or the wear analyzer 175, other components of the wear detection computer system 110 may perform one or more blocks of the process 900 without departing from the spirit and scope of the present invention.
Процесс 900 начинается с блока 910, где анализатор 170 изображения принимает левое изображение и правое изображение ковша 120 и GET 125. Левое изображение может быть зафиксировано левым датчиком изображения камеры 128, а правое изображение может быть зафиксировано правым датчиком изображения камеры 128. Как левое изображение, так и правое изображение может быть выровненными изображениями. В блоке 920 анализатор изображения может генерировать карту плотной стереоскопической диспаратности на основании диспаратности между пикселями левого изображения и правого изображения. Используя сгенерированную карту плотной стереоскопической диспаратности и набор физических параметров, связанных с ковшом 120 и GET 125, анализатор 170 изображения может генерировать облако 3D-точек, представляющее 3D-изображение ковша 120 и GET 125 в блоке 925. Из облака 3D-точек, анализатор 170 изображения может идентифицировать первый нужный участок, связанный с левым изображением, и второй нужный участок, связанный с правым изображением в блоке 940. Как отмечено выше, это можно сделать с помощью выполнения сегментного анализа облака 3D-точек, используя информацию из набора физических параметров, связанных с ковшом 120 и GET 125. Как первый нужный участок, так и второй нужный участок содержат изображения GET 125.The process 900 begins with block 910, where the image analyzer 170 receives the left image and the right image of the bucket 120 and GET 125. The left image can be captured by the left image sensor of the camera 128, and the right image can be captured by the right image sensor of the camera 128. Both the left image and the right image can be aligned images. In block 920, the image analyzer can generate a dense stereoscopic disparity map based on the disparity between the pixels of the left image and the right image. Using the generated dense stereoscopic disparity map and the set of physical parameters associated with the bucket 120 and the GET 125, the image analyzer 170 can generate a 3D point cloud representing a 3D image of the bucket 120 and the GET 125 in block 925. From the 3D point cloud, the image analyzer 170 can identify a first desired region associated with the left image and a second desired region associated with the right image in block 940. As noted above, this can be done by performing a segmental analysis of the 3D point cloud using information from the set of physical parameters associated with the bucket 120 and the GET 125. Both the first desired region and the second desired region contain images of the GET 125.
В блоке 950 анализатор 170 изображения может генерировать цифровое изображение левого края, связанное с первым нужным участком, и цифровое изображение правого края, связанное со вторым нужным участком. Цифровое изображение левого края и цифровое изображение правого края могут генерироваться, используя технологии обнаружения края с помощью компьютерного зрения в соответствии с раскрытыми вариантами осуществления. В блоке 955 анализатор 170 изображения может детализировать цифровое изображение левого края и цифровое изображение правого края, используя технологии динамического программирования и набор физических параметров, связанных с ковшом 120 и GET 125. Анализатор 170 изображения может затем определить рассеянную стереоскопическую диспаратность на основании цифрового изображения левого края или цифрового изображения правого края в блоке 970. В блоке 980 анализатор износа 175 может определять уровень износа или потери одного или более GET 125, используя технологии, описанные выше в отношении фиг. 1. In block 950, image analyzer 170 may generate a digital image of the left edge associated with the first desired region and a digital image of the right edge associated with the second desired region. The digital image of the left edge and the digital image of the right edge may be generated using edge detection technologies using computer vision in accordance with the disclosed embodiments. In block 955, image analyzer 170 may refine the digital image of the left edge and the digital image of the right edge using dynamic programming technologies and a set of physical parameters associated with the bucket 120 and the GET 125. Image analyzer 170 may then determine diffuse stereoscopic disparity based on the digital image of the left edge or the digital image of the right edge in block 970. In block 980, wear analyzer 175 may determine the level of wear or loss of one or more GETs 125 using the technologies described above with respect to FIG. 1.
На фиг. 10 показана структурная схема, представляющая иллюстративный основанный на глубоком обучении процесс 1000 обнаружения износа, который использует технологии глубокого обучения или машинного обучения для обнаружения износа GET 125. В некоторых вариантах осуществления процесс 1000 может быть выполнен анализатором 170 изображения и анализатором 175 износа. Процесс 1000 в целом следует процессам, описанным выше в отношении фиг. 6 и фиг. 8 и должен толковаться в соответствии с описанием этих фигур. Хотя следующее обсуждение описывает аспекты процесса 1000, выполняемые анализатором 170 изображения или анализатором 175 износа, другие компоненты компьютерной системы 110 обнаружения износа могут выполнять один или более блоков процесса 1000 без отступления от сущности и объема настоящего изобретения.Fig. 10 is a block diagram showing an exemplary deep learning-based wear detection process 1000 that uses deep learning or machine learning technologies to detect wear of the GET 125. In some embodiments, the process 1000 may be performed by the image analyzer 170 and the wear analyzer 175. The process 1000 generally follows the processes described above with respect to Fig. 6 and Fig. 8 and should be interpreted in accordance with the description of these figures. Although the following discussion describes aspects of the process 1000 performed by the image analyzer 170 or the wear analyzer 175, other components of the wear detection computer system 110 may perform one or more blocks of the process 1000 without departing from the spirit and scope of the present invention.
В блоке 1010 анализатор 170 изображения принимает стереоскопические изображения ковша 120 и GET 125. Стереоскопические изображения могут включать левое изображение, зафиксированное левым датчиком изображения камеры 128, и правое изображение, зафиксированное правым датчиком изображения камеры 128. Стереоскопические изображения могут также включать цветное изображение, зафиксированное датчиком цветного изображения камеры 128. Анализатор 170 изображения может использовать левое изображение, правое изображение и цветное изображение в блоке 1030 с помощью основанного на глубоком обучении алгоритме обнаружения GET для идентификации первого нужного участка, соответствующего левому изображению и второго нужного участка, соответствующего правому изображению. Использование цветного изображения может улучшить работу основанного на глубоком обучении алгоритма обнаружения GET в определенных вариантах осуществления. In block 1010, image analyzer 170 receives stereoscopic images of bucket 120 and GET 125. Stereoscopic images may include a left image captured by left image sensor of camera 128 and a right image captured by right image sensor of camera 128. Stereoscopic images may also include a color image captured by color image sensor of camera 128. Image analyzer 170 may use left image, right image and color image in block 1030 using deep learning-based GET detection algorithm to identify first desired region corresponding to left image and second desired region corresponding to right image. Using color image may improve performance of deep learning-based GET detection algorithm in certain embodiments.
В блоке 1060 анализатор 170 изображения определяет местоположение GET в первом нужном участке или втором нужном участке, используя основанный на глубоком обучении алгоритм определения местоположения GET. Основанный на глубоком обучении алгоритм определения местоположения GET может включать нейронную сеть, которая обучалась, используя совокупность изображений, где GET были отмечены в изображении. Маркировка может включать маркировку отдельных GET или групп GET. В некоторых вариантах осуществления основанный на глубоком обучении алгоритм GET анализирует первый нужный участок (соответствующий левому изображению) или второй нужный участок (соответствующий правому изображению) с помощью применения оцифрованных нужных участков как входных данных для нейронной сети, а выходные данные нейронной сети могут быть местоположениями пикселей GET в нужных участках или ограничивающими блоками, связанными с местоположениями GET в нужных участках. В некоторых вариантах осуществления основанный на глубоком обучении алгоритм определения местоположения GET может обнаруживать местоположение GET как в первом нужном участке, так и во втором нужном участке, тогда как в других он может использовать один из первого нужного участка или второго нужного участка. Обнаруживает ли основанный на глубоком обучении алгоритм определения местоположения GET местоположение GET в первом нужном участке, втором нужном участке или обоих, может меняться в зависимости от реализации, и может меняться в зависимости от типа GET, типа ковша или типа рабочей машины.In block 1060, the image analyzer 170 determines the location of the GET in the first desired region or the second desired region using a deep learning-based GET location determination algorithm. The deep learning-based GET location determination algorithm may include a neural network that was trained using a set of images where the GETs were labeled in the image. The labeling may include labeling individual GETs or groups of GETs. In some embodiments, the deep learning-based GET algorithm analyzes the first desired region (corresponding to the left image) or the second desired region (corresponding to the right image) by applying the digitized desired regions as input data for the neural network, and the output data of the neural network may be locations of GET pixels in the desired regions or bounding boxes associated with the locations of the GETs in the desired regions. In some embodiments, the deep learning-based algorithm for determining the location of the GET may detect the location of the GET in both the first desired region and the second desired region, while in others it may use one of the first desired region or the second desired region. Whether the deep learning-based algorithm for determining the location of the GET detects the location of the GET in the first desired region, the second desired region, or both may vary depending on the implementation, and may vary depending on the type of GET, the type of bucket, or the type of work machine.
В некоторых вариантах осуществления в блоке 1060 основанный на глубоком обучении алгоритм определения местоположения GET выводит изображения края, соответствующие GET. Изображения края (например, цифровое изображение 810 левого края, цифровое изображение 820 правого края) может соответствовать контуру GET в первом нужном участке или втором нужном участке. В таких вариантах осуществления основанный на глубоком обучении алгоритм определения местоположения GET может включать нейронную сеть, которая обучалась, используя совокупность изображений, включающих определенную GET или GET, прикрепленные к ковшу, где края GET были отмечены. Основанный на глубоком обучении алгоритм GET анализирует первый нужный участок (соответствующий левому изображению) или второй нужный участок (соответствующий правому изображению) путем применения оцифрованных нужных участков в качестве входных данных для нейронной сети, а выходные данные нейронной сети могут включать цифровое изображение левого края, соответствующее первому нужному участку, и цифровое изображение правого края, соответствующее второму нужному участку. In some embodiments, in block 1060, the deep learning-based GET location algorithm outputs edge images corresponding to the GET. The edge images (e.g., the digital image 810 of the left edge, the digital image 820 of the right edge) may correspond to the contour of the GET in the first desired region or the second desired region. In such embodiments, the deep learning-based GET location algorithm may include a neural network that was trained using a set of images including a certain GET or GETs attached to a bucket where the edges of the GET were marked. The deep learning-based GET algorithm analyzes the first desired region (corresponding to the left image) or the second desired region (corresponding to the right image) by applying the digitized desired regions as input data for the neural network, and the output data of the neural network may include the digital image of the left edge corresponding to the first desired region and the digital image of the right edge corresponding to the second desired region.
В блоке 1070 анализатор 170 изображения может определять рассеянную стереоскопическую диспаратность. В вариантах осуществления, где основанный на глубоком обучении алгоритм определения местоположения GET выводит цифровое изображение левого края и цифровое изображение правого края в блоке 1060, анализатор 170 изображения может определять рассеянную стереоскопическую диспаратность между цифровым изображением левого края и цифровым изображением правого края. В вариантах осуществления, где основанный на глубоком обучении алгоритм определения местоположения GET выводит местоположения GET в первом нужном участке, втором нужном участке или обоих, анализатор 170 изображения может определить рассеянную стереоскопическую диспаратность, используя технологии компьютерного зрения (например, как описано выше в отношении блока 970 процесса 900) и может использовать выходные данные основанного на глубоком обучении алгоритма определения местоположения GET для создания достоверности или подтверждения точности цифрового изображения левого края и цифрового изображения правого края, сгенерированных с помощью технологий компьютерного зрения.In block 1070, image analyzer 170 may determine diffuse stereoscopic disparity. In embodiments where the deep learning-based GET location determination algorithm outputs a digital image of the left edge and a digital image of the right edge in block 1060, image analyzer 170 may determine diffuse stereoscopic disparity between the digital image of the left edge and the digital image of the right edge. In embodiments where the deep learning-based GET location determination algorithm outputs GET locations in a first desired region, a second desired region, or both, image analyzer 170 may determine diffuse stereoscopic disparity using computer vision technologies (e.g., as described above with respect to block 970 of process 900) and may use the output of the deep learning-based GET location determination algorithm to create confidence or confirm the accuracy of the digital image of the left edge and the digital image of the right edge generated using computer vision technologies.
В блоке 1080 анализатор 175 износа может определять уровень износа или потери одного или более GET 125, используя технологии, описанные выше в отношении фиг. 1. At block 1080, wear analyzer 175 may determine the level of wear or loss of one or more GETs 125 using the techniques described above with respect to Fig. 1.
На фиг. 11 показана структурная схема, представляющая иллюстративный комбинированный процесс 1100 обнаружения износа, который использует комбинацию технологий глубокого обучения или машинного обучения для обнаружения износа GET 125. В некоторых вариантах осуществления процесс 1100 может быть выполнен анализатором 170 изображения и анализатором 175 износа. Хотя следующее обсуждение описывает аспекты процесса 1100, выполняемые анализатором 170 изображения и анализатором 175 износа, другие компоненты компьютерной системы 110 обнаружения износа могут выполнять один или более блоков процесса 1100 без отступления от сущности и объема настоящего изобретения.Fig. 11 shows a block diagram representing an exemplary combined wear detection process 1100 that uses a combination of deep learning or machine learning technologies to detect wear of the GET 125. In some embodiments, the process 1100 may be performed by the image analyzer 170 and the wear analyzer 175. Although the following discussion describes aspects of the process 1100 performed by the image analyzer 170 and the wear analyzer 175, other components of the wear detection computer system 110 may perform one or more blocks of the process 1100 without departing from the spirit and scope of the present invention.
В соответствии с некоторыми вариантами осуществления определенные блоки процесса 1100 выполняют параллельно и комбинируют для улучшения эффективности идентификации нужных участков и определения рассеянных стереоскопических диспаратностей. Многие блоки, показанные в процессе 1100, подобны блокам процесса 900 и 1000, описанных выше, при этом блоки, которые выполняют подобные операции, имеют одинаковые последние две цифры. Например, действие блока 1110 процесса 1100 подобно действию блока 910 процесса 900 и блока 1010 процесса 1000.According to some embodiments, certain blocks of the process 1100 are performed in parallel and combined to improve the efficiency of identifying the desired regions and determining the diffuse stereoscopic disparities. Many of the blocks shown in the process 1100 are similar to the blocks of the process 900 and 1000 described above, and the blocks that perform similar operations have the same last two digits. For example, the action of block 1110 of the process 1100 is similar to the action of block 910 of the process 900 and block 1010 of the process 1000.
В блоке 1110 анализатор 170 изображения принимает стереоскопические изображения ковша 120 и GET 125. Анализатор 170 изображения затем выполняет один набор операций (блоки 1120, 1125), используя технологии компьютерного зрения, параллельно со вторым набором операций (блок 1130), используя технологии глубокого обучения для идентификации первого нужного участка, связанного с левым изображением стереоскопических изображений, и второго нужного участка, связанного с правым изображением стереоскопических изображений. Соответственно, в блоке 1120 анализатор 170 изображения генерирует карту плотной стереоскопической диспаратности на основании стереоскопических изображений подобно блоку 920 процесса 900. В блоке 1125 анализатор 170 изображения генерирует облако 3D-точек подобно блоку 925 процесса 900. В блоке 1130 анализатор 170 изображения применяет основанный на глубоком обучении алгоритм обнаружения GET на основании стереоскопических изображений подобно блоку 1030 процесса 1000.In block 1110, the image analyzer 170 receives the stereoscopic images of the bucket 120 and the GET 125. The image analyzer 170 then performs one set of operations (blocks 1120, 1125) using computer vision technologies, in parallel with a second set of operations (block 1130) using deep learning technologies to identify a first desired region associated with the left image of the stereoscopic images and a second desired region associated with the right image of the stereoscopic images. Accordingly, in block 1120, the image analyzer 170 generates a dense stereoscopic disparity map based on the stereoscopic images similar to block 920 of the process 900. In block 1125, the image analyzer 170 generates a 3D point cloud similar to block 925 of the process 900. In block 1130, the image analyzer 170 applies a deep learning-based GET detection algorithm based on the stereoscopic images similar to block 1030 of the process 1000.
Процесс 1100 затем продолжается до блока 1135, где анализатор 170 изображения объединяет результаты блоков 1120 и 1125 с результатом блока 1130. Анализатор 170 изображения может использовать технологии динамического программирования для генерирования оптимизированного первого нужного участка, соответствующего левому изображению, и оптимизированного второго нужного участка, соответствующего правому изображению. Например, анализатор 170 изображения может использовать набор физических параметров, описывающий пространственные отношения между ковшом 120 и GET 125 в комбинации с облаком 3D-точек и информацией, которая была выведена основанным на глубоком обучении алгоритмом обнаружения GET для определения более точного извлечения нужных участков. Используя объединенные результаты, анализатор 170 изображения может идентифицировать первый нужный участок и второй нужный участок в блоке 1140.The process 1100 then continues to block 1135, where the image analyzer 170 combines the results of blocks 1120 and 1125 with the result of block 1130. The image analyzer 170 may use dynamic programming techniques to generate an optimized first desired region corresponding to the left image and an optimized second desired region corresponding to the right image. For example, the image analyzer 170 may use a set of physical parameters describing the spatial relationships between the bucket 120 and the GET 125 in combination with a 3D point cloud and information that was output by a deep learning-based GET detection algorithm to determine a more accurate extraction of desired regions. Using the combined results, the image analyzer 170 may identify the first desired region and the second desired region in block 1140.
Процесс 1100 затем выполняет генерирование рассеянной стереоскопической диспаратности, используя как технологии компьютерного зрения, так и технологии глубокого обучения. Соответственно, в блоке 1150 анализатор 170 изображения генерирует цифровое изображение левого края и цифровое изображение правого края, используя технологии обнаружения края с помощью компьютерного зрения подобные тем, что были описаны выше в отношении блока 950 процесса 900. В блоке 1155 цифровое изображение левого края и цифровое изображение правого края являются детализированными, как описано выше в отношении блока 955 процесса 900. В блоке 1160 анализатор 170 изображения определяет местоположение GET с первым нужным участком или вторым нужным участком, используя основанный на глубоком обучении алгоритм определения местоположения GET, подобный тому, что описан выше в отношении блока 1060 процесса 1000.The process 1100 then performs the generation of diffuse stereoscopic disparity using both computer vision technologies and deep learning technologies. Accordingly, in block 1150, the image analyzer 170 generates a digital image of the left edge and a digital image of the right edge using edge detection technologies using computer vision similar to those described above with respect to block 950 of the process 900. In block 1155, the digital image of the left edge and the digital image of the right edge are detailed as described above with respect to block 955 of the process 900. In block 1160, the image analyzer 170 determines the location of the GET with the first desired region or the second desired region using a deep learning-based algorithm for determining the location of the GET similar to that described above with respect to block 1060 of the process 1000.
В блоке 1170 анализатор 170 изображения использует детализированное цифровое изображение левого края и детализированное цифровое изображение правого края, определенные в блоке 1155, и результат блока 1160 для определения рассеянной стереоскопической диспаратности 1170, соответствующей форме и размеру GET 125. В некоторых вариантах осуществления анализатор 170 изображения может использовать набор физических параметров, связанный с ковшом 120 и GET 125, при выполнении операций в блоке 1170 для объединения информации между технологиями компьютерного зрения (блоки 1150 и 1155) и технологиями глубокого обучения (блок 1160). Например, анализатор 170 изображения может использовать ожидаемые размер и форму GET, относительное положение GET 125 к стороне ковша 120, зацепляющих GET 125, плавность или связность детализированного цифрового изображения левого края и детализированного цифрового изображения правого края (из блока 1155), местоположение GET в первом нужном участке или втором нужном участке (из блока 1160), и/или плавность или связность цифрового изображения левого края и цифрового изображения правого края (из блока 1160) для выполнения оптимизационного анализа и определения рассеянной стереоскопической диспаратности. В блоке 1180 анализатор износа 175 может определять уровень износа или потери одного или более GET 125, используя технологии, описанные выше в отношении фиг. 1.In block 1170, image analyzer 170 uses the detailed digital image of the left edge and the detailed digital image of the right edge determined in block 1155 and the result of block 1160 to determine a diffuse stereoscopic disparity 1170 corresponding to the shape and size of GET 125. In some embodiments, image analyzer 170 may use a set of physical parameters associated with the bucket 120 and GET 125 when performing operations in block 1170 to combine information between computer vision technologies (blocks 1150 and 1155) and deep learning technologies (block 1160). For example, the image analyzer 170 may use the expected size and shape of the GET, the relative position of the GET 125 to the side of the bucket 120 engaging the GET 125, the smoothness or connectivity of the detailed digital image of the left edge and the detailed digital image of the right edge (from block 1155), the location of the GET in the first desired region or the second desired region (from block 1160), and/or the smoothness or connectivity of the digital image of the left edge and the digital image of the right edge (from block 1160) to perform an optimization analysis and determine the diffuse stereoscopic disparity. In block 1180, the wear analyzer 175 may determine the level of wear or loss of one or more GETs 125 using the technologies described above with respect to FIG. 1.
В некоторых вариантах осуществления последовательность операций процесса 1100 может включать различные комбинации технологий компьютерного зрения или технологий глубокого обучения. Например, процесс 1100 может следовать последовательности операций процесса блока 1110, 1120, 1125, 1140, 1160, 1170, 1180 (т.е. не включая блоки 1130, 1135, 1150, и 1155). В качестве другого примера, процесс 1100 может следовать последовательности операций процесса блока 1110, 1130, 1140, 1150, 1155, 1170, 1180 (т.е., не включая блок 1120, 1125, 1135, и 1160). В дополнение, процесс 1100 может использовать технологии компьютерного зрения для идентификации нужных участков (блоки 1120 и 1125) и технологии глубокого обучения для идентификации цифрового изображения левого края и цифрового изображения правого края (блок 1160). И наоборот, процесс 1100 может использовать технологии глубокого обучения для идентификации нужных участков (блок 1130) и технологии компьютерного зрения (блоки 1150 и 1155) для идентификации цифрового изображения левого края и цифрового изображения правого края. In some embodiments, the flow of operations of process 1100 may include various combinations of computer vision technologies or deep learning technologies. For example, process 1100 may follow the flow of operations of the process of block 1110, 1120, 1125, 1140, 1160, 1170, 1180 (i.e., not including blocks 1130, 1135, 1150, and 1155). As another example, process 1100 may follow the flow of operations of the process of block 1110, 1130, 1140, 1150, 1155, 1170, 1180 (i.e., not including block 1120, 1125, 1135, and 1160). In addition, process 1100 may use computer vision technologies to identify desired areas (blocks 1120 and 1125) and deep learning technologies to identify the digital image of the left edge and the digital image of the right edge (block 1160). Conversely, process 1100 may use deep learning technologies to identify desired areas (block 1130) and computer vision technologies (blocks 1150 and 1155) to identify the digital image of the left edge and the digital image of the right edge.
По всему вышеизложенному описанию определенные компоненты компьютерной системы 110 обнаружения износа были описаны для выполнения определенных операций. Но в некоторых вариантах осуществления компьютерной системы 110 обнаружения износа другие компоненты могут выполнять эти операции, отличные от того, что было описано выше. В дополнение, компьютерная система 110 обнаружения износа может содержать дополнительные компоненты или меньшее количество компонентов по сравнению с тем, что представлено выше в иллюстративных вариантах осуществления. Специалистам в данной области техники будет понятно, что компьютерная система 110 обнаружения износа необязательно должна быть ограничена конкретными вариантами осуществления, раскрытыми выше.Throughout the above description, certain components of the computer system 110 for detecting wear have been described to perform certain operations. However, in some embodiments of the computer system 110 for detecting wear, other components may perform these operations differently than those described above. In addition, the computer system 110 for detecting wear may contain additional components or fewer components than those presented in the illustrative embodiments above. Those skilled in the art will understand that the computer system 110 for detecting wear need not be limited to the specific embodiments disclosed above.
Промышленная применимостьIndustrial applicability
Системы и способы, описанные в данном документе, можно использовать в сочетании с работой рабочих машин на рабочей площадке, которые выкапывают, перемещают, придают форму, придают контур, и/или удаляют материал, такой как грунт, камень, минералы, или т.п. Эти рабочие машины могут быть оснащены ковшом, который используется для зачерпывания, копания или сброса материала, пока он находится на рабочей площадке. Ковш может быть оснащен рядом инструментов для земляных работ (GET) для помощи в разрыхлении материала во время работы. Рабочие машины могут также содержать систему, имеющую процессор и запоминающее устройство, выполненные с возможностью выполнения способов обнаружения износа в соответствии с примерами, описанными в данном документе. Системы и способы могут обнаружить износ или потерю компонентов рабочей машины, таких как GET, поэтому операторы таких рабочих машин могут выполнить корректирующее действие прежде, чем может произойти выход из строя, повреждающий расположенное дальше по ходу потока технологическое оборудование. The systems and methods described herein can be used in conjunction with the operation of work machines at a work site that excavate, move, shape, contour, and/or remove material such as soil, rock, minerals, or the like. These work machines can be equipped with a bucket that is used to scoop, dig, or dump material while it is at the work site. The bucket can be equipped with a number of earth moving tools (GETs) to assist in loosening the material during operation. The work machines can also include a system having a processor and a memory device configured to perform wear detection methods in accordance with the examples described herein. The systems and methods can detect wear or loss of components of a work machine such as a GET so that operators of such work machines can take corrective action before a failure can occur that damages downstream processing equipment.
В некоторых примерах системы и способы могут получать со стереоскопической камеры, связанной с рабочей машиной, стереоскопические изображения компонента рабочей машины для обработки обнаружения износа. Стереоскопические изображения могут быть зафиксированы в виде изображения левой стороны и изображения правой стороны. In some examples, the systems and methods may obtain stereoscopic images of a component of the working machine from a stereoscopic camera associated with the work machine for wear detection processing. The stereoscopic images may be captured as a left-hand image and a right-hand image.
В некоторых примерах система и способы могут обрабатывать изображение левой стороны и изображение правой стороны используя технологии компьютерного зрения и с помощью создания карты плотной стереоскопической диспаратности. Карта плотной стереоскопической диспаратности может быть разделена на сегменты для идентификации нужных участков в изображениях, связанных с GET. Система и способы могут дополнительно обрабатывать нужные участки, используя технологии компьютерного зрения - такие как технологии обнаружения края по величине градиента - для идентификации цифрового изображения левого края и цифрового изображения правого края, очерчивая форму GET. Системы и способы могут затем определить рассеянную стереоскопическую диспаратность, используя цифровое изображение левого края и цифровое изображение правого края, на основе которых может быть измерена GET, зафиксированная в изображении левой стороны и изображении правой стороны. Износ GET или ее потеря может быть определена на основании этих измерений. In some examples, the system and methods can process the left side image and the right side image using computer vision technologies and by creating a dense stereoscopic disparity map. The dense stereoscopic disparity map can be divided into segments to identify areas of interest in the images associated with the GET. The system and methods can further process the areas of interest using computer vision technologies - such as edge detection technologies based on the magnitude of the gradient - to identify a digital image of the left edge and a digital image of the right edge, outlining the shape of the GET. The systems and methods can then determine diffuse stereoscopic disparity using the digital image of the left edge and the digital image of the right edge, based on which the GET captured in the left side image and the right side image can be measured. GET wear or loss can be determined based on these measurements.
Использование рассеянной стереоскопической диспаратности для определения размера GET может увеличить точность измерений износа GET, так как она может измерять износ с точностью менее 5 мм. Таким образом, системы и способы, использующие описанные выше технологии имеют преимущества по сравнению с системами, которые не используют рассеянную стереоскопическую диспаратность, которые могут обнаружить износ только на уровне детализации порядка сантиметров или десятков сантиметров. Более точное обнаружение износа может снизить вероятность критической потери или износа GET, которые могут привести к повреждению расположенных дальше по ходу потока обрабатывающих машин. Using diffuse stereoscopic disparity to determine the size of a GET can increase the accuracy of GET wear measurements, as it can measure wear with an accuracy of less than 5 mm. Thus, systems and methods using the technologies described above have advantages over systems that do not use diffuse stereoscopic disparity, which can only detect wear at a detail level of centimeters or tens of centimeters. More accurate wear detection can reduce the likelihood of critical loss or wear of a GET, which can lead to damage to downstream processing machines.
В некоторых примерах система и способы могут обрабатывать изображение левой стороны и изображение правой стороны используя технологии глубокого обучения. Системы и способы могут использовать основанный на глубоком обучении алгоритм обнаружения GET, использующий нейронную сеть, которая обучалась для идентификации нужных участков в изображении левой стороны и изображении правой стороны, соответствующих GET. После того, как нужные участки были обнаружены, может быть определена рассеянная стереоскопическая диспаратность между цифровым изображением левого края, соответствующим изображению левой стороны, и цифровым изображением правого края, соответствующим изображению правой стороны. Как отмечено выше, использование рассеянной стереоскопической диспаратности увеличивает точность измерений износа.In some examples, the system and methods can process the left side image and the right side image using deep learning technologies. The systems and methods can use a deep learning-based GET detection algorithm that uses a neural network that has been trained to identify desired areas in the left side image and the right side image that correspond to the GET. After the desired areas have been detected, diffuse stereoscopic disparity can be determined between the digital image of the left edge corresponding to the left side image and the digital image of the right edge corresponding to the right side image. As noted above, the use of diffuse stereoscopic disparity increases the accuracy of wear measurements.
В других примерах системы и способы могут обрабатывать изображение левой стороны и изображение правой стороны, используя как технологию компьютерного зрения, так и технологию глубокого обучения, и в некоторых случаях применяя эти технологии параллельно. В таких примерах системы и способы могут увеличить точность измерений GET с помощью объединения результатов каждой технологии для нахождения наилучшего случая измерения GET. С помощью использования объединенных выходных данных, точность измерений GET может быть увеличена по сравнению с традиционными системами, которые не используют рассеянные стереоскопические диспаратности или не используют ни технологию компьютерного зрения, ни технологию машинного обучения. In other examples, the systems and methods can process the left side image and the right side image using both computer vision technology and deep learning technology, and in some cases, using these technologies in parallel. In such examples, the systems and methods can increase the accuracy of the GET measurements by combining the results of each technology to find the best case for measuring the GET. By using the combined outputs, the accuracy of the GET measurements can be increased compared to traditional systems that do not use diffuse stereoscopic disparities or do not use either computer vision technology or machine learning technology.
Хотя аспекты настоящего изобретения были, в частности, показаны и описаны со ссылкой на примеры выше, специалистам в данной области техники будет понятно, что различные дополнительные варианты осуществления могут рассматриваться с помощью модификации раскрытых устройств, систем и способов, без отступления от сущности и объема того, что раскрыто. Следует понимать, что такие варианты осуществления находятся в рамках объема настоящего изобретения, что установлено на основании формулы изобретения и любых ее эквивалентов.Although aspects of the present invention have been particularly shown and described with reference to the examples above, it will be understood by those skilled in the art that various additional embodiments may be considered by modifying the disclosed devices, systems and methods without departing from the spirit and scope of what is disclosed. It should be understood that such embodiments are within the scope of the present invention, as determined by the claims and any equivalents thereof.
Claims (34)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/171,569 | 2021-02-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2825885C1 true RU2825885C1 (en) | 2024-09-02 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2410498C1 (en) * | 2009-11-09 | 2011-01-27 | Сергей Иванович Малафеев | System to visualise operation of excavator |
| WO2016183661A1 (en) * | 2015-05-15 | 2016-11-24 | Motion Metrics International Corp | Method and apparatus for locating a wear part in an image of an operating implement |
| US20170103506A1 (en) * | 2015-10-09 | 2017-04-13 | Caterpillar Inc. | Component health monitoring system using computer vision |
| US20170287124A1 (en) * | 2016-04-05 | 2017-10-05 | General Electric Company | System and method for detecting missing tooth in mining shovel |
| WO2019227194A1 (en) * | 2018-06-01 | 2019-12-05 | Motion Metrics International Corp. | Method, apparatus and system for monitoring a condition associated with operating heavy equipment such as a mining shovel or excavator |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2410498C1 (en) * | 2009-11-09 | 2011-01-27 | Сергей Иванович Малафеев | System to visualise operation of excavator |
| WO2016183661A1 (en) * | 2015-05-15 | 2016-11-24 | Motion Metrics International Corp | Method and apparatus for locating a wear part in an image of an operating implement |
| US20170103506A1 (en) * | 2015-10-09 | 2017-04-13 | Caterpillar Inc. | Component health monitoring system using computer vision |
| US20170287124A1 (en) * | 2016-04-05 | 2017-10-05 | General Electric Company | System and method for detecting missing tooth in mining shovel |
| WO2019227194A1 (en) * | 2018-06-01 | 2019-12-05 | Motion Metrics International Corp. | Method, apparatus and system for monitoring a condition associated with operating heavy equipment such as a mining shovel or excavator |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7720675B2 (en) | System and method for detecting wear and loss of ground-engaging tools on a work machine | |
| EP4347956B1 (en) | Ground engaging tool wear and loss detection system and method | |
| JP7702216B2 (en) | SYSTEM AND COMPUTER-IMPLEMENTED METHOD FOR DETERMINING WEAR LEVEL ON A WORK MACHINE'S GROUND ENGAGING TOOL THAT INDICATES A TOOL CHANGE CONDITION - Patent application | |
| US20250188714A1 (en) | Ground engaging tool wear and loss detection system and method | |
| AU2021369323B2 (en) | Wear and loss detection system and method using bucket-tool templates | |
| AU2024278400A1 (en) | Ground engaging tool wear and loss detection system and method | |
| RU2825885C1 (en) | System and method for detection of wear and loss of bit for earthwork | |
| RU2820623C1 (en) | System and method of detecting wear and loss of earthmoving equipment | |
| RU2823705C1 (en) | System and method of detecting wear or loss of tools for earthwork | |
| RU2848443C2 (en) | System and method for detection of wear and loss of excavating equipment |