RU2841578C2 - Excavating tool tracking system - Google Patents
Excavating tool tracking system Download PDFInfo
- Publication number
- RU2841578C2 RU2841578C2 RU2021136953A RU2021136953A RU2841578C2 RU 2841578 C2 RU2841578 C2 RU 2841578C2 RU 2021136953 A RU2021136953 A RU 2021136953A RU 2021136953 A RU2021136953 A RU 2021136953A RU 2841578 C2 RU2841578 C2 RU 2841578C2
- Authority
- RU
- Russia
- Prior art keywords
- sensors
- data
- dimensional
- wear
- dimensional representation
- Prior art date
Links
Abstract
Description
Область техники, к которой относится настоящее изобретениеField of technology to which the present invention relates
[0001] Настоящее изобретение относится к системе отслеживания элементов износа и способу отслеживания элементов износа. В частности, настоящее изобретение относится, помимо прочего, к системе отслеживания элементов износа и способу отслеживания износа и/или наличия (или отсутствия) одного или нескольких землеройных орудий, таких как зуб ковша, защитный сегмент ковша или адаптер ковша экскаватора.[0001] The present invention relates to a system for monitoring wear elements and a method for monitoring wear elements. In particular, the present invention relates, inter alia, to a system for monitoring wear elements and a method for monitoring wear and/or the presence (or absence) of one or more earthmoving tools, such as a bucket tooth, a bucket guard segment, or an excavator bucket adapter.
Предшествующий уровень техники настоящего изобретенияPrior art of the present invention
[0002] Ссылки на предшествующий уровень техники, содержащиеся в настоящем документе, не должны рассматриваться как признание того факта, что эта область техники является известным уровнем техники.[0002] References to prior art contained in this document should not be construed as an admission that such art is prior art.
[0003] Многие виды деятельности предусматривают использование элементов износа, обычно в виде расходных съемных компонентов, выполненных с возможностью изнашивания для защиты какого-либо оборудования. Одной из заметных сфер применения элементов износа является горнодобывающая промышленность, где ковши и прочие элементы экскаваторов снабжены элементами износа, которые устанавливаются в зонах повышенного износа, таких как режущая кромка ковша экскаватора, с целью защиты самого ковша. Такие элементы износа часто включают в себя зубья ковша экскаватора в сборе и межзубьевые защитные сегменты ковша.[0003] Many types of operations involve the use of wear elements, usually in the form of expendable, removable components designed to wear out to protect some equipment. One notable application of wear elements is in the mining industry, where buckets and other excavator components are equipped with wear elements that are installed in high-wear areas, such as the cutting edge of the excavator bucket, to protect the bucket itself. Such wear elements often include excavator bucket teeth assemblies and bucket shrouds.
[0004] Зубья ковша экскаватора в сборе, устанавливаемые на режущей кромке ковша экскаватора, и прочие элементы подобного рода обычно включают в себя съемный режущий зуб, тело адаптера и оголовок адаптера, который прикрепляется к режущей кромке ковша или иному элементу подобного рода методом сварки или иным способом. Между зубьями ковша экскаватора в сборе обычно располагаются съемные межзубьевые сегменты с целью защиты кромки ковша. На заднем конце зубьев обычно предусмотрена гнездообразная выемка для размещения пригодной к заведению в нее охватываемой раструбом передней части оголовка адаптера, а для закрепления зуба на адаптере с возможностью его последующего съема обычно используется замковая система.[0004] Excavator bucket teeth as an assembly, mounted on the cutting edge of an excavator bucket, and other elements of the same kind, usually include a removable cutting tooth, an adapter body and an adapter head, which is attached to the cutting edge of the bucket or other element of the same kind by welding or other means. Removable intertooth segments are usually located between the teeth of the excavator bucket as an assembly for the purpose of protecting the edge of the bucket. A socket-shaped recess is usually provided at the rear end of the teeth for receiving a front part of the adapter head suitable for insertion into it, and a locking system is usually used to secure the tooth on the adapter for subsequent removal.
[0005] В ходе эксплуатации такие элементы износа обычно подвергаются существенному износу и продолжительному воздействию различных сил. По мере износа различных компонентов замковая система может ослабнуть, вследствие чего возрастает риск утраты землеройного элемента или всего узла, состоящего из адаптера и зуба. Это обуславливает длительное время простоя, необходимое для замены утраченных элементов износа; и в тех случаях, когда компоненты не подлежат восстановлению, это может привести к повреждениям и/или продолжительным простоям во время выполнения последующих технологических операций, особенно если отсоединение осталось незамеченным. К примеру, если элемент износа отсоединился от ковша экскаватора, этот элемент износа может повредить другое оборудование на шахтной площадке, когда его может непреднамеренно зацепить, например, камнедробилка. Кроме того, проведение земляных работ с отсоединенными или сильно изношенными элементами износа по определению менее эффективно.[0005] During operation, such wear elements are typically subject to significant wear and prolonged exposure to various forces. As the various components wear, the locking system may become loose, increasing the risk of losing the excavation element or the entire adapter and tooth assembly. This results in long downtimes required to replace the lost wear elements; and in cases where the components are not repairable, this may result in damage and/or long downtimes during subsequent processing operations, especially if the disconnection remains undetected. For example, if a wear element becomes disconnected from an excavator bucket, the wear element may damage other equipment on the mine site when it is inadvertently caught, such as by a rock crusher. In addition, excavation operations with disconnected or heavily worn wear elements are inherently less efficient.
[0006] В попытках предотвратить случайное отсоединение элементов износа на рабочих участках проводятся планово-предупредительные ремонтные работы в соответствии с определенным графиком. Для непрерывного контроля и информирования о потере элементов износа также используются и другие технологии. Однако эти технологии обычно сложны и не подходят для всех условий, возникающих, например, на шахтной площадке.[0006] In an attempt to prevent accidental detachment of wear elements, scheduled maintenance work is carried out on work sites according to a certain schedule. Other technologies are also used for continuous monitoring and reporting of loss of wear elements. However, these technologies are usually complex and are not suitable for all conditions that arise, for example, on a mine site.
[0007] Одна такая система отслеживания износа и/или утраты элементов износа описана в публикации РСТ №. WO 2018/009955 А1, содержание которой полностью включено в настоящий документ посредством ссылки. И хотя она обеспечивает определенную эффективность, особенно в контролируемых условиях внешней среды, было установлено, что при длительной эксплуатации утрачивается способность детектирования утраты землеройных орудий по мере их износа. Кроме того, описанная система в значительной мере ограничена разрешающей способностью прибора датчика, и в любом случае она нацелена на отслеживание зубьев, и поэтому не способна эффективно контролировать другие элементы износа, такие как защитные сегменты ковша.[0007] One such system for monitoring wear and/or loss of wear elements is described in PCT Publication No. WO 2018/009955 A1, the contents of which are incorporated herein by reference in their entirety. While it provides some effectiveness, particularly in controlled environmental conditions, it has been found that over long periods of use, the ability to detect loss of earthmoving tools as they wear out is lost. In addition, the described system is significantly limited by the resolution of the sensor device, and in any case, it is aimed at tracking teeth and is therefore not capable of effectively monitoring other wear elements, such as bucket guards.
Цель настоящего изобретенияThe purpose of the present invention
[0008] Цель настоящего изобретения заключается в том, чтобы предложить систему отслеживания элементов износа и способ ее использования, которые устранили бы или сгладили один или несколько недостатков или проблем, описанных выше, или которые представляли бы собой, по меньшей мере, приемлемую альтернативу.[0008] The object of the present invention is to provide a wear element tracking system and a method for using the same that would eliminate or mitigate one or more of the disadvantages or problems described above, or that would represent at least an acceptable alternative.
[0009] Другие предпочтительные цели настоящего изобретения станут очевидными после ознакомления с последующим описанием.[0009] Other preferred objects of the present invention will become apparent from the following description.
Краткое раскрытие настоящего изобретенияBrief summary of the present invention
[0010] Согласно одному из вариантов своего осуществления, хотя необязательно единственному или наиболее широкому, настоящее изобретение относится к системе отслеживания орудия рабочего оборудования, причем эта система включает в себя:[0010] According to one embodiment, although not necessarily the only or broadest, the present invention relates to a system for tracking a work equipment tool, the system including:
один или несколько датчиков, установленных на рабочем оборудовании и обращенных в сторону орудия; иone or more sensors mounted on the work equipment and facing the implement; and
процессор, выполненный с возможностью:a processor configured to:
получения данных, относящихся к орудию, с одного или нескольких датчиков;obtaining data related to the tool from one or more sensors;
генерирования трехмерного представления, по меньшей мере, части орудия с использованием полученных данных;generating a three-dimensional representation of at least a portion of the tool using the obtained data;
сравнения сгенерированного трехмерного представления с ранее сгенерированным трехмерным представлением;comparing the generated three-dimensional representation with a previously generated three-dimensional representation;
идентификации одного или нескольких таких событий, как износ и утрата, по меньшей мере, части орудия путем сравнения сгенерированного трехмерного представления с ранее сгенерированным трехмерным представлением; иidentifying one or more events such as wear and loss of at least a portion of the tool by comparing the generated three-dimensional representation with a previously generated three-dimensional representation; and
выдачи индикации об износе или утрате в случае идентификации износа или утраты, по меньшей мере, части орудия.issuing an indication of wear or loss in the event of identification of wear or loss of at least part of the tool.
[0011] В предпочтительном варианте орудие характеризуется наличием изнашиваемых частей. Эти изнашиваемые части предпочтительно выполнены с возможностью их замены. В предпочтительном варианте орудием служит землеройное орудие.[0011] In a preferred embodiment, the tool is characterized by the presence of wear parts. These wear parts are preferably designed so that they can be replaced. In a preferred embodiment, the tool is an earthmoving tool.
[0012] Один или несколько датчиков могут включать в себя, по меньшей мере, один датчик, способный получать данные, отображающие трехмерную форму поверхности землеройного орудия. Один или несколько датчиков могут включать в себя времяпролетный датчик. Один или несколько датчиков могут включать в себя дальномерный датчик. Один или несколько датчиков могут включать в себя лазерный дальномерный датчик. Один или несколько датчиков могут включать в себя датчик LIDAR (обнаружения, идентификации и определения дальности с помощью света). Датчик LIDAR может представлять собой трехмерный датчик LIDAR. Один или несколько датчиков могут включать в себя многослойный, времяпролетный, сканирующий лазерный дальномерный датчик.[0012] One or more sensors may include at least one sensor capable of receiving data representing a three-dimensional shape of the surface of the earthmoving implement. One or more sensors may include a time-of-flight sensor. One or more sensors may include a rangefinder sensor. One or more sensors may include a laser rangefinder sensor. One or more sensors may include a light detection, identification, and ranging (LIDAR) sensor. The LIDAR sensor may be a three-dimensional LIDAR sensor. One or more sensors may include a multi-layer, time-of-flight, scanning laser rangefinder sensor.
[0013] Один или несколько датчиков могут включать в себя датчики стереоскопического зрения. Датчики стереоскопического зрения могут выдавать данные в различных спектрах, включая видимый спектр и/или тепловую инфракрасную область спектра. Один или несколько датчиков могут включать в себя не времяпролетные дальномерные системы. Не времяпролетные дальномерные системы могут включать в себя структурированные трехмерные дальномерные системы на базе освещения. Один или несколько датчиков могут включать в себя радар. Один или несколько датчиков могут включать в себя ультразвуковые датчики. Один или несколько датчиков могут включать в себя датчики, выполненные с возможностью детектирования диаграммы направленности излучения. Диаграмма направленности излучения может создаваться и/или модифицироваться землеройным орудием. Один или несколько датчиков могут использовать магнитно-резонансную визуализацию (MRI). Один или несколько датчиков могут включать в себя акустические датчики. Один или несколько датчиков могут включать в себя двумерный датчик, причем по данным двумерного датчика выводится трехмерное представление. Трехмерное представление может выводиться по данным двумерного датчика на основании анализа освещенности и/или машинного обучения.[0013] One or more sensors may include stereoscopic vision sensors. The stereoscopic vision sensors may provide data in various spectra, including the visible spectrum and/or the thermal infrared spectrum. The one or more sensors may include non-time-of-flight ranging systems. The non-time-of-flight ranging systems may include structured three-dimensional illumination-based ranging systems. The one or more sensors may include radar. The one or more sensors may include ultrasonic sensors. The one or more sensors may include sensors configured to detect a radiation pattern. The radiation pattern may be created and/or modified by an earthmoving implement. The one or more sensors may use magnetic resonance imaging (MRI). The one or more sensors may include acoustic sensors. The one or more sensors may include a two-dimensional sensor, wherein a three-dimensional representation is derived from the two-dimensional sensor data. A 3D representation can be inferred from 2D sensor data based on light analysis and/or machine learning.
[0014] Один или несколько датчиков могут включать в себя одинарный датчик, выполненный с возможностью измерения и выдачи данных, отображающих трехмерную форму поверхности, по меньшей мере, части землеройного орудия. В альтернативном варианте один или несколько датчиков могут включать в себя множество датчиков. Множество датчиков может включать в себя оптические фотоприемники, такие как камеры. Множество датчиков может включать в себя, по меньшей мере, пару двумерных сканирующих дальномеров, ориентированных относительно друг друга под разными углами для проведения измерений. Двумерные сканирующие дальномеры могут включать в себя лазерные дальномеры. Двумерные сканирующие дальномеры могут быть ориентированы относительно друг друга под углом около 90° для проведения измерений. Генерирование трехмерного представления, по меньшей мере, части землеройного орудия с использованием данных, полученных с одного или нескольких датчиков, может предусматривать конфигурирование процессора для сбора множества векторных разверток в течение определенного периода времени с целью генерирования трехмерного представления. Процессор может быть выполнен с возможностью сбора множества векторных разверток в течение определенного периода времени с целью генерирования трехмерного представления с использованием данных оценки движения.[0014] One or more sensors may include a single sensor configured to measure and output data representing a three-dimensional shape of a surface of at least a portion of an earthmoving implement. Alternatively, one or more sensors may include a plurality of sensors. The plurality of sensors may include optical photodetectors, such as cameras. The plurality of sensors may include at least a pair of two-dimensional scanning rangefinders oriented relative to each other at different angles to perform measurements. The two-dimensional scanning rangefinders may include laser rangefinders. The two-dimensional scanning rangefinders may be oriented relative to each other at an angle of about 90° to perform measurements. Generating a three-dimensional representation of at least a portion of an earthmoving implement using data obtained from the one or more sensors may include configuring a processor to collect a plurality of vector scans over a certain period of time to generate the three-dimensional representation. The processor may be configured to collect a plurality of vector scans over a period of time to generate a three-dimensional representation using motion estimation data.
[0015] Процессор может быть выполнен с возможностью объединения данных с датчиков, считываемых разными способами и обладающих разной точностью воспроизведения и/или характеристиками по шуму, с целью генерирования трехмерного представления. Объединение данных с датчиков может предусматривать использование комбинаторного алгоритма. Например, данные с датчика LIDAR и радара могут объединяться с использованием комбинаторного алгоритма, такого как фильтр Калмана.[0015] The processor may be configured to combine data from sensors that are read in different ways and have different fidelity and/or noise characteristics to generate a three-dimensional representation. The combination of sensor data may involve using a combinatorial algorithm. For example, data from a LIDAR sensor and a radar may be combined using a combinatorial algorithm, such as a Kalman filter.
[0016] Один или несколько датчиков могут быть установлены на рабочем оборудовании таким образом, чтобы землеройное орудие находилось на линии их прямой видимости. Один или несколько датчиков могут располагаться на самом орудии, где часть орудия, представляющая интерес, находится на линии их прямой видимости. Во время эксплуатации рабочего оборудования линия прямой видимости может быть непрерывной. В альтернативном варианте во время эксплуатации рабочего оборудования линия прямой видимости может быть периодической. Один или несколько датчиков могут быть установлены на подвижных элементах рабочего оборудования. Один или несколько датчиков могут быть установлены на подвижной штанге рабочего оборудования. Рабочим оборудованием может служить экскаватор. Один или несколько датчиков могут быть установлены на рукояти экскаватора. Один или несколько датчиков могут быть установлены на стреле экскаватора. Один или несколько датчиков могут быть установлены на корпусе или кабине экскаватора. Один или несколько датчиков могут быть установлены на ковше экскаватора.[0016] One or more sensors may be mounted on the work equipment so that the earthmoving implement is in their line of sight. One or more sensors may be located on the implement itself, where a portion of the implement of interest is in their line of sight. During operation of the work equipment, the line of sight may be continuous. Alternatively, during operation of the work equipment, the line of sight may be intermittent. One or more sensors may be mounted on movable elements of the work equipment. One or more sensors may be mounted on a movable boom of the work equipment. The work equipment may be an excavator. One or more sensors may be mounted on a stick of the excavator. One or more sensors may be mounted on a boom of the excavator. One or more sensors may be mounted on a body or a cabin of the excavator. One or more sensors may be mounted on a bucket of the excavator.
[0017] Процессор может быть выполнен с возможностью генерирования трехмерного представления, по меньшей мере, части землеройного орудия путем объединения данных, полученных с одного или нескольких датчиков, с оценкой движения. Оценка движения может быть выведена по данным с датчиков. Оценка движения может выводиться по данным с датчиков по мере перемещения землеройного орудия в поле обзора.[0017] The processor may be configured to generate a three-dimensional representation of at least a portion of the earthmoving implement by combining data obtained from one or more sensors with a motion estimate. The motion estimate may be derived from the sensor data. The motion estimate may be derived from the sensor data as the earthmoving implement moves in the field of view.
[0018] Процессор может быть выполнен с дополнительной возможностью предварительной обработки полученных данных для генерирования трехмерного представления. Процессор может быть выполнен с дополнительной возможностью предварительной обработки полученных данных в пределах заданного диапазона. Предварительная обработка может предусматривать селекцию по дальности. Предварительная обработка может предусматривать множественные сканирования с использованием чересстрочной развертки. Множественные сканирования с использованием чересстрочной развертки могут дать более широкое эффективное поле обзора.[0018] The processor may be configured with an additional capability of pre-processing the received data to generate a three-dimensional representation. The processor may be configured with an additional capability of pre-processing the received data within a specified range. The pre-processing may include range selection. The pre-processing may include multiple scans using interlaced scanning. Multiple scans using interlaced scanning may provide a wider effective field of view.
[0019] Предварительная обработка может предусматривать определение того, что землеройное орудие находится по существу в поле обзора одного или нескольких датчиков. Эта оценка может предусматривать идентификацию того, указывают ли данные с датчиков на то, что в выбранных точках землеройное орудие идентифицировано как присутствующее или отсутствующее. Оценка может предусматривать определение отношения точек, в которых предполагается наличие землеройного орудия, к точкам, в которых предполагается отсутствие землеройного орудия. Оценка может предусматривать сравнение указанного отношения с заданным пороговым значением. Заданное пороговое значение может основываться на известной геометрии землеройного орудия. В альтернативном варианте оценка может основываться на конечном автомате. Конечный автомат может содержать одно или несколько следующих состояний: элементы износа не видны; элементы износа видны частично; элементы износа видны полностью; элементы износа находятся частично за пределами поля обзора датчиков; и элементы износа находятся полностью за пределами поля обзора датчика. Определение состояния может основываться на эвристических правилах, согласно которым идентифицируются условия пространственного распределения трехмерных точек, соответствующие каждому состоянию. Оценка может быть также дополнена механизмом отклонения, который отбрасывает данные, указывающие на то, что элементы износа могут по-прежнему входить в стенку выработки или быть закрыты материалом, который не представляет какого-либо интереса. Механизм отклонения может производить проверку на наличие пустых данных в пределах известных размеров орудия. Механизм отклонения может проверять примерную форму (например, плоскую, сферическую или эллиптическую) орудия путем изучения результатов анализа главных компонент трехмерных точек.[0019] The pre-processing may include determining that the earth-moving implement is substantially within the field of view of one or more sensors. This evaluation may include identifying whether the sensor data indicates that the earth-moving implement is identified as present or absent at selected points. The evaluation may include determining a ratio of points at which the earth-moving implement is suspected to be present to points at which the earth-moving implement is suspected to be absent. The evaluation may include comparing the ratio to a predetermined threshold. The predetermined threshold may be based on known geometry of the earth-moving implement. Alternatively, the evaluation may be based on a state machine. The state machine may comprise one or more of the following states: wear features are not visible; wear features are partially visible; wear features are completely visible; wear features are partially outside the field of view of the sensors; and wear features are completely outside the field of view of the sensor. The determination of the condition may be based on heuristic rules that identify conditions of the spatial distribution of 3D points corresponding to each condition. The assessment may also be supplemented by a rejection mechanism that discards data indicating that wear features may still be embedded in the drift wall or may be covered by material that is of no interest. The rejection mechanism may check for empty data within the known dimensions of the tool. The rejection mechanism may check the approximate shape (e.g., flat, spherical, or elliptical) of the tool by examining the results of principal component analysis of the 3D points.
[0020] Процессор может быть выполнен с возможностью генерирования трехмерного представления путем объединения множества наборов данных с датчиков, полученных в разное время, в единую трехмерную модель. Объединение может предусматривать объединение данных с датчиков в течение определенного периода времени, начиная с момента, когда было установлено, что землеройное орудие находится по существу в поле обзора одного или нескольких датчиков. Объединение может предусматривать вокселизацию данных с датчиков. Точки из отдельных наборов данных, относящихся к одному вокселу, могут быть слиты в единую точку. Точки из отдельных наборов данных, относящихся к одному вокселу, могут быть слиты в единую точку с использованием статистической модели. Точки из отдельных наборов данных, относящихся к одному вокселу, могут быть слиты в единую точку, отображающую медиану.[0020] The processor may be configured to generate a three-dimensional representation by combining a plurality of sensor data sets obtained at different times into a single three-dimensional model. The combining may include combining sensor data over a period of time starting from the time when the earthmoving implement was determined to be substantially within the field of view of one or more sensors. The combining may include voxelizing the sensor data. Points from separate data sets related to a single voxel may be merged into a single point. Points from separate data sets related to a single voxel may be merged into a single point using a statistical model. Points from separate data sets related to a single voxel may be merged into a single point representing a median.
[0021] Процессор может быть выполнен с возможностью генерирования трехмерного представления путем объединения множества наборов данных с датчиков, полученных в разное время, в единую двухмерную модель, такую как карта дальностей. Объединение может предусматривать объединение данных с датчиков в течение определенного периода времени, начиная с момента, когда было установлено, что землеройное орудие находится по существу в поле обзора одного или нескольких датчиков. Объединение может предусматривать проецирование трехмерных данных на плоскую, цилиндрическую, сферическую или иную непрерывную поверхность для получения двумерного представления с координатной сеткой. Точки из отдельных наборов данных, относящиеся к одному пикселю, могут быть слиты с использованием статистической модели. Статистическая модель может включать в себя интегральную среднюю и/или фильтр Калмана. Фильтр Калмана может быть одномерным.[0021] The processor may be configured to generate a three-dimensional representation by combining multiple sets of sensor data obtained at different times into a single two-dimensional model, such as a range map. The combining may include combining sensor data over a period of time, starting from the time when the earthmoving implement was determined to be substantially within the field of view of one or more sensors. The combining may include projecting the three-dimensional data onto a flat, cylindrical, spherical, or other continuous surface to obtain a two-dimensional gridded representation. Points from individual sets of data that relate to a single pixel may be merged using a statistical model. The statistical model may include an cumulative average and/or a Kalman filter. The Kalman filter may be one-dimensional.
[0022] Процессор может быть выполнен с возможностью генерирования трехмерного представления путем выравнивания множества трехмерных моделей. Выравнивание может предусматривать совмещение различных трехмерных моделей в общей системе координат. Выравнивание может предусматривать использование выбранной модели в качестве опорной модели и выравнивание остальных трехмерных моделей по этой выбранной модели. Выравнивание сгенерированных моделей может предусматривать использование процесса ICP (итеративного алгоритма ближайших точек) или NDT (преобразования нормальных распределений). Процесс выравнивания может характеризоваться ограничениями, такими как, например, предполагаемые степени свободы. Выравнивание может предусматривать определение матрицы дробно-линейного преобразования. Матрица дробно-линейного преобразования может основываться на согласовании ключевых точек, геометрических признаков или осей между опорной моделью и промежуточными моделями. Определение осей для преобразования может основываться на анализе главных компонент (PCА).[0022] The processor may be configured to generate a three-dimensional representation by aligning a plurality of three-dimensional models. The alignment may involve aligning different three-dimensional models in a common coordinate system. The alignment may involve using a selected model as a reference model and aligning the remaining three-dimensional models to this selected model. The alignment of the generated models may involve using an ICP (Iterative Closest Point Algorithm) or NDT (Normal Distribution Transformation) process. The alignment process may be characterized by constraints, such as, for example, assumed degrees of freedom. The alignment may involve determining a fractional linear transformation matrix. The fractional linear transformation matrix may be based on the agreement of key points, geometric features, or axes between the reference model and the intermediate models. The determination of the axes for the transformation may be based on principal component analysis (PCA).
[0023] Процессор может быть выполнен с дополнительной возможностью преобразования сгенерированного трехмерного представления в двухмерные данные о дальности. Двухмерные данные о дальности могут представлять собой изображение. Сгенерированное трехмерное представление может быть преобразовано в двумерное изображение путем выбора плоскости трехмерного представления и индикации данных о дальности, перпендикулярных этой плоскости, с разными характеристиками изображения. Разные характеристики изображения могут включать в себя разные цвета или яркость. Данные о дальности, перпендикулярные выбранной плоскости, могут обозначаться с использованием цветового градиента, отображаемого на прямоугольную координату. Двумерное изображение может фильтроваться с использованием, например, открывающего/замыкающего или расширяющего/сужающего фильтра. Множество двумерных изображений может объединяться в течение определенного периода времени для уменьшения шума.[0023] The processor may be configured to further convert the generated three-dimensional representation into two-dimensional range data. The two-dimensional range data may be an image. The generated three-dimensional representation may be converted into a two-dimensional image by selecting a plane of the three-dimensional representation and indicating range data perpendicular to this plane with different image characteristics. Different image characteristics may include different colors or brightness. Range data perpendicular to the selected plane may be indicated using a color gradient mapped to a rectangular coordinate. The two-dimensional image may be filtered using, for example, an opening/closing or widening/narrowing filter. A plurality of two-dimensional images may be combined over a certain period of time to reduce noise.
[0024] Процессор может быть выполнен с дополнительной возможностью сравнения сгенерированного трехмерного представления с ранее сгенерированным трехмерным представлением путем сравнения двумерных изображений, которые включают в себя данные о дальности. Двумерные изображения могут сравниваться путем вычитания изображений. Переменные временные развертки могут включать в себя первую временную развертку, которая короче второй временной развертки. Вторая временная развертка может быть, по меньшей мере, в два раза длиннее, чем первая временная развертка. Вторая временная развертка может быть на порядок величины длительнее, чем первая временная развертка. Первая временная развертка может характеризоваться длительностью менее часа. Вторая временная развертка может превышать 12 часов.[0024] The processor may be configured with an additional capability of comparing the generated three-dimensional representation with a previously generated three-dimensional representation by comparing two-dimensional images that include range data. The two-dimensional images may be compared by subtracting the images. The variable time bases may include a first time base that is shorter than a second time base. The second time base may be at least twice as long as the first time base. The second time base may be an order of magnitude longer than the first time base. The first time base may be characterized by a duration of less than an hour. The second time base may exceed 12 hours.
[0025] Процессор может быть выполнен с дополнительной возможностью идентификации одного или обоих таких событий, как износ и утрата, по меньшей мере, части землеройного орудия путем анализа результата сравнения двумерных изображений. Существенная разница в этом сравнении с первой временной разверткой может указывать на утрату, по меньшей мере, части землеройного орудия. Менее существенная разница в этом сравнении со второй временной разверткой может указывать на износ, по меньшей мере, части землеройного орудия.[0025] The processor may be configured to further identify one or both of such events as wear and loss of at least a portion of the earthmoving implement by analyzing the result of the comparison of the two-dimensional images. A significant difference in this comparison with the first time base may indicate loss of at least a portion of the earthmoving implement. A less significant difference in this comparison with the second time base may indicate wear of at least a portion of the earthmoving implement.
[0026] Анализ может предусматривать создание изображения разницы. Изображение разницы может быть поделено на отдельные зоны. Эти зоны могут соответствовать зонам землеройного орудия, представляющим интерес. Зоны, представляющие интерес, могут включать в себя предполагаемое местоположение элементов износа землеройного орудия. Элементы износа могут включать в себя один или несколько таких элементов, как зубья, адаптеры, защитные сегменты и вкладыши. Изображение разницы может быть поделено на отдельные зоны, исходя из заданной геометрической модели землеройного орудия. Изображение разницы может быть поделено на отдельные зоны с использованием анализа методом обнаружения границ элементов изображения. Анализ методом обнаружения границ элементов изображения может использоваться для идентификации признаков по существу вертикальных линий. Изображение разницы может быть поделено на отдельные вертикальные зоны.[0026] The analysis may include creating a difference image. The difference image may be divided into separate zones. These zones may correspond to zones of interest on the earth-moving implement. The zones of interest may include the expected location of wear features on the earth-moving implement. The wear features may include one or more features such as teeth, adapters, shrouds, and liners. The difference image may be divided into separate zones based on a given geometric model of the earth-moving implement. The difference image may be divided into separate zones using feature boundary detection analysis. Feature boundary detection analysis may be used to identify features of substantially vertical lines. The difference image may be divided into separate vertical zones.
[0027] Анализ может предусматривать измерение изменений в изображении разницы в каждой зоне. Измерение изменений в изображении разницы в каждой зоне может предусматривать определение количества пикселей. Определение количества пикселей может предусматривать подсчет смежных пикселей. Количество смежных пикселей может указывать на участки износа и/или утраты в этой зоне. Смежные пиксели могут подсчитываться построчно. Количество пикселей, подсчитанных в строке, может сравниваться с пороговой величиной для индикации того, мог ли иметь место износ и/или утрата. Пороговая величина может быть задана заранее. Пороговая величина может быть адаптивной, например, основанной на сравнении значения в динамике по времени или получаемой путем машинного обучения. Машинное обучение может опираться на обратную связь с оператором. Анализ может предусматривать использованием процесса свертки. Процесс свертки может предусматривать использование сверточного фильтра. Сверточный фильтр может выдать местоположение и величину изменений, где отличия обусловлены не утратой, а - например - только изменением глубины. Подавление шумов может также осуществляться с использованием маски изображения, выведенной по изображению, созданному при более ранней временной развертке и наложенной на текущее изображение. Эта маска предотвращает анализ тех частей изображения, которые считаются нерелевантными.[0027] The analysis may include measuring changes in the difference image in each zone. Measuring changes in the difference image in each zone may include determining a number of pixels. Determining a number of pixels may include counting adjacent pixels. The number of adjacent pixels may indicate areas of wear and/or loss in that zone. Adjacent pixels may be counted row by row. The number of pixels counted in a row may be compared to a threshold to indicate whether wear and/or loss may have occurred. The threshold may be predetermined. The threshold may be adaptive, such as based on a comparison of a value over time or obtained by machine learning. Machine learning may be based on feedback from an operator. The analysis may include using a convolution process. The convolution process may include using a convolution filter. The convolution filter may provide the location and magnitude of changes where the differences are not due to loss but, for example, only due to a change in depth. Noise reduction can also be accomplished using an image mask derived from an image created at an earlier time base and superimposed on the current image. This mask prevents analysis of parts of the image that are considered irrelevant.
[0028] Процессор может быть выполнен с возможностью выдачи индикации об идентифицированном износе или утрате оператору рабочего оборудования. Выдаваемые данные могут содержать сигнал тревоги. Сигнал тревоги может представлять собой один или несколько таких сигналов, как акустический сигнал тревоги, визуальный сигнал тревоги и тактильный сигнал тревоги. Сигнал тревоги может быть передан оператору рабочего оборудования. Сигнал тревоги может также или вместо этого передаваться удаленно. В предпочтительном варианте сигнал тревоги передается удаленно на периферию вне пределов оборудования. Сигнал тревоги может включать в себя первый сигнал тревоги, указывающий на износ, и второй сигнал тревоги, отличающийся от первого сигнала тревоги и указывающий на утрату. Индикация износа или утраты может использоваться системами управления рабочего оборудования для адаптации его работы.[0028] The processor may be configured to provide an indication of the identified wear or loss to the operator of the work equipment. The data provided may comprise an alarm signal. The alarm signal may be one or more of an acoustic alarm signal, a visual alarm signal, and a tactile alarm signal. The alarm signal may be transmitted to the operator of the work equipment. The alarm signal may also or instead be transmitted remotely. In a preferred embodiment, the alarm signal is transmitted remotely to a periphery outside the equipment. The alarm signal may include a first alarm signal indicating wear and a second alarm signal different from the first alarm signal and indicating loss. The indication of wear or loss may be used by control systems of the work equipment to adapt its operation.
[0029] Система может дополнительно включать в себя систему идентификации транспортных средств. Система идентификации транспортных средств может включать в себя один или несколько датчиков, идентифицирующих транспортное средство. Система идентификации транспортных средств может использовать процессор для выполнения операции по идентификации транспортного средства. Система идентификации транспортных средств обеспечивает возможность идентификации соответствующего транспортного средства при установлении факта утраты части землеройного орудия, такого как элемент износа. Система идентификации транспортных средств способствует установлению соответствующего транспортного средства, на которое может быть доставлен отсоединенный элемент износа или иной элемент подобного рода во время операции по доставке, выполняемой рабочим оборудованием.[0029] The system may further include a vehicle identification system. The vehicle identification system may include one or more sensors that identify a vehicle. The vehicle identification system may use a processor to perform an operation to identify the vehicle. The vehicle identification system provides the ability to identify the appropriate vehicle when a fact of loss of a part of the earthmoving implement, such as a wear element, is determined. The vehicle identification system facilitates the identification of the appropriate vehicle to which the detached wear element or other element of the same kind can be delivered during a delivery operation performed by the working equipment.
[0030] Процессор может быть выполнен с дополнительной возможностью регистрации и/или передачи координат глобальной навигационной спутниковой системы (GNSS) при идентификации утраты, по меньшей мере, части орудия. Система GNSS может включать в себя систему GPS (глобальную систему позиционирования).[0030] The processor may be configured with an additional capability of recording and/or transmitting coordinates of a global navigation satellite system (GNSS) upon identification of the loss of at least a portion of the implement. The GNSS system may include a GPS (global positioning system).
[0031] В предпочтительном варианте процессор располагается на рабочем оборудовании. Однако процессор может располагаться на удалении. Процессор может включать в себя один или несколько сетевых серверов. Рабочее оборудование может содержать процессор для локальной обработки данных, а также сообщаться с одним или несколькими сетевыми процессорами для удаленной обработки данных.[0031] In a preferred embodiment, the processor is located on the work equipment. However, the processor may be located remotely. The processor may include one or more network servers. The work equipment may include a processor for local data processing, and also communicate with one or more network processors for remote data processing.
[0032] Согласно другому варианту своего осуществления настоящее изобретение относится к способу отслеживания одного или нескольких элементов износа орудия рабочего оборудования, причем этот способ предусматривает:[0032] According to another embodiment of the present invention, there is provided a method for monitoring one or more wear elements of a work equipment tool, the method comprising:
получение данных, относящихся к орудию, с одного или нескольких датчиков, установленных на рабочем оборудовании;obtaining data related to the tool from one or more sensors installed on the work equipment;
генерирование трехмерного представления, по меньшей мере, части орудия с использованием данных, полученных с одного или нескольких датчиков;generating a three-dimensional representation of at least a portion of the tool using data obtained from one or more sensors;
сравнение сгенерированного трехмерного представления с ранее сгенерированным трехмерным представлением;comparing the generated 3D representation with a previously generated 3D representation;
идентификацию одного или нескольких таких событий, как износ и утрата, по меньшей мере, части орудия, исходя из результата выполнения стадии сравнения; иidentifying one or more events such as wear and loss of at least a portion of the tool based on the result of performing the comparison step; and
выдачу индикации об износе или утрате, по меньшей мере, части орудия после того, как на стадии идентификации одного или нескольких таких событий, как износ и утрата, по меньшей мере, части землеройного орудия будет идентифицирован такой износ или утрата.issuing an indication of wear or loss of at least a portion of the implement after such wear or loss is identified in the stage of identifying one or more such events as wear and loss of at least a portion of the earthmoving implement.
[0033] В предпочтительном варианте один или несколько элементов износа являются заменяемыми. В предпочтительном варианте орудием служит землеройное орудие.[0033] In a preferred embodiment, one or more wear elements are replaceable. In a preferred embodiment, the implement is an earthmoving implement.
[0034] Стадия получения данных, относящихся к землеройному орудию, с одного или нескольких датчиков может предусматривать прием трехмерных данных, относящихся, по меньшей мере, к части землеройного орудия. Стадия получения данных может предусматривать прием данных с одинарного датчика. В альтернативном варианте стадия получения данных может предусматривать получение информации с множества датчиков. Предложенный способ может дополнительно предусматривать выполнение стадии преобразования данных с множества датчиков в трехмерные данные.[0034] The step of receiving data related to the earthmoving implement from one or more sensors may include receiving three-dimensional data related to at least a portion of the earthmoving implement. The step of receiving data may include receiving data from a single sensor. Alternatively, the step of receiving data may include receiving information from a plurality of sensors. The proposed method may further include performing a step of converting data from the plurality of sensors into three-dimensional data.
[0035] Стадия генерирования трехмерного представления, по меньшей мере, части землеройного орудия может предусматривать объединение данных, полученных с одного или нескольких датчиков, с оценкой движения. Предложенный способ может дополнительно предусматривать выведение оценки движения по данным с датчика, предпочтительно по данным, получаемым по мере перемещения землеройного орудия в поле обзора датчика.[0035] The step of generating a three-dimensional representation of at least a portion of the earthmoving implement may include combining data obtained from one or more sensors with a motion estimate. The proposed method may further include deriving a motion estimate from data from a sensor, preferably from data obtained as the earthmoving implement moves in the field of view of the sensor.
[0036] Предложенный способ может дополнительно предусматривать предварительную обработку данных, полученных с датчиков, до начала выполнения стадии генерирования трехмерного представления. Предложенный способ может дополнительно предусматривать стадию предварительной обработки данных, полученных с датчиков, путем идентификации данных с датчиков в пределах заданного диапазона, предпочтительно методом селекции по дальности. Стадия предварительной обработки может предусматривать множественные сканирования с использованием чересстрочной развертки. Множественные сканирования с использованием чересстрочной развертки могут дать более широкое эффективное поле обзора данных с датчиков.[0036] The proposed method may further include pre-processing the data obtained from the sensors before performing the three-dimensional representation generation step. The proposed method may further include a step of pre-processing the data obtained from the sensors by identifying the data from the sensors within a given range, preferably by a range selection method. The pre-processing step may include multiple scans using interlaced scanning. Multiple scans using interlaced scanning may provide a wider effective field of view of the data from the sensors.
[0037] Предложенный способ может дополнительно предусматривать стадию определения того, что землеройное орудие находится по существу в поле обзора одного или нескольких датчиков. Стадия оценки может предусматривать идентификацию того, указывают ли данные с датчиков на то, что в выбранных точках землеройное орудие идентифицировано как присутствующее или отсутствующее. Стадия оценки может предусматривать определение отношения точек, в которых предполагается нахождение землеройного орудия, к точкам, где предполагается отсутствие землеройного орудия. Стадия оценки может предусматривать сравнение этого отношения с заданным пороговым значением. Заданное пороговое значение может быть основано на известной геометрии землеройного орудия.[0037] The proposed method may further include a step of determining that the earthmoving implement is substantially within the field of view of one or more sensors. The step of evaluating may include identifying whether the data from the sensors indicates that the earthmoving implement is identified as present or absent at selected points. The step of evaluating may include determining a ratio of points at which the earthmoving implement is suspected to be located to points at which the earthmoving implement is suspected to be absent. The step of evaluating may include comparing this ratio to a predetermined threshold value. The predetermined threshold value may be based on a known geometry of the earthmoving implement.
[0038] Предложенный способ может дополнительно предусматривать стадию объединения множества наборов данных с датчиков, полученных в разное время, в единую трехмерную модель. Стадия объединения может предусматривать объединение данных с датчиков в течение определенного периода времени, начиная с того момента, когда было установлено, что землеройное орудие находится по существу в поле обзора одного или нескольких датчиков. Стадия объединения может предусматривать вокселизацию данных с датчиков. Предложенный способ может дополнительно предусматривать стадию сведения отдельных наборов данных, относящихся в одному вокселу, в единую точку. Точки из отдельных наборов данных, относящихся к одному вокселу, могут быть слиты в единую точку с использованием статистической модели. Точки из отдельных наборов данных, относящихся к одному вокселу, могут быть слиты в единую точку, отображающую медиану.[0038] The proposed method may further include a step of combining a plurality of sets of sensor data obtained at different times into a single three-dimensional model. The step of combining may include combining sensor data over a certain period of time, starting from the moment when it was determined that the earthmoving implement is located substantially within the field of view of one or more sensors. The step of combining may include voxelizing the sensor data. The proposed method may further include a step of merging individual sets of data related to a single voxel into a single point. Points from individual sets of data related to a single voxel may be merged into a single point using a statistical model. Points from individual sets of data related to a single voxel may be merged into a single point representing a median.
[0039] Предложенный способ может дополнительно предусматривать стадию выравнивания множества трехмерных моделей. Стадия выравнивания может предусматривать совмещение различных трехмерных моделей в общей системе координат. Стадия выравнивания может предусматривать использование выбранной модели в качестве опорной модели и выравнивание остальных трехмерных моделей по этой выбранной модели. Стадия выравнивания сгенерированных моделей может предусматривать использование процесса ICP (итеративного алгоритма ближайших точек) или NDT (преобразования нормальных распределений). Процесс ICP может характеризоваться ограничениями, такими как, например, предполагаемые степени свободы. Стадия выравнивания может предусматривать определение матрицы дробно-линейного преобразования. Матрица дробно-линейного преобразования может основываться на установлении соответствия между ключевыми точками, геометрическими признаками или осями опорной модели и промежуточных моделей.[0039] The proposed method may further include a step of aligning a plurality of three-dimensional models. The step of aligning may include aligning different three-dimensional models in a common coordinate system. The step of aligning may include using a selected model as a reference model and aligning the remaining three-dimensional models to this selected model. The step of aligning the generated models may include using an ICP (Iterative Nearest Point Algorithm) or NDT (Normal Distribution Transformation) process. The ICP process may be characterized by constraints, such as, for example, assumed degrees of freedom. The step of aligning may include determining a fractional linear transformation matrix. The fractional linear transformation matrix may be based on establishing a correspondence between key points, geometric features, or axes of the reference model and intermediate models.
[0040] Предложенный способ может дополнительно предусматривать преобразование сгенерированного трехмерного представления в двухмерные данные о дальности. Стадия преобразования в двухмерные данные о дальности может предусматривать создание изображения. Стадия преобразования может предусматривать выбор плоскости трехмерного представления и индикацию данных о дальности, перпендикулярных этой плоскости, с разными характеристиками изображения. Разные характеристики изображения могут включать в себя разные цвета. Данные о дальности, перпендикулярные выбранной плоскости, могут обозначаться с использованием цветового градиента, отображаемого на прямоугольную координату. Предложенный способ может дополнительно предусматривать фильтрацию двумерного изображения. Стадия фильтрации может предусматривать использование одного или нескольких таких фильтров, как открывающий/замыкающий или расширяющий/сужающий фильтр. Фильтрация может предусматривать уменьшение шум путем объединения множества двумерных изображений в течение определенного периода времени.[0040] The proposed method may further include converting the generated three-dimensional representation into two-dimensional range data. The step of converting into two-dimensional range data may include creating an image. The step of converting may include selecting a plane of the three-dimensional representation and indicating range data perpendicular to this plane with different image characteristics. Different image characteristics may include different colors. Range data perpendicular to the selected plane may be indicated using a color gradient mapped to a rectangular coordinate. The proposed method may further include filtering the two-dimensional image. The filtering step may include using one or more filters such as an opening/closing filter or an expanding/contracting filter. The filtering may include reducing noise by combining a plurality of two-dimensional images over a certain period of time.
[0041] Стадия сравнения сгенерированного трехмерного представления с ранее сгенерированным трехмерным представлением может предусматривать сравнение двумерных изображений, которые включают в себя данные о дальности. Стадия сравнения может предусматривать сравнение двумерных изображений по переменным временным разверткам. Стадия сравнения может предусматривать вычитание одного изображения из другого. Переменные временные развертки могут включать в себя первую временную развертку, которая короче второй временной развертки. Предложенный способ может дополнительно предусматривать стадию анализа результата сравнения двумерных изображений.[0041] The step of comparing the generated three-dimensional representation with the previously generated three-dimensional representation may include comparing two-dimensional images that include range data. The step of comparing may include comparing the two-dimensional images by variable time bases. The step of comparing may include subtracting one image from another. The variable time bases may include a first time base that is shorter than the second time base. The proposed method may further include a step of analyzing the result of comparing the two-dimensional images.
[0042] Предложенный способ может дополнительно предусматривать стадию создания изображения разницы. Предложенный способ может дополнительно предусматривать стадию разделения изображения разницы на отдельные зоны. Эти зоны могут соответствовать зонам землеройного орудия, представляющим интерес. Зоны, представляющие интерес, могут включать в себя предполагаемое местоположение элементов износа землеройного орудия. Элементы износа могут включать в себя один или несколько таких элементов, как зубья, адаптеры, защитные сегменты и вкладыши. Изображение разницы может быть поделено на отдельные зоны, исходя из заданной геометрической модели землеройного орудия. Стадия разделения изображения разницы на отдельные зоны может предусматривать использование анализа методом обнаружения границ элементов изображения. Анализ методом обнаружения границ элементов изображения может использоваться для идентификации признаков по существу вертикальных линий. Изображение разницы может быть поделено на отдельные вертикальные зоны.[0042] The proposed method may further include a step of creating a difference image. The proposed method may further include a step of dividing the difference image into separate zones. These zones may correspond to zones of interest of the earthmoving implement. The zones of interest may include the expected location of wear features of the earthmoving implement. The wear features may include one or more such features as teeth, adapters, protective segments and liners. The difference image may be divided into separate zones based on a given geometric model of the earthmoving implement. The step of dividing the difference image into separate zones may include using an analysis by the method of detecting the edges of the image elements. The analysis by the method of detecting the edges of the image elements may be used to identify features of substantially vertical lines. The difference image may be divided into separate vertical zones.
[0043] Стадия сравнения может дополнительно предусматривать стадию измерения изменений в изображении разницы в каждой выделенной зоне. Измерение изменений в изображении разницы в каждой зоне может предусматривать определение количества пикселей. Стадия определения количества пикселей может предусматривать подсчет смежных пикселей. Количество смежных пикселей может указывать на участки износа и/или утраты в этой зоне. Стадия определения количества пикселей может предусматривать подсчет пикселей в строках. Количество пикселей, подсчитанных в строке, может сравниваться с пороговой величиной для индикации того, мог ли иметь место износ и/или утрата. Пороговая величина может быть задана заранее. Пороговая величина может быть адаптивной, например, основанной на сравнении значения в динамике по времени или получаемой путем машинного обучения. Машинное обучение может опираться на обратную связь с оператором.[0043] The comparison step may further include a step of measuring changes in the difference image in each selected zone. Measuring changes in the difference image in each zone may include determining a number of pixels. The step of determining the number of pixels may include counting adjacent pixels. The number of adjacent pixels may indicate areas of wear and/or loss in that zone. The step of determining the number of pixels may include counting pixels in rows. The number of pixels counted in a row may be compared with a threshold value to indicate whether wear and/or loss may have occurred. The threshold value may be predetermined. The threshold value may be adaptive, for example based on a comparison of a value over time or obtained by machine learning. Machine learning may rely on feedback from an operator.
[0044] Стадия выдачи индикации износа или утраты может предусматривать выдачу индикации оператору рабочего оборудования. Стадия выдачи индикации может предусматривать выдачу сигнала тревоги. Сигнал тревоги может представлять собой один или несколько таких сигналов, как акустический сигнал тревоги, визуальный сигнал тревоги и тактильный сигнал тревоги. Сигнал тревоги может быть передан оператору рабочего оборудования. Стадия выдачи индикации может предусматривать передачу индикации утраты и/или износа и/или сигнала тревоги дистанционно. Сигнал тревоги может включать в себя первый сигнал тревоги, указывающий на износ, и второй сигнал тревоги, отличающийся от первого сигнала тревоги и указывающий на утрату. Предложенный способ может дополнительно предусматривать стадию использования индикации износа или утраты в системах управления рабочим оборудованием для адаптации его работы.[0044] The step of issuing an indication of wear or loss may include issuing an indication to the operator of the working equipment. The step of issuing an indication may include issuing an alarm signal. The alarm signal may be one or more of such signals as an acoustic alarm signal, a visual alarm signal, and a tactile alarm signal. The alarm signal may be transmitted to the operator of the working equipment. The step of issuing an indication may include transmitting an indication of loss and/or wear and/or an alarm signal remotely. The alarm signal may include a first alarm signal indicating wear and a second alarm signal different from the first alarm signal and indicating loss. The proposed method may further include a step of using the indication of wear or loss in the control systems of the working equipment to adapt its operation.
[0045] Предложенный способ может дополнительно предусматривать стадию идентификации сопряженного транспортного средства. Предложенный способ может дополнительно предусматривать идентификацию сопряженного транспортного средства в случае установления события утраты. Предложенный способ может дополнительно предусматривать определение сопряженного транспортного средства, на которое может быть доставлен отсоединенный элемент износа или иной элемент подобного рода во время операции по доставке, выполняемой рабочим оборудованием.[0045] The proposed method may further include a step of identifying the associated vehicle. The proposed method may further include identifying the associated vehicle in the event of a loss event being determined. The proposed method may further include determining the associated vehicle to which the detached wear element or other element of the same kind may be delivered during the delivery operation performed by the work equipment.
[0046] Предложенный способ может дополнительно предусматривать стадию передачи данных, относящихся к орудию, полученных с одного или нескольких датчиков, установленных на рабочем оборудовании, на сервер. Сервер может выполнять стадии генерирования, сравнения, идентификации и/или выдачи индикации. Предложенный способ может дополнительно предусматривать получение данных с сервера, указывающих на износ или утрату, по меньшей мере, части орудия.[0046] The proposed method may further include a step of transmitting data related to the tool, obtained from one or more sensors installed on the working equipment, to a server. The server may perform the steps of generating, comparing, identifying and/or issuing an indication. The proposed method may further include receiving data from the server indicating wear or loss of at least a portion of the tool.
[0047] Согласно еще одному варианту осуществления настоящего изобретения предложена система отслеживания элементов износа орудия, предпочтительно землеройного орудия рабочего оборудования, причем эта система включает в себя:[0047] According to another embodiment of the present invention, a system for monitoring wear elements of a tool, preferably an earthmoving tool of working equipment, is provided, the system including:
один или несколько датчиков, установленных на рабочем оборудовании, которое снабжено орудием, находящимся в считывающем поле обзора; иone or more sensors mounted on the work equipment that is equipped with a tool located in the reading field of view; and
процессор, выполненный с возможностью реализации способа отслеживания одного или нескольких элементов износа орудия рабочего оборудования согласно описанию, представленному выше.a processor configured to implement a method for tracking one or more wear elements of a work equipment tool according to the description provided above.
[0048] Согласно еще одному варианту своего осуществления настоящее изобретение относится к рабочему оборудованию для земляных работ, такому как экскаватор, включающему в себя:[0048] According to another embodiment of the present invention, there is provided an excavation equipment, such as an excavator, comprising:
землеройное орудие;earthmoving implement;
один или несколько элементов износа, располагающихся на землеройном орудии;one or more wear elements located on an earthmoving implement;
один или несколько датчиков, обращенных в сторону одного или нескольких элементов износа землеройного орудия;one or more sensors facing one or more wear elements of the earthmoving implement;
процессор, сообщающийся с одним или несколькими датчиками, причем процессор выполнен с возможностью:a processor communicating with one or more sensors, wherein the processor is configured to:
получения данных с одного или нескольких датчиков;receiving data from one or more sensors;
генерирования трехмерного представления, по меньшей мере, части орудия с использованием данных, полученных с одного или нескольких датчиков;generating a three-dimensional representation of at least a portion of the tool using data obtained from one or more sensors;
сравнения сгенерированного трехмерного представления с ранее сгенерированным трехмерным представлением;comparing the generated three-dimensional representation with a previously generated three-dimensional representation;
идентификации одного или нескольких таких событий, как износ и утрата одного или нескольких элементов износа, путем сравнения сгенерированного трехмерного представления с ранее сгенерированным трехмерным представлением; иidentifying one or more such events as wear and loss of one or more wear elements by comparing the generated three-dimensional representation with a previously generated three-dimensional representation; and
выдачи индикации об износе или утрате одного или нескольких элементов износа при идентификации такого износа или утраты.issuing an indication of wear or loss of one or more wear elements upon identification of such wear or loss.
[0049] В качестве экскаватора может быть использовано рабочее оборудование для земляных работ и землеройно-транспортное оборудование различных типов, включая, например, гусеничные экскаваторы, колесные одноковшовые погрузчики, гидравлические одноковшовые экскаваторы, канатные экскаваторы с электрическим приводом, ковши канатно-скреперных экскаваторов, канавокопатели с обратной лопатой, подземные погрузчики, роторные экскаваторы и прочие машины подобного рода.[0049] The excavator may be a variety of earthmoving and earthmoving equipment, including, for example, crawler excavators, wheeled single-bucket loaders, hydraulic single-bucket excavators, electric-powered rope excavators, rope-scraper excavator buckets, backhoe diggers, underground loaders, bucket wheel excavators and other similar machines.
[0050] Прочие признаки и преимущества настоящего изобретения станут очевидными после ознакомления с последующим подробным описанием.[0050] Other features and advantages of the present invention will become apparent from the following detailed description.
Краткое описание фигурBrief description of the figures
[0051] Предпочтительные варианты осуществления настоящего изобретения будут подробнее описаны ниже исключительно для примера в привязке к прилагаемым чертежам, где:[0051] Preferred embodiments of the present invention will be described in more detail below, by way of example only, with reference to the accompanying drawings, where:
На фиг. 1 проиллюстрирована система отслеживания элементов износа землеройного орудия;Fig. 1 illustrates a system for monitoring wear elements of an earthmoving implement;
На фиг. 2 приведен пример данных с датчика землеройного орудия;Fig. 2 shows an example of data from an earthmoving implement sensor;
На фиг. 3 приведен пример схематического представления землеройного орудия, сгенерированного по данным с датчика;Fig. 3 shows an example of a schematic representation of an earthmoving tool generated from sensor data;
На фиг. 4 визуализирован пример сравнения трехмерного представления землеройного орудия с ранее сгенерированным трехмерным представлением;Fig. 4 shows an example of a comparison of a three-dimensional representation of an earthmoving tool with a previously generated three-dimensional representation;
На фиг. 5 представлено тепловое изображение землеройного орудия, показанного на фиг.4; иFig. 5 shows a thermal image of the earthmoving tool shown in Fig. 4; and
На фиг. 6 представлено схематическое изображение, иллюстрирующее один из примеров реализации системы отслеживания элементов износа.Fig. 6 shows a schematic diagram illustrating one example of the implementation of a wear element tracking system.
Подробное раскрытие настоящего изобретенияDetailed disclosure of the present invention
[0052] На фиг. 1 проиллюстрирована система 10 отслеживания землеройного орудия 20 рабочего оборудования в виде экскаватора 30. Следует иметь в виду, что настоящее изобретение может применяться к транспортным средствам или рабочему оборудования других типов. Проиллюстрированный экскаватор 30 представляет собой экскаватор 30 гусеничного типа. Однако следует иметь в виду, что экскаватором 30 может служить машина иного типа, снабженная землеройным орудием 20, включая, например, колесные одноковшовые погрузчики, гидравлические одноковшовые экскаваторы, канатные экскаваторы с электрическим приводом, ковши канатно-скреперных экскаваторов, канавокопатели с обратной лопатой, подземные погрузчики, роторные экскаваторы и прочие машины подобного рода. Хотя проиллюстрированное орудие представлено землеройным орудием 20, следует также иметь в виду, что настоящее изобретение может применяться к орудиям других типов, в частности, к орудиям с заменяемыми изнашиваемыми деталями, таким как строительные орудия, производственные орудия, обрабатывающие инструменты или иные орудия подобного рода.[0052] Fig. 1 illustrates a system 10 for tracking an earthmoving tool 20 of a working equipment in the form of an excavator 30. It should be understood that the present invention can be applied to other types of vehicles or working equipment. The illustrated excavator 30 is a crawler-type excavator 30. However, it should be understood that the excavator 30 can be another type of machine equipped with an earthmoving tool 20, including, for example, wheeled single-bucket loaders, hydraulic single-bucket excavators, electric-powered rope excavators, rope-scraper buckets, backhoe diggers, underground loaders, bucket wheel excavators and other similar machines. Although the illustrated implement is represented by an earthmoving implement 20, it should also be understood that the present invention can be applied to implements of other types, in particular to implements with replaceable wear parts, such as construction implements, production implements, processing tools or other implements of a similar nature.
[0053] Экскаватор 30, проиллюстрированный на фиг. 1, снабжен подвижной штангой 40, включающей в себя стрелу 42 и рукоять 44. На подвижной штанге 40, в частности, на рукояти 44 подвижной штанги может быть установлен один или несколько датчиков 50, в поле 52 обзора которых находится, по меньшей мере, часть землеройного орудия 20. В зависимости от углов между валами подвижной штанги землеройное орудие 20 не всегда может находиться в поле 52 обзора датчика 50, и в предпочтительном варианте датчики установлены в определенном положении и направлены в сторону землеройного орудия таким образом, что землеройное орудие 20 перемещается в поле 52 его обзора в ходе выполнения обычных рабочих операций, например, во время выполнения операции по сбрасыванию в отвал.[0053] The excavator 30 illustrated in Fig. 1 is provided with a movable boom 40 including a boom 42 and a handle 44. On the movable boom 40, in particular on the handle 44 of the movable boom, one or more sensors 50 can be mounted, in the field of view 52 of which at least a part of the earthmoving implement 20 is located. Depending on the angles between the shafts of the movable boom, the earthmoving implement 20 may not always be in the field of view 52 of the sensor 50, and in the preferred embodiment, the sensors are mounted in a certain position and directed towards the earthmoving implement in such a way that the earthmoving implement 20 moves into its field of view 52 during normal working operations, for example, during a dumping operation.
[0054] Датчик 50 сообщается с процессором 60, который в предпочтительном варианте располагается на экскаваторе 30, а в еще более предпочтительном варианте - в кабине 70 экскаватора. Однако процессор 60 может также располагаться на удалении так, что данные с датчика 50 передаются за пределы транспортного средства на удаленный терминал. Процессор 60 может также располагаться на экскаваторе 30 таким образом, что обработанная информация, такая как результаты анализа или сигналы тревоги, передаются на удаленный терминал для дистанционного отслеживания и оценки.[0054] The sensor 50 communicates with the processor 60, which is preferably located on the excavator 30, and even more preferably in the excavator cabin 70. However, the processor 60 may also be located remotely so that data from the sensor 50 is transmitted outside the vehicle to a remote terminal. The processor 60 may also be located on the excavator 30 so that processed information, such as analysis results or alarms, are transmitted to the remote terminal for remote monitoring and evaluation.
[0055] Датчик 50 в предпочтительном варианте выполнен с возможностью сбора данных, отображающих трехмерную модель текущего состояния землеройного орудия 20, такую как, например, облако точек, облако вероятностей, поверхностная модель или иная модель подобного рода. В одном из предпочтительных вариантов своего осуществления датчик 50 представляет собой многослойный, времяпролетный, сканирующий лазерный дальномерный датчик (такой как, например, датчик SICK LD MRS-8000). Однако следует иметь в виду, что альтернативные датчики, которые также могут быть использованы, включают в себя, помимо прочего, системы стереоскопического зрения (работающие, как в видимом спектре, так и в любой другой области спектра, например, тепловизоры), структурированные трехмерные дальномерные системы на базе освещения (не времяпролетные), радар, ультразвуковые датчики и такие устройства, которые могут выводить структуру на основе пассивных или косвенных методов, например, детектирования диаграммы направленности излучения, создаваемой или модифицируемой землеройным орудием 20 (например, методом MRI или пассивного акустического анализа).[0055] The sensor 50 is preferably configured to collect data representing a three-dimensional model of the current state of the earthmoving implement 20, such as, for example, a point cloud, a probability cloud, a surface model, or another model of the same kind. In one of the preferred embodiments, the sensor 50 is a multi-layer, time-of-flight, scanning laser rangefinder sensor (such as, for example, the SICK LD MRS-8000 sensor). However, it should be noted that alternative sensors that may also be used include, but are not limited to, stereoscopic vision systems (operating in both the visible spectrum and any other spectral region, such as thermal imagers), structured three-dimensional illumination-based ranging systems (not time-of-flight), radar, ultrasonic sensors, and devices that can infer structure based on passive or indirect methods, such as detection of the radiation pattern created or modified by the earthmoving tool 20 (e.g., by MRI or passive acoustic analysis).
[0056] В одном из предпочтительных вариантов своего осуществления датчик 30 представляет собой одинарный трехмерный датчик, но следует также иметь в виду, что может применяться один или несколько не трехмерных датчиков, например, два или более двухмерных сканеров или трехмерных датчиков с ограниченным полем обзора, которые создают полную трехмерную модель в течение короткого периода времени. Примеры таких конфигураций включают в себя, помимо прочего, монокулярную структуру, состоящую из сенсорных систем, учитывающих движение, включая решения на базе камер событий, или пару двухмерных сканирующих лазерных дальномеров, ориентированных под определенным углом относительно друг друга (предпочтительно около 90°) так, что один датчик получает оценку движения путем отслеживания землеройного орудия, тогда как другой датчик собирает меняющиеся во времени векторные развертки землеройного орудия, которые затем сводятся в трехмерную модель с использованием данных оценки движения.[0056] In one preferred embodiment, the sensor 30 is a single three-dimensional sensor, but it should also be understood that one or more non-three-dimensional sensors may be used, such as two or more two-dimensional scanners or three-dimensional sensors with a limited field of view that create a complete three-dimensional model in a short period of time. Examples of such configurations include, but are not limited to, a monocular structure consisting of motion-aware sensor systems, including event camera solutions, or a pair of two-dimensional scanning laser rangefinders oriented at a certain angle relative to each other (preferably about 90°) such that one sensor obtains a motion estimate by tracking an earthmoving implement, while the other sensor collects time-varying vector scans of the earthmoving implement, which are then combined into a three-dimensional model using the motion estimate data.
[0057] Вся площадь землеройного орудия, представляющая интерес, не может быть захвачена в ходе однократного сканирования или одним кадром датчика 50, но данные с датчика могут быть объединены с оценками движения, выведенными по данным с датчика по мере перемещения землеройного орудия 20 в поле 52 обзора датчика 50, для генерирования трехмерной модели.[0057] The entire area of interest of the earthmoving implement may not be captured in a single scan or frame of the sensor 50, but the sensor data may be combined with motion estimates derived from the sensor data as the earthmoving implement 20 moves within the field of view 52 of the sensor 50 to generate a three-dimensional model.
[0058] В зависимости от местоположения датчика 50 скорее всего будет наблюдаться ожидаемый разброс упорядоченных данных о расстоянии, которые могут считаться приемлемыми, относительно данных, собираемых ближе или дальше от датчика 50, чем это позволяет обеспечить их надежную отбраковку. Эти данные могут быть обусловлены грязью, пылью, стенкой выработки или иными элементами, которые не являются релевантными частями землеройного орудия 20. Следовательно, процессор 60 может предварительно обрабатывать данные, полученные с датчика, методом селекции по дальности, что может существенно уменьшить количество данных, требующих комплексной обработки.[0058] Depending on the location of the sensor 50, there will likely be an expected spread of ordered distance data that can be considered acceptable, relative to data collected closer or further from the sensor 50 than allows for their reliable rejection. This data may be caused by dirt, dust, the wall of the excavation, or other elements that are not relevant parts of the earthmoving tool 20. Therefore, the processor 60 can pre-process the data received from the sensor using a range selection method, which can significantly reduce the amount of data requiring complex processing.
[0059] Могут быть также предусмотрены другие стадии предварительной обработки, зависящие от датчика. Например, для датчика SICK LDMRS-8000 может быть предусмотрено 50 многократных сканирований с использованием чересстрочной развертки с целью представления данных с более широким вертикальным полем обзора для анализа. Аналогичным образом для этого датчика может быть предусмотрена операция подавления шума на базе кластеризации точек. Могут быть использованы и другие стадии предварительной обработки, что зависит от типа, а в некоторых случаях даже марки используемого датчика 50.[0059] Other pre-processing steps may also be provided, depending on the sensor. For example, for the SICK LDMRS-8000 sensor, 50 multiple scans may be provided using interlaced scanning in order to present the data with a wider vertical field of view for analysis. Similarly, a noise reduction operation based on point clustering may be provided for this sensor. Other pre-processing steps may also be used, depending on the type, and in some cases even the brand, of the sensor 50 used.
[0060] Если соответствующие части землеройного орудия 20, подлежащего отслеживанию системой 10, не всегда находятся в поле зрения, то необходимо определить, когда начинать и останавливать сбор данных с датчика 50 для анализа процессором 60. Момент начала сбора релевантных данных может называться «триггерной» точкой или событием. Триггерная точка может быть идентифицирована путем анализа каждого кадра или сканированного изображения данных с датчика и определения отношения точек, находящихся там, где предполагается присутствие землеройного орудия 20, к точкам, где предполагается отсутствие землеройного орудия 20. Это отношение может сравниваться с заданным пороговым значением, предпочтительно с учетом известной геометрии землеройного орудия 20 или конечного автомата.[0060] If the relevant parts of the earthmoving implement 20 to be tracked by the system 10 are not always in the field of view, then it is necessary to determine when to start and stop collecting data from the sensor 50 for analysis by the processor 60. The moment when the collection of relevant data begins may be referred to as a "trigger" point or event. The trigger point may be identified by analyzing each frame or scanned image of the sensor data and determining the ratio of points where the earthmoving implement 20 is expected to be present to points where the earthmoving implement 20 is expected to be absent. This ratio may be compared to a predetermined threshold value, preferably taking into account the known geometry of the earthmoving implement 20 or a state machine.
[0061] Например, в случае, когда анализируется ковш экскаватора, измерения по всему землеройному орудию 20 с одной стороны ковша до другой его стороны могут быть использованы для простого разделения данных с датчика на области, где предполагается получение большого объема данных (например, где располагаются элементы износа в виде зубьев), и на области, где предполагается получение меньшего объема данных (например, где располагаются элементы износа в виде защитных сегментов). Отношение этих точек может быть определено за счет выполнения относительно простой операции деления или с помощью более сложного алгоритма, такого как, например, нечетко-логическая операция «И» с использованием алгебраического произведения. Затем выполняется сравнение этого значения с пороговым значением, при котором сравнивается количество зубьев с количеством защитных сегментов, а также с предполагаемым полем обзора датчика в кадре, где можно видеть землеройное орудие 20, с целью получения отношения для сравнения.[0061] For example, in the case where an excavator bucket is being analyzed, measurements across the entire earthmoving implement 20 from one side of the bucket to the other side of it can be used to simply divide the data from the sensor into areas where a large amount of data is expected to be obtained (for example, where wear elements in the form of teeth are located) and into areas where a smaller amount of data is expected to be obtained (for example, where wear elements in the form of guard segments are located). The ratio of these points can be determined by performing a relatively simple division operation or by using a more complex algorithm, such as, for example, a fuzzy logic "AND" operation using an algebraic product. This value is then compared with a threshold value that compares the number of teeth with the number of guard segments, as well as with the expected field of view of the sensor in the frame where the earthmoving implement 20 can be seen, in order to obtain a ratio for comparison.
[0062] С другой стороны, конечный автомат может содержать следующие состояния: элементы износа не видны; элементы износа видны частично; элементы износа видны полностью; элементы износа находятся частично за пределами поля обзора датчиков; и/или элементы износа находятся полностью за пределами поля обзора датчика. Определение состояния может основываться на эвристических правилах, согласно которым идентифицируются условия пространственного распределения трехмерных точек, соответствующие каждому состоянию. Оценка может быть также дополнена механизмом отклонения, который отбрасывает данные, указывающие на то, что элементы износа могут по-прежнему заслоняться, например, за счет их захождения в стенку выработки или закрытия материалом, который идентифицируется как не представляющий какого-либо интереса. Этот механизм отклонения может производить проверку на наличие пустых данных в пределах известных размеров орудия. Механизм отклонения может также проверять примерную форму (например, плоскую, сферическую или эллиптическую) орудия путем изучения результатов анализа главных компонент трехмерных точек.[0062] On the other hand, the state machine may contain the following states: wear features are not visible; wear features are partially visible; wear features are completely visible; wear features are partially outside the field of view of the sensors; and/or wear features are completely outside the field of view of the sensor. The determination of the state may be based on heuristic rules, according to which conditions of the spatial distribution of three-dimensional points corresponding to each state are identified. The evaluation may also be supplemented by a rejection mechanism that discards data indicating that wear features may still be obscured, for example, by their entry into the wall of the excavation or by covering with material that is identified as not of any interest. This rejection mechanism may check for the presence of empty data within the known dimensions of the tool. The rejection mechanism may also check the approximate shape (e.g., flat, spherical or elliptical) of the tool by examining the results of a principal component analysis of the three-dimensional points.
[0063] На фиг. 2 приведен пример данных 100 с датчика 50 по одному кадру изображения части землеройного орудия 20 ковша (не показан), полученному сканирующим лазерным дальномером сразу после достижения триггерной точки. Данные 100 включают в себя четко идентифицируемые элементы износа в виде зубьев 110 и защитных сегментов 120. Хотя это и не очевидно выражено на фиг. 2, каждая точка содержит информацию о дальности относительно датчика 50, благодаря чему обеспечивается достаточный объем данных для генерирования трехмерного представления землеройного орудия 20.[0063] Fig. 2 shows an example of data 100 from a sensor 50 for one frame of an image of a portion of an earthmoving tool 20 of a bucket (not shown) obtained by a scanning laser range finder immediately after reaching a trigger point. The data 100 includes clearly identifiable wear features in the form of teeth 110 and protective segments 120. Although not clearly expressed in Fig. 2, each point contains range information relative to the sensor 50, thereby providing a sufficient amount of data to generate a three-dimensional representation of the earthmoving tool 20.
[0064] Для повышения надежности может быть обеспечено сохранение буфера (предпочтительно кольцевого) данных с датчика до начала определения триггерной точки, и по сканированным изображения в этом буфере может быть выполнен последующий анализ, если только какое-либо конкретное сканированное изображение не было отбраковано по причине отсутствия целостности (например, недостатка точек данных, невозможности отслеживания ключевых признаков, используемых для создания трехмерной модели, и т.п.).[0064] To improve reliability, a buffer (preferably a ring buffer) of sensor data may be maintained prior to trigger point detection, and subsequent analysis may be performed on scanned images in this buffer unless a particular scanned image is rejected due to lack of integrity (e.g., insufficient data points, failure to track key features used to create a 3D model, etc.).
[0065] Хотя это и не имеет существенного значения, множество наборов данных с датчика 50 предпочтительно объединяются в течение относительно коротких отрезков времени для создания более эффективного трехмерного представления землеройного орудия 20. Для большинства мест расположения датчика 50, способов считывания и сфер применения этой технологии можно предположить, что землеройное орудие 20 будет видно не все время, и что данные с датчика будут варьироваться по своему качеству вследствие, например, шума в сигналах, временных помех (таких как, например, пыль или извлекаемый материал) и текущих погодных условий (например, тумана или дождя). Соответственно, целесообразно объединять множество наборов данных с датчика 50 в течение заданного отрезка времени для обеспечения лучшего представления землеройного орудия 20, чем при использовании одного набора данных. В одном из предпочтительных вариантов осуществления используются данные с датчика в отношении единичного отвального движении. Это определяется размерами буфера и триггерным событием, а также возможностью «фиксации» движения на землеройном орудии 20 при обработке данных в ходе отслеживания движения. Если в течение заданного периода времени не принимаются какие-либо новые данные, то может быть запущено событие обработки данных.[0065] Although it is not essential, multiple sets of data from the sensor 50 are preferably combined over relatively short periods of time to create a more effective three-dimensional representation of the earthmoving implement 20. For most locations of the sensor 50, sensing methods and applications of this technology, it can be assumed that the earthmoving implement 20 will not be visible all the time and that the data from the sensor will vary in its quality due to, for example, noise in the signals, temporary interference (such as, for example, dust or excavated material) and current weather conditions (such as fog or rain). Accordingly, it is advantageous to combine multiple sets of data from the sensor 50 over a given period of time to provide a better representation of the earthmoving implement 20 than using a single set of data. In one preferred embodiment, sensor data is used regarding a single moldboard movement. This is determined by the buffer sizes and the trigger event, as well as the ability to "lock" the movement on the earthmoving implement 20 when processing data during the motion tracking. If no new data is received for a specified period of time, then a data processing event can be triggered.
[0066] Для объединения множества наборов данных с датчика в единую модель может быть использован способ считывания с соответствующим трехмерным, разбитым на объемные элементы (вокселы), представлением. В одном из предпочтительных вариантов, в котором используется сканирующий лазерный дальномер, может быть использована вокселизация на базе сферических кадров, которая кодирует описание с эффектом трассировки лучей. Множественные точки из разных сканированных изображений, которые входят в один и тот же воксел, сводятся в одну точку с помощью соответствующей статистической модели (такой как, например, медианная модель). Разрешение модели может определяться, исходя из требуемой точности воспроизведения результатов измерения износа или утраты и возможностей датчика 50 в процессе его использования. В альтернативном варианте данные могут сразу объединяться в двумерное изображение с координатной сеткой с аналогичным статистическим слиянием данных из множества сканированных изображений. Может быть использована статистическая модель, например, интегральная средняя. Показатели могут быть также улучшены с помощью других статистических моделей, например, с применением одномерного фильтра Калмана.[0066] A reading method with a corresponding three-dimensional representation broken down into volumetric elements (voxels) can be used to combine multiple sets of data from a sensor into a single model. In one preferred embodiment, in which a scanning laser rangefinder is used, voxelization based on spherical frames can be used, which encodes a description with a ray tracing effect. Multiple points from different scanned images that are included in the same voxel are reduced to a single point using an appropriate statistical model (such as, for example, a median model). The resolution of the model can be determined based on the required accuracy of reproduction of the results of measuring wear or loss and the capabilities of the sensor 50 during its use. Alternatively, the data can be immediately combined into a two-dimensional image with a coordinate grid with a similar statistical fusion of data from multiple scanned images. A statistical model such as an integral average can be used. The performance can also be improved using other statistical models, such as the one-dimensional Kalman filter.
[0067] На фиг. 3 приведен пример трехмерного представления 200 землеройного орудия 20, созданного путем объединения множества наборов трехмерных данных с датчика, измеренных в отношении единичного отвального движения с использованием вокселизации сферических координат. Представление 200 включает в себя четко идентифицируемые элементы износа в виде зубьев 210 и защитных сегментов 220. Сразу после генерирования трехмерного представления 200 оно может быть подвергнуто сравнению с ранее сгенерированным трехмерным представлением. Текущее трехмерное представление 200 предпочтительно также сохраняется с тем, чтобы его можно было использовать в качестве ранее сгенерированного трехмерного представления при выполнении таких сравнений в будущем.[0067] Fig. 3 shows an example of a three-dimensional representation 200 of an earthmoving implement 20 created by combining multiple sets of three-dimensional sensor data measured with respect to a single moldboard movement using voxelization of spherical coordinates. The representation 200 includes clearly identifiable wear features in the form of teeth 210 and protective segments 220. Once the three-dimensional representation 200 is generated, it can be compared with a previously generated three-dimensional representation. The current three-dimensional representation 200 is also preferably saved so that it can be used as a previously generated three-dimensional representation when performing such comparisons in the future.
[0068] С течением времени в ходе эксплуатации землеройного орудия 20 собирается множество его трехмерных представлений. В зависимости от установочной конфигурации датчика 50 эти представления могут собираться в общей системе координат, благодаря определенному расположению датчика 50 и землеройного орудия 20 относительно друг друга. В противном случае они могут находиться в разных системах пространственных координат или не могут быть легко совмещены для сравнения. В таких случаях собранные трехмерные представления 200 моделей землеройного орудия 20 предпочтительно преобразуются таким образом, чтобы они были совмещены в общей системе координат, обеспечивая возможность выполнения точного сравнения процессором 60.[0068] Over time, during the operation of the earthmoving implement 20, a plurality of three-dimensional representations of it are collected. Depending on the installation configuration of the sensor 50, these representations may be collected in a common coordinate system due to a certain location of the sensor 50 and the earthmoving implement 20 relative to each other. Otherwise, they may be in different spatial coordinate systems or cannot be easily aligned for comparison. In such cases, the collected three-dimensional representations 200 of the models of the earthmoving implement 20 are preferably transformed so that they are aligned in a common coordinate system, allowing the processor 60 to perform an accurate comparison.
[0069] Для выравнивания множества трехмерных представлений 200 таким образом, чтобы они были совмещены в общей системе координат, могут быть использованы самые разные подходы. Предпочтительный подход предполагает использование опорного трехмерного представления 200 и выравнивание всех остальных трехмерных представлений 200 по этому опорному представлению. Это опорное трехмерное представление может представлять собой просто первое трехмерное представление, сгенерированное во время или после пуска, или какое-либо иное представление, сгенерированное на любой стадии технологического процесса при условии, что оно используется надлежащим образом.[0069] A variety of approaches may be used to align the plurality of three-dimensional representations 200 so that they are aligned in a common coordinate system. A preferred approach involves using a reference three-dimensional representation 200 and aligning all other three-dimensional representations 200 to this reference representation. This reference three-dimensional representation may be simply the first three-dimensional representation generated during or after startup, or any other representation generated at any stage of the process, as long as it is used properly.
[0070] Выравнивание предпочтительно выполняется с использованием процесса ICP (итеративного алгоритма ближайших точек). Процесс ICP предпочтительно имеет ограничения в отношении предполагаемых степеней свободы. Например, ковш гидравлического экскаватора с прямой лопатой может перемещаться только в двух измерениях и вращаться вокруг одной оси относительно датчика 50, установленного на рукояти 44. Другим примером алгоритма выравнивания служит вычисление матрицы дробно-линейного преобразования, основанной на согласовании ключевых точек между опорным представлением и промежуточными представлениями в пространстве двухмерного изображения, дополненное стадией соответствующей нормализации цвета для выравнивания по дальности или вращения вокруг неограниченной оси.[0070] The alignment is preferably performed using an ICP (Iterative Closest Point) process. The ICP process is preferably limited in the degrees of freedom assumed. For example, the bucket of a hydraulic front shovel excavator can only move in two dimensions and rotate about one axis relative to the sensor 50 mounted on the handle 44. Another example of an alignment algorithm is the calculation of a fractional linear transformation matrix based on the matching of key points between the reference representation and intermediate representations in a two-dimensional image space, supplemented by a stage of appropriate color normalization for range alignment or rotation about an unlimited axis.
[0071] Другим примером подходящего алгоритма выравнивания служит процесс NDT (преобразования нормальных распределений). Еще один пример подходящего алгоритма выравнивания предусматривает выравнивание в два этапа: сначала путем применения механизма грубого выравнивания, такого как вращение, определяемое выравниванием в соответствии с заданной системой координат по главной оси облака точек, определяемой методом анализа главных компонент (РСА), вместе с переносом на основе центроидов, границ, статистических или иных геометрических признаков; а затем путем последующего применения механизма точного выравнивания, например, применения процесса ICP или NDT.[0071] Another example of a suitable alignment algorithm is the NDT (Normal Distribution Transformation) process. Another example of a suitable alignment algorithm involves alignment in two steps: first by applying a coarse alignment mechanism, such as a rotation determined by alignment according to a given coordinate system along the main axis of the point cloud determined by the principal component analysis (PCA) method, together with translation based on centroids, boundaries, statistical or other geometric features; and then by subsequently applying a fine alignment mechanism, such as applying the ICP or NDT process.
[0072] После выравнивания (в случае необходимости) процессор 60 сравнивает только что сгенерированное трехмерное представления, по меньшей мере, с одним ранее сгенерированным трехмерным представлением. Это сравнение служит, главным образом, для детектирования изменений в землеройном орудии 20 в течение заданного периода времени. Существенное изменение в трехмерном представлении 200 землеройного орудия 20 в течение относительно короткого отрезка времени, например, между отвальными движениями, указывает на событие утраты или поломки землеройного орудия 20. Менее существенное изменение в течение более продолжительного периода времени указывает на абразивный износ землеройного орудия 20.[0072] After alignment (if necessary), the processor 60 compares the newly generated three-dimensional representation with at least one previously generated three-dimensional representation. This comparison serves primarily to detect changes in the earthmoving implement 20 over a given period of time. A significant change in the three-dimensional representation 200 of the earthmoving implement 20 over a relatively short period of time, such as between moldboard movements, indicates an event of loss or breakage of the earthmoving implement 20. A less significant change over a longer period of time indicates abrasive wear of the earthmoving implement 20.
[0073] В одном из предпочтительных вариантов трехмерные представления 200 преобразуются в двумерную карту дальностей с использованием методов обработки изображений, таких как, например, наложение декартовой системы координат на трехмерную модель и проецирование измерений дальности, полученных по модели, на пару осей декартовой системы координат и выделение цветом каждого пикселя в соответствии со значением дальности по третьей, перпендикулярной оси. К изображению могут быть применены дополнительные операции фильтрации, например, открывающего/замыкающего или расширяющего/сужающего характера, для заполнения пробелов, обусловленных помехами, или для общего повышения качества изображения иным образом. Для дополнительного уменьшения воздействия переходных шумов может также использоваться объединение изображений в течение соответствующих периодов времени, например, смещение среднего изображений в окне длительностью всего несколько минут или удаление пикселей, которые наблюдаются только в небольшой части изображений.[0073] In one preferred embodiment, the three-dimensional representations 200 are transformed into a two-dimensional range map using image processing techniques such as, for example, superimposing a Cartesian coordinate system on the three-dimensional model and projecting the range measurements obtained from the model onto a pair of axes of the Cartesian coordinate system and coloring each pixel according to the range value along a third, perpendicular axis. Additional filtering operations, such as opening/closing or widening/narrowing, may be applied to the image to fill in gaps caused by noise or to otherwise generally improve the quality of the image. Combining images over appropriate periods of time may also be used to further reduce the impact of transient noise, such as shifting the average of images in a window of only a few minutes or removing pixels that are only observed in a small portion of the images.
[0074] Затем процессор 60 сравнивает изображения по переменным временным разверткам. Например, при выполнении операции вычитания изображений высвечиваются отличия в изображениях. Эти сравнения могут выполняться для детектирования событий износа и утраты в течение периодов времени, выделенных для объекта, представляющего интерес. Например, при сравнении текущего изображения с последним предыдущим изображением высвечиваются существенные изменения состояния землеройного орудия 20, которые указывают на событие утраты или поломки землеройного орудия 20. При сравнении изображения, созданного в небольшом окне скользящего среднего, например, всего с несколькими событиями отвала, с аналогичным изображением, полученным накануне или даже еще раньше, износ землеройного орудия 20 должен бросаться в глаза, как по глубине (цвету) изображения разницы, так и по изменению границы признаков землеройного орудия 20 в изображении разницы.[0074] The processor 60 then compares the images over variable time bases. For example, when an image subtraction operation is performed, differences in the images are highlighted. These comparisons can be performed to detect wear and loss events during time periods allocated to the object of interest. For example, when the current image is compared with the last previous image, significant changes in the condition of the earthmoving implement 20 are highlighted that indicate an event of loss or breakage of the earthmoving implement 20. When an image created in a small moving average window, for example, with only a few moldboard events, is compared with a similar image obtained the day before or even earlier, wear of the earthmoving implement 20 should be evident, both in the depth (color) of the difference image and in the change in the boundary of the features of the earthmoving implement 20 in the difference image.
[0075] На фиг. 4 визуализирован пример 300 сравнения трехмерного представления землеройного орудия с ранее сгенерированным трехмерным представлением в формате двумерного изображения. Изображение 300 разницы представления включает в себя четко идентифицируемые элементы износа в виде зубьев 310 и защитных сегментов 320. В этом примере предусмотрен относительно продолжительный период времени между сравниваемыми представлениями, где можно видеть как износ в виде относительно небольших темных участков 330 по периметру элементов износа, так и утрату вершины зуба в виде относительно более крупного темного блока 340 одного из зубьев 310. Видимым также является износ по глубине. На фиг. 5 представлено тепловое фотографическое изображение землеройного орудия 20, показанного на фиг.4, иллюстрирующее утрату 340 вершины зуба, выделенную в изображении 300 разницы.[0075] Fig. 4 is a visualization of an example 300 of a comparison of a three-dimensional representation of an earthmoving implement with a previously generated three-dimensional representation in a two-dimensional image format. The representation difference image 300 includes clearly identifiable wear features in the form of teeth 310 and protective segments 320. In this example, a relatively long period of time is provided between the compared representations, where both wear in the form of relatively small dark areas 330 along the perimeter of the wear features and tooth tip loss in the form of a relatively larger dark block 340 of one of the teeth 310 can be seen. Depth wear is also visible. Fig. 5 is a thermal photographic image of the earthmoving implement 20 shown in Fig. 4 illustrating tooth tip loss 340 highlighted in the difference image 300.
[0076] После сравнения процессор 60 может идентифицировать износ и/или утрату землеройного орудия 20. Процесс такой идентификации может быть выбран таким образом, чтобы он подходил для отслеживаемого землеройного орудия 20 и требуемого типа определения. В одном из предпочтительных вариантов осуществления, в котором определение заключается в том, чтобы идентифицировать износ и/или утрату, по меньшей мере, части проиллюстрированного землеройного орудия 20, к изображению разницы может быть применен процесс свертки изображения с ядром, масштабированным и взвешенным надлежащим образом. В альтернативном варианте к изображению разницы может быть применен алгоритм подсчета количества строк пикселей.[0076] After the comparison, the processor 60 may identify wear and/or loss of the earthmoving implement 20. The process for such identification may be selected so that it is suitable for the earthmoving implement 20 being monitored and the type of determination required. In one preferred embodiment, in which the determination is to identify wear and/or loss of at least a portion of the illustrated earthmoving implement 20, a process of image convolution with a kernel scaled and weighted in an appropriate manner may be applied to the difference image. Alternatively, a pixel row counting algorithm may be applied to the difference image.
[0077] Применение сверточного фильтра к изображению разницы выполняется с использованием квадратного ядра с линейно возрастающим весом в направлении от границы к центру. Размер ядра выбирается таким образом, чтобы он был примерно таким же, что и размер объекта, утраты которого можно обоснованно ожидать, или немного больше при преобразовании в пиксели через масштабирование и разрешение изображения разницы. Для идентификации утраты или величины износа и установления местоположения зоны износа или утраты используется анализ величины, полученной в результате операции свертки. Эта величина сравнивается с заданным пороговым значением или адаптивной пороговой величиной. Один из примеров заданного порогового значения может основываться на части максимально возможного результата в случае серьезной утраты. Оно может быть скорректировано вручную для изменения чувствительности детектирования. Один из примеров адаптивной пороговой величины может основываться на сравнении значения в динамике по времени и выявлении изменений значения, которые указывали бы на статистические выбросы, или на методике машинного обучения, в которой пороговая величина определяется через обратную связь с оператором в отношении точности детектирования.[0077] The application of a convolution filter to the difference image is performed using a square kernel with a linearly increasing weight in the direction from the edge to the center. The kernel size is chosen so that it is approximately the same as the size of the object that can reasonably be expected to be lost, or slightly larger when converted to pixels through scaling and resolution of the difference image. An analysis of the value obtained from the convolution operation is used to identify the loss or amount of wear and to determine the location of the wear or loss zone. This value is compared with a predetermined threshold value or an adaptive threshold value. One example of a predetermined threshold value may be based on a portion of the maximum possible result in the case of a severe loss. It may be manually adjusted to change the sensitivity of the detection. One example of an adaptive threshold value may be based on a comparison of a value over time and the identification of changes in the value that would indicate statistical outliers, or on a machine learning technique in which the threshold value is determined through feedback to the operator regarding the accuracy of the detection.
[0078] Изображение, используемое для сравнения, предпочтительно делится на вертикальные зоны, соответствующие предполагаемому местоположению зубьев и защитных сегментов, исходя из заданной геометрической модели землеройного орудия 20, которая обычно определяется знанием его геометрии. Такое зонирование предпочтительно выполняется автоматически, например, с использованием алгоритма обнаружения границ элементов изображения и контроля признаков по существу вертикальных линий.[0078] The image used for comparison is preferably divided into vertical zones corresponding to the expected location of the teeth and protective segments, based on a given geometric model of the earthmoving tool 20, which is usually determined by knowledge of its geometry. Such zoning is preferably performed automatically, for example using an algorithm for detecting the boundaries of image elements and monitoring the features of substantially vertical lines.
[0079] Для каждой вертикальной зоны, начиная с края изображения, примыкающего к вершинам зубьев, и выполняя построчную итерацию в направлении к основанию зубьев, предпочтительно подсчитывается каждая смежная строка пиксельных значений в изображении разницы, которые указывают на ее отсутствие в самой последней модели при ее сравнении с более ранней моделью. Количество пропущенных строк для каждого пикселя сравнивается с любым известным пороговым значением, таким как, например, заданное пороговое значение или адаптивная пороговая величина.[0079] For each vertical zone, starting from the edge of the image adjacent to the tops of the teeth and iterating row by row toward the base of the teeth, each adjacent row of pixel values in the difference image is preferably counted that indicate its absence in the most recent model when compared to the earlier model. The number of missing rows for each pixel is compared with any known threshold value, such as, for example, a predetermined threshold value or an adaptive threshold value.
[0080] Один из примеров заданного порогового значения может основываться на разнице между длиной полностью изношенного элемента землеройного орудия 20, когда он установлен на рабочем органе, и длиной рабочего органа или крепежа без элемента землеройного орудия 20, преобразованной в пиксели через масштабирование и разрешение изображения разницы. Примеры адаптивных пороговых величин могут основываться на сравнении значения в динамике по времени и выявлении изменений в этом значении, которые могут указывать на статистические выбросы, или на методике обучения, в которой пороговая величина определяется через обратную связь с оператором в отношении точности детектирования.[0080] One example of a predetermined threshold value may be based on the difference between the length of a fully worn element of the earthmoving implement 20 when it is mounted on the working member and the length of the working member or fastener without the element of the earthmoving implement 20, converted into pixels by scaling and resolving the image of the difference. Examples of adaptive threshold values may be based on comparing a value over time and identifying changes in this value that may indicate statistical outliers, or on a learning technique in which the threshold value is determined through feedback to the operator regarding the accuracy of the detection.
[0081] После выявления износа или утраты процессор 60 выдает индикацию такого износа или утраты. Эти выходные данные могут быть представлены в самых разных формах, но в предпочтительном варианте выходные данные содержат сигнал тревоги для направления уведомления об идентифицированном событии износа или утраты. В предпочтительном варианте уведомление направляется, по меньшей мере, оператору рабочего оборудования 30.[0081] After detecting wear or loss, the processor 60 provides an indication of such wear or loss. This output may be in a variety of forms, but in a preferred embodiment, the output comprises an alarm signal for sending a notification of the identified wear or loss event. In a preferred embodiment, the notification is sent to at least the operator of the work equipment 30.
[0082] Помимо простого уведомления об износе или утрате процессор 60 предпочтительно выполнен с возможностью идентификации и выдачи индикации о любых других полезных выявленных характеристиках, например, идентификации возникновения чрезмерного износа (например, более быстрого, чем ожидалось, износа, по меньшей мере, части землеройного орудия 20). Это может быть реализовано путем сравнения пикселей или групп пикселей, включая движущиеся и накладывающиеся окна пикселей, в изображениях разницы, построенных по переменным временным разверткам, с некоторыми заданными базовыми показателями, указывающими на приемлемую интенсивность износа. Приемлемая интенсивность износа может быть предусмотрена или для всего землеройного орудия 20, или для конкретных частей землеройного орудия 20, таких как, например, один или несколько конкретных элементов износа.[0082] In addition to simply notifying about wear or loss, the processor 60 is preferably configured to identify and provide an indication of any other useful characteristics detected, such as identifying the occurrence of excessive wear (e.g., faster than expected wear of at least a portion of the earthmoving implement 20). This can be implemented by comparing pixels or groups of pixels, including moving and overlapping windows of pixels, in the difference images constructed from variable time bases with some predetermined baseline indicators indicating an acceptable wear rate. The acceptable wear rate can be provided either for the entire earthmoving implement 20, or for specific parts of the earthmoving implement 20, such as, for example, one or more specific wear elements.
[0083] Прочие полезные уведомления могут генерироваться по результатам многомерной и пространственной корреляции с данными, полученными от других систем. Например, интенсивность износа может коррелировать с извлекаемым материалом одного или нескольких типов, временем суток, водителем машины и пр. Такие уведомления могут оказаться полезными для интерпретационного анализа, например, за счет предоставления системе вспомогательных входных данных для автоматического детектирования изменений в свойствах извлекаемого материала.[0083] Other useful notifications may be generated as a result of multivariate and spatial correlation with data received from other systems. For example, wear rate may be correlated with one or more types of extracted material, time of day, vehicle driver, etc. Such notifications may be useful for interpretive analysis, for example, by providing the system with auxiliary input data for automatic detection of changes in the properties of the extracted material.
[0084] Выходные данные могут включать в себя сигнал тревоги. Например, сигнал тревоги может быть выдан при детектировании события утраты землеройного орудия 20.[0084] The output data may include an alarm signal. For example, the alarm signal may be generated upon detection of an event of loss of the earthmoving implement 20.
Может быть предусмотрен интерфейс пользователя. На такой интерфейс пользователя может подаваться сигнал тревоги для оператора рабочего оборудования 30. Выходные данные могут также передаваться на другие системы рабочего оборудования, включая системы управления рабочим оборудованием 30. Примеры того, каким образом сигналы тревоги могут передаваться оператору, включают в себя, помимо прочего, передачу одного или нескольких таких сигналов, как акустический сигнал тревоги, визуальный сигнал тревоги и тактильный сигнал тревоги обратной связи. Сигналы тревоги предпочтительно проводят различие между событиями износа и утраты. Выходные данные предпочтительно также информируют оператора о том, какая часть землеройного орудия 20 идентифицирована как утраченная или изношенная. Такая информация предпочтительно также доступна через интерфейс прикладного программирования и/или цифровой выход для ее использования другими системами, такими как система управления, или в ходе выполнения удаленных операций.A user interface may be provided. Such a user interface may provide an alarm signal to the operator of the working equipment 30. Output data may also be transmitted to other systems of the working equipment, including control systems of the working equipment 30. Examples of how alarm signals may be transmitted to the operator include, but are not limited to, the transmission of one or more signals such as an acoustic alarm signal, a visual alarm signal, and a tactile feedback alarm signal. The alarm signals preferably distinguish between wear and loss events. The output data preferably also informs the operator which part of the earthmoving implement 20 has been identified as lost or worn. Such information is also preferably available through an application programming interface and/or a digital output for use by other systems, such as a control system, or during remote operations.
[0085] Может быть предусмотрена система идентификации транспортных средств, предпочтительно система на базе радиочастотной идентификации (RFID), или глобальная система позиционирования (GPS), или система контроля транспортных средств (FMS), которая может использовать комплекс методов, например, FMS для грузовиков. С помощью такой системы идентификации транспортных средств может быть идентифицировано сопряженное транспортное средство, такое как, например, транспортная машина, в которую загружается материал, извлекаемый рабочим оборудованием 30. При возникновении события утраты элемента землеройного орудия 20 система идентификации транспортных средств может быть использована для идентификации транспортного средства, которое с наибольшей вероятностью содержит утраченную часть землеройного орудия 20.[0085] A vehicle identification system may be provided, preferably a system based on radio frequency identification (RFID), or a global positioning system (GPS), or a vehicle monitoring system (FMS), which may use a combination of methods, such as an FMS for trucks. With such a vehicle identification system, an associated vehicle may be identified, such as, for example, a transport vehicle, into which the material extracted by the working equipment 30 is loaded. When an event of loss of an element of the earthmoving implement 20 occurs, the vehicle identification system may be used to identify the vehicle that most likely contains the lost part of the earthmoving implement 20.
[0086] Процессор 60 может быть также выполнен с возможностью предоставления предыстории отслеживания. Такая предыстория отслеживания позволяет оператору просматривать информацию изображения разницы, трехмерные модели, данные или изображения с самих датчиков 50 (в соответствующих случаях, в зависимости от способа считывания) и/или изображения с соседних датчиков (таких как тепловизор), чтобы помочь оператору идентифицировать текущее состояние землеройного орудия 20 и/или изменения в состоянии за предшествующие периоды. Такая предыстория отслеживания может быть использована для анализа события утраты, благодаря чему ручная обработка данных за предыдущие периоды может быть использована для компенсации системой каких-либо задержек при детектировании. Например, более низкая частота ложных сигналов тревоги может быть достигнута путем расширения окна усреднения и периодов сравнения за счет возможно более продолжительной задержки между фактически имеющим место и идентифицируемым системой событием утраты элемента землеройного орудия 20.[0086] The processor 60 may also be configured to provide a tracking history. Such a tracking history allows the operator to view difference image information, three-dimensional models, data or images from the sensors 50 themselves (if applicable, depending on the sensing method) and/or images from adjacent sensors (such as a thermal imager) to help the operator identify the current state of the earthmoving implement 20 and/or changes in state over previous periods. Such a tracking history may be used to analyze the loss event, whereby manual processing of data from previous periods may be used to compensate for any delays in detection by the system. For example, a lower false alarm rate may be achieved by widening the averaging window and comparison periods at the expense of a possibly longer delay between the actual occurrence and the system-identified loss event of an element of the earthmoving implement 20.
[0087] Процессор может быть также выполнен с возможностью передачи данных. Данные предпочтительно передаются на удаленный терминал. Такие данные могут включать в себя одно или несколько трехмерных представлений землеройного орудия 20, информацию об изображении разницы и сигналы тревоги. Такие данные предпочтительно пересылаются с рабочего оборудования 30 на удаленный сервер или в облачную среду для дополнительной обработки, анализа, отслеживания и/или составления отчетов. Удаленный сервер или облачная среда может дополнять локальный процессор рабочего оборудования или даже выполнять определенную обработку данных вместо локального процессора на рабочем оборудовании. Примеры некоторых показателей, которые могут быть извлечены из такой информации, включают в себя оценку интенсивности износа и срока службы землеройного орудия 20. Такая информация может быть дополнена информацией из других источников, такой как, например, удельная энергия копания и экономические ограничения или показатели и цены на части землеройного орудия для получения рекомендаций в отношении периодов замены землеройных орудий 20, или же она может быть присоединена в качестве входных данных для других систем, таких как, например, системы автоматической подачи заказов на землеройные орудия 20. Процессор может быть выполнен с возможностью получения входных данных от оператора рабочего оборудования, указывающих на факт возникновения события износа или утраты. После получения таких входных данных может быть проведен анализ и/или удаленно передано соответствующее уведомление. Это уведомление может быть использовано для оповещения о необходимости проведения техобслуживания рабочего оборудования. Такой подход «по требованию» может означать, что для орудия рабочего оборудования могут быть предусмотрены более длительные интервалы между техническими осмотрами.[0087] The processor may also be configured to transmit data. The data is preferably transmitted to a remote terminal. Such data may include one or more three-dimensional representations of the earthmoving implement 20, difference image information, and alarms. Such data is preferably sent from the working equipment 30 to a remote server or cloud environment for additional processing, analysis, monitoring, and/or reporting. The remote server or cloud environment may complement the local processor of the working equipment or even perform certain data processing instead of the local processor on the working equipment. Examples of some indicators that can be extracted from such information include an estimate of the wear rate and service life of the earthmoving implement 20. Such information can be supplemented with information from other sources, such as, for example, specific digging energy and economic constraints or indicators and prices for parts of the earthmoving implement to obtain recommendations regarding replacement periods for the earthmoving implements 20, or it can be connected as input data to other systems, such as, for example, automatic ordering systems for the earthmoving implements 20. The processor can be configured to receive input data from the operator of the work equipment indicating the occurrence of a wear or loss event. Upon receipt of such input data, an analysis can be performed and/or a corresponding notification can be transmitted remotely. This notification can be used to alert about the need for maintenance of the work equipment. Such an "on-demand" approach can mean that longer intervals between maintenance inspections can be provided for the work equipment implement.
[0088] Помимо определения износа или утраты процессор может быть выполнен с возможностью определения момента времени, когда элемент износа должен быть заменен, путем выявления положительных, а не негативных изменений в изображении разницы. Такая информация может быть использована для определения срока службы изнашиваемых деталей и/или схем замены. Анализ изображения разницы также может быть использован для распознавания формы изнашиваемой детали. Это может быть использовано для идентификации изнашиваемой детали, находящейся в использовании, с целью определения предпочтений и/или действий оператора. Может проводиться анализ пригодности, при котором можно определить характеристики износа и/или утраты идентифицированных элементов износа. После проведения анализа пригодности могут быть выданы рекомендации по замене конкретных элементов износа.[0088] In addition to determining wear or loss, the processor may be configured to determine the time when a wear element should be replaced by identifying positive rather than negative changes in the difference image. Such information may be used to determine the service life of wear parts and/or replacement patterns. Analysis of the difference image may also be used to recognize the shape of the wear part. This may be used to identify the wear part in use for the purpose of determining operator preferences and/or actions. A suitability analysis may be performed in which wear and/or loss characteristics of identified wear elements may be determined. After the suitability analysis is performed, recommendations may be issued for replacement of specific wear elements.
[0089] На фиг.6 приведено схематическое изображение, иллюстрирующее один из примеров реализации системы отслеживания элементов износа, которая включает в себя датчики 500, процессор 600 и вывод 700. Процессор 600 выполнен с возможностью: получения данных, относящихся к землеройному орудию 20, с одного или нескольких датчиков на стадии 610; генерирования трехмерного представления, по меньшей мере, части орудия с использованием полученных данных на стадии 620; сравнения сгенерированного трехмерного представления с ранее сгенерированным трехмерным представлением 630 на стадии 640; идентификации одного или нескольких таких событий, как износ и утрата, по меньшей мере, части землеройного орудия путем сравнения сгенерированного трехмерного представления с ранее сгенерированным трехмерным представлением на стадии 650; и выдачи 700 индикации об износе или утрате на стадии 660 в случае идентификации износа или утраты, по меньшей мере, части землеройного орудия.[0089] Fig. 6 is a schematic diagram illustrating one example of an implementation of a wear feature tracking system that includes sensors 500, a processor 600, and an output 700. The processor 600 is configured to: receive data related to an earthmoving implement 20 from one or more sensors at 610; generate a three-dimensional representation of at least a portion of the implement using the received data at 620; compare the generated three-dimensional representation with a previously generated three-dimensional representation 630 at 640; identify one or more events such as wear and loss of at least a portion of the earthmoving implement by comparing the generated three-dimensional representation with the previously generated three-dimensional representation at 650; and provide 700 an indication of wear or loss at 660 if wear or loss of at least a portion of the earthmoving implement is identified.
[0090] Настоящее изобретение обеспечивает преимущество, состоящее в том, что им предлагается система 10 отслеживания и соответствующий способ для идентификации утраченных и изношенных элементов износа землеройного орудия 20. Это может повысить производительность, поскольку землеройные работы с поврежденными землеройными орудиями 20, например, с изношенными или отсоединенными элементами износа, по умолчанию менее эффективны. Более того, идентификация события утраты в землеройном орудии 20 обеспечивает возможность быстрой замены утраченного элемента, что предотвращает возникновение других потенциальных проблем на рабочей площадке, таких как повреждение сопутствующего оборудования.[0090] The present invention provides an advantage in that it provides a tracking system 10 and a corresponding method for identifying lost and worn wear elements of an earthmoving implement 20. This can improve productivity, since excavation work with damaged earthmoving implements 20, such as with worn or disconnected wear elements, is less efficient by default. Moreover, identifying a loss event in an earthmoving implement 20 allows for a quick replacement of the lost element, which prevents other potential problems from occurring on the work site, such as damage to associated equipment.
[0091] Система 10 отслеживания также предусматривает режим планово-предупредительного ремонта, благодаря чему элементы износа землеройного орудия 20 могут отслеживаться и заменяться при достижении ими заданного состояния износа во избежание незапланированного простоя.[0091] The tracking system 10 also provides for a preventive maintenance mode, whereby wear parts of the earthmoving implement 20 can be tracked and replaced when they reach a predetermined wear condition to avoid unplanned downtime.
[0092] В предпочтительном варианте трехмерное представление землеройного орудия 20 может быть создано и зафиксировано в соответствующей системе координат. При этом обеспечивается преимущество, состоящее в том, что алгоритм может не зависеть от способа считывания, используемого для создания представления. Путем объединения множества моделей в течение коротких отрезков времени может быть уменьшен шум в трехмерном представлении. Два трехмерных представления, сгенерированные в разные моменты времени путем относительно простой в вычислительном отношении операции вычитания (такой как, например, вычитание изображения дальности), могут выделить различия в состоянии землеройного орудия 20 в период времени между сбором соответствующих наборов данных. Повторение этой операции в переменном масштабе времени может быть использовано для детектирования разных масштабов износа и получения разной степени восприимчивости к серьезным изменениям (таким как, например, событие утраты).[0092] In a preferred embodiment, a three-dimensional representation of the earthmoving implement 20 can be created and fixed in an appropriate coordinate system. This provides the advantage that the algorithm can be independent of the reading method used to create the representation. By combining multiple models over short periods of time, noise in the three-dimensional representation can be reduced. Two three-dimensional representations generated at different points in time by a relatively simple computationally subtraction operation (such as, for example, subtraction of a range image) can highlight differences in the condition of the earthmoving implement 20 in the time period between the collection of the respective data sets. Repeating this operation over a variable time scale can be used to detect different scales of wear and to obtain different degrees of sensitivity to major changes (such as, for example, a loss event).
[0093] Следует иметь в виду, что предложенные система и способ могут быть применены к любому землеройному орудию 20, например, для отслеживания изнашиваемых деталей, установленных на ковшах, канавокопателе с обратной лопатой, одноковшовом экскаваторе с прямой лопатой, колесном одноковшовом погрузчике, роторном ковшовом экскаваторе и буровых установках.[0093] It should be borne in mind that the proposed system and method can be applied to any earthmoving implement 20, for example, for tracking wear parts installed on buckets, a backhoe ditcher, a front shovel excavator, a wheeled single-bucket loader, a rotary bucket excavator and drilling rigs.
[0094] В зависимости от варианта осуществления требуются минимальные, если они имеются, знания предшествующего уровня техники о геометрии землеройного орудия 20. Выходные данные могут быть представлены в относительно простом формате (таком как, например, дальностная картина различий), который может запрашиваться с использованием стандартных методов обработки изображений для получения большого объема сведений о состоянии землеройного орудия 20 в сравнении, например, с относительно простыми линейными измерениями длины зуба. Выходные данные могут быть также без труда объединены с другими источниками данных для существенного повышения полезности измерения с целью получения более глубоких знаний о землеройном орудии 20. Система и способ обеспечивают высокую степень надежности за счет низкой, и обычно легко регулируемой, частоты ложных сигналов тревоги. Выходные данные могут быть также представлены в формате, пригодном для оповещения оператора и внешнего отслеживания и/или компактного отображения информации.[0094] Depending on the embodiment, minimal, if any, prior art knowledge of the geometry of the earth-moving implement 20 is required. The output data may be presented in a relatively simple format (such as, for example, a range difference pattern) that can be queried using standard image processing techniques to obtain a large amount of information about the condition of the earth-moving implement 20, compared to, for example, relatively simple linear measurements of tooth length. The output data may also be easily combined with other data sources to significantly increase the utility of the measurement to obtain more in-depth knowledge of the earth-moving implement 20. The system and method provide a high degree of reliability due to a low, and typically easily controlled, false alarm rate. The output data may also be presented in a format suitable for operator alerting and external monitoring and/or compact display of information.
[0095] Прилагательные, встречающиеся в настоящем документе, такие как «первый» и «второй», «левый» и «правый», «верхний» и «нижний» и прочие прилагательные подобного рода, могут быть использованы исключительно для того, чтобы можно было отличить один элемент или действие от другого элемента или действия, не требуя или не подразумевая, что на практике такое соотношение или порядок обязательно должен быть таким, как это указано. Там, где это допускается контекстом, ссылка на целое число, компонент или стадию (и тому подобное) не должна трактоваться как ограниченная только одним целым числом, компонентом или стадией, а может предусматривать одно или несколько целых чисел, компонентов или стадий и т.п.[0095] Adjectives used in this document such as "first" and "second," "left" and "right," "upper" and "lower," and other adjectives of a similar nature may be used solely to distinguish one element or action from another element or action, without requiring or implying that in practice such relationship or order necessarily be as stated. Where the context permits, reference to an integer, component, or step (and the like) shall not be construed as being limited to only one integer, component, or step, but may include one or more integers, components, or steps, and the like.
[0096] Приведенное выше описание различных вариантов осуществления настоящего изобретения предназначено для специалистов в данной области техники. При этом не предполагается, что оно носит исчерпывающий характер или ограничивает заявленное изобретение единственным вариантом его осуществления. Как было указано выше, для специалистов в данной области техники очевидны многочисленные альтернативные варианты реализации настоящего изобретения и возможность внесения в него самых разных изменений. Соответственно, хотя были описаны некоторые конкретные альтернативные варианты осуществления заявленного изобретения, специалистам в данной области техники очевидны или ими могут быть относительно легко разработаны иные варианты осуществления. Предполагается, что настоящее изобретение охватывает все альтернативные варианты осуществления, модификации и изменения, внесенные в заявленное изобретение, которые представлены в настоящем документе, а также другие варианты его осуществления, которые соответствуют сущности и объему описанного выше изобретения.[0096] The above description of various embodiments of the present invention is provided for those skilled in the art. It is not intended to be exhaustive or to limit the claimed invention to a single embodiment. As noted above, many alternative embodiments of the present invention and the possibility of making various changes thereto will be apparent to those skilled in the art. Accordingly, although some specific alternative embodiments of the claimed invention have been described, other embodiments will be apparent to those skilled in the art or can be devised with relative ease. It is intended that the present invention cover all alternative embodiments, modifications and variations made to the claimed invention that are presented herein, as well as other embodiments thereof that fall within the spirit and scope of the invention described above.
[0097] В настоящем документе предполагается, что термины «содержит», «содержащий», «включает в себя», «включающий в себя» или иные термины подобного рода означают неисключительное включение, а это означает, что способ, система или устройство, содержащее перечисленные элементы, не включает в себя исключительно эти элементы, а может также включать в себя и другие элементы, не входящие в перечень.[0097] As used herein, the terms “comprises,” “comprising,” “includes,” “including,” or other terms of similar nature are intended to mean a non-exclusive inclusion, meaning that a method, system, or device comprising the listed elements does not exclusively include those elements, but may also include other elements not listed.
Claims (72)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| AU2019901878 | 2019-05-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2021136953A RU2021136953A (en) | 2023-07-10 |
| RU2841578C2 true RU2841578C2 (en) | 2025-06-10 |
Family
ID=
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130035874A1 (en) * | 2011-08-02 | 2013-02-07 | Hall David R | System for Acquiring Data from a Component |
| RU2498408C2 (en) * | 2007-12-10 | 2013-11-10 | Абб Рисерч Лтд | Computer-implemented method and system for remote control of production process |
| RU2582067C2 (en) * | 2011-09-06 | 2016-04-20 | Те Гейтс Корпорейшн | Measurement of wear of belt by means of detection of edges in bitmap image |
| US20160237640A1 (en) * | 2015-02-13 | 2016-08-18 | Esco Corporation | Monitoring ground-engaging products for earth working equipment |
| US20160326723A1 (en) * | 2015-05-08 | 2016-11-10 | Caterpillar Inc. | Topographic wear monitoring system for ground engaging tool |
| CN106592679A (en) * | 2016-12-22 | 2017-04-26 | 武汉理工大学 | Forklift bucket teeth falling-off early warning device and method |
| RU2625438C2 (en) * | 2012-03-29 | 2017-07-13 | Харнишфигер Текнолоджиз, Инк. | Top imaging system for excavator |
| US20170236261A1 (en) * | 2016-02-11 | 2017-08-17 | Caterpillar Inc. | Wear measurement system using computer vision |
| WO2017213784A1 (en) * | 2016-06-10 | 2017-12-14 | Caterpillar Inc. | Wear indicator for a wear member of a tool |
| WO2018009955A1 (en) * | 2016-07-15 | 2018-01-18 | Cqms Pty Ltd | A wear member monitoring system |
| WO2018136889A1 (en) * | 2017-01-23 | 2018-07-26 | Built Robotics Inc. | Excavating earth from a dig site using an excavation vehicle |
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2498408C2 (en) * | 2007-12-10 | 2013-11-10 | Абб Рисерч Лтд | Computer-implemented method and system for remote control of production process |
| US20130035874A1 (en) * | 2011-08-02 | 2013-02-07 | Hall David R | System for Acquiring Data from a Component |
| RU2582067C2 (en) * | 2011-09-06 | 2016-04-20 | Те Гейтс Корпорейшн | Measurement of wear of belt by means of detection of edges in bitmap image |
| RU2625438C2 (en) * | 2012-03-29 | 2017-07-13 | Харнишфигер Текнолоджиз, Инк. | Top imaging system for excavator |
| US20160237640A1 (en) * | 2015-02-13 | 2016-08-18 | Esco Corporation | Monitoring ground-engaging products for earth working equipment |
| US20160326723A1 (en) * | 2015-05-08 | 2016-11-10 | Caterpillar Inc. | Topographic wear monitoring system for ground engaging tool |
| US20170236261A1 (en) * | 2016-02-11 | 2017-08-17 | Caterpillar Inc. | Wear measurement system using computer vision |
| WO2017213784A1 (en) * | 2016-06-10 | 2017-12-14 | Caterpillar Inc. | Wear indicator for a wear member of a tool |
| WO2018009955A1 (en) * | 2016-07-15 | 2018-01-18 | Cqms Pty Ltd | A wear member monitoring system |
| CN106592679A (en) * | 2016-12-22 | 2017-04-26 | 武汉理工大学 | Forklift bucket teeth falling-off early warning device and method |
| WO2018136889A1 (en) * | 2017-01-23 | 2018-07-26 | Built Robotics Inc. | Excavating earth from a dig site using an excavation vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20250198132A1 (en) | Ground engaging tool monitoring system | |
| AU2020275694B2 (en) | Ground engaging tool monitoring system | |
| AU2016265876C1 (en) | Method and apparatus for locating a wear part in an image of an operating implement | |
| US11466984B2 (en) | Bucket get monitoring system | |
| US20150085123A1 (en) | Method and apparatus for monitoring a condition of an operating implement in heavy loading equipment | |
| US11634893B2 (en) | Wear member monitoring system | |
| US12020419B2 (en) | Ground engaging tool wear and loss detection system and method | |
| EP4347956B1 (en) | Ground engaging tool wear and loss detection system and method | |
| JP7702216B2 (en) | SYSTEM AND COMPUTER-IMPLEMENTED METHOD FOR DETERMINING WEAR LEVEL ON A WORK MACHINE'S GROUND ENGAGING TOOL THAT INDICATES A TOOL CHANGE CONDITION - Patent application | |
| US11209812B2 (en) | Methods and systems for tracking milling rotor bit wear | |
| WO2023202796A1 (en) | Work machine comprising a grade control system and method of grading terrain using a work implement of a work machine with continuous calibration of the grade control system | |
| RU2841578C2 (en) | Excavating tool tracking system | |
| BR112021024226B1 (en) | MONITORING SYSTEM FOR A WORK EQUIPMENT TOOL, MONITORING METHOD AND WEAR MEMBER MONITORING SYSTEM | |
| RU2848443C2 (en) | System and method for detection of wear and loss of excavating equipment | |
| RU2794881C1 (en) | Earthwork monitoring system and its electronic controller | |
| CA2864930A1 (en) | Method and apparatus for monitoring a condition of an operating implement in heavy loading equipment |