RU2731052C1 - Robot automatic system for sorting solid municipal waste based on neural networks - Google Patents
Robot automatic system for sorting solid municipal waste based on neural networks Download PDFInfo
- Publication number
- RU2731052C1 RU2731052C1 RU2019138218A RU2019138218A RU2731052C1 RU 2731052 C1 RU2731052 C1 RU 2731052C1 RU 2019138218 A RU2019138218 A RU 2019138218A RU 2019138218 A RU2019138218 A RU 2019138218A RU 2731052 C1 RU2731052 C1 RU 2731052C1
- Authority
- RU
- Russia
- Prior art keywords
- robot
- machine vision
- vision system
- objects
- computer
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 18
- 239000002699 waste material Substances 0.000 title abstract description 29
- 239000007787 solid Substances 0.000 title abstract description 5
- 230000003287 optical effect Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000004891 communication Methods 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 239000010813 municipal solid waste Substances 0.000 claims description 30
- 230000005855 radiation Effects 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 claims description 3
- 229910052753 mercury Inorganic materials 0.000 claims description 3
- VSQYNPJPULBZKU-UHFFFAOYSA-N mercury xenon Chemical compound [Xe].[Hg] VSQYNPJPULBZKU-UHFFFAOYSA-N 0.000 claims description 3
- 238000013439 planning Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims 1
- 239000000126 substance Substances 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 8
- 229920001903 high density polyethylene Polymers 0.000 description 6
- 239000004700 high-density polyethylene Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 229910052782 aluminium Inorganic materials 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- -1 polyethylene Polymers 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004698 Polyethylene Substances 0.000 description 1
- 239000004743 Polypropylene Substances 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000005272 metallurgy Methods 0.000 description 1
- 239000010812 mixed waste Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 229920001155 polypropylene Polymers 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B09—DISPOSAL OF SOLID WASTE; RECLAMATION OF CONTAMINATED SOIL
- B09B—DISPOSAL OF SOLID WASTE NOT OTHERWISE PROVIDED FOR
- B09B5/00—Operations not covered by a single other subclass or by a single other group in this subclass
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Environmental & Geological Engineering (AREA)
- Sorting Of Articles (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
Description
Изобретение относится к области переработки твердых коммунальных отходов (ТКО) с получением вторичного сырья (пластика, металла, стекла). Изобретение относится к области автоматизированной сортировки отходов с использованием самообучающейся роботизированной системы на основе нейронных сетей. Изобретение относится к интеллектуальным системам, системам автоматической сортировки ТКО. Изобретение может быть использовано в энергетике, химической промышленности, металлургии, коммунальном хозяйстве, экологии.The invention relates to the field of processing solid municipal waste (MSW) with the receipt of secondary raw materials (plastic, metal, glass). The invention relates to the field of automated waste sorting using a self-learning robotic system based on neural networks. The invention relates to intelligent systems, systems for automatic sorting of MSW. The invention can be used in energy, chemical industry, metallurgy, utilities, ecology.
Известны устройство и способ идентификации изображений отходов на основе сверточной нейронной сети [KR 101942219, 2019-01-24, G06K 9/32; G06K 9/46; G06K 9/62]. Устройство содержит: блок приема начального изображения отходов; блок идентификации, который идентифицирует полученные изображения в соответствии с интересуемой областью (область отходов); блок определения, который определяет тип отходов, вычисляя их характеристики. Способ включает три этапа:Known device and method for identifying images of waste based on a convolutional neural network [KR 101942219, 2019-01-24,
1. прием начального изображения отходов с заранее определенным размером;1. receiving an initial image of waste with a predetermined size;
2. разделение полученного изображения на области интереса содержащие отходы и не содержащие отходы;2. dividing the resulting image into areas of interest containing waste and not containing waste;
3. определение типа отходов путем генерирования карты признаков с использованием сверточной нейронной сети для изображения и объединения на карте признаков.3. Determination of the waste type by generating a feature map using a convolutional neural network for image and combining on a feature map.
Слой субдискретизации (poolinglayer) принимает выходные данные сверточного уровня в качестве входных данных и уменьшает размер выходных данных или выделяет конкретные данные. Окончательная классификация типа отходов выполняется с использованием рассчитанных данных слоя субдискретизации.The poolinglayer takes the output of the convolutional layer as input and reduces the size of the output or extracts specific data. The final classification of the waste type is done using the calculated data from the downsampling layer.
Ключевым недостатком указанного способа идентификации изображений отходов на основе сверточной нейронной сети является то, что модуль детектирования объектов основан на анализе первой карты признаков путем применения скользящего окна заданного размера и определения наличия или отсутствия объекта в скользящем окне, а также применения "модуля определения положения" для определения положения скользящего окна. Этот метод анализа изображений является сравнительно медленным, например, как показано в работе [Ren S., Не К., Girshick R., Sun J. Faster R-CNN: Towards real-time object detection with region proposal networks. // proc. Twenty-ninth Conferenceon Neural Information Processing Systems (NIPS) 2015, Montreal CANADA] такой способ выбора областей изображения, содержащих классифицируемые объекты, позволяет достигать скорости обработки на уровне 0,5 кадра в секунду.The key disadvantage of this method for identifying waste images based on a convolutional neural network is that the object detection module is based on the analysis of the first feature map by applying a sliding window of a given size and determining the presence or absence of an object in the sliding window, as well as using a "position determination module" for determining the position of the sliding window. This method of image analysis is relatively slow, for example, as shown in [Ren S., He K., Girshick R., Sun J. Faster R-CNN: Towards real-time object detection with region proposal networks. // proc. Twenty-ninth Conferenceon Neural Information Processing Systems (NIPS) 2015, Montreal CANADA] this method of selecting areas of the image containing classified objects allows you to achieve processing speed of 0.5 frames per second.
Скорость обработки является принципиальной характеристикой системы, поскольку регистрация и обработка изображений должны происходить в темпе подачи отходов по конвейерной ленте без пропусков участков потока. Предположим, что камера регистрирует область ленты размером 600x600 мм. Далее кадр обрабатывается 2 секунды (при скорости обработки 0,5 кадра в секунду). За это время, чтобы не происходило пропуска участков потока отходов, лента может сместиться на 600 мм, что дает допустимую скорость ее перемещения на уровне 0,3 м/с.Такая скорость перемещения является низкой (так, например, в модели роботизированного комплекса ZenRobotics скорость ленты достигает 1 м/с) и существенно ограничивает производительность сортировочного комплекса.The processing speed is a fundamental characteristic of the system, since the registration and processing of images must take place at the rate of supply of waste along the conveyor belt without missing sections of the flow. Suppose the camera registers a 600x600mm tape area. Then the frame is processed for 2 seconds (at a processing speed of 0.5 frames per second). During this time, in order not to skip sections of the waste stream, the belt can shift by 600 mm, which gives an admissible speed of its movement at the level of 0.3 m / s. This speed of movement is low (for example, in the model of the robotic complex ZenRobotics, the speed belt reaches 1 m / s) and significantly limits the productivity of the sorting complex.
Кроме того, способ и устройство, описанные в патенте KR 101942219 предназначены только для выделения и классификации объектов в потоке отходов, конкретный способ применения получаемых таким образом данных для организации автоматической сортировки не рассматривается.In addition, the method and device described in the patent KR 101942219 are intended only for the separation and classification of objects in the waste stream, a specific way of using the data obtained in this way for organizing automatic sorting is not considered.
Из уровня техники известны системы сортировки отходов, в которых используют роботов-манипуляторов различных типов, например, роботов шарнирной конструкции, SCARA- роботов, козловых или других.From the prior art, waste sorting systems are known that use various types of robotic manipulators, for example, articulated robots, SCARA robots, gantry robots or others.
Известны заводы, в Финляндии и в Голландии, по сортировке отходов, использующие самообучающуюся роботизированную систему сортировки ZenRobotics.There are known factories, in Finland and in the Netherlands, for sorting waste using the ZenRobotics self-learning robotic sorting system.
Например, известна система сортировки отходов на основе роботизированного манипулятора компании ZenRobotics для выбора и перемещения отобранной из исходного материала фракции [WO 2015158962, 2015-10-22, В07С 5/02], содержащая:For example, a system for sorting waste based on a robotic manipulator of the company ZenRobotics is known for selecting and moving a fraction selected from a starting material [WO 2015158962, 2015-10-22, B07C 5/02], comprising:
1. один или несколько конвейеров, на которые подают сортируемый материал таким образом, чтобы он равномерно распределялся;1. one or more conveyors to which the sorted material is fed in such a way that it is evenly distributed;
2. различные датчики, непрерывно контролирующие поток отходов;2. various sensors continuously monitoring the waste flow;
3. лазерную систему;3. laser system;
4. один или несколько соединенных вычислительных блоков для анализа на основе самообучаемого программного обеспечения в режиме реального времени получаемых от датчиков и лазерной системы данных, формирования управляющего сигнала и передачи управляющих сигналов разным манипуляторам;4. one or more connected computing units for real-time analysis of data obtained from sensors and a laser system based on self-learning software, generating a control signal and transmitting control signals to various manipulators;
5. манипуляторы, настроенные так, чтобы в ответ на сигналы управления из вычислительного блока манипулировать одним или несколькими типами материалов, перемещающихся на конвейерной ленте.5. manipulators configured to manipulate one or more types of materials moving on the conveyor belt in response to control signals from the computing unit.
Манипуляторы могут быть одного или разных типов. Например, манипулятор может быть роботом, таким как робот шарнирной конструкции, козловой робот, SCARA- робот или другой известный тип робота, сконфигурированный для сбора предварительно определенных объектов из исходного материала и перемещения их. Кроме того, в качестве дополнительных манипуляторов может использоваться, например, вибрационный стол, где мусор проходит через зону сильной вибрации и, в зависимости от того, как подскакивает или крутится тот или иной объект, система определяет материал. Способ базируется на адаптивном алгоритме поиска и наборе всевозможных датчиков и дает возможность роботу определять кроме размеров еще и материалы, из которых состоит объект, и быстро и аккуратно направлять его в нужный складской контейнер или на нужную ленту конвейера для переработки.Manipulators can be of the same or different types. For example, the manipulator can be a robot, such as an articulated robot, gantry robot, SCARA robot, or other known type of robot configured to collect predefined objects from a source material and move them. In addition, as additional manipulators, for example, a vibration table can be used, where the debris passes through a zone of strong vibration and, depending on how a particular object jumps or rotates, the system determines the material. The method is based on an adaptive search algorithm and a set of various sensors and enables the robot to determine, in addition to dimensions, the materials that make up the object, and quickly and accurately direct it to the desired storage container or to the desired conveyor belt for processing.
Известные комплексы по сортировке мусора рассчитаны на работу с сырьем, ранее отсортированным, по примеру стран, где уже десятилетиями налажена система раздельного сбора и транспортировки мусора. В России и на всем постсоветском пространстве эта система работать не сможет.The well-known waste sorting complexes are designed to work with raw materials previously sorted, following the example of countries where a system of separate waste collection and transportation has been established for decades. In Russia and throughout the post-Soviet space, this system will not be able to work.
Задачей, на решение которой направлено настоящее изобретение, является создание автоматизированного комплекса сортировки твердых коммунальных отходов (ТКО), позволяющего достичь высокой скорости и при этом высокого качества отбора фракций для смешанного мусора.The problem to be solved by the present invention is to create an automated complex for sorting municipal solid waste (MSW), which allows you to achieve high speed and at the same time high quality selection of fractions for mixed waste.
Поставленную задачу решают путем создания роботизированного автоматического комплекса сортировки твердых коммунальных отходов на основе сверточной нейронной сети с отдельной ветвью (так называемой нейронной сети выделения областей) с высокопроизводительной схемой обработки изображений, что позволяет увеличить скорость и качество отбора фракций ТКО.The problem is solved by creating a robotic automatic complex for sorting solid municipal waste based on a convolutional neural network with a separate branch (the so-called neural network for selecting areas) with a high-performance image processing scheme, which allows to increase the speed and quality of the selection of MSW fractions.
Согласно изобретению, роботизированный автоматический комплекс сортировки твердых коммунальных отходов включает:According to the invention, a robotic automatic complex for sorting municipal solid waste includes:
1. систему машинного зрения с цифровой камерой, настроенной на работу в конкретной области распознавания объектов, и компьютером (вычислительным блоком), на жестком диске которого установлено программное обеспечение (ПО), включающее программный модуль распознавания образов на основе сверточной нейронной сети, программный модуль обработки данных блока оптических сенсоров, программный модуль формирования списка объектов для подбора;1.a machine vision system with a digital camera configured to work in a specific area of object recognition, and a computer (computing unit), on the hard disk of which software (software) is installed, including a software module for image recognition based on a convolutional neural network, a software processing module data of the block of optical sensors, a software module for generating a list of objects for selection;
2. ленточный конвейер, оснащенный датчиком измерения скорости конвейерной ленты;2. belt conveyor equipped with a sensor for measuring the speed of the conveyor belt;
3. сортировочный узел, представляющий собой дельта-робота с системой захвата и перемещения ТКО, который оснащен контроллером и настроен на работу в укомплектованной контейнерами для сброса отобранных фракций ТКО области выгрузки;3. sorting unit, which is a delta-robot with a system for gripping and moving MSW, which is equipped with a controller and is configured to work in an unloading area equipped with containers for dumping selected fractions of MSW;
4. блок оптических сенсоров, который установлен над лентой конвейера за областью распознавания объектов цифровой камерой и включает излучатели и камеры-регистраторы, две и более;4. block of optical sensors, which is installed above the conveyor belt behind the area of object recognition by a digital camera and includes two or more emitters and recording cameras;
5. автоматизированную систему управления (АСУ), которая включает модуль синхронизации работы цифровой камеры системы машинного зрения и блока оптических сенсоров и центральный сервер, на жестком диске которого установлено ПО, содержащее программные модули, предназначенные для обработки и преобразования данных, получаемых от компьютера системы машинного зрения, контроллера робота, датчика скорости конвейерной ленты и модуля синхронизации, и программный модуль планирования перемещений робота.5.Automatic control system (ACS), which includes a module for synchronizing the operation of a digital camera of the machine vision system and a block of optical sensors and a central server on the hard disk of which software is installed containing software modules intended for processing and converting data received from the computer of the machine vision, robot controller, conveyor belt speed sensor and synchronization module, and a robot movement planning software module.
Согласно изобретению, на жестком диске компьютера системы машинного зрения дополнительно установлена база данных (БД) изображений сортируемых объектов ТКО и связанные с изображениями объектов файлов описания для обучения нейросетевой модели, используемой в составе ПО.According to the invention, on the hard disk of the computer of the machine vision system there is additionally installed a database (DB) of images of sorted TCR objects and description files associated with images of objects for training a neural network model used in the software.
Согласно изобретению, хранящиеся в БД изображения объектов ТКО, цветные, имеют одинаковый размер (в пикселях), одинаковый формат, и одинаково кодированы в цветовом пространстве, а связанные с изображениями объектов файлы описания включают следующую информацию об объектах на изображениях:According to the invention, the images of TCR objects stored in the DB are colored, have the same size (in pixels), the same format, and are equally encoded in the color space, and the description files associated with the images of objects include the following information about the objects in the images:
- относительное расположение файлов (каталог);- relative location of files (directory);
- имя файла изображения, с которым связан данный файл;- the name of the image file with which this file is associated;
- размер изображения;- image size;
- количество разрядов на цветовой канал;- the number of bits per color channel;
- список присутствующих на изображении объектов с информацией об объекте: метка класса (тип), расположение углов прямоугольной рамки, в которую вписан объект.- a list of objects present in the image with information about the object: class label (type), the location of the corners of the rectangular frame into which the object is inscribed.
Согласно изобретению, центральный сервер АСУ соединен по локальной линии связи с компьютером системы машинного зрения, модулем синхронизации, контроллером робота, датчиком измерения скорости движения конвейерной ленты, модуль синхронизации АСУ соединен по локальной линии связи с камерой системы машинного зрения, блоком оптических сенсоров и центральным сервером, компьютер системы машинного зрения соединен по локальной линии связи с цифровой камерой, блоком оптических датчиков, центральным сервером АСУ.According to the invention, the central server of the ACS is connected via a local communication line with a computer of the machine vision system, a synchronization module, a robot controller, a sensor for measuring the speed of a conveyor belt, the synchronization module of an ACS is connected via a local communication line with a camera of the machine vision system, a block of optical sensors and a central server , the computer of the machine vision system is connected via a local communication line with a digital camera, a block of optical sensors, and a central server of the ACS.
Согласно изобретению, излучатели блока оптических сенсоров выбирают из группы: газовые лампы (ртутные, ртутно-ксеноновые) для ультрафиолетового диапазона, лампы накаливания или глобар для инфракрасного диапазона, лазерные источники (в том числе лазерные диоды) с заданным диапазоном длин волн излучения.According to the invention, the emitters of the optical sensor unit are selected from the group: gas lamps (mercury, mercury-xenon) for the ultraviolet range, incandescent lamps or globar for the infrared range, laser sources (including laser diodes) with a given range of radiation wavelengths.
Согласно изобретению, в качестве камер-регистраторов блока оптических сенсоров используют камеры со светофильтрами на различные диапазоны длин волн, настроенные для регистрации излучения в выделенных диапазонах спектра, либо мультиспектральную или гиперспектральную камеры.According to the invention, cameras with light filters for different wavelength ranges, tuned to register radiation in the selected spectral ranges, or multispectral or hyperspectral cameras are used as recording cameras of the optical sensor unit.
Согласно изобретению, робот настроен так, чтобы в ответ на сигналы управления из центрального сервера манипулировать одним или несколькими типами объектов, находящихся на конвейере.According to the invention, the robot is configured to manipulate one or more types of objects on the conveyor in response to control signals from the central server.
Согласно изобретению комплекс может включать более одного сортировочного узла с роботом и зоной выгрузки, более одного блока оптических сенсоров, а система оптического зрения комплекса включает более одной цифровой камеры, причем каждому роботу соответствует своя цифровая камера системы технического зрения и свой блок оптических сенсоров, а ПО, установленное на жестком диске компьютера системы машинного зрения, включает несколько программных модулей распознавания образов на основе сверточной нейронной сети, каждый из которых предназначен для обработки изображений ТКО от соответствующей цифровой камеры, и несколько программного модулей обработки данных блока оптических сенсоров, каждый из которых предназначен для обработки изображений ТКО от соответствующего блока оптических сенсоров, одновременно передающих данные обработки в программный модуль формирования списка объектов для подбора, при этом центральный сервер АСУ соединен по локальной линии связи с контроллерами всех роботов, модуль синхронизации соединен по локальной линии связи со всеми камерами системы машинного зрения и всеми блоками оптических сенсоров, компьютер системы машинного зрения соединен по локальной линии связи со всеми цифровыми камерами и со всеми блоками оптических датчиков.According to the invention, the complex can include more than one sorting unit with a robot and an unloading area, more than one block of optical sensors, and the optical vision system of the complex includes more than one digital camera, and each robot has its own digital camera of the technical vision system and its own block of optical sensors, and the software installed on the hard disk of a computer of a machine vision system, includes several software modules for image recognition based on a convolutional neural network, each of which is designed to process TCR images from a corresponding digital camera, and several software modules for processing data from a block of optical sensors, each of which is designed for image processing of MSE from the corresponding block of optical sensors, simultaneously transmitting processing data to the software module for generating a list of objects for selection, while the central server of the ACS is connected via a local communication line with the controllers of all robots, the module l synchronization is connected via a local communication line with all cameras of the machine vision system and all blocks of optical sensors, the computer of the machine vision system is connected via a local communication line with all digital cameras and with all blocks of optical sensors.
На фиг. 1 представлена схема роботизированного автоматического комплекса сортировки твердых коммунальных отходов на основе нейронной сети, где:FIG. 1 shows a diagram of a robotic automatic complex for sorting municipal solid waste based on a neural network, where:
1 - цифровая камера системы машинного зрения;1 - digital camera of the machine vision system;
2 - блок оптических сенсоров;2 - block of optical sensors;
3 - компьютер системы машинного зрения;3 - computer vision system;
4 - ленточный конвейер;4 - belt conveyor;
5 - автоматизированная система управления (АСУ);5 - automated control system (ACS);
6 - центральный сервер;6 - central server;
7 - модуль синхронизации;7 - synchronization module;
8 - робот с системой захвата и перемещения ТКО.8 - robot with a system for gripping and moving MSW.
Пунктирная линия - передача данных.Dotted line - data transfer.
Непрерывная линия - передача сигналов управления.Continuous line - transmission of control signals.
Комплекс включает следующие основные элементы:The complex includes the following main elements:
1) Система технического (машинного) зрения.1) Technical (machine) vision system.
Система технического (машинного) зрения включает в себя цифровую камеру 1, компьютер системы машинного зрения 3, область распознавания объектов ТКО (на схеме, фиг. 1, не обозначена).The technical (machine) vision system includes a digital camera 1, a machine vision computer 3, an area for recognizing objects of TKO (not indicated in the diagram, Fig. 1).
Система технического (машинного) зрения предназначена для определения типа объекта, расположенного на ленте конвейера, на основе регистрируемых цифровой камерой изображений потока ТКО на ленте. Система технического зрения настроена на работу в конкретной области на ленте конвейера (области распознавания объектов ТКО). Регистрацию изображений объектов ТКО осуществляют с использованием цифровой камеры.The technical (machine) vision system is designed to determine the type of object located on the conveyor belt, based on the images of the MSW flow on the belt recorded by a digital camera. The technical vision system is configured to work in a specific area on the conveyor belt (the area of recognition of objects of MSW). Registration of images of MSW objects is carried out using a digital camera.
Обработку видеоизображений, поступающих с камеры, осуществляют с использованием специализированного программного обеспечения (ПО), установленного на жестком диске отдельного вычислительного устройства (компьютера системы машинного зрения), включающего:The processing of video images from the camera is carried out using specialized software (software) installed on the hard disk of a separate computing device (machine vision computer), including:
ο программный модуль распознавания образов на основе сверточной нейронной сети с алгоритмом самообучения,ο a software module for pattern recognition based on a convolutional neural network with a self-learning algorithm,
ο программный модуль обработки данных блока оптических сенсоров,ο Evaluation software for the optical sensor unit,
ο программный модуль формирования списка объектов для подбора.ο software module for generating a list of objects for selection.
На жестком диске компьютера системы машинного зрения также установлена база данных изображений сортируемых объектов (предметов) (БД), предназначенная для первичного обучения нейросетевой модели, используемой в составе ПО.A database of images of sorted objects (objects) (DB) is also installed on the hard disk of the computer of the machine vision system, intended for the primary training of the neural network model used in the software.
Программный модуль распознавания образов на основе сверточной нейронной сети выполняет в режиме реального времени обработку изображений, получаемых с цифровой камеры, выделяет объекты ТКО на изображениях и выполняет их идентификацию путем определения вероятности принадлежности выделенного объекта к одному из «известных» классов ТКО. В качестве результата работы ПО предоставляет на выход список объектов с координатами прямоугольной рамки, в которую вписан каждый объект, и классом, к которому принадлежит объект. Выходные данные передаются в программный модуль формирования списка объектов для подбора.A software module for image recognition based on a convolutional neural network performs real-time processing of images received from a digital camera, extracts TCR objects in the images and performs their identification by determining the probability of the selected object belonging to one of the "known" TCR classes. As a result of the work, the software provides an output with a list of objects with the coordinates of a rectangular frame in which each object is inscribed, and the class to which the object belongs. The output data is transferred to the program module for generating a list of objects for selection.
База данных представляет собой совокупность наборов изображений объектов твердых коммунальных отходов и связанных с изображениями ТКО файлов, содержащих структурированное описание объектов на изображениях.The database is a collection of sets of images of municipal solid waste objects and files associated with MSW images, containing a structured description of objects in the images.
В базе данных представлены изображения отходов различных типов, например:The database contains images of various types of waste, for example:
- ПЭТ-бутылка;- PET bottle;
- емкость из полиэтилена высокой плотности (HDPE);- container made of high density polyethylene (HDPE);
- банка алюминиевая;- aluminum can;
- прочее.- other.
Все изображения в базе данных являются уникальными (не повторяющимися) изображениями объектов. Изображения объектов являются цветными, имеют одинаковый размер (в пикселях), одинаковый формат, и одинаково кодированы в цветовом пространстве.All images in the database are unique (non-repeating) images of objects. Object images are color, have the same size (in pixels), the same format, and are equally coded in the color space.
Связанные с изображениями файлы описания содержат следующую информацию об объектах на изображении:Image-related description files contain the following information about objects in the image:
- относительное расположение файлов (каталог);- relative location of files (directory);
- имя файла изображения, с которым связан данный файл;- the name of the image file with which this file is associated;
- размер изображения;- image size;
- количество разрядов на цветовой канал;- the number of bits per color channel;
- список присутствующих на изображении объектов с информацией об объекте: метка класса (тип), расположение углов прямоугольной рамки, в которую вписан объект.- a list of objects present in the image with information about the object: class label (type), the location of the corners of the rectangular frame into which the object is inscribed.
БД предназначена для обучения автоматических классификаторов на базе нейронных сетей или иных методов машинного обучения.The database is intended for training automatic classifiers based on neural networks or other machine learning methods.
2) Блок оптических сенсоров.2) Block of optical sensors.
Блок оптических сенсоров 2 включает в себя комплекс излучателей и камер-регистраторов. В качестве излучателей используются газовые лампы (ртутные, ртутно-ксеноновые) для ультрафиолетового диапазона, лампы накаливания или глобар - для инфракрасного диапазона. Альтернативно, в качестве излучателей могут использоваться лазерные источники (в том числе лазерные диоды) с заданным диапазоном длин волн излучения.The block of optical sensors 2 includes a complex of emitters and cameras-recorders. Gas lamps (mercury, mercury-xenon) for the ultraviolet range, incandescent lamps or globar for the infrared range are used as emitters. Alternatively, laser sources (including laser diodes) with a given range of radiation wavelengths can be used as emitters.
Камеры-регистраторы регистрируют излучение в выделенных диапазонах спектра за счет использования оптических фильтров, либо за счет использования технологий мультиспектральной и гиперспектральной съемки.Recorder cameras register radiation in the allocated spectral ranges through the use of optical filters, or through the use of multispectral and hyperspectral imaging technologies.
Блок оптических сенсоров функционирует на основе методов спектроскопии в инфракрасном (ИК) и/или ультрафиолетовом (УФ) диапазоне спектра. Блок оптических сенсоров позволяет получать дополнительную информацию о компонентах ТКО путем подсветки потока ТКО излучением в заданном диапазоне длин волн излучения и регистрации рассеянного, либо переизлученного потоком ТКО света. Диапазон длин волн излучения и регистрации подбирают исходя из состава поступающего ТКО под конкретные типы материала. Обработку выполняют на основе анализа распределения интенсивности сигнала (яркости излучения) и сравнения интенсивности сигнала в различных диапазонах спектра.The optical sensor unit operates on the basis of spectroscopy methods in the infrared (IR) and / or ultraviolet (UV) spectral range. The block of optical sensors allows obtaining additional information about the components of the TCR by illuminating the TCR flow with radiation in a given range of radiation wavelengths and registering the light scattered or re-emitted by the TCR flow. The wavelength range of radiation and registration is selected based on the composition of the incoming MSW for specific types of material. The processing is performed based on the analysis of the distribution of the signal intensity (radiation brightness) and comparison of the signal intensity in different spectral ranges.
3) Внешние устройства.3) External devices.
В состав комплекса внешних устройств входят сортировочный узел, ленточный конвейер.The complex of external devices includes a sorting unit, a belt conveyor.
Сортировочный узел включает в себя робота с системой захвата и перемещения ТКО 8, а также укомплектованную контейнерами для сброса отобранных фракций ТКО область выгрузки (на схеме, фиг. 1, не показано). Робот оснащен контроллером, через который по локальной линии связи соединен с центральным сервером. В качестве робота может быть использован стандартный быстродействующий дельта-робот, захваты которого можно менять в зависимости от сферы применения и сортируемого продукта. Робот установлен непосредственно над конвейером, что позволяет осуществлять сортировку как минимум в четырех направлениях. Робот работает в области выгрузки, находящейся по ходу движения ленты конвейера за областью распознавания объектов и блоком оптических сенсоров.The sorting unit includes a robot with a system for gripping and moving
Ленточный конвейер оснащен датчиками для определения скорости движения конвейерной ленты. Комплекс можно устанавливать на уже готовые конвейеры, например МСС 50000, или иные на уже существующие мусороперерабатывающие заводы, а также использовать для создания мобильных сортировочных установок. Взаимодействие комплекса с конвейером сводится к получению показаний скорости конвейерной ленты.The belt conveyor is equipped with sensors to detect the speed of the conveyor belt. The complex can be installed on ready-made conveyors, for example, MCC 50,000, or others at already existing waste processing plants, as well as used to create mobile sorting plants. The interaction of the complex with the conveyor is reduced to obtaining readings of the conveyor belt speed.
4) Автоматизированная система управления (АСУ) 5.4) Automated control system (ACS) 5.
В числе прочего оборудования АСУ включает в себя центральный сервер 6 управления и сбора данных и модуль синхронизации 7 работы оборудования.Among other equipment, the ACS includes a central server 6 for control and data collection and a synchronization module 7 for equipment operation.
Центральный сервер соединен по локальной линии связи с компьютером системы машинного зрения, модулем синхронизации, контроллером робота, датчиком измерения скорости движения конвейерной ленты. Также он может быть соединен с системами мониторинга работы ленты конвейера (считывание скорости, состояния ленты), системами мониторинга и управления электропитанием, системой видеомониторинга рабочей области, системами безопасности, обеспечивающими блокировки или аварийное отключение работы ленты и робота, устройствами контроля наполнения контейнеров в области выгрузки. В схеме комплекса (фиг. 1) эти системы не указаны, поскольку они являются внешними по отношению к комплексу, а их наличие/отсутствие и необходимость связи с ними определяется конкретными условиями, в которых работает комплекс.The central server is connected via a local communication line with a computer of the machine vision system, a synchronization module, a robot controller, a sensor for measuring the speed of a conveyor belt. It can also be connected to systems for monitoring the operation of the conveyor belt (reading the speed, condition of the belt), monitoring and power management systems, a video monitoring system of the working area, security systems that provide blocking or emergency shutdown of the belt and the robot, devices for monitoring container filling in the unloading area ... In the scheme of the complex (Fig. 1), these systems are not indicated, since they are external to the complex, and their presence / absence and the need for communication with them are determined by the specific conditions in which the complex operates.
Модуль синхронизации представляет собой устройство, которое через заданные интервалы времени подает на цифровую камеру системы машинного зрения и блок оптических сенсоров электрические синхросигналы. Интервалы времени вычисляются исходя из скорости движения ленты конвейера и задаются центральным сервером (задаются оператором, либо автоматически с использованием соответствующего ПО).The synchronization module is a device that, at specified time intervals, sends electrical sync signals to the digital camera of the machine vision system and the block of optical sensors. The time intervals are calculated based on the speed of the conveyor belt and are set by the central server (set by the operator, or automatically using the appropriate software).
АСУ строится на базе распределенных подсистем сбора данных и управления, каждая подсистема предназначена для контроля и управления отдельной функциональной частью (элементом) комплекса. В числе прочих параметров АСУ получает данные о скорости движения конвейерной ленты, по которой движется поток ТКО. Способ получения информации зависит от устройства самой конвейерной ленты. Например, если лента приводится в движение двигателем, управляемым частотным преобразователем, то скорость может рассчитываться на основе показаний преобразователя. В иных случаях может использоваться, например, датчик скорости вращения приводного вала конвейера или магниточувствительный датчик с установкой на ленте магнитных шайб - меток. В случае, если датчик выдает токовый сигнал или сигнал по напряжению в аналоговом виде, подключение к серверу для считывания сигнала выполняется с использованием АЦП.ACS is built on the basis of distributed data collection and control subsystems, each subsystem is designed to control and manage a separate functional part (element) of the complex. Among other parameters, the ACS receives data on the speed of the conveyor belt along which the MSW flow moves. The way information is obtained depends on the design of the conveyor belt itself. For example, if the belt is driven by a motor controlled by a frequency converter, then the speed can be calculated based on the readings of the converter. In other cases, it can be used, for example, a sensor of the rotation speed of the drive shaft of the conveyor or a magnetically sensitive sensor with magnetic washers - marks installed on the tape. If the sensor generates a current signal or a voltage signal in analog form, the connection to the server for reading the signal is performed using the ADC.
Вся информация поступает по каналам передачи данных в центральный сервер управления и сбора данных, команды управления поступают из центрального сервера.All information goes through data transmission channels to the central server for control and data collection, control commands are received from the central server.
На центральном сервере установлено прикладное ПО, содержащее вычислительные блоки, предназначенные для обработки и преобразования данных, получаемых от компьютера системы машинного зрения, контроллера робота, конвейерной ленты и модуля синхронизации, и управления перемещениями робота на основе получаемых данных.On the central server, application software is installed containing computing units designed to process and transform data received from a computer vision system, a robot controller, a conveyor belt and a synchronization module, and to control the movements of the robot based on the received data.
В случае, если используется несколько узлов сортировки, то центральный сервер выполняет управление всеми узлами, в том числе несколькими роботами, а модуль синхронизации задает частоту и временные задержки срабатывания для камер во всех системах машинного зрения и блоках оптических сенсоров. При этом для обработки данных от камер используется один компьютер, на котором может одновременно функционировать несколько экземпляров ПО на основе нейронных сетей и несколько программных модулей для обработки данных от блоков оптических сенсоровIf several sorting nodes are used, then the central server controls all nodes, including several robots, and the synchronization module sets the frequency and time delays for cameras in all machine vision systems and optical sensor units. At the same time, one computer is used to process data from cameras, on which several instances of software based on neural networks and several software modules for processing data from blocks of optical sensors can function simultaneously
Принцип работы комплекса.The principle of the complex operation.
ТКО по конвейерной ленте проходят последовательно область распознавания объектов (область визирования цифровой камерой), область работы блока оптических сенсоров и область выгрузки (область работы робота).MSW on the conveyor belt sequentially pass the object recognition area (sighting area with a digital camera), the optical sensor unit operation area and the unloading area (robot operation area).
Первоначально ТКО поступают по конвейерной ленте в область распознавания объектов. Цифровая камера выполняет регистрацию изображений объектов ТКО с заданной частотой, определяемой внешним синхроимпульсом, подаваемым на вход камеры от модуля синхронизации.Initially, MSW is transported along a conveyor belt to the object recognition area. The digital camera registers images of MSW objects at a given frequency determined by an external sync pulse supplied to the camera input from the synchronization module.
Регистрируемые камерой изображения по локальной линии связи передаются на компьютер системы машинного зрения для обработки в программном модуле распознавания образов на основе сверточной нейронной сети с отдельной ветвью (так называемой нейронной сети выделения областей). Программный модуль распознавания образов на основе сверточной нейронной сети выполняет обработку изображений с зарегистрированными на них объектами ТКО, выделяет объекты на изображениях, их идентифицирует и классифицирует, и предоставляет на выход список объектов, обнаруженных на изображении, с указанием их класса, и соответствующий ему список координат прямоугольных рамок, в которые вписаны найденные объекты.The images recorded by the camera are transmitted via the local communication line to the computer of the machine vision system for processing in the software module for image recognition based on a convolutional neural network with a separate branch (the so-called neural network for selecting areas). The image recognition software module based on a convolutional neural network performs image processing with TCR objects registered on them, selects objects in images, identifies and classifies them, and provides an output with a list of objects detected in the image, indicating their class, and the corresponding list of coordinates rectangular frames in which the found objects are inscribed.
На фиг. 2 представлена схема обработки изображений программным модулем распознавания образов с использованием нейросетевого алгоритма, где:FIG. 2 shows a diagram of image processing by a software module for pattern recognition using a neural network algorithm, where:
9 - входные данные (изображения объектов ТКО);9 - input data (images of MSW objects);
10 - сверточная нейронная сеть;10 - convolutional neural network;
11 - нейронная сеть выделения областей объектов;11 - neural network for selecting areas of objects;
12 - слой преобразования координат областей из изображения на карты признаков;12 - layer of transformation of the coordinates of areas from the image to feature maps;
13 - первая полносвязная нейронная сеть;13 - the first fully connected neural network;
14 - вторая полносвязная нейронная сеть;14 - the second fully connected neural network;
15 - полносвязная нейронная сеть классификации типов объектов (с softmax-активацией);15 - fully connected neural network for classifying object types (with softmax activation);
16 - полносвязная нейронная сеть регрессии положения областей объектов;16 - fully connected neural network for regression of the position of object regions;
17 - список классов объектов;17 - list of object classes;
18 - список координат областей объектов.18 - list of coordinates of object areas.
Входными данными являются изображения с зарегистрированными на них объектами (ТКО). Изображения масштабируются и поступают на вход сверточной нейронной сети.Input data are images with registered objects (TCO). The images are scaled and fed to the input of the convolutional neural network.
Сверточной нейронной сетью формируется карта признаков (features).A convolutional neural network generates a feature map.
Нейронной сеть выделения областей объектов выделяет на изображении регионы и выдает вероятности нахождения объекта в этих регионах, а также поправки к размеру данных регионов и смещению их центра.The neural network for selecting areas of objects selects regions in the image and gives the probabilities of finding an object in these regions, as well as corrections to the size of these regions and the displacement of their center.
Слоем преобразования координат областей из изображения на карты признаков «области интереса» (Regionsofinterest, RoI) преобразуются из координат изображения в координаты на карте признаков.The layer of transforming the coordinates of the areas from the image to the feature maps "areas of interest" (Regions of interest, RoI) are converted from the coordinates of the image to the coordinates on the feature map.
Вектор признаков, сформированный сверточной нейронной сетью, совместно с RoI, преобразованного в координаты карт признаков, проходит последовательность из двух полносвязных сетей, которые выполняют задачу уменьшения размерности данных.The feature vector generated by the convolutional neural network, together with the RoI converted to the coordinates of feature maps, passes through a sequence of two fully connected networks that perform the task of reducing the data dimension.
Выходной вектор признаков второй полносвязной сети параллельно подается на два других полносвязных слоя: слой с softmax-активацией для определения принадлежности RoI одному из классов объектов, слой регрессии для уточнения координат прямоугольной рамки, определяющей границы объекта.The output feature vector of the second fully connected network is fed in parallel to two other fully connected layers: a softmax-activated layer to determine whether RoI belongs to one of the object classes, a regression layer to refine the coordinates of a rectangular frame defining the object's boundaries.
Результаты обработки передаются в программный модуль формирования списка объектов для подбора.The processing results are transferred to the software module for generating a list of objects for selection.
Далее по конвейерной ленте ТКО попадают в область работы блока оптических сенсоров.Further, along the conveyor belt, the MSW enter the area of operation of the block of optical sensors.
В области работы этого блока поток ТКО подсвечивается излучением в заданном диапазоне длин волн, а регистрация излучения осуществляется несколькими камерами-регистраторами (двумя и более), снабженными светофильтрами на различные диапазоны длин волн, либо мультиспектральной или гиперспектральной камерой. Камеры-регистраторы выполняют регистрацию с заданной частотой, определяемой внешним синхроимпульсом. Регистрируемые изображения по локальной линии связи передаются на компьютер системы машинного зрения для обработки в программном модуле обработки данных блока оптических сенсоров, который выполняет анализ распределения интенсивности сигнала (яркости излучения) на изображениях и сравнение интенсивности сигнала в различных диапазонах спектра.In the area of operation of this unit, the TCR flux is illuminated by radiation in a given wavelength range, and the radiation is recorded by several recording cameras (two or more) equipped with light filters for different wavelength ranges, or a multispectral or hyperspectral camera. Recorder cameras perform registration at a predetermined frequency determined by an external sync pulse. The recorded images are transmitted via the local communication line to the computer of the machine vision system for processing in the software module for processing the data of the optical sensor unit, which analyzes the distribution of the signal intensity (radiation brightness) in the images and compares the signal intensity in different spectral ranges.
Результаты передаются в программный модуль формирования списка объектов для подбора.The results are transferred to the software module for generating a list of objects for selection.
В программном модуле формирования списка объектов подбора расположение областей с выявленным присутствием заданных материалов, полученных от программного модуля обработки данных блока оптических сенсоров, сопоставляются с координатами рамок, описанных вокруг объектов, полученных от программного модуля распознавания образов на основе сверточной нейронной сети.In the software module for generating a list of selection objects, the location of areas with the detected presence of specified materials received from the software module for processing data of the optical sensor unit is compared with the coordinates of the frames described around the objects received from the software module for pattern recognition based on a convolutional neural network.
Результаты в виде списка объектов с их описанием (положение, границы прямоугольной рамки, в которую вписан объект, тип объекта, тип материала) по локальной линии связи передаются на центральный сервер для обработки в программном модуле планирования перемещений робота.The results in the form of a list of objects with their description (position, boundaries of the rectangular frame in which the object is inscribed, type of object, type of material) are transmitted via the local communication line to the central server for processing in the robot movement planning software module.
Программный модуль планирования перемещений робота получает данные от программного модуля формирования списка объектов для подбора, датчиков скорости конвейерной ленты, контроллера робота.The software module for planning the movements of the robot receives data from the software module for generating a list of objects for selection, conveyor belt speed sensors, and the robot controller.
Программный модуль планирования перемещений робота рассчитывает координаты, в которых должен быть выполнен подбор каждого из идентифицированных объектов, на основании текущего положения манипулятора робота, известных характеристик работы робота таких, как скорость перемещения и необходимое на осуществление подбора время, положения и размеров рамок, описывающих каждый идентифицированный объект на конвейерной ленте в момент регистрации камерой системы машинного зрения, и скорости перемещения ленты.The robot movement planning software module calculates the coordinates in which the selection of each of the identified objects should be performed, based on the current position of the robot manipulator, the known characteristics of the robot's operation, such as the movement speed and the time, position and size of the frames that describe each identified an object on a conveyor belt at the time the camera registers the machine vision system, and the speed of the belt.
Программный модуль планирования перемещений робота определяет очередность подбора объектов и формирует последовательность команд на перемещение робота.The program module for planning the movements of the robot determines the sequence of the selection of objects and generates a sequence of commands to move the robot.
Робот осуществляет подбор объектов и перемещение их в контейнеры, соответствующие типу объекта, в области выгрузки. Фактически робот из общего потока мусора откидывает в заданных направлениях несколько основных фракций, выделение которых требует присутствия человека, данные фракции попадают в контейнеры и в дальнейшем, при необходимости, их можно досортировывать.The robot picks up objects and moves them to containers corresponding to the type of object in the unloading area. In fact, from the general flow of garbage, the robot throws several main fractions in the given directions, the separation of which requires the presence of a person, these fractions fall into containers and later, if necessary, can be sorted.
Синхронизацию работы систем выполняет модуль синхронизации за счет вычисления времени, за которое объект преодолевает расстояние от одной рабочей области до другой. Вычисление выполняется с использованием данных о скорости движения конвейерной ленты, поступающих в АСУ.The synchronization of the systems is performed by the synchronization module by calculating the time it takes for the object to cover the distance from one work area to another. The calculation is performed using the data on the speed of the conveyor belt entering the ACS.
Базовая технология автоматической сортировки, архитектура сортировочного комплекса и программное обеспечение (ПО) являются сенсоро- и продуктонезависимыми, что дает возможность оперативно реагировать на изменяющийся состав ТКО, «на ходу» перенастраивая сортировочный комплекс на отбор других фракций при изменении их соотношения в ТКО. Так, при смене сортируемого продукта, (например, с ТКО на строительный мусор) или требований к сортировке (не просто выделение пластика, а разделение его по типам, например, полиэтилен, полипропилен и пр.) необходимо внести незначительные изменения, например, замена сенсора, замена захватов робота, переобучение ПО распознавания образов. Это позволяет использовать комплекс в нескольких смежных областях (продавать на нескольких смежных рынках), снижая себестоимость производства за счет унификации программного и аппаратного обеспечения.The basic technology of automatic sorting, the architecture of the sorting complex and software (software) are sensor- and product-independent, which makes it possible to quickly respond to the changing composition of MSW, "on the fly" reconfiguring the sorting complex to select other fractions when their ratio in MSW changes. So, when changing the sorted product (for example, from MSW to construction waste) or sorting requirements (not just the separation of plastic, but its division by type, for example, polyethylene, polypropylene, etc.), minor changes must be made, for example, replacing the sensor , replacement of robot grippers, retraining of software for pattern recognition. This allows the complex to be used in several adjacent areas (to sell in several adjacent markets), reducing production costs by unifying software and hardware.
Качество классификации, указанной модели нейронной сети, дообученной на целевых объектах мусора, было протестировано на реальных 729 изображениях с объектами мусора, которые также собирались во время создания библиотеки и были размечены вручную (фиг. 3, 4, 5, 6).The quality of the classification, indicated by the neural network model, retrained on the target garbage objects, was tested on real 729 images with garbage objects, which were also collected during library creation and were marked up manually (Figs. 3, 4, 5, 6).
Определение объектов лучше всего происходит на чистом фоне с малым перекрытием друг друга как в примере изображений детектирования объектов на фиг. 3, 4, 5, 6 где зеленые прямоугольники на изображении с префиксом "GT_" в классе объекта обозначают базовую («верную») локализацию объектов размеченных вручную. В данном случае не была определена только одна PET бутылка (фиг. 3), находящаяся внутри объекта HDPE канистры.Object detection is best done against a clean background with little overlap, as in the example of object detection images in FIG. 3, 4, 5, 6 where green rectangles in the image with the "GT_" prefix in the object class indicate the base ("correct") localization of manually marked objects. In this case, only one PET bottle (FIG. 3) was not identified within the HDPE canister object.
На фиг. 7 и 8 - пример видов ошибочного детектирования объектов. На фиг. 6 - объединение нескольких объектов в один. На фиг. 7 - принятие монотонных объектов за HDPE.FIG. 7 and 8 are examples of types of erroneous detection of objects. FIG. 6 - combining several objects into one. FIG. 7 - acceptance of monotonous objects for HDPE.
Для количественной оценки качества детектирования нейросетевым алгоритмом были проведены оценки на основе общепринятой метрики шАР (meanAveragePrecision), с использованием значения IoU (IntersectionoverUnion). Результаты классификации для трех классов объектов (PET (ПЭТ-бутылка); HDPE (емкость из полиэтилена высокой плотности); ALLUM (банка алюминиевая)) приводится на фиг. 9, где F (false) - доля неверно классифицированных отмеченных объектов; Т (true) - доля верно классифицированных отмеченных объектов.For a quantitative assessment of the quality of detection by the neural network algorithm, estimates were made based on the generally accepted metric of ball (meanAveragePrecision), using the IoU value (IntersectionoverUnion). The classification results for the three classes of objects (PET (PET bottle); HDPE (high density polyethylene container); ALLUM (aluminum can)) are shown in FIG. 9, where F (false) is the proportion of incorrectly classified marked objects; Т (true) - the proportion of correctly classified marked objects.
На фиг. 10 показано итоговые количественные метрики испытаний качества детектирования реализованного алгоритма для каждого класса в отдельности на базе значения АР и для всех объектов в целом по значению mAP. Для класса ALLUM значения точности классификации достаточно высоки (близки к 100%), однако значительная часть всех алюминиевых банок не определяется на реальных изображениях, поэтому значение АР для этого класса самое низкое (74%). Средняя достигнутая точность детектирования по всем трем классам mAP=82,21%.FIG. 10 shows the final quantitative metrics of testing the detection quality of the implemented algorithm for each class separately based on the AP value and for all objects in general based on the mAP value. For the ALLUM class, the classification accuracy values are quite high (close to 100%), however, a significant part of all aluminum cans are not detected in real images, therefore the AP value for this class is the lowest (74%). The average achieved detection accuracy for all three classes mAP = 82.21%.
Снять ограничение по скорости, присущее всем аналогам, позволяет использование более производительной схемы обработки изображений. Использование для детектирования объектов отдельной ветви нейронной сети (т.н. нейронной сети выделения областей) позволяет, примерно в 10 раз, ускорить обработку, не снижая качества идентификации и классфикации объектов.The speed limitation inherent in all analogs can be removed by using a more efficient image processing scheme. The use of a separate branch of the neural network for object detection (the so-called neural network for selecting areas) allows, approximately 10 times, to speed up the processing without reducing the quality of identification and classification of objects.
Claims (9)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019138218A RU2731052C1 (en) | 2019-11-26 | 2019-11-26 | Robot automatic system for sorting solid municipal waste based on neural networks |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019138218A RU2731052C1 (en) | 2019-11-26 | 2019-11-26 | Robot automatic system for sorting solid municipal waste based on neural networks |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2731052C1 true RU2731052C1 (en) | 2020-08-28 |
Family
ID=72421468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019138218A RU2731052C1 (en) | 2019-11-26 | 2019-11-26 | Robot automatic system for sorting solid municipal waste based on neural networks |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2731052C1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113083703A (en) * | 2021-03-10 | 2021-07-09 | 浙江博城机器人科技有限公司 | Control method of garbage sorting robot based on unmanned navigation |
| RU2755876C1 (en) * | 2020-11-17 | 2021-09-22 | Федеральное государственное бюджетное учреждение науки Институт теплофизики им. С.С. Кутателадзе Сибирского отделения Российской академии наук | Method for optimising robotic sorting of msw by means of dynamic planning of the movements of the sorter robot |
| RU2782408C1 (en) * | 2021-12-07 | 2022-10-26 | федеральное государственное автономное образовательное учреждение высшего образования "Пермский национальный исследовательский политехнический университет" | Automated complex for sorting used containers |
| WO2024196274A1 (en) * | 2023-03-23 | 2024-09-26 | Общество с ограниченной ответственностью "Чистая Среда-ЭКОБОТ" | Hardware and software system for automatically sorting solid waste |
| CN118976715A (en) * | 2024-10-19 | 2024-11-19 | 南通海济环保科技有限公司 | Solid waste classification control system based on multi-sensor recognition |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2164817C1 (en) * | 1999-09-17 | 2001-04-10 | Лумельский Вячеслав Александрович | Method of processing solid garbage and industrial wastes and production flow line for its embodiment |
| RU62038U1 (en) * | 2006-05-29 | 2007-03-27 | Георгий Георгиевич Лунев | TECHNOLOGICAL SYSTEM FOR SELECTION AND SORTING OF CONDITIONAL INSTALLATION EQUIPMENT OF SECONDARY CONSTRUCTION RESOURCES AT THE STAGE OF RECONSTRUCTION OF OBJECTS |
| RU120021U1 (en) * | 2012-04-02 | 2012-09-10 | федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Пермский национальный исследовательский политехнический университет" | PLANT FOR SORTING MIXED WASTE |
| WO2015158962A1 (en) * | 2014-04-17 | 2015-10-22 | Zenrobotics Oy | A material sorting unit, a system and a method for sorting material |
| KR101942219B1 (en) * | 2018-07-05 | 2019-01-24 | 고재성 | Apparatus and method for waste image identification using convolution neural network |
-
2019
- 2019-11-26 RU RU2019138218A patent/RU2731052C1/en active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2164817C1 (en) * | 1999-09-17 | 2001-04-10 | Лумельский Вячеслав Александрович | Method of processing solid garbage and industrial wastes and production flow line for its embodiment |
| RU62038U1 (en) * | 2006-05-29 | 2007-03-27 | Георгий Георгиевич Лунев | TECHNOLOGICAL SYSTEM FOR SELECTION AND SORTING OF CONDITIONAL INSTALLATION EQUIPMENT OF SECONDARY CONSTRUCTION RESOURCES AT THE STAGE OF RECONSTRUCTION OF OBJECTS |
| RU120021U1 (en) * | 2012-04-02 | 2012-09-10 | федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Пермский национальный исследовательский политехнический университет" | PLANT FOR SORTING MIXED WASTE |
| WO2015158962A1 (en) * | 2014-04-17 | 2015-10-22 | Zenrobotics Oy | A material sorting unit, a system and a method for sorting material |
| KR101942219B1 (en) * | 2018-07-05 | 2019-01-24 | 고재성 | Apparatus and method for waste image identification using convolution neural network |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2755876C1 (en) * | 2020-11-17 | 2021-09-22 | Федеральное государственное бюджетное учреждение науки Институт теплофизики им. С.С. Кутателадзе Сибирского отделения Российской академии наук | Method for optimising robotic sorting of msw by means of dynamic planning of the movements of the sorter robot |
| CN113083703A (en) * | 2021-03-10 | 2021-07-09 | 浙江博城机器人科技有限公司 | Control method of garbage sorting robot based on unmanned navigation |
| RU2782408C1 (en) * | 2021-12-07 | 2022-10-26 | федеральное государственное автономное образовательное учреждение высшего образования "Пермский национальный исследовательский политехнический университет" | Automated complex for sorting used containers |
| RU2806224C1 (en) * | 2022-12-21 | 2023-10-30 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный аграрный университет" | Waste sorting method |
| RU2814860C1 (en) * | 2023-03-23 | 2024-03-05 | Общество с ограниченной ответственностью "Чистая Среда-ЭКОБОТ" | Software and hardware complex for automatic sorting of solid wastes |
| WO2024196274A1 (en) * | 2023-03-23 | 2024-09-26 | Общество с ограниченной ответственностью "Чистая Среда-ЭКОБОТ" | Hardware and software system for automatically sorting solid waste |
| RU2814861C1 (en) * | 2023-04-04 | 2024-03-05 | Общество с ограниченной ответственностью "Чистая Среда-ЭКОБОТ" | Sorted object storage system |
| RU2815930C1 (en) * | 2023-04-14 | 2024-03-25 | Общество с ограниченной ответственностью "Чистая Среда-ЭКОБОТ" | Robotic module for sorting solid household wastes |
| RU2802315C1 (en) * | 2023-04-19 | 2023-08-24 | Общество С Ограниченной Ответственностью "Молодая, Динамично Развивающаяся Компания" | Method for detecting and classification of solid municipal waste |
| CN118976715A (en) * | 2024-10-19 | 2024-11-19 | 南通海济环保科技有限公司 | Solid waste classification control system based on multi-sensor recognition |
| RU2848785C1 (en) * | 2025-05-04 | 2025-10-21 | Общество с ограниченной ответственностью "Производственно-коммерческая фирма "Оптима-Эксперт" | Method for processing construction element using robotic complex |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2731052C1 (en) | Robot automatic system for sorting solid municipal waste based on neural networks | |
| US12371254B2 (en) | Systems and methods for detecting waste receptacles | |
| Sampedro et al. | A supervised approach to electric tower detection and classification for power line inspection | |
| US12131524B2 (en) | Systems and methods for optical material characterization of waste materials using machine learning | |
| KR102704880B1 (en) | System for inspecting product defects by type based on a deep learning model | |
| CN107944504B (en) | Board recognition and machine learning method and device for board recognition and electronic equipment | |
| CN109271934A (en) | System and method for Traffic Sign Recognition | |
| CN114708295A (en) | Logistics package separation method based on Transformer | |
| AU2019377262B2 (en) | Milk analyser for classifying milk | |
| Moirogiorgou et al. | Intelligent robotic system for urban waste recycling | |
| CN118968375A (en) | Intelligent garbage delivery and transfer method, system and device | |
| CN116901089A (en) | A multi-angle sight range robot control method and system | |
| JPH02189691A (en) | Device for recognizing object | |
| Han et al. | Learning for tower detection of power line inspection | |
| Omar et al. | Multimedia inorganic waste separator | |
| CN114581840A (en) | A Computer Vision-Based Model of an Automatic Sorting System for Security Violation Videos | |
| Selvam et al. | Psdnet: A breakthrough parking space detection network powered by yolov8 | |
| WO2023143704A1 (en) | System and method for identification of objects and prediction of object class | |
| US20240302289A1 (en) | Virtual color sensor for recognizing and distinguishing different-colored objects and in particular containers | |
| Kazakievich et al. | Optical-Electronic System for Apple Sorting Line: Development and Implementation | |
| Simon et al. | Object classification with simple visual attention and a hierarchical neural network for subsymbolic-symbolic coupling | |
| RU2782408C1 (en) | Automated complex for sorting used containers | |
| Smruthi et al. | Hardware Implementation of Machine Vision System for Component Detection | |
| RU2794708C2 (en) | Milk analyser for milk classification | |
| EP4645257A1 (en) | Classifying an object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| QB4A | Licence on use of patent |
Free format text: LICENCE FORMERLY AGREED ON 20211021 Effective date: 20211021 |