RU2737607C1

RU2737607C1 - Method for optical inspection of quality of agricultural products of ball-shaped shape at sorting on conveyor

Info

Publication number: RU2737607C1
Application number: RU2020113420A
Authority: RU
Inventors: Александр Георгиевич Дивин; Павел Владимирович Балабанов; Андрей Сергеевич Егоров; Галина Викторовна Шишкина; Александра Александровна Жиркова
Priority date: 2020-04-13
Filing date: 2020-04-13
Publication date: 2020-12-01

Abstract

FIELD: food industry.

SUBSTANCE: invention relates to methods of vegetables and fruits quality control during their sorting on conveyor. Sorted objects of agricultural products of spherical shape are made translational movement on roller conveyor and simultaneously rotate. Optical radiation sources are used for optical action on objects. Using the rotary mirror, the light reflected from the control object surface is focused on sensitive elements of the hyperspectral camera with a line of optical sensors. Obtained hyperspectral image of the object is compared to a database containing a plurality of images. Rotation of the mirror is matched with coordinates of the object on the conveyor during the time during which the object completes a complete revolution.

EFFECT: technical result consists in providing the possibility of increasing the reliability of results of optical control of agricultural products of ball-shaped shape, transported on conveyor.

1 cl, 1 dwg

Description

Изобретение относится к способам контроля качества овощей и фруктов при их сортировке на конвейере.The invention relates to methods for controlling the quality of vegetables and fruits during their sorting on a conveyor.

Известен способ мониторинга сельскохозяйственной продукции во время обработки и производства (Патент США US 9870505 В2), который использует гиперспектральную визуализацию и включает сканирование, по меньшей мере, одной области вдоль образца сельскохозяйственного продукта с использованием, по меньшей мере, одного источника света с одной или разными длинами волн; генерирование гиперспектральных изображений, по меньшей мере, из одной области; определение спектрального отпечатка для образца сельскохозяйственного продукта по гиперспектральным изображениям и сравнение полученного таким образом спектрального отпечатка с базой данных, содержащей множество спектральных отпечатков, полученных в различных точках производственного процесса, чтобы определить, к какой точке производственного процесса относится образец.There is a known method for monitoring agricultural products during processing and production (US Patent US 9870505 B2), which uses hyperspectral imaging and includes scanning at least one area along a sample of agricultural products using at least one light source with one or different wavelengths; generating hyperspectral images from at least one area; determining a spectral fingerprint for a sample of an agricultural product from hyperspectral images; and comparing the spectral fingerprint thus obtained with a database containing a plurality of spectral fingerprints obtained at various points in the production process in order to determine to which point in the production process the sample belongs.

К недостатку этого способа относится низкая достоверность результатов при сортировке на конвейере за счет того, что сканирование и получение гиперспектрального изображения образца осуществляют только для одной его поверхности, в то время как дефекты могут быть расположены на противоположной поверхности, невидимой гиперспектральной камере.The disadvantage of this method is the low reliability of the results when sorting on a conveyor due to the fact that scanning and obtaining a hyperspectral image of the sample is carried out only for one of its surface, while the defects can be located on the opposite surface, invisible to the hyperspectral camera.

Известен способ обнаружения посторонних веществ в потоке сельскохозяйственной продукции с использованием гиперспектральной визуализации (Патент США US9886631 B2), который включает в себя транспортировку потока продукта через контрольный участок; сканирование области потока сельскохозяйственной продукции, когда он проходит через контрольный участок, с использованием, по меньшей мере, одного источника света с одной или разными длинами волн; генерирование гиперспектральных изображений из отсканированной области; определение спектрального отпечатка для потока сельскохозяйственной продукции по гиперспектральным изображениям; сравнение полученного спектрального отпечатка с базой данных, содержащей множество отпечатков, чтобы определить, присутствует ли постороннее вещество, и, если оно присутствует, генерировать управляющий сигнал; и удаление части загрязненного потока транспортируемого продукта. There is a known method of detecting foreign matter in the flow of agricultural products using hyperspectral imaging (US Patent US9886631 B2), which includes transporting the product flow through a control area; scanning the area of the flow of agricultural products as it passes through the test area using at least one light source with the same or different wavelengths; generation of hyperspectral images from the scanned area; determination of the spectral fingerprint for the flow of agricultural products from hyperspectral images; comparing the obtained spectral fingerprint with a database containing a plurality of fingerprints to determine if a foreign substance is present and, if present, generate a control signal; and removing a portion of the contaminated product stream being transported.

Основным недостатком этого способа является то, что он предусматривает удаление из продукции загрязнений или посторонних веществ, но не позволяет обнаружить дефекты на всей поверхности объекта контроля.The main disadvantage of this method is that it provides for the removal of impurities or foreign substances from the product, but does not allow detecting defects on the entire surface of the test object.

Наиболее близким техническим решением, принятым за прототип, является гиперспектральный метод линейного сканирования всей поверхности круглой сельскохозяйственной продукции (Insuck Baek, Byoung-Kwan Cho, Stephen A. Gadsden, Charles Eggleton, Mirae Oh, Changyeun Mo, Moon S. Kim A novel hyperspectral line-scan imaging method for whole surfaces of round shaped agricultural products / BiosystemsEngineering, Volume 188, December 2019, Pages 57-66). Система включает в себя внешний оптический узел из четырех зеркал для просмотра вращающегося круглого объекта с двух противоположных сторон и проецирования комбинированного изображения двух видов на апертуру гиперспектральной камеры. Это позволяет визуализировать всю поверхность круглого объекта для обнаружения дефектов, расположенных на любой части этой поверхности. Для получения двух видов сбоку, которые включают в себя области вокруг полюсов, конструкция требует учета расстояния от внутренних зеркал до наружных зеркал и углов наклона наружных зеркал. Оптимальное расстояние между зеркалами 171,6 мм и угол зеркала 13,24 были определены с помощью последовательного квадратичного программирования.The closest technical solution adopted for the prototype is the hyperspectral method of linear scanning of the entire surface of round agricultural products (Insuck Baek, Byoung-Kwan Cho, Stephen A. Gadsden, Charles Eggleton, Mirae Oh, Changyeun Mo, Moon S. Kim A novel hyperspectral line -scan imaging method for whole surfaces of round shaped agricultural products / BiosystemsEngineering, Volume 188, December 2019, Pages 57-66). The system includes an external optical assembly of four mirrors for viewing a rotating circular object from two opposite sides and projecting a combined image of two views onto the aperture of a hyperspectral camera. This allows you to visualize the entire surface of a circular object to detect defects located on any part of this surface. To obtain two side views that include the areas around the poles, the design requires consideration of the distance from the interior mirrors to the exterior mirrors and the tilt angles of the exterior mirrors. The optimum mirror spacing of 171.6 mm and the mirror angle of 13.24 were determined using sequential quadratic programming.

К недостатку этого способа относится невозможность его применения для контроля качества потока объектов на конвейере, поскольку способ не предусматривает поступательного перемещения объекта в процессе контроля.The disadvantage of this method is the impossibility of its application to control the quality of the flow of objects on the conveyor, since the method does not provide for the translational movement of the object during the control process.

Техническая задача изобретения - повышение достоверности результатов оптического контроля сельскохозяйственной продукции шарообразной формы, транспортируемой на конвейере, за счет согласованного поворота зеркала, отражающего изображение объекта контроля на апертуру гиперспектральной камеры, с положением объекта на конвейере, что позволяет контролировать всю поверхность объекта, совершающего одновременно поступательное и вращательное движение.The technical problem of the invention is to increase the reliability of the results of optical control of spherical agricultural products transported on a conveyor due to the coordinated rotation of the mirror reflecting the image of the controlled object onto the aperture of the hyperspectral camera, with the position of the object on the conveyor, which makes it possible to control the entire surface of the object simultaneously rotary motion.

Функциональная схема системы оптического контроля качества представлена на фиг. 1.The functional diagram of the optical quality control system is shown in Fig. one.

Сущность изобретения заключается в том, что сортируемые объекты сельскохозяйственной продукции круглой формы 2 совершают поступательное перемещение вдоль оси х на рольганговом конвейере 1 и одновременно вращаются. Для оптического воздействия на объекты используются источники оптического излучения, расположенные по обе стороны от конвейера (на фиг. 1 не показаны). При помощи поворотного зеркала 5 отраженный от поверхности объекта контроля свет фокусируется на чувствительных элементах гиперспектральной камеры 4 с линейкой оптических сенсоров. Поворот зеркала согласован с координатами объекта на конвейере в течение времени, за которое он совершит полный оборот. Это время рассчитывается по среднему диаметру объекта, скорости протяжки роликов, а также по их геометрическим параметрам. Для определения координат, а также среднего диаметра объекта контроля используется камера 3 видимого диапазона спектра. Изменение положения зеркала (угла поворота к оси х) осуществляется приводом 6, подключенным к системе управления 8 и персональному компьютеру 9. Несоответствующие объекты отбраковываются с конвейера манипулятором 7.The essence of the invention lies in the fact that the sorted objects of agricultural products of a circular shape 2 make translational movement along the x- axis on a roller conveyor 1 and rotate at the same time. For optical impact on objects, sources of optical radiation are used, located on both sides of the conveyor (not shown in Fig. 1). By means of a rotating mirror 5, the light reflected from the surface of the test object is focused on the sensitive elements of the hyperspectral camera 4 with a line of optical sensors. The mirror rotation is coordinated with the coordinates of the object on the conveyor during the time during which it will complete a complete revolution. This time is calculated by the average diameter of the object, the speed of the rollers, as well as by their geometric parameters. To determine the coordinates, as well as the average diameter of the test object, camera 3 of the visible spectrum range is used. Changing the position of the mirror (the angle of rotation to the x- axis) is carried out by the drive 6 connected to the control system 8 and the personal computer 9. Inappropriate objects are rejected from the conveyor by the manipulator 7.

Таким образом, заявляемый способ обеспечивает возможность оптического контроля всей поверхности сельскохозяйственной продукции шарообразной формы, совершающей как поступательное, так и вращательное движение на конвейере. Способ может применяться для сортировки сельскохозяйственной продукции шарообразной формы, в частности яблок, картофеля и т.п. с целью обнаружения несоответствующей по цвету, форме, размеру продукции, а также продукции, содержащей дефекты, вызванные фитозаболеваниями, повреждениями вредителями, механическими воздействиями и т.д.Thus, the claimed method provides the possibility of optical control of the entire surface of agricultural products of a spherical shape, performing both translational and rotary motion on a conveyor. The method can be used for sorting agricultural products in a spherical shape, in particular apples, potatoes, etc. in order to detect products that are inappropriate in color, shape, size, as well as products containing defects caused by phyto-diseases, damage by pests, mechanical influences, etc.

Claims

A method for optical quality control of agricultural products of a spherical shape during sorting on a conveyor, which consists in providing an optical effect on a rotating object, measuring optical radiation reflected from a rotating object, focused using a mirror on the sensitive elements of a hyperspectral camera, comparing the obtained hyperspectral image with a database containing many images, characterized in that the change in the angle of rotation of the mirror, reflecting the image of the object to the hyperspectral camera, is coordinated with the coordinates of the object moving in translational motion on the conveyor and with the time interval for which the object will complete a complete revolution.