RU2845922C1 - Способ локализации штрих-кодов на изображении - Google Patents

Abstract

Изобретение относится к области техники для обнаружения штрих-кодов на цифровом изображении, представленном в виде двумерного массива отсчетов яркости. Технический результат заключается в обеспечении робастности локализации к априорно не известной угловой ориентации области со штрих-кодом на изображении. Заявленный способ локализации штрих-кодов на изображении заключается в том, что выполняют захват изображения и сохраняют его в памяти, функционально связанной с устройством захвата изображения, выделяют из изображения обнаруженное и локализованное множество областей-кандидатов штрих-кода, включающих в себя изображения одной или более областей-кандидатов штрих-кода, минимальные размеры таких субизображений определяются ожидаемыми минимальными размерами изображения штрих-кода, при этом для локализации на изображении области со штрих-кодом применяются градиентные фильтры выделения границ и вычисляется средняя интенсивность границ. При этом определяют преимущественную угловую ориентацию изображения α_major, формируют на основе α_major маски первого M ₁ и второго M ₂ линейного градиентного фильтров, причем первый фильтр выполняет вычисление градиента в направлении, перпендикулярном α_major, а второй – в направлении α_major, по изображениям с выхода первого и второго градиентных фильтров формируют первое B ₁ и второе B ₂ бинарные изображения, получают из них результирующее бинарное изображение B как конъюнкцию B ₁ с инверсией B ₂, вычисляют периметры P _i сегментированных бинарных областей на результирующем бинарном изображении В и для периметров, превысивших порог P ₀, определяют внешние ограничивающие прямоугольники. 8 ил.

Description

Изобретение относится к области техники для обнаружения штрих-кодов на цифровом изображении, представленном в виде двумерного массива отсчетов яркости.

Из уровня техники известен способ обнаружения штрих-кодов (патент RU 2764027, опубликовано 12.01.2022, МПК: G06K 7/10 (2006.01), G06T 3/40 (2006.01)). Указанный реализуемый на компьютере способ обнаружения штрих-кодов на цифровом изображении, захваченном камерой и представленном в виде двумерного массива цифрового изображения, включает:

применение фильтра к массиву изображения;

вычисление по меньшей мере одним процессором дискретного преобразования Радона отфильтрованного массива изображения, при этом дискретное преобразование Радона вычисляют для множества дискретных линий в указанном отфильтрованном массиве изображения;

для каждой заданной дискретной линии с заданным наклоном дискретное преобразование Радона вычисляют по меньшей мере одним процессором для набора разных смещений заданной дискретной линии, причем указанный набор смещений меньше, чем удвоенный размер массива изображения;

обнаружение по меньшей мере одним процессором вершинных точек шаблона в выходных данных дискретного преобразования Радона, вычисленного в отношении отфильтрованного массива изображения;

преобразование по меньшей мере одним процессором обнаруженных вершинных точек обратно в дискретные линии в массиве изображения для установления местоположения штрих-кода, присутствующего на цифровом изображении.

Фильтр, применяемый к массиву изображения, представляет собой фильтр обнаружения границ или градиентный фильтр. Дискретное преобразование Радона для заданного наклона вычисляют для набора из N смещений дискретных линий, которые являются ближайшими к центру массива изображения, при этом N – целое число, которое является размером массива. Вычисление дискретного преобразования Радона в отношении отфильтрованного массива изображения выполняют для четырех квадрантов, при этом, например, первый квадрант охватывает наклоны дискретных линий от 0 до 45°, второй квадрант охватывает наклоны дискретных линий от 45 до 90°, третий квадрант охватывает наклоны дискретных линий от -90 до -45°, и четвертый квадрант охватывает наклоны дискретных линий от -45 до 0°. Обнаружение вершинных точек шаблона штрих-кода основано на значениях их интенсивности и дисперсии в выходных данных дискретного преобразования Радона, и/или в котором обнаружение вершинных точек обнаруженного шаблона, например четырехугольного, выполняют посредством нейронной сети. Установление местоположения (т.е. локализация) области штрих-кода, присутствующего на цифровом изображении, включает вычисление разности горизонтальных индексов двух обнаруженных боковых вершинных точек, например левой и правой вершинных точек, в обнаруженном шаблоне.

В случае, если рядом со штрих-кодом присутствуют области или не связанные со штрих-кодом элементы изображения с высокими частотами, то для локализации применяется искусственная нейронная сеть (ИНС). Необходимость обучения ИНС для локализации области со штрих-кодом следует отнести к недостатку способа по патенту RU 2764027.

Применение обученной ИНС для локализации и декодирования штрих-кода предлагается и в заявке на способ и устройство для декодирования штрих-кодов на изображениях (заявка US 20220392244 A1, опубликовано 07.02.2022, МПК: G06V 30/224 (2006.01), G06T 7/00 (2006.01), G06K 9/62 (2006.01), H04N 19/44 (2006.01), H04N19/90 (2006.01), G06V10/42 (2006.01)).

В способе и устройстве для локализации машиносчитываемых знаков в системах цифрового захвата (патент US 9892301 B1, опубликовано 13.02.2018, МПК: G06K 9/00 (2006.01), G06K 7/14 (2006.01)) выполняют захват изображений со штрих-кодами, генерирование набора признаков, чувствительных к ориентации границ, используют первый обученный классификатор для определения того, включает ли набор признаков данные, представляющие штрих-код, и используют N дополнительных обученных классификаторов для определения угла ориентации, связанного со штрих-кодом, причем N>3. При этом по меньшей мере два угла ориентации, связанные со штрих-кодом, определяются с помощью N дополнительных обученных классификаторов. Указанные N дополнительных обученных классификаторов работают с набором признаков, сосредоточенным в области изображения, связанной со штрих-кодом, или вокруг нее. Первый обученный классификатор обучается на основе бинарного решения: присутствует либо отсутствует штрих-код на анализируемом изображении. При этом для обучения данного классификатора применяется линейный регрессор.

Из уровня техники известны и менее вычислительно ёмкие способы локализации на изображении штрих-кодов – без применения ИНС.

В системе и способе для робастного обнаружения одномерных кодов (патент US 8608073 B2, опубликовано 17.12.2013, МПК: G06K 7/00 (2006.01), G06K 19/08 (2006.01)) применяется фильтр для выделения границ. Указанный способ включает:

разделение изображения, захваченного устройством захвата изображения, на множество фрагментов изображений;

определение множества фрагментов изображений, которые содержат по меньшей мере часть штрих-кода, включающее фильтрацию множества фрагментов изображений с использованием параллельного линейного фильтра, включающего квантование пикселей границ, содержащихся в фрагменте изображения, в один из заранее определенного количества элементов разрешения, соответствующих угловому направлению градиента контурных пикселей;

выбор области изображения, содержащей штрих-код и включающей множество фрагментов изображений, которые содержат по меньшей мере часть штрих-кода.

Способ дополнительно предусматривает:

предварительную обработку перед разделением изображения: преобразование изображения из цветного в полутоновое и субдискретизацию изображения до заранее определенного количества пикселей;

преобразование изображения в изображение с обнаружением границ;

предоставление выбранной области изображения декодеру штрих-кода.

Определение множества фрагментов изображений, которые содержат по меньшей мере часть штрих-кода, дополнительно включает:

фильтрацию множества фрагментов изображений с использованием фильтра плотности;

фильтрацию множества фрагментов изображений в соответствии с количеством граничных пиксельных линий в фрагменте изображения.

При этом фильтрация множества фрагментов изображений с использованием фильтра плотности в свою очередь включает:

сравнение количества контурных пикселей, содержащихся в фрагменте изображения, с заранее определенным пороговым значением;

фильтрацию множества фрагментов изображений с помощью линейного фильтра Хафа;

вычисление разложения по сингулярным значениям фрагмента изображения;

вычисление ориентации штрих-кода в фрагменте изображения на основе разложения по сингулярным значениям фрагмента изображения;

фильтрацию множества фрагментов изображений в соответствии с количеством граничных линий в фрагменте изображения, имеющем вычисленную ориентацию штрих-кода;

расчет значимости угловой ориентации;

фильтрацию фрагментов изображений, в которых значимость ориентации меньше заранее определенного порогового значения.

Достоинствами указанного способа являются робастность к смазу изображений штрих-кодов и их угловой ориентации. С целью отделения области изображения непосредственно с линиями кода от прилагающих к ней областей изображения с выраженной высокочастотной составляющей, например, мелкого текста рядом со штрих-кодом, в способе по патенту US 8608073 B2 применяются три дополнительных фильтра:

- фильтр, оценивающий плотность линий,

- каскад фильтров для поиска параллельных линий, ориентированных в секторах с угловыми размерами 45 либо иными,

- линейный фильтр Хафа для поиска прямых линий в фрагменте изображения, а также для шумоподавления.

Необходимость выполнения дополнительных вычислений для реализации трёх дополнительных фильтров можно отнести к недостатку способа.

По совокупности признаков в качестве прототипа выбран патент на методы и системы обработки изображений для распознавания штрих-кодов и/или этикеток продуктов (патент CA 2893387 C, опубликовано 24.12.2019, МПК: G06K 9/18 (2006.01), G06K 9/36 (2006.01), G06Q 10/08 (2012.01)), в котором предложен способ идентификации множества штрих-кодов, связанных с множеством соответствующих этикеток продуктов, причем этикетки продуктов включают в себя один или более штрих-кодов, а также иную информацию, не связанную со штрих-кодом. При этом способ включает:

устройство захвата изображения, фиксирующее изображение множества этикеток продуктов и сохраняющее захваченное изображение в памяти, функционально связанной с устройством захвата изображения;

процессор, функционально связанный с памятью, обнаруживающий и локализующий множество областей-кандидатов штрих-кода внутри захваченного изображения множества этикеток продуктов;

Процессор выделяет из изображения обнаруженное и локализованное множество областей-кандидатов штрих-кода для генерации одного или более соответствующих фрагментов изображения захваченного изображения, включающего в себя изображения одной или более областей-кандидатов штрих-кода, при этом такие субизображения включают в себя область захваченного изображения, определяемую размером обнаруженного штрих-кода в соответствующей области-кандидате штрих-кода, и исключение практически всей другой информации на этикетке продукта, связанной с соответствующим обнаруженным штрих-кодом. Процессор обрабатывает каждый фрагмент изображения с использованием двух или более независимых процессов улучшения качества изображения для генерации модифицированных версий каждой из множества областей-кандидатов штрих-кода и соответствующих обнаруженных штрих-кодов в соответствующих областях-кандидатах штрих-кода. Процессор обрабатывает модифицированные версии каждой из множества областей-кандидатов штрих-кода, используя обработку бинаризованных изображений для декодирования считываемых штрих-кодов, включенных в каждую из модифицированных версий каждой из областей-кандидатов штрих-кода, для генерации численного представления считываемых штрих-кодов и идентификации кандидата на штрих-код области, включая штрих-коды, не декодируемые с использованием бинарной обработки. Для каждой из множества областей-кандидатов штрих-кода, включающих в себя не декодируемый штрих-код, процессор обрабатывает захваченное изображение множества этикеток продуктов для определения областей вспомогательной информации о продукте, включающих в себя большее количество пикселей, чем соответствующая область-кандидат штрих-кода, включающая в себя не декодируемый штрих-код.

При этом (см.§§ [00112]–[00119] описания патента CA 2893387 C) для локализации на изображении области со штрих-кодом применяются градиентные фильтры для выделения вертикально и горизонтально ориентированных границ. В качестве указанных фильтров применяются линейные одномерные цифровые фильтры с масками Прэвитт, с которыми выполняется свёртка исходного изображения. В описании патента отмечается, что для выделения вертикально и горизонтально ориентированных границ могут быть использованы и иные ядра для вычисления градиента. С учетом построенных карт горизонтально и вертикально ориентированных контуров области-кандидаты для одномерного штрих-кода, то есть набор областей с достаточным количеством выделенных контуров, могут быть обнаружены следующим образом. Согласно одному из возможных вариантов осуществления способа обнаружения на изображении областей с кодами, используется комбинация вычисления средней интенсивности контуров, их средней угловой ориентации и морфологической фильтрации (Mishra V., Kapadia H.K., Zaveri T.H., Pinnamaneni B.P. Development of low-cost embedded vision system with a case study on 1D barcode detection // Information and Communication Technology for Intelligent Systems. Smart Innovation, Systems and Technologies: eds. S.Satapathy and A. Joshi. 2019. Vol. 106).

Сначала генерируется исходная двоичная карта, указывающая области с достаточной интенсивностью контуров и предпочтительной – вертикальной или горизонтальной – ориентацией. Например, для обнаружения одномерного штрих-кода, ориентированного горизонтально, то есть для областей, которые могут включать в себя несколько сильных горизонтальных границ, можно применить следующее решающее правило:

(1)

где η₁ и η₂ – некоторые пороги.

Аналогичным образом, указанное решающее правило может быть применено для обнаружения 1-D штрих-кода, ориентированного вертикально, т.е. для областей, которые включают несколько сильных вертикальных границ:

(2)

Для устранения артефактов бинарная карта B(x, y) уточняется с использованием морфологической фильтрации, такой как последовательные дилатация и эрозия, для получения лучшей бинарной карты B'(x, y) с меньшим количеством артефактов бинаризации. Области изображения, в которых B'(x, y) = 1 – это области, которые с высокой долей вероятности содержат одномерный штрих-код (в зависимости от интенсивности границ и их ориентации). Таким образом, можно обнаружить области-кандидаты для одномерного штрих-кода, используя анализ связанных компонентов, чтобы определить, какой набор пикселей принадлежит одной и той же области, и пороговое значение размера этой области, чтобы в дальнейшем выполнить анализ (т.е. декодирование штрих-кода) только в тех областях, которые соответствуют определенным диапазонам размеров с учетом ожидаемых размеров штрих-кода. Результирующее количество таких областей зависит от качества исходного изображения, причем в некоторых изображениях таких областей их может быть несколько, а в некоторых – ни одной. Поскольку для повышения вероятности правильного декодирования предпочтительнее иметь ложноположительные результаты, чем ложноотрицательные (пропуски кода), то обычно для порогов выбирают меньшие значения.

К недостатку способа по патенту CA 2893387 C следует отнести локализацию штрих-кодов, ориентированных приблизительно горизонтально или вертикально (см. выражения (1) и (2), в которых второе условие B(x, y)=1 для не будет выполняться при углах ориентации линий штрих-кода, близких к ±45° и ±135°).

Техническая проблема заключается в том, что реализованный в способе прототипа алгоритм локализации штрих-кода требует преимущественно горизонтального или вертикального расположения области с кодом на изображении.

Технический результат, решаемый созданием заявленного изобретения, заключается в обеспечении робастности к угловой ориентации области с кодом на изображении. При этом для обеспечения указанной робастности к угловой ориентации не требуется выполнения преобразований Хафа или Радона.

Технический результат достигается тем, что к анализируемому изображению I применяют всего два линейных пространственных фильтра выделения границ, первый из которых обеспечивает вычисление градиента в направлении, перпендикулярном преимущественной угловой ориентации всего изображения, а второй – в направлении, перпендикулярном первому. Расчет весовых масок M ₁ и M ₂ указанных пространственных фильтров может быть реализован с помощью линейного оператора для выделения контуров преимущественной угловой ориентации цифрового изображения (Кислицына Т.С., Холопов И.С., Штрунова Е.С. Линейный оператор для выделения на цифровом изображении границ объектов с априорно заданной угловой ориентацией // Вестник Рязанского государственного радиотехнического университета. 2022. №80. С. 171-180), а расчет преимущественной угловой ориентации всего изображения α_major выполнен по двумерным массивам градиентов яркости G _x и G _y по горизонтали и вертикали соответственно (Asatryan D., Egiazarian K., Kurkchiyan V. Orientation estimation with applications to image analysis and registration // Int. J. Information Theories and Applications. 2010. Vol.17, No. 4. P.303-311; Asatryan D.G. Gradient-based technique for image structural analysis and applications // Computer Optics. 2019. Vol.43, No.2. P.245-250).

Для каждого пикселя первого I ₁ и второго изображений I ₂ с выходов первого и второго фильтров,

I 1 = I ⊗ M 1, I 2 = I ⊗ M 2,

(3)

где ⊗ – обозначение операции свёртки, вычисляют абсолютное значение (модуль) градиента. Далее первое и второе изображения с абсолютными значениями градиента подвергаются линейной низкочастотной фильтрации, например, с помощью вычислительно эффективных алгоритмов BOX-фильтрации (Lukin A. Tips & tricks: fast image filtering algorithms // GraphiCon: Proc. of GraphiCon'2007 Conf. Moscow, 2007). В результате получают первое и второе отфильтрованные изображения I _ф1 и I _ф2. Каждое изображение I _ф1 и I _ф2 далее бинаризуется с адаптивно вычисляемым, например, по методу Отцу (Otsu N. A threshold selection method from gray-level histograms // IEEE Trans. Sys., Man., Cyber. 1979. Vol.9. P. 62-66), глобальным порогом для формирования первого и второго бинарных изображений B ₁ и B ₂ соответственно. Преимущественная угловая ориентация изображений со штрих-кодами, как правило, близка к угловой ориентации линий штрих-кода. Поэтому области изображения I, содержащие линии штрих-кода, с высокой вероятностью превысят порог бинаризации на первом отфильтрованном изображении I _ф1 и не превысят его – на втором отфильтрованном изображении I _ф2, т.е. будут присутствовать в первом бинарном изображении B ₁ и отсутствовать – во втором бинарном изображении B ₂. При этом области изображения с текстурами и символьной информацией, имеющие выраженные границы, но, как правило, не имеющие выраженной предпочтительной угловой ориентации, превышают порог бинаризации и в I _ф1, и в I _ф2, т.е. присутствуют в обоих – первом и втором – бинарных изображениях B ₁ и B ₂.

Таким образом, бинарная операция попиксельной конъюнкции первого бинарного изображения B ₁ с инверсией второго бинарного изображения B ₂,

B = B 1 & (¬B 2),

(4)

позволяет сохранить область, занятую штрих-кодом, и в то же время минимизировать в результирующем бинарном изображении В размеры превысивших порог областей, занятых текстурами и символами.

Для борьбы с артефактами бинаризации в (4) с целью минимизации объема вычислений на реализацию способа локализации штрих-кода морфологическая фильтрация результирующего бинарного изображения В не используется. Вместо неё, по аналогии со способом прототипа, из дальнейшего анализа исключаются бинарные области, размеры которых не превышают минимальных ожидаемых размеров штрих-кода на изображении, т.е. из N _bin бинарных областей B выполняют отбраковку всех бинарных областей малых размеров. Для этого применяется одно- или двухпроходная сегментация связанных бинарных областей (Trubitsyn A., Shadrin M., Serezhin A. Localization of image fragments with high frequency intensity oscillation // J. of Autonomous Intelligence. 2023. Vol.6, No.2. P. 597) на результирующем бинарном изображении В, находятся их контура и вычисляются их периметры P _i , i=1, 2, …, N _bin. Периметры P _i , не превысившие порогового значения P ₀, исключаются из дальнейшего анализа. Для периметров P _i , не исключенных из анализа, вычисляются ограничивающие внешние прямоугольники (Chaudhuri D., Kushwaha N.K., Sharif I., Samal A. Finding best-fitted rectangle for regions using a bisection method // Machine Vision and Applications. 2011. Vol. 23, No. 6. P. 1263-1271), которые и принимаются за локализованные области со штрих-кодами на изображении.

Таким образом, возможный алгоритм, реализующий предлагаемый способ, содержит следующие основные этапы (фиг. 1):

- захват изображения I с камеры и, если оно является цветным, его преобразование в полутоновое;

- вычисление преимущественной угловой ориентации изображения α_major,

- вычисление маски M ₁ для первого линейного пространственного фильтра вычисления градиента в направлении, перпендикулярном α_major, и маски M ₂ для второго линейного пространственного фильтра вычисления градиента в направлении α_major;

- вычисление результатов I ₁ и I ₂ свёрток (3) изображения I с масками M ₁ и M ₂ первого и второго пространственных фильтров вычисления градиента, и вычисление абсолютных значений модулей градиента на первом I ₁ и втором I ₂ изображениях;

- линейная низкочастотная фильтрация изображений I ₁ и I ₂;

- адаптивная бинаризация результатов низкочастотной фильтрации I _ф1 и I _ф2;

- попиксельная конъюнкция (4) первого бинарного изображения B ₁ с инверсией второго бинарного изображения B ₂;

- сегментация бинарных областей на результирующем бинарном изображении В;

- нахождение контуров сегментированных N _bin бинарных областей;

- вычисление периметров P _i , i=1, 2, …, N _bin, сегментированных бинарных областей;

- сравнение периметров P _i , i=1, 2, …, N _bin, с пороговым значением P ₀;

- определение для превысивших порог контуров внешних ограничивающих прямоугольников.

Работу основных этапов алгоритма поясняют фиг. 2-10. На фиг. 2 показано исходное полутоновое изображение со штрих-кодом размером 800×600 пикселей. Его преимущественная угловая ориентация α_major=−55,56.

Вычисленные согласно (Кислицына Т.С., Холопов И.С., Штрунова Е.С. Линейный оператор для выделения на цифровом изображении границ объектов с априорно заданной угловой ориентацией // Вестник Рязанского государственного радиотехнического университета. 2022. № 80. С. 171-180) маски фильтров для апертуры фильтров 3×3:

, ,

или, при их целочисленном представлении,

, .

На фиг. 3 и фиг. 4 соответственно показаны бинарные изображения B ₁ и B ₂, полученные в результате бинаризации изображений I _ф1 и I _ф2 с модулями градиента с выходов сглаживающего (последовательно по горизонтали и вертикали) BOX-фильтра с апертурой N _BOX=32. На фиг. 5 показано вычисленное по ним результирующее бинарное изображение с бинарными артефактами.

На фиг. 6 показан локализирующий прямоугольник, ограничивающий бинарную область, соответствующую изображению штрих-кода, при значении порога периметра P ₀ = 250 пикселей.

На фиг. 7 и 8 в качестве примера также приведены исходное изображение и результат локализации штрих-кода в случае, если на анализируемом изображении вблизи кода отсутствуют высокочастотные области. В этом случае артефакты конъюнкции (4) отсутствуют и согласно предлагаемому способу выделяется единственная бинарная область, которая и локализуется как область штрих-кода.

Claims (1)

1. Способ локализации штрих-кодов на изображении, в котором выполняют захват изображения и сохраняют его в памяти, функционально связанной с устройством захвата изображения, выделяют из изображения обнаруженное и локализованное множество областей-кандидатов штрих-кода, включающих в себя изображения одной или более областей-кандидатов штрих-кода, минимальные размеры таких субизображений определяются ожидаемыми минимальными размерами изображения штрих-кода, при этом для локализации на изображении области со штрих-кодом применяются градиентные фильтры выделения границ и вычисляется средняя интенсивность границ, отличающийся тем, что определяют преимущественную угловую ориентацию изображения α_major, формируют на основе α_major маски первого M ₁ и второго M ₂ линейного градиентного фильтров, причем первый фильтр выполняет вычисление градиента в направлении, перпендикулярном α_major, а второй – в направлении α_major, по изображениям с выхода первого и второго градиентных фильтров формируют первое B ₁ и второе B ₂ бинарные изображения, получают из них результирующее бинарное изображение B как конъюнкцию B ₁ с инверсией B ₂, вычисляют периметры P _i сегментированных бинарных областей на результирующем бинарном изображении В и для периметров, превысивших порог P ₀, определяют внешние ограничивающие прямоугольники.