RU2790049C1

RU2790049C1 - Method for anisotropic recording of the light field and apparatus for implementation thereof

Info

Publication number: RU2790049C1
Application number: RU2022105486A
Authority: RU
Inventors: Владимир Евгеньевич Махов; Владислав Владимирович Широбоков; Александр Александрович Закутаев; Владимир Михайлович Петрушенко; Максим Иванович Олейников
Filing date: 2022-02-28
Publication date: 2023-02-14

Abstract

FIELD: optics.

SUBSTANCE: invention relates to methods and methods for optical observation, more specifically, to optical methods for obtaining and processing optical information, detecting and locating objects in three-dimensional space by an optoelectronic system in one frame and with one exposure allowing determining the geometric characteristics, coordinates thereof, and distance thereto. The substance of the invention consists in the anisotropic generation of a flat image in the plane of a matrix photodetector with a different information structure of single pixels and groups of pixels in the meridional and sagittal planes using different sizes of linear photodiode sets horizontally (rows) and vertically (columns) in the photodiode matrix. Two images of the area of the observed space with objects of observation and an image of a two-dimensional or a three-dimensional depiction of the objects are obtained in the plane of one photodetector of the apparatus. Based on the resulting digital file, a set of low-resolution images is algorithmically determined in the meridional plane, said set being supplemented with signals from the photodiodes located in the sagittal plane; then, based on the analysis of the functions of gradient of the boundaries of the objects of observation, the missing information of the image points corresponding to the brightness matrix elements in the meridional plane is recreated, providing a possibility of obtain geometric information in a flat image of the objects in layers of the space at a preset distance with the maximum degree of accuracy. The objects, the coordinates and geometric characteristics thereof are identified by algorithmic processing of the images at a preset distance.

EFFECT: higher accuracy of determining all coordinates and geometric characteristics of objects.

2 cl, 30 dwg, 2 tbl

Description

Изобретение относится к способам и методам оптического наблюдения, а более конкретно к оптическим способам получения и обработки оптической информации, обнаружения и определения положения объектов в трехмерном пространстве оптико-электронной системой (ОЭС) в одном кадре и одной экспозиции, позволяющей определить их геометрические признаки, координаты и дальность. Изобретение может быть использовано для решения задачи повышения разрешающей способности в наблюдаемом объеме пространства, что позволяет повысить возможности по обнаружению и определению положения объектов. Изобретение применимо в ОЭС и, в частности, в оптических информационных средствах наблюдения за удаленными объектами.The invention relates to methods and methods of optical observation, and more specifically to optical methods for obtaining and processing optical information, detecting and determining the position of objects in three-dimensional space by an optoelectronic system (OES) in one frame and one exposure, which makes it possible to determine their geometric features, coordinates and range. The invention can be used to solve the problem of increasing the resolution in the observed volume of space, which improves the ability to detect and determine the position of objects. The invention is applicable in OES and, in particular, in optical information means for monitoring remote objects.

1. Известен способ получения полной координатной информации об удаленных объектах с использованием двух и более одновременно сделанных снимков, полученных пространственно-разнесенными ОЭС, имеющих плоские сенсоры. Метод основан на вычисления координат положения соответствующих точек объектов в изображениях полученными различными двумя ОЭС [1]. Для этого в снимках производят поиск соответствующих точек интересуемых объектов и производят расчет их пространственных координат (фиг. 1).1. There is a known method for obtaining complete coordinate information about remote objects using two or more simultaneously taken images obtained by spatially separated OES having flat sensors. The method is based on calculating the position coordinates of the corresponding points of objects in images obtained by two different OES [1]. To do this, the corresponding points of the objects of interest are searched in the images and their spatial coordinates are calculated (Fig. 1).

Разность d=x'-х'' называется диспарантностью. Зная геометрические и оптические параметры каждой ОЭС, выполняют измерение координат проекции p₁ и р₂ одной и той же точки Р в плоскости изображения ОЭС, вычисляют глубину (координату Z) этой точки [2]:The difference d=x'-x'' is called disparity. Knowing the geometric and optical parameters of each OES, the projection coordinates p ₁ and p ₂ of the same point P in the OES image plane are measured, the depth (Z coordinate) of this point is calculated [2]:

По известным соотношениям [2] вычисляют другие трехмерные координаты точки:According to the known relations [2], other three-dimensional coordinates of the point are calculated:

Устройство, реализующее способ [3], включает в себя две цифровых камеры (фиг. 2), пространственно-ориентированные на заданном расстоянии друг от друга, визированные и сфокусированные на объект[3]. Для обеспечения требуемой глубины резкости используют перефокусируемые камеры с малым относительным отверстием. Ошибки в координатах проекции сильнее сказываются для малой диспарантности, то есть расстояние до более удаленных объектов измеряется более точно, чем до менее удаленных. Точность измерения расстояния повышается с увеличением базы (расстояния между ОЭС).The device that implements the method [3] includes two digital cameras (Fig. 2), spatially oriented at a given distance from each other, sighted and focused on the object[3]. To provide the required depth of field, refocusing cameras with a small relative aperture are used. Errors in projection coordinates are more pronounced for low disparity, that is, the distance to more distant objects is measured more accurately than to less distant ones. Distance measurement accuracy increases with increasing base (distance between ECOs).

Недостатком известного способа является низкая надежность и точность измерения координат в связи трудностью поиска соответствующих точек в малоконтрастных снимках наблюдаемых объектов. Снижение точности происходит также в связи с неравномерностью чувствительности и шовностью фотодиодов матричных фотоприемников ОЭС. Для наблюдения протяженных объектов или объектов с большим объемом сцены требуется оптическая проектирующая система ОЭС с малым относительным отверстием, т.е. с большой глубиной резко отображаемого пространства, что обеспечивается снижением светосилы ОЭС. Существует также трудность временной синхронизации изображений нескольких ОЭС в быстро меняющейся сцене области пространства с наблюдаемыми объектами. Известный способ не предусматривает возможность создания компактных устройств.The disadvantage of this method is the low reliability and accuracy of measuring coordinates due to the difficulty of finding the appropriate points in low-contrast images of the observed objects. The decrease in accuracy also occurs due to the uneven sensitivity and the smoothness of the photodiodes of the matrix photodetectors of the OES. To observe extended objects or objects with a large volume of the scene, an OES optical projecting system with a small relative aperture is required, i.e. with a large depth of sharply displayed space, which is ensured by a decrease in the luminosity of the OES. There is also the difficulty of temporally synchronizing images of several ECOs in a rapidly changing scene of a region of space with observed objects. The known method does not provide for the possibility of creating compact devices.

2. Известен времяпролетный способ определения дальности и координат до поверхностей расположенных в пространстве объектов посредством измерения времени пролета световых лучей, испускаемых дополнительным источником, и отраженных каждой точкой поверхностей объектов (фиг. 3) [4].2. A well-known time-of-flight method for determining the distance and coordinates to the surfaces of objects located in space by measuring the time of flight of light rays emitted by an additional source and reflected by each point of the surfaces of objects (Fig. 3) [4].

Устройство на базе времяпролетной камеры 3 измеряет расстояние, используя активное освещение объектов 1 с помощью дополнительного источника модулированного света 2, такого как лазер, и использует датчик, чувствительный к длине волны лазера для помехозащищенного улавливания отраженного света.The time-of-flight camera device 3 measures distance using active illumination of objects 1 with an additional modulated light source 2 such as a laser, and uses a sensor sensitive to the laser wavelength for noise-free capture of reflected light.

Устройство времяпролетной камеры включает в себя оптическую систему с сенсором, собственным источником света и электронным блоком управления, блок анализа и интерфейс. Времяпролетная камера обеспечивает точность измерения глубины более 1 см. Матрица из 76800 фотодиодов обеспечивает точность измерения времени порядка 10-¹⁰ с. The time-of-flight camera device includes an optical system with a sensor, its own light source and an electronic control unit, an analysis unit and an interface. The time-of-flight camera provides a depth measurement accuracy of more than 1 cm. An array of 76800 photodiodes provides a time measurement accuracy of the order of ^10-10 s.

В настоящее время известны промышленные образцы времяпролетных камер [5] (фирма Basler, фиг. 4), одна из которых имеет следующие характеристики: модель камеры - blaze-101, разрешение (Г × В) - 640×480 рх, разрешение - VGA, частота кадров - 30 fps, монохромная, интерфейс GigE.At present, industrial samples of time-of-flight cameras are known [5] (Basler, Fig. 4), one of which has the following characteristics: camera model - blaze-101, resolution (H × V) - 640 × 480 px, resolution - VGA, frame rate - 30 fps, monochrome, GigE interface.

Применение времяпролетного способа ограничено удаленностью объектов. Наличие углов и изогнутых поверхностей, приводит к возникновению ошибок вследствие многократного отражения луча света. Отклонение света на обратном пути препятствует правильному измерению расстояния до отражающей поверхности. Даже при оптимальных условиях точность измерения на основе времяпролетного способа определяется многочисленными факторами, включая геометрию объекта, посторонний свет и температуру. Рассеянный свет от других объектов сцены является причиной размытия изображения, а также снижения контрастности, что приводит к снижению точности определения координат и геометрических признаков объектов.The use of the time-of-flight method is limited by the remoteness of the objects. The presence of corners and curved surfaces leads to errors due to multiple reflections of the light beam. The deflection of the light on the return path prevents the correct measurement of the distance to the reflective surface. Even under optimal conditions, the accuracy of a TOF measurement is determined by numerous factors, including object geometry, stray light, and temperature. Scattered light from other objects in the scene causes blurring of the image, as well as a decrease in contrast, which leads to a decrease in the accuracy of determining the coordinates and geometric features of objects.

3. Известен способ, при котором на матрице фотодиодов фиксируется информация о распределении направлений световых лучей, входящих в камеру [6]. Схема устройства пленоптической камеры (фиг. 5), реализующая данный способ, включает в себя основной объектив 4, который принимает лучи света от объектов 1, направляет полученный свет в плоскость изображения сенсора камеры 5. Устройство сенсора включает в себя матрицу фотодетекторов 5, расположенную в плоскости изображения наблюдаемых объектов, которая регистрирует наборы лучей света, создающих изображение.3. There is a method in which information about the distribution of directions of light rays entering the camera is recorded on a photodiode array [6]. The scheme of the device of the plenoptic camera (Fig. 5), which implements this method, includes the main lens 4, which receives light rays from objects 1, directs the received light into the image plane of the camera sensor 5. The sensor device includes a matrix of photodetectors 5 located in the image plane of the observed objects, which registers the sets of light rays that create the image.

В отличие от обычной цифровой оптической камеры (фиг. 6), пленоптическое устройство (фиг. 5) получения изображений дополнительно включает в себя массивы оптических элементов 6 и 7, расположенных между наблюдаемыми объектами 1 и основным объективом 4. Каждый оптический элемент в этом массиве получает лучи света от поля объекта 1 под уникальным углом, отличающемся от углов падения для других оптических элементов в массиве, следовательно, направляет уникальный вид поля зрения в основной объектив. Таким образом, матрица фотодетекторов 5 получает множество различных видов поля объекта от каждого оптического элемента в матрице.Unlike a conventional digital optical camera (Fig. 6), the plenoptic imaging device (Fig. 5) additionally includes arrays of optical elements 6 and 7 located between the observed objects 1 and the main lens 4. Each optical element in this array receives light rays from object field 1 at a unique angle, different from the angles of incidence for other optical elements in the array, hence directing a unique view of the field of view into the main lens. Thus, the photodetector array 5 receives a plurality of different types of object field from each optical element in the array.

Недостатками известного способа и устройства для его реализации является сложность и значительные габариты конструкции, снижение разрешения получаемого выходного изображения по отношению к физическому разрешению матрицы фотодиодов.The disadvantages of the known method and device for its implementation is the complexity and significant dimensions of the structure, the reduction in the resolution of the resulting output image in relation to the physical resolution of the photodiode array.

4. Известен способ наблюдения за удаленными объектами ОЭС [7], включающий формирование рассеивающим оптическим элементом и регистрацию матричным фотоприемником, расположенным за ним, лучей от объектов пространства, элементы и алгоритмы, обеспечивающие процесс декодирования изображения после проведения калибровки устройства.4. There is a known method for observing remote objects of the OES [7], including the formation by a scattering optical element and registration by a matrix photodetector located behind it of rays from objects in space, elements and algorithms that provide the image decoding process after the device has been calibrated.

Вместо объектива и оптических элементов в схеме регистратора (фиг. 7) используется один рассеиватель излучения 8 от объектов сцены 1, который расположен перед матричным фотоприемником 5. Рассеиватель играет роль кодировщика информации о направлении хода лучей от объектов наблюдаемого пространства, именуемым световым полем, для ее дальнейшего восстановления по двумерному изображению с сенсора интенсивности и направления хода лучей от объектов.Instead of a lens and optical elements in the circuit of the recorder (Fig. 7), one radiation scatterer 8 from the objects of the scene 1 is used, which is located in front of the matrix photodetector 5. The scatterer plays the role of an encoder of information about the direction of the rays from the objects of the observed space, called the light field, for its further reconstruction using a two-dimensional image from a sensor for the intensity and direction of the rays from objects.

Недостатком известного способа и устройства для его реализации является необходимость сложной калибровки устройства и значительное время декодирования и, как следствие очень низкое быстродействие, что исключает возможность определения характеристик динамических объектов в наблюдаемом объеме пространстве.The disadvantage of the known method and device for its implementation is the need for complex calibration of the device and a significant decoding time and, as a result, very low performance, which excludes the possibility of determining the characteristics of dynamic objects in the observed volume of space.

5. Известен способ трехмерной регистрации объектов одной ОЭС в одном кадре путем формирования на одном матричном фотоприемнике массива субапертурных изображений [8, 9]. Способ основан на вычислении плоского изображения с заданным расстоянием фокусировки и углом визирования ОЭС на базе четырехмерного преобразования Фурье [8].5. There is a known method for three-dimensional registration of objects of one OES in one frame by forming an array of sub-aperture images on one matrix photodetector [8, 9]. The method is based on the calculation of a flat image with a given focusing distance and viewing angle of the OES based on the four-dimensional Fourier transform [8].

Способ поясняется оптической схемой хода лучей, наблюдаемой сцены через ОЭС наблюдения на фиг.8 [10]. Оптическая схема, реализующая данный способ, состоит из следующих элементов: 4 - основной объектив, 5 - матричный фотоприемник, 9 - массив микролинз. Для каждой микролинзы 9 луч от изображения проходит через центры микролинзы и попадает на матрицу фотодиодов 5. Массив микролинз 9 проецирует каждую точку на множество участков матрицы фотодиодов 5. Схема устройства, реализующее данный способ, представлено на фиг. 9 [11].The method is illustrated by the optical scheme of the path of the rays, the observed scene through the observation OES in Fig.8 [10]. The optical scheme that implements this method consists of the following elements: 4 - main lens, 5 - matrix photodetector, 9 - array of microlenses. For each microlens 9, the beam from the image passes through the centers of the microlens and hits the photodiode array 5. The array of microlenses 9 projects each point onto a plurality of sections of the photodiode array 5. The scheme of the device that implements this method is shown in Fig. 9 [11].

Описанный способ реализуется в продукции фирм Lytro Inc. [12] и Reitrix Inc. [13]. Основные характеристики выпускаемых устройств, реализующих данный способ, представлены в таблице 1 [10].The described method is implemented in the products of Lytro Inc. [12] and Reitrix Inc. [13]. The main characteristics of manufactured devices that implement this method are presented in Table 1 [10].

Недостатком известного способа и устройства для его реализации является существенное снижение разрешения плоского изображения по отношению к разрешению матричного фотоприемника, вычислительная сложность при получении плоского изображения [8], что не позволяет осуществлять работу устройства в реальном масштабе времени.The disadvantage of the known method and device for its implementation is a significant reduction in the resolution of a flat image in relation to the resolution of the matrix photodetector, the computational complexity in obtaining a flat image [8], which does not allow the device to operate in real time.

6. Известен способ и устройство фотографирования [14], схема которого представлена на фиг. 10. Устройство включает в себя: основной объектив 4, сконфигурированный для пропускания световых лучей, отраженных от объекта; матрицу микролинз 9, которая включает в себя множество микролинз, сконфигурированных для фильтрации и передачи отраженных световых лучей разных цветов; датчик изображения 5, сконфигурированный для восприятия световых лучей, которые передаются множеством микролинз; процессор данных 11, сконфигурированный для сбора пикселей в положениях, соответствующих друг другу, из множества исходных изображений, воспринимаемых датчиком изображения, для генерации множества субизображений; запоминающее устройство 10, сконфигурированное для хранения множества субизображений; контроллер 12, сконфигурированный для обнаружения пикселей, совпадающих друг с другом, во множестве субизображений, хранящихся в запоминающем устройстве, и для получения информации о цвете и глубине изображения объекта. Информация о цвете и глубине восстанавливаются указанным устройством без снижения разрешения.6. There is a known method and device for photographing [14], the scheme of which is shown in Fig. 10. The apparatus includes: a main lens 4 configured to transmit light rays reflected from an object; a microlens array 9 that includes a plurality of microlenses configured to filter and transmit reflected light rays of different colors; an image sensor 5 configured to sense light beams that are transmitted by the plurality of microlenses; a data processor 11 configured to collect pixels at positions corresponding to each other from a plurality of original images sensed by the image sensor to generate a plurality of sub-images; a storage device 10 configured to store a plurality of sub-images; a controller 12 configured to detect pixels matching each other in the plurality of sub-images stored in the storage device and to obtain color and image depth information of an object. The color and depth information is restored by the specified device without any reduction in resolution.

Недостатком известного способа и устройства для его реализации является низкое разрешение изображения, сложность конструкции и высокие требования к производительности вычислительной системы, что не позволяет осуществлять работу устройства в реальном масштабе времени.The disadvantage of the known method and device for its implementation is the low resolution of the image, the complexity of the design and high performance requirements of the computing system, which does not allow the device to work in real time.

7. Известен способ и устройство регистрации объектов в трехмерном пространстве [15], который включает две специально ориентированных пленоптических цифровых камеры включающих объективы 4, массивы микролинз 9 и матричные фотоприемники 5 (фиг. 11), которые располагаются либо параллельно друг другу (вариант I) или визируются в область исследуемого объекта 1 (вариант II). В первом варианте имеет место работа обеих камер светового поля по принципу единого регистратора светового поля, что приводит к возможности программного увеличения физической и виртуальной апертуры D₁₂ и уменьшению глубины резко отображаемого пространства, что увеличивает число слоев изображений в объеме наблюдаемого пространства, что обеспечивает повышение точности определения дальностных характеристик. Визирование регистраторов на объект 1 (II) эквивалентно режиму стереосъемки, но с возможностью регистрации большей глубины резко отображаемого пространства в каждом направлении, что обеспечивает получения резкого отображения объема наблюдаемого пространства.7. There is a known method and device for registering objects in three-dimensional space [15], which includes two specially oriented plenoptic digital cameras including lenses 4, arrays of microlenses 9 and matrix photodetectors 5 (Fig. 11), which are located either parallel to each other (option I) or sighted in the area of the object under study 1 (option II). In the first variant, both light field cameras operate on the principle of a single light field recorder, which leads to the possibility of programmatic increase in the physical and virtual aperture D ₁₂ and a decrease in the depth of the sharply displayed space, which increases the number of image layers in the volume of the observed space, which provides increased accuracy. determination of range characteristics. The sighting of the registrars on the object 1 (II) is equivalent to the stereo shooting mode, but with the possibility of registering a greater depth of the sharply displayed space in each direction, which provides a sharp display of the volume of the observed space.

В процессе наблюдения производится алгоритмическое изменение на вычислительных средствах 10, 11 поля зрения, углов визирования ОС, фокусировки и глубины резкости отображаемого пространства (ГРИП) расположения объектов в пространстве, что позволяет в одном кадре одной экспозиции проводить анализ разноудаленных объектов наблюдаемого пространства. Использование данного способа позволяет исключить оптические искажения оптической системы, дополнительно проводить пространственную калибровку ОЭС [16], что повышает точность измерений координат и геометрических характеристик, а также достоверность анализа наблюдаемых объектов.In the process of observation, an algorithmic change is made on the computing means 10, 11 of the field of view, viewing angles of the OS, focusing and depth of field of the displayed space (DOF) of the location of objects in space, which allows one frame of one exposure to analyze objects at different distances in the observed space. The use of this method makes it possible to exclude optical distortions of the optical system, additionally carry out the spatial calibration of the OES [16], which increases the accuracy of measurements of coordinates and geometric characteristics, as well as the reliability of the analysis of the observed objects.

Недостатком известного способа и реализующего его устройства является сравнительно низкое разрешение двухмерных изображений, сложность конструкции устройства, необходимость временной синхронизации получения изображений с пленоптических камер, низкое быстродействие.The disadvantage of the known method and the device that implements it is the relatively low resolution of two-dimensional images, the complexity of the design of the device, the need for time synchronization of obtaining images from plenoptic cameras, and low speed.

8. Известен способ и устройство регистрации объектов, обеспечивающий получение изображения светового поля и обычного изображения высокого разрешения одной и той же наблюдаемой сцены одним устройством [17]. Способ реализуется перемещением блока микролинз 9 и оптического корректора 12 перед матрицей фотодиодов 5 (фиг. 12) переключая режим работы камеры из обычного в пленоптический.8. A method and device for registering objects is known, which provides an image of a light field and a normal high-resolution image of the same observed scene by one device [17]. The method is implemented by moving the block of microlenses 9 and the optical corrector 12 in front of the photodiode array 5 (Fig. 12) switching the camera operation mode from normal to plenoptic.

Устройство цифровой камеры (ЦК), реализующей данный способ, конфигурируется для работы в режиме перефокусировки с низким разрешением (фиг. 12, «положение 1») и в режиме без перефокусировки с высоким разрешением (фиг. 12, «положение 2»). Устройство ЦК содержит: корпус камеры 3; датчик изображения 5, установленный в корпусе камеры, имеющий множество пикселей для захвата цифрового изображения; линзы основного объектива 4 для формирования изображения сцены в плоскости датчика, массив микролинз 9 для формирования субапертурных изображений; оптический адаптер 12, который может быть вставлен между объективом формирования изображения и датчиком изображения 5, для обеспечения режима перефокусировки низкого разрешения и может быть удален для обеспечения режима высокого разрешения без перефокусировки. Адаптер 12 включает в себя матрицу микролинз; при этом, когда адаптер вставляется для обеспечения режима перефокусировки с низким разрешением, матрица микролинз 9 располагается между линзой формирования изображения и датчиком изображения.The digital camera device (CC) implementing this method is configured to operate in a low resolution refocusing mode (FIG. 12, "position 1") and in a high resolution non-refocusing mode (FIG. 12, "position 2"). The device of the Central Committee contains: the body of the camera 3; an image sensor 5 installed in the camera body, having a plurality of pixels for capturing a digital image; lenses of the main objective 4 for forming an image of the scene in the plane of the sensor, an array of microlenses 9 for forming sub-aperture images; an optical adapter 12 that can be inserted between the imaging lens and the image sensor 5 to provide a low resolution refocusing mode and can be removed to provide a high resolution mode without refocusing. Adapter 12 includes a microlens array; wherein, when the adapter is inserted to provide a low-resolution refocusing mode, the microlens array 9 is positioned between the imaging lens and the image sensor.

Недостатком известного способа и устройства для его реализации является низкое быстродействие ввиду механического переключателя режимов, отсутствие временной синхронности получения изображений, механическая сложность конструкции устройства, необходимость осуществлять совмещение полученных изображений.The disadvantage of the known method and device for its implementation is the low speed due to the mechanical mode switch, the lack of time synchronization of image acquisition, the mechanical complexity of the device design, the need to combine the obtained images.

9. Известен способ и устройство регистрации для обеспечения получения изображений объектов в трехмерном поле зрения без использования массива микролинз [18]. Для этого используется система, представляющая собой зеркальный «канал» с прямоугольным сечением (англ. «mirror Ьох») 13, где, благодаря объективу 4 и многократному отражению на гранях 13, происходит формирование так называемого калейдоскопического изображения, которое фиксируется сенсором цифровой камеры 5 обычным способом (фиг.13). В результате на сенсоре реализуется эффект стереосъемки, при этом получают «стереодевятку» (3×3 элементов). Изменяя геометрические параметры прямоугольного канала, мы можем получить размерность 5×5 или анизотропную размерность N×M, то есть анизотропную чувствительность регистрации объема в двух ортогональных направлениях.9. A known method and device for recording objects in a three-dimensional field of view without using an array of microlenses [18]. For this, a system is used, which is a mirror “channel” with a rectangular cross section (eng. “mirror box”) 13, where, thanks to the lens 4 and multiple reflections on the faces 13, the so-called kaleidoscopic image is formed, which is fixed by the digital camera sensor 5 with a conventional way (Fig.13). As a result, the effect of stereo shooting is realized on the sensor, and a “stereo nine” (3 × 3 elements) is obtained. By changing the geometrical parameters of a rectangular channel, we can obtain a dimension of 5×5 or an anisotropic dimension of N×M, that is, an anisotropic sensitivity of volume registration in two orthogonal directions.

Недостатком известного способа и устройства для его реализации являются малая светосила и низкое разрешение по дальности объектов наблюдаемого пространства.The disadvantage of the known method and device for its implementation are low aperture ratio and low range resolution of objects in the observed space.

10. Известен способ и устройство для получения и реконструкции 4D светового поля сцены. [19]. Световое поле сцены снимается с помощью двумерного цифрового датчика камеры посредством дополнительной узорчатой планарной маски, которая размещается на оптическом пути от объектива к сенсору камеры. Передающая маска пространственно модулирует 4D световое поле до того, как оно будет обнаружено. Световое поле 4D может быть построено из изображения 2D сенсора. Маска может иметь высокочастотный или широкополосный шаблон. Маска с рисунком частично ослабляет световые лучи. Вместо того, чтобы воспринимать каждый 4D луч по отдельности, конструкция позволяет определять линейно-независимые взвешенные суммы лучей. Затем лучи можно объединить в закодированное изображение. Закодированное изображение затем можно декодировать или демодулировать для восстановления лучей 4D светового поля. При отображении 4D-лучевого пространства на 2D-матрицу датчика также можно использовать методы гетеродинирования [20]. Используя модуляцию и теоремы конволюции в частотной области, можно определить маску. Маску можно поместить в оптический путь камеры для достижения переназначения области Фурье. При этом не нужно никаких дополнительных линз, а декодированные лучи могут быть вычислены по мере необходимости программным обеспечением.10. A known method and device for obtaining and reconstructing a 4D light field of the scene. [19]. The light field of the scene is captured using a two-dimensional digital camera sensor through an additional patterned planar mask, which is placed on the optical path from the lens to the camera sensor. The transmit mask spatially modulates the 4D light field before it is detected. A 4D light field can be built from a 2D sensor image. The mask may have a high frequency or wideband pattern. A mask with a pattern partially attenuates the light rays. Instead of considering each 4D ray individually, the design allows linearly independent weighted ray sums to be determined. The rays can then be combined into an encoded image. The encoded image can then be decoded or demodulated to reconstruct the 4D light field beams. When mapping a 4D beam space onto a 2D sensor matrix, heterodyning methods can also be used [20]. Using modulation and the theorems of convolution in the frequency domain, a mask can be defined. A mask can be placed in the camera's optical path to achieve Fourier region remapping. No additional lenses are needed, and the decoded beams can be calculated as needed by the software.

Устройство камеры, реализующей способ (фиг. 14), включает в себя обычную линзу 4, обычную диафрагму 14 и обычный датчик (МФП) 5. Объектив может включать в себя несколько элементов, как в составной линзе, для коррекции аберраций, комы и искажений. При этом имеется один оптический путь света. Камера также включают микропроцессор 16. В основном микропроцессор получает входное 2D-изображение, которое кодирует в 4D световое поле и может генерировать выходное изображение, которое является реконструкцией светового поля. Таким образом, выходное изображение - это демодуляция входного изображения. Поскольку входное изображение кодирует световое поле, выходное изображение можно перефокусировать с другой или большей глубиной резкости, как если бы использовалась малая диафрагма или апертура с точечным отверстием. Выходное изображение также может быть очищено от размытия и стать новым изображением. Камера включает в себя узорную маску 15, расположенную в прямом оптическом пути между объективом и датчиком. Фактически, шаблон пространственно модулирует 4D световое поле сцены 1, полученное датчиком 5. Шаблон может быть аналитической 2D функцией, двоичной функцией или непрерывной 2D-функцией. На оптическом пути к датчику можно расположить несколько масок.The camera device that implements the method (Fig. 14) includes a conventional lens 4, a conventional diaphragm 14 and a conventional sensor (MFP) 5. The lens may include several elements, as in a compound lens, to correct aberrations, coma and distortion. In this case, there is one optical path of light. The camera also includes a microprocessor 16. Basically, the microprocessor receives an input 2D image that encodes a 4D light field and can generate an output image that is a reconstruction of the light field. Thus, the output image is a demodulation of the input image. Because the input image encodes a light field, the output image can be refocused with a different or greater depth of field, as if a small or pinhole aperture were used. The output image can also be cleared of the blur and become a new image. The camera includes a patterned mask 15 located in the direct optical path between the lens and the sensor. In fact, the template spatially modulates the 4D light field of scene 1 received by sensor 5. The template can be an analytical 2D function, a binary function, or a continuous 2D function. Several masks can be placed along the optical path to the sensor.

Недостатком известного способа и устройства для его реализации является сложность и низкая надежность конструкции за счет наличия управляемой маски, большое количество вычислений, что затрудняет работу устройства в реальном масштабе времени.The disadvantage of the known method and device for its implementation is the complexity and low reliability of the design due to the presence of a controlled mask, a large number of calculations, which makes it difficult to operate the device in real time.

В качестве прототипа способа выбран способ захвата световых полей с полным разрешением матричного фотоприемника [21], который состоит из механизма последовательного получения двух изображений на одном фотоприемнике двумя различными линзовыми системами. Одна система фиксирует обычный сфокусированный в области фотоприемника снимок объекта, а другая с помощью дополнительного массива микролинз - в световом поле. Далее полученные изображения объединяются в одно изображение. Для реализации этого способа представлено устройство ОЭС с одним объективом. Массив микролинз, который регистрирует световое поле, расположен за светочувствительным слоем, что позволяет сначала сделать фотографию, а после создания 2D-снимка световой поток выходит за пределы светочувствительного слоя и попадает на матрицу микролинз, а затем - на отражающий слой. Последний слой переотражает свет обратно для формирования светового поля, создаваемого микролинзами, в следующий момент они объединяются, получая при этом фотографию светового поля с полным разрешением матричного фотоприемника.As a prototype of the method, a method for capturing light fields with full resolution of a matrix photodetector [21] was chosen, which consists of a mechanism for sequentially obtaining two images on one photodetector by two different lens systems. One system captures an ordinary image of an object focused in the photodetector region, and the other, using an additional array of microlenses, captures it in a light field. The resulting images are then merged into a single image. To implement this method, an OES device with a single lens is presented. The array of microlenses that registers the light field is located behind the photosensitive layer, which allows you to first take a photograph, and after creating a 2D image, the light flux goes beyond the photosensitive layer and hits the microlens array, and then onto the reflective layer. The last layer reflects the light back to form the light field created by the microlenses, at the next moment they are combined, thus obtaining a photo of the light field with the full resolution of the matrix photodetector.

Способ основан на последовательном вычислении плоских изображений с заданными расстояниями фокусировки, получаемых пленоптическим способом для определения дальностных характеристик объектов. Плоское изображение с полным разрешением матричного фотоприемника служит для более точного определения геометрических характеристик наблюдаемых объектов.The method is based on the sequential calculation of flat images with given focusing distances obtained by the plenoptic method to determine the range characteristics of objects. A flat image with a full resolution of the matrix photodetector serves to more accurately determine the geometric characteristics of the observed objects.

Недостатком прототипа известного способа является большое количество вычислений плоских изображений и последующее мультиплексирование, что затрудняет работу устройства в реальном масштабе времени, а также необходимость наличие ряда факторов, таких как необходимость получения временных диаграмм синтеза слоев трехмерных изображений, времени, затрачиваемого на обработку изображений для получения геометрических характеристик объектов наблюдаемой сцены, потери света в каналах формирования изображения, неопределенность соотношения преобразования свет-сигнал. К недостаткам относится также сложность конструкции устройства, реализующего способ.The disadvantage of the prototype of the known method is a large number of flat image calculations and subsequent multiplexing, which makes it difficult to operate the device in real time, as well as the need for a number of factors, such as the need to obtain timing diagrams for the synthesis of three-dimensional image layers, the time spent on image processing to obtain geometric characteristics of the objects of the observed scene, light loss in the imaging channels, the uncertainty of the light-signal conversion ratio. The disadvantages also include the complexity of the design of the device that implements the method.

В качестве прототипа устройства выбрано устройство, реализующее способ захвата световых полей с полным разрешением [21]. Принцип работы устройства поясняется фиг. 15. Устройство состоит из секции фотоэлектрического преобразования 22, твердотельного датчика преобразования, объектива 4, ИК-фильтра 17. Датчик изображения включает в себя: слой светочувствительных ячеек преобразования 5; отражающий слой 18 отражает свет прошедший через слой фотоэлектрического преобразования; слой микролинз 9, расположенных между слоем фотоэлектрического преобразования и отражающим слоем 18; слой управления проходящим светом 19, который расположен между слоем фотоэлектрического преобразования и отражающим слоем 18 и который может изменять оптическое пропускание в соответствии с командами, подаваемыми контроллером. Слой микролинз 9 устроен так, что свет, который прошел через одну из светочувствительных ячеек и затем отражен от отражающего слоя 18, снова падает на тот же светочувствительный элемент.As a device prototype, a device was chosen that implements a method for capturing light fields with full resolution [21]. The operating principle of the device is illustrated in Fig. 15. The device consists of a photoelectric conversion section 22, a solid-state conversion sensor, a lens 4, an IR filter 17. The image sensor includes: a layer of photosensitive conversion cells 5; the reflective layer 18 reflects the light transmitted through the photoelectric conversion layer; a layer of microlenses 9 located between the photoelectric conversion layer and the reflective layer 18; a transmitted light control layer 19 which is located between the photoelectric conversion layer and the reflective layer 18 and which can change the optical transmission in accordance with commands given by the controller. The microlens layer 9 is arranged so that the light which has passed through one of the photosensitive cells and then reflected from the reflective layer 18 again falls on the same photosensitive element.

Недостатком прототипа известного устройства является сложность, и низкая надежность конструкции за счет наличия управляемого блока переключения матрицы фотодиодов на падающий от объектива свет в канал с микролинзами.The disadvantage of the prototype of the known device is the complexity and low reliability of the design due to the presence of a controlled unit for switching the photodiode array to the light incident from the lens into the channel with microlenses.

Задачей, стоящей перед настоящим изобретением, является повышение разрешающей способности и точности определения координат, а также точности определения геометрических характеристик объектов, расположенных в объеме наблюдаемого ОЭС пространства в условиях их разно удаленности.The task of the present invention is to increase the resolution and accuracy of determining the coordinates, as well as the accuracy of determining the geometric characteristics of objects located in the volume of the space observed by the OES in conditions of their different distances.

Поставленная задача решается следующим образом. Способ анизотропной регистрации светового поля и устройство для его реализации позволяет решить задачу повышения разрешающей способности, и точности определения координат, а также точности определения геометрических характеристик объектов, расположенных в объеме наблюдаемого ОЭС пространства. Для решения этой задачи в предлагаемом способе используется цифровая регистрация объектов наблюдаемого пространства объективом с дополнительной цилиндрической линзой и двумя перпендикулярно-скрещенными линейными массивами цилиндрических микролинз, расположенными последовательно перед матрицей фотодиодов таким образом, что первый линейный массив параллельно расположенных цилиндрических линз удален от плоскости матрицы фотодиодов на таком расстоянии, на котором возможно осуществлять регистрацию направления хода лучей наблюдаемого объема пространства в виде массива линейных субапертурных изображений на матрице фотодиодов устройства. Второй линейный массив параллельно-расположенных цилиндрических микролинз, перпендикулярный первому, расположен после первого в непосредственной близости к массиву фотодиодов и обеспечивает перенаправление хода лучей на линейную группу фотодиодов матрицы. Дальнейшее формирование плоского изображения с заданными параметрами (дистанция фокусировки, глубина резко отображаемого пространства, угол визирования, масштаб) происходит алгоритмически путем суммирования сигналов с групп фотодиодов в направлении расположения цилиндрических линз первого массива длиной ограниченных вторыми цилиндрическими линзами с последующим мультиплексированием сигналов с перпендикулярно расположенных фотодиодов.The problem is solved in the following way. The method of anisotropic registration of the light field and the device for its implementation allows solving the problem of increasing the resolution, and the accuracy of determining the coordinates, as well as the accuracy of determining the geometric characteristics of objects located in the volume of the observed OES space. To solve this problem, the proposed method uses digital registration of objects in the observed space by a lens with an additional cylindrical lens and two perpendicularly crossed linear arrays of cylindrical microlenses located in series in front of the photodiode array in such a way that the first linear array of parallel cylindrical lenses is removed from the plane of the photodiode array by such a distance at which it is possible to register the direction of the rays of the observed volume of space in the form of an array of linear sub-aperture images on the matrix of photodiodes of the device. The second linear array of parallel-arranged cylindrical microlenses, perpendicular to the first one, is located after the first one in close proximity to the array of photodiodes and provides redirection of the beam path to the linear group of photodiodes of the matrix. Further formation of a flat image with specified parameters (focusing distance, depth of sharply displayed space, viewing angle, scale) occurs algorithmically by summing the signals from groups of photodiodes in the direction of the location of the cylindrical lenses of the first array, limited by the length of the second cylindrical lenses, followed by multiplexing of signals from perpendicularly located photodiodes.

Алгоритм формирования плоского изображения задает расстояние фокусировки и глубины резко отображаемого пространства (ГРИП) оптической системы [22], которая позволяет определить дальностные характеристики наблюдаемых объектов.The flat imaging algorithm sets the focusing distance and depth of field (DOF) of the optical system [22], which allows determining the range characteristics of the observed objects.

Для реализации способа и устройства использована оптическая система (ОС), создающая анизотропное изображение и имеющая различный масштаб в двух взаимно-перпендикулярных направлениях (анаморфот) расположения пикселей на матрице фотодиодов с использованием системы двух последовательно расположенных взаимно перпендикулярных цилиндрически линз [23] (фиг. 16). Для предмета, расположенного в бесконечности, коэффициент анаморфозы [24] будет определяться выражением:To implement the method and device, an optical system (OS) was used that creates an anisotropic image and has a different scale in two mutually perpendicular directions (anamorphs) of the arrangement of pixels on a photodiode array using a system of two successively arranged mutually perpendicular cylindrical lenses [23] (Fig. 16 ). For an object located at infinity, the anamorphosis coefficient [24] will be determined by the expression:

где f'_I - заднее фокусное расстояние системы в сечении I, f'_II - заднее фокусное расстояние системы в сечении II.where f' _I - rear focal length of the system in section I, f' _II - rear focal length of the system in section II.

Компоненты 20 и 21 оптической системы анаморфота, формирующие анизотропное изображение на матричном фотоприемнике 5, представляют собой цилиндрические линзы, которые скрещены под углом 90° (фиг. 16). В сечениях I и II действуют различные схемы ОС, каждая из которых имеет свое линейное увеличение:The components 20 and 21 of the anamorphic optical system, which form an anisotropic image on the matrix photodetector 5, are cylindrical lenses that are crossed at an angle of 90° (Fig. 16). In sections I and II, various OS schemes operate, each of which has its own linear increase:

где d - расстояние между компонентами, a₁ - отрезок, определяющий положение предмета относительно 1-го компонента 20, а'₂ - отрезок определяющий положение изображения относительно 2-го компонента 21.where d is the distance between the components, a ₁ is the segment that defines the position of the object relative to the 1st component 20, a' ₂ is the segment that defines the position of the image relative to the 2nd component 21.

При использовании формулы отрезков геометрической оптики [25] получим:When using the formula for segments of geometric optics [25], we obtain:

- для сечения I- for section I

- для сечения II- for section II

Использование формул (4) и (6) позволяет получить уравнениеUsing formulas (4) and (6) allows us to obtain the equation

Трансформация формы входящего пучка лучей А-А' позволяет реализовать регистрацию изображения как группой пикселей в меридиальной, так и отдельными пикселями сенсора в саггитальной плоскости, что эквивалентно набору цифровых камер светового поля формируемых микролинзами 9 [8], регистрирующих направление хода лучей и линейных фрагментов матрицы фотодиодов 5, регистрирующих интенсивность всех лучей через объектив (фиг. 17).Transformation of the shape of the incoming beam of rays А-А' allows to realize image registration both by a group of pixels in the meridian and by individual pixels of the sensor in the sagittal plane, which is equivalent to a set of digital cameras of the light field formed by microlenses 9 [8], registering the direction of the rays and linear fragments of the matrix photodiodes 5, which register the intensity of all rays through the lens (Fig. 17).

Конструктивно это решение достигается двумя линейными массивами цилиндрических линз 20 и 21, расположенных на заданных расстояниях перед сенсором 5 (фиг. 18).Structurally, this solution is achieved by two linear arrays of cylindrical lenses 20 and 21 located at specified distances in front of the sensor 5 (Fig. 18).

Дополнительно, как и в патенте [17], необходимо обеспечить разную фокусировку лучей основного объектива в двух ортогональных плоскостях. Работа оптической системы в двух плоскостях YOZ и XOZ представлена на фиг. 19 и фиг. 20 соответственно. Это достигается введением подобранной дополнительной цилиндрической линзы 22 для основного объектива 4 работающей как удлинитель фокуса или компенсатор.Additionally, as in the patent [17], it is necessary to provide different focusing of the rays of the main lens in two orthogonal planes. The operation of the optical system in two planes YOZ and XOZ is shown in Fig. 19 and FIG. 20 respectively. This is achieved by introducing a matched additional cylindrical lens 22 for the main objective 4, acting as a focus extender or compensator.

Дополнительная цилиндрическая линза в меридиальной плоскости удлиняет фокусное расстояние основного объектива в меридиальной плоскости (фиг.19), а в саггитальной плоскости смещает его (фиг. 20).An additional cylindrical lens in the meridian plane lengthens the focal length of the main lens in the meridian plane (Fig. 19), and shifts it in the sagittal plane (Fig. 20).

Удлинение фокуса в зависимости от параметров элементов оптической схемы можно определить из уравнения двухкомпонентной ОС [25]The focus elongation depending on the parameters of the elements of the optical scheme can be determined from the two-component feedback equation [25]

где

d - расстояние между основным объективом 4 иWhere

d is the distance between the main lens 4 and

цилиндрической линзой 26.cylindrical lens 26.

Можно вычислить положение главной плоскости Н₁₂ и нового положения фокуса F12 и фокусных отрезков эквивалентной ОС (рис. 21) [25]:It is possible to calculate the position of the main plane _H12 and the new position of the focus F12 and the focal segments of the equivalent OS (Fig. 21) [25]:

В режиме смещения фокуса (компенсатора) оптический элемент работает как плоскопараллельная пластинка [25] (фиг. 22).In the focus shift (compensator) mode, the optical element operates as a plane-parallel plate [25] (Fig. 22).

Оптическая схема формирования лучей на матрице фотоприемника для саггитальной плоскости соответствует принципу формирования лучей в пленоптической камере с массивом микролинз [26] (показана на фиг. 23 и фиг. 24).The optical scheme of beam formation on the photodetector matrix for the sagittal plane corresponds to the principle of beam formation in a plenoptic camera with an array of microlenses [26] (shown in Fig. 23 and Fig. 24).

Связь между координатами микролинз (Х_с, Z_c) и изображением (X, Z) описывается как [14]The relationship between the coordinates of the microlenses (X _c , Z _c ) and the image (X, Z) is described as [14]

Проецируемое изображение (х) вычисляется путем продолжения линии, соединяющей точку изображения и центра микролинзы С, следующим образом:The projected image (x) is calculated by extending the line connecting the image point and the center of the microlens C as follows:

Уравнение (14) упрощается путем вычитания из него проекционного микролинзового центра С (х_с):Equation (14) is simplified by subtracting the projection microlens center C (x _c ) from it:

Подставляя (12) в уравнение (15), получим:Substituting (12) into equation (15), we get:

где K₁=1/F-1/L и K₂=L(L/l+1).where K ₁ =1/F-1/L and K ₂ =L(L/l+1).

Из матрицы фотодиодов размерностью N×M таким образом можно формировать К плоских слоев изображения (фиг. 25), имеющих размерность (N)×(M/K), или обеспечивать формирование матрицы субапертурных изображений анизотропной цилиндрической системы микролинз.From an N×M photodiode array, one can thus form K flat image layers (Fig. 25) having the dimension (N)×(M/K), or ensure the formation of a matrix of sub-aperture images of an anisotropic cylindrical microlens system.

Предлагаемое решение совмещает в себе две оптических системы, работающих одновременно на один фотоприемник [27], как показано на фиг. 26. Линейная ОС переносит объекты слоев наблюдаемого пространства 1 (XYZ) в плоскость МФП (X'Y') 3 [27]:The proposed solution combines two optical systems operating simultaneously for one photodetector [27], as shown in Fig. 26. Linear OS transfers the objects of the layers of the observed space 1 (XYZ) to the MFP plane (X'Y') 3 [27]:

В ортогональной плоскости на основе массива микролинз объекты переносятся в массив субапертурных изображений [Im(ξ, ζ]_NM с учетом направления хода лучей (θ, ϕ), что можно записать какIn the orthogonal plane, on the basis of an array of microlenses, objects are transferred to an array of subaperture images [Im(ξ, ζ]] _NM , taking into account the direction of the rays (θ, ϕ), which can be written as

Это реализуется устранением сигналов со строк, содержащих простые фотодиоды (фиг. 17).This is realized by eliminating signals from lines containing simple photodiodes (Fig. 17).

В результате определяется возможность получения дальностных характеристики интересуемых объектов (z₁, z₂, …).As a result, the possibility of obtaining range characteristics of the objects of interest (z ₁ , z ₂ , …) is determined.

Для получения с большей точностью координат (X, Y) и геометрических характеристик объектов необходимо сформировать полноразмерные изображения слоев наблюдаемого пространства, т.е. необходимо синтезировать полноразмерное изображение, что достигается мультиплексированием сфокусированного и пленооптического изображений, имеющих разную размерность с учетом известных закономерностей поведения в изменении градиента формы границ наблюдаемых объектов.To obtain coordinates (X, Y) and geometric characteristics of objects with greater accuracy, it is necessary to form full-size images of the layers of the observed space, i.e. it is necessary to synthesize a full-size image, which is achieved by multiplexing focused and plenoptic images of different dimensions, taking into account the known patterns of behavior in changing the gradient of the shape of the boundaries of the observed objects.

Алгоритм получения полноразмерных изображений представлен на фиг. 27. Описанный алгоритм содержит погрешность дальнейшего определения координат и геометрических параметров объектов, которые зависят от формы объектов и его ориентации. Частичная потеря координатной информации зависит от свойств объектов. Она может быть восстановлена за счет корректного выбора алгоритма для анализа особенностей объектов.The algorithm for obtaining full-size images is shown in Fig. 27. The described algorithm contains an error in further determination of the coordinates and geometric parameters of objects, which depend on the shape of the objects and its orientation. Partial loss of coordinate information depends on the properties of the objects. It can be restored due to the correct choice of an algorithm for analyzing the features of objects.

Далее для определения координат и геометрических характеристик объектов в изображении могут быть использованы различные алгоритмы [28] на базе известных математических методов. Алгоритм измерения характеристик объектов использует методы анализа градиента яркости, яркостных измерений координат и формы объекта, поиска шаблонов в изображении, бинаризации изображений, анализа бинарных кластеров (определения их координат и геометрических параметров).Further, various algorithms [28] based on well-known mathematical methods can be used to determine the coordinates and geometric characteristics of objects in the image. The algorithm for measuring the characteristics of objects uses the methods of analyzing the brightness gradient, brightness measurements of the coordinates and shape of the object, searching for patterns in the image, image binarization, analyzing binary clusters (determining their coordinates and geometric parameters).

Все алгоритмы анализа и измерений координат и формы объектов реализуемы в модуле IMAQVision среды программирования фирмы National Instruments (NI) LabVIEW [29, 30] для создания целевого программного обеспечения, например, определения основных характеристик наблюдаемого в поле зрения объекта [28].All algorithms for analyzing and measuring the coordinates and shape of objects are implemented in the IMAQVision module of the National Instruments (NI) LabVIEW programming environment [29, 30] to create target software, for example, to determine the main characteristics of an object observed in the field of view [28].

Для мультиплексирования изображения могут использоваться различные математические методы [31], в том числе методы кратномасштабного вейвлет-анализа [32].Various mathematical methods [31], including methods of multi-scale wavelet analysis [32], can be used for image multiplexing.

Для определения координат и геометрических параметров объектов произвольной формы могут быть использованы различные математические методы на базе известных алгоритмов, программная реализация которых представлена в среде программирования фирмы NI LabVIEW (таблица 2), и методов вейвлет-анализа яркостной структуры объектов. Для этого разработаны алгоритм (фиг. 28) и интерфейс программного обеспечения [33], приведенный на фиг. 29, служащие для проверки точности определения координат и признаков наблюдаемых объектов предлагаемым способом и устройством.To determine the coordinates and geometric parameters of objects of arbitrary shape, various mathematical methods can be used based on well-known algorithms, the software implementation of which is presented in the NI LabVIEW programming environment (Table 2), and methods for wavelet analysis of the brightness structure of objects. For this, an algorithm (Fig. 28) and a software interface [33], shown in Fig. 2, have been developed. 29, which serve to check the accuracy of determining the coordinates and features of the observed objects by the proposed method and device.

Сущность изобретения заключается в анизотропном формировании плоского изображения в плоскости матричного фотоприемника, имеющего различную информационную структуру одиночных и групп пикселей в меридиальной и саггитальной плоскостях, используя различные размеры линейных наборов фотодиодов по горизонтали (строки) и вертикали (столбцы) матрицы фотодиодов. В плоскости одного фотоприемника устройство получает два изображения области наблюдаемого пространства с объектами наблюдения и изображение двухмерного или трехмерного отображения объектов. На основе полученного цифрового файла алгоритмически определяют в меридиальной плоскости набор изображений низкого разрешения, которое дополняется сигналами с фотодиодов, расположенных в саггитальной плоскости, далее из анализа функций градиента границ наблюдаемых объектов воссоздают недостающую информацию о точках изображения, соответствующих яркостные элементам матрицы в меридиальной плоскости, что дает возможность максимально точно получать геометрическую информацию в плоском изображении объектов в слоях пространства с заданном удалении. Выявление (обнаружение) объектов, их координат и геометрических признаков производится алгоритмической обработкой изображений в заданном удалении.The essence of the invention lies in the anisotropic formation of a flat image in the plane of the matrix photodetector, which has a different information structure of single and groups of pixels in the meridional and sagittal planes, using different sizes of linear sets of photodiodes horizontally (rows) and vertically (columns) of the photodiode matrix. In the plane of one photodetector, the device receives two images of the region of the observed space with objects of observation and an image of a two-dimensional or three-dimensional display of objects. Based on the obtained digital file, a set of low-resolution images is algorithmically determined in the meridian plane, which is supplemented by signals from photodiodes located in the sagittal plane, then, from the analysis of the gradient functions of the boundaries of the observed objects, the missing information about the image points corresponding to the brightness elements of the matrix in the meridian plane is recreated, which makes it possible to obtain geometric information as accurately as possible in a flat image of objects in space layers with a given distance. Identification (detection) of objects, their coordinates and geometric features is performed by algorithmic processing of images at a given distance.

Кроме того, с использованием нового способа анизотропной регистрации объектов ОЭС в наблюдаемом пространстве путем формирования оптической системой анизотропной информационной структуры в двух ортогональных плоскостях и ее раздельной алгоритмической обработки, реализуется ряд новых возможностей:In addition, using a new method of anisotropic registration of OES objects in the observed space by forming an anisotropic information structure in two orthogonal planes with an optical system and its separate algorithmic processing, a number of new possibilities are realized:

- вычисление геометрических размеров и их координатного расположения относительно других объектов в наблюдаемом ОЭС пространстве с более высокой точностью;- calculation of geometric dimensions and their coordinate location relative to other objects in the space observed by the ECO with higher accuracy;

- определение расстояния до объектов R в зависимости от установленной дистанции фокусировки и глубины резкоотображаемого пространства;- determination of the distance to objects R depending on the set focusing distance and the depth of the field of view;

- регистрация наблюдаемого пространства в одном кадре в одной экспозиции, что повышает обнаружительную способность ОЭС и упрощает анализ трехмерного расположения объектов в наблюдаемом пространстве.- registration of the observed space in one frame in one exposure, which increases the detectivity of the OES and simplifies the analysis of the three-dimensional location of objects in the observed space.

Технический результат изобретения заключается в повышении точности определения всех координат и геометрических характеристик объектов в наблюдаемом трехмерном пространстве с сохранением возможности поиска и распознавания объектов наблюдаемой области пространства в одной сцене, а также в наличии возможности определения расстояния до интересуемого объекта.The technical result of the invention is to increase the accuracy of determining all the coordinates and geometric characteristics of objects in the observed three-dimensional space while maintaining the possibility of searching and recognizing objects in the observed area of space in one scene, as well as the possibility of determining the distance to the object of interest.

Для достижения технического результата предлагается способ анизотропной регистрации светового поля и устройство для его реализации на основе регистрации и обработки хода лучей от объектов в наблюдаемом пространстве, который реализуется следующим образом.To achieve a technical result, a method is proposed for anisotropic registration of a light field and a device for its implementation based on registration and processing of the path of rays from objects in the observed space, which is implemented as follows.

Оптическая система производит упорядоченное перераспределение и регистрацию направления хода лучей, входящих в оптическую систему, на матрицу фотодиодов, алгоритмическое формирований изображений объектов в слое пространства, обнаружение объектов, вычисление линейных размеров наблюдаемых объектов и дальности до них, определение их геометрических признаков, при этом перераспределение совокупности хода лучей осуществляют отдельно в меридиальной и саггитальной плоскостях скрещенными массивами цилиндрических оптических систем, расположенными на различном расстоянии от матрицы фотодиодов, алгоритмическое формирование изображений слоев пространства осуществляют на основе сигналов фотодиодов в меридиальной плоскости и формирование выделенных слоев пространства на базе субапертурных линейных комбинаций сигналов фотодиодов саггитальной плоскости, соответствующих пленоптическому изображению, обнаружение объектов осуществляют по всей глубине наблюдаемого пространства по изображению, алгоритмически синтезируемому обработкой массива пиксельных и субапертурных изображений.The optical system performs an ordered redistribution and registration of the direction of the path of the rays included in the optical system to the matrix of photodiodes, algorithmic formation of images of objects in a layer of space, detection of objects, calculation of the linear dimensions of the observed objects and the distance to them, determination of their geometric features, while redistributing the totality beam paths are carried out separately in the meridional and sagittal planes by crossed arrays of cylindrical optical systems located at different distances from the photodiode array, the algorithmic formation of images of space layers is carried out on the basis of photodiode signals in the meridional plane and the formation of selected space layers based on subaperture linear combinations of photodiode signals of the sagittal plane corresponding to the plenoptic image, objects are detected throughout the entire depth of the observed space using the image, algorithmically synthesized by processing an array of pixel and sub-aperture images.

Устройство, реализующее предложенный способ, включает оптическую систему, одновременно регистрирующую сфокусированное и пленоптическое изображения наблюдаемого объема пространства на основе основного объектива и массива оптических элементов, расположенных перед матрицей фотодиодов, при этом массив микролинз перераспределения хода лучей выполнен в виде двух скрещенных линейных массивов цилиндрических линз, расположенных перед матричным фотоприемником на разном расстоянии таким образом, чтобы обеспечивать одновременное формирование основного изображения высокого разрешения в меридиальной плоскости и пленоптического субапертуроного в саггитальной плоскости, вычислительную систему, формирующую пленооптическое изображение и осуществляющую его мультиплексирование с изображением высокого разрешения, получаемым в меридиальной плоскости.The device implementing the proposed method includes an optical system that simultaneously records focused and plenoptic images of the observed volume of space based on the main lens and an array of optical elements located in front of the photodiode array, while the array of microlenses for redistributing the path of rays is made in the form of two crossed linear arrays of cylindrical lenses, located in front of the matrix photodetector at different distances in such a way as to ensure the simultaneous formation of the main high-resolution image in the meridian plane and the plenoptic sub-aperturon image in the sagittal plane, a computer system that forms the plenoptic image and performs its multiplexing with the high-resolution image obtained in the meridian plane.

Предлагаемое устройство, реализующее способ и именуемое как анизотропный регистратор светового поля, позволяет создать анизотропное изображение с использованием системы двух последовательно расположенных взаимно перпендикулярных цилиндрически линз.The proposed device, which implements the method and is referred to as an anisotropic light field recorder, allows you to create an anisotropic image using a system of two sequentially arranged mutually perpendicular cylindrical lenses.

На фиг. 16 приведена оптическая схема скрещенных цилиндрических линз перед матричным фотоприемником, реализующая предложенный способ анизотропной регистрации, где 20 - цилиндрическая линза в меридиальной плоскости оптической системы, 21 - цилиндрическая линза в саггитальной плоскости оптической системы, 5 - матричный фотоприемник. На фиг. 17 приведена эквивалентная модель пленоптической и анизотропной регистрации. На фиг. 18 конструкция узла анизотропной регистрации, где 20 - массив цилиндрических линз в меридиальной плоскости, 21 - массив цилиндрических линз в саггитальной плоскости оптической, 5 - матричный фотоприемник. На фиг. 19 и фиг. 20 приведены оптические схемы устройства в двух плоскостях, реализующие предложенный способ анизотропной регистрации светового поля в меридиальной и саггитальной плоскости соответственно, где 4 - основной объектив, 22 - дополнительная корректирующая цилиндрическая линза, 20, 21 -скрещенные линейные массивы цилиндрических микролинз, 5 - матричный фотоприемник. На фиг. 21 представлена эквивалентная оптическая схема основного объектива и корректирующей цилиндрической линзы в меридиальной плоскости. На фиг. 22 представлена оптическая схема сдвига лучей корректирующей цилиндрической линзы в саггитальной плоскости оптической системы. На фиг. 23 и фиг. 24 представлены оптические схемы хода лучей в режиме пленооптической регистрации. На фиг. 25 представлена информационная модель матричного фотоприемника в режиме анизотропной регистрации. В плоскости фотоприемника размерностью N×M фотодиодов одновременно получают два изображения (обычное N×M и пленооптическое N×M/K) с находящимися в пространстве объектами. Из полученного пленооптического изображения синтезируют К слоев двухмерных изображений, соответствующих трехмерному образу наблюдаемого пространства. На фиг. 26 представлена структурная информационная модель анизотропной системы, где 1 - объекты наблюдаемого пространства, 4 - элементы оптической проектирующей системы (а) и 9 - эквивалентные элементы пленоптической системы (б), 5 - матричный фотоприемник, 16 - компьютерная система, 11 - программные средства обработки информации (виртуальный прибор). На фиг. 27 представлен алгоритм формирования изображения высокого разрешения и получения дальностной информации об объекте. На фиг. 28 представлена блок-схема алгоритма получения информации об объекте наблюдения в условиях анизотропной регистрации. На фиг. 29 представлен интерфейс программы, реализующей алгоритм получения информации об объекте наблюдения в условиях анизотропной регистрации.In FIG. 16 shows the optical scheme of crossed cylindrical lenses in front of the matrix photodetector, which implements the proposed method of anisotropic registration, where 20 is a cylindrical lens in the meridian plane of the optical system, 21 is a cylindrical lens in the sagittal plane of the optical system, 5 is the matrix photodetector. In FIG. Figure 17 shows an equivalent model for plenoptic and anisotropic detection. In FIG. 18 is the design of the anisotropic registration unit, where 20 is an array of cylindrical lenses in the meridian plane, 21 is an array of cylindrical lenses in the sagittal optical plane, 5 is a matrix photodetector. In FIG. 19 and FIG. Figure 20 shows the optical diagrams of the device in two planes, which implement the proposed method for anisotropic registration of a light field in the meridional and sagittal planes, respectively, where 4 is the main objective, 22 is an additional corrective cylindrical lens, 20, 21 are crossed linear arrays of cylindrical microlenses, 5 is a matrix photodetector . In FIG. 21 shows the equivalent optical scheme of the main lens and the corrective cylindrical lens in the meridian plane. In FIG. 22 shows an optical diagram of the shift of the rays of a corrective cylindrical lens in the sagittal plane of the optical system. In FIG. 23 and FIG. 24 shows the optical schemes of the path of rays in the plenooptical registration mode. In FIG. 25 shows the information model of a matrix photodetector in the anisotropic registration mode. In the plane of the photodetector with dimensions of N×M photodiodes, two images are simultaneously obtained (normal N×M and plenooptical N×M/K) with objects located in space. From the obtained plenooptical image, K layers of two-dimensional images are synthesized, corresponding to the three-dimensional image of the observed space. In FIG. 26 shows a structural information model of an anisotropic system, where 1 - objects of the observed space, 4 - elements of the optical projecting system (a) and 9 - equivalent elements of the plenoptic system (b), 5 - matrix photodetector, 16 - computer system, 11 - processing software information (virtual instrument). In FIG. 27 shows an algorithm for high-resolution imaging and obtaining range information about an object. In FIG. 28 shows a block diagram of the algorithm for obtaining information about the object of observation under conditions of anisotropic registration. In FIG. 29 shows the interface of the program that implements the algorithm for obtaining information about the object of observation under conditions of anisotropic registration.

Компьютерная система производит вычисление сечений изображений слоев наблюдаемого пространства в малом разрешении МФП в меридиальной плоскости ОС, совмещение изображений с сечениями в полном разрешении, их дальнейшую обработку, определение координат и необходимых геометрических характеристик (размера, формы) объектов. Количество и глубина слоев наблюдаемого пространства определяется параметрами оптической схемы [13], вычисляемой виртуальной апертурой [26], определяющей глубину резкоотображаемого пространства [21], которая во много раз превышает основной проектирующий объектив [15].The computer system calculates sections of images of layers of the observed space in a low resolution MFP in the meridional plane of the OS, combines images with sections in full resolution, further processes them, determines the coordinates and the necessary geometric characteristics (size, shape) of objects. The number and depth of the layers of the observed space is determined by the parameters of the optical scheme [13], calculated by the virtual aperture [26], which determines the depth of the sharply displayed space [21], which is many times greater than the main projection lens [15].

При этом устройство, реализующее предложенный способ, обеспечивает более высокое быстродействие по сравнению с пленоптическими цифровыми устройствами [8] и временное совпадение объектов наблюдаемого пространства, т.к. исключается синтез слоев изображений по двум координатам. Быстродействие также можно повысить либо путем синтеза изображений полного разрешения наиболее значимых фрагментов объектов (определяя, например, лишь контуры объекта, чего зачастую вполне достаточно для того, чтобы отличить один вид объекта от другого), либо за счет ограничения количества слоев изображения, выбирая их с заданным шагом. Реализуемость предложенного способа и устройства определяется:At the same time, the device that implements the proposed method provides higher performance compared to plenoptic digital devices [8] and temporal coincidence of objects in the observed space, since the synthesis of image layers in two coordinates is excluded. Performance can also be increased either by synthesizing full-resolution images of the most significant fragments of objects (determining, for example, only the contours of an object, which is often enough to distinguish one type of object from another), or by limiting the number of image layers, choosing them with given step. The feasibility of the proposed method and device is determined by:

1. Возможностями предприятий промышленности по изготовлению массивов высокоточных оптических цилиндрических микролинз [33, 34].1. The capabilities of industrial enterprises to manufacture arrays of high-precision optical cylindrical microlenses [33, 34].

2. Наличием алгоритмов [8] и прототипа программного обеспечения [12] обработки пленоптических файлов светового поля [13], полученных оптической системой с массивом микролинз.2. The presence of algorithms [8] and prototype software [12] for processing plenoptic light field files [13] obtained by an optical system with an array of microlenses.

3. Наличием специального программного обеспечения [30], реализующего различные алгоритмы формирования и обработки изображений с высокой глубиной проработки (реализованных в среде программирования Lab VIEW [29], с модулем технического зрения IMAQ Vision [30]), алгоритмами и программами калибровки [16, 35].3. The presence of special software [30] that implements various algorithms for the formation and processing of images with a high depth of study (implemented in the Lab VIEW [29] programming environment with the IMAQ Vision [30] vision module), calibration algorithms and programs [16, 35].

Для проведения исследования формирования анизотропного изображения в камере светового поля использована экспериментальная установка. На фиг. 30 представлен макет устройства регистрации матричным фотоприемником световых объектов камерой светового поля с дополнительным цилиндрическим оптическим элементом, совмещенным с объективом, где 23 - полнофункциональный изотропная пленооптическая камера, 24 - экран отображения наблюдаемых объектов, 25 - держатель дополнительного цилиндрического элемента, 20 - цилиндрический оптический элемент, формирующий анизотропный пучок лучей, 26 - тестовый световой объект наблюдения. Цель экспериментальной проверки: показать возможность формирования на матрице фотоприемника ОЭС анизотропной информационной структуры изображения, включающее направленное перераспределение в структуре матричного фотоприемника многопиксельных субапертурных изображений в двух ортогональных плоскостях, одна из которых проходит через ось дополнительного цилиндрического оптического элемента, что обеспечивает возможность субапертурной алгоритмической обработки группы пикселей в плоскости оси цилиндра и использования полного физического разрешения матрицы в ортогональной оси цилиндра плоскости.An experimental setup was used to study the formation of an anisotropic image in a light field chamber. In FIG. 30 shows a layout of a device for recording light objects by a matrix photodetector with a light field camera with an additional cylindrical optical element combined with a lens, where 23 is a fully functional isotropic plenooptical camera, 24 is a screen for displaying observed objects, 25 is a holder of an additional cylindrical element, 20 is a cylindrical optical element, forming an anisotropic beam of rays, 26 - test light object of observation. The purpose of the experimental verification: to show the possibility of forming an anisotropic image information structure on the OES photodetector matrix, including directional redistribution in the structure of the matrix photodetector of multi-pixel sub-aperture images in two orthogonal planes, one of which passes through the axis of an additional cylindrical optical element, which provides the possibility of sub-aperture algorithmic processing of a group of pixels in the cylinder axis plane and using the full physical resolution of the matrix in the plane orthogonal to the cylinder axis.

Принцип работы установки регистратор светового поля с массивом микролинз, регистрирую направления входящих лучей, формирует плоский массив субапертурных изображений, что снижает разрешение изображений по отношению к физическому разрешению матрицы фотоприемника, что дает возможность определить дальность до наблюдаемых объектов, Формирование линейных субапертурных изображений снижает расход пикселей матрицы, что повышает линейное разрешение в изображении для протяженных объектов, сохраняя возможность определения дальностных параметров. Массивы линейных изображений содержат более информацию о форме границ объектов. Дальностных параметров объектов происходит без потерь по отношению к светвоому полю.The principle of operation of the installation A light field recorder with an array of microlenses, registering the directions of incoming rays, forms a flat array of sub-aperture images, which reduces the image resolution in relation to the physical resolution of the photodetector matrix, which makes it possible to determine the distance to the observed objects. Formation of linear sub-aperture images reduces the consumption of matrix pixels , which increases the linear resolution in the image for extended objects, while maintaining the ability to determine the range parameters. Line image arrays contain more information about the shape of the boundaries of objects. The range parameters of objects occur without loss in relation to the light field.

Использование способа и устройства для его реализации позволит повысить эффективность современных средств обнаружения и идентификации объектов ОЭС в одном кадре и одной экспозиции.The use of the method and device for its implementation will improve the efficiency of modern means of detecting and identifying ECO objects in one frame and one exposure.

В располагаемых источниках информации не обнаружено технических решений, содержащих в совокупности признаки, сходные с отличительными признаками заявляемого способа и устройства для его реализации. Следовательно, изобретение соответствует критерию изобретательский уровень.In the available sources of information, no technical solutions were found containing in aggregate signs similar to the distinguishing features of the proposed method and device for its implementation. Therefore, the invention meets the criterion of inventive step.

Источники информацииInformation sources

[1] Sayyedbarzani S. A. and Emam S. М. Evaluation of the quantization error in convergence stereo cameras // Journal of Optical Technology Vol.87, Issue 8, pp. 495-500. (2020).[1] Sayyedbarzani S. A. and Emam S. M. Evaluation of the quantization error in convergence stereo cameras // Journal of Optical Technology Vol.87, Issue 8, pp. 495-500. (2020).

[2] Грузман И.С., Киричук B.C., Косых В.П., [и др.] Цифровая обработка изображений в информационных системах: Уч. пособие - Новосибирск: Изд-во НГТУ, 2000.- 168 с. [2] Gruzman I.S., Kirichuk V.C., Kosykh V.P., [et al.] Digital image processing in information systems: Uch. allowance - Novosibirsk: Publishing house of NGTU, 2000.- 168 p.

[3] Биометрические 2D и 3D технологии выделения и распознавания лиц. Сайт компании ЗАО «Институт информационных технологий».[3] Biometric 2D and 3D face detection and identification technologies. Website of CJSC "Institute of Information Technologies".

[4] Бринкманн Ларе. Времяпролетные камеры: 2D- и 3D-изображения за один кадр // Системы безопасности" №2, 2016. Времяпролетные камеры: 2D- и 3D-изображения за один кадр.[4] Brinkmann Lare. Time-of-flight cameras: 2D and 3D images per frame // Security Systems" No. 2, 2016. Time-of-flight cameras: 2D and 3D images per frame.

[5] 3D-камеры Basler (baslerweb.com) Информационный ресурс.Режим доступа: https://\vww.baslenveb.com/ru/produk1y/kamery/3d-kamery/[5] Basler 3D cameras (baslerweb.com) Information resource. Access mode: https://\vww.baslenveb.com/ru/produk1y/kamery/3d-kamery/

[6] Патент номер US 20100020187 А1. Plenoptic camera. Pub. Date: Jan. 28, 2010[6] Patent number US 20100020187 A1. plenoptic camera. Pub. Date: Jan. 28, 2010

[7] Cai Z. et al. Light: Science & Applications (2020) 9:143, P. 1-9.[7] Cai Z. et al. Light: Science & Applications (2020) 9:143, P. 1-9.

[8] Ng R. Digital light field photography // A dissertation submitted to the department of computer science and the committee degree of doctor of philosophy. @ Copyright by Ren Ng, 2006. - 187 p.[8] Ng R. Digital light field photography // A dissertation submitted to the department of computer science and the committee degree of doctor of philosophy. @ Copyright by Ren Ng, 2006. - 187 p.

[9] Kučera Jan. Computational photography of light-field camera and application to panoramic photography. Department of Software and Computer Science Education Supervisor of the master thesis: Ing. Filip Šroubek, Ph.D. Study programme: Computer Science, Software Systems Specialization: Computer Graphics, Prague, 2014.-98 p.[9] Kucera Jan. Computational photography of light-field camera and application to panoramic photography. Department of Software and Computer Science Education Supervisor of the master thesis: Ing. Filip Sroubek, Ph.D. Study programme: Computer Science, Software Systems Specialization: Computer Graphics, Prague, 2014.-98 p.

[10] Махов B.E., Потапов А.И., Закутаев A.A., Принципы работы цифровых камер светового поля с массивом микролинз // Компоненты и технологии. 2018. №1 (226). С. 66-72.[10] B.E. Makhov, A.I. Potapov, A.A. Zakutaev, Principles of operation of light field digital cameras with an array of microlenses // Components and technologies. 2018. No. 1 (226). pp. 66-72.

[11] Patent No.: US 8.593,564 B2 including refocusable imaging mode adapt. Nov. 26, 2013.[11] Patent No.: US 8,593,564 B2 including refocusable imaging mode adapt. Nov. 26, 2013.

[12] Andrew Couts, Digital Trends. "Lytro: The camera that could change photography forever." June 22, 2011. Retrieved July 21, 2011.[12] Andrew Couts, Digital Trends. "Lytro: The camera that could change photography forever." June 22, 2011. Retrieved July 21, 2011.

[13] 3D Light Field Camera Technology / Raytrix GmbH, Germany, 2013, [Электронный ресурс]. URL: http://www.isolutions.com.sg/Raytrix.pdf.[13] 3D Light Field Camera Technology / Raytrix GmbH, Germany, 2013, [Electronic resource]. URL: http://www.isolutions.com.sg/Raytrix.pdf.

[14] Patent No.: US 20140204183 A1 Photographing device and photographing method for taking picture by using a plurality of microlenses. 2014-07-24.[14] Patent No.: US 20140204183 A1 Photographing device and photographing method for taking picture by using a plurality of microlenses. 2014-07-24.

[15] Ольт Ю., Максаров B.B., Махов B.E. Интеллектуальные системы оценки качества обработки резьбовых поверхностей и контроля дефектов на основе цифровой регистрации светового поля // Дефектоскопия. №11. 2020. С. 46-57.[15] Olt Yu., Maksarov B.V., Makhov B.E. Intelligent systems for assessing the quality of threaded surfaces processing and defect control based on digital registration of the light field // Defectoscopy. No. 11. 2020. S. 46-57.

[16] Bok Y. Geometric Calibration of Micro-Lens-Based Light-Field Cameras using Line Features / Yunsu Bok, Hae-Gon Jeon, In So Kweon // IEEE Transactions on Pattern Analysis and Machine Intelligence v. 39, Issue: 2, 2017. P. 287-300.[16] Bok Y. Geometric Calibration of Micro-Lens-Based Light-Field Cameras using Line Features / Yunsu Bok, Hae-Gon Jeon, In So Kweon // IEEE Transactions on Pattern Analysis and Machine Intelligence v. 39, Issue: 2, 2017. P. 287-300.

[17] Patent No.: US 2014/00782 Al Light field image capture device and image sensor. Pub. Date: Mar. 20, 2014.[17] Patent No.: US 2014/00782 Al Light field image capture device and image sensor. Pub. Date: Mar. 20, 2014.

[18] Информационный ресурс: Необычный объектив для обычной камеры или как перестать думать о фокусе / Хабр (habr.com) - Режим доступа: https://habr.com/ru/post/414877/.[18] Information resource: An unusual lens for an ordinary camera or how to stop thinking about focus / Habr (habr.com) - Access mode: https://habr.com/en/post/414877/.

[19] Patent No.: US 7,792.423 В2 4D Light field cameras. Date of Patent: Sep. 7, 2010.[19] Patent No.: US 7,792.423 B2 4D Light field cameras. Date of Patent: Sep. 7, 2010.

[20] Махов B.E., Потапов А.И., Смородинский Я.Г., Маневич Е.Я. Использование двулучевой интерферометрии в системах контроля деформации поверхностей // Дефектоскопия. 2019. №8. С. 59-66.[20] Makhov B.E., Potapov A.I., Smorodinsky Ya.G., Manevich E.Ya. The use of two-beam interferometry in surface deformation control systems // Defectoscopy. 2019. No. 8. pp. 59-66.

[21] Patent No. 20140078259 Light field image capture device and image sensor. Pub. Date: Mar. 20, 2014.[21] Patent no. 20140078259 Light field image capture device and image sensor. Pub. Date: Mar. 20, 2014.

[22] Махов B.E., Потапов А.И., Шалдаев С.Е. Контроль геометрических параметров изделий методом светового поля // Контроль. Диагностика. 2017. №7. С. 12-24.[22] Makhov B.E., Potapov A.I., Shaldaev S.E. Control of the geometric parameters of products by the light field method // Control. Diagnostics. 2017. No. 7. pp. 12-24.

[23] Цуканова Г.И., Карпова Г.В., Багдасарова О.В., Карпов В.Г., Кривопустова Е.В., Ежова К.В. Геометрическая оптика. Учебное пособие по курсу «Прикладная оптика» - СПб: СПб ГИТМО (ТУ), 2002 - 135 с. [23] Tsukanova G.I., Karpova G.V., Bagdasarova O.V., Karpov V.G., Krivopustova E.V., Ezhova K.V. Geometric optics. Textbook for the course "Applied Optics" - St. Petersburg: St. Petersburg GITMO (TU), 2002 - 135 p.

[24] Заказнов Н.П. Кирюшин С.И., Кузичев В.Н. Теория оптических систем: Учебник для студентов приборостроительных специальностей вузов- 3-е изд., перераб. и доп. - М.: Машиностроение, 1992. - 448 с. [24] Zakaznov N.P. Kiryushin S.I., Kuzichev V.N. Theory of optical systems: A textbook for students of instrument-making specialties of universities - 3rd ed., Revised. and additional - M.: Mashinostroenie, 1992. - 448 p.

[25] Прикладная оптика: Учеб. пособие. / Е.М. Махов, А.И. Потапов, В.Е. Махов. - СПб.: СЗТУ, 2003.- 230 с. [25] Applied Optics: Proc. allowance. / EAT. Makhov, A.I. Potapov, V.E. Makhov. - St. Petersburg: SZTU, 2003. - 230 p.

[26] Махов В.Е., Потапов А.И., Закутаев А.А., Принципы работы цифровых камер светового поля с массивом микролинз // Компоненты и технологии. 2018. №1 (226). С. 66-72.[26] V. E. Makhov, A. I. Potapov, A. A. Zakutaev, Principles of operation of light field digital cameras with an array of microlenses // Components and technologies. 2018. No. 1 (226). pp. 66-72.

[27] Махов В.Е., Потапов А.И., Широбоков В.В., Емельянов А.В. Построение алгоритмов оптического контроля малоразмерных удаленных световых объектов // Контроль. Диагностика. 2021. Т.24. №6. С. 15-27.[27] Makhov V.E., Potapov A.I., Shirobokov V.V., Emelyanov A.V. Construction of algorithms for optical control of small-sized remote light objects // Control. Diagnostics. 2021. V.24. No. 6. pp. 15-27.

[28] Махов В.Е., Широбоков В.В., Петрушенко В.М. Методика построения алгоритмов для определения параметров малоразмерных объектов // Компоненты и технологии. 2020. №4 (226). С. 110-114.[28] Makhov V.E., Shirobokov V.V., Petrushenko V.M. Methodology for constructing algorithms for determining the parameters of small-sized objects // Components and technologies. 2020. No. 4 (226). pp. 110-114.

[29] Travis J., Kring J. LabVIEW for Everyone: Graphical Programming Made Easy and Fun, Third Edition: Prentice Hall. July 27, 2006. - 1032 p.[29] Travis J., Kring J. LabVIEW for Everyone: Graphical Programming Made Easy and Fun, Third Edition: Prentice Hall. July 27, 2006. - 1032 p.

[30] Klinger T. Image processing with Labview and Imaq Vision (National Instruments Virtual Instrumentation Series). - Prentice Hall Professional, 2003. -319 p.[30] Klinger T. Image processing with Labview and Imaq Vision (National Instruments Virtual Instrumentation Series). - Prentice Hall Professional, 2003. -319 p.

[31] Васильев A.C., Трушкина А.В. Методы комплексирования изображений в многоспектральных оптико-электронных системах 26-я Международная конференция (GraphiCon2016), Россия, Нижний Новгород, 19-23 сентября 2016 г. С. 314-318.[31] Vasiliev A.S., Trushkina A.V. Image Combination Methods in Multispectral Optoelectronic Systems 26th International Conference (GraphiCon2016), Russia, Nizhny Novgorod, September 19-23, 2016, pp. 314-318.

[32] Новиков И.Я., Протасов В.Ю., Скопина М.А. Теория Всплесков, М.: Физматлит, 2005. - 616 с. [32] Novikov I.Ya., Protasov V.Yu., Skopina M.A. Theory of Splashes, Moscow: Fizmatlit, 2005. - 616 p.

[33] Махов В.Е., Петрушенко В.М., Емельянов А.В., Потапов А.И., Широбоков В.В. Технология разработки алгоритмов программного обеспечения оптико-электронных систем наблюдения за удаленными объектами // Вестник компьютерных и информационных технологий, №10, Том 18, 2021. С. 10-21.[33] Makhov V.E., Petrushenko V.M., Emelyanov A.V., Potapov A.I., Shirobokov V.V. Technology for the development of software algorithms for optoelectronic systems for monitoring remote objects // Bulletin of Computer and Information Technologies, No. 10, Volume 18, 2021. P. 10-21.

[34] Уваров В.П. Ильичев В.А. Математические модели процесса вытяжки оптических стержней - СПб.: Химиздат, 2003. - 136 с. [34] Uvarov V.P. Ilyichev V.A. Mathematical models of the process of drawing optical rods - St. Petersburg: Himizdat, 2003. - 136 p.

[34] Полещук А.Г., Корольков В.П., Вейко В.П., Заколдаев Р.А., Сергеев М.М. Лазерные технологии в микрооптике. Ч. II. Изготовление элементов с трехмерным микрорельефом // Автометрия. 2018. Т. 54. №2. С. 3-19.[34] Poleshchuk A.G., Korolkov V.P., Veiko V.P., Zakoldaev R.A., Sergeev M.M. Laser technologies in microoptics. Part II. Manufacturing of elements with three-dimensional microrelief // Avtometriya. 2018. V. 54. No. 2. pp. 3-19.

[35] Калибровка камеры и 3D реконструкция (реализация opencv-python). Информационный ресурс: https://russianblogs.com/article/427598482/.[35] Camera calibration and 3D reconstruction (opencv-python implementation). Information resource: https://russianblogs.com/article/427598482/.

Claims

1. A method for anisotropic registration of a light field, including an ordered redistribution and registration of the direction of the path of the rays entering the optical system to a matrix of photodiodes, algorithmic formation of images of objects in a layer of space, detection of objects, calculation of the linear dimensions of the observed objects and the distance to them, determination of their geometric features, characterized in that the redistribution of the set of beam paths is carried out separately in the meridional and sagittal planes by crossed arrays of cylindrical optical systems located at different distances from the photodiode matrix, the algorithmic formation of images of the layers of space is carried out based on the signals of photodiodes in the meridional plane and the formation of selected layers of space on the basis of sub-aperture linear combinations of sagittal plane photodiode signals corresponding to the plenoptic image, object detection is carried out over the entire depth of observation given space in an image algorithmically synthesized by processing an array of pixel and sub-aperture images.

2. A device for anisotropic registration of a light field for detecting and determining the characteristics of objects based on the registration and processing of the path of rays from objects in the observed space, which includes an optical system that simultaneously registers focused and plenoptic images of the observed volume of space based on the main lens and an array of optical elements, located in front of the matrix of photodiodes, characterized in that the structure of the optical system of the array of microlenses for redistributing the path of the rays is made in the form of two crossed linear arrays of cylindrical lenses located in front of the matrix photodetector at different distances in such a way as to ensure the simultaneous formation of the main high-resolution image in the meridian plane and the plenoptic subaperture in the sagittal plane, while the device provides simultaneous acquisition of a total volumetric image of the observed area of space to determine locations of observed objects and their geometric characteristics.