[go: up one dir, main page]

RU2523858C1 - Device for panoramic television surveillance - Google Patents

Device for panoramic television surveillance Download PDF

Info

Publication number
RU2523858C1
RU2523858C1 RU2013146074/07A RU2013146074A RU2523858C1 RU 2523858 C1 RU2523858 C1 RU 2523858C1 RU 2013146074/07 A RU2013146074/07 A RU 2013146074/07A RU 2013146074 A RU2013146074 A RU 2013146074A RU 2523858 C1 RU2523858 C1 RU 2523858C1
Authority
RU
Russia
Prior art keywords
sensor
output
target
panoramic
television
Prior art date
Application number
RU2013146074/07A
Other languages
Russian (ru)
Inventor
Вячеслав Михайлович Смелков
Original Assignee
Вячеслав Михайлович Смелков
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Вячеслав Михайлович Смелков filed Critical Вячеслав Михайлович Смелков
Priority to RU2013146074/07A priority Critical patent/RU2523858C1/en
Application granted granted Critical
Publication of RU2523858C1 publication Critical patent/RU2523858C1/en

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

FIELD: radio engineering, communication.
SUBSTANCE: television camera includes a first digital television signal (DTS) sensor, a second DTS which is frequency- and phase-synchronised with the first DTS through a receiver synchronisation signal (RSS), as well as a multiplexer, wherein the photodetector target of the first DTS sensor is mated through a fibre-optic coupling with peripheral light guides with bundles of fibre-optic caps, and its central light guide bundles are matted with the photodetector target of the second DTS sensor, and operations for demultiplexing an input video signal and units for converting a "circular" frame into "rectangular" frames are performed in a server in a programmed manner.
EFFECT: number of video signal sensors in the device, compared to the prototype, is reduced to two and enabling use of CCD arrays as photodetectors, said arrays having in the central region of the target, technological defects which cause white spot type image distortions.
4 cl, 7 dwg

Description

Предлагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется телевизионной системой при помощи телевизионной камеры кругового обзора в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места. В качестве одного или более фотоприемников в такой телевизионной камере преимущественно используются матрицы приборов с зарядовой связью (матрицы ПЗС).The present invention relates to panoramic television surveillance, which is performed by a television system using a television circular camera in an area close to the hemisphere, i.e. in a spatial angle of 360 degrees in azimuth and tens of degrees in elevation. As one or more photodetectors in such a television camera, charge-coupled device arrays (CCD arrays) are mainly used.

Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство панорамного телевизионного наблюдения [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом телевизионная камера состоит из последовательно расположенных и оптически связанных панорамного объектива, волоконнно-оптической насадки и блока цифрового телевизионного сигнала, причем волоконно-оптическая насадка имеет n световодных ответвлений (жгутов), а блок цифрового телевизионного сигнала состоит из n датчиков видеосигнала, мишени каждого из которых состыкованы через волоконно-оптическое сочленение с одним из n жгутов насадки, а выходы подключены к соответствующим входам блока восстановления изображения, выход которого является выходом телевизионной камеры, при этом число n соответственно жгутов насадки и датчиков видеосигнала удовлетворяет соотношению:The closest in technical essence to the claimed invention should be considered a panoramic television surveillance device [1] containing a television camera connected in series and a server, which is a local area network node to which two or more personal computers are connected, while the television camera consists of sequentially located and optically coupled panoramic lens, fiber optic nozzle and block of digital television signal, and fiber optic the add-on has n light-guide branches (bundles), and the digital television signal unit consists of n video signal sensors, the targets of each of which are connected via a fiber-optic joint with one of the n nozzle bundles, and the outputs are connected to the corresponding inputs of the image recovery unit, the output of which is the output of the television camera, while the number n, respectively, of the nozzle harnesses and video sensors satisfies the ratio:

Figure 00000001
Figure 00000001

где γг - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения.where γ g is the horizontal angle of the field of view in degrees observed by the operator of the image.

Недостаток прототипа - большое требуемое число (n) датчиков видеосигнала, а следовательно и матриц ПЗС, для которых недопустимы любые технологические дефекты.The disadvantage of the prototype is the large required number (n) of video sensors, and therefore CCDs, for which any technological defects are unacceptable.

Задача изобретения - сокращение числа датчиков видеосигнала до двух с возможностью использования в них в качестве фотоприемников матриц ПЗС, которые имеют в центральной области мишени технологические дефекты, вызывающие искажения изображения типа «белых пятен».The objective of the invention is to reduce the number of video signal sensors to two with the possibility of using CCD arrays as photodetectors in them, which have technological defects in the central region of the target that cause image distortions such as “white spots”.

Поставленная задача решается тем, что в устройство прототипа [1], состоящее из последовательно соединенных телевизионной камеры и сервера, являющегося узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, причем телевизионная камера содержит последовательно расположенные и оптически связанные панорамный объектив и волоконно-оптическую насадку, которая имеет световодные ответвления (жгуты), а в ее состав введены первый датчик цифрового телевизионного сигнала (ЦТС), второй датчик ЦТС, синхронизированный по частоте и фазе с первым датчиком ЦТС по сигналу синхронизации приемника (ССП), а также мультиплексор, первый информационный вход которого подключен к выходу первого датчика ЦТС, второй информационный вход мультиплексора - к выходу второго датчика ЦТС, вход синхронизации мультиплексора - к выходу кадровых синхроимпульсов первого датчика ЦТС, а выход мультиплексора является выходом «видео» телевизионной камеры, при этом мишень фотоприемника первого датчика ЦТС состыкована через волоконно-оптическое сочленение с периферийными световодными жгутами волоконно-оптической насадки, а ее центральные световодные жгуты - с мишенью фотоприемника второго датчика ЦТС, в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управления и питанию с шиной сервера, содержащая демультиплексор, а также первый и второй блоки преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), причем вход первого БПКП подключен к выходу первого блока оперативной памяти на кадр, вход второго БПКП - к выходу второго блока оперативной памяти на кадр, а выходы обоих БПКП - к выходу «сеть» сервера, при этом число m «прямоугольных» кадров удовлетворяет соотношению:The problem is solved in that in the prototype device [1], which consists of a series-connected television camera and a server, which is a node of the local area network, to which two or more personal computers are connected, and the television camera contains sequentially located and optically connected panoramic lens and fiber -optic nozzle, which has light guide branches (bundles), and it includes the first sensor of a digital television signal (DTS), the second sensor of a DSP, synchronously isolated in frequency and phase with the first PZT sensor according to the receiver synchronization signal (SSP), as well as a multiplexer, the first information input of which is connected to the output of the first PZT sensor, the second information input of the multiplexer is connected to the output of the second PZT sensor, the multiplexer synchronization input is to the frame output clock pulses of the first PZT sensor, and the multiplexer output is the output of the “video” of a television camera, while the target of the photodetector of the first PZT sensor is connected via peripheral fiber coupling optical fiber bundles, and its central optical fiber bundles - with the target of the photodetector of the second PZT sensor, a video card is installed in the expansion slot on the server motherboard, matched via input / output, control and power channels with the server bus, containing a demultiplexer, and also the first and second blocks for converting a “ring” frame into “rectangular” frames (BPCS), the input of the first BPCP being connected to the output of the first block of random access memory per frame, the input of the second BPCP to the output of the second block of op memory per frame, and the outputs of both BPKP - to the output of the "network" of the server, while the number m of "rectangular" frames satisfies the ratio:

Figure 00000002
Figure 00000002

где γг - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а операции демультиплексирования входного видеосигнала и БПКП выполняются в сервере программным путем.where γ g is the horizontal angle of the field of view in degrees observed by the operator of the image, and the operations of demultiplexing the input video signal and the BPC are performed in the server programmatically.

Сопоставительный анализ с прототипом показывает, что заявляемое устройство отличается:Comparative analysis with the prototype shows that the claimed device is different:

- наличием новых конструктивных элементов, к числу которых относятся: первый датчик ЦТС, второй датчик ЦТС и мультиплексор в составе телевизионной камеры;- the presence of new structural elements, which include: the first PZT sensor, the second PZT sensor and the multiplexer as part of the television camera;

- формой выполнения новых элементов, каковыми являются демультиплексор, первый и второй БПКП, которые реализуются программным путем в составе платы видео сервера.- a form of performing new elements, which are the demultiplexer, the first and second BPCS, which are implemented programmatically as part of the video server board.

Совокупность известных и новых признаков заявляемого устройства не известна из уровня техники, поэтому предлагаемое техническое решение соответствует критерию новизны.The combination of known and new features of the claimed device is not known from the prior art, therefore, the proposed technical solution meets the criterion of novelty.

В заявляемом решении центральная область на мишени фотоприемника первого датчика ЦТС и центральная область на мишени фотоприемника второго датчика являются, по сути, пассивными, т.к. они не создают или не несут информации о наблюдаемом пространстве. Поэтому элементы изображения (пикселы) этой области для применяемых матриц ПЗС могут обладать определенными технологическими дефектами, недопустимыми в других областях мишени данных фотоприемников. Такими дефектами матриц ПЗС могут быть точечные неоднородности темнового тока - одна из форм проявления геометрического шума [2, с. 19-23]. Амплитуда же сигнала точечной неоднородности отдельных пикселов значительно превышает средний уровень темнового тока фотоприемника, что является причиной появления на данном участке растра искажений изображения типа «белых пятен».In the claimed solution, the central region on the target of the photodetector of the first DTC sensor and the central region on the target of the photodetector of the second sensor are essentially passive, because they do not create or carry information about the observed space. Therefore, the image elements (pixels) of this region for the applied CCD matrices may have certain technological defects that are unacceptable in other target areas of these photodetectors. Such defects of CCD matrices can be point inhomogeneities of the dark current — one of the forms of manifestation of geometric noise [2, p. 19-23]. The amplitude of the signal of the point inhomogeneity of individual pixels significantly exceeds the average level of the dark current of the photodetector, which is the reason for the appearance of “white spots” image distortions in this section of the raster.

В предлагаемом решении матрицы ПЗС, используемые в качестве фотоприемников для датчиков ЦТС, могут обладать в центральной области мишени технологическими дефектами, вызывающими искажения типа «белых пятен», но они никак не проявляются из-за организации самого устройства панорамного телевизионного наблюдения.In the proposed solution, CCD arrays used as photodetectors for DTC sensors may have technological defects in the central region of the target that cause “white spot” distortions, but they do not appear in any way due to the organization of the panoramic television observation device itself.

Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.Therefore, the proposed solution meets the criterion of the presence of an inventive step.

На фиг.1 приведена структурная схема заявляемого устройства; на фиг.2, по данным [3], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг.3 в качестве примера показано сечение в плоскости волоконно-оптической насадки, содержащей 81 световодное ответвление; на фиг.4 - кольцевое изображение, воспринимаемое первым датчиком ЦТС телевизионной камеры; на фиг.5 схематически представлено панорамное изображение этой кольцевой области, предлагаемое оператору персонального компьютера, в виде последовательности из 6-ти «прямоугольных» кадров; на фиг.6 и 7 - кольцевое изображение, воспринимаемое вторым датчиком ЦТС телевизионной камеры и соответственно предлагаемое оператору компьютера панорамное изображение для этой кольцевой области, содержащее аналогично последовательность из 6-ти «прямоугольных» кадров.Figure 1 shows the structural diagram of the inventive device; figure 2, according to [3], presents a photograph of an image obtained using a domestic panoramic mirror-lens lens; figure 3 shows as an example a cross section in the plane of a fiber optic nozzle containing 81 light guide branch; figure 4 is an annular image perceived by the first sensor of the DTS of the television camera; figure 5 schematically shows a panoramic image of this annular region, proposed to the operator of a personal computer, in the form of a sequence of 6 "rectangular" frames; Figures 6 and 7 show an annular image perceived by the second DTC sensor of a television camera and, accordingly, a panoramic image proposed for a computer operator for this annular region, containing similarly a sequence of 6 "rectangular" frames.

Заявляемое устройство панорамного телевизионного наблюдения, см. фиг.1, содержит последовательно соединенные телевизионную камеру 1 и сервер 2, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3, при этом телевизионная камера 1 состоит из последовательно расположенных и оптически связанных панорамного объектива 1-1 и волоконно-оптической насадки 1-2 с ответвлениями, а также первого датчика ЦТС 1-3, второго датчика ЦТС 1-4, синхронизированного с датчиком ЦТС 1-3, и мультиплексора 1-5, первый информационный вход которого подключен к выходу датчика ЦТС 1-3, второй информационный вход мультиплексора - к выходу датчика ЦТС 1-4, вход синхронизации мультиплексора - к выходу кадровых синхроимпульсов датчика ЦТС 1-3, а выход мультиплексора является выходом «видео» телевизионной камеры, при этом мишень фотоприемника датчика ЦТС 1-3 состыкована через волоконно-оптическое сочленение с периферийными световодными жгутами волоконно-оптической насадки 1-2, а ее центральные световодные жгуты - с мишенью фотоприемника датчика ЦТС 1-4, в разъем расширения на материнской плате сервера 2 установлена плата видео, выполняющая программным путем разделение входного мультиплексного видеосигнала на два канала цифрового сигнала изображения, соответственно «видео 1» и «видео 2», запись этих видеосигналов в оперативную память сервера и преобразование «кольцевых» кадров в «прямоугольные» кадры.The inventive panoramic television monitoring device, see figure 1, contains a series-connected television camera 1 and a server 2, which is a local area network node to which two or more personal computers are connected in position 3, while the television camera 1 consists of sequentially located and optically coupled panoramic lens 1-1 and fiber optic nozzles 1-2 with branches, as well as the first sensor TsTS 1-3, the second sensor TsTS 1-4, synchronized with the sensor TsTS 1-3, and multiplex RA 1-5, the first information input of which is connected to the output of the DTTs 1-3 sensor, the second information input of the multiplexer is to the output of the DTTs 1-4 sensor, the synchronization input of the multiplexer is to the output of the frame sync pulses of the DTTs 1-3 sensor, and the output of the multiplexer is the output "Video" of a television camera, while the target of the photodetector of the PZT 1-3 sensor is connected via a fiber optic joint with the peripheral fiber optic bundles of the fiber optic nozzle 1-2, and its central light guide bundles are connected to the target of the photodetector of the PZT 1-4, a video card is installed in the expansion slot on the server 2 motherboard, programmatically dividing the input multiplex video signal into two channels of a digital image signal, respectively, “video 1” and “video 2”, recording these video signals into the server’s RAM and converting “ring” frames into "rectangular" frames.

Панорамный объектив 1-1 телевизионной камеры, как и в прототипе, предназначен для формирования оптического изображения кругового обзора (кольцевого изображения). В качестве технического решения для панорамного объектива 1-1, совпадающим с аналогичным решением для прототипа, может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [3].The panoramic lens 1-1 of the television camera, as in the prototype, is designed to form an optical image of a circular view (ring image). As a technical solution for the panoramic lens 1-1, which coincides with the similar solution for the prototype, a panoramic mirror-lens lens can be proposed, the design of which is patented in Russia by Russian specialists from Moscow State University of Geodesy and Cartography [3].

Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг.2. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места. Отметим, что центральная область этого кольцевого изображения является пассивной, т.к. не несет никакой информации о наблюдаемом пространстве.A photograph of the annular image formed by the panoramic lens is shown in FIG. The angular field in the space of objects for this lens is 360 degrees in azimuth and can reach (75-80) degrees in elevation. Note that the central region of this ring image is passive, because It does not carry any information about the observed space.

Волоконно-оптическая насадка 1-2 предназначена для выбора областей захвата в плоскости выходного кольцевого изображения панорамного объектива 1-1 и проектирования этих оптических изображений на мишени датчиков 1-3 и 1-4.Fiber optic nozzle 1-2 is designed to select the capture areas in the plane of the output annular image of the panoramic lens 1-1 and design these optical images on the target sensors 1-3 and 1-4.

Насадка 1-2, как и у прототипа, имеет световодные ответвления. Допустим, что число таких жгутов составляет 81, как показано в сечении волоконно-оптической насадки на фиг.3.The nozzle 1-2, as in the prototype, has light guide branches. Assume that the number of such bundles is 81, as shown in cross section of the fiber optic nozzle in figure 3.

Жгуты этой насадки, в том числе: 1…20, 26…29, 35…38, 44…47, 53…56, 62…81, состыкованы с периферийными участками мишени фотоприемника первого датчика ЦТС 1-3 (см. фиг.4), а остальные жгуты: 21…25, 30…34, 39…43, 48…52, 57…61 - с мишенью фотоприемника второго датчика ЦТС 1-4.The harnesses of this nozzle, including: 1 ... 20, 26 ... 29, 35 ... 38, 44 ... 47, 53 ... 56, 62 ... 81, are docked with the peripheral sections of the target of the photodetector of the first sensor PZTs 1-3 (see figure 4 ), and the rest of the harnesses: 21 ... 25, 30 ... 34, 39 ... 43, 48 ... 52, 57 ... 61 - with the target of the photodetector of the second PZT sensor 1-4.

В перспективе может быть разработано и специализированное техническое решение телевизионного панорамного объектива с интегрированной в его конструкцию волоконно-оптической насадкой, т.е. в нем блоки 1-1 и 1-2 выполнены в одном оптическом приборе.In the future, a specialized technical solution for a television panoramic lens with an integrated fiber optic nozzle, i.e. in it blocks 1-1 and 1-2 are made in one optical device.

Мишень фотоприемника первого датчика ЦТС 1-3 должна быть вписана в вертикальный размер оптического кадра панорамного объектива 1-1. Разрешающая способность этого матричного фотоприемника напрямую зависит от горизонтального угла поля зрения наблюдаемого оператором персонального компьютера изображения (γг). Чем меньше величина γг, тем выше требуемое число элементов матрицы по горизонтали и вертикали. Учитывая, что геометрические размеры оптического кадра сегодняшнего панорамного объектива совпадают с размерами кадра стандартной фотопленки, необходимо признать эти требования чрезвычайно высокими.The target of the photodetector of the first PZT 1-3 sensor should be inscribed in the vertical size of the optical frame of the panoramic lens 1-1. The resolution of this matrix photodetector directly depends on the horizontal angle of the field of view of the image observed by the operator of the personal computer (γ g ). The smaller the value of γ g , the higher the required number of matrix elements horizontally and vertically. Considering that the geometric dimensions of the optical frame of today's panoramic lens coincide with the frame sizes of a standard film, it is necessary to recognize these requirements as extremely high.

Современные мегапиксельные матрицы приборов с зарядовой связью (матрицы ПЗС) имеют явное ограничение по скорости тактирования фазных электродов выходного регистра: максимальная частота опроса элемента (пиксела) не превышает 40 МГц. Отсюда частота смены кадров наблюдаемого оператором персонального компьютера панорамного изображения должна быть принята значительно ниже 50 Гц, что не всегда допустимо по причине внесения дополнительных искажений видеосигнала при регистрации динамичных сюжетов.Modern megapixel arrays of charge-coupled devices (CCD matrices) have an explicit limitation on the clock speed of the phase electrodes of the output register: the maximum polling frequency of an element (pixel) does not exceed 40 MHz. Hence, the frame rate of the panoramic image observed by the operator of the personal computer should be taken much lower than 50 Hz, which is not always permissible due to the introduction of additional distortions of the video signal during registration of dynamic scenes.

Поэтому актуальным становится режим переменной скорости считывания в матрице ПЗС, предложенный в работе [4, с.103], который позволяет перераспределением частот считывания в пределах одного кадра улучшить качество считывания некоторого фрагмента изображения ценой ухудшения качества считывания остального массива элементов или его участка. Например, этот заведомо необходимый фрагмент изображения считывается с оптимальной скоростью, т.е. активно, а поэтому для него формируется полезный видеосигнал. С другой стороны, заведомо бесполезный участок изображения считывается с максимальной скоростью или пассивно, т.к. это приводит к физическому устранению самого процесса формирования видеосигнала. Такое решение обеспечивает сжатие формируемого видеосигнала путем сокращения полосы передаваемых частот и компромиссное распределение коэффициента сжатия между телевизионной камерой и сервером.Therefore, the variable read speed mode in the CCD matrix proposed in [4, p. 103] becomes relevant, which allows the redistribution of the read frequencies within one frame to improve the read quality of some image fragment at the cost of deterioration in the read quality of the rest of the array of elements or its section. For example, this obviously necessary fragment of the image is read with optimal speed, i.e. actively, and therefore a useful video signal is generated for it. On the other hand, the obviously useless portion of the image is read at maximum speed or passively, because this leads to the physical elimination of the process of generating a video signal. This solution provides compression of the generated video signal by reducing the bandwidth of transmitted frequencies and a compromise distribution of the compression ratio between the television camera and server.

Следует признать и другое условие, а именно: дальнейший рост разрешающей способности матриц ПЗС ограничен производственными возможностями их технологии, которая по многим показателям приближается к физическим пределам.It is necessary to recognize another condition, namely: a further increase in the resolution of CCD matrices is limited by the production capabilities of their technology, which in many respects approaches physical limits.

Однако стремительно развивающаяся технология производства матриц на основе комплементарных структур «металл-окисел-полупроводник» (матриц КМОП) вполне может исправить эту ситуацию в ближайшее время, ибо максимально допустимая частота опроса пикселов в этих фотоприемниках уже превзошла отметку 100 МГц [5].However, the rapidly developing technology for the production of matrices based on complementary metal-oxide-semiconductor structures (CMOS matrices) may well fix this situation in the near future, because the maximum allowable pixel sampling frequency in these photodetectors has already exceeded 100 MHz [5].

Мишень фотоприемника второго датчика ЦТС 1-4 должна захватывать кольцевое оптическое изображение, которое не используется при формировании видеосигнала фотоприемником первого датчика ЦТС 1-3.The target of the photodetector of the second PZT sensor 1-4 should capture a ring optical image, which is not used when generating the video signal by the photodetector of the first sensor PZT 1-3.

Очевидно, что формат мишени фотоприемника второго датчика ЦТС (по числу пикселов на ее площади) будет меньше формата мишени фотоприемника первого датчика ЦТС при одинаковых геометрических размерах их матричных пикселов.It is obvious that the target format of the photodetector of the second PZT sensor (in terms of the number of pixels in its area) will be smaller than the target format of the photodetector of the first PZT sensor with the same geometric dimensions of their matrix pixels.

Мультиплексор 1-5 предназначен для объединения двух видеосигналов на единственную магистраль с помощью разделения по времени. Электрическая схема мультиплексора 1-5 может быть выполнена на операционных усилителях с внешним переменным смещением типа СА3078Т фирмы RCA (США) согласно техническому решению, которое приведено в [6, с. 295]. Формируемый на выходе телевизионной камеры 1 цифровой мультиплексный сигнал изображения, который содержит в качестве составляющих сигналы «видео 1» и «видео 2», полученные соответственно от датчика 1-3 и датчика 1-4.Multiplexer 1-5 is designed to combine two video signals onto a single trunk using time division. The electric circuit of multiplexer 1-5 can be performed on operational amplifiers with external variable bias type CA3078T from RCA (USA) according to the technical solution that is given in [6, p. 295]. The digital multiplex image signal generated at the output of the television camera 1, which contains the “video 1” and “video 2” signals obtained from the sensors 1-3 and sensor 1-4 as components.

Функция демультиплексирования (разделения) сигналов «видео 1» и «видео 2» реализуется на плате видео сервера. Там же выполняется и преобразование «кольцевых» кадров изображения, формируемых датчиками 1-3 и 1-4, в «прямоугольные» кадры. Отметим, что операция считывания этих «прямоугольных» кадров включает и коррекцию программным путем геометрических искажений соответствующего участка панорамного изображенияThe demultiplexing (separation) function of the “video 1” and “video 2” signals is implemented on the video server board. There, the conversion of “circular” image frames formed by sensors 1-3 and 1-4 into “rectangular” frames is also performed. It should be noted that the operation of reading these “rectangular” frames also includes the correction by software of geometric distortions of the corresponding section of the panoramic image

Устройство панорамного телевизионного наблюдения (см. фиг.1) работает следующим образом. Телевизионная камера 1, содержащая панорамный объектив 1-1, волоконно-оптическую насадку 1-2, первый датчик ЦТС 1-3, второй датчик ЦТС 1-4 и мультиплексор 1-5, устанавливается в фиксированное положение, например, при помощи фотоштатива (на фиг.1 он не показан). Допустим, что мишени фотоприемников датчиков 1-3 и 1-4 имеют формат 1:1.Device panoramic television surveillance (see figure 1) works as follows. A television camera 1, comprising a panoramic lens 1-1, a fiber optic nozzle 1-2, a first DSP sensor 1-3, a second DSP sensor 1-4 and a multiplexer 1-5, is mounted in a fixed position, for example, using a photo camera (on figure 1 it is not shown). Assume that the targets of the photodetectors of sensors 1-3 and 1-4 have a 1: 1 format.

При помощи жгутов насадки 1-2 периферийная часть кольцевого оптического изображения с выхода панорамного объектива 1-1 проецируется на мишень фотоприемника первого датчика 1-3, а центральная часть этого кольцевого изображения - на мишень фотоприемника второго датчика 1-4.Using the harnesses of nozzles 1-2, the peripheral part of the annular optical image from the output of the panoramic lens 1-1 is projected onto the target of the photodetector of the first sensor 1-3, and the central part of this annular image is projected onto the target of the photodetector of the second sensor 1-4.

Фотоприемник первого датчика 1-3 формирует аналоговый видеосигнал путем считывания пикселов на мишени, вписанной по высоте на диаметр кольцевого изображения, при этом исключается поэлементное считывание на площади участка мишени, расположенного внутри этой мишени. На фиг.4 пассивная область мишени отмечена компьютерной заливкой-штриховкой от центра.The photodetector of the first sensor 1-3 generates an analog video signal by reading pixels on a target inscribed in height by the diameter of the ring image, while element-by-element reading is excluded on the area of the target area located inside this target. In Fig. 4, the passive region of the target is marked by computer shading from the center.

Мишень фотоприемника второго датчика 1-4 вписана по высоте в этот вертикальный размер пассивной области мишени фотоприемника датчика 1-3, как показано на фиг.6. Область, занимаемая на мишени световодным жгутом 41 (на фиг.6 она тоже помечена штриховкой-заливкой), будет являться пассивной. Матрица ПЗС второго датчика совершенно аналогично считывает с оптимальной скоростью только те пикселы на мишени, которые не принадлежат к пассивной области. С другой стороны, исключается формирование видеосигнала на пассивной области мишени.The target of the photodetector of the second sensor 1-4 is inscribed in height in this vertical size of the passive region of the target of the photodetector of the sensor 1-3, as shown in Fig.6. The region occupied on the target by the light guide bundle 41 (in FIG. 6 it is also marked with hatching-filling) will be passive. The CCD matrix of the second sensor in a completely analogous way reads out only those pixels on the target that do not belong to the passive region with optimal speed. On the other hand, the formation of a video signal on the passive region of the target is excluded.

Аналоговый видеосигнал первого датчика 1-3 преобразуется далее в цифровой сигнал изображения «видео 1», а аналоговый видеосигнал второго датчика 1-4 - соответственно в цифровой сигнал изображения «видео 2». Затем, благодаря мультиплексору 1-5, оба видеосигнала по единственной линии связи передаются при помощи стандартного интерфейса (например, USB 2,0) на вход сервера 2. На плате видео сервера осуществляется разделение поступающего мультиплексного видеосигнала на два канала, соответственно для «видео 1» и «видео 2» и запись каждого из этих кольцевых изображений в блоки оперативной памяти.The analog video signal of the first sensor 1-3 is further converted into a digital image signal "video 1", and the analog video signal of the second sensor 1-4 is converted into a digital image signal "video 2". Then, thanks to multiplexer 1-5, both video signals on a single communication line are transmitted using a standard interface (for example, USB 2.0) to the input of server 2. On the video server board, the incoming multiplex video signal is divided into two channels, respectively, for “video 1 "And" video 2 "and the recording of each of these ring images in the blocks of RAM.

Предположим, что текущий угол поля зрения (γг) предъявляемого панорамного изображения составляет 60 градусов по горизонтали, тогда «кольцевой» кадр записи для «видео 1» включает 6 (шесть) условных областей (см. фиг.5), а «кольцевой» кадр записи для «видео 2» тоже включает 6 условных областей (см. фиг.7). Очевидно, что эти области для «кольцевого» кадра «видео 2» будут перекрываться, но с этим можно согласиться, т.к. крайне желательно обеспечить запись видеосигналов с поддержанием неизменного показателя по четкости изображения.Suppose that the current angle of view (γ g ) of the presented panoramic image is 60 degrees horizontally, then the “ring” recording frame for “video 1” includes 6 (six) conditional areas (see figure 5), and the “ring” the recording frame for "video 2" also includes 6 conditional areas (see Fig.7). Obviously, these areas for the “ring” frame of “video 2” will overlap, but we can agree with this, because It is highly desirable to ensure the recording of video signals while maintaining a constant indicator of image clarity.

Цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в m «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности (см. фиг.5 или фиг.7 соответственно) операторам локальной вычислительной сети. В нашем примере две эти последовательности содержат 12 различных изображений.The digital video recording signal for each "ring" image frame is converted into m "rectangular" frames, which can be offered in the form of a selected sequence (see Fig. 5 or Fig. 7, respectively) to the operators of the local area network. In our example, these two sequences contain 12 different images.

Будем считать, что в качестве персональных компьютеров 3, образующих эту сеть использованы ноутбуки, содержащие в своем составе материнскую плату с установленными на ней процессором и оперативной памятью, а также жесткий диск, дисплей, клавиатуру и тачпад - указательное устройство, используемое вместо манипулятора «мышь». Оператор каждого ноутбука 3 может осуществить селекцию предлагаемого сервером 2 изображения и его вывод на экран дисплея.We assume that the personal computers 3 that make up this network are laptops containing a motherboard with a processor and RAM installed on it, as well as a hard disk, display, keyboard and touchpad - a pointing device used instead of the mouse ". The operator of each laptop 3 can select the image proposed by the server 2 image and its output to the display screen.

Технический результат предполагаемого изобретения заключается в том, что число датчиков видеосигнала в устройстве, по сравнению с прототипом, сокращается до двух, а в качестве их фотоприемников допустимо «безболезненное» использование матриц ПЗС, имеющих технологические дефекты в центральной области мишени.The technical result of the proposed invention is that the number of video signal sensors in the device, compared with the prototype, is reduced to two, and as their photodetectors, the "painless" use of CCD arrays having technological defects in the central region of the target is acceptable.

Если же сравнивать новое решение с патентом [7], то сейчас достигается другой технический эффект, а именно: увеличенная последовательность изображений, передающих увеличенную площадь контролируемого оптического пространства.If we compare the new solution with the patent [7], then another technical effect is achieved, namely: an increased sequence of images transmitting an increased area of the controlled optical space.

В настоящее время все элементы структурной схемы устройства панорамного телевизионного наблюдения освоены или могут быть освоены отечественной промышленностью. Поэтому следует считать предлагаемое изобретение соответствующим требованию о промышленной применимости.Currently, all elements of the structural diagram of a panoramic television monitoring device are mastered or can be mastered by domestic industry. Therefore, the present invention should be considered as meeting the requirement for industrial applicability.

ИСТОЧНИКИ ИНФОРМАЦИИINFORMATION SOURCES

1. Патент РФ №2389154. МПК H04N 7/18. Устройство панорамного телевизионного наблюдения. / В.М. Смелков // Б.И. - 2010. - №13.1. RF patent No. 2389154. IPC H04N 7/18. Panoramic television surveillance device. / V.M. Smelkov // B.I. - 2010. - No. 13.

2. Хромов Л.И., Лебедев Н.В., Цыцулин А.К., Куликов А.Н. Твердотельное телевидение: Телевизионные системы с переменными параметрами на ПЗС и микропроцессорах. - М.: «Радио и связь», 1986.2. Khromov L.I., Lebedev N.V., Tsytsulin A.K., Kulikov A.N. Solid State Television: Television systems with variable parameters on a CCD and microprocessors. - M.: “Radio and Communications”, 1986.

3. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.3. RF patent No. 2185645. IPC G02B 13/06, G02B 17/08. Panoramic mirror lens. / A.V. Kurtov, V.A. Solomatin // B.I. - 2002. - No. 20.

4. Хромов Л.И., Цыцулин А.К., Куликов А.Н. Видеоинформатика. Передача и компьютерная обработка видеоинформации. - М.: «Радио и связь», 1991.4. Khromov L.I., Tsytsulin A.K., Kulikov A.N. Video informatics. Transfer and computer processing of video information. - M.: “Radio and Communications”, 1991.

5. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К., Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. - М.: «Радио и связь», 2006.5. Berezin VV, Umbitaliev A.A., Fakhmi Sh.S., Tsytsulin A.K., Shipilov N.N. Solid State Revolution in Television: Television systems based on charge-coupled devices, systems on a chip, and video systems on a chip. - M.: “Radio and Communications”, 2006.

6. Ленк Дж. Электронные схемы: Практическое руководство. Перевод с англ. - М.: «Мир», 1985.6. Lenk J. Electronic circuits: a practical guide. Translation from English - M .: "World", 1985.

7. Патент РФ №2371880, МПК H04N 7/00. Способ панорамного телевизионного наблюдения и устройство для его осуществления. / В.М. Смелков // Б.И. - 2009. - №30.7. RF patent No. 2371880, IPC H04N 7/00. The method of panoramic television surveillance and device for its implementation. / V.M. Smelkov // B.I. - 2009. - No. 30.

Claims (4)

1. Устройство панорамного телевизионного наблюдения, состоящее из последовательно соединенных телевизионной камеры и сервера, являющегося узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, причем телевизионная камера содержит последовательно расположенные и оптически связанные панорамный объектив и волоконно-оптическую насадку, которая имеет световодные ответвления (жгуты), отличающееся тем, что в состав телевизионной камеры введены первый датчик цифрового телевизионного сигнала (ЦТС), второй датчик ЦТС, синхронизированный по частоте и фазе с первым датчиком ЦТС по сигналу синхронизации приемника (ССП), а также мультиплексор, первый информационный вход которого подключен к выходу первого датчика ЦТС, второй информационный вход мультиплексора - к выходу второго датчика ЦТС, вход синхронизации мультиплексора - к выходу кадровых синхроимпульсов первого датчика ЦТС, а выход мультиплексора является выходом «видео» телевизионной камеры, при этом мишень фотоприемника первого датчика ЦТС состыкована через волоконно-оптическое сочленение с периферийными световодными жгутами волоконно-оптической насадки, а ее центральные световодные жгуты - с мишенью фотоприемника второго датчика ЦТС, в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управления и питанию с шиной сервера, содержащая демультиплексор, а также первый и второй блоки преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), причем вход первого БПКП подключен к выходу первого блока оперативной памяти на кадр, вход второго БПКП - к выходу второго блока оперативной памяти на кадр, а выходы обоих БПКП - к выходу «сеть» сервера, при этом число m «прямоугольных» кадров удовлетворяет соотношению:
Figure 00000003
,
где γг - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а операции демультиплексирования входного видеосигнала и БПКП выполняются в сервере программным путем.
1. A panoramic television surveillance device, consisting of a series-connected television camera and a server, which is a local area network node to which two or more personal computers are connected, the television camera comprising a panoramic lens and a fiber optic nozzle that are sequentially located and optically connected, which has fiber-optic branches (bundles), characterized in that the first sensor of a digital television signal (CT) is introduced into the composition of the television camera ), a second PZT sensor synchronized in frequency and phase with the first PZT sensor according to the receiver synchronization signal (SSP), as well as a multiplexer, the first information input of which is connected to the output of the first PZT sensor, the second information input of the multiplexer is connected to the output of the second PZT sensor, input multiplexer synchronization - to the output of the frame sync pulses of the first PZT sensor, and the multiplexer output is the “video” output of a television camera, while the photodetector target of the first PZT sensor is connected via fiber optic articulation with the peripheral optical fibers of the fiber optic nozzle, and its central optical fibers with the target of the photodetector of the second PZT, a video card is installed in the expansion slot on the server motherboard, matched through the input / output, control and power channels with the server bus, containing a demultiplexer, as well as the first and second blocks for converting a “ring” frame into “rectangular” frames (BPCS), and the input of the first BPCP is connected to the output of the first block of RAM per frame, the input of the second PSU P - to the output of the second block of memory per frame, and outputs both BPKP - to the output of a "network" server, with the number m «square» frames satisfies the relation:
Figure 00000003
,
where γ g is the horizontal angle of the field of view in degrees observed by the operator of the image, and the operations of demultiplexing the input video signal and the BPC are performed in the server programmatically.
2. Устройство панорамного телевизионного наблюдения по п.1, отличающееся тем, что панорамный объектив и волоконно-оптическая насадка выполнены в одном оптическом приборе.2. The panoramic television observation device according to claim 1, characterized in that the panoramic lens and the fiber optic nozzle are made in one optical device. 3. Устройство панорамного телевизионного наблюдения по п.1, отличающееся тем, что фотоприемники первого и второго датчиков ЦТС выполнены на матрицах приборов с зарядовой связью (матрицах ПЗС) или на матрицах с комплементарной структурой металл-окисел-полупроводник (матрицах КМОП).3. The panoramic television observation device according to claim 1, characterized in that the photodetectors of the first and second PZT sensors are made on charge-coupled arrays (CCD matrices) or on matrices with a complementary metal-oxide-semiconductor structure (CMOS matrices). 4. Устройство панорамного телевизионного наблюдения по п.1, отличающееся тем, что формат мишени фотоприемника второго датчика ЦТС меньше формата мишени фотоприемника первого датчика ЦТС при одинаковых геометрических размерах их матричных пикселов (элементов изображения). 4. The panoramic television observation device according to claim 1, characterized in that the target format of the photodetector of the second PZT sensor is smaller than the target format of the photodetector of the first PZT sensor with the same geometric dimensions of their matrix pixels (image elements).
RU2013146074/07A 2013-10-15 2013-10-15 Device for panoramic television surveillance RU2523858C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2013146074/07A RU2523858C1 (en) 2013-10-15 2013-10-15 Device for panoramic television surveillance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2013146074/07A RU2523858C1 (en) 2013-10-15 2013-10-15 Device for panoramic television surveillance

Publications (1)

Publication Number Publication Date
RU2523858C1 true RU2523858C1 (en) 2014-07-27

Family

ID=51265161

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013146074/07A RU2523858C1 (en) 2013-10-15 2013-10-15 Device for panoramic television surveillance

Country Status (1)

Country Link
RU (1) RU2523858C1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2579005C1 (en) * 2015-02-02 2016-03-27 Вячеслав Михайлович Смелков Device for panoramic television surveillance
RU2694742C1 (en) * 2019-02-05 2019-07-16 Вячеслав Михайлович Смелков Method of forming a digital video signal on a sensor chip, made by the technology of a cmos

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2195085C2 (en) * 1996-05-10 2002-12-20 Дзе Трастиз Оф Колумбия Юниверсити Ин Дзе Сити Оф Нью Йорк Set to form image from all directions
US6889385B1 (en) * 2000-01-14 2005-05-03 Terayon Communication Systems, Inc Home network for receiving video-on-demand and other requested programs and services
GB2459602A (en) * 2007-02-21 2009-11-04 Pixel Velocity Inc Scalable system for wide area surveillance
RU2389154C1 (en) * 2008-11-01 2010-05-10 Вячеслав Михайлович Смелков Device for panoramic television observation
WO2012082127A1 (en) * 2010-12-16 2012-06-21 Massachusetts Institute Of Technology Imaging system for immersive surveillance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2195085C2 (en) * 1996-05-10 2002-12-20 Дзе Трастиз Оф Колумбия Юниверсити Ин Дзе Сити Оф Нью Йорк Set to form image from all directions
US6889385B1 (en) * 2000-01-14 2005-05-03 Terayon Communication Systems, Inc Home network for receiving video-on-demand and other requested programs and services
GB2459602A (en) * 2007-02-21 2009-11-04 Pixel Velocity Inc Scalable system for wide area surveillance
RU2389154C1 (en) * 2008-11-01 2010-05-10 Вячеслав Михайлович Смелков Device for panoramic television observation
WO2012082127A1 (en) * 2010-12-16 2012-06-21 Massachusetts Institute Of Technology Imaging system for immersive surveillance

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2579005C1 (en) * 2015-02-02 2016-03-27 Вячеслав Михайлович Смелков Device for panoramic television surveillance
RU2694742C1 (en) * 2019-02-05 2019-07-16 Вячеслав Михайлович Смелков Method of forming a digital video signal on a sensor chip, made by the technology of a cmos

Similar Documents

Publication Publication Date Title
RU2371880C1 (en) Panoramic video surveillance method and device for implementing thereof
US20150138311A1 (en) 360-degree panoramic camera systems
RU2545519C1 (en) Apparatus for computer-based panoramic television surveillance system and photodetector setup therefor
US11659294B2 (en) Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method
US20160360121A1 (en) Portable device with successive extension zooming capability
CN109842750B (en) Image pickup apparatus system
RU2706011C1 (en) Panoramic television surveillance computer system device
WO2017200547A1 (en) Array camera imaging system having distributed memory
RU2723645C1 (en) High-resolution panorama television surveillance computer system device
RU2523858C1 (en) Device for panoramic television surveillance
RU2665695C1 (en) Computer system device for panoramic television surveillance
RU2530879C1 (en) Device for panoramic television surveillance "day-night"
RU2600308C1 (en) Device of computer system for panoramic television surveillance
RU2631830C1 (en) Computer system of panoramic television observation
RU2524576C1 (en) Method for panoramic television surveillance and device for realising said method
RU2710777C1 (en) Television camera and its "ring" photodetector for computer system of panoramic surveillance
EP3780594B1 (en) Imaging device and method, image processing device and method, and imaging element
RU2389154C1 (en) Device for panoramic television observation
RU2755809C1 (en) Device of a computer system for panoramic television surveillance with increased resolution
JP6022428B2 (en) Image photographing apparatus and image photographing method
KR101521109B1 (en) Accelerated processing method of frame using CMOS image sensor and frame accelarating system
WO2019045245A1 (en) Synchronizing image captures in multiple sensor devices
RU2710779C1 (en) Device for "circular" photodetector of color image for panoramic television-computer surveillance
RU2709459C1 (en) Panoramic television surveillance computer system device
RU2720581C1 (en) Panoramic television surveillance computer system device