RU2437153C2 - Method to process infrared image, system of infrared image capture and machine-readable medium - Google Patents
Method to process infrared image, system of infrared image capture and machine-readable medium Download PDFInfo
- Publication number
- RU2437153C2 RU2437153C2 RU2010104434/08A RU2010104434A RU2437153C2 RU 2437153 C2 RU2437153 C2 RU 2437153C2 RU 2010104434/08 A RU2010104434/08 A RU 2010104434/08A RU 2010104434 A RU2010104434 A RU 2010104434A RU 2437153 C2 RU2437153 C2 RU 2437153C2
- Authority
- RU
- Russia
- Prior art keywords
- infrared image
- image
- background
- detailed
- scaling
- Prior art date
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
Description
Область техники, к которой относится изобретениеFIELD OF THE INVENTION
Настоящее изобретение относится, в общем, к системам получения инфракрасного изображения, а более конкретно, к способам обработки изображения для систем получения инфракрасного изображения и способам управления отображением инфракрасного изображения.The present invention relates generally to infrared image acquisition systems, and more particularly, to image processing methods for infrared image acquisition systems and methods for controlling the display of an infrared image.
Уровень техникиState of the art
Инфракрасные камеры используются во множестве приложений получения изображений, чтобы захватывать инфракрасные изображения. Эти захваченные инфракрасные изображения могут быть зернистыми (например, зашумленными) или не иметь достаточной детальности, и, следовательно, до некоторой степени, способы обработки могут применяться, чтобы пресекать нежелательные признаки, такие как шум, и/или улучшать захваченные инфракрасные изображения.Infrared cameras are used in a variety of imaging applications to capture infrared images. These captured infrared images may be grainy (eg, noisy) or lack sufficient detail, and therefore, to some extent, processing methods may be used to suppress unwanted features such as noise and / or improve captured infrared images.
В целом, инфракрасные камеры могут иметь дело с двумя зачастую противоречащими характеристиками сигнала. С одной стороны, оцифрованное инфракрасное изображение может иметь большой динамический диапазон, который может измеряться в цифровых единицах (например, порядка десятков тысяч цифровых единиц). В этом динамическом диапазоне некоторая неотчетливая деталь может иметь большую важность для пользователя, и для того, чтобы быть видимой пользователю на дисплее, может требовать, например, применения фильтра улучшения контрастности. С другой стороны, инфракрасное изображение может также страдать от плохого соотношения сигнал/шум (SNR), и, следовательно, улучшение контрастности может сделать изображение менее полезным, так как улучшение контрастности может приводить в результате также к усилению шума. Типично, некоторый вид шумового фильтра может применяться к инфракрасному сигналу, но поиск правильных настроек для шумового фильтра для конкретного формирователя изображения, для конкретной сцены и для конкретного приложения может быть длительным. Следовательно, минимизация времени пользователя на поиск оптимальной настройки, при которой некоторая деталь или цель выбора может быть лучше видна, может быть очень полезной для ряда различных типов приложений.In general, infrared cameras can deal with two often conflicting signal characteristics. On the one hand, a digitized infrared image can have a large dynamic range, which can be measured in digital units (for example, on the order of tens of thousands of digital units). In this dynamic range, some unclear detail may be of great importance to the user, and in order to be visible to the user on the display, it may require, for example, the use of a contrast enhancement filter. On the other hand, an infrared image may also suffer from poor signal to noise ratio (SNR), and therefore, an improvement in contrast may make the image less useful, since an improvement in contrast may also result in increased noise. Typically, some kind of noise filter can be applied to an infrared signal, but finding the right settings for the noise filter for a particular imager, for a specific scene, and for a specific application can be lengthy. Therefore, minimizing the user's time to find the optimal setting, in which some detail or purpose of the selection can be better seen, can be very useful for a number of different types of applications.
Недостатком традиционной инфракрасной камеры является то, что пользователю не разрешается управлять этими способами обработки во время захвата изображения, или оптимальные настройки трудно определять пользователю. Следовательно, с точки зрения пользователя, результатом является менее оптимальное захватываемое и отображаемое изображение. Кроме того, автоматическая настройка различных параметров может быть трудной. Например, для двух изображений с похожими свойствами сигнала (например, SNR, динамический диапазон и т.д.) неотчетливые детали могут быть существенны для классификации цели или могут быть просто шумом, который пользователь скорее подавит, чем улучшит.A disadvantage of a conventional infrared camera is that the user is not allowed to control these processing methods during image capture, or the optimal settings are difficult to determine for the user. Therefore, from the point of view of the user, the result is a less optimal captured and displayed image. In addition, automatic tuning of various parameters can be difficult. For example, for two images with similar signal properties (e.g., SNR, dynamic range, etc.), fuzzy details may be relevant to the classification of the target or may simply be noise that the user is more likely to suppress than to improve.
Как результат, существует необходимость в усовершенствованных способах предоставления способов обработки изображения и/или управляемых пользователем настроек для инфракрасных камер.As a result, there is a need for improved methods for providing image processing methods and / or user-controlled settings for infrared cameras.
Сущность изобретенияSUMMARY OF THE INVENTION
Системы и способы, раскрытые в данном документе в соответствии с одним или более вариантами осуществления настоящего изобретения, предоставляют способы обработки изображения для изображений, захваченных инфракрасными датчиками (например, инфракрасными камерами), которые могут улучшать качество изображения. Например, в соответствии с вариантом осуществления настоящего изображения раскрываются алгоритмы обработки изображения, чтобы разделять сигнал изображения, по меньшей мере, на две части, которые могут раздельно масштабироваться перед объединением двух частей, чтобы создавать выходное изображение. Кроме того, в соответствии с вариантом осуществления настоящего изображения, две согласованные таблицы значений могут быть сформированы для алгоритмов обработки изображения для непрерывного перехода от изображения с низким уровнем детальности к изображению с высоким уровнем детальности и наоборот. Следовательно, например, пользователь может манипулировать признаком управления (например, устройством управления), чтобы регулировать алгоритмы обработки изображения, чтобы управлять и задавать детали изображения на требуемом уровне.The systems and methods disclosed herein in accordance with one or more embodiments of the present invention provide image processing methods for images captured by infrared sensors (eg, infrared cameras) that can improve image quality. For example, in accordance with an embodiment of the present image, image processing algorithms are disclosed to divide an image signal into at least two parts that can be separately scaled before combining the two parts to create an output image. In addition, in accordance with an embodiment of the present image, two consistent value tables may be generated for image processing algorithms to continuously transition from an image with a low level of detail to an image with a high level of detail and vice versa. Therefore, for example, the user can manipulate a control feature (for example, a control device) to adjust image processing algorithms in order to control and set image details at a desired level.
Более конкретно, в соответствии с вариантом осуществления настоящего изобретения способ обработки инфракрасного изображения включает в себя обработку инфракрасного изображения, чтобы предоставлять фоновую часть инфракрасного изображения и детальную часть инфракрасного изображения; масштабирование фоновой части и/или детальной части, чтобы обеспечивать уровень детальной части относительно уровня фоновой части; объединение фоновой части и детальной части после масштабирования, чтобы предоставлять обработанное инфракрасное изображение; и сохранение обработанного инфракрасного изображения.More specifically, in accordance with an embodiment of the present invention, an infrared image processing method includes infrared image processing to provide a background portion of an infrared image and a detailed portion of an infrared image; scaling the background portion and / or the detail portion to provide a level of the detail portion relative to the level of the background portion; combining the background portion and the detail portion after scaling to provide a processed infrared image; and saving the processed infrared image.
В соответствии с другим вариантом осуществления настоящего изобретения система захвата инфракрасного изображения включает в себя компонент захвата изображения, выполненный с возможностью захватывать инфракрасное изображение; компонент обработки; и запоминающий компонент, выполненный с возможностью хранить информацию, чтобы управлять компонентом обработки, чтобы выполнять обработку инфракрасного изображения. Обработка инфракрасного изображения включает в себя фильтрацию инфракрасного изображения, чтобы предоставлять фоновую часть инфракрасного изображения и детальную часть инфракрасного изображения; масштабирование фоновой части и/или детальной части, чтобы обеспечивать уровень детальной части относительно уровня фоновой части; объединение фоновой части и детальной части после масштабирования, чтобы предоставлять обработанное инфракрасное изображение; и сохранение обработанного инфракрасного изображения.According to another embodiment of the present invention, an infrared image capturing system includes an image capturing component configured to capture an infrared image; processing component; and a storage component configured to store information to control the processing component to perform infrared image processing. The infrared image processing includes filtering the infrared image to provide a background portion of the infrared image and a detailed portion of the infrared image; scaling the background portion and / or the detail portion to provide a level of the detail portion relative to the level of the background portion; combining the background portion and the detail portion after scaling to provide a processed infrared image; and saving the processed infrared image.
В соответствии с другим вариантом осуществления настоящего изобретения машиночитаемый носитель, на котором сохранена информация для выполнения способа, способ включает в себя фильтрацию инфракрасного изображения, чтобы предоставлять фоновую часть инфракрасного изображения и детальную часть инфракрасного изображения; масштабирование фоновой части и/или детальной части, чтобы предоставлять уровень детальной части относительно уровня фоновой части; выполнение выравнивания гистограммы фоновой части; объединение фоновой части и детальной части после масштабирования, чтобы предоставлять обработанное инфракрасное изображение; и сохранение обработанного инфракрасного изображения.According to another embodiment of the present invention, a computer-readable medium on which information for executing a method is stored, the method includes filtering an infrared image to provide a background part of the infrared image and a detailed part of the infrared image; scaling the background portion and / or the detail portion to provide the level of the detail portion relative to the level of the background portion; performing alignment of the histogram of the background part; combining the background portion and the detail portion after scaling to provide a processed infrared image; and saving the processed infrared image.
Рамки изобретения определены формулой изобретения, которая включена в эту часть по ссылке. Более полное понимание вариантов осуществления настоящего изобретения будет предоставлено специалистам в области техники, а также реализация его дополнительных преимуществ, при рассмотрении последующего подробного описания одного или более вариантов осуществления. Будет сделана ссылка на прилагаемые листы чертежей, которые сначала будут описаны кратко.The scope of the invention is defined by the claims, which are incorporated into this part by reference. A more complete understanding of the embodiments of the present invention will be provided to those skilled in the art, as well as the realization of its additional advantages, when considering the following detailed description of one or more embodiments. Reference will be made to the attached drawing sheets, which will first be described briefly.
Краткое описание чертежейBrief Description of the Drawings
Фиг. 1 показывает блок-схему системы захвата изображения в соответствии с вариантом осуществления настоящего изобретения.FIG. 1 shows a block diagram of an image capturing system in accordance with an embodiment of the present invention.
Фиг. 2 показывает способ улучшения качества изображения в соответствии с вариантом осуществления настоящего изобретения.FIG. 2 shows a method for improving image quality in accordance with an embodiment of the present invention.
Фиг. 3 показывает блок-схему способа обработки изображения в соответствии с вариантом осуществления настоящего изобретения.FIG. 3 shows a flowchart of an image processing method in accordance with an embodiment of the present invention.
Фиг. 4a и 4b показывают графические представления настроек параметров в соответствии с вариантом осуществления настоящего изобретения.FIG. 4a and 4b show graphical representations of parameter settings in accordance with an embodiment of the present invention.
Фиг. 5 показывает вид спереди блока ручного управления в соответствии с вариантом осуществления настоящего изобретения.FIG. 5 shows a front view of a manual control unit in accordance with an embodiment of the present invention.
Фиг. 6 показывает блок-схему способа обработки изображения в соответствии с вариантом осуществления настоящего изобретения.FIG. 6 shows a flowchart of an image processing method in accordance with an embodiment of the present invention.
Фиг. 7 показывает графическое представление переменной для обработки изображения, например, с помощью способа на фиг. 6, в соответствии с вариантом осуществления настоящего изобретения.FIG. 7 shows a graphical representation of a variable for image processing, for example, using the method of FIG. 6, in accordance with an embodiment of the present invention.
Варианты осуществления настоящего изобретения и их преимущества будут лучше поняты за счет ссылки на последующее подробное описание. Следует понимать, что используются одинаковые ссылочные номера, чтобы идентифицировать одинаковые элементы, иллюстрированные на одном или более чертежах.Embodiments of the present invention and their advantages will be better understood by reference to the following detailed description. It should be understood that the same reference numbers are used to identify the same elements illustrated in one or more drawings.
Подробное описаниеDetailed description
Системы и способы раскрываются в данном документе в соответствии с одним или более вариантами осуществления настоящего изобретения, чтобы предоставлять алгоритмы обработки изображения для изображений, захваченных системами получения инфракрасного изображения, которые могут улучшать детальность и качество изображения, позволяя пользователю выборочно масштабировать (например, улучшать и/или уменьшать) одну или более частей захваченного инфракрасного изображения до требуемого уровня. Например, в соответствии с вариантом осуществления настоящего изобретения, сигнал изображения, предоставленный инфракрасной камерой, может быть разделен на фоновое изображение (например, низкая пространственная частота, высокоамплитудная часть сигнала изображения) и детальное изображение (например, высокая пространственная частота, низкоамплитудная часть сигнала изображения). Фоновое изображение и/или детальное изображение, например, могут затем быть масштабированы раздельно прежде, чем они объединяются, чтобы создавать выходное изображение, или сохраняются для более позднего отображения. Как раскрыто дополнительно в данном документе, один или более вариантов осуществления настоящего изобретения может предоставлять определенные преимущества над традиционными системами получения инфракрасного изображения (например, инфракрасные камеры), например, посредством предоставления одного или более пользовательских элементов управления, которые могут уменьшать сложность выбора настроек инфракрасной камеры для алгоритмов обработки изображения (например, оптимальный набор параметров для конкретного типа сцены, например сцены со слабым освещением, имеющей высокочастотный шум, который снижает общее качество изображения).Systems and methods are disclosed herein in accordance with one or more embodiments of the present invention to provide image processing algorithms for images captured by infrared image acquisition systems that can improve detail and image quality by allowing the user to selectively scale (e.g., improve and / or reduce) one or more parts of the captured infrared image to the desired level. For example, in accordance with an embodiment of the present invention, an image signal provided by an infrared camera can be divided into a background image (e.g., low spatial frequency, high amplitude portion of the image signal) and detailed image (e.g., high spatial frequency, low amplitude portion of the image signal) . The background image and / or detailed image, for example, can then be scaled separately before they are combined to create an output image, or saved for later display. As disclosed further herein, one or more embodiments of the present invention may provide certain advantages over traditional infrared imaging systems (eg, infrared cameras), for example, by providing one or more user controls that can reduce the complexity of the infrared camera settings. for image processing algorithms (for example, the optimal set of parameters for a particular type of scene, for example, scenes low-light, high-frequency noise that reduces overall image quality).
В соответствии с вариантом осуществления настоящего изобретения фиг. 1 показывает блок-схему, иллюстрирующую систему 100 захвата изображения для захвата и обработки инфракрасных изображений. Система 100 захвата изображения содержит, в одном варианте осуществления, компонент 110 обработки, запоминающий компонент 120, компонент 130 захвата изображения, компонент 140 управления, компонент 150 отображения и, необязательно, компонент 160 обнаружения.According to an embodiment of the present invention, FIG. 1 shows a block diagram illustrating an image capturing
Система 100 обработки изображения может представлять устройство получения инфракрасного изображения, такое как инфракрасная камера, чтобы захватывать изображения, такие как изображение 170. Система 100 захвата изображения может представлять любой тип инфракрасной камеры, которая, например, обнаруживает инфракрасное излучение и предоставляет характерные данные (например, один или более снимков или инфракрасные видеоизображения). Например, система 100 захвата изображения может представлять инфракрасную камеру, которая направлена на ближний, средний и/или дальний инфракрасные спектры. Система 100 захвата изображения может содержать портативное устройство и может быть внедрена, например, в транспортное средство (например, автомобиль или другой тип наземного транспортного средства, летательный аппарат или космический корабль), или немобильную установку, требующую, чтобы инфракрасные изображения сохранялись и/или отображались.The
Компонент 110 обработки содержит, в одном варианте осуществления, микропроцессор, одноядерный процессор, многоядерный процессор, микроконтроллер, логическое устройство (например, программируемое логическое устройство, сконфигурированное так, чтобы выполнять функции обработки), устройство обработки цифрового сигнала (DSP) и т.д. Компонент 110 обработки выполнен с возможностью взаимодействовать и связываться с компонентами 120, 130, 140 и 150, чтобы, таким образом, выполнять способ и этапы обработки образом, который описан в данном документе. Компонент 110 обработки может дополнительно содержать модуль 112 фильтрации с адаптивной контрастностью (AC), который выполнен с возможностью осуществлять AC-алгоритм (например, алгоритм AC-фильтрации), который будет описан более подробно в данном документе. Компонент 110 обработки может также быть выполнен с возможностью выполнять различные другие типы алгоритмов обработки изображения, включающие в себя масштабирование сигнала одной или более частей изображения, либо как часть, либо отдельно от AC-алгоритма, образом, который будет описан в данном документе.The processing component 110 comprises, in one embodiment, a microprocessor, a single core processor, a multi-core processor, a microcontroller, a logic device (e.g., a programmable logic device configured to perform processing functions), a digital signal processing device (DSP), etc. The processing component 110 is configured to interact and communicate with
Следует понимать, что модуль 112 AC-фильтрации может быть объединен в программном обеспечении и/или аппаратных средствах как часть компонента 110 обработки или код (например, программное обеспечение или конфигурационные данные) для модуля 112 AC-фильтрации может быть сохранен в запоминающем компоненте 120. Более того, например, в соответствии с вариантом осуществления настоящего изобретения варианты осуществления AC-алгоритма, раскрытого в данном документе, могут быть сохранены посредством отдельного машиночитаемого носителя (например, запоминающего устройства, такого как накопитель на жестком диске, компакт-диск, цифровой видеодиск или флэш-память), чтобы исполняться компьютером (например, логической или процессорной системой), чтобы выполнять различные способы, раскрытые в данном документе. В качестве примера, машиночитаемый носитель может быть портативным и/или расположен отдельно от системы 100 захвата изображения с сохраненным AC-алгоритмом, предоставленным системе 100 захвата изображения посредством соединения машиночитаемого носителя с системой 100 захвата изображения и/или системой 100 захвата изображения, загружающей (например, через проводную или беспроводную линию связи) AC-алгоритм с машиночитаемого носителя.It should be understood that the AC filtering module 112 may be combined in software and / or hardware as part of the processing component 110 or code (eg, software or configuration data) for the AC filtering module 112 may be stored in the
Запоминающий компонент 120 содержит, в одном варианте осуществления, одно или более запоминающих устройств, чтобы хранить данные и информацию. Запоминающее устройство может содержать один или более различных типов запоминающих устройств, включающих в себя энергозависимые и энергонезависимые запоминающие устройства, такие как RAM (оперативное запоминающее устройство), ROM (постоянное запоминающее устройство), EEPROM (электрически стираемое постоянное запоминающее устройство), флэш-память и т.д. Компонент 110 обработки выполнен с возможностью выполнять программное обеспечение, сохраненное в запоминающем компоненте 120, с тем, чтобы выполнять способ и операции процесса, описанные в данном документе.The
Компонент 130 захвата изображения содержит, в одном варианте осуществления, один или более инфракрасных датчиков (например, любой тип инфракрасного датчика, такой как матрица видеопреобразователя) для захвата сигналов инфракрасного изображения, представляющих изображение, такое как изображение 170. В одном варианте осуществления инфракрасные датчики компонента 130 захвата изображения предоставляют для представления (например, преобразования) захваченный сигнал изображения как цифровые данные (например, через аналого-цифровой преобразователь, включенный в состав как часть инфракрасного датчика или отдельно от инфракрасного датчика как часть системы 100 захвата изображения). Компонент 110 обработки может быть выполнен с возможностью обрабатывать сигналы инфракрасного изображения (например, предоставлять обработанные данные изображения), сохранять сигналы инфракрасного изображения или данные изображения в запоминающем компоненте 120 и/или находить сохраненные сигналы инфракрасного изображения в запоминающем компоненте 120. Например, компонент 110 обработки может быть выполнен с возможностью обрабатывать сигналы инфракрасного изображения в запоминающем компоненте 120, чтобы предоставлять данные изображения (например, захваченные и/или обработанные данные инфракрасного изображения).The image capturing component 130 comprises, in one embodiment, one or more infrared sensors (for example, any type of infrared sensor, such as a video converter matrix) for capturing infrared image signals representing an image, such as image 170. In one embodiment, the infrared sensors of the component 130 image capture provide for the representation (for example, conversion) of the captured image signal as digital data (for example, through analog-to-digital conversion a camera incorporated as part of an infrared sensor or separately from an infrared sensor as part of an image pickup system 100). The processing component 110 may be configured to process infrared image signals (eg, provide processed image data), store infrared image signals or image data in the
Блок 140 управления содержит, в одном варианте осуществления, устройство пользовательского ввода, такое как вращающуюся ручку (например, потенциометр), кнопки, ползунок, клавиатуру и т.д., которое приспособлено, чтобы формировать входной сигнал управления. Компонент 110 обработки может быть выполнен с возможностью обнаруживать входные сигналы управления от компонента 140 управления и реагировать на любые обнаруженные входные сигналы управления, принятые от него. Компонент 110 обработки может быть выполнен с возможностью интерпретировать входные сигналы управления как значение, которое будет обсуждаться более подробно в данном документе.The control unit 140 comprises, in one embodiment, a user input device, such as a rotary knob (eg, a potentiometer), buttons, slider, keyboard, etc., which is adapted to generate an input control signal. The processing component 110 may be configured to detect control input signals from the control component 140 and to respond to any detected control input signals received from it. The processing component 110 may be configured to interpret the input control signals as a value, which will be discussed in more detail herein.
В одном варианте осуществления компонент 140 управления может содержать хорошо известный блок 500 управления (например, проводной или беспроводной карманный блок управления), имеющий кнопки, выполненный с возможностью взаимодействовать с пользователем и принимать пользовательские входные управляющие значения, как показано на фиг. 5. Например, кнопки блока 500 управления могут использоваться, чтобы управлять различными функциями системы 100 захвата изображения, такими как автофокусировка, вызов и выбор меню, область обзора, яркость, контрастность и/или различные другие признаки, как будет понятно специалисту в данной области техники. Кроме того, в соответствии с вариантом осуществления, одна или более из этих кнопок могут использоваться, чтобы вводить значения (например, AC-значение) для AC-алгоритма. Например, кнопки 502(1) и 502(2), которые могут использоваться, чтобы регулировать контрастность в одном режиме системы 100 захвата изображения, могут также использоваться, чтобы регулировать AC-значение (например, увеличивать или уменьшать установку AC-значения) в другом режиме системы 100 захвата изображения, как обсуждается дополнительно в данном документе.In one embodiment, the control component 140 may comprise a well-known control unit 500 (eg, a wired or wireless handheld control unit) having buttons configured to interact with a user and receive user input control values, as shown in FIG. 5. For example, the buttons of the
Компонент 150 отображения содержит, в одном варианте осуществления, устройство отображения изображения (например, жидкокристаллический дисплей (LCD)) или различные другие типы хорошо известных видеодисплеев или мониторов. Компонент 110 обработки может быть выполнен с возможностью отображать данные изображения и информацию в компоненте 150 отображения. Компонент 110 обработки может также быть выполнен с возможностью находить данные изображения и информацию в запоминающем компоненте 120 и отображать любые найденные данные изображения и информацию в компоненте 150 отображения. Компонент 150 отображения может содержать электронные устройства отображения, которые могут использоваться компонентом 110 обработки, чтобы отображать данные изображения и информацию (например, инфракрасные изображения). Компонент 150 отображения может принимать данные изображения и информацию непосредственно от компонента 130 захвата изображения через компонент 110 обработки, или данные изображения и информация могут быть переданы из запоминающего компонента 120 через компонент 110 обработки.The
Необязательный компонент 160 обнаружения содержит, в одном варианте осуществления, в зависимости от требуемого применения или требований реализации один или более различных типов датчиков, которые предоставляют информацию компоненту 110 обработки. Компонент 110 обработки может быть выполнен с возможностью связываться с компонентом 160 обнаружения (например, посредством приема информации датчика от компонента 160 обнаружения) и с компонентом 130 захвата изображения (например, посредством приема данных от компонента 130 захвата изображения и предоставляя и/или принимая команду, управляющий сигнал или другую информацию в и/или от других компонентов системы 100 захвата изображения).The optional detection component 160 comprises, in one embodiment, depending on the desired application or implementation requirements, one or more different types of sensors that provide information to the processing component 110. The processing component 110 may be configured to communicate with the detection component 160 (for example, by receiving sensor information from the detection component 160) and with the image capturing component 130 (for example, by receiving data from the image capturing component 130 and providing and / or receiving a command, control signal or other information to and / or from other components of the image capturing system 100).
В различных вариантах осуществления компонент 160 обнаружения может предоставлять информацию, относящуюся к окружающим условиям, таким как наружная температура, условия освещения (например, день, ночь, сумерки или рассвет), уровень влажности, особенные погодные условия (например, солнце, дождь и/или снег), расстояние (например, лазерный дальномер) и/или то, входит/выходит система в/из туннеля, на крытую стоянку автомобилей или в огороженное место другого типа. Компонент 160 обнаружения может представлять традиционные датчики, которые будут известны специалисту в области техники, для наблюдения за различными условиями (например, условиями окружающей среды), которые могут иметь влияние (например, внешний вид изображения) на данные, предоставленные компонентом 130 захвата изображения.In various embodiments, the detection component 160 may provide information related to environmental conditions, such as outdoor temperature, lighting conditions (e.g., day, night, twilight, or dawn), humidity level, special weather conditions (e.g., sun, rain, and / or snow), distance (for example, a laser range finder) and / or the system enters / exits the tunnel into / out of the tunnel, into a covered parking lot or in a fenced place of another type. The detection component 160 may represent conventional sensors that will be known to those skilled in the art for monitoring various conditions (e.g., environmental conditions) that may have an effect (e.g., the appearance of the image) on the data provided by the image pickup component 130.
В некоторых вариантах осуществления необязательный компонент 160 обнаружения может содержать устройства, которые пересылают информацию компоненту 110 обработки через беспроводную связь. Например, компонент 160 обнаружения может быть выполнен с возможностью принимать информацию от спутника, через локальную широковещательную (например, радиочастотную) передачу, через мобильную или сотовую сеть, и/или через информационные маяки в инфраструктуре (например, инфраструктура информационных маяков на транспорте или автомагистралях), или различные другие проводные или беспроводные технологии.In some embodiments, the optional detection component 160 may include devices that send information to the processing component 110 over a wireless connection. For example, the detection component 160 may be configured to receive information from a satellite, via local broadcast (e.g., radio frequency) transmission, via a mobile or cellular network, and / or via information beacons in the infrastructure (e.g., information beacon infrastructure on vehicles or highways) , or various other wired or wireless technologies.
В различных вариантах осуществления компоненты системы 100 захвата изображения могут быть объединены и/или реализованы или нет, как требуется или зависит от применения или требований, с системой 100 захвата изображения, представляющей различные функциональные блоки системы. Например, компонент 110 обработки может быть объединен с запоминающим компонентом 120, компонентом 130 захвата изображения, компонентом 150 отображения и/или компонентом 160 обнаружения. В другом примере компонент 110 обработки может быть объединен с компонентом 130 захвата изображения только с определенными функциями компонента 110 обработки, выполняемыми схемой (например, процессором, микропроцессором, логическим устройством, микроконтроллером и т.д.) в компоненте 130 захвата изображения.In various embodiments, the components of the
В соответствии с вариантом осуществления настоящего изобретения, фиг. 2 показывает способ 200, который может улучшать качество изображения и/или детализацию, позволяя пользователю выборочно обрабатывать (например, улучшать и/или подавлять) одну или более частей захваченного инфракрасного изображения до требуемого уровня. С целью упрощения последующего обсуждения фиг. 2 будет сделана ссылка на систему 100 захвата изображения на фиг. 1 в качестве примера системы, которая может выполнять способ 200.According to an embodiment of the present invention, FIG. 2 shows a
Обращаясь к фиг. 2, изображение (например, сигнал инфракрасного изображения) захватывается (этап 210). В одном варианте осуществления по пользовательской входной команде компонент 110 обработки инструктирует (например, заставляет) компонент 130 захвата изображения захватывать изображение 170. Компонент 110 обработки принимает захваченное изображение от компонента 130 захвата изображения и необязательно сохраняет (этап 212) захваченное изображение в запоминающем компоненте 120 для обработки.Turning to FIG. 2, an image (e.g., an infrared image signal) is captured (step 210). In one embodiment, at a user input command, the processing component 110 instructs (eg, causes) the image capturing component 130 to capture an image 170. The processing component 110 receives the captured image from the image capturing component 130 and optionally stores (captured 212) the captured image in the
Изображение обрабатывается (этап 220), где обработка может содержать регулировку (например, улучшение) качества изображения и детализации. В одном варианте осуществления компонент 110 обработки либо непосредственно обрабатывает захваченное изображение (этап 210), либо необязательно находит захваченное изображение, сохраненное в запоминающем компоненте 120 (этап 212) и затем обрабатывает изображение для улучшенной детализации качества (например, на основе пользовательского ввода через компонент 140 управления) способом, который будет обсуждаться более подробно в данном документе.The image is processed (step 220), where the processing may include adjusting (for example, improving) image quality and detail. In one embodiment, the processing component 110 either directly processes the captured image (step 210), or optionally finds the captured image stored in the storage component 120 (step 212) and then processes the image for improved quality detail (for example, based on user input through component 140 management) in a manner that will be discussed in more detail in this document.
Обработанное изображение сохраняется (этап 222) и может быть отображено (этап 230). В одном варианте осуществления компонент 110 обработки сохраняет обработанное изображение в запоминающем компоненте 120 для отображения, и/или компонент 110 обработки находит обработанное изображение, сохраненное в запоминающем компоненте 120, и отображает обработанное изображение в компоненте 150 отображения для просмотра пользователем.The processed image is saved (step 222) and can be displayed (step 230). In one embodiment, the processing component 110 stores the processed image in the
Необязательно может быть выполнено (этап 240) определение относительно того, обнаружен ли управляющий ввод от пользователя. В одном варианте осуществления, если компонент 110 обработки обнаруживает управляющий ввод от пользователя через компонент 140 управления, тогда компонент 110 обработки получает обнаруженное входное значение от компонента 140 управления, и способ возвращается к этапу 220, так что компонент 110 обработки может обрабатывать (например, повторно обрабатывать) изображение со ссылкой на полученное обнаруженное входное управляющее значение (например, AC-значение). Иначе, если компонент 110 обработки не обнаруживает управляющий ввод от пользователя через компонент 140 управления, тогда способ возвращается к этапу 230, так что компонент 110 обработки может продолжать отображать ранее обработанное изображение. Эти признаки будут обсуждены более подробно в данном документе.Optionally, a determination can be made (step 240) as to whether control input is detected from the user. In one embodiment, if the processing component 110 detects the control input from the user through the control component 140, then the processing component 110 receives the detected input value from the control component 140, and the method returns to step 220 so that the processing component 110 can process (e.g., repeatedly process) the image with reference to the received detected input control value (for example, AC-value). Otherwise, if the processing component 110 does not detect a control input from the user through the control component 140, then the method returns to step 230, so that the processing component 110 may continue to display the previously processed image. These features will be discussed in more detail herein.
В соответствии с вариантом осуществления настоящего изобретения алгоритм обработки изображения выполнен с возможностью разделять сигнал инфракрасного изображения (например, захваченное инфракрасное изображение), по меньшей мере, на две части. Этот алгоритм обработки изображения называется в данном документе алгоритмом адаптивной контрастности (AC) (или алгоритмом AC-фильтрации), который, например, может использоваться в качестве фильтра для фильтрации частей (например, детального изображения и/или фонового изображения) инфракрасного изображения, чтобы предоставлять, по меньшей мере, первую часть и вторую часть.According to an embodiment of the present invention, the image processing algorithm is configured to divide an infrared image signal (eg, a captured infrared image) into at least two parts. This image processing algorithm is referred to herein as the adaptive contrast (AC) algorithm (or the AC filtering algorithm), which, for example, can be used as a filter to filter parts (e.g., a detailed image and / or background image) of an infrared image to provide at least the first part and the second part.
В одном варианте осуществления первая часть сигнала изображения включает в себя часть фонового изображения, содержащую высокоамплитудную часть изображения с низкой пространственной частотой. В одном упрощенном примере, низкочастотный фильтр (например, алгоритм низкочастотной фильтрации) может использоваться, чтобы отделять высокоамплитудную часть сигнала изображения с низкой пространственной частотой (например, сигнала инфракрасного изображения).In one embodiment, the first portion of the image signal includes a portion of the background image containing a high amplitude portion of the image with a low spatial frequency. In one simplified example, a low-pass filter (e.g., a low-pass filtering algorithm) can be used to separate the high-amplitude portion of an image signal with a low spatial frequency (e.g., an infrared image signal).
В одном варианте осуществления вторая часть сигнала изображения включает в себя часть детального изображения, содержащую низкоамплитудную часть изображения с высокой пространственной частотой. В одном упрощенном примере, высокочастотный фильтр (например, алгоритм высокочастотной фильтрации) может использоваться, чтобы изолировать низкоамплитудную часть сигнала изображения с высокой пространственной частотой (например, сигнала инфракрасного изображения). Альтернативно, вторая часть может быть получена из сигнала изображения и первой части сигнала изображения, как, например, посредством вычитания первой части из сигнала изображения.In one embodiment, the second part of the image signal includes a part of a detailed image containing a low-amplitude part of the image with a high spatial frequency. In one simplified example, a high-pass filter (e.g., a high-pass filtering algorithm) can be used to isolate the low-amplitude portion of an image signal with a high spatial frequency (e.g., an infrared image signal). Alternatively, the second part can be obtained from the image signal and the first part of the image signal, such as by subtracting the first part from the image signal.
В одном варианте осуществления две части (например, первая и вторая части) сигнала изображения могут отдельно масштабироваться, например, с помощью AC-алгоритма перед объединением, чтобы создавать выходное изображение. Например, первая часть может быть масштабирована или вторая часть может быть масштабирована, или и первая, и вторая части могут быть масштабированы. Это позволяет системе выводить изображение, где мелкие детали видимы и могут настраиваться даже в сцене с высоким динамическим диапазоном. Эффективность алгоритма AC-фильтрации может управляться пользователем через ряд параметров, которые будут обсуждены более подробно в данном документе, чтобы определять, например, оптимальный набор параметров. В некоторых случаях, как, например, если изображение кажется менее полезным или ухудшенным до некоторой степени из-за шума, тогда одна из частей изображения, такая как детальная часть, может скорее подавляться, чем усиливаться, чтобы подавлять шум в объединенном изображении, чтобы улучшать качество изображения.In one embodiment, two parts (e.g., first and second parts) of the image signal may be separately scaled, for example, using an AC algorithm before combining to create an output image. For example, the first part may be scaled, or the second part may be scaled, or both the first and second parts may be scaled. This allows the system to display an image where fine details are visible and can be adjusted even in a scene with a high dynamic range. The effectiveness of the AC filtering algorithm can be controlled by the user through a series of parameters, which will be discussed in more detail in this document to determine, for example, the optimal set of parameters. In some cases, such as if the image seems less useful or degraded to some extent due to noise, then one part of the image, such as the detailed part, may be suppressed rather than amplified to suppress noise in the combined image to improve image quality.
В соответствии с вариантом осуществления настоящего изобретения AC-алгоритм может управляться следующими пятью переменными.According to an embodiment of the present invention, the AC algorithm may be controlled by the following five variables.
Переменная 1 (N) представляет размер зерна нелинейного низкочастотного фильтра, выполненного с возможностью разделять детальную часть изображения и фоновую часть изображения. В случае неквадратных зерен взамен может использоваться M × N, где M и N являются разными величинами.Variable 1 (N) represents the grain size of a non-linear low-pass filter configured to separate the detailed part of the image and the background part of the image. In the case of non-square grains, M × N can be used instead, where M and N are different values.
Переменная 2 (σR) представляет стандартное отклонение радиометрической гауссовой плотности, которое задает амплитуду доли (или части) детального изображения.Variable 2 (σ R ) represents the standard deviation of the radiometric Gaussian density, which sets the amplitude of the fraction (or part) of the detailed image.
Переменная 3 (σs) представляет стандартное отклонение пространственной гауссовой плотности, которое определяет пространственный радиус действия нелинейного низкочастотного фильтра в размере N зерна (или M × N).Variable 3 (σ s ) represents the standard deviation of the spatial Gaussian density, which determines the spatial radius of the nonlinear low-pass filter in the amount of N grain (or M × N).
Переменная 4 (DRange) представляет динамический диапазон детальной части изображения из сигнала в выходном изображении (например, объединенном изображении).Variable 4 (D Range ) represents the dynamic range of the detailed part of the image from the signal in the output image (for example, a merged image).
Переменная 5 (BRange) представляет динамический диапазон фоновой части изображения из сигнала в выходном изображении (например, объединенном изображении).Variable 5 (B Range ) represents the dynamic range of the background portion of the image from the signal in the output image (for example, a merged image).
В некоторых системах в соответствии с вариантом осуществления переменные N и σR могут оставаться постоянными. Соответственно, в фиксированном доступном выходном диапазоне (например, 8-бит или 256 цветов по шкале серого) DRange может содержать функцию BRange, как изложено ниже в уравнении (1). Таким образом, в этом варианте осуществления два параметра могут управляться: σR и соотношение DRange к BRange, где соотношение может называться соотношением детальной части изображения к фоновой части изображения (например, соотношение детализации к фону или D2BR), как изложено ниже в уравнении (2).In some systems in accordance with an embodiment, the variables N and σ R may remain constant. Accordingly, in a fixed available output range (for example, 8-bit or 256 colors on a gray scale), D Range may contain a B Range function, as described below in equation (1). Thus, in this embodiment, two parameters can be controlled: σ R and the ratio D Range to B Range , where the ratio can be called the ratio of the detailed part of the image to the background part of the image (for example, the ratio of detail to background or D2BR), as described below in the equation (2).
DRange=256-BRange (1)D Range = 256-B Range (1)
D2BR=DRange/BRange (2)D2BR = D Range / B Range (2)
Следует понимать, что способ, которым эти параметры устанавливаются, как правило, будет изменять внешний вид изображения, и различные настройки этих параметров могут применяться для различных типов сцен.It should be understood that the way these parameters are set will usually change the appearance of the image, and various settings for these parameters can be applied to different types of scenes.
В соответствии с вариантом осуществления настоящего изобретения переменная σR содержит пороговое значение. Например, когда низкочастотный фильтр (LPF) применяется к пикселю изображения, отфильтрованное значение содержит взвешенное среднее его соседних пикселей в пространственном диапазоне (например, 9 на 9 пикселей). В одном примере, отдельный низкочастотный фильтр, который может использоваться, чтобы определять переменную σR как пороговое значение, содержит, как правило, известный двунаправленный фильтр. Соседние пиксели, имеющие значение, которое значительно отличается от фильтруемого пикселя на большее количество цифровых единиц, чем пороговое значение переменной σR, могут не использоваться в усреднении, например, получая нулевой вес или близкий к нулю вес для усреднения (например, результатом которого может быть запрет низкочастотному фильтру размытия по границам захваченного изображения).According to an embodiment of the present invention, the variable σ R contains a threshold value. For example, when a low-pass filter (LPF) is applied to an image pixel, the filtered value contains the weighted average of its neighboring pixels in the spatial range (for example, 9 by 9 pixels). In one example, a separate low-pass filter that can be used to define a variable σ R as a threshold value typically contains a known bidirectional filter. Neighboring pixels having a value that differs significantly from the filtered pixel by a larger number of digital units than the threshold value of the variable σ R may not be used in averaging, for example, obtaining zero weight or a weight close to zero for averaging (for example, the result of which may be prohibition of the low-pass blur filter along the boundaries of the captured image).
В соответствии с вариантом осуществления настоящего изобретения D2BR (соотношение детализации к фону) содержит соотношение, которое изложено в данном документе в уравнении (2). В зависимости от типа используемого низкочастотного фильтра и его настроек, динамический диапазон детальной части изображения может быть измерен (например, определен). В одном примере фактический динамический диапазон может быть измерен, или при использовании двунаправленного фильтра максимальный диапазон может быть пропорционален переменной σR. Данный динамический диапазон детализации (например, вторая часть или детальная часть изображения) называется в данном документе динамическим диапазоном детализации (DDR), усиление, которое необходимо применить к фону, может быть вычислено из настройки D2BR.According to an embodiment of the present invention, the D2BR (detail-to-background ratio) comprises the ratio that is described in equation (2) herein. Depending on the type of low-pass filter used and its settings, the dynamic range of the detailed part of the image can be measured (for example, determined). In one example, the actual dynamic range can be measured, or when using a bidirectional filter, the maximum range can be proportional to the variable σ R. This dynamic range of detail (for example, the second part or the detailed part of the image) is called the dynamic range of detail (DDR) in this document, the gain that needs to be applied to the background can be calculated from the D2BR setting.
Например, данный динамический диапазон фона (например, первая часть или фоновая часть) называется в данном документе динамическим диапазоном фона (BDR), фоновое усиление (BG) может быть установлено так, чтобы получать требуемое соотношение между деталями и фоном, как изложено ниже в уравнении (3). Альтернативно, инверсия BG, такая как 1/BG, может применяться похожим образом к деталям (например, второй части или детальной части изображения), чтобы получать схожий результат и обеспечивать требуемое соотношение между деталями и фоном. Следовательно, в одном варианте осуществления, переменная σR может быть приспособлена управлять структурой фонового изображения и структурой детального изображения, тогда как D2BR может использоваться, чтобы вычислять усиление, которое необходимо применять к фону (или детальной части), чтобы получать требуемое соотношение деталей и фона. Чтобы сохранять плавный переход от сглаживания изображения к улучшению деталей, таблицы создаются таким способом, что все меньше и меньше сглаживания применяется до тех пор, пока не будет достигнут набор параметров (позиция 20 на оси X на фиг. 4a), где фоновое изображение будет содержать первоначальное изображение (возможно с выровненной гистограммой, но не сглаженное). AC-фильтр спроектирован так, что для любого положительного значения D2BR коэффициент усиления деталей в конечном отфильтрованном изображении равен, по меньшей мере, единице (1X). Это сделано для того, чтобы не допустить сглаживания фильтром изображения в части улучшения деталей AC-диапазона (20-100% на фиг. 4a). Это требование удовлетворяется посредством инструктирования коэффициенту (622) масштабирования деталей быть больше коэффициента (618) масштабирования фона в (см. фиг. 6)For example, a given dynamic range of the background (e.g., the first part or the background part) is referred to in this document as the dynamic range of the background (BDR), the background gain (BG) can be set to obtain the desired ratio between the parts and the background, as described below in the equation (3). Alternatively, a BG inversion, such as 1 / BG, can be applied in a similar way to parts (for example, a second part or a detailed part of an image) in order to obtain a similar result and provide the desired ratio between parts and background. Therefore, in one embodiment, the variable σ R can be adapted to control the structure of the background image and the structure of the detailed image, while D2BR can be used to calculate the gain that needs to be applied to the background (or the detailed part) to obtain the desired ratio of detail to background . In order to maintain a smooth transition from image smoothing to better detail, tables are created in such a way that less and less smoothing is applied until a set of parameters is reached (
DDR/(BDR*BG)=D2BR, таким образом, BG=DDR/(BDR* D2BR) (3)DDR / (BDR * BG) = D2BR, so BG = DDR / (BDR * D2BR) (3)
В соответствии с вариантом осуществления настоящего изобретения, создавая две согласованные таблицы значений для переменной σR и D2BR, соответствующих AC-значению, пользователь может настраивать AC-фильтр (например, алгоритм AC-фильтрации) с помощью одного устройства управления, такого как ручка (потенциометр), или другого управляемого пользователем устройства управления выбором. В качестве примера, параметры могут выбираться особым образом так, чтобы позволять пользователю непрерывно переходить от изображения с меньшей степенью детализации (например, отфильтрованные детали) к изображению с высокой степенью детализации.According to an embodiment of the present invention, by creating two consistent value tables for the variable σ R and D2BR corresponding to the AC value, the user can configure the AC filter (e.g., the AC filtering algorithm) with a single control device such as a knob (potentiometer ), or another user-controlled selection control device. As an example, the parameters can be selected in a special way so as to allow the user to continuously switch from an image with a lower degree of detail (for example, filtered parts) to an image with a high degree of detail.
Конкретно, в одном варианте осуществления, AC-фильтр может быть виден как работающий в качестве мощного фильтра защиты от шума по краям на одном конце диапазона настройки и как сильный фильтр улучшения детальности на другом конце диапазона настройки. Переход между этими двумя конечными точками настройки может быть достигнут инкрементально (например, пошагово), и переход может восприниматься пользователем как непрерывный плавный переход от состояния с меньшей AC к состоянию с большей AC (например, постепенно усиливаются более точные детали в сцене изображения). Следовательно, способы, раскрытые в данном документе, могут предоставлять возможность простой работы системы получения инфракрасного изображения (например, инфракрасной камеры), например, с AC-фильтром, установленным способом, который оптимален для конкретного изображения во время захвата.Specifically, in one embodiment, the AC filter can be seen as operating as a powerful noise protection filter at the edges at one end of the tuning range and as a strong detail enhancement filter at the other end of the tuning range. The transition between these two tuning endpoints can be achieved incrementally (for example, stepwise), and the transition can be perceived by the user as a continuous smooth transition from a state with a lower AC to a state with a higher AC (for example, more precise details in the image scene are gradually amplified). Therefore, the methods disclosed herein may provide the ability to easily operate an infrared image acquisition system (eg, infrared camera), for example, with an AC filter installed in a manner that is optimal for a particular image during capture.
В одной реализации алгоритма AC-фильтрации стандартное устройство ручного управления (например, такое как показанное на фиг. 5) имеет признаки управления от пользовательского ввода, служащие в качестве устройства ручного управления для манипулирования (например, регулируемого управления) AC-фильтром. Величина AC-значения может управляться одним или более управляющими признаками, такими как вращаемая ручка, кнопки, ползунок и т.д. В одном варианте осуществления AC-управление изображением (например, инфракрасным изображением) может также предоставлять возможность до некоторой степени управлять контрастностью изображения. В целом, предпочтительно, чтобы не пользователю нужно было определять и устанавливать ряд сложных параметров, а AC-алгоритм мог позволять упрощенное пользовательское управление (например, интерфейс) этими различными параметрами, чтобы получать требуемое изображение.In one implementation of the AC filtering algorithm, a standard manual control device (for example, such as that shown in FIG. 5) has control features from user input serving as a manual control device for manipulating (for example, controlled control) the AC filter. The magnitude of the AC value may be controlled by one or more control features, such as a rotary knob, buttons, slider, etc. In one embodiment, AC-image control (eg, infrared image) may also provide the ability to control image contrast to some extent. In general, it is preferable that the user does not need to define and set a number of complex parameters, and the AC algorithm can allow simplified user control (for example, the interface) of these various parameters to obtain the desired image.
Как обсуждалось в данном документе, алгоритм AC-фильтрации выполнен с возможностью разделять изображение (например, захваченный сигнал инфракрасного изображения), по меньшей мере, на две части: фоновую часть изображения и детальную часть изображения. Например, нелинейный низкочастотный фильтр (например, двунаправленный фильтр) с переменной σR может использоваться, чтобы разделять изображение на две части, но это не является ограничением. В качестве примера в соответствии с вариантом осуществления настоящего изобретения, захваченное изображение может быть разделено на детальную и фоновую части (например, компоненты) с разложением частот, которое может выполняться с помощью, например, быстрого преобразования Фурье (FFT). В одном аспекте разложение частот содержит трансформацию изображения из пространственной области (например, временной области) в частотную область. Детали изображения (например, детальная часть изображения) могут быть определены как компоненты выше конкретного частотного компонента (например, соответствующего пороговому значению переменной σR и который может изменяться подобно радиометрическому коэффициенту). Детали изображения (например, детальная часть изображения) могут быть удалены (например, отделены) из первоначального преобразования, такого как FFT, которое оставляет компоненты для фоновой информации изображения. Фоновые и детальные компоненты могут масштабироваться (например, до или после того, как применяется инверсное преобразование). Инверсия частоты может выполняться, чтобы преобразовывать масштабированные фоновые и детальные компоненты из частотной области обратно в пространственную область (например, временную область) с помощью, например, обратного быстрого преобразования Фурье (IFFT). Масштабированные фоновый и детальный компоненты могут затем быть объединены (например, сложены), чтобы формировать выходное изображение.As discussed herein, the AC filtering algorithm is configured to divide an image (e.g., a captured infrared image signal) into at least two parts: a background part of an image and a detailed part of an image. For example, a non-linear low-pass filter (for example, a bidirectional filter) with the variable σ R can be used to divide the image into two parts, but this is not a limitation. By way of example, in accordance with an embodiment of the present invention, the captured image can be divided into detailed and background parts (eg, components) with frequency decomposition, which can be performed using, for example, fast Fourier transform (FFT). In one aspect, frequency decomposition comprises transforming an image from a spatial domain (eg, a time domain) to a frequency domain. Image details (for example, the detailed part of the image) can be defined as components above a particular frequency component (for example, corresponding to a threshold value of the variable σ R and which can vary like a radiometric coefficient). Image details (e.g., a detailed portion of an image) can be removed (e.g., separated) from an initial transform, such as an FFT, that leaves components for background image information. Background and detailed components can be scaled (for example, before or after the inverse transform is applied). Frequency inversion can be performed to convert scaled background and detailed components from the frequency domain back to the spatial domain (eg, time domain) using, for example, the inverse fast Fourier transform (IFFT). The scaled background and detail components can then be combined (e.g., stacked) to form an output image.
Кроме того, в качестве другого примера в соответствии с другим вариантом осуществления настоящего изобретения, изображение (например, захваченный сигнал инфракрасного изображения) может быть разделено на детальную и фоновую части изображения (например, компоненты) с помощью разложения методом волновой модуляции. Разложение методом волновой модуляции может выполняться тем же образом, который обсуждался выше для разложения частот, но с использованием преобразования методом волновой модуляции вместо частотных преобразований (например, предпочтительно область волновой модуляции вместо области частот).In addition, as another example, in accordance with another embodiment of the present invention, an image (eg, a captured infrared image signal) can be divided into detailed and background parts of an image (eg, components) by wave modulation decomposition. Wave modulation decomposition can be performed in the same manner as discussed above for frequency decomposition, but using a wave modulation transform instead of frequency transforms (for example, preferably a wave modulation region instead of a frequency region).
Дополнительно, в качестве другого примера в соответствии с другим вариантом осуществления настоящего изобретения, могут использоваться пространственные низкочастотные фильтры, включающие в себя линейные или нелинейные низкочастотные фильтры. Также, нелинейные способы сохраняющего сглаживания краев могут быть включены (например, анизотропная диффузия или варианты медианных фильтров). Низкочастотный фильтр может применяться к сигналу изображения, например, чтобы отделять компонент с низкой пространственной частотой от сигнала изображения, в котором компонент с низкой пространственной частотой содержит фоновый компонент (например, фоновую часть изображения) изображения. Следует понимать, что параметр (например, стандартное отклонение для гауссова низкочастотного фильтра), который определяет величину сглаживания, может быть определен и изменен подобно радиометрическому коэффициенту (пороговое значение переменной σR). Детальный компонент (например, детальная часть изображения) изображения может быть получен вычитанием низкочастотного компонента изображения из первоначального сигнала изображения, чтобы получать детали изображения (детальный компонент). Детальный компонент и фоновый компонент могут затем быть масштабированы, как обсуждалось в данном документе, и объединены (например, сложены), чтобы формировать выходное изображение.Additionally, as another example, in accordance with another embodiment of the present invention, spatial low-pass filters including linear or non-linear low-pass filters can be used. Also, non-linear methods of preserving smoothing edges can be included (for example, anisotropic diffusion or variants of median filters). A low-pass filter can be applied to an image signal, for example, to separate a component with a low spatial frequency from an image signal in which a component with a low spatial frequency contains a background component (e.g., a background part of an image) of an image. It should be understood that a parameter (for example, standard deviation for a Gaussian low-pass filter) that determines the amount of smoothing can be determined and changed like a radiometric coefficient (threshold value of the variable σ R ). A detailed component (e.g., a detailed part of the image) of the image can be obtained by subtracting the low-frequency component of the image from the original image signal to obtain image details (detailed component). The detail component and the background component can then be scaled, as discussed herein, and combined (e.g., folded) to form an output image.
В соответствии с вариантом осуществления настоящего изобретения фиг. 3 показывает способ 300 обработки изображения со ссылкой на блок 220 на фиг. 2. Предоставляется (этап 302) первая часть (например, фоновая часть изображения захваченного изображения. Как ранее обсуждалось, первая часть изображения (например, инфракрасного изображения) содержит фоновую часть изображения, которая может содержать высокоамплитудную часть изображения с низкой пространственной частотой, получающуюся в результате применения алгоритма AC-фильтрации. Предоставляется (этап 304) вторая часть (например, детальная часть изображения) захваченного изображения. Как ранее обсуждалось, вторая часть изображения (например, инфракрасного изображения) содержит детальную часть изображения, которая может содержать низкоамплитудную часть изображения с высокой пространственной частотой, получающуюся в результате применения алгоритма AC-фильтрации. Параметр D2BR (соотношение деталей к фону) определяет соотношение детальной части изображения к фоновой части изображения. Этот параметр может применяться, чтобы настраивать изображение способом для непрерывного перехода между изображением с низкой степенью детальности к изображению с высокой степенью детальности и/или наоборот.According to an embodiment of the present invention, FIG. 3 shows an
Следовательно, может быть сделано (этап 306) определение относительно того, масштабировать ли (этап 308) первую часть (например, фоновую часть изображения) захваченного изображения, на основе значения D2BR (например, компонент 110 обработки определяет, масштабировать ли первую часть изображения, на основе соответствующего AC-значения, предоставленного пользовательским управляющим вводом из компонента 140 управления). Если пользовательский управляющий ввод не обнаружен (например, AC-значение не предоставлено), или первая часть не должна масштабироваться, тогда первая часть изображения не масштабируется, и способ 300 переходит к этапу 310.Therefore, a determination can be made (step 306) as to whether to scale (step 308) the first portion (e.g., the background portion of the image) of the captured image based on the D2BR value (e.g., the processing component 110 determines whether to scale the first portion of the image by based on the corresponding AC value provided by the user control input from the control component 140). If the user control input is not detected (for example, an AC value is not provided), or the first part should not be scaled, then the first part of the image is not scaled, and the
Может быть выполнено (этап 310) определение относительно того, масштабировать ли (этап 312) вторую часть (например, детальную часть изображения) захваченного изображения, на основе значения D2BR (например, компонент 110 обработки определяет, масштабировать ли вторую часть изображения, на основе соответствующего AC-значения, предоставленного пользовательским управляющим вводом из компонента 140 управления). Если пользовательский управляющий ввод не обнаружен (например, AC-значение не предоставлено), или вторая часть не должна масштабироваться, тогда вторая часть изображения не масштабируется, и способ 300 переходит к этапу 314.A determination can be made (step 310) as to whether to scale (step 312) a second portion (e.g., a detailed portion of the image) of the captured image based on a D2BR value (e.g., the processing component 110 determines whether to scale the second portion of the image based on the corresponding AC values provided by user control input from control component 140). If the user control input is not detected (for example, no AC value is provided), or the second part should not be scaled, then the second part of the image is not scaled, and the
Первая и вторая части изображения могут объединяться (этап 314), чтобы создавать выходное изображение для отображения. Как обсуждалось ранее, первая и вторая части сигнала инфракрасного изображения могут быть раздельно масштабированы перед объединением, чтобы создавать выходное изображение для просмотра пользователем. Это позволяет системе получения изображений отображать инфракрасное изображение, где мелкие детали являются видимыми и могут настраиваться для улучшенного качества изображения.The first and second parts of the image may be combined (step 314) to create an output image for display. As discussed previously, the first and second parts of the infrared image signal can be separately scaled before combining to create an output image for viewing by the user. This allows the imaging system to display an infrared image where fine details are visible and can be adjusted for improved image quality.
В соответствии с вариантом осуществления настоящего изобретения таблица AC-значений вместе с соответствующими значениями для переменной σR и параметра D2BR может быть сформирована для использования AC-алгоритмом. Например, пользователь может ввести требуемое AC-значение (например, увеличивая или уменьшая AC-значение через ручное устройство 500 управления, в то же время просматривая отображенное изображение) с помощью этого предоставленного AC-значения, используемого для того, чтобы выбирать соответствующие значения из таблицы для переменной σR и параметра D2BR.According to an embodiment of the present invention, an AC value table, together with corresponding values for the variable σ R and parameter D2BR, may be generated for use by the AC algorithm. For example, the user can enter the desired AC value (for example, increasing or decreasing the AC value through the
В качестве конкретного примера, компонент 110 обработки может принимать AC-значение, выбранное пользователем, и отыскивать соответствующие значения для переменной σR и параметра D2BR (например, сохраненные в запоминающем компоненте 120), чтобы использовать в обработке данных изображения с помощью алгоритма AC-фильтрации, как обсуждается в данном документе. Таким образом, значения параметра для переменной σR и параметра D2BR могут быть сформированы и сохранены в таблице вместе с соответствующим диапазоном значений для AC-значения, чтобы настраивать изображение, и эти значения параметров могут быть выбраны, например, способом для непрерывного перехода между изображением с низкой степенью детализации к изображению с высокой степенью детализации и/или наоборот.As a specific example, the processing component 110 may take an AC value selected by the user and look up the corresponding values for the variable σ R and parameter D2BR (for example, stored in the storage component 120) in order to use image processing using the AC filtering algorithm as discussed in this document. Thus, the parameter values for the variable σ R and parameter D2BR can be generated and stored in the table along with the corresponding range of values for the AC value to adjust the image, and these parameter values can be selected, for example, by a method for continuously switching between the image with low degree of detail to an image with a high degree of detail and / or vice versa.
В целом, алгоритм AC-фильтрации может быть отключен пользователем (например, выключен или отменен выбор режима AC-фильтрации), или пользователь может выбирать требуемое AC-значение (например, во время просмотра отображенного изображения), чтобы обеспечивать требуемое качество изображения для конкретного изображения. Например, низкое AC-значение (например, AC-значение, равное 1, в масштабе 1 к 100) может давать в результате алгоритм AC-фильтрации, функционирующий как сохраняющий края пространственный шумовой фильтр, который создает гладкое изображение с шумом и мелкими деталями, удаленными или в значительной степени уменьшенными. В качестве другого примера, среднемасштабное AC-значение (например, AC-значение, равное 70, в масштабе 1 к 100) может представлять типичную настройку для многих сцен и может давать в результате алгоритм AC-фильтрации, предоставляющий существенную величину детализации изображения. В качестве другого примера, высокое AC-значение (например, AC-значение, равное 100, в масштабе 1 к 100) может давать в результате алгоритм AC-фильтрации, функционирующий как предельный усилитель деталей (например, усилитель детализации).In general, the AC filtering algorithm can be disabled by the user (for example, the AC filtering mode is turned off or deselected), or the user can select the desired AC value (for example, while viewing the displayed image) to provide the desired image quality for a particular image . For example, a low AC value (for example, an AC value of 1 on a scale of 1 to 100) can result in an AC filtering algorithm that functions as an edge-retaining spatial noise filter that creates a smooth image with noise and small details removed or greatly reduced. As another example, a mid-range AC value (e.g., an AC value of 70 on a 1 to 100 scale) may represent a typical setting for many scenes and may result in an AC filtering algorithm providing a substantial amount of image detail. As another example, a high AC value (for example, an AC value of 100 on a scale of 1 to 100) can result in an AC filtering algorithm that functions as the ultimate detail amplifier (e.g., detail amplifier).
Сохраненные табличные AC-значения могут быть приспособлены к диапазону между двумя конечными значениями, такими как от 1 до 100, с соответствующими значениями переменной σR и D2BR (например, DRange/BRange). Например, фиг. 4a и 4b показывают варианты осуществления графического представления того, как примерные настройки для переменной σR и D2BR могут изменяться, когда задействуется устройство управления вводом AC (например, пользовательский ввод в компонент 140 управления на фиг. 1), чтобы переходить от одной конечной точки к другой, например, для значений масштаба от 1 до 100 (или от 0 до 100%) способом, который обсуждался ранее. Конкретно, фиг. 4a и 4b являются графиками двух примерных таблиц значений алгоритма AC-фильтрации с AC-значениями по оси x и соответствующими значениями переменной σR, начерченными по левой оси y (обозначенной "определение детальности" и со значениями в цифровых единицах), и соответствующими значениями D2BR, начерченными по правой оси y (обозначенной "соотношение деталей к фону").The stored tabular AC values can be adapted to the range between two end values, such as 1 to 100, with the corresponding values of the variable σ R and D2BR (for example, D Range / B Range ). For example, FIG. 4a and 4b show embodiments of a graphical representation of how exemplary settings for the variable σ R and D2BR can change when the AC input control device is activated (for example, user input to the control component 140 of FIG. 1) to move from one endpoint to another, for example, for scale values from 1 to 100 (or from 0 to 100%) in the manner discussed previously. Specifically, FIG. 4a and 4b are graphs of two exemplary tables of values of an AC filtering algorithm with AC values along the x axis and corresponding values of the variable σ R drawn on the left y axis (denoted by “definition of detail” and with values in digital units) and corresponding values of D2BR drawn on the right y-axis (labeled "detail-to-background ratio").
Графики на фиг. 4a и 4b могут рассматриваться как предоставляющие показательные значения (переменной σR и D2BR, когда AC-значение изменяется) для двух различных инфракрасных датчиков соответственно. Например, график на фиг. 4b может представлять инфракрасный датчик, имеющий больший шум и более низкую чувствительность (например, дающую в результате более низкий динамический диапазон) относительно инфракрасного датчика, представленного графиком на фиг. 4a. Следовательно, значения переменной σR и D2BR различаются между фиг. 4a и 4b, так как они относятся к динамическому диапазону инфракрасного датчика, например, с ограничениями переменной σR на основе минимального уровня шума (например, в цифровых единицах) и динамического диапазона (например, десять процентов или менее динамического диапазона) конкретного инфракрасного датчика.The graphs in FIG. 4a and 4b can be considered as providing indicative values (of the variable σ R and D2BR when the AC value changes) for two different infrared sensors, respectively. For example, the graph in FIG. 4b may represent an infrared sensor having greater noise and lower sensitivity (for example, resulting in lower dynamic range) relative to the infrared sensor shown in the graph in FIG. 4a. Therefore, the values of the variable σ R and D2BR differ between FIG. 4a and 4b, since they relate to the dynamic range of the infrared sensor, for example, with the limitations of the variable σ R based on the minimum noise level (for example, in digital units) and the dynamic range (for example, ten percent or less of the dynamic range) of a specific infrared sensor.
Как показано, например, на фиг. 4a, очень низкие AC-значения могут обеспечивать уменьшение шума, как, например, для изображений с низкой контрастностью и высоким шумом, в то время как очень высокие AC-значения могут обеспечивать предельную контрастность, как, например, для целей низкой контрастности в сцене с верхним динамическим диапазоном. В целом, для типичного изображения пользователь может находить среднемасштабные AC-значения, чтобы обеспечивать наиболее желательное качество изображения, и может типично точно настраивать AC-значение в этом диапазоне.As shown, for example, in FIG. 4a, very low AC values can provide noise reduction, such as for low contrast and high noise images, while very high AC values can provide extreme contrast, such as for low contrast purposes in a scene with upper dynamic range. In general, for a typical image, the user can find mid-range AC values to provide the most desirable image quality, and can typically fine tune the AC value in this range.
Фиг. 6 показывает блок-схему 600 для обработки изображения в соответствии с вариантом осуществления настоящего изобретения. Например, операции, иллюстрированные в схеме 600, могут представлять примерные операции для AC-алгоритма, который может выполняться системой 100 захвата изображения (фиг. 1). Оцифрованный сигнал 602 (например, входной кадр сигнала инфракрасного изображения от инфракрасного датчика) предоставляется, и операция 604 низкочастотной фильтрации (например, операция нелинейной двунаправленной фильтрации) выполняется по сигналу 602, и операция 614 формирования гистограммы (например, формирование гистограммы полного динамического диапазона) выполняется по сигналу 602. Операция 604 фильтрации предоставляет фоновую часть 605, используя определение детализации, соответствующей AC-значению (например, предоставленному пользователем). Когда двунаправленный фильтр используется в качестве низкочастотного фильтра, выбранная AC будет определять детали, устанавливая стандартное отклонение параметра σR в двунаправленном фильтре. Это эффективно определяет максимальную амплитуду сигналов, которые становятся частью детального изображения 621. В качестве примера, радиометрические весовые коэффициенты, как функция радиометрического расстояния для этой выбранной переменной σR, могут сохраняться в поисковой таблице (LUT) для обращения (более предпочтительно, чем вычисления) посредством операции 604 фильтрации.FIG. 6 shows a block diagram 600 for image processing in accordance with an embodiment of the present invention. For example, the operations illustrated in diagram 600 may represent exemplary operations for an AC algorithm that may be performed by the image capturing system 100 (FIG. 1). A digitized signal 602 (e.g., an input frame of an infrared image signal from an infrared sensor) is provided, and a low-pass filtering operation 604 (e.g., a non-linear bidirectional filtering operation) is performed on
Например, обращаясь кратко к фиг. 7, график радиометрических весовых коэффициентов как функции радиометрического расстояния показан в соответствии с вариантом осуществления настоящего изобретения для двух примерных значений переменной σR. Конкретно, график иллюстрирует то, как изменение настроек для переменной σR (например, параметр sigmaR низкочастотного фильтра) будет влиять на радиометрические весовые коэффициенты, где график показывает графики двух различных значений для переменной σR. Форма кривой является стандартным гауссовым распределением, которое изложено ниже в уравнении (3), использующим переменную σR (например, стандартное отклонение радиометрического гауссова распределения), и где DR является радиометрическим расстоянием. Более высокое значение для переменной σR может, как правило, давать в результате большее сглаживание и сигналы с более высокой амплитудой на детальном уровне, тогда как более низкое значение переменной σR может, как правило, иметь в результате уменьшение SNR в детальном изображении, когда значение уменьшается до стандартного отклонения шума.For example, referring briefly to FIG. 7, a graph of radiometric weights as a function of radiometric distance is shown in accordance with an embodiment of the present invention for two exemplary values of the variable σ R. Specifically, the graph illustrates how changing settings for the variable σ R (for example, the sigmaR parameter of the low-pass filter) will affect the radiometric weights, where the graph shows plots of two different values for the variable σ R. The shape of the curve is the standard Gaussian distribution, which is described below in equation (3), using the variable σ R (for example, the standard deviation of the radiometric Gaussian distribution), and where D R is the radiometric distance. A higher value for the variable σ R can, as a rule, result in greater smoothing and signals with a higher amplitude at a detailed level, while a lower value of the variable σ R can, as a rule, result in a decrease in SNR in the detailed image, when value decreases to standard deviation of noise.
Операция 606 обработки выполняется по фоновой части 605 из операции 604 фильтрации посредством применения гистограммы, предоставленной операцией 614 формирования гистограммы, чтобы обеспечивать выравнивание гистограммы и выводить выровненную фоновую часть 607. Применяемая гистограмма, например, может быть задержана на один кадр элементом 616 задержки и необязательно обработана 620, как, например, для того, чтобы игнорировать небольшие периферийные части (например, 0,3% крайних частей гистограммы, которые могут представлять ошибочные данные). Конкретно, в качестве примера операции 606 обработки, LUT фона может быть сформирована на основе гистограммы, предоставленной операцией 614 формирования гистограммы, и применена к фоновой части 604 (например, чтобы перевести динамический диапазон фоновой части к требуемому динамическому диапазону), чтобы предоставить выровненную фоновую часть 607.Processing
LUT фона может быть модифицирована через операцию 620 для операции 606 обработки AC-алгоритма, как, например, для того, чтобы уменьшать сильные изменения в значениях LUT фона (например, обеспечивать низкочастотную временную фильтрацию, IIR) от одного кадра к следующему. Например, операция 620 может формировать LUT выравнивания фоновой гистограммы из определенного процента (например, 90%) IIR-отфильтрованной LUT предыдущего кадра и определенного процента (например, 10%) из LUT текущего кадра.The background LUT can be modified through
Детальная часть 621 (т.е. вторая часть или детальное изображение) формируется посредством вычитания (например, с помощью вычитающего устройства 610) фоновой части 605, предоставленной операцией 604 фильтрации, из сигнала 602. Детальная часть затем масштабируется (например, с помощью умножающего устройства 622) на основе значения D2BR (соотношение деталей к фону), как обсуждалось ранее и с D2BR-значением на основе соответствующего AC-значения, выбранного пользователем, чтобы предоставлять масштабированную детальную часть 623. Выровненная фоновая часть 607 добавляется (например, с помощью сумматора 624) к масштабированной детальной части 623, чтобы объединять данные и предоставлять выходной кадр 626 данных изображения. Предположим, что нет масштабирования фоновой части на этапе выравнивания гистограммы, отдельный этап 618 масштабирования может применяться (например, с помощью устройства умножения), чтобы соответствовать динамическому диапазону масштабированной детальной части. Необязательно заключительный этап масштабирования может применяться к объединенному (суммированному) AC-изображению, чтобы масштабировать сигнал до требуемого выходного динамического диапазона (например, динамического диапазона, требуемого некоторым видеостандартом).The detail part 621 (i.e., the second part or the detailed image) is formed by subtracting (for example, using a subtractor 610) the background part 605 provided by the filtering operation 604 from the
В целом, в соответствии с вариантом осуществления настоящего изобретения, AC-алгоритм (AC-фильтр) может быть реализован, чтобы разделять сигнал изображения на две части, где первая часть содержит фоновую (низкочастотную) информацию, а вторая часть содержит детальную (более точную) информацию изображения. Вторая часть может быть получена просто вычитанием (например, при работе высокочастотного фильтра) фоновой информации из первоначального сигнала изображения. Конечные выходные данные AC-алгоритма могут формироваться посредством масштабирования детальной информации (или фоновой информации), так что детальная информация будет четко просматриваться в результирующем изображении, несмотря на текущий динамический диапазон этого изображения.In general, in accordance with an embodiment of the present invention, an AC algorithm (AC filter) can be implemented to divide the image signal into two parts, where the first part contains background (low-frequency) information, and the second part contains detailed (more accurate) image information. The second part can be obtained simply by subtracting (for example, when the high-pass filter is running) the background information from the original image signal. The final output of the AC algorithm can be generated by scaling detailed information (or background information), so that detailed information will be clearly visible in the resulting image, despite the current dynamic range of this image.
В качестве дополнительного примера, низкочастотный фильтр может использоваться, чтобы получать фоновую информацию, и может быть спроектирован так, что он не будет портить резкие границы в изображении. Линейный низкочастотный фильтр будет, по определению, портить границы, так как он вычисляет простое взвешенное среднее соседних пикселей даже через резкие границы. Следовательно, двунаправленный фильтр может использоваться в AC-алгоритме, чтобы динамически вычислять весовые коэффициенты соседних пикселей на основе не только близости местоположения (близости к фильтруемому пикселю), но также в радиометрической близости. Таким образом, соседям со значительно более высокой или более низкой интенсивностью сигнала, чем фильтруемый пиксель, может быть назначен нулевой или близкий к нулю весовой коэффициент.As an additional example, a low-pass filter can be used to obtain background information, and can be designed so that it does not spoil sharp edges in the image. A linear low-pass filter will, by definition, spoil the boundaries, as it calculates a simple weighted average of neighboring pixels even across sharp boundaries. Therefore, a bidirectional filter can be used in the AC algorithm to dynamically calculate the weights of neighboring pixels based not only on the proximity of the location (proximity to the filtered pixel), but also in the radiometric proximity. Thus, neighbors with a significantly higher or lower signal intensity than the filtered pixel can be assigned a weight factor of zero or close to zero.
В качестве другого примера, AC-алгоритм может масштабировать фоновую и детальную информацию линейно до некоторого требуемого предварительно определенного диапазона. Например, типичная настройка может делить доступный выходной диапазон (например, 256) на две приблизительно равные части. Для сцен с умеренным динамическим диапазоном и для датчиков с фактически линейной реакцией (например, LWIR, такого как QWIP) этот подход может быть достаточным. Однако для сцен с большими горячими объектами или датчиков с более нелинейной реакцией (например, датчиков MWIR InSb) этот подход недостаточен. Например, линейное преобразование верхнего динамического диапазона фона от 14 к 8-битной области может сделать горячие объекты белыми, а оставшуюся часть фона однообразным серым, давая в результате неудовлетворительное качество изображения. Альтернативно в соответствии с одним или более вариантами осуществления выравнивание гистограммы может применяться к фоновой информации, чтобы обеспечивать лучшее распределение цветов. Например, чтобы сохранять некоторые из радиометрических свойств изображения (например, должно быть по-прежнему очевидно, что существует очень горячий объект в сцене), часть (например, 25%) назначенного фонового динамического диапазона может быть сохранена для линейного или прямо пропорционального преобразования.As another example, an AC algorithm can scale background and detailed information linearly to some desired predetermined range. For example, a typical setup may divide the available output range (e.g. 256) into two approximately equal parts. For scenes with moderate dynamic range and for sensors with virtually linear response (for example, LWIR, such as QWIP), this approach may be sufficient. However, for scenes with large hot objects or sensors with a more non-linear response (for example, MWIR InSb sensors), this approach is insufficient. For example, a linear transformation of the upper dynamic range of the background from 14 to 8-bit region can make hot objects white and the rest of the background monotonous gray, resulting in unsatisfactory image quality. Alternatively, in accordance with one or more embodiments, histogram alignment can be applied to background information to provide better color distribution. For example, in order to preserve some of the radiometric properties of the image (for example, it should still be obvious that there is a very hot object in the scene), part (for example, 25%) of the assigned background dynamic range can be saved for linear or directly proportional conversion.
В качестве другого примера, LUT может быть создана в операции выравнивания гистограммы AC-фильтра и может включать в себя две части, где одна часть является стандартной LUT, которая масштабирует диапазон пропорционально числу пикселей в этом диапазоне, а другая часть является строго линейным преобразованием. Например, типично 25 процентов диапазона, зарезервированного для фона, будут преобразовываться линейно, где LUT, которая вычисляется, используется для следующего кадра. Дополнительно, низкочастотный фильтр может применяться к LUT, чтобы сглаживать резкие изменения в значениях.As another example, a LUT may be created in an AC filter histogram alignment operation and may include two parts, where one part is a standard LUT that scales the range in proportion to the number of pixels in that range, and the other part is a strictly linear transformation. For example, typically 25 percent of the range reserved for the background will be converted linearly, where the LUT that is being calculated is used for the next frame. Additionally, a low-pass filter can be applied to the LUT to smooth out sharp changes in values.
Где применимо, различные варианты осуществления изобретения могут быть реализованы с помощью аппаратных средств, программного обеспечения или различных сочетаний аппаратных средств и программного обеспечения. Где применимо, различные аппаратные компоненты и/или программные компоненты, изложенные в данном документе, могут объединяться в составные компоненты, содержащие программное обеспечение, аппаратные средства и/или и то, и другое, без отступления от рамок и функциональности настоящего раскрытия. Где применимо, различные аппаратные компоненты и/или программные компоненты, изложенные в данном документе, могут быть разделены на подкомпоненты, имеющие программное обеспечение, аппаратные средства и/или и то, и другое, без отступления от рамок и функциональности настоящего раскрытия. Где применимо, предполагается, что программные компоненты могут быть реализованы как аппаратные компоненты и наоборот.Where applicable, various embodiments of the invention may be implemented using hardware, software, or various combinations of hardware and software. Where applicable, various hardware components and / or software components set forth herein may be combined into composite components containing software, hardware, and / or both, without departing from the scope and functionality of the present disclosure. Where applicable, various hardware components and / or software components set forth herein may be divided into subcomponents having software, hardware, and / or both, without departing from the scope and functionality of this disclosure. Where applicable, it is contemplated that software components may be implemented as hardware components and vice versa.
Программное обеспечение, в соответствии с настоящим раскрытием, такое как, например, программный код и/или данные, может быть сохранено на одном или более машиночитаемых носителях. Также предполагается, что программное обеспечение, идентифицированное в данном документе, может быть реализовано с помощью одного или более универсальных или специализированных компьютеров и/или компьютерных систем, объединенных в сеть, и/или иным образом. Где применимо, порядок различных этапов, описанных в данном документе, может быть изменен, объединен в составные этапы и/или разделен на подэтапы, чтобы предоставлять признаки, описанные в данном документе.Software in accordance with the present disclosure, such as, for example, program code and / or data, may be stored on one or more computer-readable media. It is also contemplated that the software identified herein may be implemented using one or more universal or specialized computers and / or computer systems networked and / or otherwise. Where applicable, the order of the various steps described herein may be changed, combined into composite steps and / or sub-steps to provide features described herein.
Варианты осуществления, описанные в данном документе, иллюстрируют, но не ограничивают изобретение. Также следует понимать, что многочисленные модификации и вариации возможны в соответствии с принципами настоящего изобретения. Соответственно, рамки изобретения определены только прилагаемой формулой изобретения.The embodiments described herein illustrate but do not limit the invention. It should also be understood that numerous modifications and variations are possible in accordance with the principles of the present invention. Accordingly, the scope of the invention is defined only by the attached claims.
Claims (23)
- обрабатывают инфракрасное изображение, чтобы предоставлять фоновую часть инфракрасного изображения и детальную часть инфракрасного изображения;
- масштабируют фоновую часть и/или детальную часть, чтобы обеспечивать уровень детальной части относительно уровня фоновой части;
объединяют фоновую часть и детальную часть после масштабирования, чтобы предоставлять обработанное инфракрасное изображение; и
- сохраняют обработанное инфракрасное изображение.1. The method of processing infrared images, characterized in that it contains stages in which:
- process the infrared image to provide the background part of the infrared image and the detailed part of the infrared image;
- scale the background part and / or the detailed part to provide the level of the detailed part relative to the level of the background part;
combining the background part and the detailed part after scaling to provide a processed infrared image; and
- save the processed infrared image.
выполняют выравнивание гистограммы фоновой части перед этапом, на котором объединяют фоновую часть и детальную часть.2. The method according to claim 1, characterized in that it further comprises stages in which
performing histogram alignment of the background part before the step of combining the background part and the detailed part.
- фильтруют инфракрасное изображение, чтобы предоставлять фоновую часть; и
- вычитают фоновую часть из инфракрасного изображения, чтобы предоставлять детальную часть.3. The method according to claim 2, characterized in that the processing of the infrared image comprises the steps in which:
- filter the infrared image to provide a background portion; and
- subtract the background part from the infrared image to provide a detailed part.
- захватывают инфракрасное изображение и
- отображают обработанное инфракрасное изображение.8. The method according to claim 1, characterized in that it further comprises stages in which:
- capture an infrared image and
- display the processed infrared image.
- компонент захвата изображения, выполненный с возможностью захватывать инфракрасное изображение;
- компонент обработки;
- запоминающий компонент, выполненный с возможностью хранить информацию, чтобы управлять компонентом обработки, чтобы выполнять обработку инфракрасного изображения, содержащую:
- фильтрацию инфракрасного изображения, чтобы предоставлять фоновую часть инфракрасного изображения и детальную часть инфракрасного изображения;
- масштабирование фоновой части и/или детальной части, чтобы обеспечивать уровень детальной части относительно уровня фоновой части;
- объединение фоновой части и детальной части после масштабирования, чтобы предоставлять обработанное инфракрасное изображение; и
- сохранение обработанного инфракрасного изображения.13. The system for capturing an infrared image, characterized in that it contains:
- an image capturing component configured to capture an infrared image;
- processing component;
- a storage component configured to store information to control a processing component to perform infrared image processing, comprising:
- filtering the infrared image to provide a background portion of the infrared image and a detailed portion of the infrared image;
- scaling the background part and / or the detailed part to provide the level of the detailed part relative to the level of the background part;
- combining the background part and the detailed part after scaling to provide a processed infrared image; and
- saving the processed infrared image.
- применение двунаправленного фильтра к инфракрасному изображению, при этом двунаправленный фильтр использует параметр фильтра, соответствующий значению управления обработкой; и
- вычитание фоновой части из инфракрасного изображения, чтобы предоставлять детальную часть.18. The infrared image capture system according to claim 17, wherein the infrared image filtering comprises:
- applying a bidirectional filter to the infrared image, while the bidirectional filter uses a filter parameter corresponding to the processing control value; and
- subtracting the background part from the infrared image to provide a detailed part.
- фильтруют инфракрасное изображение, чтобы предоставлять фоновую часть инфракрасного изображения и детальную часть инфракрасного изображения;
- масштабируют фоновую часть и/или детальную часть, чтобы обеспечивать уровень детальной части относительно уровня фоновой части;
- выполняют выравнивание гистограммы фоновой части;
- объединяют фоновую часть и детальную часть после масштабирования, чтобы предоставлять обработанное инфракрасное изображение; и
- сохраняют обработанное инфракрасное изображение.20. Machine-readable medium, characterized in that the information for performing the method is stored on the medium, the method comprising the steps of:
- filtering the infrared image to provide a background part of the infrared image and a detailed part of the infrared image;
- scale the background part and / or the detailed part to provide the level of the detailed part relative to the level of the background part;
- perform alignment of the histogram of the background part;
- combine the background part and the detailed part after scaling to provide a processed infrared image; and
- save the processed infrared image.
- применение двунаправленного фильтра к инфракрасному изображению, при этом двунаправленный фильтр использует значение фильтра;
- вычитание фоновой части из инфракрасного изображения, чтобы предоставлять детальную часть; и
при этом масштабирование применяется только к детальной части, чтобы обеспечивать уровень детальной части относительно уровня фоновой части, и при этом масштабирование использует значение усиления.22. Machine-readable medium according to item 21, wherein the infrared image filtering contains:
- applying a bidirectional filter to the infrared image, while the bidirectional filter uses the filter value;
- subtracting the background part from the infrared image to provide a detailed part; and
however, scaling is applied only to the detailed part to ensure the level of the detailed part relative to the level of the background part, and the scaling uses the gain value.
- захват инфракрасного изображения и
- отображение обработанного инфракрасного изображения. 23. The machine-readable medium of claim 22, further comprising:
- capture infrared images and
- display of the processed infrared image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2010104434/08A RU2437153C2 (en) | 2007-07-09 | 2007-07-09 | Method to process infrared image, system of infrared image capture and machine-readable medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2010104434/08A RU2437153C2 (en) | 2007-07-09 | 2007-07-09 | Method to process infrared image, system of infrared image capture and machine-readable medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2010104434A RU2010104434A (en) | 2011-08-20 |
| RU2437153C2 true RU2437153C2 (en) | 2011-12-20 |
Family
ID=44755388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2010104434/08A RU2437153C2 (en) | 2007-07-09 | 2007-07-09 | Method to process infrared image, system of infrared image capture and machine-readable medium |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2437153C2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2742476C1 (en) * | 2020-07-15 | 2021-02-08 | Валентина Ивановна Бутакова | Method for processing infrared spectrum of multicomponent carbon-containing substance |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870153B (en) * | 2021-09-18 | 2024-10-15 | 华中科技大学 | FPGA implementation method, system, and terminal for real-time quantization of wide dynamic range infrared images |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040189668A1 (en) * | 2003-03-27 | 2004-09-30 | Microsoft Corporation | Visual and scene graph interfaces |
| US20050091359A1 (en) * | 2003-10-24 | 2005-04-28 | Microsoft Corporation | Systems and methods for projecting content from computing devices |
| WO2007007165A2 (en) * | 2005-07-11 | 2007-01-18 | De Beers Consolidated Mines Limited | Infrared imaging spectroscopy system and method for sorting particulate material |
| US7184057B2 (en) * | 2002-06-24 | 2007-02-27 | Microsoft Corpoartion | Systems and methods for providing color management |
| RU2296434C2 (en) * | 2005-04-14 | 2007-03-27 | Зао "Элвиис" | Device and method for automated control of situation in auditoriums |
-
2007
- 2007-07-09 RU RU2010104434/08A patent/RU2437153C2/en not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7184057B2 (en) * | 2002-06-24 | 2007-02-27 | Microsoft Corpoartion | Systems and methods for providing color management |
| US20040189668A1 (en) * | 2003-03-27 | 2004-09-30 | Microsoft Corporation | Visual and scene graph interfaces |
| US20050091359A1 (en) * | 2003-10-24 | 2005-04-28 | Microsoft Corporation | Systems and methods for projecting content from computing devices |
| RU2296434C2 (en) * | 2005-04-14 | 2007-03-27 | Зао "Элвиис" | Device and method for automated control of situation in auditoriums |
| WO2007007165A2 (en) * | 2005-07-11 | 2007-01-18 | De Beers Consolidated Mines Limited | Infrared imaging spectroscopy system and method for sorting particulate material |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2742476C1 (en) * | 2020-07-15 | 2021-02-08 | Валентина Ивановна Бутакова | Method for processing infrared spectrum of multicomponent carbon-containing substance |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2010104434A (en) | 2011-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101456319B1 (en) | Method of processing an infrared image, infrared image capturing system and computer readable medium | |
| US8515196B1 (en) | Systems and methods for processing infrared images | |
| US11100618B2 (en) | Systems and methods for reducing low-frequency non-uniformity in images | |
| US7860339B2 (en) | Visual processing device, visual processing method, visual processing program, intergrated circuit, display device, image-capturing device, and portable information terminal | |
| US8169500B2 (en) | Dynamic range compression apparatus, dynamic range compression method, computer-readable recording medium, integrated circuit, and imaging apparatus | |
| EP1918871B1 (en) | Image enhancement method and system | |
| US8447132B1 (en) | Dynamic range correction based on image content | |
| US9432647B2 (en) | Adaptive auto exposure and dynamic range compensation | |
| CN101253764B (en) | Imaging camera processing unit and method | |
| KR102523505B1 (en) | Method and Apparatus for Inverse Tone Mapping | |
| US7425985B2 (en) | Image processing apparatus and method | |
| JP4339454B2 (en) | Video system and method with dynamic brightness control | |
| CN110378859A (en) | A kind of new high dynamic range images generation method | |
| JP5887303B2 (en) | Image signal processing apparatus, imaging apparatus, and image processing program | |
| CN104794705B (en) | Image defogging method and device based on image local content characteristic | |
| JP6600216B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| KR20080056265A (en) | A method, a device for enhancing the quality of detail in an input image, a computer program product comprising processor readable code for enabling the method, a display device comprising the device, a camera and a portable device comprising the camera | |
| RU2437153C2 (en) | Method to process infrared image, system of infrared image capture and machine-readable medium | |
| US11828704B2 (en) | Spatial image processing for enhanced gas imaging systems and methods | |
| US8687912B2 (en) | Adaptive overshoot control for image sharpening | |
| EP2894846B1 (en) | Imaging device, imaging method, image processing device, and carrier means | |
| Razligh et al. | Imaeg Blur Reduction for Cell-Phone Cameras Via Adaptive Tonal Correction | |
| US20250363606A1 (en) | Image local contrast enhancement systems and methods | |
| KR100813620B1 (en) | Contrast correction device and correction method | |
| JP2011150401A (en) | Dynamic range compression device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20200710 |