WO2025074066A1 - Méthode de correction de défauts optiques résiduels - Google Patents
Méthode de correction de défauts optiques résiduels Download PDFInfo
- Publication number
- WO2025074066A1 WO2025074066A1 PCT/FR2024/051306 FR2024051306W WO2025074066A1 WO 2025074066 A1 WO2025074066 A1 WO 2025074066A1 FR 2024051306 W FR2024051306 W FR 2024051306W WO 2025074066 A1 WO2025074066 A1 WO 2025074066A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- calibration
- camera
- image
- given
- integration time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Definitions
- the technical field of the invention is that of correcting optical defects in an image acquired by an IR camera having a cooled detector.
- each optical element generates a parasitic and spatially homogeneous thermal flux.
- the parasitic flux emitted by the cryogenic detector of the camera can be imaged very diffusely by the detector or is not imaged at all.
- the optical configuration of the infrared camera is the cause of reflections of thermal flux emitted by the cryogenic detector of the camera which receives and images its own cold thermal flux.
- a thermal flux being all the greater as the temperature of a thermal source to be imaged by the camera is high, the cold flux of the cryogenic detector acts as a jump in the thermal flux received by the camera, the flux of the detector being colder than the flux of the thermal camera.
- the one-point calibration of a cooled infrared camera consists of an adjustment of a gain table G and an offset table O (from the English "offset"), the adjustment being carried out from a defocused image or from a diaphragm (from the English "shutter") used to obtain an image assumed to be uniform on the sensor.
- the response of a pixel to a flux can be modeled by a linear function characterized by a direction coefficient which represents a gain and an ordinate at the origin which represents an offset (commonly called offset).
- offset an offset
- Each pixel has its own gain and its own offset. Consequently, upon receipt of a uniform luminous flux, the gray levels generated by the pixels differ, which results in the appearance of non-uniformities on the image generated by the camera.
- [Fig. 3] represents an example of the response of a pixel P1 and the response of a pixel P2 distinct from P1, the response of a pixel corresponding to gray level values N as a function of the luminance L which depends on the temperature T of the received flux.
- each pixel response has a different direction coefficient - and therefore a different gain, and a different ordinate at the origin - and therefore a different offset.
- a correction is carried out by applying the one-point calibration method, from a gain table G and an offset table O, which each have the same dimensions as the detector matrix.
- the gain table G is expressed in the form of a table of coefficients, each coefficient being multiplied to a pixel of the same position.
- the gain table G is determined in the factory before the camera is put into service, for example. After its application, all the pixels have the same response to a given flux variation and their characteristic functions therefore have the same direction coefficient.
- the gain table can be determined by performing the partial derivative of order 1 of two images taken at two different scene temperatures. In particular, the partial derivative is performed with respect to the luminance parameter which depends on the temperature.
- the offset table O is additive relative to the flow received by each of the pixels, and is therefore expressed in the form of a table of factors applied to each of the pixels, determined during operation of the camera.
- a shift table O is obtained from the image of a scene acquired in front of a diaphragm and noted diaphragm, multiplied by the gain table G.
- the shift table O is obtained from the following formula:
- I diaphragm * G Average diaphragm * G.
- Each pixel of Average (I diaphragm * G) comprises the average of all the pixels in the matrix ⁇ diaphragm * G . After its application, all the pixels will have the same response to a given flux in the configuration where the calibration was carried out.
- FIG. 4 is a block diagram of a one-point calibration method 100, based on a gain table G determined according to the method described previously.
- the method 100 comprises a step 101 of shuttering the camera.
- the optical defects seen and corrected by the camera are not the same depending on the shuttering method chosen, the shuttering being able to be carried out by defocusing, or by placing the camera diaphragm in front of the entire optical path or in front of the sensor.
- the method further comprises a step 102 of calculating and applying an integration time.
- the method then comprises a step 103 of acquiring an image of the diaphragm Idiaphra me then a step 104 of constructing the offset table O determined according to the preceding formula. Steps 101 to 104 correspond to the camera calibration phase.
- the method 100 comprises a step 105 of acquiring any image Im by an operator with the integration time, then a step 106 of multiplying the acquired image by the gain table G and finally a step 107 of subtracting the shift table O, which makes it possible to obtain in theory a final image Imf devoid of intrinsic defects of the detector and of parasitic fluxes due to the camera.
- step 101 of the calibration method is performed with a diaphragm in front of a specific optical field, all “optical reflection” type defects will be perfectly corrected.
- the offset table O is no longer valid, i.e. it no longer corrects “optical reflection” type defects because the optical defects vary with the field.
- the calibration by the offset table O is performed in a specific optical configuration called the calibration field during which the flux coming from the scene is averaged on the sensor.
- the offset table O corrects the defects seen only in this specific optical configuration.
- Non-uniformity or offset defects are not corrected because it is currently not known how to calculate an offset table in real time on the usual fields, at the risk of embedding the visible scene in the offset table.
- a defect appears locally in a field where the offset table O has not been made, it is not corrected. This phenomenon is all the more visible if the camera has a continuous zoom and can image several fields.
- step 101 of the calibration method is carried out by “defocusing”, that is to say if the optics are moved to defocus the image at the extreme (calibration field), optical reflection defects - if any - are no longer present.
- the "optical reflection” type defects are not taken into account and only the intrinsic defects of the detector are corrected.
- the camera "refocuses” the image, the image is calibrated but the reflection defects are still visible because they were not present, i.e. not visible, when the O shift table was generated.
- the invention provides a solution to the problems mentioned above, by making it possible to determine the residual optical defects of an image acquired at a given and calibrated focal length.
- the residual optical defects of the image are determined from at least one calibration table comprising amplitude values of the residual defect for the given focal length and an adaptation factor making it possible to take into account the differences in acquisition conditions between the calibration table and the acquired image to correct the residual optical defects.
- One aspect of the invention relates to a computer-implemented method of correcting residual optical defects in an image acquired by a camera with a given focal length, the acquired image being calibrated, the residual optical defects being relative to the given focal length, the method comprising:
- Obtaining a correction of the residual optical defects of the acquired image the correction depending on: a first calibration table corresponding to an amplitude of the residual optical defects at the given focal length and; a first adaptation factor between the first calibration table and the acquired image, Obtain a second image corrected for residual optical defects from the acquired calibrated image and the correction, by subtracting the correction from the acquired image.
- the acquired image being calibrated means an image on which a calibration method of the one-point calibration type, for example, is applied.
- the intrinsic defects in the camera detector are corrected.
- the shift table (or offset) of the calibration method was obtained from a diaphragm in front of a specific optical field, all the defects of the "optical reflection” or “parasitic defects” type are also corrected in the calibration field only and not in other fields. If the shift table is obtained by defocusing, the defects of the "optical reflection” or “parasitic defects” type are not corrected in any field.
- the optical reflection defects or parasitic optical defects are called residual optical defects in the following.
- defects of the “optical reflection” or “parasitic defects” type are Narcissus defects, due to non-uniformities created from parasitic thermal fluxes emitted by the camera detector, which are reflected on at least one optic of the camera and are imaged on the detector.
- the residual optical defects depend on the field (or equivalently the focal length) of the camera.
- the residual optical defects are distinct from the intrinsic defects of the camera detector and are modeled as spatial additive noise. Thus, residual optical defects are present in the acquired image after its calibration.
- a given field of observation of the camera corresponds to a given focal length F'd of the camera lens.
- the residual optical defects of an acquired and calibrated image are corrected from the first calibration table associated with the same field (or equivalently with the same focal length) as that of the image acquired and calibrated in the factory for example.
- the adaptation factor makes it possible to adjust the amplitude of the first calibration table in order to bring the optical defects closer residual optical defects of the acquired image to the residual optical defects calibrated in the factory.
- the first adaptation factor can take into account the integration time of the camera during the acquisition of the image to be corrected and that used in the factory for the calibration table, the amplitude of the residual optical defects depending on the integration time for example.
- the invention allows an increase in the quality of restitution of the information of the acquired image by homogenizing the acquired image, unlike the state of the art in which only the defects due to the pixels of the detector are corrected.
- the reading of the acquired image by a user is improved and details are more visible when it is necessary to observe a distant target for example.
- the invention makes it possible to eliminate any optical defect modeled as spatial additive noise in the field considered, regardless of its shape or geometry, without altering the acquired image.
- the correction comprises a product of the first adaptation factor and the first calibration table.
- the residual optical defects are parasitic thermal flux defects associated with the given focal length and are modeled by spatial additive noise.
- any optical defect relating to a given focal length and modelable by spatial additive noise can be corrected by the invention.
- the first calibration table is associated with a calibration integration time of the camera and with an internal calibration temperature of the camera and, the image is acquired for a given integration time of the camera and for a given internal temperature of the camera and the first adaptation factor is determined from the calibration integration time, the given integration time, the internal calibration temperature and the given internal temperature of the camera, the first adaptation factor being determined from the calibration integration time, the given integration time, the calibration internal temperature and the given internal temperature.
- the first adaptation factor makes it possible to take into account the different conditions of acquisition of the image to be corrected and of the calibration table.
- the first adaptation factor takes into account the integration time of the camera on which the amplitude of the residual optical defects depends.
- the first adaptation factor varies when the integration time varies.
- the first adaptation factor is defined as a product:
- the correction further depends on: a second calibration table corresponding to a variation in the amplitude of the residual optical defects as a function of a variation in the internal temperature of the camera for the given focal length, and a second adaptation factor between the second calibration table and the acquired image.
- the first calibration table is associated with a calibration integration time of the camera and with an internal calibration temperature of the camera, and the image is acquired for a given integration time of the camera and a given internal temperature of the camera and according to which: the first adaptation factor is determined from the calibration integration time and the given integration time, the second adaptation factor is determined from the first adaptation factor, the given internal temperature and the calibration internal temperature.
- the first calibration table is associated with a calibration integration time of the camera and with an internal calibration temperature of the camera, and the image is acquired for a given integration time of the camera and a given internal temperature of the camera and: the first adaptation factor is determined from the calibration integration time and the given integration time, the second adaptation factor is determined from the first factor, from a luminance obtained from the given internal temperature and from a luminance obtained from the internal calibration temperature.
- the first adaptation factor and the second adaptation factor are respectively equal to a first initial value and a second initial value and obtaining the correction comprises:
- the residual optical defects are modeled as a radial geometry defect and the optimization of the criterion comprises a step of applying a filter adapted to the radial geometry of the defect to the intermediate image to obtain a filtered intermediate image and the criterion corresponds to a variance of the filtered intermediate image.
- the filter adapted to the radial geometry is a gradient filter or a Laplacian filter.
- FIG. 1 is a uniform graph of the temperature T of the parasitic flux received by the detector on the pixels Pi_c of the central line of the detector in the prior art.
- FIG. 2 is a non-uniform graph of the temperature T of the parasitic flux received by the detector on the pixels Pi_c of the central line of the detector in the prior art.
- FIG. 3 represents the responses of two pixels to a luminance from a thermal flux, corresponding to graphs of the gray levels at each pixel as a function of the luminance received by the pixel in the prior art.
- FIG. 4 is a block diagram representing a state-of-the-art method of correcting non-uniform defects on an image, corresponding in particular to detector defects.
- FIG. 5 is a block diagram showing the steps of a method for determining the first calibration table.
- FIG. 6 is a block diagram showing the steps of a method for determining the second calibration table.
- FIG. 7 is a block diagram representing the steps of a correction method according to the invention.
- FIG. 8 is a block diagram representing the sub-steps of a step of determining a correction of residual optical defects of the correction method according to the invention.
- FIG. 9 represents three graphs corresponding to an amplitude of optical defects on the central line of an image.
- FIG. 10 is a diagram showing a device configured to implement the method according to the invention.
- the invention relates to a method for correcting residual optical defects in an image acquired by an infrared camera, preferably the infrared camera having a detector cooled to a constant temperature.
- the camera is located for example in an aircraft or in an observation viewfinder located in a land vehicle and acquires for example images which can be displayed in real time or later to a user of the aircraft or the land vehicle for example.
- Infrared camera means a camera configured to measure and record heat waves and infrared radiation emitted by a body or an object, in order to generate so-called infrared image sequences.
- the camera is for example a Short-Wave Infrared (SWIR), Long-Wave Infrared (LWIR) or Midwave Infrared (MWIR) type camera.
- SWIR Short-Wave Infrared
- LWIR Long-Wave Infrared
- MWIR Midwave Infrared
- the camera comprises a zoom, that is to say a lens with a variable focal length that can be adjusted by a user.
- zoom that is to say a lens with a variable focal length that can be adjusted by a user.
- focal length and “focal length” will be confused.
- the field of observation of the camera is inversely proportional to the focal length.
- the infrared camera comprises an infrared detector, formed for example from a matrix of FPA (Focal Plane Array) type detectors.
- the images acquired by the camera may be grayscale images.
- the lens of the camera comprises a front lens on which parasitic optical thermal fluxes coming from the cooled detector of the camera are reflected and imaged on said detector.
- the configuration of the lens is modified to change the focal length of the lens and therefore the field of view of the camera, the optical path of the parasitic fluxes is modified, which modifies their impact on the image acquired by the camera.
- the optical defects resulting from parasitic thermal fluxes depend on the focal length of the camera and therefore vary when the focal length varies.
- These optical defects are called parasitic optical defects or internal reflection optical defects and can be of any geometry, for example a radial or square geometry.
- the geometry of the parasitic optical defects has a rotational symmetry.
- the optical defects of internal reflection are corrected for a given field if the shuttering is carried out by a diaphragm, or are not corrected (because they are not visible) if the shuttering is carried out by defocusing.
- optical defects of internal reflection depend on the field of the camera, the one-point calibration method described in method 100 does not allow them to be eliminated if the shift table (or offset) was obtained for a different field or was obtained by defocusing (and not by the use of a physical diaphragm).
- the offset table used in the one-point calibration method and the image acquired in real time are each obtained for a camera integration time and an internal temperature of the camera which may be equal to or different respectively from the internal temperatures and integration time of the camera during the acquisition of an image in real time.
- the amplitudes of the optical defects of internal reflection of the detector vary according to the internal temperature and the integration time of the camera.
- Internal temperature of the camera means the temperature acquired near the optics of the camera lens and in particular near the front lens of the lens for example. In the following, any internal temperature value of the camera is included for example in the interval [-20; +70] °C.
- the optical reflection defects present in an image after calibration are called residual optical defects.
- the correction method according to the invention thus aims to correct the residual optical defects, for each given focal length F'd and each temperature and integration time, without having to repeat a one-point calibration method (method 100).
- the correction of these defects is carried out from a first calibration table 01 d and a second calibration table 02d, each calibration table being associated with the given focal length F'd.
- the first calibration table 01 d associated with the given focal length F'd has the same size as the size of a matrix of the camera detector, and therefore the same size as the image to be corrected, and corresponds to a matrix of amplitudes of the residual optical defects for the given focal length F'd.
- each coefficient of the first calibration table corresponds to an amplitude of the residual optical defects for a given position of a pixel of the camera detector.
- the second calibration table O2d has the same size as the size of the matrix of the camera detector, and therefore the same size as the image to be corrected, and corresponds to a matrix modeling variations in the amplitudes of the residual optics as a function of the variations in internal temperatures of the camera for the given focal length F'd.
- each coefficient of the second calibration table corresponds to a value of variation in the amplitude of the residual optical defects for a given position of a pixel of the camera detector.
- the first calibration table 01 i associated with the focal length F'i can be determined according to a method for determining the first calibration table.
- FIG. 5 presents a block diagram of the steps of the method 200 for determining the first calibration table 01 i associated with the focal length F'i.
- each calibration table 01 i is associated with the internal calibration temperature of the camera and the calibration integration time of the camera.
- the method 200 comprises a step 201 of acquisition by the camera of an image Isj of a thermal flux emitted by a homogeneous and isotropic source, for the focal length F'i of the camera, the internal calibration temperature of the camera and the calibration integration time of the camera which are stored by a user in a memory external to the camera for example.
- the term "homogeneous and isotropic source” means a source emitting, for example, a thermal flux (or thermal radiation) similar to the thermal fluxes emitted by a black body, i.e. a homogeneous and isotropic thermal flux, the radiation of which depends only on the temperature and not on the directions in space, for example.
- a source emitting isotropic radiation makes it possible to have a homogeneous scene and to observe only the optical defects of the camera.
- the source may be a heating plate covered entirely with black paint, and having a uniform, constant temperature that can be adjusted by a user.
- the source may be likened to a black body.
- the thermal flux emitted by the source covers the entire pupil of the camera lens.
- the method 200 comprises a step 202 of calibrating the image Isj according to the method 100 of one-point calibration of the camera in which the shuttering step corresponds to a defocusing. This makes it possible to correct the intrinsic defects of the detector but does not correct the reflection defects of the latter.
- the one-point calibration is carried out from the gain table G and the offset table O described previously.
- the image Is2j obtained corresponds to the image of the source Isj corrected for the defects of the detector and includes residual optical defects as mentioned previously, that is to say residual optical defects corresponding to parasitic thermal fluxes of the camera lens relative to the focal length F ⁇
- I S3 _i I S 2_i - Average (I S2 i ).
- the first calibration table 01 i can be obtained at the end of step 203.
- the method 200 comprises an optional step 204 of spatial filtering of the third image Issj to obtain a filtered image F(ls3j).
- the filtering may for example correspond to a spatial filtering of the image Issj in the case where intrinsic defects of the detector remain even after the calibration step 201, for example because of one or more defective pixels of the detector.
- the first calibration table 01 i may be equal to F(ls3j).
- the first calibration table 01 i is obtained at the end of optional steps not shown in the method 200, described below.
- the method 200 may comprise a first optional step of carrying out steps 201, 202 and 203 at several different times t and obtaining a plurality of images (Is3jt)t>o
- the method 200 may comprise a second optional step of averaging the images Is3i_t to obtain an average image Average(ls3jt)t>o.
- the averaging step 206 corresponds to an averaging of each value of pixel of each image Issjt having the same position in the image.
- each coefficient at a given position of the image Mean(ls3jt) t>o corresponds to an average of the values of the pixels of the same position of each image Issjt.
- the method 200 may comprise a third optional step of obtaining the first calibration table 01 i by subtracting the image Average(ls3jt) from the image Issjt.
- 01; I S3i - Average(I S3 it ).
- the third embodiment advantageously makes it possible to eliminate temporal noise present in the image Is3j, the temporal noise degrading the quality of the image by giving it a granular appearance.
- the optional steps are applied to the image F(IS3_i) following step 204.
- the method 200 for obtaining the first calibration table 01 i associated with the focal length F'i can be carried out for a plurality of M focal lengths which makes it possible to obtain M first calibration tables (OIO ⁇ M each associated with a different focal length F'i, the index i being a natural integer.
- M first calibration tables OIO ⁇ M each associated with a different focal length F'i, the index i being a natural integer.
- each first calibration table among the M first calibration tables is obtained for a different focal length but with the same internal calibration temperature of the camera and the same calibration integration time of the camera.
- each first calibration table may be compressed before being saved in a memory for use.
- the compression method must be adapted to the spatial morphology of the residual optical defects represented by each first calibration table, in order to avoid any degradation of the quality of the first calibration table.
- the second calibration table O2i associated with the focal length F'i can be determined according to a method for determining the second calibration table.
- FIG. 6 presents a block diagram of the steps of the method 300 for determining the second calibration table O2i associated with the focal length F'i.
- each calibration table O2i is associated with the camera calibration integration time.
- the method 300 comprises a step 301 of acquisition by the camera of a first image 11 sj of a thermal flux emitted by the source defined in the method of determining the first calibration table.
- the acquisition step 301 is carried out for the focal length F'i of the camera, at an internal calibration temperature T1 calibration of the camera and with the calibration integration time T1 calibration of the camera which are stored by a user in a memory external to the camera for example or in a memory of the camera.
- the method 300 further comprises a step 302 identical to step 202, the step 302 being applied to the image 11 sj and making it possible to obtain the calibrated image 11 S2j.
- the calibrated image I1 s2j corresponds to the image 11 sj corrected for the detector defects and comprising residual optical defects as described previously.
- the residual optical defects correspond to parasitic thermal fluxes of the camera lens for the focal length F'i.
- the second calibration table O2i makes it possible to estimate the variation of the residual optical defects as a function of the variation in internal temperature.
- An interpolation is carried out between the variation of the residual optical defects and the variation in internal temperature, the interpolation order being chosen according to predetermined criteria.
- the higher the interpolation order the more the quality of the images to be corrected for residual optical defects is improved because the relationship between the variation of the residual optical defects and the variation in internal temperature is more precise.
- the higher the interpolation order the more complex the method 300 is to implement because a plurality of blackbody image acquisitions are required.
- the variation of the residual optical defects can depend linearly and indirectly on the variation of luminance due to the variation of temperature. Indeed, the variation of the residual optical defects depends linearly on the variation of the luminance which depends on the temperature.
- the integrated luminance is linked to the internal temperature T that the camera integrates (captures).
- the gray level captured by the camera depends on a multitude of sources.
- a simulation of the variation of gray levels captured by the detector as a function of the variation in internal temperature is carried out.
- the determination of the luminance as a function of the temperature (denoted L(T1) and L(T2)) is for example obtained via an infrared camera simulation method.
- the integrated luminance takes into account a fixed temperature T of a scene integrated by the camera and passing through the optics, the internal luminance of the camera (i.e. the photons leaving the camera and reaching the detector) and the dark current of the camera detector.
- the internal temperature of the camera is varied in order to observe the evolution of the variation in gray level as a function of the variation in the internal luminance of the camera.
- the integrated luminances are obtained from a resolution of the Planck equations in a context applied to the camera, that is to say by taking into account the variation in gray level as a function of the variation in the internal luminance of the camera.
- luminance values as a function of temperature is advantageous because the luminance of a pixel in an image is modeled linearly as a function of its gray level, for any temperature. Thus, since luminance is linear with gray levels, the simulation is valid for all temperatures.
- the method 300 for obtaining the second calibration table O2i associated with the focal length F'i can be carried out for a plurality of M focal lengths (F'i)i ⁇ i ⁇ M> which makes it possible to obtain M second calibration tables each associated with a different focal length F'i.
- each first calibration table among the first M calibration tables is obtained for a different focal length but with the same camera calibration integration time.
- the method 200 represented in [Fig. 5] and the method 300 represented in [Fig. 6] respectively make it possible to obtain first and second calibration tables used in the method 400 for correcting residual optical defects according to the invention, the steps of which are represented in [Fig. 7],
- FIG. 7 in fact presents a block diagram of the method 400 for correcting residual optical defects according to the invention.
- the method 400 aims to correct the residual optical defects of an Irrid image acquired for a given focal length F'd, by the camera described previously, and corrected for the detector defects using the one-point calibration method for example.
- the Irrid image to be corrected for residual optical defects is acquired by the camera for an integration time td and an internal temperature Td, stored in a memory of the camera or a memory external to the camera for example.
- the first calibration table 01 d associated with the given focal length F'd is used in the method 400.
- the second calibration table O2d associated with the given focal length F'd is used in method 400.
- the correction method 400 comprises a step 401 of obtaining a correction Corrd of the residual optical defects of the image Irrid, from the first calibration table 01 d and the second calibration table O2d.
- the correction Corrd is an image of the same size as the image to be corrected, determined from the first calibration table 01 d, a first adaptation factor K1 d relating to the first calibration table 01 d, the second calibration table O2d and a second adaptation factor K2d relating to the second calibration table O2d.
- the first adaptation factor K1d makes it possible to adjust the amplitude of the first calibration table 01 d to the image to be corrected, the first calibration table 01 d and the image Irrid to be corrected each comprising the amplitude of the residual optical defects for the focal length F'd but for different acquisition conditions.
- the first adaptation factor K1d is a real strictly greater than 0.
- the second adaptation factor K2d makes it possible to adjust the amplitude of the second calibration table O2d to the image to be corrected, in order to take into account the effects of the internal temperature variations of the camera on the amplitude of the residual optical defects.
- the second adaptation factor K2d is a real number strictly greater than 0.
- Corrd K1d* 01 d .
- the optical defects to be corrected in the image have a deterministic formula for calculating their amplitude which corresponds to the reflection of the detector on the optics (commonly called the Narcissus effect).
- the deterministic formulas are based on the physical nature of the residual optical defects.
- the luminance L as a function of the temperature T is obtained according to the Planck formula.
- K1d may be equal to a function or a polynomial of the parameter - — — — for example, the polynomial being
- the variation in the amplitude of the residual optical defects of the internal temperature of the camera is modeled as non-uniform over the entire image to be corrected.
- the first adaptation factor K1 d and the second adaptation factor K2d are unaffected, and the second calibration table O2d includes coefficients not necessarily equal to 1.
- the optical defects to be corrected in the image have a deterministic formula for calculating their amplitude which corresponds to the reflection of the detector on the optics (corresponding to the Narcissus effect). The deterministic formulas are based on the physical nature of the residual optical defects.
- K1 d is for example equal to — - —
- Sub-step 4012 is a step of optimizing the first factor K1d and the second factor K2d in order to reduce a criterion on the image lm(interm)d'.
- sub-step 4012 makes it possible to find optimal values respectively for K1d and K2d, also noted K1d_o P tet and K2d_o P t such that the criterion on the image lm(interm)d' is respected.
- the image lm(interm)d' is filtered to eliminate high frequencies and the criterion to be reduced or even minimized is a variance of the filtered image lm(interm)d', which makes it possible to minimize the effects of the residual optical defects.
- the image lm(interm)d is spatially filtered so as to eliminate any defects that may be present other than optical reflection defects. It is necessary that the filtering does not alter said optical reflection defects.
- Optical reflection defects can be of a spatial high-frequency (HF) nature, of a spatial low-frequency (LF) nature or for example a mixture of the two natures. Therefore, in the classic cases encountered, a classic high-frequency or low-frequency filtering via a convolution matrix for example is not optimal.
- HF spatial high-frequency
- LF spatial low-frequency
- optical reflection defects are defects having a symmetry of revolution. If the optical reflection defects have a radial geometry with symmetry of revolution, an example of a spatial filter is a radial filter which will retain only the spatial frequencies having symmetry of revolution.
- the optimization is carried out for example using the gradient descent algorithm.
- step 4012 optimal values are obtained for the first factor K1 d and for the second factor K2d, such that the condition on the criterion of the image lm(interm)d' is respected.
- the method 400 comprises a step 402 of correcting residual optical defects in the acquired Imd image.
- the correction step 402 is carried out by subtracting the correction Corrd from the image Imd, to obtain an image Imd' corrected for residual optical defects.
- Imd' is equal to Imd - Corrd.
- FIG. 9 represents three graphs of amplitudes of the defects present in a central line of an image.
- the ordinate axis thus represents the amplitude of the defects in an image and the abscissa axis represents the pixels Pi_c of the central line of the image.
- a first graph represents the amplitude of the defects in a central line of an IM image acquired by the camera, without any correction. This includes detector faults and optical faults due to stray flux from the camera optics.
- a second graph represents the amplitude of the defects of an IM' image, obtained from a one-point calibration method applied to the IM image.
- the amplitude of the defects has decreased compared to the first graph, the defects due to the detector having been eliminated.
- residual optical defects as described previously remain.
- a third graph represents the amplitude of the defects of an IM image obtained after the application of the method for correcting residual optical defects according to the invention.
- the amplitude of the optical defects is uniform and approaches a zero value unlike the other graphs.
- the correction method according to the invention makes it possible to reduce or even eliminate the residual optical defects of the acquired images.
- Another aspect of the invention relates to a device configured to implement the method of correcting residual optical defects of an image according to the invention.
- FIG. 10 represents the device according to the invention, according to one or more embodiments of the invention.
- the device comprises a computer 500, comprising a memory 501 for storing instructions which, when implemented by a processor of the computer, cause the processor and therefore the computer to implement the correction method.
- the computer 500 further comprises a circuit 502.
- This circuit may be, for example, a processor capable of interpreting instructions in the form of a computer program, an electronic card whose steps of the method of the invention are described in silicon, or even a programmable electronic chip such as an FPGA chip (for “Field-Programmable Gate Array” in English).
- the computer 500 comprises an input interface 503 for receiving the image acquired by the camera for example and corrected for the defects of the detector, and an output interface 504 for providing the image corrected for the residual optical defects for example.
- the computer may comprise, to allow easy interaction with a user, a screen 505 and a keyboard 506.
- the keyboard is optional, especially in the case of a computer in the form of a touch pad, for example.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
Méthode de correction de défauts optiques résiduels Un aspect de l'invention concerne une méthode (400) de correction de défauts optiques résiduels d'une image acquise par une caméra avec une distance focale donnée, l'image acquise étant corrigée de défauts d'un détecteur de la caméra, les défauts optiques résiduels étant relatifs à la distance focale donnée et différents des défauts du détecteur, la méthode étant réalisée à partir d'une première table d'étalonnage correspondant à une amplitude des défauts optiques résiduels à la distance focale donnée
Description
DESCRIPTION
TITRE : Méthode de correction de défauts optiques résiduels
DOMAINE TECHNIQUE DE L’INVENTION
[0001] Le domaine technique de l’invention est celui de la correction de défauts optiques d'une image acquise par une caméra IR possédant un détecteur refroidi.
[0002] La présente invention concerne une méthode de correction de défauts optiques résiduels d'une image acquise par une caméra IR refroidie et précédemment calibrée.
ARRIERE-PLAN TECHNOLOGIQUE DE L’INVENTION
[0003] Dans une caméra infrarouge, chaque élément optique génère un flux thermique parasite et spatialement homogène. En théorie, le flux parasite émis par le détecteur cryogénique de la caméra peut être imagé de manière très diffuse par le détecteur ou n'est pas imagé du tout.
[0004] Ainsi, le flux thermique parasite de la caméra peut être modélisé comme un bruit de fond spatialement homogène et directement lié à la température ambiante des éléments optiques de la caméra, hors détecteur. Ce phénomène est dû à un transfert radiatif entre les éléments optiques internes de la caméra jusqu’à son détecteur. La [Fig. 1] montre ainsi un graphe de la température T du flux parasite reçu par le détecteur sur la ligne centrale du détecteur (et donc sur la ligne centrale de l'image qu'il produit), les abscisses correspondant aux pixels Pi_c de la ligne centrale. Le graphe est constant du fait de l'homogénéité du bruit de fond et est égal à une température constate Te.
[0005] Cependant, dans certains cas, la configuration optique de la caméra infrarouge est à l'origine de réflexions de flux thermique émis par le détecteur cryogénique de la caméra qui reçoit et image son propre flux thermique froid. Un flux thermique étant d’autant plus grand que la température d'une source thermique à imager par la caméra est élevée, le flux froid du détecteur cryogénique agit comme un saut dans le flux thermique reçu par la caméra, le flux du détecteur étant plus froid que le flux de la caméra thermique.
[0006] De ce fait, le transfert thermique émis par une source à imager est altéré et le flux reçu par le détecteur est composé de deux flux : le flux thermique de la caméra
et le flux froid du détecteur. Le flux froid provenant du détecteur remplace ainsi le flux chaud parasite homogène provenant de l’intérieur de la caméra.
[0007] Il en résulte sur le détecteur un gradient de température se traduisant par un gradient en « niveaux de gris » et donc une non-uniformité de bruit parasite sur l’image. La forme de la non-uniformité dépend de la forme du détecteur et de la configuration optique de la caméra. L’intensité de la non-uniformité dépend des différentes températures dans la caméra, par exemple de la température du détecteur et de la température ambiante, ainsi que du temps d’intégration par exemple. La [Fig. 2] est un graphe représentant la température du flux reçu par le détecteur, au niveau des pixels Pi_c de la ligne centrale du détecteur. En particulier, la [Fig. 2] est un graphe représentant la température T du flux reçu par la ligne centrale du détecteur dont une partie a une température correspondant à la température Te du flux reçu par la caméra, et une partie ayant une température parasite Tp dépendant de la température Td du flux émis par le détecteur et de la température Te. En particulier, la température Tp peut être égale à : Tp = (1 - Q) * Te + Q * Td, avec Q correspondant à la proportion de flux parasite de la caméra remplacé par le flux parasite du détecteur. Plus le reflet du détecteur est élevé, plus Q est élevé.
[0008] Lors de l'utilisation d’une caméra infrarouge refroidie, il est possible de corriger les bruits non-uniformes du détecteur cités précédemment par un processus de calibration un point par exemple.
[0009] La calibration un point d’une caméra infrarouge refroidie consiste en un ajustement d'une table de gains G et d’une table de décalages O (de l'anglais "offset"), l'ajustement étant réalisé à partir d’une image défocalisée ou à partir d’un diaphragme (de l'anglais "shutter") servant à obtenir une image supposée uniforme sur le capteur.
[0010] En particulier, la réponse d'un pixel à un flux peut être modélisée par une fonction linéaire caractérisée par un coefficient directeur qui représente un gain et une ordonnée à l’origine qui représente un décalage (communément appelé offset). Chaque pixel possède son propre gain et son propre décalage. Par conséquent, à la réception d'un flux lumineux uniforme, les niveaux de gris générés par les pixels diffèrent, ce qui se traduit par l’apparition de non-uniformités sur l’image générée par la caméra.
[0011] La [Fig. 3] représente un exemple de la réponse d'un pixel P1 et la réponse d'un pixel P2 distinct de P1 , la réponse d’un pixel correspondant à des valeurs de niveau de gris N en fonction de la luminance L qui dépend de la température T du flux reçu. Ainsi, dans la [Fig. 3], chaque réponse de pixel a un coefficient directeur - et donc un gain - différent, et une ordonnée à l'origine - et donc un décalage - différent.
[0012] Afin d'éliminer les non-uniformités des pixels, il est nécessaire que les pixels aient le même gain et le même décalage. Une correction est réalisée par application de la méthode de calibration un point, à partir d'une table de gains G et d’une table de décalages O, qui ont chacune les mêmes dimensions que la matrice du détecteur.
[0013] La table de gains G s’exprime sous la forme d’une table de coefficients, chaque coefficient étant multiplié à un pixel de même position. La table de gains G est déterminée en usine avant la mise en service de la caméra par exemple. Après son application, tous les pixels ont la même réponse à une variation de flux donnée et leurs fonctions caractéristiques ont donc le même coefficient directeur. La table de gain peut être déterminée en réalisant la dérivée partielle d'ordre 1 de deux images prises à deux températures de scènes différentes. En particulier, la dérivée partielle est réalisée par rapport au paramètre de luminance qui dépend de la température.
[0014] La table de décalages O est additive relativement au flux reçu par chacun des pixels, et s’exprime donc sous la forme d’une table de facteurs appliquée à chacun des pixels, déterminée pendant le fonctionnement de la caméra.
[0015] Une table de décalages O est obtenue à partir de l’image d’une scène acquise devant un diaphragme et notée diaphragme, multipliée par la table de gain G. En particulier, la table de décalages O est obtenue à partir de la formule suivante:
[0016] O — Idîaphragme * G — Moyenne diaphragme * G). Chaque pixel de Moyenne (Idiaphragme * G) comprend la moyenne de tous les pixels de la matrice ^diaphragme * G . Après son application, tous les pixels auront la même réponse à un flux donné dans la configuration où a été réalisée la calibration.
[0017] La [Fig. 4] est un schéma synoptique d'une méthode 100 de calibration un point, à partir d'une table de gain G déterminée selon la méthode décrite précédemment. La méthode 100 comprend une étape 101 d'obturation de la caméra. En particulier, les défauts optiques vus et corrigés par la caméra ne sont pas les mêmes suivant la méthode d’obturation choisie, l'obturation pouvant être réalisée par
défocalisation, ou par placement du diaphragme de la caméra devant l'ensemble de la voie optique ou devant le capteur.
[0018] La méthode comprend en outre une étape 102 de calcul et d'application d'un temps d'intégration. La méthode comprend ensuite une étape 103 d'acquisition d'une image du diaphragme Idiaphra me puis une étape 104 de construction de la table de décalages O déterminée selon la formule précédente. Les étapes 101 à 104 correspondent à la phase de calibration de la caméra.
[0019] En outre, la méthode 100 comprend une étape 105 d'acquisition d'une image Im quelconque par un opérateur avec le temps d'intégration, puis une étape 106 de multiplication de l'image acquise par la table de gain G et enfin une étape 107 de soustraction de la table de décalages O, ce qui permet d'obtenir en théorie une image finale Imf dénuée de défauts intrinsèques du détecteur et des flux parasites dus à la caméra.
[0020] En particulier, si l'étape 101 de la méthode de calibration est réalisée avec un diaphragme devant un champ optique spécifique, tous les défauts de type « réflexion optique » seront parfaitement corrigés. Cependant, s’il y a un changement de champ de la caméra, la table de décalages O n'est plus valable, c’est-à-dire qu'elle ne corrige plus les défauts de type « réflexion optique » car les défauts optiques varient avec le champ. Dans le cas des caméras connues, la calibration par la table de décalages O est réalisée dans une configuration optique spécifique dénommée champ de calibration durant laquelle le flux provenant de la scène se moyenne sur le capteur. Ainsi, la table de décalages O corrige les défauts vus uniquement dans cette configuration optique spécifique. Les défauts de non-uniformité ou de décalages (différences entre les ordonnées à l'origine des réponses des pixels) dans les champs usuels ne sont pas corrigés car il n’est actuellement pas connu de calculer une table de décalages en temps réel sur les champs usuels, au risque d’incruster la scène visible dans la table de décalages. En particulier, si un défaut apparait localement dans un champ où la table de décalages O n’a pas été faite, il n'est pas corrigé. Ce phénomène est d’autant plus visible si la caméra a un zoom continu et peut imager plusieurs champs.
[0021] Si l'étape 101 de la méthode de calibration est réalisée par « défocalisation », c'est à dire si les optiques sont bougées pour défocaliser l’image à
l’extrême (champ de calibration), les défauts de réflexion optiques - s'il y en a - ne sont plus présents. Ainsi, lorsque la table de décalages O est réalisée dans ce cas, les défauts de type « réflexion optiques » ne sont pas pris en compte et seuls les défauts intrinsèques du détecteur sont corrigés. Quand la caméra « refocalise » l’image, l’image est calibrée mais les défauts de réflexion sont toujours visibles car ils n’étaient pas présents, c’est-à-dire pas visibles, lorsque la table de décalages O a été générée.
[0022] De ce fait, des non-uniformités ou défauts optiques résiduels, causées par des flux parasites internes à la caméra, peuvent rester présentes sur l’image malgré une calibration un point telle que décrite précédemment.
[0023] Il existe donc un besoin de corriger des défauts optiques résiduels d'une image acquise et calibrée.
RESUME DE L’INVENTION
[0024] L’invention offre une solution aux problèmes évoqués précédemment, en permettant de déterminer les défauts optiques résiduels d'une image acquise à une focale donnée et calibrée. Les défauts optiques résiduels de l'image sont déterminés à partir d'au moins une table d'étalonnage comprenant des valeurs d'amplitudes du défaut résiduel pour la focale donnée et d'un facteur d'adaptation permettant de prendre en compte les différences de conditions d'acquisitions entre la table d'étalonnage et l'image acquise pour corriger les défauts optiques résiduels.
[0025] Un aspect de l’invention concerne une méthode de correction, mise en œuvre par ordinateur, de défauts optiques résiduels d'une image acquise par une caméra avec une distance focale donnée, l'image acquise étant calibrée, les défauts optiques résiduels étant relatifs à la distance focale donnée, la méthode comprenant:
Obtenir une correction des défauts optiques résiduels de l'image acquise, la correction dépendant : d'une première table d'étalonnage correspondant à une amplitude des défauts optiques résiduels à la distance focale donnée et; d'un premier facteur d'adaptation entre la première table d'étalonnage et l'image acquise,
Obtenir une deuxième image corrigée des défauts optiques résiduels à partir de l'image acquise calibrée et de la correction, par soustraction de la correction à l'image acquise.
[0026] On entend par "l'image acquise étant calibrée" une image sur laquelle une méthode de calibration de type calibration un point par exemple est appliquée. Ainsi, sur une image calibrée, les défauts intrinsèques au détecteur de la caméra sont corrigés. En particulier, si la table de décalages (ou d'offset) de la méthode de calibration a été obtenue à partir d'un diaphragme devant un champ optique spécifique, tous les défauts de type « réflexion optique » ou « défauts parasites » sont également corrigés dans le champ de calibration uniquement et non dans d'autres champs. Si la table de décalages est obtenue par défocalisation, les défauts de de type « réflexion optique » ou « défauts parasites » ne sont corrigés dans aucun champ. Ainsi, les défauts de réflexion optiques ou défauts optiques parasites sont appelés défauts optiques résiduels dans la suite.
[0027] En particulier, les défauts de type « réflexion optique » ou « défauts parasites » sont des défauts de Narcisse, dus à des non-uniformités créées à partir de flux thermiques parasites émis par le détecteur de la caméra, qui se réfléchissent sur au moins une optique de la caméra et s'imagent sur le détecteur. Les défauts optiques résiduels dépendent du champ (ou de manière équivalente de la focale) de la caméra. Les défauts optiques résiduels sont distincts des défauts intrinsèques du détecteur de la caméra et sont modélisés comme un bruit additif spatial. Ainsi, des défauts optiques résiduels sont présents dans l'image acquise après sa calibration.
[0028] En particulier, un champ d'observation donné de la caméra correspond à une distance focale donnée F'd de l'objectif de la caméra. Le champ d'observation donné est défini par un angle dit angle de champ ad exprimé selon la formule suivante: ad = 2*arctan(^-), avec d la longueur d'un bord ou d'une diagonale d'une image acquise par la caméra.
[0029] Grâce à l’invention, les défauts optiques résiduels d'une image acquise et calibrée sont corrigés à partir de la première table d'étalonnage associée au même champ (ou de manière équivalente à la même focale) que celui de l'image acquise et calibrée en usine par exemple. En particulier, le facteur d'adaptation permet d’ajuster l’amplitude de la première table d'étalonnage afin de rapprocher les défauts optiques
résiduels de l'image acquise aux défauts optique résiduels calibrés en usine. Le premier facteur d'adaptation peut prendre en compte le temps d’intégration de la caméra lors de l'acquisition de l'image à corriger et celui utilisé en usine pour la table d'étalonnage, l'amplitude des défauts optiques résiduels dépendant du temps d'intégration par exemple. Ainsi, l'invention permet une augmentation de la qualité de restitution des informations de l'image acquise en homogénéisant l’image acquise, contrairement à l'état de l'art dans lequel seuls les défauts dus aux pixels du détecteur sont corrigés. La lecture de l’image acquise par un utilisateur est améliorée et des détails sont plus visible en cas de besoin d'observer une cible lointaine par exemple. Avantageusement, l'invention permet de supprimer tout défaut optique modélisé comme un bruit additif spatial dans le champ considéré, peu importe sa forme ou géométrie, sans pour autant altérer l’image acquise.
[0030] Outre les caractéristiques qui viennent d’être évoquées dans le paragraphe précédent, la méthode selon un aspect de l’invention peut présenter une ou plusieurs caractéristiques complémentaires parmi les suivantes, considérées individuellement ou selon toutes les combinaisons techniquement possibles.
[0031] Selon un mode de réalisation, la correction comprend un produit du premier facteur d'adaptation et de la première table d'étalonnage.
[0032] Selon un mode de réalisation, les défauts optiques résiduels sont des défauts de flux thermiques parasites associés à la focale donnée et sont modélisés par un bruit additif spatial. Avantageusement, tout défaut optique relatif à une focale donnée et modélisable par un bruit additif spatial peut être corrigé par l'invention.
[0033] Selon un mode de réalisation: la première table d'étalonnage est associée à un temps d'intégration d'étalonnage de la caméra et à une température interne d’étalonnage de la caméra et, l’image est acquise pour un temps d’intégration donné de la caméra et pour une température interne donnée de la caméra et le premier facteur d'adaptation est déterminé à partir du temps d'intégration d'étalonnage, du temps d'intégration donné, de la température interne d'étalonnage et de la température interne donnée de la caméra,
le premier facteur d'adaptation étant déterminé à partir du temps d'intégration d'étalonnage, du temps d'intégration donné, de la température interne d'étalonnage et la température interne donnée. Avantageusement, le premier facteur d'adaptation permet de prendre en compte les conditions différentes d'acquisition de l'image à corriger et de la table d'étalonnage. En particulier, le premier facteur d'adaptation prend en compte le temps d'intégration de la caméra duquel dépend l'amplitude des défauts optiques résiduels. Ainsi, le premier facteur d'adaptation varie lorsque le temps d'intégration varie.
[0034] Selon un mode de réalisation, le premier facteur d'adaptation est défini comme un produit :
D'un rapport du temps d'intégration donné et du temps d'intégration d'étalonnage, et
D'un rapport de la température interne donnée et de la température interne d'étalonnage.
[0035] Selon un mode de réalisation, le premier facteur d'adaptation est défini comme un produit :
D'un rapport du temps d'intégration donné et du temps d'intégration d'étalonnage, et
D'un rapport d'une luminance obtenue à partir de la température interne donnée et d’une luminance obtenue à partie de la température interne d'étalonnage.
[0036] Selon un mode de réalisation, la correction dépend en outre: d'une deuxième table d'étalonnage correspondant à une variation de l'amplitude des défauts optiques résiduels en fonction d'une variation de température interne de la caméra pour la distance focale donnée, et d'un deuxième facteur d'adaptation entre la deuxième table d'étalonnage et l'image acquise.
[0037] Selon un mode de réalisation, la première table d'étalonnage est associée à un temps d'intégration d'étalonnage de la caméra et à une température interne d'étalonnage de la caméra, et l'image est acquise pour un temps d'intégration donné de la caméra et une température interne donnée de la caméra et selon laquelle:
le premier facteur d'adaptation est déterminé à partir du temps d'intégration d'étalonnage et du temps d'intégration donné, le deuxième facteur d'adaptation est déterminé à partir du premier facteur d'adaptation, de la température interne donnée et de la température interne d'étalonnage.
[0038] Selon un mode de réalisation, la première table d'étalonnage est associée à un temps d'intégration d'étalonnage de la caméra et à une température interne d'étalonnage de la caméra, et l'image est acquise pour un temps d'intégration donné de la caméra et une température interne donnée de la caméra et: le premier facteur d'adaptation est déterminé à partir du temps d'intégration d'étalonnage et du temps d'intégration donné, le deuxième facteur d'adaptation est déterminé à partir du premier facteur, d'une luminance obtenue à partir de la température interne donnée et d'une luminance obtenue à partie de la température interne d'étalonnage.
[0039] Selon un mode de réalisation, le premier facteur d'adaptation et le deuxième facteur d'adaptation sont respectivement égaux à une première valeur initiale et une deuxième valeur initiale et l'obtention de la correction comprend:
Obtenir une image intermédiaire par soustraction d'une correction intermédiaire à l'image acquise, la correction intermédiaire étant déterminée à partir du premier facteur d'adaptation égal à la première valeur initiale, la première table d'étalonnage, le deuxième facteur d'adaptation égal à la deuxième valeur initiale et la deuxième table d'étalonnage,
Optimisation d'un critère relatif à l'image intermédiaire, par obtention d'un premier facteur d'adaptation optimal et d’un deuxième facteur d'adaptation optimal, la correction de défauts optiques résiduels étant déterminée à partir du premier facteur d'adaptation optimal et du deuxième facteur d'adaptation optimal.
[0040] Selon un mode de réalisation, les défauts optiques résiduels sont modélisés comme un défaut de géométrie radiale et l'optimisation du critère comprend une étape d'application d'un filtre adapté à la géométrie radiale du défaut à l'image intermédiaire pour obtenir une image intermédiaire filtrée et le critère correspond à une variance de
l'image intermédiaire filtrée. Par exemple, le filtre adapté la géométrie radiale est un filtre gradient ou un filtre Laplacien.
[0041] Un autre aspect de l’invention concerne un produit programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre la méthode selon l'invention.
[0042] Un autre aspect de l'invention concerne un support lisible par ordinateur comprenant des instructions qui, lorsqu'elles sont exécutées par un ordinateur, conduisent celui-ci à mettre en œuvre la méthode selon l'invention.
[0043] L’invention et ses différentes applications seront mieux comprises à la lecture de la description qui suit et à l’examen des figures qui l’accompagnent.
BREVE DESCRIPTION DES FIGURES
[0044] Les figures sont présentées à titre indicatif et nullement limitatif de l’invention.
[0045] La [Fig. 1] est un graphe uniforme de la température T du flux parasite reçu par le détecteur sur les pixels Pi_c de la ligne centrale du détecteur dans l’art antérieur.
[0046] La [Fig. 2] est un graphe non-uniforme de la température T du flux parasite reçu par le détecteur sur les pixels Pi_c de la ligne centrale du détecteur dans l’art antérieur.
[0047] La [Fig. 3] représente les réponses de deux pixels à une luminance issue d'un flux thermique, correspondant à des graphes des niveaux de gris au niveau de chaque pixel en fonction de la luminance reçue par le pixel dans l’art antérieur.
[0048] La [Fig. 4] est un schéma synoptique représentant une méthode de correction, de l'état de l'art, de défauts non-uniformes sur une image correspondant notamment aux défauts du détecteur.
[0049] La [Fig. 5] est un schéma synoptique représentant les étapes d'une méthode de détermination de la première table d'étalonnage.
[0050] La [Fig. 6] est un schéma synoptique représentant les étapes d'une méthode de détermination de la deuxième table d'étalonnage.
[0051] La [Fig. 7] est un schéma synoptique représentant les étapes d'une méthode de correction selon l'invention.
[0052] La [Fig. 8] est un schéma synoptique représentant les sous-étape d'une étape de détermination d'une correction de défauts optiques résiduels de la méthode de correction selon l'invention.
[0053] La [Fig. 9] représente trois graphes correspondant à une amplitude de défauts optiques sur la ligne centrale d'une image.
[0054] La [Fig. 10] est un schéma représentant un dispositif configuré pour mettre en œuvre la méthode selon l'invention.
DESCRIPTION DETAILLEE
[0055] L'invention concerne une méthode de correction de défauts optiques résiduels d'une image acquise par une caméra infrarouge de préférence, la caméra infrarouge ayant un détecteur refroidi à température constante.
[0056] La caméra est située par exemple dans un aéronef ou dans un viseur d'observation situé dans un véhicule terrestre et acquiert par exemple des images qui peuvent être affichées en temps réel ou ultérieurement à un utilisateur de l'aéronef ou du véhicule terrestre par exemple.
[0057] On entend par "caméra infrarouge" une caméra configurée pour mesurer et enregistrer des ondes de chaleur et rayonnements infrarouges émis par un corps ou un objet, afin de générer des séquences d'images dites infrarouges. La caméra est par exemple une caméra de type Short-Wave Infrared (SWIR), Long-Wave Infrared (LWIR) ou Midwave Infrared (MWIR).
[0058] En particulier, la caméra comprend un zoom, c’est-à-dire un objectif à distance focale variable et réglable par un utilisateur. Dans la suite, on confondra "distance focale" et "focale". Comme décrit précédemment, le champ d’observation de la caméra est inversement proportionnel à la distance focale.
[0059] En particulier, la caméra infrarouge comprend un détecteur infrarouge, formé par exemple d'une matrice de détecteurs de type FPA (de l'anglais "Focal Plane Array").
[0060] En particulier, les images acquises par la caméra peuvent être des images en niveau de gris.
[0061] Lors de l'acquisition d'une image d'une scène par la caméra, celle-ci comprend des défauts optiques parasites ou défaut de réflexion résultant du détecteur, les défauts dépendant du champ de la caméra. En particulier, l'objectif de la caméra comprend une lentille frontale sur laquelle des flux thermiques optiques parasites provenant du détecteur refroidi de la caméra se réfléchissent et s'imagent sur ledit détecteur. Lorsque la configuration de l'objectif est modifiée pour changer la focale de l'objectif et donc le champ de la caméra, le chemin optique des flux parasites est modifié, ce qui modifie leur impact sur l'image acquise par la caméra. Autrement dit, les défauts optiques issus de flux thermiques parasites dépendent de la focale de la caméra et varient donc lorsque la focale varie. Ces défauts optiques sont appelés défauts optiques parasites ou défauts optiques de réflexion interne et peuvent être de n'importe quelle géométrie, par exemple une géométrie radiale ou carrée. En particulier, la géométrie des défauts optiques parasites a une symétrie de révolution.
[0062] Par exemple, lorsque la caméra est calibrée grâce à la méthode 100 dont les étapes sont représentées dans la [Fig. 4] et ont été décrites précédemment, les défauts optiques de réflexion interne (dus au détecteur) sont corrigés pour un champ donné si l'obturation est réalisée par un diaphragme, ou ne sont pas corrigés (car non visibles) si l'obturation est réalisée par défocalisation. Ainsi, comme décrit précédemment, défauts optiques de réflexion interne dépendant du champ de la caméra, la méthode de calibration un point décrite dans la méthode 100 ne permet pas de les éliminer si la table de décalages (ou d'offset) a été obtenue pour un champ différent ou a été obtenue par défocalisation (et non par l’utilisation d’un diaphragme physique).
[0063] La table de décalages utilisée dans la méthode de calibration un point et l'image acquise en temps réel sont chacune obtenues pour un temps d'intégration de la caméra et une température interne de la caméra qui peuvent être égaux ou différents respectivement des températures internes et temps d'intégration de la caméra lors de l'acquisition d'une image en temps réel.
[0064] En particulier, les amplitudes des défauts optiques de réflexion interne du détecteur varient en fonction de la température interne et du temps d’intégration de la caméra.
[0065] On entend par "température interne de la caméra" la température acquise près des optiques de l'objectif de la caméra et notamment près de la lentille frontale de l'objectif par exemple. Dans la suite, toute valeur de température interne de la caméra est comprise par exemple dans l'intervalle [-20; +70] °C.
[0066] Dans la suite de la rédaction, les défauts de réflexion optique présents dans une image après calibration, notamment après l'application d'une méthode de calibration un point, sont appelés défauts optiques résiduels. La méthode de correction selon l'invention vise ainsi à corriger les défauts optiques résiduels, pour chaque focale donnée F'd et chaque température et temps d’intégration, sans à avoir à refaire une méthode de calibration un point (méthode 100). Selon l'invention, la correction de ces défauts est réalisée à partir d'une première table d'étalonnage 01 d et une deuxième table d'étalonnage O2d, chaque table d'étalonnage étant associée à la distance focale donnée F'd.
[0067] La première table d'étalonnage 01 d associée à la focale donnée F'd a la même taille que la taille d'une matrice du détecteur de la caméra, et donc la même taille que l'image à corriger, et correspond à une matrice d'amplitudes des défauts optiques résiduels pour la focale donnée F'd. En particulier, chaque coefficient de la première table d'étalonnage correspond à une amplitude des défauts optiques résiduels pour une position donnée d'un pixel du détecteur de la caméra.
[0068] La deuxième table d'étalonnage O2d a la même taille que la taille de la matrice du détecteur de la caméra, et donc la même taille que l'image à corriger, et correspond à une matrice modélisant des variations des amplitudes des optiques résiduels en fonction des variations de températures internes de la caméra pour la focale donnée F'd. En particulier, chaque coefficient de la deuxième table d'étalonnage correspond à une valeur de variation de l'amplitude des défauts optiques résiduels pour une position donnée d'un pixel du détecteur de la caméra.
[0069] Des exemples de détermination de la première et deuxième tables d'étalonnages sont décrites dans la suite de la rédaction.
[0070] En particulier, pour chaque focale F'i, la première table d'étalonnage 01 i associée à la focale F'i peut être déterminée selon une méthode de détermination de la première table d'étalonnage. La [Fig. 5] présente un schéma synoptique des étapes de la méthode 200 de détermination de la première table d'étalonnage 01 i associée à la focale F'i. En particulier, chaque table d'étalonnage 01 i est associée à la température interne d'étalonnage Tétaionnage de la caméra et le temps d'intégration d'étalonnage tétaionnage de la caméra.
[0071] La méthode 200 comprend une étape 201 d'acquisition par la caméra d'une image Isj d'un flux thermique émis par une source homogène et isotrope, pour la focale F'i de la caméra, la température interne d'étalonnage Tétaionnage de la caméra et le temps d'intégration d'étalonnage tétaionnage de la caméra qui sont mémorisés par un utilisateur dans une mémoire externe à la caméra par exemple.
[0072] On entend par "source homogène et isotrope" une source émettant par exemple un flux thermique (ou un rayonnement thermique) similaire aux flux thermique émis par un corps noir, c’est-à-dire un flux thermique homogène et isotrope, dont le rayonnement ne dépend que de la température et non des directions dans l'espace par exemple. Avantageusement, l'utilisation d'une source émettant un rayonnement isotrope permet d’avoir une scène homogène et de n’observer que les défauts optiques de la caméra.
[0073] En pratique, la source peut être une plaque chauffante recouverte entièrement d'une peinture noire, et ayant une température uniforme, constante et modulable par un utilisateur. Ainsi, la source peut être assimilée à un corps noir.
[0074] Le flux thermique émis par la source recouvre la totalité de la pupille de l'objectif de la caméra.
[0075] La méthode 200 comprend une étape 202 de calibration de l'image Isj selon la méthode 100 de calibration un point de la caméra dans laquelle l'étape d'obturation correspond à une défocalisation. Cela permet de corriger les défauts intrinsèques du détecteur mais ne corrige pas les défaut de réflexion de ce dernier. La calibration un point est réalisée à partir de la table de gains G et de la table de décalages O décrits précédemment. Après l'étape de calibration, une image de la source calibrée Is2j est obtenue à partir de l'image de la source Isj, telle que : IS2 i = G * ls i - O
[0076] L'image Is2j obtenue correspond à l'image de la source Isj corrigée des défauts du détecteur et comprend des défauts optiques résiduels tels que cités précédemment, c’est-à-dire des défauts optiques résiduels correspondant à des flux thermiques parasites de l'objectif de la caméra relatifs à la focale Fï
[0077] La méthode 200 comprend en outre une étape 203 d'obtention d'une troisième image Issj résultant de la soustraction d'une image moyenne de l'image Is2j, notée Moyenne(ls2j), à l'image calibrée Is2j. En particulier, Moyenne (Is2j) correspond à une image de même taille que Is2j et dont chaque coefficient correspond à la moyenne de toutes les valeurs de pixels de Is2j.
[0078] Ainsi, IS3_i = IS2_i - Moyenne (IS2 i).
[0079] Selon un premier mode de réalisation, la première table d'étalonnage 01 i associée à la focale F'i correspond à Issj et peut donc être notée: 01; = IS3
[0080] Ainsi, la première table d'étalonnage 01 i peut être obtenue à l'issue de l'étape 203.
[0081] Selon un deuxième mode de réalisation, la méthode 200 comprend une étape 204 optionnelle de filtrage spatial de la troisième image Issj pour obtenir une image filtrée F(ls3j).
[0082] Le filtrage peut par exemple correspondre à un filtrage spatial de l'image Issj dans le cas où des défauts intrinsèques du détecteur subsistent même après l'étape 201 de calibration, par exemple à cause d'un ou plusieurs pixels du détecteur défectueux. Dans ce deuxième mode de réalisation, la première table d'étalonnage 01 i peut être égale à F(ls3j).
[0083] Selon un troisième de réalisation, la première table d'étalonnage 01 i est obtenue à l'issue d'étapes optionnelles non représentées de la méthode 200, décrites dans la suite.
[0084] La méthode 200 peut comprendre une première étape optionnelle de réalisation des étapes 201 , 202 et 203 à plusieurs instants t différents et d'obtention d'une pluralité d'images (Is3jt)t>o
[0085] La méthode 200 peut comprendre une deuxième étape optionnelle de moyennage des images Is3i_t pour obtenir une image moyenne Moyenne(ls3jt)t>o. En particulier, l'étape 206 de moyennage correspond à un moyennage de chaque valeur
de pixel de chaque image Issjt ayant la même position dans l'image. Autrement dit, chaque coefficient à une position donnée de l'image Moyenne(ls3jt) t>o correspond à une moyenne des valeurs des pixels de même position de chaque image Issjt.
[0086] La méthode 200 peut comprendre une troisième étape optionnelle d'obtention de la première table d'étalonnage 01 i par soustraction de l'image Moyenne(ls3jt) à l'image Issjt. Ainsi, 01; = IS3i - Moyenne(IS3 it).
[0087] En particulier, le troisième mode de réalisation permet avantageusement de supprimer un bruit temporel présent dans l'image Is3j, le bruit temporel dégradant la qualité de l'image en lui donnant un aspect granulaire.
[0088] Selon un mode de réalisation non représenté, les étapes optionnelles sont appliquées à l'image F(IS3_i) suite à l'étape 204.
[0089] La méthode 200 d'obtention de la première table d'étalonnage 01 i associée à la focale F'i peut être réalisée pour une pluralité de M focales
ce qui permet d'obtenir M premières tables d'étalonnages (OIO^^M associées chacune à une distance focale différente F'i, l'indice i étant un entier naturel. En particulier, chaque première table d'étalonnage parmi les M premières tables d'étalonnages est obtenue pour une distance focale différente mais avec la même température interne d'étalonnage Tétaionnage de la caméra et le même temps d'intégration d'étalonnage tétaionnage de la caméra.
[0090] En particulier, chaque première table d'étalonnage peut être compressée avant d'être sauvegardée dans une mémoire pour être utilisée. La méthode de compression doit être adaptée à la morphologie spatiale des défauts optique résiduels représentés par chaque première table d'étalonnage, afin d'éviter toute dégradation de la qualité de la première table d'étalonnage.
[0091] Concernant la deuxième table d'étalonnage O2i, pour chaque focale F'i, la deuxième table d'étalonnage O2i associée à la focale F'i peut être déterminée selon une méthode de détermination de la deuxième table d'étalonnage. La [Fig. 6] présente un schéma synoptique des étapes de la méthode 300 de détermination de la deuxième table d'étalonnage O2i associée à la focale F'i. En particulier, chaque table d'étalonnage O2i est associée au temps d'intégration d'étalonnage tétaionnage de la caméra.
[0092] La méthode 300 comprend une étape 301 d'acquisition par la caméra d'une première image 11 sj d'un flux thermique émis par la source définie dans la méthode de détermination de la première table d'étalonnage. En particulier, l'étape 301 d'acquisition est réalisée pour la focale F'i de la caméra, à une température interne d’étalonnage T1 étalonnage de la caméra et avec le temps d'intégration d'étalonnage tétaionnage de la caméra qui sont mémorisés par un utilisateur dans une mémoire externe à la caméra par exemple ou dans une mémoire de la caméra.
[0093] La méthode 300 comprend en outre une étape 302 identique à l'étape 202, l'étape 302 étant appliquée à l'image 11 sj et permettant d'obtenir l'image calibrée 11 S2j. L'image calibrée I1 s2j correspond à l'image 11 sj corrigée des défauts du détecteur et comprenant des défauts optiques résiduels tels que décrits précédemment. Les défauts optiques résiduels correspondent à des flux thermiques parasites de l'objectif de la caméra pour la focale F'i.
[0094] La méthode 300 comprend en outre une étape 303 d'obtention d'une image I1 s3j résultant de la soustraction d'une image moyenne de l'image I1 s2j, notée Moyenne(H s2j) à l'image calibrée I1 s2j. En particulier, Moyenne (I1s2j) correspond à une image de même taille que I1 s2j et dont chaque coefficient correspond à la moyenne de toutes les valeurs de pixels de 11 S2j. Ainsi, 11 ssj = I1S2 i - Moyenne(IlS2 .
[0095] La méthode 300 comprend en outre une étape 304 de variation de la température interne de la caméra, pour obtenir une température interne T2étaionnage de la caméra différente de T1 étalonnage. La variation de température interne de la caméra peut être réalisée en plaçant la caméra dans une étuve réglable en température par exemple.
[0096] La méthode 300 comprend une étape 305 d'acquisition par la caméra d'une deuxième image I2sj de la source de flux thermique définie dans la méthode 200, pour la focale F'i de la caméra, la température interne d'étalonnage T2etaionnage de la caméra et le temps d'intégration d'étalonnage tétaionnage de la caméra.
[0097] La méthode 300 comprend en outre une étape 306 identique à l'étape 202, l'étape 306 étant appliquée à l'image I2sj et permettant d'obtenir l'image calibrée I2s2j. L'image calibrée I2s2j correspond à l'image I2sj corrigée des défauts du détecteur et comprenant des défauts optiques résiduels tels que cités précédemment.
[0098] La méthode 300 comprend en outre une étape 307 d'obtention d'une image I's3j résultant de la soustraction d'une image moyenne de l'image I2s2j, notée Moyenne(l2s2j) à l'image calibrée I2s2j. En particulier, Moyenne (I2s2j) correspond à une image de même taille que I2s2j et dont chaque coefficient correspond à la moyenne de toutes les valeurs de pixels de I2s2j. Ainsi, I2S3 = I2S2 - Moyenne(I2S2 ).
[0099] La méthode 300 comprend une étape 308 d'obtention de la deuxième table d'étalonnage O2i à partir de l'image I 1 s3j, la température d'étalonnage T1 étalonnage, l'image I2s3j et la température d'étalonnage T2étaionnage.
[00100] En particulier, la deuxième table d'étalonnage O2i permet d'estimer la variation des défauts optiques résiduels en fonction de la variation de température interne. Une interpolation est réalisée entre la variation des défauts optiques résiduels et la variation de température interne, l’ordre d’interpolation étant choisi selon des critères prédéterminés. En effet, plus l’ordre d'interpolation est élevé, et plus la qualité des images à corriger des défauts optiques résiduels est améliorée car la relation entre la variation des défauts optiques résiduels et la variation de température interne est plus précise. Cependant, plus l'ordre d'interpolation est élevé plus la méthode 300 est complexe à mettre en œuvre car une pluralité d'acquisition d'images du corps noir est requise.
[00101] En particulier, la variation des défauts optiques résiduels peut dépendre de manière linéaire et indirecte de la variation de luminance due à la variation de température. En effet, la variation des défauts optiques résiduels dépend linéairement de la variation de la luminance qui dépend de la température.
[00102] Ainsi, la deuxième table d'étalonnage O2i est obtenue selon la formule suivante: 02; = — - S3-‘ f -1 - - avec L(T1 étalonnage) la luminance intégrée
générée par la température T1 étalonnage et L(T2étaionnage) la luminance intégrée générée par la température T2étaionnage.
[00103] Ainsi, la luminance intégrée est liée à la température interne T que la caméra intègre (capture). Le niveau de gris capté par la caméra dépend d’une multitude de sources. Pour les besoins de l’interpolation, une simulation de la variation de niveaux de gris capté par le détecteur en fonction de la variation de température interne est réalisée. La détermination de la luminance en fonction de la température
(notée L(T1 ) et L(T2)) est par exemple obtenue via une méthode de simulation de la caméra infrarouge.
[00104] En particulier, la luminance intégrée prend en compte une température T fixe d'une scène intégrée par la caméra et traversant les optiques, la luminance interne de la caméra (c’est-à-dire les photons partant de la caméra et atteignant le détecteur) et le courant d'obscurité du détecteur de la caméra.
[00105] Lorsque la caméra infrarouge est placée devant une scène de température T fixe, la température interne de la caméra est variée afin d'observer l'évolution de la variation de niveau de gris en fonction de la variation de la luminance interne de la caméra.
[00106] Les luminances intégrées sont obtenues à partir d'une résolution des équations de Planck dans un contexte appliqué à la caméra, c’est-à-dire en prenant en compte la variation de niveau de gris en fonction de la variation de la luminance interne de la caméra.
[00107] L'utilisation des valeurs de luminances en fonction de la température est avantageuse car la luminance d'un pixel d'une image est modélisée linéairement en fonction de son niveau de gris, pour n'importe quelle température. Ainsi, la luminance étant linéaire avec les niveaux de gris, la simulation est valable pour toutes températures.
[00108] La méthode 300 d'obtention de la deuxième table d'étalonnage O2i associée à la focale F'i peut être réalisée pour une pluralité de M focales (F'i)i<i<M> ce qui permet d'obtenir M deuxièmes tables d'étalonnages
associées chacune à une distance focale différente F'i. En particulier, chaque première table d'étalonnage parmi les M premières tables d'étalonnages est obtenue pour une distance focale différente mais avec le même temps d'intégration d'étalonnage tétaionnage de la caméra.
[00109] Ainsi, la méthode 200 représentée à la [Fig. 5] et la méthode 300 représentée à la [Fig. 6] permettent respectivement d'obtenir des premières et deuxièmes tables d'étalonnages utilisées dans la méthode 400 de correction des défauts optiques résiduels selon l'invention, dont les étapes sont représentées dans la [Fig. 7],
[00110] La [Fig. 7] présente en effet un schéma synoptique de la méthode 400 de correction des défauts optiques résiduels selon l'invention. En particulier, la méthode
400 vise à corriger les défauts optiques résiduels d'une image Irrid acquise pour une focale donnée F'd, par la caméra décrite précédemment, et corrigée des défauts du détecteur grâce à la méthode de calibration un point par exemple.
[00111] L'image Irrid à corriger des défauts optiques résiduels est acquise par la caméra pour un temps d'intégration td et une température interne Td, mémorisés dans une mémoire de la caméra ou une mémoire externe à la caméra par exemple.
[00112] En particulier, afin de corriger ces défauts optiques résiduels, la première table d'étalonnage 01 d associée à la distance focale donnée F'd est utilisée dans la méthode 400.
[00113] En outre, la deuxième table d'étalonnage O2d associée à la distance focale donnée F'd est utilisée dans la méthode 400.
[00114] La méthode 400 de correction comprend une étape 401 d'obtention d'une correction Corrd des défauts optiques résiduels de l'image Irrid, à partir de la première table d'étalonnage 01 d et de la deuxième table d'étalonnage O2d. La correction Corrd est une image de même taille que l'image à corriger, déterminée à partir de la première table d'étalonnage 01 d, d'un premier facteur d'adaptation K1 d relatif à la première table d'étalonnage 01 d, de la deuxième table d'étalonnage O2d et d'un deuxième facteur d'adaptation K2d relatif à la deuxième table d'étalonnage O2d.
[00115] En particulier, le premier facteur d'adaptation K1d permet d'ajuster l'amplitude de la première table d'étalonnage 01 d à l'image à corriger, la première table d'étalonnage 01 d et l'image Irrid à corriger comportant chacune l'amplitude des défauts optiques résiduels pour la focale F'd mais pour des conditions d'acquisitions différentes. Le premier facteur d'adaptation K1d est un réel strictement supérieur à 0.
[00116] En particulier, le deuxième facteur d'adaptation K2d permet d'ajuster l'amplitude de la deuxième table d'étalonnage O2d à l'image à corriger, afin de prendre en compte les effets des variations de température internes de la caméra sur l'amplitude des défauts optiques résiduels. Le deuxième facteur d'adaptation K2d est un réel strictement supérieur à 0.
[00117] Par exemple, la correction Corrd est égale à K1 d* 01 d + K2d* O2d, dans le cas d'une interpolation d'ordre 1 .
[00118] En particulier, le premier facteur d'adaptation K1d et le deuxième facteur d'adaptation K2d peuvent être obtenus selon plusieurs modes de réalisation décrits dans la suite.
[00119] Dans un premier mode de réalisation d'obtention de la correction Corrd, la variation de l'amplitude des défauts optiques résiduels de la température interne de la caméra est modélisée comme uniforme sur toute l’image à corriger et tous les coefficients de la deuxième table d'étalonnage O2d sont ainsi égaux à 1 . Dans ce mode de réalisation, le deuxième facteur d'adaptation K2d est nul.
[00120] Ainsi, Corrd = K1d* 01 d . Dans ce premier mode de réalisation, les défauts optiques à corriger dans l'image ont une formule déterministe pour calculer leur amplitude qui correspond la réflexion du détecteur sur les optique (appelée communément effet Narcisse). Les formules déterministes sont basées sur la nature physique des défauts optiques résiduels.
[00121] Dans ce premier mode de réalisation, la première table d'étalonnage 01 d a été obtenue pour le temps d'intégration tétaionnage et la température interne de la caméra Tétaionnage. Le premier facteur d'adaptation K1d dépend de tétaionnage, Tétaionnage, le temps d'intégration td de la caméra lors de l'acquisition de l'image à corriger, la température interne Td de la caméra lors de l'acquisition de l'image à corriger.
[00122] En particulier, on considère les grandeurs suivantes: L(Tétaionnage), la luminance intégrée par la caméra pour un objet ayant une température Tétaionnage et L(Td) la luminance intégrée par la caméra pour un objet ayant une température Td. K1d peut etre égalé
[00123] En particulier, tel que précisé précédemment, pour une température quelconque T, la luminance L en fonction de la température T est obtenue selon la formule de Planck.
[00124] En particulier, dans ce premier mode de réalisation, K1d peut être égal à une fonction ou un polynôme du paramètre - —
— — par exemple, le polynôme étant
1 étalonnage de préférence d'ordre m supérieur ou égal à 2.
[00125] Dans un deuxième mode de réalisation d'obtention de la correction Corrd, la variation de l'amplitude des défauts optiques résiduels de la température interne de la caméra est modélisée comme non-uniforme sur toute l’image à corriger. Ainsi, le
premier facteur d'adaptation K1 d et le deuxième facteur d'adaptation K2d sont non nuis, et la deuxième table d'étalonnage O2d comprend des coefficients non nécessairement égaux à 1. Dans ce deuxième mode de réalisation, les défauts optiques à corriger dans l'image ont une formule déterministe pour calculer leur amplitude qui correspond la réflexion du détecteur sur les optique (correspondante à l'effet Narcisse). Les formules déterministes sont basées sur la nature physique des défauts optiques résiduels.
[00127] Dans un troisième mode de réalisation, l'étape 401 d'obtention de la correction Corrd comprend des sous-étapes 4011 et 4012 représentées à la [Fig. 8]. Dans ce mode de réalisation, les facteurs K1d et K2d ont respectivement une valeur initiale K1d_o et K2d_o quelconque, par exemple égale à 0. Ce mode de réalisation permet de corriger des défauts optiques qui n’admettent pas de formules permettant de calculer leurs amplitudes, par exemple le défaut de vignettage typiquement. Ce mode de réalisation peut également être utilisé pour de l’effet Narcisse.
[00128] La sous-étape 4011 est une étape d'obtention d'une image intermédiaire lm(interm)d' = Irrid - Corrd_ interm, avec Corrd_ interm une correction intermédiaire égale à (K1 d * 01 d + K2d * O2d), avec les facteurs K1d et K2d égaux à leurs valeurs initiales respectives K1d_o et K2d_o.
[00129] La sous-étape 4012 est une étape d'optimisation du premier facteur K1d et du deuxième facteur K2d afin de réduire un critère sur l'image lm(interm)d'. En particulier, la sous-étape 4012 permet de trouver des valeurs optimales respectivement pour K1d et K2d, notées également K1d_oPtet K2d_oPt telles que le critère sur l'image lm(interm)d' est respecté.
[00130] Par exemple, si les défauts optiques résiduels sont modélisés comme un bruit spatial additif de basse fréquence, l'image lm(interm)d' est filtrée pour éliminer les hautes fréquences et le critère à réduire voire minimiser est une variance de l'image lm(interm)d' filtrée, ce qui permet de minimiser les effets des défauts optiques résiduels.
[00131] En particulier, l'image lm(interm)d est filtrée spatialement de manière à éliminer tous défauts pouvant être présent autres que les défauts de réflexion optique. Il est nécessaire que le filtrage n’altère par lesdits défauts de réflexion optique.
[00132] Les défauts de réflexion optique peuvent être de nature haute fréquence (HF) spatiale, de nature basse fréquence (BF) spatiale ou par exemple un mélange des deux natures. De ce fait, dans les cas classiques rencontrés, un filtrage haute- fréquence ou basse-fréquence classique via une matrice de convolution par exemple n’est pas optimal.
[00133] En particulier, les défauts de réflexions optique sont des défauts ayant une symétrie de révolution. Si les défauts de réflexion optique ont une géométrie radiale à symétrie de révolution, un exemple de filtre spatial est un filtre radial qui va conserver uniquement les fréquences spatiales ayant la symétrie de révolution.
[00134] En particulier, l'optimisation est réalisée par exemple à partir de l'algorithme de descente de gradient.
[00135] Ainsi, à l'issue de l'étape 4012 sont obtenues des valeurs optimales pour le premier facteur K1 d et pour le deuxième facteur K2d, telles que la condition sur le critère de l'image lm(interm)d' est respectée.
[00136] En référence à nouveau à la [Fig. 7], la méthode 400 comprend une étape 402 de correction des défauts optiques résiduels de l'image Imd acquise.
[00137] L'étape 402 de correction est réalisée en soustrayant la correction Corrd à l'image Imd, pour obtenir une image Imd' corrigée des défauts optiques résiduels. Ainsi, Imd' est égale à Imd - Corrd.
[00138] Ainsi, l'utilisateur observe l'image Imd' de meilleure qualité que l'image Imd et dénuée de défauts optiques résiduels.
[00139] La [Fig. 9] représente trois graphes d'amplitudes des défauts présents dans une ligne centrale d'une image. L'axe des ordonnées représente ainsi l'amplitude des défauts dans une image et l'axe des abscisses représente les pixels Pi_c de la ligne centrale de l'image.
[00140] En particulier, un premier graphe représente l'amplitude des défauts dans une ligne centrale d'une image IM acquise par la caméra, sans aucune correction.
Celle-ci comprend des défauts dus au détecteur et des défauts optiques dus aux flux parasites des optiques de la caméra.
[00141] Un deuxième graphe représente l'amplitude des défauts d'une image IM', obtenue à partir d'une méthode de calibration un point appliquée à l'image IM. Ainsi, l'amplitude des défauts a diminué par rapport au premier graphe, les défauts dus au détecteur ayant été éliminés. Cependant, des défauts optiques résiduels tels que décrit précédemment subsistent.
[00142] Un troisième graphe représente l'amplitude des défauts d'une image IM" obtenue après l'application de la méthode de correction de défauts optiques résiduels selon l'invention. Ainsi, l'amplitude des défauts optiques est uniforme et s'approche d'une valeur nulle contrairement aux autres graphes. Ainsi, la méthode de correction selon l'invention permet bien de réduire voire éliminer les défauts optiques résiduels des images acquises.
[00143] Un autre aspect de l'invention concerne un dispositif configuré pour mettre en œuvre la méthode de correction des défauts optiques résiduels d'une image selon l'invention.
[00144] La [Fig. 10] représente le dispositif selon l'invention, selon un ou plusieurs modes de réalisation de l’invention.
[00145] Dans ces modes de réalisation, le dispositif comporte un ordinateur 500, comprenant une mémoire 501 pour stocker des instructions qui, lorsqu’elles sont mises en œuvre par un processeur de l’ordinateur, conduisent le processeur et donc l’ordinateur à mettre en œuvre la méthode de correction.
[00146] L'ordinateur 500 comporte en outre un circuit 502. Ce circuit peut être, par exemple un processeur apte à interpréter des instructions sous la forme de programme informatique, une carte électronique dont les étapes de la méthode de l'invention sont décrites dans le silicium, ou encore une puce électronique programmable comme une puce FPGA (pour « Field-Programmable Gate Array » en anglais).
[00147] L’ordinateur 500 comporte une interface d'entrée 503 pour la réception de l'image acquise par la caméra par exemple et corrigée des défauts du détecteur, et une interface de sortie 504 pour la fourniture de l'image corrigée des défauts optiques résiduels par exemple. Enfin, l'ordinateur peut comporter, pour permettre une interaction aisée avec un utilisateur, un écran 505 et un clavier 506. Bien entendu, le
clavier est facultatif, notamment dans le cadre d'un ordinateur ayant la forme d'une tablette tactile, par exemple.
[00148] Bien entendu, la présente invention ne se limite pas aux formes de réalisation décrites ci-avant à titre d'exemples ; elle s'étend à d'autres variantes.
Claims
[Revendication 1] Méthode (400) de correction, mise en œuvre par ordinateur, de défauts optiques résiduels d'une image (Irrid) acquise par une caméra avec une distance focale donnée (F'd), l'image (Irrid) acquise étant calibrée, les défauts optiques résiduels étant relatifs à la distance focale donnée (F'd), la méthode (400) comprenant :
- Obtenir (401 ) une correction (Corrd) des défauts optiques résiduels de l'image acquise (Irrid), la correction (Corrd) comprenant un produit : o d'une première table d'étalonnage (01 d) correspondant à une amplitude des défauts optiques résiduels à la distance focale donnée (F'd) et; o d'un premier facteur d'adaptation (K1d) entre la première table d'étalonnage (01 d) et l'image (Irrid) acquise,
- Obtenir (402) une deuxième image corrigée (Im'd) des défauts optiques résiduels à partir de l'image (Irrid) acquise calibrée et de la correction (Corrd), par soustraction de la correction (Corrd) à l'image (Irrid) acquise.
[Revendication 2] Méthode (400) selon la revendication précédente selon laquelle les défauts optiques résiduels sont des défauts de flux thermiques parasites associés à la focale donnée et sont modélisés par un bruit additif spatial.
[Revendication 3] Méthode (400) selon l'une quelconque des revendications précédentes selon laquelle :
- la première table d'étalonnage (01 d) est associée à un temps d'intégration d'étalonnage (t étalonnage ) de la caméra et à une température interne d'étalonnage (Tetaionnage) de la caméra et,
- l'image (Irrid) est acquise pour un temps d'intégration donné (td) de la caméra et pour une température interne donnée (Td) de la caméra, et selon laquelle le premier facteur d'adaptation (K1d) est déterminé à partir du temps d'intégration d'étalonnage (t étalonnage ), du temps d'intégration donné (td), de la température interne d'étalonnage (Tetaionnage) et la température interne donnée (Td) de la caméra.
Tl
[Revendication 4] Méthode (400) selon la revendication précédente selon laquelle le premier facteur d'adaptation (K1 d) est défini comme un produit :
- D'un rapport du temps d'intégration donné (td) et du temps d'intégration d'étalonnage (t étalonnage), et
- D'un rapport de la température interne donnée (Td) de la caméra et de la température interne (Tétaionnage) d'étalonnage.
[Revendication 5] Méthode (400) selon la revendication 3 selon laquelle le premier facteur d'adaptation (K1d) est défini comme un produit :
- D'un rapport du temps d'intégration donné (td) et du temps d'intégration d'étalonnage (t étalonnage), et
- D'un rapport d'une luminance (L(Td)) obtenue à partir de la température interne donnée (Td) de la caméra et d'une luminance (L(Tétaionnage)) obtenue à partie de la température interne (Tétaionnage) d'étalonnage.
[Revendication 6] Méthode selon l'une quelconque des revendications 1 ou 2 selon laquelle la correction (Corrd) dépend en outre:
- d'une deuxième table d'étalonnage (O2d) correspondant à une variation de l'amplitude des défauts optiques résiduels en fonction d'une variation de température interne de la caméra pour la distance focale donnée F'd et;
- d'un deuxième facteur d'adaptation (K2d) entre la deuxième table d'étalonnage (O2d) et l'image acquise (Irrid).
[Revendication 7] Méthode (400) selon la revendication 6 selon laquelle la première table d'étalonnage (01 d) est associée à un temps d'intégration d'étalonnage (t étalonnage) de la caméra et à une température interne d'étalonnage (Tétaionnage) de la caméra, et l'image (Irrid) est acquise pour un temps d'intégration donné (td) de la caméra et une température interne donnée (Td) de la caméra et selon laquelle : le premier facteur d'adaptation (K1d) est déterminé à partir du temps d'intégration d'étalonnage et du temps d'intégration donné,
le deuxième facteur d'adaptation (K2d) est déterminé à partir du premier facteur d'adaptation (K1d), de la température interne donnée (Td) et de la température interne (Tétaionnage) d'étalonnage.
[Revendication 8] Méthode (400) selon la revendication 6 selon laquelle la première table d'étalonnage (01 d) est associée à un temps d'intégration d'étalonnage (t étalonnage) de la caméra et à une température interne d'étalonnage (Tétaionnage) de la caméra, et l'image (Irrid) est acquise pour un temps d'intégration donné (td) de la caméra et une température interne donnée (Td) de la caméra et selon laquelle :
- le premier facteur d'adaptation (K1d) est déterminé à partir du temps d'intégration d'étalonnage et du temps d'intégration donné,
- le deuxième facteur d'adaptation (K2d) est déterminé à partir du premier facteur d'adaptation (K1 d), d'une luminance (L(Td)) obtenue à partir de la température interne donnée (Td) et d'une luminance (L(Tétaionnage)) obtenue à partie de la température interne (Tétaionnage) d'étalonnage.
[Revendication 9] Méthode (400) selon la revendication 6 selon laquelle le premier facteur d'adaptation (K1 d) et le deuxième facteur d'adaptation (K2d) sont respectivement égaux à une première valeur initiale (K1d_o) et une deuxième valeur initiale (K2d_o) et selon laquelle l'obtention (401 ) de la correction comprend :
- Obtenir (4011 ) une image intermédiaire lm(interm)d' par soustraction d'une correction intermédiaire (Corrdjnterm) à l'image acquise, la correction intermédiaire (Corrdjnterm) étant déterminée à partir du premier facteur d'adaptation (K1d) égal à la première valeur initiale (K1d_o), la première table d'étalonnage (01 d), le deuxième facteur d'adaptation (K2d) égal à la deuxième valeur initiale (K2d_o) et la deuxième table d'étalonnage (O2d),
- Optimisation (4012) d'un critère relatif à l'image intermédiaire lm(interm)d', par obtention d'un premier facteur d'adaptation optimal (K1 d_oPt) et d'un deuxième facteur d'adaptation optimal (K2d_oPt), la correction de défauts optiques résiduels étant déterminée à partir du premier facteur d'adaptation optimal (K1d_oPt) et du deuxième facteur d'adaptation optimal (K1 d_opt).
[Revendication 10] Méthode (400) selon la revendication précédente selon laquelle les défauts optiques résiduels sont modélisés comme un défaut de géométrie radiale et l'optimisation du critère comprend une étape d'application d'un filtre adapté à la géométrie radiale du défaut à l'image intermédiaire pour obtenir une image intermédiaire filtrée et le critère correspond à une variance de l'image intermédiaire filtrée.
[Revendication 11] Produit programme d'ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre la méthode selon l'une des revendications 1 à 10. [Revendication 12] Support lisible par ordinateur comprenant des instructions qui, lorsqu'elles sont exécutées par un ordinateur, conduisent celui-ci à mettre en œuvre la méthode selon l'une des revendications 1 à 10.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2310711A FR3153957B1 (fr) | 2023-10-06 | 2023-10-06 | Méthode de correction de défauts optiques résiduels |
| FRFR2310711 | 2023-10-06 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025074066A1 true WO2025074066A1 (fr) | 2025-04-10 |
Family
ID=89898043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/FR2024/051306 Pending WO2025074066A1 (fr) | 2023-10-06 | 2024-10-04 | Méthode de correction de défauts optiques résiduels |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3153957B1 (fr) |
| WO (1) | WO2025074066A1 (fr) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130218500A1 (en) * | 2012-02-22 | 2013-08-22 | Ulis | Method for correcting the drift of an infrared radiation detector comprising an array of resistive imaging bolometers and device implementing such a method |
| KR101827810B1 (ko) * | 2016-07-28 | 2018-02-09 | 만도헬라일렉트로닉스(주) | 보정데이터 생성장치 및 이의 보정데이터 생성방법, 그리고 적외선 카메라 |
| US10542193B1 (en) * | 2014-11-05 | 2020-01-21 | Drs Network & Imaging Systems, Llc | Error smoothing through global source non-uniformity correction |
| CN108007576B (zh) * | 2017-11-24 | 2020-03-27 | 烟台艾睿光电科技有限公司 | 一种红外热像仪的镜头标定方法及装置 |
| CN113776673A (zh) * | 2021-11-12 | 2021-12-10 | 国科天成科技股份有限公司 | 大变倍比红外热像仪的非均匀校正系统 |
| CN114554165A (zh) * | 2021-10-20 | 2022-05-27 | 诚瑞光学(苏州)有限公司 | 横向色差的校正方法和装置、存储介质和计算机设备 |
| US20220283036A1 (en) * | 2019-05-09 | 2022-09-08 | Bae Systems Information And Electronic Systems Integration Inc. | Non-uniformity correction source for infrared imaging systems |
| WO2023119751A1 (fr) * | 2021-12-20 | 2023-06-29 | 株式会社Jvcケンウッド | Dispositif de traitement d'image, procédé de traitement d'image et programme |
-
2023
- 2023-10-06 FR FR2310711A patent/FR3153957B1/fr active Active
-
2024
- 2024-10-04 WO PCT/FR2024/051306 patent/WO2025074066A1/fr active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130218500A1 (en) * | 2012-02-22 | 2013-08-22 | Ulis | Method for correcting the drift of an infrared radiation detector comprising an array of resistive imaging bolometers and device implementing such a method |
| US10542193B1 (en) * | 2014-11-05 | 2020-01-21 | Drs Network & Imaging Systems, Llc | Error smoothing through global source non-uniformity correction |
| KR101827810B1 (ko) * | 2016-07-28 | 2018-02-09 | 만도헬라일렉트로닉스(주) | 보정데이터 생성장치 및 이의 보정데이터 생성방법, 그리고 적외선 카메라 |
| CN108007576B (zh) * | 2017-11-24 | 2020-03-27 | 烟台艾睿光电科技有限公司 | 一种红外热像仪的镜头标定方法及装置 |
| US20220283036A1 (en) * | 2019-05-09 | 2022-09-08 | Bae Systems Information And Electronic Systems Integration Inc. | Non-uniformity correction source for infrared imaging systems |
| CN114554165A (zh) * | 2021-10-20 | 2022-05-27 | 诚瑞光学(苏州)有限公司 | 横向色差的校正方法和装置、存储介质和计算机设备 |
| CN113776673A (zh) * | 2021-11-12 | 2021-12-10 | 国科天成科技股份有限公司 | 大变倍比红外热像仪的非均匀校正系统 |
| WO2023119751A1 (fr) * | 2021-12-20 | 2023-06-29 | 株式会社Jvcケンウッド | Dispositif de traitement d'image, procédé de traitement d'image et programme |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3153957B1 (fr) | 2025-09-12 |
| FR3153957A1 (fr) | 2025-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101345012B1 (ko) | 이미지를 전자적으로 캡처하는 장치, 카메라로부터 물체까지의 초점 거리를 추정하는 장치, 카메라―물체 초점 심도의 자동 추정 방법 및 컴퓨터―판독가능 매체 | |
| EP2457379B1 (fr) | Procédé d'estimation d'un défaut d'un système de capture d'images et systèmes associés | |
| EP2374270B1 (fr) | Système de capture d'images et utilisation associée pour améliorer la qualité des images acquises | |
| FR2925159A1 (fr) | Dispositif pour la detection d'un rayonnement infrarouge comportant un bolometre resistif d'imagerie, systeme comprenant une matrice de tels bolometres, et procede de lecture d'un bolometre d'imagerie integre dans un tel system | |
| FR2934679A1 (fr) | Dispositif et procede de detection d'un rayonnement infrarouge au moyen d'une matrice de bolometres resistifs. | |
| EP2465255A1 (fr) | Système et procédé de capture d'images avec deux modes de fonctionnement | |
| JP7143558B2 (ja) | 赤外線撮像装置及びそれに用いられるプログラム | |
| IL173418A (en) | Correction of unevenness of characters produced by staring detectors | |
| WO2010081982A1 (fr) | Controle de defauts optiques dans un systeme de capture d'images | |
| FR3055727B1 (fr) | Procede et dispositif de caracterisation des aberrations d'un systeme optique | |
| FR3062009A1 (fr) | Generation adaptative d’une image a grande gamme dynamique d’une scene, a partir d’une pluralite d’images obtenues par lecture non destructive d’un capteur d’image. | |
| EP2833622B1 (fr) | Diagnostic de l'etat defectueux d'une matrice de detection bolométrique | |
| EP4020978B1 (fr) | Procede d'etalonnage d'une matrice de photodetecteurs, dispositif d'etalonnage et systeme d'imagerie associes | |
| WO2025074066A1 (fr) | Méthode de correction de défauts optiques résiduels | |
| EP4103921B1 (fr) | Procédé de calibration d'un dispositif optoélectronique | |
| CA3046174C (fr) | Systeme de detection de rayonnements electromagnetiques | |
| FR2728420A1 (fr) | Procede de compensation electronique des non-uniformites dans la detection d'images, en particulier infrarouge, et circuit de correction pour sa mise en oeuvre | |
| FR3153958A1 (fr) | Méthode de correction d'un défaut de vignettage dans une séquence d'images à partir de tables d'étalonnage | |
| WO2020221773A1 (fr) | Procede et dispositif pour retirer la remanence dans une image infrarouge d'une scene changeante | |
| FR3113165A1 (fr) | Procédé et système pour imager une scène dans l’espace | |
| FR2921223A1 (fr) | Correction de tension de sortie de photodetecteur. | |
| FR3148697A1 (fr) | Procédé et dispositif d'étalonnage d'un dispositif d'imagerie | |
| FR2673794A1 (fr) | Dispositif de correction de defauts pour systemes d'imagerie. | |
| FR3151902A1 (fr) | Correction de defauts induits par la variation dynamique de tensions de polarisations de bolometres. | |
| WO2020221774A1 (fr) | Procede et dispositif pour retirer la remanence dans une image infrarouge d'une scene statique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24798552 Country of ref document: EP Kind code of ref document: A1 |