[go: up one dir, main page]

WO2007043325A1 - 画像処理システム、画像処理プログラム - Google Patents

画像処理システム、画像処理プログラム Download PDF

Info

Publication number
WO2007043325A1
WO2007043325A1 PCT/JP2006/318966 JP2006318966W WO2007043325A1 WO 2007043325 A1 WO2007043325 A1 WO 2007043325A1 JP 2006318966 W JP2006318966 W JP 2006318966W WO 2007043325 A1 WO2007043325 A1 WO 2007043325A1
Authority
WO
WIPO (PCT)
Prior art keywords
vector signal
region
unit
noise
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2006/318966
Other languages
English (en)
French (fr)
Inventor
Takao Tsuruoka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to CN2006800370214A priority Critical patent/CN101283603B/zh
Priority to EP06798292A priority patent/EP1944982A1/en
Publication of WO2007043325A1 publication Critical patent/WO2007043325A1/ja
Priority to US12/100,128 priority patent/US8019174B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Definitions

  • the present invention relates to an image processing system and an image processing program that can reduce noise caused by an image sensor system.
  • a digital imaging device such as a digital camera or a digital video camera generally includes an imaging device, an analog circuit that performs various analog processing on an analog signal output from the imaging device, and a signal of the analog circuit. And an AZD converter that converts the signal into a digital signal.
  • the AZD converter power of such a digital imaging device generally contains noise components, and these noises are roughly classified into random noises and spike noises. Can do.
  • random noise is generated in an image sensor and an analog circuit, and has characteristics close to white noise characteristics! /
  • the spike noise described above is mainly noise caused by the image sensor, and a typical example thereof is caused by defective pixels of the image sensor.
  • spike noise for example, in Japanese Patent Laid-Open No. 6-205216, whether or not a force is a spike noise is detected, and the spike noise is detected. Describes a technology that performs median filtering while increasing the processing block size. This has the advantage that stable noise reduction processing can be performed for various types of spike noise.
  • general noise for example, Japanese Patent Application Laid-Open No. 8-36640 describes a technique for correcting a vector signal so as to minimize an evaluation function in a vector space by RGB signals. ing. This has the advantage that color noise can be reduced while retaining the edge portion.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an image processing system and an image processing program capable of automatically performing highly accurate noise reduction processing.
  • Another object of the present invention is to provide an image processing system and an image processing program capable of performing noise reduction processing at high speed with few side effects such as hue change. Disclosure of the invention
  • an image processing system includes an image sensor.
  • An image processing system that performs noise reduction processing on a video signal composed of a plurality of color signals, and is located in the vicinity of an attention area to be subjected to noise reduction processing from the video signal and the attention area Extracting means for extracting a local area including at least one neighboring area; vectorizing means for deriving a vector signal comprising the plurality of color signals for each of the attention area and the neighboring area; and the attention area
  • a setting means for setting a weighting factor for each vector signal in the local region based on the vector signal of?, And a filtering means for performing a filtering process using the weighting factor on the vector signal in the local region And based on the vector signal obtained by the above filtering process!
  • a noise reduction means for reducing the noise of the vector signal in the region of interest.
  • An image processing program is an image processing program for causing a computer to perform noise reduction processing on a video signal composed of a plurality of color signals from an image sensor.
  • An extraction step for extracting a local area including an attention area to be subjected to noise reduction processing from the video signal and at least one neighboring area located in the vicinity of the attention area; and the attention area and the neighboring area
  • a vectorization step for deriving a vector signal having the plurality of color signals as a constituent component for each, a setting step for setting a weighting factor for each vector signal in the local region based on the vector signal of the region of interest,
  • a filtering step for performing a filtering process using the weighting factor on the vector signal in the local region;
  • Te is a program for executing a noise reduction step for reducing the noise of the vector signal of the target region.
  • FIG. 1 is a block diagram showing a configuration of an image processing system according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram for explaining the configuration of a local region and vectorization of signals in the local region in the example of the Bayer type 6 ⁇ 6 pixels in the first embodiment.
  • FIG. 4 In the first embodiment, the local region in the color difference line sequential type 6 ⁇ 6 pixel example is shown. The figure for demonstrating a structure and vectorization of the signal in a local region.
  • FIG. 5 is a block diagram showing a configuration of a weight setting unit in the first embodiment.
  • FIG. 8 is a block diagram showing a configuration of a noise estimation unit in the first embodiment.
  • FIG. 9 is a diagram showing the relationship of the amount of noise to the norm of a vector signal in the first embodiment.
  • FIG. 10 is a diagram showing a noise model obtained by simplifying the noise model shown in FIG.
  • FIG. 11 is a diagram for explaining a method of calculating a noise amount using the simplified noise model shown in FIG.
  • FIG. 12 is a block diagram showing a configuration of a filtering unit in the first embodiment.
  • FIG. 13 is a block diagram showing another configuration of the image processing system in the first embodiment.
  • FIG. 14 is a flowchart showing the overall signal processing flow by the image processing program in the first embodiment.
  • FIG. 15 is a flowchart showing details of the noise amount estimation processing in step S5 of FIG. 14 above.
  • FIG. 16 is a block diagram showing a configuration of an image processing system in Embodiment 2 of the present invention. 17] A diagram for explaining a configuration of a local area of three-plate 5 ⁇ 5 pixels and a vector vector of a signal in the local area in the second embodiment.
  • FIG. 18 is a block diagram showing a configuration of a weight setting unit in the second embodiment.
  • FIG. 20 is a block diagram showing a configuration of a noise estimation unit in the second embodiment.
  • FIG. 21 is a flowchart showing the overall signal processing flow by the image processing program in the second embodiment.
  • FIGS. 1 to 15 show Embodiment 1 of the present invention
  • FIG. 1 is a block diagram showing the configuration of an image processing system
  • FIG. 2 shows the configuration of local regions in an example of a Bayer type 6 ⁇ 6 pixel.
  • Figure 3 is a diagram for explaining the vector vector of the signal in the local region
  • Fig. 3 is a diagram for explaining the configuration of the local region and vectorization of the signal in the local region in the example of the Bayer type 10 X 10 pixels.
  • 4 is a diagram for explaining the configuration of the local region and the vectorization of signals in the local region in the example of the color difference line sequential 6 ⁇ 6 pixel
  • FIG. 5 is a block diagram showing the configuration of the weight setting unit.
  • Fig. 6 is a diagram showing the function used to calculate the weighting factor w for the vector signal in the neighborhood
  • Fig. 7 explains how to calculate the weighting factor w for the vector signal in the region of interest.
  • FIG. 8 is a block diagram showing the configuration of the noise estimator
  • Fig. 9 is a diagram showing the relationship of the noise amount to the norm of the vector signal
  • Fig. 10 is a simplified diagram of the noise model shown in Fig. 9.
  • Fig. 11 is a diagram for explaining how to calculate the amount of noise using the simplified noise model shown in Fig. 10, and
  • Fig. 12 shows the configuration of the filtering unit.
  • FIG. 13 is a block diagram showing another configuration of the image processing system
  • FIG. 14 is a flowchart showing the overall signal processing flow by the image processing program
  • FIG. 15 is a diagram of the noise amount estimation processing in step S5 of FIG. It is a flowchart which shows a detail.
  • FIG. 1 is an example in which the image processing system of the present invention is applied to a digital camera.
  • This image processing system includes a lens system 100, an aperture 101, a CCD 102, a temperature sensor 103, an amplification unit 104, an AZD conversion unit 105, a buffer 106, a pre-white balance unit 107, and photometry.
  • Evaluation unit 108 In-focus detection unit 109, AF motor 110, Extraction unit 111, Solidification unit 112, Weight setting unit 113, Filtering unit 114, Noise reduction unit 115, Scalarization unit 116, a signal processing unit 117, an output unit 118, a control unit 119, and an external iZF unit 120.
  • the lens system 100 is for forming an optical image of a subject on the imaging surface of the CCD 102.
  • the aperture 101 is for changing the brightness of the optical image formed on the imaging surface of the CCD 102 by defining the passing range of the subject light beam formed by the lens system 100.
  • the CCD 102 is an image sensor for photoelectrically converting an optical image to be formed and outputting it as an analog video signal.
  • the CCD 102 is assumed to be a single-plate image sensor in which a Bayer-type primary color filter as shown in FIG. 2 (A) or FIG. 3 (A) is arranged on the front surface.
  • the present invention is not limited to this, and as the CCD 102, a single-plate image sensor or the like in which a color difference line sequential color filter as shown in FIG.
  • the image sensor is not limited to a CCD, and it is of course possible to use a CMOS or other image sensor.
  • the temperature sensor 103 is a collecting means, and substantially measures the temperature of the CCD 102 and outputs it to the control unit 119.
  • the amplifying unit 104 is for amplifying the video signal output from the CCD 102.
  • the amplification amount by the amplification unit 104 is set by the pre-white balance unit 107 and the photometric evaluation unit 108 based on the control of the control unit 119.
  • the pre-white balance unit 107 integrates signals within a predetermined level range of the video signals stored in the buffer 106 for each color signal (that is, adds up cumulatively). Thus, a simple white balance coefficient is calculated and the amplifying unit 104 is controlled.
  • the photometric evaluation unit 108 obtains the luminance level in the video signal stored in the buffer 106, and takes into account the ISO sensitivity and the shutter speed at the limit of camera shake that are set.
  • the aperture value of the aperture 101 and the electronic shutter speed of the CCD 102 for proper exposure And the amplification factor of the amplification unit 104 are controlled.
  • the in-focus detection unit 109 detects the edge strength in the video signal stored in the buffer 106, and controls the AF motor 110 so that the edge strength is maximized. Thus, an in-focus signal is obtained.
  • the extraction unit 111 extracts, for example, as shown in FIG. 2A (or as shown in FIG. 3A, or as shown in FIG. 4A from the video signal stored in the buffer 106. This is extraction means for sequentially extracting local regions (as shown in FIG. 6) and outputting them to the vector screen 112.
  • the weight setting unit 113 is a setting unit that calculates weight coefficients for all vector signals in the local region output from the vector display unit 112 based on the control of the control unit 119, and transfers them to the filtering unit 114. .
  • the filtering unit 114 Based on the control of the control unit 119, the filtering unit 114 performs a filtering process on the vector signal output from the vectorization unit 112 using the weighting coefficient output from the weight setting unit 113, Filtering means for transferring the processing result to the noise reduction unit 115.
  • the signal processing unit 117 Based on the control of the control unit 119, the signal processing unit 117 performs known interpolation processing, enhancement processing, compression processing, and the like on the noise-reduced video signal output from the scalarizing unit 116, The processed signal is transferred to the output unit 118.
  • the user Before shooting, the user can set shooting conditions such as ISO sensitivity via the external IZF unit 120. Set in advance.
  • the subject image force CCD 102 imaged through the lens system 100 and the aperture 101 is photoelectrically converted and output as an analog video signal.
  • the analog video signal is amplified in consideration of the ISO sensitivity and white noise lance as described later by the amplification unit 104, and then converted into a digital video signal by the AZD conversion unit 105. Stored in buffer 106.
  • the video signal stored in the buffer 106 is transferred to the pre-white balance unit 107, the photometric evaluation unit 108, and the in-focus detection unit 109, respectively.
  • the pre-white balance unit 107 calculates the simple white balance coefficient based on the video signal as described above, and transfers the calculated simple white balance coefficient to the amplification unit 104.
  • the amplifying unit 104 amplifies each color signal by setting a different gain for each color signal, and performs simple white balance processing.
  • the photometric evaluation unit 108 determines the aperture value of the aperture 101 and the CCD1 as described above.
  • the in-focus detection unit 109 Based on the video signal, the in-focus detection unit 109 detects the edge intensity as described above, and controls the AF motor 110 so that the edge intensity is maximized to obtain an in-focus signal.
  • the video signal in the buffer 106 obtained by the actual photographing is first transferred to the extraction unit 111. It is.
  • the extraction unit 111 Based on the control of the control unit 119, the extraction unit 111 sequentially extracts local regions as shown in FIG. 2A and transfers them to the vectorization unit 112.
  • the local region is a region including a region of interest and a neighborhood region related to the region of interest, as will be described later.
  • the vector section 112 is a four-dimensional component having R, Gr, Gb, and B as components from the region of interest and each neighboring region, as shown in FIG. 2 (B). Derive a vector signal. Then, the vector signal unit 112 transfers the derived vector signal to the weight setting unit 113, the filtering unit 114, and the noise reduction unit 115, respectively.
  • the weight setting unit 113 calculates a weighting factor for all outer signal in the local region using the vector signal of the region of interest, and the calculated weighting factor is used as the filtering unit 114. Forward to.
  • the noise reduction unit 115 uses the vector signal of the region of interest from the vectory unit 112 and the vector signal subjected to the filtering process from the filtering unit 114 to determine the region of interest.
  • Vector signal noise reduction processing is performed, and the vector signal after noise reduction is transferred to the scalarization unit 116.
  • the scalarizing unit 116 converts the vector signal subjected to the noise reduction processing from the noise reduction unit 115 into the original color signal of the image sensor, which is R, Gr, Gb in the present embodiment. , B color signal and transfer to the signal processing unit 117.
  • the signal processing unit 117 Based on the control of the control unit 119, the signal processing unit 117 performs, as described above, the known interpolation processing, enhancement processing, and compression on the noise-reduced video signal output from the scalarizing unit 116. The processing is performed !, and the processed signal is transferred to the output unit 118.
  • the output unit 118 records and stores the video signal output from the signal processing unit 117 in a recording medium such as a memory card.
  • FIG. 2 (A) shows a case where a 6 ⁇ 6 pixel region is extracted as a local region.
  • a Bayer-type primary color filter as shown in Fig. 2 (A) has 2 X 2 pixels as a basic unit, and red (R), blue (B ) One filter and green (Gr, Gb) filters are arranged at the remaining diagonal pixel positions. Note that the green filter Gr and the green filter Gb are the same filter. In this embodiment, the green filter Gr and the green filter Gb are distinguished from each other for convenience of processing, and the green filter located on the same line as the red (R) filter is represented by Gr, blue (B ) Let Gb be a green filter located on the same line as the filter
  • the region of interest is a region of 2 ⁇ 2 pixels (R 1, Gr 2, Gb 1, B 2) located at the center. Also, the neighborhood area
  • This is an area of 2 ⁇ 2 pixels that covers the area of interest, and is arranged so as to overlap adjacent neighboring areas one row or one column at a time. Since the local area has a size of 6 X 6 pixels, the total area of 2 X 2 pixels arranged to overlap is (6-1) X (6-1) 25. One of these is the region of interest described above, so there are a total of 24 neighboring regions in the local region.
  • the extraction unit 111 performs the above-described extraction in order to extract the local region so that the attention region covers the entire video signal (that is, the attention region is shifted by two rows or two columns).
  • the extraction unit 111 overlaps the local area by four columns with respect to the horizontally adjacent local area, and in the vertically adjacent local area.
  • extract so that only 4 lines overlap are overlap.
  • FIG. 2B shows the arrangement of vector signals corresponding to the attention area and the neighboring area, which are generated by the vectory unit 112.
  • the vector signal of the region of interest is represented by V
  • the local region is not limited to the configuration shown in FIG.
  • a local region having a size of 10 ⁇ 10 pixels may be taken.
  • the region of interest is a 2 x 2 pixel (R, Gr, Gb, B) region located in the center.
  • Equation 2 Equation 2
  • the local region is set so as to include 24 neighboring regions for one region of interest.
  • the present invention is not limited to this, and a different number of neighboring regions are included for one region of interest. You may be allowed to set the local area.
  • a CCD having a Bayer-type primary color filter disposed on the front surface is used.
  • the present invention is not limited to such a configuration.
  • the CCD 102 it is possible to use a CCD having a color difference line sequential complementary color filter arranged on the front surface.
  • FIG. 4A shows the configuration of a color difference line sequential type complementary color filter.
  • This color-difference line sequential complementary filter uses 2 X 2 pixels as the basic unit, and magenta (Mg) and green (G) 2 X in the same line of cyan (Cy) and yellow (Ye) power X 2 pixels. They are arranged on the other two identical lines. However, the positions of magenta (Mg) and green (G) are configured to be reversed for each line.
  • the neighboring region is 2 X 2 that encompasses this region of interest.
  • the vector signal V of the attention area shown in FIG. 4 (B) is shown in FIG. 4 (A).
  • Equation 3 Equation 3
  • vectorization is not limited to being performed in four dimensions, but can generally be performed in n (n is an integer of 2 or more, and more specifically, an integer of 3 or more).
  • FIG. 5 shows an example of the configuration of the weight setting unit 113.
  • the weight setting unit 113 includes a norm calculation unit 200, a first buffer 201, a noise estimation unit 202, a constant calculation unit 203, a norm selection unit 204, a weight coefficient calculation unit 205, and a second A buffer 206, a distance measure calculation unit 207, a third buffer 208, an average measure calculation unit 209, a divergence calculation unit 210, and an attention vector weight coefficient calculation unit 211 are included.
  • vectorization section 112 is connected to norm calculation section 200 and distance measure calculation section 207, respectively.
  • a norm calculation unit 200 that is a norm calculation unit is connected to the first buffer 201.
  • the first buffer 201 is connected to the noise estimation unit 202 and the norm selection unit 204. Each is connected.
  • the noise estimation unit 202 as noise estimation means is connected to the constant calculation unit 203 and the divergence degree calculation unit 210, respectively.
  • a constant calculation unit 203 serving as a constant calculation unit is connected to the weight coefficient calculation unit 205.
  • the norm selection unit 204 is connected to the weight coefficient calculation unit 205.
  • a weighting factor calculating unit 205 serving as a weighting factor calculating unit is connected to the second buffer 206.
  • a distance measure calculation unit 207 which is an average measure value calculation means is connected to the third buffer 208.
  • the third buffer 208 is connected to the average measure calculation unit 209.
  • An average measure calculation unit 209 that is an average measure value calculation unit is connected to the divergence degree calculation unit 210.
  • a divergence degree calculation unit 210 that is a divergence degree calculation unit is connected to the attention vector weight coefficient calculation unit 211.
  • An attention vector weight coefficient calculation unit 211 as attention vector weight coefficient calculation means is connected to the second buffer 206. Furthermore, the second buffer 206 and the third buffer 208 are connected to the filtering unit 114, respectively.
  • the norm calculation unit 200 Based on the control of the control unit 119, the norm calculation unit 200 sequentially reads the vector signal V of the region of interest and the vector signal V of the neighboring region from the vector unit 112, and each vector
  • the norm calculation unit 200 first calculates the norm of the vector signal V in the region of interest
  • Equation 4 0 0 II is calculated based on the definition shown in Equation 4 below.
  • norm calculation section 200 similarly calculates norm
  • the norm calculated by the norm calculating unit 200 is transferred to the first buffer 201 and recorded.
  • the noise estimation unit 202 reads the norm
  • the noise estimation unit 202 estimates the noise amount N related to the vector signal V of the region of interest based on the read norm
  • the determined noise amount N is transferred to the constant calculation unit 203 and the divergence degree calculation unit 210, respectively.
  • the determined noise amount N is transferred to the constant calculation unit 203 and the divergence degree calculation unit 210, respectively.
  • the constant calculation unit 203 receives the norm of the vector signal V of the attention area from the noise estimation unit 202 based on the control of the control unit 119
  • Equation 6 The Specifically, the three linear functions as shown in Fig. 6 are defined by the following Equation 6.
  • the weighting factor calculation unit 205 calculates the weighting factor w based on Equation 6 with respect to the norm
  • the distance measure calculation unit 207 reads the vector signal V of the attention area and the vector signal V of the neighboring area from the vector section 112, and calculates
  • the average measure calculation unit 209 calculates a distance measure value d (V,) between the third region signal 208 and the vector signal V in the neighboring region from the third buffer 208. V)
  • the average value ⁇ calculated by the average measure calculating unit 209 is transferred to the divergence degree calculating unit 210.
  • the divergence degree calculation unit 210 reads the noise amount ⁇ of the vector signal V in the region of interest from the noise estimation unit 202, and the average measure calculation unit 209
  • the divergence calculation unit 210 Read the average value ⁇ . Then, the divergence calculation unit 210 reads the read noise amount ⁇ and level.
  • a deviation degree ⁇ ⁇ between the vector signal of the attention area and the vector signal of the neighboring area is calculated, and the calculated deviation degree ⁇ is calculated as the attention vector weight coefficient calculation unit 211.
  • the attention vector weight coefficient calculation unit 211 reads the divergence degree ⁇ ⁇ ⁇ from the divergence degree calculation unit 210 based on the control of the control unit 119 and uses the read divergence degree ⁇ ⁇ to calculate
  • Equation 9 The weighting factor w for the vector signal Vj of the region of interest as shown in Equation 9 is obtained.
  • the symbol max ( ⁇ , y) on the right side means that the smaller value of x and y is taken.
  • the weighting factor w for the vector signal V of the region of interest is calculated.
  • the degree is considered to be proportional to the degree of deviation ⁇ ⁇ described above.
  • Equation 9 p is
  • It is a parameter for adjustment, and for example, a value of about p 0.2 to 0.8 is used.
  • the weighting factor w calculated by the vector weighting factor calculation unit 211 in this way is the second buffer.
  • the second buffer 206 stores the force and the weighting factor w of the vector signal V in the neighboring region and the weighting factor w of the vector signal V in the region of interest.
  • FIG. 8 shows an example of the configuration of the noise estimation unit 202.
  • control unit 119 acquires the temperature information of the CCD 102 from the temperature sensor 103, and transfers the acquired temperature information to the parameter selection unit 303.
  • the noise amount N of the vector signal V in the region of interest is estimated.
  • Fig. 9 is a plot of the amount of noise N for three ISO sensitivities 100 (gain X I), 200 (gain X 2), and 400 (gain X 4) related to gain.
  • the model shown in Fig. 10 is simplified. That is, in the simplified model as shown in FIG. 10, the model that gives the maximum amount of noise is selected as the reference noise model, and this reference noise model is set to a predetermined number of inflection points. Approximate with a broken line.
  • the inflection point is represented by coordinate data (IIVll, N) consisting of a norm llvll and a noise amount N.
  • n indicates the inflection point number.
  • a correction coefficient k for deriving other noise models such as the above reference noise model is prepared. This correction factor k is determined by each noise model, reference noise model, and gt gt
  • norm llvll belongs to the section between (llvll, N) and (llvll, N).
  • the reference noise amount in the quasi-noise model is obtained by linear interpolation as shown in Equation 12 below.
  • Equation 13 the obtained reference noise amount ⁇ is multiplied by the correction coefficient k.
  • gain g is set based on the amplification amount in amplification section 104 from gain calculation section 300
  • temperature t is set based on temperature information from control section 119.
  • the parameter selection unit 303 uses the coordinate data (llvll, N) and (llvll, N) of the section to which the norm
  • the parameter selection unit 303 searches the parameter ROM 302 for the correction coefficient k corresponding to the gain g and the temperature t, and transfers the searched correction coefficient k to the correction unit 305.
  • Interpolation section 304 is based on the norm from parameter selection section 303 based on the control of control section 119
  • the reference noise amount in the reference noise model is calculated, and the calculated reference noise amount is transferred to the correction unit 305.
  • the correction unit 305 uses the correction coefficient k from the parameter selection unit 303 and the reference noise amount N from the interpolation unit 304 to calculate the noise amount N based on Equation 13. Is calculated.
  • the correcting unit 305 uses the calculated noise amount N to calculate the vector signal V of the attention area.
  • FIG. 12 shows an example of the configuration of the filtering unit 114.
  • This filtering unit 114 includes a weighting factor selection unit 400, a measure selection unit 401, a weight measure value calculation unit 402, a buffer 403, a minimum measure search unit 404, and a corresponding vector selection unit 405. It is out.
  • the weight setting unit 113 is connected to the weight coefficient selection unit 400 and the measure selection unit 401, respectively. Further, the weight coefficient selection unit 400 and the measure selection unit 401 are connected to the weight measure value calculation unit 4002, respectively. Further, the weight measure value calculation unit 402 serving as the weight measure value calculation unit is connected to the corresponding vector selection unit 405 serving as the output unit via the buffer 403 and the minimum measure search unit 404. Further, the vector screen 112 is connected to the corresponding vector selection unit 400. Corresponding vector selection section 405 is connected to noise reduction section 115.
  • control unit 119 is bi-directionally connected to the weight coefficient selection unit 400, the measure selection unit 401, the weight measure value calculation unit 402, the minimum measure search unit 404, and the corresponding vector selection unit 405. I came to control them.
  • the weight measure value calculation unit 402 calculates a total value T of weighted measure values as shown in the following Equation 14 for each vector signal.
  • the weighted measure value sum ⁇ calculated by the weight measure value calculation unit 402 is the buffer 4 k
  • the processing in the weight coefficient selection unit 400, the measure selection unit 401, and the weight measure value calculation unit 402 is based on the control of the control unit 119. It is done synchronously in units.
  • the minimum measure search unit 404 searches for the minimum value T from the total value T of the weighted measure values.
  • the searched minimum value T is the minimum k min min
  • the corresponding vector selection unit 405 uses the minimum value T from the minimum measure search unit 404 based on the control of the control unit 119, and the vector signal V corresponding to the minimum value T from the vectory unit 112.
  • the image processing system has a lens system 100, an aperture 101, as shown in FIG. , CCD102, temperature sensor 103, amplifying unit 104, AZD conversion unit 105, pre-white balance unit 107, photometric evaluation unit 108, in-focus detection unit 109, and imaging unit including AF motor 110 are integrated. It was.
  • the image processing system is not necessarily limited to such a configuration.
  • the imaging unit may be a separate body. That is, the image processing system shown in FIG. 13 reads and processes a video signal recorded by a separate imaging unit and recorded on a recording medium such as a memory card in the form of unprocessed raw data. It is supposed to be. However, at this time, it is assumed that accompanying information such as an imaging condition related to the video signal is recorded on the recording medium as a header portion or the like.
  • the transmission of various information from a separate imaging unit to the image processing system is not limited to being performed via a recording medium. It may be done via a communication line!
  • the image processing system shown in FIG. 13 is different from the image processing system shown in FIG. 1 in that the lens system 100, the aperture 101, the CCD 102, the temperature sensor 103, the amplification unit 104, the A / D conversion unit 105, and the pre-white balance.
  • the unit 107, the photometric evaluation unit 108, the in-focus detection unit 109, and the AF motor 110 are omitted, and an input unit 500 and a header information analysis unit 501 are added.
  • the other basic configuration of the image processing system shown in FIG. 13 is the same as that shown in FIG. 1. Therefore, the same name and symbol are assigned to the same configuration, and the description is omitted as appropriate. The main differences will be explained only.
  • the input unit 500 is connected to the buffer 106 and the header information analysis unit 501, respectively.
  • the control unit 119 is also connected to the input unit 500 and the header information analysis unit 501 in both directions, and controls them.
  • the video signal and header information stored in a recording medium such as a memory card are read via the input unit 500.
  • the video signal is transferred to the buffer 106, and the header information is transferred to the header information analysis unit 501.
  • the header information analysis unit 501 captures information at the time of shooting based on the header information transferred from the input unit 500 (that is, exposure conditions, ISO sensitivity, white balance information, temperature of the image sensor, etc. as described above). Is extracted and transferred to the control unit 119.
  • the subsequent processing is the same as that of the image processing system as shown in FIG.
  • force based on hardware processing is not limited to such a configuration.
  • the video signal from the CCD 102 is recorded as raw raw data on a recording medium such as a memory card, and accompanying information such as imaging conditions is recorded on the recording medium as header information.
  • a computer can execute an image processing program, which is separate software, and cause the computer to read and process information on the recording medium.
  • image processing program which is separate software, and cause the computer to read and process information on the recording medium.
  • Various information from the imaging unit to the computer Transmission is not limited to being performed via a recording medium, but may be performed via a communication line or the like.
  • step S 1 a video signal is read and header information such as gain is read.
  • step S 2 6 ⁇ 6 pixel size local regions including the region of interest and the neighboring region are sequentially extracted.
  • the norm of the vector signal is calculated (step S4).
  • step S5 the amount of noise related to the vector signal of the region of interest is estimated.
  • Equation 6 a constant term used for a plurality of linear functions shown in Equation 6 is calculated (step S6).
  • the weighting coefficient of the vector signal V in the neighborhood region is calculated using a plurality of linear functions shown in Formula 6 in which the constant term is set (step S7).
  • step S8 a distance measure value as shown in Equation 7 is calculated (step S8).
  • an average measure value as shown in Formula 8 is calculated from the distance measure value related to the vector of interest (step S 9).
  • step S10 based on the average measure value calculated in step S9 and the noise amount of the vector of interest estimated in step S5, the degree of divergence is calculated (step S10).
  • Equation 9 the weighting coefficient for the vector signal V of the region of interest is calculated.
  • the total value of the weighted measure values is calculated as shown in Equation 14 (step S12).
  • step S 13 the medium force of the calculated weighted measure value is searched for the minimum value.
  • step S14 A vector signal corresponding to the sum of the searched minimum weighted measure values is selected (step S14).
  • the vector signal after noise reduction is calculated by performing weighted averaging of the vector signal obtained in step S14 and the vector signal of the target vector of interest. (Step S15).
  • step S16 it is determined whether or not the force for the processing for all the local regions has been completed. If the processing is to be completed, the process returns to step S2 to enter the next local region. Then, the above process is repeated.
  • step S17 If it is determined that the processing for all the local regions has been completed, signal processing such as known interpolation processing, enhancement processing, and compression processing is performed (step S17), and the processed signal is output. (Step S18), and this series of processing is terminated.
  • step S5 in Fig. 14 When this processing is started in step S5 in Fig. 14, first, processing for setting parameters related to noise, that is, parameters such as gain, is performed based on the read header information (step S20). ). However, if a necessary parameter does not exist in the header information, a process for assigning a predetermined standard value is performed.
  • step S21 the coordinate data and correction coefficient of the reference noise model as shown in FIG. 10 are read.
  • the reference noise amount is obtained by interpolation processing as shown in Equation 12 (step S23), and the noise amount is obtained by correction processing as shown in Equation 13 (step S24).
  • step S25 the calculated noise amount is output (step S25), and the process returns to the process shown in FIG.
  • the video signal is vectorized, the noise amount is estimated in the vector space, the weight coefficient for each vector signal is set based on the estimated noise amount, and the set weight is set. Filtering using coefficients, based on the filtering result Noise reduction processing can be performed. As a result, it is possible to perform highly accurate noise reduction for noise in general while reducing side effects such as edge deterioration and hue change.
  • Equation 9 and k in Equation 15 can be fixed once set, so basically no parameter setting is required, and high-speed processing is automatically performed. Can be done.
  • the noise amount is estimated dynamically according to the dynamically changing conditions such as the norm of the vector signal, the temperature of the image sensor at the time of shooting, and the gain, the optimum weight is obtained. Filtering processing using coefficients can be performed, and highly accurate noise reduction processing can be performed.
  • the noise amount is calculated using the noise model, the noise amount can be estimated with high accuracy.
  • the distance measure value is used as the measure value, the noise is reduced with respect to the luminance noise.
  • the accuracy of the reduction process can be improved.
  • the light beam that has passed through the lens system 100 and the aperture 101 is separated into three colors of RGB by the dichroic prism.
  • the R component light goes to the R-CCD600
  • the G component light goes to the G-CCD601
  • the B component light goes to B. — Guided to CCD602.
  • R-CCD600, G-CCD601, and B-CCD602 are connected to amplification unit 104, respectively.
  • control unit 119 is connected to the R-CCD600, G-CCD601, B-CCD602, the weight setting unit 603, and the replacement unit 604 bidirectionally, and controls them.
  • the R signal output from the R—CCD600, the G signal output from the CCD 601 and the B signal output from the B—C CD602 are respectively amplified by the amplification unit 104, and the ⁇ / ⁇ conversion unit 105 Converted to a digital signal, transferred to buffer 106, and temporarily
  • the video signal stored in the buffer 106 is further transferred to the extraction unit 111.
  • the extraction unit 111 Based on the control of the control unit 119, the extraction unit 111 performs a local region of the R signal as illustrated in FIG. 17A, a local region of the G signal as illustrated in FIG. B signal as shown in (C) The local regions are sequentially extracted and transferred to the vectorization unit 112.
  • the local region is a region including a region of interest and a neighboring region related to the region of interest, as described above.
  • the vector input unit 112 is shown in FIG. 17D from signals of the attention area and each neighboring area as shown in FIGS. 17A to 17C.
  • a three-dimensional vector signal having (R, G, B) as components is derived and transferred to the weight setting unit 603 and the filtering unit 114, respectively.
  • the weight setting unit 603 calculates a weighting coefficient for all vector signals in the local region using the vector signal of the region of interest, and transfers the weighting factor to the filtering unit 114.
  • filtering unit 114 Based on the control of control unit 119, filtering unit 114 performs filtering processing on the vector signal from vectorization unit 112 using the weighting factor from weight setting unit 603.
  • the replacement unit 604 uses the vector signal subjected to the filtering process from the filtering unit 114 as the vector signal of the region of interest as the scalarizing unit 11
  • the signal processing unit 117 performs known enhancement processing, compression processing, etc., and transfers the processed signal to the output unit 118.
  • the output unit 118 records and stores the video signal transferred from the signal processing unit 117 in a recording medium such as a memory card.
  • FIG. 18 shows an example of the configuration of the weight setting unit 603.
  • the vector relay unit 112 is connected to the norm calculation unit 200, the distance measure calculation unit 207, and the angle measure calculation unit 700, respectively.
  • control unit 119 is connected to the angle measure calculation unit 700, the multiplication unit 701, and the noise estimation unit 702 in both directions, and controls them.
  • the noise estimation unit 702 then calculates the norm of the vector signal V in the region of interest.
  • the noise amount N related to the vector signal V of the region of interest is estimated, and the estimated noise amount N is calculated.
  • the constant term of the function used for the calculation is calculated.
  • a single quadratic function as shown in FIG. 19 is used as the function used for calculating the weighting coefficient. It is. This function receives the norm
  • a quadratic function as shown in Fig. 19 is defined by Equation 17 below.
  • the constant calculation unit 203 calculates three constant terms as shown in Equation 17 and transfers them to the weight coefficient calculation unit 205.
  • the norm selection unit 204 Based on the control of the control unit 119, the norm selection unit 204 sequentially selects the norm
  • the weighting factor calculation unit 205 calculates the weighting factor w based on Equation 17 for the norm
  • the calculated weight coefficient w is transferred to the second buffer 206.
  • the angle measure calculation unit 700 serving as an average measure value calculation unit receives the vector signal V of the attention area and the vector signal of the neighboring area from the vector section 112.
  • the angle measure calculation unit 700 transfers the calculated angle measure value a (V, V) to the multiplication unit 701.
  • the multiplication unit 701 includes the angle measure value a (V, V) from the angle measure calculation unit 700 and the distance measure k 1
  • Multiplying section 701 transfers the calculated measure value ad (V, V) to third buffer 208. 3rd bar k 1
  • the subsequent processing is the same as that of the weight setting unit 113 shown in FIG. 5 of the first embodiment described above.
  • FIG. 20 shows an example of the configuration of the noise estimation unit 702.
  • This noise estimation unit 702 includes a gain calculation unit 300, a standard value assigning unit 301, and a lookup tape nore unit 800.
  • the noise estimation unit 702 shown in FIG. 20 is basically the same as the noise estimation unit 202 shown in FIG. 8 of Embodiment 1 described above, and is a noise amount calculation unit and a lookup table unit.
  • a look-up table section 800 is added, and the parameter ROM 302, parameter selection section 303, interpolation section 304, and correction section 305 are omitted. Since the other configurations are the same, the same name and reference numeral are assigned, and the following description will mainly focus on the different parts.
  • the first buffer 201, the gain calculating unit 300, and the standard value assigning unit 301 are connected to the lookup table unit 800, respectively.
  • Lookup table section 800 is connected to constant calculation section 203 and divergence degree calculation section 210, respectively.
  • Look-up table section 800 receives norm of vector signal V of the attention area from first buffer 201 based on control of control section 119
  • Lookup table section 800 receives vector signal V of the region of interest from first buffer 201.
  • noise amount N of vector signal V in the region of interest is output.
  • the amount of noise obtained by lookup table section 800 is transferred to constant calculation section 203 and divergence calculation section 210, respectively.
  • a video signal captured by a separate imaging unit and recorded on a recording medium such as a memory card is also read. It is also possible to configure to take out and process.
  • force based on hardware processing is not limited to such a configuration.
  • a recording medium such as a memory card
  • accompanying information such as an imaging condition from the control unit 119 is recorded on a recording medium as header information.
  • a computer can execute an image processing program, which is separate software, so that the information on the recording medium is read by the computer and processed.
  • the imaging unit force is not limited to the transmission of various information to the computer via the recording medium, but may be performed via a communication line or the like.
  • step S2 The local area of 5 pixel size is extracted sequentially (step S2).
  • the norm of the vector signal is calculated (step S4).
  • step S30 the amount of noise related to the vector signal of the region of interest is estimated.
  • Equation 17 a constant term used for the quadratic function shown in Equation 17 is calculated using the calculated norm of the vector signal and the estimated noise amount (step S6).
  • the weighting coefficient of the solid signal V in the neighborhood region is calculated using the quadratic function shown in Equation 17 in which the constant term is set (step S7).
  • an average measure value is calculated from the measure value related to the vector of interest (step S9).
  • step S10 based on the average measure value calculated in step S9 and the noise amount of the vector of interest estimated in step S30, the degree of divergence is calculated (step S10).
  • Equation 9 the weighting coefficient for the vector signal V in the region of interest is calculated.
  • the sum of the weighted measure values is calculated using the measure values (step S12).
  • step S13 a minimum value is searched from the calculated sum values of the weighted measure values (step S13), and a vector signal corresponding to the sum value of the searched minimum weighted measure values is selected (step S13). S 14).
  • step S14 the vector signal obtained in step S14 is used as the vector signal of the vector of interest (replacement), thereby obtaining a vector signal after noise reduction (step S33).
  • step S16 it is determined whether or not the force for the processing for all the local regions has been completed. If the processing is to be completed, the process returns to step S2 to enter the next local region. Then, the above process is repeated.
  • step S17 If it is determined that the processing for all the local regions has been completed, signal processing such as known enhancement processing and compression processing is performed (step S17), and the processed signal is output ( In step S18), this series of processing ends.
  • noise-related information is set based on the read header information, that is, a process for obtaining parameters such as gain (step S20). ). However, if a necessary parameter does not exist in the header information, a process for assigning a predetermined standard value is performed.
  • step S40 based on each parameter obtained in step S20, a noise amount is obtained using a lookup table (step S40).
  • step S25 the calculated amount of noise is output (step S25), and the process returns to the process shown in FIG.
  • the video signal is vectorized, the noise amount is estimated in the vector space, the weight coefficient for each vector signal is set based on the estimated noise amount, and the set weight is set. Filtering using coefficients, based on the filtering result Noise reduction processing can be performed. As a result, as in Embodiment 1 described above, it is possible to perform highly accurate noise reduction for all noises while reducing side effects such as edge deterioration and hue change.
  • the vector signal obtained by the filtering process is used as the output signal, it is possible to construct a system that performs high-speed processing and obtains it at low cost.
  • An image processing system that performs noise reduction processing on a video signal composed of a plurality of color signals by an imaging device force
  • Extraction means for extracting a local area including an attention area to be subjected to noise reduction processing and at least one neighboring area located in the vicinity of the attention area from the video signal; and the attention area and the vicinity Vectorization means for deriving a vector signal having the plurality of color signals as components for each region;
  • Setting means for setting a weighting factor for each vector signal in the local region based on the vector signal of the region of interest
  • a filtering process using the weighting factor is applied to the vector signal in the local region.
  • Noise reduction means for reducing the noise of the vector signal in the region of interest based on the vector signal obtained by the filtering process
  • An image processing system comprising:
  • Embodiments 1 and 2 correspond to this supplementary note.
  • the extraction means is the extraction unit 111 shown in FIG. 1, FIG. 13 and FIG. 16
  • the vectorization means is the vectorization unit 112 shown in FIG. 1, FIG. 13, and FIG.
  • the weight setting unit 113 shown in FIG. 13 and the weight setting unit 603 shown in FIG. 16 and FIG. 18 are the filtering means, and the filtering unit 114 shown in FIG. 1, FIG. 12, FIG. 13 and FIG.
  • a preferable application example of the present invention is to extract a local area including an attention area to be subjected to noise reduction processing by the extraction unit 111 and at least one neighboring area located in the vicinity of the attention area.
  • the vector signal unit 112 derives a vector signal having all color signals as components, and the weight setting unit 113 or the weight setting unit 603 sets a weighting factor for each vector signal in the local region based on the vector signal of the region of interest.
  • This is an image processing system that performs filtering using a weighting factor by the filtering unit 114 and reduces the noise of the vector signal in the region of interest based on the vector signal obtained by the filtering by the noise reduction unit 115 or the replacement unit 604. .
  • a norm calculating means for calculating a norm of each vector signal in the local area; and a noise estimating means for estimating a noise amount related to the vector signal of the attention area based on a norm of the vector signal of the attention area!
  • Constant calculating means for calculating a constant term of a function used for calculating a weighting coefficient based on the noise amount
  • a weighting factor calculating means for calculating a weighting factor of each outer signal in the local region based on a norm of each outer signal in the local region and a function in which the constant term is set;
  • Embodiments 1 and 2 correspond to this supplementary note.
  • the norm calculation means is the norm calculation section 200 shown in FIG. 5 and FIG. 18, and the noise estimation means is the noise estimation section 202 shown in FIG. 5 and FIG. 8, and the noise estimation section 702 shown in FIG. 18 and FIG.
  • the calculation means corresponds to the constant calculation unit 203 shown in FIGS. 5 and 18, and the weighting coefficient calculation means corresponds to the weighting coefficient calculation unit 205 shown in FIGS.
  • the norm calculation unit 200 calculates the norm of each vector signal
  • the noise estimation unit 202 or the noise estimation unit 702 estimates the noise amount related to the vector signal in the region of interest, and calculates the constant.
  • the unit 203 calculates a constant term of a function used for weighting factor calculation based on the noise amount
  • the weighting factor calculation unit 205 calculates the weight for each vector signal in the local region based on the function in which the norm and constant term of each vector signal are set.
  • the noise amount of the vector signal is dynamically estimated, and a filtering weighting factor for each vector signal is calculated based on the estimated noise amount.
  • the noise estimation means is
  • the amount of noise related to the vector signal is calculated based on the adding means for giving a standard value for information that cannot be obtained by the collecting means, the information from the collecting means or the giving means, and the norm of the vector signal in the region of interest.
  • the image processing system according to appendix 2 characterized by comprising: a noise amount calculation means to be obtained.
  • Embodiments 1 and 2 correspond to this supplementary note.
  • the collecting means is the temperature sensor 103, the control unit 119 shown in FIGS. 1 and 16, and the gain calculation unit 300 shown in FIGS. 8 and 20, and the giving means is the standard value giving unit 301 shown in FIGS.
  • the noise amount calculation means corresponds to the parameter ROM 302 shown in FIG. 8, the parameter selection unit 303, the interpolation unit 304, the correction unit 305, and the lookup table unit 800 shown in FIG.
  • information used for noise amount estimation is collected by the temperature sensor 103, the control unit 119 and the gain calculation unit 300, and the temperature sensor 103, the control unit 119 and An image processing system that sets a standard value when information from the gain calculation unit 300 cannot be obtained, and obtains the noise amount by the parameter ROM 302, parameter selection unit 303, interpolation unit 304, correction unit 305, or lookup table unit 800 It is.
  • the amount of noise can be estimated with high accuracy by dynamically adapting to different conditions for each shooting.
  • the amount of noise can be estimated even when necessary information cannot be obtained.
  • a stable noise reduction effect can be obtained.
  • Embodiments 1 and 2 correspond to this supplementary note.
  • the temperature sensor 103 corresponds to the temperature sensor 103 shown in FIGS.
  • a preferable application example of the present invention is an image processing system that measures the temperature of the image sensor from the temperature sensor 103 in real time.
  • the amount of noise can be estimated with high accuracy by dynamically adapting to changes in the temperature of the image sensor during shooting.
  • the collecting means includes a gain calculating means for obtaining the gain value based on at least one of ISO sensitivity, exposure information, and white balance information.
  • Embodiments 1 and 2 correspond to this supplementary note.
  • the gain calculation means corresponds to the gain calculation unit 300 and the control unit 119 shown in FIGS.
  • a preferred application example of the present invention is an image processing system in which ISO sensitivity, exposure information, white tolerance information, and the like are transferred by the control unit 119 and the total gain amount at the time of photographing is obtained by the gain calculation unit 300.
  • the gain amount at the time of shooting is obtained and used as information for estimating the noise amount.
  • the amount of noise can be estimated with high precision by dynamically adapting to gain changes during shooting.
  • the noise amount calculating means is:
  • Parameter selection means for selecting a parameter required for the parameter group force based on information from the collecting means or the assigning means and a norm of the vector signal of the region of interest;
  • a reference noise amount calculation unit for obtaining a reference noise amount, and the reference noise amount selected by the parameter selection unit
  • a reference noise amount correcting means for determining a noise amount by correcting based on a parameter
  • Embodiment 1 corresponds to this supplementary note.
  • the parameter selection means is the parameter ROM 302 shown in FIG. 8, the parameter selection means is the parameter selection section 303 shown in FIG. 8, and the reference noise amount calculation means is the interpolation section 304 shown in FIG.
  • the correction means corresponds to the correction unit 305 shown in FIG.
  • the coefficient and correction coefficient of the reference noise model used for estimating the noise amount measured in advance in the parameter ROM 302 are recorded, and the parameter selection unit 303 performs the recording.
  • An image processing system that selects a coefficient and a correction coefficient of a reference noise model, calculates a reference noise amount based on the reference noise model by the interpolation unit 304, and corrects the correction amount based on the correction coefficient by the correction unit 305. It is.
  • a noise amount is obtained by performing a correction process based on the reference noise model.
  • Embodiment 1 corresponds to this supplementary note.
  • a preferred application example of the present invention is an image processing system using a reference noise model including a plurality of coordinate point data shown in FIG.
  • the noise amount calculation means is configured to include a look-up table means for obtaining the noise amount by using the information from the collection means or the assigning means and the norm of the vector signal of the region of interest as an input.
  • Embodiment 2 corresponds to this supplementary note.
  • the lookup table means corresponds to the lookup table unit 800 shown in FIG.
  • a preferred application example of the present invention is an image processing system that obtains a noise amount by using a lookup table unit 800.
  • look-up table means Since the look-up table means is used to determine the amount of noise, processing can be performed at high speed.
  • the constant calculation means calculates a constant term related to a combination of a plurality of linear functions as the function or a constant term related to a single quadratic function as the function. 2.
  • the image processing system according to 2.
  • Embodiments 1 and 2 correspond to this supplementary note.
  • the preferred application example of the present invention calculates a constant term related to a combination of a plurality of linear functions as shown in FIG. 6 or a constant term related to a single quadratic function as shown in FIG. An image processing system.
  • a combination of multiple linear functions or a single quadratic function is set as a function for calculating the weighting coefficient, and a constant term for the set function is calculated.
  • the weight coefficient calculating means includes
  • Average measure value calculating means for calculating an average of measure values between the vector signal of the region of interest and each vector signal of the neighboring region;
  • a divergence degree calculating means for calculating a divergence degree regarding the marginal signal of the region of interest;
  • Attention vector weighting coefficient calculating means for calculating a weighting coefficient for the vector signal of The image processing system according to appendix 2, wherein the image processing system is further configured.
  • Embodiments 1 and 2 correspond to this supplementary note.
  • the average measure value calculating means is the distance measure calculating unit 207, the average measure calculating unit 209 shown in FIG. 5 and FIG. 18, the angle measure calculating unit 700, and the multiplying unit 701 shown in FIG.
  • the divergence degree calculation unit 210 shown in FIG. 18 corresponds to the attention vector weight coefficient calculation means, and the attention vector weight coefficient calculation unit 211 shown in FIG. 5 and FIG.
  • a preferred application example of the present invention is that a distance measure calculation unit 207, an average measure calculation unit 209 (if necessary, an angle measure calculation unit 700, a multiplication unit 701) calculates an average of the measure values,
  • the divergence degree calculation unit 210 calculates the degree of divergence related to the vector signal of the attention area from the average of the measure values and the noise amount related to the vector signal of the attention area, and the attention vector weight coefficient calculation unit 211 calculates the weight coefficient related to the vector signal of the attention area. This is an image processing system to calculate.
  • the weighting factor for the vector signal of the region of interest is calculated separately from the weighting factor for the vector signal of the neighboring region.
  • Filtering processing accuracy for snooping noise is improved, and noise reduction processing can be performed with high accuracy.
  • the filtering means is
  • weight measure value calculating means for calculating a sum obtained by multiplying the measure value between the vector signal and another vector signal by the weighting factor, and for each vector signal in the local region Search means for searching for the minimum value from the sum of the measure values for the vector signal;
  • Embodiment 1 corresponds to this supplementary note.
  • the weight measure value calculation means is the weight measure value calculation section 402 shown in FIG. 12, the search means is the minimum measure search section 404 shown in FIG. 12, and the output means is the corresponding vector selection section 405 shown in FIG. Applicable.
  • the weight measure value calculation unit 402 calculates a sum obtained by multiplying each vector signal in the local region by a measure value between another vector signal and a weight coefficient.
  • This is an image processing system in which a minimum measure search unit 404 searches for a minimum value from the sum of measure values, and a corresponding vector selection unit 405 outputs a vector signal corresponding to the minimum measure value sum.
  • a vector signal that minimizes the sum of the weighted measure values is output.
  • Embodiment 1 corresponds to this supplementary note.
  • a preferred application example of the present invention is an image processing system that uses a distance measure value calculated by a distance measure calculation unit 207 as shown in FIG. 5 as a measure value.
  • a distance measure value is used as a measure value between two vector signals.
  • the distance measure value is highly related to luminance noise, the accuracy of noise reduction processing for luminance noise can be improved.
  • Embodiment 2 corresponds to this supplementary note.
  • a preferred application example of the present invention is an image processing system that uses an angle measure value calculated by the angle measure calculation unit 700 shown in FIG. 18 as a measure value.
  • An angle measure value is used as a measure value between two vector signals.
  • Embodiment 2 corresponds to this supplementary note.
  • a preferred application example of the present invention is that the distance measure value calculated by the distance measure calculation unit 207 as shown in FIG. 18 and the angle measure calculated by the angle measure calculation unit 700 as shown in FIG. This is an image processing system that uses a value obtained by combining the value and the multiplication unit 701 shown in FIG. 18 as a measure value.
  • a measure value between two vector signals a measure value obtained by combining a distance measure value and an angle measure value is used.
  • the distance measure value is highly related to the luminance noise, and the angle measure value is highly related to the color noise, so using them together improves the accuracy of noise reduction processing for the luminance noise and color noise. be able to.
  • the noise reduction means uses a vector signal obtained by performing weighted addition averaging of the vector signal obtained by the filtering process and the outer signal of the attention area using a predetermined weighting factor, to the vector of the attention area.
  • the image processing system according to appendix 1 wherein the image processing system is configured to have averaging means for signals.
  • Embodiment 1 corresponds to this supplementary note.
  • the noise reduction unit 115 shown in FIGS. 1 and 13 corresponds to the averaging means.
  • a preferred application example of the present invention is that a vector obtained by weighted addition averaging of a vector signal obtained by filtering processing and a vector signal of a region of interest using a predetermined weighting factor by the noise reduction unit 115.
  • This is an image processing system in which the signal is a vector signal of the region of interest.
  • the vector signal obtained by filtering and the original vector signal are weighted and averaged.
  • the noise reduction means includes a replacement means that uses the vector signal obtained by the filtering process as an outer signal of the region of interest. system.
  • Embodiment 2 corresponds to this supplementary note.
  • the replacement means corresponds to the replacement unit 604 shown in FIG.
  • a preferred application example of the present invention is an image processing system in which a vector signal obtained by filtering processing is used as a vector signal of a focus area.
  • a vector signal obtained by the filtering process is used as an output signal.
  • the processing system can be simplified, and a system capable of performing high-speed processing can be configured at low cost.
  • the above image sensor is a single-plate image sensor with R (red), G (green), and B (blue) Bayer primary color filters arranged in front, or Cy (cyan), Mg (magenta), Ye (yellow) , G (green) color difference line
  • Embodiment 1 corresponds to this supplementary note.
  • a preferable application example of the present invention is a bayer (B shown in Fig. 2 (A) or Fig. 3 (A)).
  • This is an image processing system using a single-plate image sensor in which an ayer) type primary color filter or a color difference line sequential complementary color filter as shown in FIG.
  • a single-plate image sensor is used in which a Bayer primary color filter or a color difference line sequential complementary filter is arranged on the front surface.
  • the image processing system further comprising a scalarizing unit that derives the plurality of color signals from the vector signal whose noise has been reduced by the noise reducing unit.
  • Embodiments 1 and 2 correspond to this supplementary note.
  • the scalarizing means corresponds to the scalarizing unit 116 shown in FIGS.
  • a preferred application example of the present invention is an image processing system in which the scalarization unit 116 returns the vector signal after noise reduction processing to the original color signal of the image sensor.
  • the vector signal after the noise reduction processing is returned to the original color signal of the image sensor.
  • An image processing program for causing a computer to perform noise reduction processing on a video signal composed of a plurality of color signals from an image sensor
  • a noise reduction step for reducing the noise of the vector signal in the region of interest
  • each step corresponds to the step shown in FIG. 14, FIG. 15 or FIG. 21, FIG.
  • a weighting factor calculating step for calculating a weighting factor of each vector signal in the local region based on the norm of each external signal in the local region and the function in which the constant term is set;
  • each step corresponds to the step shown in FIG. 14, FIG. 15 or FIG. 21, FIG.
  • the noise estimation step includes
  • a noise amount calculating step for obtaining a noise amount related to the vector signal based on the information of the collecting step or the applying step force and the norm of the vector signal of the region of interest;
  • each step corresponds to the step shown in FIG. 14, FIG. 15 or FIG. 21, FIG.
  • the constant calculation step is a step of calculating a constant term relating to a combination of a plurality of linear functions as the function or a constant term relating to a single quadratic function as the function.
  • each step corresponds to the step shown in FIG. 14, FIG. 15 or FIG. 21, FIG.
  • the weighting factor calculating step includes
  • An average measure value calculating step for calculating an average of measure values between the vector signal of the region of interest and each vector signal of the neighboring region;
  • a divergence degree calculating step for calculating a divergence degree regarding the outer signal of the attention area based on the average of the measure values and a noise amount regarding the vector signal of the attention area, and the attention area based on the divergence degree
  • a vector weighting factor calculation step for calculating a weighting factor for vector signals of
  • each step corresponds to the step shown in FIG. 14, FIG. 15 or FIG. 21, FIG.
  • the filtering step is
  • a weight measure value calculating step for calculating a sum total obtained by multiplying a measure value between the vector signal and another vector signal by the weight coefficient for each vector signal in the local region;
  • the image processing program according to appendix 19, comprising: an output step of outputting a vector signal corresponding to the sum of the minimum measure values.
  • each step corresponds to the step shown in FIG. 14, FIG. 15 or FIG. 21, FIG.
  • a vector signal obtained by performing weighted addition averaging of the vector signal obtained by the filtering process and the vector signal of the attention area using a predetermined weighting factor is used as a vector of the attention area.
  • the image processing program according to appendix 19 further comprising an averaging step as a signal.
  • the noise reduction step includes a replacement step in which the vector signal obtained by the filtering process is used as a vector signal of the region of interest.
  • each step corresponds to the step shown in FIG. 14, FIG. 15 or FIG. 21, FIG.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

　ＣＣＤ（１０２）からの複数の色信号で構成される映像信号から１つの注目領域と１つ以上の近傍領域とを含む局所領域を抽出する抽出部（１１１）と、注目領域および近傍領域毎に複数の色信号を構成成分とするベクトル信号を導出するベクトル化部（１１２）と、注目領域のベクトル信号に基づいて局所領域内の各ベクトル信号に関する重み係数を設定する重み設定部（１１３）と、局所領域内のベクトル信号に対して重み係数を用いたフィルタリング処理を行うフィルタリング部（１１４）と、フィルタリング処理により得られたベクトル信号に基づいて注目領域のベクトル信号のノイズを低減するノイズ低減部（１１５）と、を備えた画像処理システム。

Description

明 細 書
画像処理システム、画像処理プログラム
技術分野
[0001] 本発明は、撮像素子系に起因するノイズを低減し得る画像処理システム、画像処 理プログラムに関する。 背景技術
[0002] デジタルカメラやデジタルビデオカメラ等のデジタル撮像装置は、一般的に、撮像 素子と、この撮像素子から出力されるアナログ信号に各種のアナログ処理を行うアナ ログ回路と、このアナログ回路の信号をデジタル信号に変換する AZDコンバータと、 を有して構成されている。
[0003] このようなデジタル撮像装置の AZDコンバータ力 得られるデジタル信号中には、 一般にノイズ成分が含まれており、このノイズは、ランダム性のノイズと、スパイク性の ノイズとに大別することができる。
[0004] これらの内のランダム性のノイズは、撮像素子およびアナログ回路で発生するもの であり、ホワイトノイズ特性に近 、特性を有して！/、る。
[0005] 一方、上述したスパイク性のノイズは、主に撮像素子に起因するノイズであり、その 代表的な例は、撮像素子の欠陥画素などに起因して発生するものである。
[0006] こうしたノイズを低減する提案は、従来より種々のものがなされている。
[0007] 前者のランダム性のノイズに関しては、例えば特開 2004— 72422号公報に、色信 号毎のノイズの発生量をモデルィ匕することにより、ノイズ量を動的に推定して、ノイズ 低減処理を行う技術が記載されている。これにより、撮影条件に影響されることなく画 素単位での高精度なノイズ低減処理を行うことが可能となる。
[0008] また、後者のスパイク性のノイズに関しては、例えば特開平 6— 205216号公報に、 スパイク性のノイズである力否かを検出して、スパイク性のノイズであることが検出され た場合には、処理のブロックサイズを拡大しながらメディアンフィルタ処理を行う技術 が記載されている。これにより、多様なスパイク性のノイズに対して、安定的なノイズ低 減処理を行うことが可能となる利点がある。 [0009] また、ノイズ全般に関して、例えば特開平 8— 36640号公報に、 RGB信号をべタト ルイ匕して、ベクトル空間内で評価関数を最小化させるようにベクトル信号を補正する 技術が記載されている。これにより、エッジ部を保持したまま、色ノイズを低減すること が可能となる利点がある。
[0010] 上記特開 2004— 72422号公報に記載されたものでは、ランダム性のノイズに関し ては良好にノイズ低減処理を行うことが可能である力 スパイク性のノイズに関しては 十分なノイズ低減処理がなされないという課題がある。また、該公報に記載の技術は 、ノイズ低減処理を色信号毎に独立に行うものであるために、色信号の数だけ処理を 行う必要があって、処理時間が長くなるという課題がある。
[0011] また、上記特開平 6— 205216号公報に記載されたものは、ブロックサイズを順次 拡大しながらメディアンフィルタ処理を行うものであるために、スパイク性のノイズを良 好に低減することができるものの、ブロックサイズをどこまで拡大すれば良 、かが処理 対象に応じて異なるために、処理時間が不定となりかつ長くなつてしまうという課題が ある。カロえて、該公報に記載の技術は、メディアンフィルタ処理を色信号毎に独立に 行うものであるために、色相が急変する画素が発生することがあるという課題がある。
[0012] さらに、上記特開平 8— 36640号公報に記載されたものでは、評価関数を適切に 設定することによって、ノイズ全般に関して良好にノイズ低減処理を行うことが可能で あるが、適切な評価関数を自動的に設定するのが困難であるという課題がある。また 、該公報に記載の技術では、評価関数が収束するまで処理を反復的に行う必要があ るために、処理時間が不定となりかつ長くなつてしまうという課題がある。
[0013] 本発明は上記事情に鑑みてなされたものであり、高精度なノイズ低減処理を自動 的に行うことが可能な画像処理システム、画像処理プログラムを提供することを目的と している。
[0014] また、本発明は、色相変化などの副作用が少なく高速にノイズ低減処理を行うこと ができる画像処理システム、画像処理プログラムを提供することを目的としている。 発明の開示
課題を解決するための手段
[0015] 上記の目的を達成するために、本発明による画像処理システムは、撮像素子から の複数の色信号で構成される映像信号に対してノイズ低減処理を行う画像処理シス テムであって、上記映像信号からノイズ低減処理を行う対象となる注目領域と該注目 領域の近傍に位置する少なくとも 1つの近傍領域とを含む局所領域を抽出する抽出 手段と、上記注目領域および上記近傍領域毎に上記複数の色信号を構成成分とす るベクトル信号を導出するベクトル化手段と、上記注目領域のベクトル信号に基づ!/ヽ て上記局所領域内の各ベクトル信号に関する重み係数を設定する設定手段と、上記 局所領域内のベクトル信号に対して上記重み係数を用いたフィルタリング処理を行う フィルタリング手段と、上記フィルタリング処理により得られたベクトル信号に基づ！/、て 上記注目領域のベクトル信号のノイズを低減するノイズ低減手段と、を具備したもの である。
[0016] また、本発明による画像処理プログラムは、コンピュータに、撮像素子からの複数の 色信号で構成される映像信号に対してノイズ低減処理を行わせるための画像処理プ ログラムであって、コンピュータに、上記映像信号からノイズ低減処理を行う対象とな る注目領域と該注目領域の近傍に位置する少なくとも 1つの近傍領域とを含む局所 領域を抽出する抽出ステップと、上記注目領域および上記近傍領域毎に上記複数 の色信号を構成成分とするベクトル信号を導出するベクトル化ステップと、上記注目 領域のベクトル信号に基づいて上記局所領域内の各ベクトル信号に関する重み係 数を設定する設定ステップと、上記局所領域内のベクトル信号に対して上記重み係 数を用いたフィルタリング処理を行うフィルタリングステップと、上記フィルタリング処理 により得られたベクトル信号に基づ 、て上記注目領域のベクトル信号のノイズを低減 するノイズ低減ステップと、を実行させるためのプログラムである。
図面の簡単な説明
[0017] [図 1]本発明の実施形態 1における画像処理システムの構成を示すブロック図。
[図 2]上記実施形態 1において、べィヤー型 6 X 6画素の例における局所領域の構成 と局所領域内の信号のベクトル化とを説明するための図。
[図 3]上記実施形態 1において、べィヤー型 10 X 10画素の例における局所領域の 構成と局所領域内の信号のベクトル化とを説明するための図。
[図 4]上記実施形態 1にお 、て、色差線順次型 6 X 6画素の例における局所領域の 構成と局所領域内の信号のベクトル化とを説明するための図。
[図 5]上記実施形態 1における重み設定部の構成を示すブロック図。
圆 6]上記実施形態 1において、近傍領域のベクトル信号に関する重み係数 W;を算 出するための関数の様子を示す線図。
[図 7]上記実施形態 1において、注目領域のベクトル信号に関する重み係数 wの算
0 出法を説明するための線図。
[図 8]上記実施形態 1におけるノイズ推定部の構成を示すブロック図。
[図 9]上記実施形態 1にお ヽて、ベクトル信号のノルムに対するノイズ量の関係を示 す線図。
[図 10]上記図 9に示すノイズモデルを簡略ィ匕したノイズモデルを示す線図。
[図 11]上記図 10に示した簡略ィ匕されたノイズモデルを用いてノイズ量を算出する方 法を説明するための線図。
[図 12]上記実施形態 1におけるフィルタリング部の構成を示すブロック図。
[図 13]上記実施形態 1における画像処理システムの他の構成を示すブロック図。
[図 14]上記実施形態 1にお 、て、画像処理プログラムによる信号処理全体の流れを 示すフローチャート。
[図 15]上記図 14のステップ S5におけるノイズ量推定の処理の詳細を示すフローチヤ ート。
[図 16]本発明の実施形態 2における画像処理システムの構成を示すブロック図。 圆 17]上記実施形態 2において、三板型 5 X 5画素の局所領域の構成と局所領域内 の信号のベクトルィ匕とを説明するための図。
[図 18]上記実施形態 2における重み設定部の構成を示すブロック図。
圆 19]上記実施形態 2において、近傍領域のベクトル信号に関する重み係数 wを算 出するための関数の様子を示す線図。
[図 20]上記実施形態 2におけるノイズ推定部の構成を示すブロック図。
[図 21]上記実施形態 2において、画像処理プログラムによる信号処理全体の流れを 示すフローチャート。
[図 22]上記図 21のステップ S30におけるノイズ量推定の処理の詳細を示すフローチ ヤート。
発明を実施するための最良の形態
[0018] 以下、図面を参照して本発明の実施の形態を説明する。
[0019] [実施形態 1]
図 1から図 15は本発明の実施形態 1を示したものであり、図 1は画像処理システム の構成を示すブロック図、図 2はべィヤー型 6 X 6画素の例における局所領域の構成 と局所領域内の信号のベクトルィ匕とを説明するための図、図 3はべィヤー型 10 X 10 画素の例における局所領域の構成と局所領域内の信号のベクトル化とを説明するた めの図、図 4は色差線順次型 6 X 6画素の例における局所領域の構成と局所領域内 の信号のベタトル化とを説明するための図、図 5は重み設定部の構成を示すブロック 図、図 6は近傍領域のベクトル信号に関する重み係数 wを算出するための関数の様 子を示す線図、図 7は注目領域のベクトル信号に関する重み係数 wの算出法を説
0
明するための線図、図 8はノイズ推定部の構成を示すブロック図、図 9はベクトル信号 のノルムに対するノイズ量の関係を示す線図、図 10は図 9に示すノイズモデルを簡 略ィ匕したノイズモデルを示す線図、図 11は図 10に示した簡略ィ匕されたノイズモデル を用いてノイズ量を算出する方法を説明するための線図、図 12はフィルタリング部の 構成を示すブロック図、図 13は画像処理システムの他の構成を示すブロック図、図 1 4は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図 15は 図 14のステップ S5におけるノイズ量推定の処理の詳細を示すフローチャートである。
[0020] まず、図 1を参照して、この画像処理システムの構成について説明する。図 1に示す 画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例とな つている。
[0021] この画像処理システムは、レンズ系 100と、絞り 101と、 CCD102と、温度センサ 10 3と、増幅部 104と、 AZD変換部 105と、バッファ 106と、プレホワイトバランス部 107 と、測光評価部 108と、合焦点検出部 109と、 AFモータ 110と、抽出部 111と、ベタト ル化部 112と、重み設定部 113と、フィルタリング部 114と、ノイズ低減部 115と、スカ ラー化部 116と、信号処理部 117と、出力部 118と、制御部 119と、外部 iZF部 120 と、を含んでいる。 [0022] レンズ系 100は、被写体の光学像を CCD102の撮像面へ結像するためのものであ る。
[0023] 絞り 101は、レンズ系 100により結像される被写体光束の通過範囲を規定すること により、 CCD102の撮像面に結像される光学像の明るさを変更するためのものである
[0024] CCD102は、結像される光学像を光電変換して、アナログの映像信号として出力 するための撮像素子である。なお、本実施形態においては、 CCD102として、図 2 ( A)や図 3 (A)に示すようなべィヤー（Bayer)型の原色カラーフィルタが前面に配置 された単板撮像素子を想定している。なお、これに限らず、 CCD102として、図 4 (A) に示すような色差線順次型のカラーフィルタが前面に配置された単板撮像素子等を 用いても構わない。また、撮像素子も、 CCDに限るものではなぐ CMOSやその他の 撮像素子を用いてももちろん構わな 、。
[0025] 温度センサ 103は、収集手段であって、この CCD102の温度を実質的に計測して 、制御部 119へ出力するものである。
[0026] 増幅部 104は、 CCD102から出力される映像信号を増幅するためのものである。こ の増幅部 104による増幅量は、制御部 119の制御に基づき、プレホワイトバランス部 107や測光評価部 108により設定されるようになっている。
[0027] AZD変換部 105は、 CCD102から出力され増幅部 104により増幅されたアナログ の映像信号を、デジタルの映像信号に変換するためのものである。
[0028] バッファ 106は、 AZD変換部 105から出力されたデジタルの映像信号を一時的に 記憶するためのものである。
[0029] プレホワイトバランス部 107は、プリ撮影モード時に、バッファ 106に記憶されている 映像信号の内の所定レベル範囲内の信号を色信号毎に積算する（つまり、累計的に 加算する）ことにより、簡易ホワイトバランス係数を算出し、増幅部 104を制御するもの である。
[0030] 測光評価部 108は、プリ撮影モード時に、バッファ 106に記憶されている映像信号 中の輝度レベルを求めて、設定されて 、る ISO感度や手ぶれ限界のシャツタ速度な どを考慮して、適正露光となるような絞り 101の絞り値や CCD102の電子シャツタ速 度や増幅部 104の増幅率などを制御するものである。
[0031] 合焦点検出部 109は、プリ撮影モード時に、バッファ 106に記憶されている映像信 号中のエッジ強度を検出して、このエッジ強度が最大となるように AFモータ 110を制 御することにより、合焦信号を得るようにするものである。
[0032] AFモータ 110は、合焦点検出部 109に制御されて、レンズ系 100に含まれる AFレ ンズを駆動するための駆動源である。
[0033] 抽出部 111は、本撮影時に、バッファ 106に記憶されている映像信号から、例えば 図 2 (A)に示すような（あるいは図 3 (A)に示すような、または図 4 (A)に示すような） 局所領域を順次抽出して、ベクトルィ匕部 112へ出力する抽出手段である。
[0034] ベクトルィ匕部 112は、抽出部 111から抽出された局所領域の映像信号をベクトル化
(図 2 (B)、図 3 (B)、図 4 (B)等参照）して、重み設定部 113、フィルタリング部 114、 ノイズ低減部 115へ出力するためのベクトルィ匕手段である。
[0035] 重み設定部 113は、制御部 119の制御に基づき、ベクトルィ匕部 112から出力される 局所領域内の全ベクトル信号に関する重み係数を算出して、フィルタリング部 114へ 転送する設定手段である。
[0036] フィルタリング部 114は、制御部 119の制御に基づき、ベクトル化部 112から出力さ れるベクトル信号に対して、重み設定部 113から出力される重み係数を用いてフィル タリング処理を行 、、処理結果をノイズ低減部 115へ転送するフィルタリング手段であ る。
[0037] ノイズ低減部 115は、制御部 119の制御に基づき、ベクトルィ匕部 112から出力され る注目領域のベクトル信号と、フィルタリング部 114から出力されるフィルタリング処理 がなされたベクトル信号と、を用いて注目領域のベクトル信号のノイズ低減処理を行 い、ノイズ低減後のベクトル信号をスカラー化部 116へ転送するノイズ低減手段、平 均化手段である。
[0038] スカラー化部 116は、制御部 119の制御に基づき、ノイズ低減部 115から出力され るノイズ低減処理がなされたベクトル信号を、 CCD102本来の色信号、本実施形態 においては例えば R, Gr, Gb, Bの色信号へ変換して、信号処理部 117へ転送する スカラー化手段である。 [0039] なお、上述した、抽出部 111,ベクトルィ匕部 112,重み設定部 113,フィルタリング 部 114,ノイズ低減部 115,スカラー化部 116の各処理は、制御部 119の制御に基 づ 、て、局所領域単位で同期して行われるようになって 、る。
[0040] 信号処理部 117は、制御部 119の制御に基づき、スカラー化部 116から出力される ノイズ低減後の映像信号に対して、公知の補間処理、強調処理、圧縮処理などを行 い、処理後の信号を出力部 118へ転送するものである。
[0041] 出力部 118は、信号処理部 117から出力される映像信号を、メモリカードなどの記 録媒体へ記録して保存するものである。
[0042] 制御部 119は、例えばマイクロコンピュータなどにより構成されていて、増幅部 104 、 AZD変換部 105、プレホワイトバランス部 107、測光評価部 108、合焦点検出部 1 09、抽出部 111、ベクトルィ匕部 112、重み設定部 113、フィルタリング部 114、ノイズ 低減部 115、スカラー化部 116、信号処理部 117、出力部 118、外部 iZF部 120と 双方向に接続されており、これらを含むこのデジタルカメラ全体を制御するための制 御手段である。この制御部 119には、さらに、 CCD102の近傍に配置された温度セ ンサ 103からの信号が入力されるようになっている。そして、制御部 119は、収集手 段およびゲイン算出手段を兼ねたものとなっている。
[0043] 外部 IZF部 120は、画像処理システムが適用されたこのデジタルカメラに対するュ 一ザからの入力等を行うためのインターフェースであり、電源のオン Zオフを行うため の電源スィッチ、撮影操作を開始するためのシャツタボタン、撮影モードやその他各 種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。ユー ザは、この外部 IZF部 120を介して、 2段式のシャツタボタンの 1段目の押圧によるプ リ撮影の開始入力、該シャツタボタンの 2段目の押圧による本撮影の開始入力を行う ことができるようになつている。さらに、ユーザは、この外部 I/F部 120を介して、 ISO 感度の設定なども行うことができるようになつている。そして、この外部 IZF部 120は、 入力された情報を、制御部 119へ出力するようになって 、る。
[0044] 次に、図 1に示したようなデジタルカメラの作用を、映像信号の流れに沿って説明す る。
[0045] ユーザは、撮影を行う前に、外部 IZF部 120を介して ISO感度などの撮影条件を 予め設定する。
[0046] その後、ユーザが、外部 IZF部 120の 2段式スィッチでなるシャツタボタンを半押し すると、このデジタルカメラがプリ撮影モードに入る。
[0047] すると、レンズ系 100および絞り 101を介して結像される被写体像力 CCD102に より光電変換され、アナログの映像信号として出力される。
[0048] このアナログの映像信号は、増幅部 104によって後述するように ISO感度やホワイト ノ《ランスを考慮した増幅が行われた後に、 AZD変換部 105によりデジタルの映像信 号に変換されて、バッファ 106に記憶される。
[0049] このバッファ 106内に記憶された映像信号は、プレホワイトバランス部 107と、測光 評価部 108と、合焦点検出部 109と、へそれぞれ転送される。
[0050] プレホワイトバランス部 107は、映像信号に基づき、上述したように簡易ホワイトバラ ンス係数を算出して、算出した簡易ホワイトバランス係数を増幅部 104へ転送する。 これにより、増幅部 104は、色信号毎に異なるゲインを設定して各色信号を増幅し、 簡易ホワイトバランス処理を行う。
[0051] 測光評価部 108は、映像信号に基づき、上述したように絞り 101の絞り値や CCD1
02の電子シャツタ速度や増幅部 104の増幅率などを適正露光となるように制御する
[0052] 合焦点検出部 109は、映像信号に基づき、上述したようにエッジ強度を検出し、こ のエッジ強度が最大となるように AFモータ 110を制御して、合焦信号を得る。
[0053] こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで 、ユーザが、外部 IZF部 120の 2段式スィッチでなるシャツタボタンを全押しすると、こ のデジタルカメラが本撮影モードに入る。
[0054] すると、プリ撮影と同様にして、映像信号力 Sバッファ 106へ転送される。この本撮影 は、プレホワイトバランス部 107によって求められた簡易ホワイトバランス係数と、測光 評価部 108によって求められた露光条件と、合焦点検出部 109によって求められた 合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部 119へ転送 される。
[0055] 本撮影によって得られたバッファ 106内の映像信号は、まず、抽出部 111へ転送さ れる。
[0056] この抽出部 111は、制御部 119の制御に基づき、図 2 (A)に示すような局所領域を 順次抽出して、ベクトル化部 112へ転送する。ここに、局所領域は、後述するように、 注目領域と、この注目領域に係る近傍領域と、を含む領域である。
[0057] ベクトルィ匕部 112は、制御部 119の制御に基づき、図 2 (B)に示すように、注目領 域および各近傍領域から、 R, Gr, Gb, Bを成分とする 4次元のベクトル信号を導出 する。そして、ベクトルィ匕部 112は、導出したベクトル信号を、重み設定部 113と、フィ ルタリング部 114と、ノイズ低減部 115と、へそれぞれ転送する。
[0058] 重み設定部 113は、制御部 119の制御に基づき、注目領域のベクトル信号を用い て局所領域内の全べ外ル信号に関する重み係数を算出し、算出した重み係数をフ ィルタリング部 114へ転送する。
[0059] フィルタリング部 114は、制御部 119の制御に基づき、ベクトル化部 112からのべク トル信号に対して、重み設定部 113からの重み係数を用いてフィルタリング処理を行 Vヽ、処理結果をノイズ低減部 115へ転送する。
[0060] ノイズ低減部 115は、制御部 119の制御に基づき、ベクトルィ匕部 112からの注目領 域のベクトル信号とフィルタリング部 114からのフィルタリング処理がなされたベクトル 信号とを用いて、注目領域のベクトル信号のノイズ低減処理を行い、ノイズ低減後の ベクトル信号をスカラー化部 116へ転送する。
[0061] スカラー化部 116は、制御部 119の制御に基づき、ノイズ低減部 115からのノイズ 低減処理がなされたベクトル信号を、撮像素子本来の色信号、本実施形態において は R, Gr, Gb, Bの色信号へ変換し、信号処理部 117へ転送する。
[0062] 信号処理部 117は、制御部 119の制御に基づき、スカラー化部 116から出力される ノイズ低減後の映像信号に対して、上述したように、公知の補間処理、強調処理、圧 縮処理などを行!、、処理後の信号を出力部 118へ転送する。
[0063] 出力部 118は、信号処理部 117から出力される映像信号を、メモリカードなどの記 録媒体へ記録して保存する。
[0064] 続いて、図 2〜図 4を参照して、局所領域の構成と、局所領域内の映像信号のベタ トル化と、について説明する。 [0065] まず、図 2 (A)は、局所領域として、 6 X 6画素の領域を抽出するケースを示して ヽ る。
[0066] 図 2 (A)に示すようなべィヤー（Bayer)型の原色フィルタは、 2 X 2画素を基本単位 として、この基本単位内の対角する画素位置に赤 (R) ,青（B)フィルタが 1つずつ、 残りの対角する画素位置に緑 (Gr, Gb)フィルタがそれぞれ、配置されたものとなつ ている。なお、緑フィルタ Grと緑フィルタ Gbとは同一のフィルタである力 本実施形態 では処理の便宜上これを区別して、赤 (R)フィルタと同一ライン上に位置する緑フィ ルタを Gr、青（B)フィルタと同一ライン上に位置する緑フィルタを Gbとするものとする
[0067] そして、図 2 (A)に示すような 6 X 6画素サイズの局所領域において、注目領域は、 中央に位置する 2 X 2画素 (R , Gr , Gb , B )の領域である。また、近傍領域は、こ
4 4 4 4
の注目領域を包含するような 2 X 2画素の領域であって、かつ、隣接する近傍領域と 1行または 1列ずつオーバーラップするように配置された領域である。局所領域は 6 X 6画素サイズであるために、オーバーラップするように配置される 2 X 2画素の領域は 全部で（6— 1) X (6- 1) = 25個である。この内の 1つは上述した注目領域であるた めに、局所領域内の近傍領域は全部で 24個となる。
[0068] 抽出部 111は、注目領域が全映像信号をカバーするように (すなわち、注目領域が 2行ずつまたは 2列ずつずれて 、くように)局所領域の抽出を行うために、上述したよ うな局所領域が 6 X 6画素サイズであるときには、抽出部 111は、局所領域を、横に 隣接する局所領域に対して 4列だけオーバーラップするように、また縦に隣接する局 所領域に対して 4行だけオーバラップするように、抽出する。
[0069] 次に、図 2 (B)は、ベクトルィ匕部 112により生成される、注目領域および近傍領域に 対応するベクトル信号、の配置を示している。なお、以後は、注目領域のベクトル信 号を Vにより、近傍領域のベクトル信号を V (i= l〜24)により、それぞれ表すものと
0 i
する。
[0070] 上述したように、映像信号のベクトル化を、 {R, Gr, Gb, B}の成分をもつ 4次元べ タトルにより行う場合には、図 2 (B)に示す注目領域のベクトル信号 Vは、図 2 (A)を
0
参照すれば、次の数式 1により示される。 [数 1]
V = {v , v , ν , ν } = {R , Gr , Gb , Β }
0 01 02 03 04 4 4 4 4
[0071] なお、局所領域は、図 2 (Α)に示すような構成をとるに限るものではない。例えば図 3 (A)に示すように、 10 X 10画素サイズの局所領域をとるようにしても構わない。この 例においては、注目領域は、中央に位置する 2 X 2画素（R , Gr , Gb , B )の領
12 12 12 12 域である。また、近傍領域は、この注目領域の周囲を包含するような 2 X 2画素の領 域であって、かつ、隣接する近傍領域とはオーバーラップしないように配置された領 域である。局所領域は 10 X 10画素サイズであるために、オーバーラップしないように 配置される 2 X 2画素の領域は全部で（10Z2) X (10/2) = 25個である。この内の 1つは上述した注目領域であるために、局所領域内の近傍領域は全部で 24個となる 。そして、この場合には、図 3 (B)に示す注目領域のベクトル信号 Vは、図 3 (A)を参
0
照すれば、次の数式 2により示される。
[数 2]
V = {ν , V , V , V } = {R , Gr , Gb , B }
0 01 02 03 04 12 12 12 12
[0072] このように、注目領域および近傍領域をベクトル化する上で必要となる R, Gr, Gb, Bの色信号を含んで ヽれば、任意の形態で構成された局所領域を採用することがで きる。力！]えて、上述では、 1つの注目領域に対して 24個の近傍領域を含むように局所 領域を設定しているが、これに限らず、 1つの注目領域に対して異なる数の近傍領域 を含むように局所領域を設定するようにしても構わな 、。
[0073] さらに、上述ではべィヤー（Bayer)型原色フィルタを前面に配置した CCDを使用し ているが、このような構成に限定されるものでもない。例えば、 CCD102として、色差 線順次型補色フィルタを前面に配置した CCDを使用することも可能である。
[0074] 図 4 (A)は、色差線順次型の補色フィルタの構成を示して 、る。この色差線順次方 式の補色フィルタは、 2 X 2画素を基本単位として、シアン（Cy)およびイェロー（Ye) 力 X 2画素の同一ラインに、マゼンタ（Mg)および緑（G)が 2 X 2画素の他の同一ラ インに、それぞれ配置されたものとなっている。ただし、マゼンタ (Mg) ,緑 (G)の位 置は、ライン毎に反転するように構成されている。
[0075] このような構成において、局所領域として図 4 (A)に示すような 6 X 6画素の領域を 抽出するケースでは、注目領域は、局所領域の中央に位置する 2 X 2画素（Cy , Ye
4
, Mg , G )の領域である。また、近傍領域は、この注目領域を包含するような 2 X 2
4 4 4
画素の領域であって、かつ、隣接する近傍領域と 1行または 1列ずつオーバーラップ するように配置された領域である。局所領域内の近傍領域の数は、図 2 (A)に示した 例と同様の理由により、全部で 24個となる。
[0076] そして、この場合には、図 4 (B)に示す注目領域のベクトル信号 Vは、図 4 (A)を参
0
照すれば、次の数式 3により示される。
[数 3]
V = {ν , V , V , V } = {Cy , Ye , Mg , G }
0 01 02 03 04 4 4 4 4
[0077] このように、色差線順次型補色フィルタを前面に配置した CCDの場合にも、注目領 域および近傍領域をベクトル化する上で必要となる Cy, Ye, Mg, Gの色信号を含ん でいれば、任意の形態で構成された局所領域を採用することができる。さらに、 1つ の注目領域に対して 24個以外の近傍領域を含むように局所領域を設定するようにし ても構わな ヽことも同様である。
[0078] カロえて、べィヤー（Bayer)型の色フィルタや色差線順次型の色フィルタに限らず、 任意の色フィルタを用いた撮像素子であっても、同様に、撮像素子の全色信号を含 む形態で注目領域および局所領域を設定すれば、ベクトル化を行うことが可能であ る。そして、ベクトルィ匕は 4次元により行うに限るものではなぐ一般に n (nは 2以上の 整数であり、より限定的には 3以上の整数となる。）次元により行うことができる。
[0079] 次に、図 5を参照して、重み設定部 113について説明する。この図 5は、重み設定 部 113の構成の一例を示したものである。
[0080] この重み設定部 113は、ノルム算出部 200と、第 1バッファ 201と、ノイズ推定部 20 2と、定数算出部 203と、ノルム選択部 204と、重み係数算出部 205と、第 2バッファ 2 06と、距離測度算出部 207と、第 3バッファ 208と、平均測度算出部 209と、乖離度 算出部 210と、注目ベクトル重み係数算出部 211と、を含んでいる。
[0081] ここに、ベクトル化部 112は、ノルム算出部 200と距離測度算出部 207とへそれぞ れ接続されている。また、ノルム算出手段であるノルム算出部 200は、第 1バッファ 20 1へ接続されている。第 1バッファ 201は、ノイズ推定部 202とノルム選択部 204とへ それぞれ接続されている。ノイズ推定手段であるノイズ推定部 202は、定数算出部 2 03と乖離度算出部 210とへそれぞれ接続されている。定数算出手段である定数算 出部 203は、重み係数算出部 205へ接続されている。ノルム選択部 204は、重み係 数算出部 205へ接続されている。重み係数算出手段である重み係数算出部 205は 、第 2バッファ 206へ接続されている。平均測度値算出手段である距離測度算出部 2 07は、第 3バッファ 208へ接続されている。第 3バッファ 208は、平均測度算出部 20 9へ接続されている。平均測度値算出手段である平均測度算出部 209は、乖離度算 出部 210へ接続されている。乖離度算出手段である乖離度算出部 210は、注目べク トル重み係数算出部 211へ接続されている。注目ベクトル重み係数算出手段である 注目ベクトル重み係数算出部 211は、第 2バッファ 206へ接続されている。さらに、第 2バッファ 206および第 3バッファ 208は、フィルタリング部 114へそれぞれ接続され ている。
[0082] また、制御部 119は、ノルム算出部 200,ノイズ推定部 202,定数算出部 203,ノル ム選択部 204,重み係数算出部 205,距離測度算出部 207,平均測度算出部 209 ,乖離度算出部 210,注目ベクトル重み係数算出部 211と双方向に接続されていて 、これらを制御するようになっている。
[0083] 次に、このような重み設定部 113の作用について説明する。
[0084] ノルム算出部 200は、制御部 119の制御に基づき、ベクトルィ匕部 112から注目領域 のベクトル信号 Vおよび近傍領域のベクトル信号 Vを順次読み込んで、各ベクトル
0 i
信号のノルムを算出する。
[0085] すなわち、ノルム算出部 200は、まず、注目領域のベクトル信号 Vのノルム ||V
0 0 IIを、 次の数式 4に示す定義に基づき、算出する。
画
Figure imgf000016_0001
[0086] さらに、ノルム算出部 200は、近傍領域のベクトル信号 Vのノルム ||ν;||も同様に、次 の数式 5に示すように算出する。
[0087] [数 5]
Figure imgf000017_0001
[0088] こうしてノルム算出部 200により算出されたノルムは、第 1バッファ 201へ転送されて 記録される。
[0089] ノイズ推定部 202は、制御部 119の制御に基づき、第 1バッファ 201から注目領域 のベクトル信号 Vのノルム ||V IIを読み込むとともに、制御部 119からの撮影時の情報
0 0
を取得する。そして、ノイズ推定部 202は、読み込んだノルム ||v 0 IIと取得した撮影時 の情報とに基づいて、注目領域のベクトル信号 Vに関するノイズ量 Nを推定し、推
0 0
定したノイズ量 Nを定数算出部 203と乖離度算出部 210とへ各転送する。さらに、ノ
0
ィズ推定部 202は、注目領域のベクトル信号 Vのノルム ||V
0 0 IIも定数算出部 203へ転 送する。
[0090] 定数算出部 203は、制御部 119の制御に基づき、ノイズ推定部 202から注目領域 のベクトル信号 Vのノルム ||v
0 IIおよびノイズ量 Nを読み込み、近傍領域に係る重み
0 0
係数の算出に用いる関数の定数項を算出する。本実施形態においては、近傍領域 に係る重み係数の算出に用いる関数として、例えば図 6に示すような 3つの 1次関数 を組み合わせたものを用いるようになつている。この関数は、近傍領域のベクトル信 号 v;のノルム llv.llを入力として、ベクトル信号に関する重み係数 wを出力するもので ある。こうして得られる重み係数 Wを用いると、後述するように、注目領域のベクトル信 号 Vと異なるベクトル信号の寄与度が小さくなつて、エッジ構造が保存されるようにな
0
る。この図 6に示すような 3つの 1次関数は、具体的には、次の数式 6により定義される
[数 6]
Figure imgf000017_0002
[0091] この数式 6に示す関数形状を決定するために必要な定数項は、符号の違いを除け ば、 1/Nと ||V ll/Nとの 2項である。従って、定数算出部 203は、これら 2項目の定
0 0 0
数項を算出して重み係数算出部 205へ転送する。
[0092] ノルム選択部 204は、制御部 119の制御に基づき、定数算出部 203が定数項を重 み係数算出部 205へ転送した後に、第 1バッファ 201から近傍領域のベクトル信号 のノルム ||V IIを順次選択して、重み係数算出部 205へ転送する。
[0093] 重み係数算出部 205は、制御部 119の制御に基づき、ノルム選択部 204から転送 される近傍領域のベクトル信号 Vのノルム ||v IIに対して、数式 6に基づき重み係数 w を算出し、第 2バッファ 206へ転送する。
[0094] 一方、距離測度算出部 207は、制御部 119の制御に基づき、ベクトルィ匕部 112から 注目領域のベクトル信号 Vおよび近傍領域のベクトル信号 Vを読み込み、次の数式
0 i
7に示すような 2つのベクトル信号間の距離測度値 d (V， V) (k=0〜24， 1=0〜24 k 1
)を算出する。
[数 7] fe )
Figure imgf000018_0001
なお、この距離測度値 d (V ， V)は、ベクトル Vとベクトル Vとの差分ベクトルのノル
k 1 k 1
ム ||v k - v 1 IIである。
[0095] そして、本実施形態においては、局所領域内に 25のベクトル信号が存在するため に、 25 X 25 = 625の距離測度値が算出され、算出された全ての距離測度値が第 3 ノ ッファ 208へ転送され記録される。なお、距離測度値は、交換に関する対称性 d(V , V) =d (V , V )があり、かつ、同一のベクトル信号同士から算出されるノルムは 0に k 1 l k
なる (d (V , V ) =0になる)ために、重複する距離測度値の算出等を省略することも
k k
可能であり、このときには（625— 25) Z2 = 300個の距離測度値を算出すれば足り る。
[0096] 平均測度算出部 209は、制御部 119の制御に基づき、第 3バッファ 208から注目領 域のべ外ル信号 Vと近傍領域のベクトル信号 Vとの間の距離測度値 d(V , V)を読
0 i 0 i み込み、この距離測度値 d (V , V)の平均値 Δを次の数式 8に示すように算出する。
0 i [数 8]
Figure imgf000019_0001
[0097] こうして平均測度算出部 209により算出された平均値 Δは、乖離度算出部 210へ 転送される。
[0098] 乖離度算出部 210は、制御部 119の制御に基づき、ノイズ推定部 202から注目領 域のベクトル信号 Vのノイズ量 Νを読み込むとともに、平均測度算出部 209から平
0 0
均値 Δを読み込む。そして、乖離度算出部 210は、読み込んだノイズ量 Νおよび平
0 均値 Δに基づき、注目領域のベクトル信号と近傍領域のベクトル信号との間の乖離 度 Δ ΖΝを算出して、算出した乖離度 Δ ΖΝを注目ベクトル重み係数算出部 211
0 0
へ転送する。
[0099] 注目ベクトル重み係数算出部 211は、制御部 119の制御に基づき、乖離度算出部 210から乖離度 Δ ΖΝを読み込んで、読み込んだ乖離度 Δ ΖΝを用いて、次の数
0 0
式 9に示すような注目領域のベクトル信号 Vjこ関する重み係数 wを求める。
[数 9]
Figure imgf000019_0002
.
ここに、右辺の記号 max (χ, y)は、 xと yとの小さくない方の値をとることを意味して いる。
[0100] ここで、図 7を参照して、注目領域のベクトル信号 Vに関する重み係数 wの算出に
0 0 ついて説明する。
[0101] 注目領域のベクトル信号 Vが孤立点ノイズである場合には、重み係数 wを大きくす
0 0
ることによって寄与度を小さくする（後述するように、重み係数が大きい方が寄与度が 小さくなる。）必要がある。これに対して、注目領域のベクトル信号 Vが孤立点ノイズ
0
でない場合には、重み係数 wを小さくすることによって寄与度を大きくする必要があ
0
る。 [0102] 従って、重み係数 wを決定するためには、注目領域のベクトル信号 Vがどの程度
0 0
孤立点ノイズとなっているかを把握する必要がある。このためには、例えば、数式 8に 示すような距離測度値 d(V , V)の平均値 Δをノイズ量 Nで除算することにより、注
0 i 0
目領域のベクトル信号 Vが他のベクトル信号 Vとどの程度有意に乖離して 、るかを
0 i
求めるようにすれば良い。こうして、注目領域のベクトル信号 Vが孤立点ノイズである
0
程度は、上述した乖離度 Δ ΖΝに比例すると考えられる。なお、数式 9における pは
0
調整用のパラメータであり、例えば p = 0. 2〜0. 8程度の値が用いられる。
[0103] こうして注目ベクトル重み係数算出部 211により算出された重み係数 wは、第 2バッ
0
ファ 206へ転送される。
[0104] 従って、第 2バッファ 206には、近傍領域のベクトル信号 Vの重み係数 wと、注目領 域のベクトル信号 Vの重み係数 wと、力保存されること〖こなる。
0 0
[0105] 第 2バッファ 206内の重み係数 w
0， wと、第 3バッファ 208内の距離測度値 d(V i l， V
k
)とは、必要に応じてフィルタリング部 114へ転送される。
[0106] 次に、図 8を参照して、ノイズ推定部 202について説明する。この図 8は、ノイズ推定 部 202の構成の一例を示すものである。
[0107] このノイズ推定部 202は、ゲイン算出部 300と、標準値付与部 301と、パラメータ用 ROM302と、パラメータ選択部 303と、補間部 304と、補正部 305と、を含んでいる。
[0108] ここに、第 1バッファ 201は、ノイズ量算出手段でありパラメータ選択手段たるパラメ ータ選択部 303へ接続されている。また、ゲイン算出部 300、標準値付与部 301、パ ラメータ用 ROM302は、ノラメータ選択部 303へそれぞれ接続されている。パラメ一 タ選択部 303は、補間部 304と補正部 305とへ接続されている。ノイズ量算出手段で あり基準ノイズ量算出手段たる補間部 304は、補正部 305へ接続されている。ノイズ 量算出手段であり基準ノイズ量補正手段たる補正部 305は、定数算出部 203と乖離 度算出部 210とへそれぞれ接続されている。
[0109] そして、制御部 119は、ゲイン算出部 300,標準値付与部 301,パラメータ選択部 3 03,補間部 304,補正部 305と双方向に接続されていて、これらを制御するようにな つている。
[0110] 次に、このようなノイズ推定部 202の作用について説明する。 [0111] ノラメータ選択部 303は、制御部 119の制御に基づき、第 1バッファ 201から注目 領域のベクトル信号 Vのノルム ||v IIを読み込む。
0 0
[0112] 一方、収集手段でありゲイン算出手段たるゲイン算出部 300は、制御部 119から転 送される ISO感度と露光条件に関する情報 (露出情報）とホワイトバランス情報との内 の少なくとも 1つに基づいて、増幅部 104における増幅量を求め、求めた増幅量をパ ラメータ選択部 303へ転送する。
[0113] また、制御部 119は、温度センサ 103から CCD102の温度情報を取得して、取得 した温度情報をパラメータ選択部 303へ転送する。
[0114] パラメータ選択部 303は、第 1バッファ 201からの注目領域のベクトル信号 Vのノル
0 ム ||v IIと、ゲイン算出部 300からのゲインの情報と、制御部 119からの温度情報と、
0
に基づいて、注目領域のベクトル信号 Vのノイズ量 Nを推定する。
0 0
[0115] ここで、図 9〜図 11を参照して、ノイズ量の推定に関して説明する。
[0116] ノイズ量 Nは、図 9に示すように、ベクトル信号のノルム IIVllが増加するとともに増加 する傾向を示し、このときの増加は、ノルム llvllに対して 2次曲線的な増加となる。そこ で、この増加の様子を 2次関数を用いてモデルィ匕すると、次の数式 10に示すようにな る。
[数 10]
Figure imgf000021_0001
ここに、 α , β , γは定数項である。
[0117] し力しながら、ノイズ量 Νは、ノルム llvllの変化のみにより変化するのではなぐ撮像 素子の温度や映像信号に対するゲインによっても変化する。例えば、図 9は、ゲイン に関連する 3種類の ISO感度 100 (ゲイン X I) , 200 (ゲイン X 2) , 400 (ゲイン X 4) に対するノイズ量 Nをプロットしたものである。
[0118] 図 9に示す個々の曲線は、数式 10に示したような形状をしている力 その係数はゲ インに関連する ISO感度に応じて異なっている。また、図示はしないが、ノイズ量 Nは
、撮像素子の温度によっても変化し、一般に、撮像素子の温度が高くなると増加する 傾向を示す。 [0119] こうして、ゲインを g、温度を tとして、ノイズモデルの定式ィ匕を上述したようなノイズ量 Nのゲイン gや温度 tへの依存性も考慮した形で行うと、次の数式 11に示すようになる
[数 11]
Figure imgf000022_0001
ここに、 α , j8 , γ は、ゲイン gと温度 tとに依存して定まる定数項である。
gt gt gt
[0120] ただし、数式 11に示すような関数を複数記録して、その都度演算によりノイズ量を 算出することは処理的に負荷が大きい。このために、図 10に示すようなモデルの簡 略ィ匕を行う。すなわち、図 10に示すような簡略ィ匕されたモデルにおいては、最大のノ ィズ量を与えるモデルを基準ノイズモデルとして選択し、さら〖こ、この基準ノイズモデ ルを所定数の変曲点を有する折れ線で近似する。ここに、変曲点は、ノルム llvllとノィ ズ量 Nとから構成される座標データ（IIVll , N )により表す。ただし、 nは変曲点の番 号を示している。また、上記基準ノイズモデルカゝら他のノイズモデルを導出するため の補正係数 kを用意する。この補正係数 k は、各ノイズモデルと基準ノイズモデルと gt gt
を用いて、最小自乗法により算出される。こうして算出した補正係数 kを基準ノイズモ gt
デルに乗算することにより、他のノイズモデルを導出するようになっている。
[0121] 図 11を参照して、図 10に示すような簡略ィ匕されたノイズモデルカゝらノイズ量を算出 する方法について説明する。
[0122] 例えば、ノルム ||v||、ゲイン g、温度 tに対応するノイズ量 Nを求めることを想定する。
まず、ノルム llvllが基準ノイズモデルのどの区間に属するかを探索する。ここではノル ム llvllが、（llvll , N )と（llvll , N )との間の区間に属するものとする。このとき、基
n n n+1 n+1
準ノイズモデルにおける基準ノイズ量 を、次の数式 12に示すような線形補間によ つて求める
[数 12]
Figure imgf000022_0002
[0123] 次に、次の数式 13に示すように、求めた基準ノイズ量 Νに補正係数 kを乗算する
V gt ことにより、ノイズ量 Nを求める
[数 13]
N = kgt ' N
[0124] 図 8に沿った説明に戻って、パラメータ選択部 303は、第 1バッファ 201から注目領 域のベクトル信号 Vのノルム ||V
0 0 IIを読み込むとともに、ゲイン算出部 300からの増幅 部 104における増幅量に基づきゲイン gを、制御部 119からの温度情報に基づき温 度 tを、それぞれ設定する。
[0125] 次に、パラメータ選択部 303は、ノルム ||v IIが属する区間の座標データ（llvll , N ) および (llvll , N )をノイズ量算出手段でありパラメータ選択手段たるパラメータ用 n+1 n+1
ROM302から探索して、これを補間部 304へ転送する。
[0126] さらに、パラメータ選択部 303は、ゲイン gおよび温度 tに対応する補正係数 kをパ ラメータ用 ROM302から探索して、探索した補正係数 kを補正部 305へ転送する。
[0127] 補間部 304は、制御部 119の制御に基づき、パラメータ選択部 303からのノルム ||V
IIと区間の座標データ (llvll , N )および (llvll , N )とを用いて、数式 12に基づき
0 n n n+1 n+1
基準ノイズモデルにおける基準ノイズ量 を算出し、算出した基準ノイズ量 を補正 部 305へ転送する。
[0128] 補正部 305は、制御部 119の制御に基づき、パラメータ選択部 303からの補正係 数 k と、補間部 304からの基準ノイズ量 Nと、を用いて、数式 13に基づきノイズ量 N を算出する。補正部 305は、算出したノイズ量 Nを、注目領域のベクトル信号 Vのノ
0 ィズ量 Nとして、定数算出部 203と乖離度算出部 210とへそれぞれ転送する。
0
[0129] なお、パラメータ選択部 303が補正係数 kを探索する際に必要となる温度 t,ゲイン gなどの情報は、必ずしも撮影毎に求める必要はない。つまり、任意の情報を付与手 段である標準値付与部 301に記録させておき、算出過程を省略するように構成する ことも可能である。これによつて、処理の高速ィ匕ゃ省電力化などを図ることが可能とな る。
[0130] 次に、図 12を参照して、フィルタリング部 114について説明する。この図 12は、フィ ルタリング部 114の構成の一例を示したものである。 [0131] このフィルタリング部 114は、重み係数選択部 400と、測度選択部 401と、重み測度 値算出部 402と、バッファ 403と、最小測度探索部 404と、対応ベクトル選択部 405と 、を含んでいる。
[0132] 重み設定部 113は、重み係数選択部 400と測度選択部 401とへそれぞれ接続され ている。また、重み係数選択部 400および測度選択部 401は、重み測度値算出部 4 02へそれぞれ接続されている。さらに、重み測度値算出手段たる重み測度値算出 部 402は、バッファ 403および最小測度探索部 404を介して、出力手段たる対応べク トル選択部 405へ接続されている。また、ベクトルィ匕部 112は、対応ベクトル選択部 4 05へ接続されている。そして、対応ベクトル選択部 405は、ノイズ低減部 115へ接続 されている。
[0133] また、制御部 119は、重み係数選択部 400,測度選択部 401,重み測度値算出部 402,最小測度探索部 404,対応ベクトル選択部 405と双方向に接続されていて、こ れらを制御するようになって 、る。
[0134] 次に、このようなフィルタリング部 114の作用について説明する。
[0135] 重み係数選択部 400は、制御部 119の制御に基づき、重み設定部 113から局所領 域内のベクトル信号に関する重み係数 w (k=0〜24)を順次読み込んで、重み測度 k
値算出部 402へ転送する。
[0136] また、測度選択部 401は、制御部 119の制御に基づき、重み設定部 113から局所 領域内のベクトル信号間の距離測度値 d (V , V) (k=0〜24, 1=0〜24)を順次読 k 1
み込んで、重み測度値算出部 402へ転送する。
[0137] 重み測度値算出部 402は、制御部 119の制御に基づき、各ベクトル信号に対して 、次の数式 14に示すような重み付き測度値の総和値 Tを算出する。
k
[数 14] Tk = ∑w d(Vk , Vl )
[0138] 重み測度値算出部 402により算出された重み付き測度値の総和値 Τは、バッファ 4 k
03へ転送されて記録される。なお、上記重み係数選択部 400,測度選択部 401,重 み測度値算出部 402における処理は、制御部 119の制御に基づき、各ベクトル信号 単位で同期して行われる。
[0139] 局所領域内の全べ外ル信号に対する重み付き測度値の総和値 Tが算出された k
後に、探索手段たる最小測度探索部 404は、制御部 119の制御に基づき、重み付き 測度値の総和値 Tの中から最小値 T を探索する。探索された最小値 T は、最小 k min min
測度探索部 404から対応ベクトル選択部 405へ転送される。
[0140] 対応ベクトル選択部 405は、制御部 119の制御に基づき、最小測度探索部 404か らの最小値 T を用いて、ベクトルィ匕部 112から最小値 T に対応するベクトル信号 V
min min
を選択し、選択したベクトル信号 V をノイズ低減部 115へ転送する。
min min
[0141] ノイズ低減部 115は、制御部 119の制御に基づき、ベクトルィ匕部 112からの注目領 域のベクトル信号 Vと、フィルタリング部 114からのフィルタリングによる出力ベクトル
0
信号 V と、を次の数式 15に示すように重み付き加算平均して、ノイズ低減後のベタ min
トル信号 V'を求める。
0
[数 15] V = kV0 + (\ -k)Vmm ここに、数式 15における kは所定の定数項であり、 k=0〜lの範囲の値をとる。
[0142] なお、上述にお!、ては、画像処理システムとしてデジタルカメラを例に挙げて!/ヽた ために、図 1に示したように、画像処理システムは、レンズ系 100,絞り 101, CCD10 2,温度センサ 103,増幅部 104, AZD変換部 105,プレホワイトバランス部 107, 測光評価部 108,合焦点検出部 109, AFモータ 110を含む撮像部が一体ィ匕して構 成されていた。
[0143] しかし、画像処理システムとしては、このような構成に限定される必要はない。例え ば、図 13に示すように、撮像部が別体であっても構わない。すなわち、図 13に示す 画像処理システムは、別体の撮像部により撮像され、未処理の Rawデータの形態で メモリカード等の記録媒体に記録された映像信号を、該記録媒体力 読み出して処 理するものとなっている。ただし、このときには、映像信号に係る撮像条件などの付随 情報が、ヘッダ部等として記録媒体に記録されているものとする。なお、別体の撮像 部から画像処理システムへの各種情報の伝送は、記録媒体を介して行うに限らず、 通信回線等を介して行うようにしても構わな!/ヽ。
[0144] 図 13に示す画像処理システムは、図 1に示した画像処理システムから、レンズ系 10 0,絞り 101, CCD102,温度センサ 103,増幅部 104, A/D変換部 105,プレホヮ イトバランス部 107,測光評価部 108,合焦点検出部 109, AFモータ 110を省略し て、入力部 500,ヘッダ情報解析部 501を追加した構成となっている。この図 13に示 す画像処理システムにおけるその他の基本的な構成は、図 1に示したものと同様で あるために、同一の構成には同一の名称と符号を割り当てて適宜説明を省略し、主 として異なる部分につ!、てのみ説明する。
[0145] 入力部 500は、バッファ 106とヘッダ情報解析部 501とへそれぞれ接続されている 。また、制御部 119は、入力部 500およびヘッダ情報解析部 501とも双方向に接続さ れていて、これらを制御するようになっている。
[0146] 次に、この図 13に示す画像処理システムにおいて異なる作用は、以下のようになつ ている。
[0147] 例えばマウスやキーボードなどの外部 IZF部 120を介して再生操作を開始すると、 メモリカード等の記録媒体に保存された映像信号およびヘッダ情報が、入力部 500 を介して読み込まれる。
[0148] 入力部 500から読み込まれた情報の内の、映像信号はバッファ 106へ、ヘッダ情報 はヘッダ情報解析部 501へ、それぞれ転送される。
[0149] ヘッダ情報解析部 501は、入力部 500から転送されたヘッダ情報に基づき、撮影 時の情報 (すなわち、上述したような露光条件、 ISO感度、ホワイトバランス情報、撮 像素子の温度など）を抽出して制御部 119へ転送する。
[0150] これ以後の処理は、図 1に示したような画像処理システムと同様である。
[0151] さらに、上述ではハードウェアによる処理を前提としていた力 このような構成に限 定されるものでもない。例えば、 CCD102からの映像信号を未処理のままの Rawデ ータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報 をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像 処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み 取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の 伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わな い。
[0152] 図 14を参照して、画像処理プログラムによる処理のメインルーチンを説明する。
[0153] この処理を開始すると、まず、映像信号を読み込むとともに、ゲインなどのヘッダ情 報を読み込む (ステップ S 1)。
[0154] 次に、図 2 (A)に示したような、注目領域および近傍領域を含む、 6 X 6画素サイズ の局所領域を順次抽出する (ステップ S 2)。
[0155] そして、図 2 (B)に示したような 25個のベクトル信号を導出する (ステップ S3)。
[0156] 続いて、数式 4に示したように、ベクトル信号のノルムを算出する（ステップ S4)。
[0157] その後、後で図 15を参照して説明するように、注目領域のベクトル信号に関するノ ィズ量を推定する (ステップ S5)。
[0158] さらに、算出したベクトル信号のノルムと、推定したノイズ量と、を用いて、数式 6に 示した複数の 1次関数に用いる定数項を算出する (ステップ S6)。
[0159] 続いて、定数項の設定された数式 6に示す複数の 1次関数を用いて、近傍領域の ベクトル信号 Vの重み係数を算出する (ステップ S7)。
[0160] また、ステップ S3で導出したベクトル信号を用いて、数式 7に示すような距離測度値 を算出する (ステップ S8)。
[0161] 次に、注目ベクトルに係る距離測度値から、数式 8に示すような平均測度値を算出 する（ステップ S 9)。
[0162] そして、ステップ S9で算出した平均測度値と、ステップ S5で推定した注目ベクトル のノイズ量と、に基づいて、乖離度を算出する (ステップ S 10)。
[0163] その後、数式 9に示すように、注目領域のベクトル信号 Vに関する重み係数を算出
0
する（ステップ S 11)。
[0164] 続いて、ステップ S7で算出した近傍領域のベクトル信号 Vの重み係数と、ステップ S 11で算出した注目領域のベクトル信号 Vの重み係数と、ステップ S8で算出した距
0
離測度値と、を用いて、数式 14に示すように、重み付き測度値の総和値を算出する（ ステップ S 12)。
[0165] そして、算出した重み付き測度値の総和値の中力も最小値を探索し (ステップ S 13 )、探索された最小の重み付き測度値の総和値に対応するベクトル信号を選択する（ ステップ S 14)。
[0166] その後、数式 15に示すように、ステップ S 14で得られたベクトル信号と、注目ベタト ルのベクトル信号と、を重み付き加算平均することにより、ノイズ低減後のベクトル信 号を算出する (ステップ S 15)。
[0167] ここで、全局所領域についての処理が完了した力否かを判定し (ステップ S16)、完 了して ヽな 、場合には、上記ステップ S 2へ戻って次の局所領域にっ 、て上述したよ うな処理を繰り返して行う。
[0168] また、全局所領域についての処理が完了したと判定された場合には、公知の補間 処理、強調処理、圧縮処理などの信号処理を行い (ステップ S 17)、処理後の信号を 出力して (ステップ S18)、この一連の処理を終了する。
[0169] 次に、図 15を参照して、上記図 14のステップ S5におけるノイズ量推定の処理につ いて説明する。
[0170] 図 14のステップ S5においてこの処理が開始されると、まず、読み込まれたヘッダ情 報に基づいて、ノイズ関連情報の設定、つまり、ゲインなどのパラメータを求める処理 を行う（ステップ S 20)。ただし、ヘッダ情報内に必要なパラメータが存在しない場合 には、所定の標準値を割り当てる処理を行う。
[0171] 次に、図 10に示したような、基準ノイズモデルの座標データおよび補正係数を読み 込む (ステップ S21)。
[0172] そして、注目領域のベクトル信号 Vのノルムが属する区間の座標データを選択する
0
(ステップ S22)。
[0173] 続いて、数式 12に示したような補間処理によって、基準ノイズ量を求め（ステップ S2 3)、数式 13に示したような補正処理によって、ノイズ量を求める (ステップ S24)。
[0174] その後、算出されたノイズ量を出力して (ステップ S25)、この処理から図 14に示し た処理に復帰する。
[0175] このような実施形態 1によれば、映像信号をベクトルィ匕して、ベクトル空間内でノイズ 量を推定し、推定したノイズ量に基づき各ベクトル信号に対する重み係数を設定し、 設定した重み係数を用いてフィルタリング処理を行 、、フィルタリングの結果に基づき ノイズ低減処理を行うことが可能となる。この結果、ノイズ全般に対する高精度なノィ ズ低減を、エッジ部の劣化や色相変化などの副作用を少なくしながら行うことが可能 となる。
[0176] また、数式 9〖こおける pと、数式 15〖こおける kとは、一度設定すれば固定することが できるために、基本的にパラメータ設定が不要となり、高速な処理を自動的に行うこと が可能となる。
[0177] さらに、ノイズ量の推定を、ベクトル信号のノルム，撮影時の撮像素子の温度，ゲイ ンなどの動的に変化する条件に対応して動的に行うようにしたために、最適な重み係 数を用いたフィルタリング処理を実行することができて、高精度なノイズ低減処理を行 うことが可能となる。
[0178] また、上述したような動的に変化する条件の情報が得られない場合であっても、標 準値を用いてノイズ量を推定するようにして ヽるために、安定したノイズ低減効果を得 ることがでさる。
[0179] さらに、一部のパラメータ算出を意図的に省略することも可能であり、この場合には
、低コストィ匕および省電力化を可能とする画像処理システムを構成することができる。
[0180] そして、ノイズ量の算出を、ノイズモデルを用いて行って 、るために、ノイズ量の推 定を高精度に行うことが可能となる。
[0181] このとき、簡略ィ匕されたノイズモデルを採用すると、簡略ィ匕されたノイズモデルに基 づく補間処理および補正処理は実装が容易であるために、低コストなシステムを構築 することが可能となる。加えて、簡略ィ匕されたノイズモデルに必要となるメモリ量は少 ないために、さらに低コストィ匕を図ることが可能となる。
[0182] 一方、重み係数を算出するための関数として、複数の 1次関数の組み合わせを用 いているために、定数項の算出が単純となって、処理の高速化と低コスト化とを図るこ とが可能となる。
[0183] また、注目領域のベクトル信号の重み係数を、近傍領域のベクトル信号の重み係 数とは独立して別途に算出しているために、スパイク性のノイズに対するフィルタリン グ処理の精度が向上して、より高精度なノイズ低減処理を行うことが可能となる。
[0184] さらに、測度値として距離測度値を用いているために、輝度ノイズに対するノイズ低 減処理の精度を向上することができる。
[0185] そして、フィルタリング処理によって得られたベクトル信号と本来のベクトル信号とを 重み付き加算平均しているために、偽輪郭などの発生を抑制することができて、主観 的に好ましいノイズ低減処理を行うことが可能となる。
[0186] カ卩えて、撮像素子として、べィヤー（Bayer)型原色フィルタまたは色差線順次型補 色フィルタを前面に配置した単板撮像素子を用いて ヽるために、従来の撮影部との 親和性が高ぐ多くの画像処理システムに容易に適用することが可能となる。
[0187] また、ノイズ低減処理後のベクトル信号を撮像素子本来の色信号に戻しているため に、後段の処理系との互換性が維持されて、多様なシステムの組み合わせが可能と なる。
[0188] [実施形態 2]
図 16から図 22は本発明の実施形態 2を示したものであり、図 16は画像処理システ ムの構成を示すブロック図、図 17は三板型 5 X 5画素の局所領域の構成と局所領域 内の信号のベクトル化とを説明するための図、図 18は重み設定部の構成を示すプロ ック図、図 19は近傍領域のベクトル信号に関する重み係数 Wiを算出するための関数 の様子を示す線図、図 20はノイズ推定部の構成を示すブロック図、図 21は画像処理 プログラムによる信号処理全体の流れを示すフローチャート、図 22は図 21のステツ プ S30におけるノイズ量推定の処理の詳細を示すフローチャートである。
[0189] この実施形態 2において、上述の実施形態 1と同様である部分については同一の 符号を付して説明を省略し、主として異なる点についてのみ説明する。
[0190] まず、図 16を参照して、この画像処理システムの構成について説明する。図 16に 示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した 例となっている。
[0191] この図 16に示す画像処理システムは、上述した実施形態 1の図 1に示した画像処 理システムを一部変更したものとなっている。すなわち、この画像処理システムは、図 Uこ示した CCD102を！^ _CCD600, G_CCD601, B_CCD602【こ、図: Uこ示し た重み設定部 113を重み設定部 603に、図 1に示したノイズ低減部 115をノイズ低減 手段であり置換手段たる置換部 604に、それぞれ置換した構成になっている。また、 R— CCD600, G— CCD601, B— CCD602には、入射した光束を RGBの 3色成 分に分離するためのダイクロイツクプリズムが設けられている。さらに、この図 16に示 す構成例においては、温度センサ 103は、 G— CCD601の近傍に配置されている。 その他の基本的な構成は実施形態 1と同様であって、同一の構成には同一の名称と 符号を付している。
[0192] 以下、主として異なる部分のみを説明する。レンズ系 100,絞り 101を透過した光束 は、ダイクロイツクプリズムにより RGBの 3色に分離され、 R成分の光が R— CCD600 へ、 G成分の光が G— CCD601へ、 B成分の光が B— CCD602へ、それぞれ導か れる。
[0193] また、 R— CCD600, G— CCD601, B— CCD602は、増幅部 104へそれぞれ接 続されている。
[0194] さらに、ベクトルィ匕部 112は、重み設定部 603およびフィルタリング部 114へ接続さ れている。
[0195] そして、設定手段である重み設定部 603はフィルタリング部 114へ、フィルタリング 部 114は置換部 604へ、置換部 604はスカラー化部 116へ、それぞれ接続されてい る。
[0196] また、制御部 119は、 R— CCD600, G— CCD601, B— CCD602,重み設定部 603,置換部 604とも双方向に接続されていて、これらを制御するようになっている。
[0197] 次に、この図 16に示したような画像処理システムの作用について、映像信号の流 れに沿って説明する。この実施形態 2の画像処理システムの作用は、基本的に上述 した実施形態 1と同様であるために、主として異なる部分についてのみ説明する。
[0198] R— CCD600から出力される R信号、 G— CCD601から出力される G信号、 B— C CD602から出力される B信号は、それぞれ増幅部 104によって増幅されて、 Α/Ό 変換部 105によってデジタル信号へ変換され、バッファ 106へ転送されて一時的に
SC fedれる。
[0199] このバッファ 106内に記憶された映像信号は、さらに、抽出部 111へ転送される。
[0200] 抽出部 111は、制御部 119の制御に基づき、図 17 (A)に示すような R信号の局所 領域と、図 17 (B)に示すような G信号の局所領域と、図 17 (C)に示すような B信号の 局所領域と、を順次抽出して、ベクトル化部 112へ転送する。ここに、局所領域は、上 述と同様に、注目領域と、この注目領域に係る近傍領域と、を含む領域である。
[0201] ベクトルィ匕部 112は、制御部 119の制御に基づき、図 17 (A)〜図 17 (C)に示した ような注目領域および各近傍領域の信号から、図 17 (D)に示すような (R, G, B)を 成分とする 3次元のベクトル信号を導出して、重み設定部 603とフィルタリング部 114 とへそれぞれ転送する。
[0202] 重み設定部 603は、制御部 119の制御に基づき、注目領域のベクトル信号に用い て局所領域内の全ベクトル信号に関する重み係数を算出し、フィルタリング部 114へ 転送する。
[0203] フィルタリング部 114は、制御部 119の制御に基づき、ベクトルィ匕部 112からのべク トル信号に対して重み設定部 603からの重み係数を用いてフィルタリング処理を行 ヽ
、置換部 604へ転送する。
[0204] 置換部 604は、制御部 119の制御に基づき、フィルタリング部 114からのフィルタリ ング処理がなされたベクトル信号を、注目領域のベクトル信号としてスカラー化部 11
6へ転送 *5る。
[0205] スカラー化部 116は、制御部 119の制御に基づき、置換部 604からのベクトル信号 を、撮像素子本来の色信号、本実施形態において R, G, Bの色信号へ変換し、信号 処理部 117へ転送する。
[0206] なお、上述した、抽出部 111,ベクトルィ匕部 112,重み設定部 603,フィルタリング 部 114,置換部 604,スカラー化部 116の各処理は、制御部 119の制御に基づいて
、局所領域単位で同期して行われるようになって 、る。
[0207] 信号処理部 117は、公知の強調処理や圧縮処理などを行!、、処理後の信号を出 力部 118へ転送する。
[0208] 出力部 118は、信号処理部 117から転送された映像信号を、メモリカードなどの記 録媒体へ記録して保存する。
[0209] 次に、図 17を参照して、三板型撮像素子における局所領域およびベクトル化につ いて説明する。
[0210] 図 17 (A)は R信号における局所領域の構成を、図 17 (B)は G信号における局所領 域の構成を、図 17 (C)は B信号における局所領域の構成を、それぞれ示している。
[0211] 本実施形態においては、局所領域として、 5 X 5画素サイズを想定している。
[0212] そして、 R, G, Bの 3信号における注目領域力 局所領域の中央に位置する 1 X 1 画素 (R , G , B )となっている。さらに、近傍領域は、注目領域の周囲を包含し、
12 12 12
かつオーバーラップしないように配置された計 24の 1 X 1画素でなる領域となってい る。
[0213] このときには、抽出部 111は、注目領域が全映像信号をカバーするように、局所領 域を 4行または 4列ずつオーバーラップしながら順次抽出する。
[0214] 次に、図 17 (D)は、ベクトルィ匕部 112により生成される、注目領域および近傍領域 に対応するベクトル信号、の配置を示している。なお、以後は、注目領域のベクトル 信号を Vにより、近傍領域のベクトル信号を V (i= l〜24)により、それぞれ表すもの
0 i
とする。
[0215] 上述したように、映像信号のベクトル化を、 {R, G, B}の成分をもつ 3次元ベクトル により行う場合には、図 17 (D)に示す注目領域のベクトル信号 Vは、次の数式 16に
0
より示される。
[数 16]
V = {ν , V , V } = {R , G , B }
0 01 02 03 12 12 12
[0216] なお、本実施形態においては撮像素子として三板式の撮像素子を用いているが、 このような構成に限定される必要はない。例えば、三板画素ずらしの撮像素子であつ ても構わないし、二板式の撮像素子であっても良いし、その他任意の方式の撮像素 子に対応することが可能である。
[0217] 次に、図 18を参照して、重み設定部 603の構成について説明する。この図 18は、 重み設定部 603の構成の一例を示したものである。
[0218] この重み設定部 603は、ノルム算出部 200と、第 1バッファ 201と、ノイズ推定部 70 2と、定数算出部 203と、ノルム選択部 204と、重み係数算出部 205と、第 2バッファ 2 06と、距離測度算出部 207と、角度測度算出部 700と、乗算部 701と、第 3バッファ 2 08と、平均測度算出部 209と、乖離度算出部 210と、注目ベクトル重み係数算出部 211と、を含んで ヽる。 [0219] すなわち、この図 18に示す重み設定部 603は、上述した実施形態 1の図 5に示し た重み設定部 113と基本的に同様であり、ノイズ推定部 202がノイズ推定部 702に置 換され、さらに、角度測度算出部 700および乗算部 701が追加されたものとなってい る。その他の構成は同様であるために、同一の名称と符号を割り当てて、以下では、 主として異なる部分にっ 、てのみ説明する。
[0220] 第 1バッファ 201はノイズ推定部 702およびノルム選択部 204へ、ノイズ推定手段で あるノイズ推定部 702は定数算出部 203および乖離度算出部 210へ、それぞれ接続 されている。
[0221] また、ベクトノレイ匕部 112は、ノルム算出部 200,距離測度算出部 207,角度測度算 出部 700へそれぞれ接続されて 、る。
[0222] さらに、距離測度算出部 207および角度測度算出部 700は、乗算部 701へ接続さ れている。
[0223] そして、平均測度値算出手段たる乗算部 701は、第 3バッファ 208へ接続されてい る。
[0224] また、制御部 119は、角度測度算出部 700,乗算部 701,ノイズ推定部 702とも双 方向に接続されて 、て、これらを制御するようになって 、る。
[0225] 次に、このような重み設定部 603の作用の内の、上述した重み設定部 113の作用と 異なる部分について説明する。
[0226] ノイズ推定部 702は、制御部 119の制御に基づき、第 1バッファ 201から注目領域 のベクトル信号 Vのノルム ||V
0 0 IIを読み込む。そして、ノイズ推定部 702は、上記注目 領域のベクトル信号 Vのノルム
0 II V
0 IIと、制御部 119からの撮影時の情報と、に基づい て、注目領域のベクトル信号 Vに関するノイズ量 Nを推定し、推定したノイズ量 Nを
0 0 0 定数算出部 203と乖離度算出部 210とへそれぞれ転送する。また、ノイズ推定部 70 2は、注目領域のベクトル信号 Vのノルム ||V
0 0 IIも定数算出部 203へ転送する。
[0227] 定数算出部 203は、制御部 119の制御に基づき、ノイズ推定部 702からの注目領 域のベクトル信号 Vのノルム ||V
0 0 IIおよびノイズ量 Nを読み込んで、重み係数を算出
0
するために用いる関数の定数項を算出する。本実施形態においては、重み係数の 算出に用いる関数として、例えば図 19に示すような単一の 2次関数を用いるようにな つている。この関数は、近傍領域のベクトル信号 V;のノルム || ||を入力として、ベタト ル信号に関する重み係数 wを出力する関数である。図 19に示すような 2次関数は、 次の数式 17により定義される。
[数 17]
Figure imgf000035_0001
[0228] 定数算出部 203は、この数式 17に示すような 3項目の定数項を算出して、重み係 数算出部 205へ転送する。
[0229] ノルム選択部 204は、制御部 119の制御に基づき、第 1バッファ 201から近傍領域 のベクトル信号 Vのノルム ||V IIを順次選択して、重み係数算出部 205へ転送する。
[0230] 重み係数算出部 205は、制御部 119の制御に基づき、ノルム選択部 204から転送 される近傍領域のベクトル信号 Vのノルム ||V IIに対して、数式 17に基づき重み係数 wを算出して、算出した重み係数 wを第 2バッファ 206へ転送する。
[0231] 一方、平均測度値算出手段たる角度測度算出部 700は、制御部 119の制御に基 づき、ベクトルィ匕部 112から注目領域のベクトル信号 Vおよび近傍領域のベクトル信
0
号 Vを読み込み、次の数式 18に示すような 2つのベクトル信号間の角度測度値 a (V i k
， V) (k=0〜24， 1=0〜24)を算出する。
1
[数 18] ί Σ=1,3ν'ゾ ゾ =1,3 =1'3
[0232] 角度測度算出部 700は、算出した角度測度値 a (V , V)を、乗算部 701へ転送す
k 1
る。
[0233] なお、この角度測度値も、上述した距離測度値と同様に、交換に関する対称性 a (V
, V) =a (V , V )があり、かつ、同一のベクトル信号同士力 算出される角度測度値 k 1 l k
は 0になるために、重複する角度測度値の算出等を省略することが可能であり、この ときには（625— 25)72 = 300個の角度測度値を算出すれば足りる。 [0234] また、距離測度算出部 207は、実施形態 1において数式 7に示したものと同様の距 離測度値 d (V , V)を算出して、算出した距離測度値 d(V , V)を乗算部 701へ転 k 1 k 1 送する。
[0235] 乗算部 701は、角度測度算出部 700からの角度測度値 a (V , V)と、距離測度算 k 1
出部 207からの距離測度値 d(V , V)と、を次の数式 19に示すように乗算して、 2つ k 1
の測度値を組み合わせた測度値 ad (V , V)を算出する。
k 1
[数 19]
ad (V , V) =a (V , V) -d (V , V)
k 1 k 1 k 1
[0236] 乗算部 701は、算出した測度値 ad (V , V)を、第 3バッファ 208へ転送する。第 3バ k 1
ッファ 208は、転送された測度値 ad (V , V)を記録する。
k 1
[0237] これ以降の処理は、上述した実施形態 1の図 5に示した重み設定部 113と同様であ る。
[0238] 続いて、図 20を参照して、ノイズ推定部 702の構成について説明する。この図 20 は、ノイズ推定部 702の構成の一例を示したものである。
[0239] このノイズ推定部 702は、ゲイン算出部 300と、標準値付与部 301と、ルックアップ テープノレ部 800と、を含んでいる。
[0240] すなわち、この図 20に示すノイズ推定部 702は、上述した実施形態 1の図 8に示し たノイズ推定部 202と基本的に同様であり、ノイズ量算出手段でありルックアップテー ブル手段たるルックアップテーブル部 800が追加され、パラメータ用 ROM302,パラ メータ選択部 303,補間部 304,補正部 305が省略されたものとなっている。その他 の構成は同様であるために、同一の名称と符号を割り当てて、以下では、主として異 なる部分にっ 、てのみ説明する。
[0241] 第 1バッファ 201,ゲイン算出部 300,標準値付与部 301は、ルックアップテーブル 部 800へそれぞれ接続されて 、る。
[0242] ルックアップテーブル部 800は、定数算出部 203と乖離度算出部 210とへそれぞ れ接続されている。
[0243] そして、制御部 119は、ルックアップテーブル部 800とも双方向に接続されていて、 これを制御するようになって 、る。 [0244] 次に、このようなノイズ推定部 702の作用の内の、上述したノイズ推定部 202の作用 と異なる部分にっ 、て説明する。
[0245] ルックアップテーブル部 800は、制御部 119の制御に基づき、第 1バッファ 201から 注目領域のベクトル信号 Vのノルム ||V
0 0 IIを読み込む。
[0246] 収集手段でありゲイン算出手段たるゲイン算出部 300は、制御部 119から転送され る ISO感度と露光条件に関する情報 (露出情報）とホワイトバランス情報との内の少な くとも 1つに基づいて、増幅部 104における増幅量を求め、求めた増幅量をルックァ ップテーブル部 800へ転送する。
[0247] また、制御部 119は、温度センサ 103から G— CCD601の温度情報を取得して、 取得した温度情報をルックアップテーブル部 800へ転送する。
[0248] ルックアップテーブル部 800は、第 1バッファ 201からの注目領域のベクトル信号 V
0 のノルム ||V
0 IIと、ゲイン算出部 300からのゲインの情報と、制御部 119からの温度情 報と、に基づいて、注目領域のベクトル信号 Vのノイズ量 Nを出力する。
0 0
[0249] なお、このルックアップテーブル部 800は、ベクトル信号のノルムと、映像信号に関 するゲインと、撮像素子の温度と、ベクトル信号のノイズ量と、の間の関係を記録した ルックアップテーブルであり、実施形態 1の数式 11に基づ!/、て構築されて ヽる。
[0250] ルックアップテーブル部 800により得られたノイズ量は、定数算出部 203と乖離度 算出部 210とへそれぞれ転送される。
[0251] なお、上述では、測度値として角度測度値 a (V , V)と距離測度値 d (V , V)との 2 k 1 k 1 つを組み合わせている力 このような構成に限定される必要はない。例えば、角度測 度値 a (V , V)のみ、あるいは距離測度値 d (V , V)のみを単一で用いる構成でも構 k 1 k 1
わない。また、 2つを組み合わせる場合にも、乗算するに限るものではない。
[0252] また、上述した実施形態 1の図 13に示したものとほぼ同様に、別体の撮像部により 撮像されメモリカードなどの記録媒体に記録された映像信号を、該記録媒体力も読 み出して処理をするように構成することも可能である。
[0253] さらに、上述ではハードウェアによる処理を前提としていた力 このような構成に限 定されるものでもない。例えば、 R— CCD600, G— CCD601, B— CCD602からの 映像信号を未処理のままの Rawデータとしてメモリカード等の記録媒体に記録すると ともに、制御部 119からの撮像条件などの付随情報をヘッダ情報として記録媒体に 記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに 実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能であ る。なお、撮像部力もコンピュータへの各種情報の伝送を、記録媒体を介して行うに 限らず、通信回線等を介して行うようにしても構わないことは、上述と同様である。
[0254] 図 21を参照して、画像処理プログラムによる処理のメインルーチンを説明する。な お、この図 21に示す処理の内の、上述した実施形態 1の図 14に示した処理とほぼ同 様の処理については、同一の符号を付している。
[0255] この処理を開始すると、まず、映像信号を読み込むとともに、ゲインなどのヘッダ情 報を読み込む (ステップ S 1)。
[0256] 次に、図 17 (A)〜図 17 (C)に示したような、注目領域および近傍領域を含む、 5 X
5画素サイズの局所領域を順次抽出する (ステップ S 2)。
[0257] そして、図 17 (D)に示したような 25個のベクトル信号を導出する (ステップ S3)。
[0258] 続いて、数式 4に示したように、ベクトル信号のノルムを算出する（ステップ S4)。
[0259] その後、後で図 22を参照して説明するように、注目領域のベクトル信号に関するノ ィズ量を推定する (ステップ S30)。
[0260] さらに、算出したベクトル信号のノルムと、推定したノイズ量と、を用いて、数式 17に 示した 2次関数に用いる定数項を算出する (ステップ S6)。
[0261] 続いて、定数項の設定された数式 17に示す 2次関数を用いて、近傍領域のベタト ル信号 Vの重み係数を算出する (ステップ S7)。
[0262] また、ステップ S3で導出したベクトル信号を用いて、数式 18に示すような角度測度 値と、数式 7に示すような距離測度値と、を算出する (ステップ S31)。
[0263] 次に、数式 19に示すように、 2つの測度値を組み合わせた測度値を算出する (ステ ップ S32)。
[0264] 続、て、注目ベクトルに係る測度値から、平均測度値を算出する (ステップ S9)。
[0265] そして、ステップ S9で算出した平均測度値と、ステップ S30で推定した注目ベクトル のノイズ量と、に基づいて、乖離度を算出する (ステップ S 10)。
[0266] その後、数式 9に示すように、注目領域のベクトル信号 Vに関する重み係数を算出 する（ステップ SI 1)。
[0267] 続、て、ステップ S7で算出した近傍領域のベクトル信号 V;の重み係数と、ステップ S 11で算出した注目領域のベクトル信号 Vの重み係数と、ステップ S32で算出した
0
測度値と、を用いて、重み付き測度値の総和値を算出する (ステップ S12)。
[0268] そして、算出した重み付き測度値の総和値の中から最小値を探索し (ステップ S 13 )、探索された最小の重み付き測度値の総和値に対応するベクトル信号を選択する（ ステップ S 14)。
[0269] その後、ステップ S 14で得られたベクトル信号を注目ベクトルのベクトル信号とする（ 置換する）ことにより、ノイズ低減後のベクトル信号を得る (ステップ S33)。
[0270] ここで、全局所領域についての処理が完了した力否かを判定し (ステップ S16)、完 了して ヽな 、場合には、上記ステップ S 2へ戻って次の局所領域にっ 、て上述したよ うな処理を繰り返して行う。
[0271] また、全局所領域についての処理が完了したと判定された場合には、公知の強調 処理や圧縮処理などの信号処理を行 、 (ステップ S17)、処理後の信号を出力して（ ステップ S18)、この一連の処理を終了する。
[0272] 次に、図 22を参照して、上記図 21のステップ S30におけるノイズ量推定の処理に ついて説明する。
[0273] 図 21のステップ S30においてこの処理が開始されると、まず、読み込まれたヘッダ 情報に基づいて、ノイズ関連情報の設定、つまり、ゲインなどのパラメータを求める処 理を行う（ステップ S 20)。ただし、ヘッダ情報内に必要なパラメータが存在しない場 合には、所定の標準値を割り当てる処理を行う。
[0274] 次に、ステップ S 20において求めた各パラメータに基づき、ルックアップテーブルを 用いてノイズ量を求める（ステップ S40)。
[0275] その後、算出されたノイズ量を出力して (ステップ S25)、この処理から図 21に示し た処理に復帰する。
[0276] このような実施形態 2によれば、映像信号をベクトルィ匕して、ベクトル空間内でノイズ 量を推定し、推定したノイズ量に基づき各ベクトル信号に対する重み係数を設定し、 設定した重み係数を用いてフィルタリング処理を行 、、フィルタリングの結果に基づき ノイズ低減処理を行うことが可能となる。この結果、上述した実施形態 1と同様に、ノィ ズ全般に対する高精度なノイズ低減を、エッジ部の劣化や色相変化などの副作用を 少なくしながら行うことが可能となる。
[0277] また、ルックアップテーブルを用いてノイズ量を算出するようにしているために、高速 な処理を行うことが可能となる。
[0278] さらに、重み係数を算出するための関数として、単一の 2次関数を設定しているた めに、重み係数の生成が連続的になって、より高精度なノイズ低減処理を行うことが 可能となる。
[0279] そして、 2つのベクトル信号間の測度値として、距離測度値と角度測度値とを組み 合わせたものを用いるようにしたために、輝度ノイズおよび色ノイズに対するノイズ低 減処理の精度を向上することができる。
[0280] カロえて、フィルタリング処理によって得られたベクトル信号を出力信号としているた めに、高速な処理を行 、得るシステムを低コストに構成することが可能となる。
[0281] なお、本発明は上述した実施形態に限定されるものではなぐ発明の主旨を逸脱し な 、範囲内にお 、て種々の変形や応用が可能であることは勿論である。
[0282] [付記]
以上詳述したような本発明の上記実施形態によれば、以下のごとき構成を得ること ができる。
[0283] [付記 1]
撮像素子力ゝらの複数の色信号で構成される映像信号に対してノイズ低減処理を行 う画像処理システムであつて、
上記映像信号から、ノイズ低減処理を行う対象となる注目領域と、該注目領域の近 傍に位置する少なくとも 1つの近傍領域と、を含む局所領域を抽出する抽出手段と、 上記注目領域および上記近傍領域毎に、上記複数の色信号を構成成分とするベ タトル信号を導出するベクトル化手段と、
上記注目領域のベクトル信号に基づ!、て、上記局所領域内の各ベクトル信号に関 する重み係数を設定する設定手段と、
上記局所領域内のベクトル信号に対して、上記重み係数を用いたフィルタリング処 理を行うフィルタリング手段と、
上記フィルタリング処理により得られたベクトル信号に基づ 、て、上記注目領域の ベクトル信号のノイズを低減するノイズ低減手段と、
を具備したことを特徴とする画像処理システム。
[0284] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 1および実施形態 2が対応する。抽出手段は図 1,図 13, 図 16に示した抽出部 111が、ベクトルィ匕手段は図 1,図 13,図 16に示したベクトル 化部 112が、設定手段は図 1,図 5,図 13に示した重み設定部 113および図 16,図 18に示した重み設定部 603が、フィルタリング手段は図 1,図 12,図 13,図 16に示 したフィルタリング部 114が、ノイズ低減手段は図 1,図 13に示したノイズ低減部 115 および図 16に示した置換部 604が、それぞれ該当する。
[0285] この発明の好ましい適用例は、抽出部 111によってノイズ低減処理を行う対象とな る注目領域とこの注目領域の近傍に位置する少なくとも 1つの近傍領域とを含む局 所領域を抽出し、ベクトルィ匕部 112によって全色信号を構成成分とするベクトル信号 を導出し、重み設定部 113または重み設定部 603によって注目領域のベクトル信号 に基づき局所領域内の各ベクトル信号に関する重み係数を設定し、フィルタリング部 114によって重み係数を用いたフィルタリング処理を行 、、ノイズ低減部 115または 置換部 604によってフィルタリング処理により得られたベクトル信号に基づき注目領 域のベクトル信号のノイズを低減する画像処理システムである。
[0286] (作用）
映像信号をベクトルィ匕して、ベクトル空間内においてノイズ量を推定し、推定したノ ィズ量に基づき各ベクトル信号に対する重み係数を設定し、設定した重み係数を用 V、てフィルタリング処理を行 、、フィルタリングの結果に基づきノイズ低減処理を行う。
[0287] (効果）
エッジ部の劣化や色相変化などの副作用が少なぐかつノイズ全般に対して高精 度なノイズ低減が可能となる。また、パラメータ設定が不要であるために、高速な処理 を自動的に行うことが可能となる。
[0288] [付記 2] 上記設定手段は、
上記局所領域内の各ベクトル信号のノルムを算出するノルム算出手段と、 上記注目領域のベクトル信号のノルムに基づ!/、て、該注目領域のベクトル信号に 関するノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づいて、重み係数を算出するために用いる関数の定数項を算出 する定数算出手段と、
上記局所領域内の各べ外ル信号のノルムと、上記定数項を設定した関数と、に基 づいて、該局所領域内の各べ外ル信号の重み係数を算出する重み係数算出手段 と、
を有して構成されたものであることを特徴とする付記 1に記載の画像処理システム。
[0289] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 1および実施形態 2が対応する。ノルム算出手段は図 5, 図 18に示したノルム算出部 200が、ノイズ推定手段は図 5,図 8に示したノイズ推定 部 202および図 18,図 20に示したノイズ推定部 702が、定数算出手段は図 5,図 18 に示した定数算出部 203が、重み係数算出手段は図 5,図 18に示した重み係数算 出部 205が、それぞれ該当する。
[0290] この発明の好ましい適用例は、ノルム算出部 200によって各ベクトル信号のノルム を算出し、ノイズ推定部 202またはノイズ推定部 702によって注目領域のベクトル信 号に関するノイズ量を推定し、定数算出部 203によってノイズ量に基づき重み係数算 出に用いる関数の定数項を算出し、重み係数算出部 205によって各ベクトル信号の ノルムおよび定数項を設定した関数に基づき局所領域内の各ベクトル信号に関する 重み係数を算出する画像処理システムである。
[0291] (作用）
ベクトル信号のノイズ量を動的に推定して、推定したノイズ量に基づき各ベクトル信 号に関するフィルタリング用の重み係数を算出する。
[0292] (効果）
発生するノイズ量に適応的に追随し、最適な重み係数を用いたフィルタリング処理 を実行することができる。これにより、高精度なノイズ低減処理を行うことが可能となる [0293] [付記 3]
上記ノイズ推定手段は、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収 集する収集手段と、
上記収集手段により得ることができない情報に関して標準値を付与する付与手段と 上記収集手段または上記付与手段からの情報と、上記注目領域のベクトル信号の ノルムと、に基づいて、ベクトル信号に関するノイズ量を求めるノイズ量算出手段と、 を有して構成されたものであることを特徴とする付記 2に記載の画像処理システム。
[0294] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 1および実施形態 2が対応する。収集手段は図 1,図 16に 示した温度センサ 103,制御部 119および図 8,図 20に示したゲイン算出部 300が、 付与手段は図 8,図 20に示した標準値付与部 301が、ノイズ量算出手段は図 8に示 したパラメータ用 ROM302,パラメータ選択部 303,補間部 304,補正部 305および 図 20に示したルックアップテーブル部 800が、それぞれ該当する。
[0295] この発明の好ましい適用例は、温度センサ 103,制御部 119およびゲイン算出部 3 00によってノイズ量推定に用いる情報を収集し、標準値付与部 301によって温度セ ンサ 103,制御部 119およびゲイン算出部 300からの情報が得られない場合に標準 値を設定し、パラメータ用 ROM302,パラメータ選択部 303,補間部 304,補正部 3 05またはルックアップテーブル部 800によってノイズ量を求める画像処理システムで ある。
[0296] (作用）
ノイズ量に関係する各種情報を撮影毎に動的に求めて、求められない情報に関し ては標準値を設定し、これらの情報力 ノイズ量を算出する。
[0297] (効果）
撮影毎に異なる条件に動的に適応して、ノイズ量の推定を高精度に行うことが可能 となる。また、必要となる情報が得られない場合でもノイズ量の推定が可能となるため に、安定したノイズ低減効果を得ることができる。
[0298] [付記 4]
上記収集手段は、上記撮像素子の温度値を測定する温度センサを有して構成され たものであることを特徴とする付記 3に記載の画像処理システム。
[0299] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 1および実施形態 2が対応する。温度センサは、図 1,図 1 6に示した温度センサ 103が該当する。
[0300] この発明の好ましい適用例は、温度センサ 103から撮像素子の温度をリアルタイム で測定する画像処理システムである。
[0301] (作用）
撮影時の撮像素子の温度を測定して、ノイズ量を推定するための情報として用いる [0302] (効果）
撮影時の撮像素子の温度変化に動的に適応して、ノイズ量の推定を高精度に行う ことが可能となる。
[0303] [付記 5]
上記収集手段は、 ISO感度と露出情報とホワイトバランス情報との内の少なくとも 1 つの情報に基づいて上記ゲイン値を求めるゲイン算出手段を有して構成されたもの であることを特徴とする付記 3に記載の画像処理システム。
[0304] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 1および実施形態 2が対応する。ゲイン算出手段は、図 8, 図 20に示したゲイン算出部 300,制御部 119が該当する。
[0305] この発明の好ましい適用例は、制御部 119によって ISO感度，露出情報，ホワイト ノランス情報などを転送して、ゲイン算出部 300によって撮影時のトータルのゲイン 量を求める画像処理システムである。
[0306] (作用）
ISO感度と露出情報とホワイトバランス情報との内の少なくとも 1つの情報に基づい て撮影時のゲイン量を求め、ノイズ量を推定するための情報として用いる。 [0307] (効果）
撮影時のゲイン変化に動的に適応して、ノイズ量の推定を高精度に行うことが可能 となる。
[0308] [付記 6]
上記ノイズ量算出手段は、
基準ノイズモデルに係るパラメータと、この基準ノイズモデルに対する補正係数に 係るパラメータと、を含むパラメータ群を記録する記録手段と、
上記収集手段または上記付与手段からの情報と、上記注目領域のベクトル信号の ノルムと、に基づいて、上記パラメータ群力 必要となるパラメータを選択するパラメ一 タ選択手段と、
上記注目領域のベクトル信号のノルムと、上記パラメータ選択手段により選択され たパラメータと、に基づいて、基準ノイズ量を求める基準ノイズ量算出手段と、 上記基準ノイズ量を上記パラメータ選択手段により選択されたパラメータに基づい て補正することによりノイズ量を求める基準ノイズ量補正手段と、
を有して構成されたものであることを特徴とする付記 3に記載の画像処理システム。
[0309] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 1が対応する。パラメータ選択手段は図 8に示したパラメ一 タ用 ROM302が、パラメータ選択手段は図 8に示したパラメータ選択部 303が、基準 ノイズ量算出手段は図 8に示した補間部 304が、基準ノイズ量補正手段は図 8に示し た補正部 305が、それぞれ該当する。
[0310] この発明の好ましい適用例は、パラメータ用 ROM302に予め測定しておいたノイズ 量推定のために使用される基準ノイズモデルの係数と補正係数とを記録し、パラメ一 タ選択部 303によって基準ノイズモデルの係数と補正係数とを選択し、補間部 304に よって基準ノイズモデルに基づき基準ノイズ量を算出し、補正部 305によって補正係 数に基づき補正することによりノイズ量を求める画像処理システムである。
[0311] (作用）
基準ノイズモデルに基づき補正処理を行うことによりノイズ量を求める。
[0312] (効果） ノイズ量の算出にモデルを用いているために、ノイズ量の推定を高精度に行うことが 可能となる。また、基準ノイズモデルからのノイズ量の算出処理は実装が容易であつ て、システムを低コストに構成することが可能となる。
[0313] [付記 7]
上記基準ノイズモデルは、ベクトル信号のノルムと、該ノルムに対するノイズ量と、を 座標とする複数の座標点データを含むものであることを特徴とする付記 6に記載の画 像処理システム。
[0314] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 1が対応する。
[0315] この発明の好ましい適用例は、図 10に示した複数の座標点データを含む基準ノィ ズモデルを用いる画像処理システムである。
[0316] (作用）
基準ノイズモデルを複数の座標点データを用いて構成する。
[0317] (効果）
モデルを構築するために必要となるメモリ量が少な 、ために、低コスト化を図ること が可能となる。
[0318] [付記 8]
上記ノイズ量算出手段は、上記収集手段または上記付与手段からの情報と、上記 注目領域のベクトル信号のノルムと、を入力として、ノイズ量を求めるルックアップテー ブル手段を有して構成されたものであることを特徴とする付記 3に記載の画像処理シ ステム。
[0319] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 2が対応する。ルックアップテーブル手段は、図 20に示し たルックアップテーブル部 800が該当する。
[0320] この発明の好ましい適用例は、ルックアップテーブル部 800によってノイズ量を求め る画像処理システムである。
[0321] (作用）
ルックアップテーブル手段によりノイズ量を求める。 [0322] (効果）
ノイズ量を求めるのにルックアップテーブル手段を用いているために、処理を高速 に行うことが可能となる。
[0323] [付記 9]
上記定数算出手段は、上記関数としての複数の 1次関数の組み合わせに関する定 数項、または上記関数としての単一の 2次関数に関する定数項、を算出するものであ ることを特徴とする付記 2に記載の画像処理システム。
[0324] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 1および実施形態 2が対応する。
[0325] この発明の好ましい適用例は、図 6に示したような複数の 1次関数の組み合わせに 関する定数項、または図 19に示したような単一の 2次関数に関する定数項、を算出 する画像処理システムである。
[0326] (作用）
重み係数を算出するための関数として、複数の 1次関数の組み合わせ、または単 一の 2次関数を設定して、設定した関数に対する定数項を算出する。
[0327] (効果）
複数の 1次関数の組み合わせを用いる場合には、定数項の算出が単純となって処 理の高速化と低コスト化とを図ることが可能となる。また、単一の 2次関数を用いる場 合には、重み係数の生成が連続的になって、ノイズ低減処理をより高精度に行うこと が可能となる。
[0328] [付記 10]
上記重み係数算出手段は、
上記注目領域のベクトル信号と上記近傍領域の各ベクトル信号との間の測度値の 平均を算出する平均測度値算出手段と、
上記測度値の平均と、上記注目領域のベクトル信号に関するノイズ量と、に基づき 、上記注目領域のべ外ル信号に関する乖離度を算出する乖離度算出手段と、 上記乖離度に基づいて上記注目領域のベクトル信号に関する重み係数を算出す る注目ベクトル重み係数算出手段と、 をさらに有して構成されたものであることを特徴とする付記 2に記載の画像処理シス テム。
[0329] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 1および実施形態 2が対応する。平均測度値算出手段は 図 5,図 18に示した距離測度算出部 207,平均測度算出部 209および図 18に示し た角度測度算出部 700,乗算部 701が、乖離度算出手段は図 5,図 18に示した乖 離度算出部 210が、注目ベクトル重み係数算出手段は図 5,図 18に示した注目べク トル重み係数算出部 211が、それぞれ該当する。
[0330] この発明の好ましい適用例は、距離測度算出部 207,平均測度算出部 209 (必要 な場合には、さらに角度測度算出部 700,乗算部 701)によって測度値の平均を算 出して、乖離度算出部 210によって測度値の平均および注目領域のベクトル信号に 関するノイズ量から注目領域のベクトル信号に関する乖離度を算出し、注目ベクトル 重み係数算出部 211によって注目領域のベクトル信号に関する重み係数を算出す る画像処理システムである。
[0331] (作用）
注目領域のベクトル信号と他のベクトル信号との間の乖離度に基づき、注目領域の ベクトル信号に関する重み係数を、近傍領域のベクトル信号に関する重み係数とは 独立して別途に算出する。
[0332] (効果）
スノイク性のノイズに対するフィルタリング処理の精度が向上して、ノイズ低減処理 を高精度に行うことが可能となる。
[0333] [付記 11]
上記フィルタリング手段は、
上記局所領域内の各ベクトル信号に対して、該ベクトル信号と他のベクトル信号と の間の測度値に上記重み係数を乗算した総和を算出する重み測度値算出手段と、 上記局所領域内の各ベクトル信号に対する測度値の総和の中から最小値を探索 する探索手段と、
上記最小の測度値の総和に対応するベクトル信号を出力する出力手段と、 を有して構成されたものであることを特徴とする付記 1に記載の画像処理システム。
[0334] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 1が対応する。重み測度値算出手段は図 12に示した重み 測度値算出部 402が、探索手段は図 12に示した最小測度探索部 404が、出力手段 は図 12に示した対応ベクトル選択部 405が、それぞれ該当する。
[0335] この発明の好ましい適用例は、重み測度値算出部 402によって局所領域内の各べ タトル信号に対して他のベクトル信号との間の測度値に重み係数を乗算した総和を 算出し、最小測度探索部 404によって測度値の総和の中から最小値を探索し、対応 ベクトル選択部 405によって最小の測度値の総和に対応するベクトル信号を出力す る画像処理システムである。
[0336] (作用）
重み付けした測度値の総和が最小となるベクトル信号を出力する。
[0337] (効果）
エッジ部の劣化などの副作用が少なく、かつノイズ全般に対して高精度なノイズ低 減処理を行うことが可能となる。
[0338] [付記 12]
上記測度値は、 2つの n次元のベクトル信号である V = {ν , V , · · · , V }と V = {v ,
V， · · ·， V }とに対して次の数式、
4"
Figure imgf000049_0001
により定義される距離測度値 )であることを特徴とする付記 10または付記 11 に記載の画像処理システム。
[0339] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 1が対応する。
[0340] この発明の好ましい適用例は、図 5に示したような距離測度算出部 207によって算 出した距離測度値を測度値として用いる画像処理システムである。
[0341] (作用）
2つのベクトル信号間の測度値として距離測度値を用いる。 [0342] (効果）
距離測度値は輝度ノイズとの関連性が高いために、輝度ノイズに対するノイズ低減 処理の精度を向上することができる。
[0343] [付記 13]
上記測度値は、 2つの n次元のベクトル信号である V = {ν , V , ···, V }と V = {v , v , ···, V }とに対して次の数式、
.
αψ, ,V,)=
Figure imgf000050_0001
により定義される角度測度値 a (V, V)であることを特徴とする付記 10または付記 11 に記載の画像処理システム。
[0344] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 2が対応する。
[0345] この発明の好ましい適用例は、図 18に示した角度測度算出部 700によって算出し た角度測度値を測度値として用いる画像処理システムである。
[0346] (作用）
2つのベクトル信号間の測度値として角度測度値を用いる。
[0347] (効果）
角度測度値は色ノイズとの関連性が高 、ために、色ノイズに対するノイズ低減処理 の精度を向上することができる。
[0348] [付記 14]
上記測度値は、 2つの n次元のベクトル信号である V = {ν , V , ···, V }と V = {v ,
V， ···， V }とに対して次の数式、
Figure imgf000050_0002
により定義される距離測度値 )と角度測度値 a (Vi, )とを組み合わせて得ら れる測度値であることを特徴とする付記 10または付記 11に記載の画像処理システム
[0349] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 2が対応する。
[0350] この発明の好ましい適用例は、図 18に示したような距離測度算出部 207によって 算出される距離測度値と、図 18に示したような角度測度算出部 700によって算出さ れる角度測度値と、を図 18に示した乗算部 701によって組み合わせて得られるもの を測度値として用いる画像処理システムである。
[0351] (作用）
2つのベクトル信号間の測度値として、距離測度値と角度測度値とを組み合わせて 得られる測度値を用いる。
[0352] (効果）
距離測度値は輝度ノイズとの関連性が高ぐ角度測度値は色ノイズとの関連性が高 いために、両者を組み合わせて用いることにより、輝度ノイズおよび色ノイズに対する ノイズ低減処理の精度を向上することができる。
[0353] [付記 15]
上記ノイズ低減手段は、上記フィルタリング処理により得られたベクトル信号と上記 注目領域のべ外ル信号とを所定の重み係数を用いて重み付き加算平均して得られ たベクトル信号を上記注目領域のベクトル信号とする平均化手段を有して構成され たものであることを特徴とする付記 1に記載の画像処理システム。
[0354] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 1が対応する。平均化手段は、図 1,図 13に示したノイズ 低減部 115が該当する。
[0355] この発明の好ましい適用例は、ノイズ低減部 115によって、フィルタリング処理により 得られたベクトル信号と注目領域のベクトル信号とを所定の重み係数を用いて重み 付き加算平均して得られたベクトル信号を注目領域のベクトル信号とする画像処理シ ステムである。 [0356] (作用）
フィルタリング処理によって得られたベクトル信号と本来のベクトル信号とを重み付 き加算平均する。
[0357] (効果）
偽輪郭などの発生を抑制することができ、主観的に好まし ゾィズ低減処理を行うこ とが可能となる。
[0358] [付記 16]
上記ノイズ低減手段は、上記フィルタリング処理により得られたベクトル信号を上記 注目領域のべ外ル信号とする置換手段を有して構成されたものであることを特徴と する付記 1に記載の画像処理システム。
[0359] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 2が対応する。置換手段は、図 16に示した置換部 604が 該当する。
[0360] この発明の好ましい適用例は、フィルタリング処理により得られたベクトル信号を注 目領域のベクトル信号とする画像処理システムである。
[0361] (作用）
フィルタリング処理によって得られたベクトル信号を出力信号とする。
[0362] (効果）
処理系を単純ィ匕することができて、高速な処理を行 ヽ得るシステムを低コストに構 成することが可能となる。
[0363] [付記 17]
上記撮像素子は、 R (赤）， G (緑) , B (青)べィヤー型原色フィルタを前面に配置し た単板撮像素子、または Cy (シアン） , Mg (マゼンタ） , Ye (イェロー）， G (緑)色差線 順次型補色フィルタを前面に配置した単板撮像素子、であることを特徴とする付記 1 に記載の画像処理システム。
[0364] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 1が対応する。
[0365] この発明の好ましい適用例は、図 2 (A)あるいは図 3 (A)に示したようなべィヤー（B ayer)型原色フィルタ、または図 4 (A)に示したような色差線順次型補色フィルタを前 面に配置した単板撮像素子を用 ヽる画像処理システムである。
[0366] (作用）
べィヤー（Bayer)型原色フィルタまたは色差線順次型補色フィルタを前面に配置し た単板撮像素子を用いる。
[0367] (効果）
従来の撮影部との親和性が高ぐ多くの画像処理システムに適用することが可能と なる。
[0368] [付記 18]
上記ノイズ低減手段によりノイズを低減されたベクトル信号から、上記複数の色信号 を導出するスカラー化手段をさらに具備したことを特徴とする付記 1に記載の画像処 理システム。
[0369] (対応する発明の実施形態と好ましい適用例）
この付記には、実施形態 1および実施形態 2が対応する。スカラー化手段は、図 1 , 図 13 ,図 16に示したスカラー化部 116が該当する。
[0370] この発明の好ましい適用例は、スカラー化部 116によってノイズ低減処理後のベタ トル信号を撮像素子本来の色信号へ戻す画像処理システムである。
[0371] (作用）
ノイズ低減処理後のベクトル信号を撮像素子本来の色信号へ戻す。
[0372] (効果）
ノイズ低減処理後に撮像素子本来の色信号へ戻すために、以後の処理系との互 換性が維持されて、多様なシステムの組み合わせが可能となる。
[0373] [付記 19]
コンピュータに、撮像素子からの複数の色信号で構成される映像信号に対してノィ ズ低減処理を行わせるための画像処理プログラムであって、
コンピュータに、
上記映像信号から、ノイズ低減処理を行う対象となる注目領域と、該注目領域の近 傍に位置する少なくとも 1つの近傍領域と、を含む局所領域を抽出する抽出ステップ と、
上記注目領域および上記近傍領域毎に、上記複数の色信号を構成成分とするベ タトル信号を導出するベクトル化ステップと、
上記注目領域のベクトル信号に基づ!、て、上記局所領域内の各ベクトル信号に関 する重み係数を設定する設定ステップと、
上記局所領域内のベクトル信号に対して、上記重み係数を用いたフィルタリング処 理を行うフィルタリングステップと、
上記フィルタリング処理により得られたベクトル信号に基づ 、て、上記注目領域の ベクトル信号のノイズを低減するノイズ低減ステップと、
を実行させるための画像処理プログラム。
[0374] (対応する発明の実施形態と効果）
付記 1とほぼ同様である。ただし、各ステップは、図 14,図 15または図 21,図 22に 示したステップが対応する。
[0375] [付記 20]
上記設定ステップは、
上記局所領域内の各ベクトル信号のノルムを算出するノルム算出ステップと、 上記注目領域のベクトル信号のノルムに基づ!/、て、該注目領域のベクトル信号に 関するノイズ量を推定するノイズ推定ステップと、
上記ノイズ量に基づいて、重み係数を算出するために用いる関数の定数項を算出 する定数算出ステップと、
上記局所領域内の各べ外ル信号のノルムと、上記定数項を設定した関数と、に基 づいて、該局所領域内の各ベクトル信号の重み係数を算出する重み係数算出ステツ プと、
を含むことを特徴とする付記 19に記載の画像処理プログラム。
[0376] (対応する発明の実施形態と効果）
付記 2とほぼ同様である。ただし、各ステップは、図 14,図 15または図 21,図 22に 示したステップが対応する。
[0377] [付記 21] 上記ノイズ推定ステップは、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収 集する収集ステップと、
上記収集ステップにより得ることができない情報に関して標準値を付与する付与ス テツプと、
上記収集ステップまたは上記付与ステップ力 の情報と、上記注目領域のベクトル 信号のノルムと、に基づいて、ベクトル信号に関するノイズ量を求めるノイズ量算出ス テツプと、
を含むことを特徴とする付記 20に記載の画像処理プログラム。
[0378] (対応する発明の実施形態と効果）
付記 3とほぼ同様である。ただし、各ステップは、図 14,図 15または図 21,図 22に 示したステップが対応する。
[0379] [付記 22]
上記定数算出ステップは、上記関数としての複数の 1次関数の組み合わせに関す る定数項、または上記関数としての単一の 2次関数に関する定数項、を算出するステ ップであることを特徴とする付記 20に記載の画像処理プログラム。
[0380] (対応する発明の実施形態と効果）
付記 9とほぼ同様である。ただし、各ステップは、図 14,図 15または図 21,図 22に 示したステップが対応する。
[0381] [付記 23]
上記重み係数算出ステップは、
上記注目領域のベクトル信号と上記近傍領域の各ベクトル信号との間の測度値の 平均を算出する平均測度値算出ステップと、
上記測度値の平均と、上記注目領域のベクトル信号に関するノイズ量と、に基づき 、上記注目領域のべ外ル信号に関する乖離度を算出する乖離度算出ステップと、 上記乖離度に基づいて上記注目領域のベクトル信号に関する重み係数を算出す る注目ベクトル重み係数算出ステップと、
を含むことを特徴とする付記 20に記載の画像処理プログラム。 [0382] (対応する発明の実施形態と効果）
付記 10とほぼ同様である。ただし、各ステップは、図 14,図 15または図 21,図 22 に示したステップが対応する。
[0383] [付記 24]
上記フィルタリングステップは、
上記局所領域内の各ベクトル信号に対して、該ベクトル信号と他のベクトル信号と の間の測度値に上記重み係数を乗算した総和を算出する重み測度値算出ステップ と、
上記局所領域内の各ベクトル信号に対する測度値の総和の中から最小値を探索 する探索ステップと、
上記最小の測度値の総和に対応するベクトル信号を出力する出力ステップと、 を含むことを特徴とする付記 19に記載の画像処理プログラム。
[0384] (対応する発明の実施形態と効果）
付記 11とほぼ同様である。ただし、各ステップは、図 14,図 15または図 21,図 22 に示したステップが対応する。
[0385] [付記 25]
上記ノイズ低減ステップは、上記フィルタリング処理により得られたベクトル信号と上 記注目領域のベクトル信号とを所定の重み係数を用いて重み付き加算平均して得ら れたベクトル信号を上記注目領域のベクトル信号とする平均化ステップを含むことを 特徴とする付記 19に記載の画像処理プログラム。
[0386] (対応する発明の実施形態と効果）
付記 15とほぼ同様である。ただし、各ステップは、図 14,図 15に示したステップが 対応する。
[0387] [付記 26]
上記ノイズ低減ステップは、上記フィルタリング処理により得られたベクトル信号を上 記注目領域のベクトル信号とする置換ステップを含むことを特徴とする付記 19に記 載の画像処理プログラム。
[0388] (対応する発明の実施形態と効果） 付記 16とほぼ同様である。ただし、各ステップは、図 21,図 22に示したステップが 対応する。
[0389] [付記 27]
上記ノイズ低減ステップによりノイズを低減されたベクトル信号から、上記複数の色 信号を導出するスカラー化ステップをさらに含むことを特徴とする付記 19に記載の画 像処理プログラム。
[0390] (対応する発明の実施形態と効果）
付記 18とほぼ同様である。ただし、各ステップは、図 14,図 15または図 21,図 22 に示したステップが対応する。
[0391] なお、本発明は上述した実施形態に限定されるものではなぐ発明の主旨を逸脱し な 、範囲内にお 、て種々の変形や応用が可能であることは勿論である。
[0392] 本出願は、 2005年 10月 12日に日本国に出願された特願 2005— 297983号を優 先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求 の範囲、図面に引用されたものとする。

Claims

請求の範囲
[1] 撮像素子からの複数の色信号で構成される映像信号に対してノイズ低減処理を行 う画像処理システムであつて、
上記映像信号から、ノイズ低減処理を行う対象となる注目領域と、該注目領域の近 傍に位置する少なくとも 1つの近傍領域と、を含む局所領域を抽出する抽出手段と、 上記注目領域および上記近傍領域毎に、上記複数の色信号を構成成分とするベ タトル信号を導出するベクトル化手段と、
上記注目領域のベクトル信号に基づ!/、て、上記局所領域内の各ベクトル信号に関 する重み係数を設定する設定手段と、
上記局所領域内のベクトル信号に対して、上記重み係数を用いたフィルタリング処 理を行うフィルタリング手段と、
上記フィルタリング処理により得られたベクトル信号に基づ 、て、上記注目領域の ベクトル信号のノイズを低減するノイズ低減手段と、
を具備したことを特徴とする画像処理システム。
[2] 上記設定手段は、
上記局所領域内の各ベクトル信号のノルムを算出するノルム算出手段と、 上記注目領域のベクトル信号のノルムに基づ!/、て、該注目領域のベクトル信号に 関するノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づいて、重み係数を算出するために用いる関数の定数項を算出 する定数算出手段と、
上記局所領域内の各べ外ル信号のノルムと、上記定数項を設定した関数と、に基 づいて、該局所領域内の各べ外ル信号の重み係数を算出する重み係数算出手段 と、
を有して構成されたものであることを特徴とする請求項 1に記載の画像処理システ ム。
[3] 上記ノイズ推定手段は、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収 集する収集手段と、 上記収集手段により得ることができない情報に関して標準値を付与する付与手段と 上記収集手段または上記付与手段からの情報と、上記注目領域のベクトル信号の ノルムと、に基づいて、ベクトル信号に関するノイズ量を求めるノイズ量算出手段と、 を有して構成されたものであることを特徴とする請求項 2に記載の画像処理システ ム。
[4] 上記収集手段は、上記撮像素子の温度値を測定する温度センサを有して構成され たものであることを特徴とする請求項 3に記載の画像処理システム。
[5] 上記収集手段は、 ISO感度と露出情報とホワイトバランス情報との内の少なくとも 1 つの情報に基づいて上記ゲイン値を求めるゲイン算出手段を有して構成されたもの であることを特徴とする請求項 3に記載の画像処理システム。
[6] 上記ノイズ量算出手段は、
基準ノイズモデルに係るパラメータと、この基準ノイズモデルに対する補正係数に 係るパラメータと、を含むパラメータ群を記録する記録手段と、
上記収集手段または上記付与手段からの情報と、上記注目領域のベクトル信号の ノルムと、に基づいて、上記パラメータ群力 必要となるパラメータを選択するパラメ一 タ選択手段と、
上記注目領域のベクトル信号のノルムと、上記パラメータ選択手段により選択され たパラメータと、に基づいて、基準ノイズ量を求める基準ノイズ量算出手段と、 上記基準ノイズ量を上記パラメータ選択手段により選択されたパラメータに基づい て補正することによりノイズ量を求める基準ノイズ量補正手段と、
を有して構成されたものであることを特徴とする請求項 3に記載の画像処理システ ム。
[7] 上記基準ノイズモデルは、ベクトル信号のノルムと、該ノルムに対するノイズ量と、を 座標とする複数の座標点データを含むものであることを特徴とする請求項 6に記載の 画像処理システム。
[8] 上記ノイズ量算出手段は、上記収集手段または上記付与手段からの情報と、上記 注目領域のベクトル信号のノルムと、を入力として、ノイズ量を求めるルックアップテー ブル手段を有して構成されたものであることを特徴とする請求項 3に記載の画像処理 システム。
[9] 上記定数算出手段は、上記関数としての複数の 1次関数の組み合わせに関する定 数項、または上記関数としての単一の 2次関数に関する定数項、を算出するものであ ることを特徴とする請求項 2に記載の画像処理システム。
[10] 上記重み係数算出手段は、
上記注目領域のベクトル信号と上記近傍領域の各ベクトル信号との間の測度値の 平均を算出する平均測度値算出手段と、
上記測度値の平均と、上記注目領域のベクトル信号に関するノイズ量と、に基づき 、上記注目領域のべ外ル信号に関する乖離度を算出する乖離度算出手段と、 上記乖離度に基づいて上記注目領域のベクトル信号に関する重み係数を算出す る注目ベクトル重み係数算出手段と、
をさらに有して構成されたものであることを特徴とする請求項 2に記載の画像処理シ ステム。
[11] 上記フィルタリング手段は、
上記局所領域内の各ベクトル信号に対して、該ベクトル信号と他のベクトル信号と の間の測度値に上記重み係数を乗算した総和を算出する重み測度値算出手段と、 上記局所領域内の各ベクトル信号に対する測度値の総和の中から最小値を探索 する探索手段と、
上記最小の測度値の総和に対応するベクトル信号を出力する出力手段と、 を有して構成されたものであることを特徴とする請求項 1に記載の画像処理システ ム。
[12] 上記測度値は、 2つの n次元のベクトル信号である V = {ν , V , · · · , V }と V = {v ,
V， · · ·， V }とに対して次の数式、
Figure imgf000060_0001
により定義される距離測度値 d(Vi, Vj)であることを特徴とする請求項 10または請求 項 11に記載の画像処理システム。
[13] 上記測度値は、 2つの n次元のベクトル信号である V
V , · · · , V }とに対して次の数式、
Figure imgf000061_0001
により定義される角度測度値 a (V , V)であることを特徴とする請求項 10または請求 項 11に記載の画像処理システム。
[14] 上記測度値は、 2つの n次元のベクトル信号である V = {ν , V , · · · , V }と V = {v , i2
v , · · · , V }とに対して次の数式、
Figure imgf000061_0002
により定義される距離測度値 d(Vi, )と角度測度値 ， )とを組み合わせて得ら れる測度値であることを特徴とする請求項 10または請求項 11に記載の画像処理シ ステム。
[15] 上記ノイズ低減手段は、上記フィルタリング処理により得られたベクトル信号と上記 注目領域のべ外ル信号とを所定の重み係数を用いて重み付き加算平均して得られ たベクトル信号を上記注目領域のベクトル信号とする平均化手段を有して構成され たものであることを特徴とする請求項 1に記載の画像処理システム。
[16] 上記ノイズ低減手段は、上記フィルタリング処理により得られたベクトル信号を上記 注目領域のべ外ル信号とする置換手段を有して構成されたものであることを特徴と する請求項 1に記載の画像処理システム。
[17] 上記撮像素子は、 R (赤）， G (緑) , B (青)べィヤー型原色フィルタを前面に配置し た単板撮像素子、または Cy (シアン） , Mg (マゼンタ） , Ye (イェロー）， G (緑)色差線 順次型補色フィルタを前面に配置した単板撮像素子、であることを特徴とする請求項 1に記載の画像処理システム。
[18] 上記ノイズ低減手段によりノイズを低減されたベクトル信号から、上記複数の色信号 を導出するスカラー化手段をさらに具備したことを特徴とする請求項 1に記載の画像 処理システム。
[19] コンピュータに、撮像素子力 の複数の色信号で構成される映像信号に対してノィ ズ低減処理を行わせるための画像処理プログラムであって、
コンピュータに、
上記映像信号から、ノイズ低減処理を行う対象となる注目領域と、該注目領域の近 傍に位置する少なくとも 1つの近傍領域と、を含む局所領域を抽出する抽出ステップ と、
上記注目領域および上記近傍領域毎に、上記複数の色信号を構成成分とするベ タトル信号を導出するベクトル化ステップと、
上記注目領域のベクトル信号に基づ!、て、上記局所領域内の各ベクトル信号に関 する重み係数を設定する設定ステップと、
上記局所領域内のベクトル信号に対して、上記重み係数を用いたフィルタリング処 理を行うフィルタリングステップと、
上記フィルタリング処理により得られたベクトル信号に基づ 、て、上記注目領域の ベクトル信号のノイズを低減するノイズ低減ステップと、
を実行させるための画像処理プログラム。
[20] 上記設定ステップは、
上記局所領域内の各ベクトル信号のノルムを算出するノルム算出ステップと、 上記注目領域のベクトル信号のノルムに基づ!/、て、該注目領域のベクトル信号に 関するノイズ量を推定するノイズ推定ステップと、
上記ノイズ量に基づいて、重み係数を算出するために用いる関数の定数項を算出 する定数算出ステップと、
上記局所領域内の各べ外ル信号のノルムと、上記定数項を設定した関数と、に基 づいて、該局所領域内の各ベクトル信号の重み係数を算出する重み係数算出ステツ プと、
を含むことを特徴とする請求項 19に記載の画像処理プログラム。
[21] 上記ノイズ推定ステップは、
上記撮像素子の温度値と、上記映像信号に対するゲイン値と、に関する情報を収 集する収集ステップと、
上記収集ステップにより得ることができない情報に関して標準値を付与する付与ス テツプと、
上記収集ステップまたは上記付与ステップ力 の情報と、上記注目領域のベクトル 信号のノルムと、に基づいて、ベクトル信号に関するノイズ量を求めるノイズ量算出ス テツプと、
を含むことを特徴とする請求項 20に記載の画像処理プログラム。
[22] 上記定数算出ステップは、上記関数としての複数の 1次関数の組み合わせに関す る定数項、または上記関数としての単一の 2次関数に関する定数項、を算出するステ ップであることを特徴とする請求項 20に記載の画像処理プログラム。
[23] 上記重み係数算出ステップは、
上記注目領域のベクトル信号と上記近傍領域の各ベクトル信号との間の測度値の 平均を算出する平均測度値算出ステップと、
上記測度値の平均と、上記注目領域のベクトル信号に関するノイズ量と、に基づき 、上記注目領域のべ外ル信号に関する乖離度を算出する乖離度算出ステップと、 上記乖離度に基づいて上記注目領域のベクトル信号に関する重み係数を算出す る注目ベクトル重み係数算出ステップと、
を含むことを特徴とする請求項 20に記載の画像処理プログラム。
[24] 上記フィルタリングステップは、
上記局所領域内の各ベクトル信号に対して、該ベクトル信号と他のベクトル信号と の間の測度値に上記重み係数を乗算した総和を算出する重み測度値算出ステップ と、
上記局所領域内の各ベクトル信号に対する測度値の総和の中から最小値を探索 する探索ステップと、
上記最小の測度値の総和に対応するベクトル信号を出力する出力ステップと、 を含むことを特徴とする請求項 19に記載の画像処理プログラム。
[25] 上記ノイズ低減ステップは、上記フィルタリング処理により得られたベクトル信号と上 記注目領域のベクトル信号とを所定の重み係数を用いて重み付き加算平均して得ら れたベクトル信号を上記注目領域のベクトル信号とする平均化ステップを含むことを 特徴とする請求項 19に記載の画像処理プログラム。
[26] 上記ノイズ低減ステップは、上記フィルタリング処理により得られたベクトル信号を上 記注目領域のベクトル信号とする置換ステップを含むことを特徴とする請求項 19に 記載の画像処理プログラム。
[27] 上記ノイズ低減ステップによりノイズを低減されたベクトル信号から、上記複数の色 信号を導出するスカラー化ステップをさらに含むことを特徴とする請求項 19に記載の 画像処理プログラム。
PCT/JP2006/318966 2005-10-12 2006-09-25 画像処理システム、画像処理プログラム Ceased WO2007043325A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2006800370214A CN101283603B (zh) 2005-10-12 2006-09-25 图像处理系统、图像处理方法
EP06798292A EP1944982A1 (en) 2005-10-12 2006-09-25 Image processing system and image processing program
US12/100,128 US8019174B2 (en) 2005-10-12 2008-04-09 Image processing system, image processing method, and image processing program product

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005297983A JP4660342B2 (ja) 2005-10-12 2005-10-12 画像処理システム、画像処理プログラム
JP2005-297983 2005-10-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/100,128 Continuation US8019174B2 (en) 2005-10-12 2008-04-09 Image processing system, image processing method, and image processing program product

Publications (1)

Publication Number Publication Date
WO2007043325A1 true WO2007043325A1 (ja) 2007-04-19

Family

ID=37942576

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/318966 Ceased WO2007043325A1 (ja) 2005-10-12 2006-09-25 画像処理システム、画像処理プログラム

Country Status (5)

Country Link
US (1) US8019174B2 (ja)
EP (1) EP1944982A1 (ja)
JP (1) JP4660342B2 (ja)
CN (1) CN101283603B (ja)
WO (1) WO2007043325A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596216A (zh) * 2021-12-22 2022-06-07 上海顺久电子科技有限公司 图像滤波方法及相关装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5178226B2 (ja) * 2008-02-08 2013-04-10 オリンパス株式会社 画像処理装置および画像処理プログラム
JP2015039044A (ja) * 2008-10-23 2015-02-26 株式会社東芝 撮像装置
JP5197423B2 (ja) 2009-02-18 2013-05-15 オリンパス株式会社 画像処理装置
JP5401191B2 (ja) * 2009-07-21 2014-01-29 富士フイルム株式会社 撮像装置及び信号処理方法
CN102622736B (zh) * 2011-01-28 2017-08-04 鸿富锦精密工业（深圳）有限公司 影像处理系统及方法
JP5991749B2 (ja) * 2011-09-26 2016-09-14 キヤノン株式会社 画像処理装置及び方法
JP5751200B2 (ja) 2012-03-19 2015-07-22 ヤマハ株式会社 オーディオ機器制御プログラムおよび携帯電話機
JP5917258B2 (ja) 2012-04-20 2016-05-11 キヤノン株式会社 画像処理装置及び画像処理方法
JP6071419B2 (ja) * 2012-10-25 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
US9769365B1 (en) 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
CN105049679B (zh) 2014-04-17 2019-02-22 株式会社摩如富 图像处理装置以及图像处理方法
JP6327922B2 (ja) * 2014-04-25 2018-05-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN110930425B (zh) * 2019-10-21 2022-08-05 中国科学院西安光学精密机械研究所 基于邻域向量内积局部对比度图像增强的损伤目标检测方法
JP7748426B2 (ja) 2023-09-22 2025-10-02 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057938A1 (ja) * 2003-12-09 2005-06-23 Olympus Corporation 撮像システムおよび画像処理プログラム
WO2006004151A1 (ja) * 2004-07-07 2006-01-12 Olympus Corporation 信号処理システム及び信号処理プログラム
JP2006101006A (ja) * 2004-09-28 2006-04-13 Olympus Corp 撮像システム、ノイズ低減処理装置及び撮像処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0134352B1 (ko) 1992-10-30 1998-04-23 윤종용 영상신호의 임펄스노이즈제거방법 및 장치
JP3263535B2 (ja) 1994-07-25 2002-03-04 日本電信電話株式会社 カラー画像処理方法
US6097836A (en) * 1996-07-22 2000-08-01 Nec Corporation Image processing system and its smoothing method for correcting color fog and backlight of a digital image
US7031548B2 (en) * 2001-10-04 2006-04-18 Hewlett-Packard Development Company, L.P. Method and apparatus for filtering noise from a digital image
JP3934506B2 (ja) 2002-08-06 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP3762725B2 (ja) * 2002-08-22 2006-04-05 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP4042563B2 (ja) * 2002-12-27 2008-02-06 セイコーエプソン株式会社 画像ノイズの低減
JP2005130297A (ja) * 2003-10-24 2005-05-19 Olympus Corp 信号処理システム、信号処理方法、信号処理プログラム
JP4290193B2 (ja) * 2006-12-26 2009-07-01 三洋電機株式会社 画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057938A1 (ja) * 2003-12-09 2005-06-23 Olympus Corporation 撮像システムおよび画像処理プログラム
WO2006004151A1 (ja) * 2004-07-07 2006-01-12 Olympus Corporation 信号処理システム及び信号処理プログラム
JP2006101006A (ja) * 2004-09-28 2006-04-13 Olympus Corp 撮像システム、ノイズ低減処理装置及び撮像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596216A (zh) * 2021-12-22 2022-06-07 上海顺久电子科技有限公司 图像滤波方法及相关装置

Also Published As

Publication number Publication date
EP1944982A1 (en) 2008-07-16
US8019174B2 (en) 2011-09-13
JP2007110338A (ja) 2007-04-26
JP4660342B2 (ja) 2011-03-30
CN101283603A (zh) 2008-10-08
US20080193019A1 (en) 2008-08-14
CN101283603B (zh) 2011-11-09

Similar Documents

Publication Publication Date Title
JP3762725B2 (ja) 撮像システムおよび画像処理プログラム
JP3934597B2 (ja) 撮像システムおよび画像処理プログラム
JP4465002B2 (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
JP4547223B2 (ja) 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
JP4837365B2 (ja) 画像処理システム、画像処理プログラム
JP3899118B2 (ja) 撮像システム、画像処理プログラム
JP5123756B2 (ja) 撮像システム、画像処理方法および画像処理プログラム
US8223226B2 (en) Image processing apparatus and storage medium storing image processing program
JP4628937B2 (ja) カメラシステム
JP4427001B2 (ja) 画像処理装置、画像処理プログラム
JP4660342B2 (ja) 画像処理システム、画像処理プログラム
JP2006023959A (ja) 信号処理システム及び信号処理プログラム
WO2007049418A1 (ja) 画像処理システム、画像処理プログラム
JP5052189B2 (ja) 映像処理装置及び映像処理プログラム
EP2037687A1 (en) Imaging system and imaging program
JP4916341B2 (ja) 画像処理装置及び画像処理プログラム
WO2007077730A1 (ja) 撮像システム、画像処理プログラム
WO2005099356A2 (ja) 撮像装置
KR101612853B1 (ko) 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체
JP2004266323A (ja) 撮像システム、画像処理プログラム
JP2001238128A (ja) 画像処理装置
JP2005260573A (ja) 電子カメラ、カメラシステムおよび電子カメラの黒点補正方法
JP2009100207A (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム
JP2009027615A (ja) 映像処理装置および映像処理プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680037021.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006798292

Country of ref document: EP