[go: up one dir, main page]

WO2006132067A1 - 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム - Google Patents

画像処理方法、画像処理装置、撮像装置及び画像処理プログラム Download PDF

Info

Publication number
WO2006132067A1
WO2006132067A1 PCT/JP2006/310003 JP2006310003W WO2006132067A1 WO 2006132067 A1 WO2006132067 A1 WO 2006132067A1 JP 2006310003 W JP2006310003 W JP 2006310003W WO 2006132067 A1 WO2006132067 A1 WO 2006132067A1
Authority
WO
WIPO (PCT)
Prior art keywords
condition
image data
brightness
hue
shooting
Prior art date
Application number
PCT/JP2006/310003
Other languages
English (en)
French (fr)
Inventor
Hiroaki Takano
Takeshi Nakajima
Daisuke Sato
Tsukasa Ito
Original Assignee
Konica Minolta Photo Imaging, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Photo Imaging, Inc. filed Critical Konica Minolta Photo Imaging, Inc.
Publication of WO2006132067A1 publication Critical patent/WO2006132067A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature

Definitions

  • Image processing method image processing apparatus, imaging apparatus, and image processing program
  • the present invention relates to an image processing method, an image processing device, an imaging device, and an image processing program.
  • Negative film has a wide range of recordable brightness (dynamic range). For example, even a film camera photographed with an inexpensive camera with no exposure control (so-called a device that creates a photographic print) By correcting the density on the minilab (small-scale lab)) side, it is possible to create a photo print that is not inferior! Therefore, the improvement of density correction efficiency in minilabs is indispensable for developing the provision of inexpensive cameras and high value-added prints, and various improvements have been made such as automation if digitalized.
  • Patent Document 1 discloses a method for calculating an additional correction value in place of the discriminant regression analysis method.
  • the method described in Patent Document 1 deletes the high luminance region and the low luminance region from the luminance histogram indicating the cumulative number of luminance pixels (frequency number), and further uses the frequency number limited to reduce the luminance.
  • An average value is calculated, and a difference between the average value and the reference luminance is obtained as a correction value.
  • Patent Document 2 describes a method of determining a light source state at the time of photographing in order to compensate for the extraction accuracy of a face region.
  • a face candidate area is extracted, and the average brightness of the extracted face candidate area is calculated with respect to the entire image. (Shooting close-up flash)) and adjust the tolerance of the judgment criteria for the face area.
  • Patent Document 2 as a method for extracting a face candidate region, a method using a two-dimensional histogram of hue and saturation described in JP-A-6-67320, JP-A-8-122944, JP-A-8-184925
  • the pattern matching and pattern search methods described in Japanese Patent Laid-Open No. 9-138471 and Japanese Patent Laid-Open No. 9-138471 are used for bow I.
  • Patent Document 2 discloses a method for removing a background region other than a face, as described in JP-A-8-122944 and JP-A-8-184925. Citing methods using the contact ratio, density contrast, density change pattern and periodicity with the. It describes a method that uses a one-dimensional histogram of density to determine shooting conditions. This method is based on an empirical rule that the face area is dark and the background area is bright in the case of backlight, and that the face area is bright and the background area is dark in the case of close-up flash photography. As described above, the advancement of the imaging condition discrimination technology leads to an improvement in the accuracy of the automatic density correction, and the compensation effect for the captured image of the digital camera is being steadily improved. Patent Document 1: JP 2002-247393 A
  • Patent Document 2 JP 2000-148980 A
  • the applicant of the present invention conducted a detailed investigation on the difference in image quality correction level for each shooting condition and the subjective influence on the fluctuation.
  • the subjective tolerance for variations in density correction for under-shooting scenes and backlight scenes is very large, for scenes where the exposure is appropriate or overexposure, such as when the shooting conditions are direct light or close-up flash photography.
  • the difference was that it responded sensitively to slight lightness (high density) processing and color differences. This is especially true for so-called professional photographers.With regard to the processing of images taken free of charge by various cameras, the image quality correction processing is limited only to higher brightness (lower density)! Satisfied, and! /, And amazing results.
  • the problem of the present invention is that continuity and stability can be obtained from a scene where the shooting condition is determined to be direct light or close-up flash photography and the exposure is appropriate to overexposure. It is to realize excellent image quality correction processing.
  • the image processing method of the present invention includes an imaging condition analysis step for analyzing a shooting condition of captured image data, and an analysis value of the shooting condition obtained by the shooting condition analysis step. Based on the processing condition calculation step for calculating the image quality correction processing condition for the captured image data and the predetermined image quality correction processing condition as a reference condition, based on the image quality correction processing condition calculated by the processing condition calculation step.
  • the image processing method of the present invention is based on a shooting condition analysis step of analyzing shooting conditions of the shot image data, and a predetermined image quality correction processing condition for the shot image data as a reference condition. Based on the analysis value of the shooting condition obtained in the analysis step, a transition condition calculation step for calculating a transition condition for transitioning from the reference condition to an uncorrected condition without performing image quality correction processing, and the transition condition And an image quality correction processing step of performing an image quality correction process on the captured image data of a predetermined imaging condition in accordance with the transition condition calculated in the calculation step.
  • the image processing apparatus of the present invention includes a photographing condition analysis unit that analyzes a photographing condition of photographed image data, and an image quality for the photographed image data based on an analysis value of the photographing condition obtained by the photographing condition analysis unit.
  • a processing condition calculation unit for calculating a correction processing condition, and a predetermined image quality correction processing condition as a reference condition. Based on the image quality correction processing condition calculated by the processing condition calculation unit, the image quality is calculated from the reference condition.
  • Transition condition calculation means for calculating a transition condition for making a transition to an uncorrected condition that is not subjected to correction processing, and photographic image data with a predetermined shooting condition according to the transition condition calculated by the transition condition calculation means
  • image quality correction processing means for performing image quality correction processing.
  • the image processing apparatus of the present invention includes a shooting condition analysis unit that analyzes a shooting condition of the shot image data, a predetermined image quality correction processing condition for the shot image data as a reference condition, and the shooting condition Based on the analysis value of the imaging condition obtained by the analysis means, the transition condition calculation means for calculating the transition condition for transitioning from the reference condition to the uncorrected condition without performing image quality correction processing, and the transition condition And image quality correction processing means for performing image quality correction processing on the photographic image data under a predetermined imaging condition in accordance with the transition condition calculated by the calculation means.
  • the imaging apparatus of the present invention is obtained by an imaging unit that captures captured image data by capturing a subject, an imaging condition analysis unit that analyzes the imaging condition of the captured image data, and the imaging condition analysis unit. Based on analysis values of shooting conditions! Then, processing condition calculation means for calculating image quality correction processing conditions for the captured image data, and predetermined image quality correction processing conditions.
  • the image processing apparatus includes: a condition calculation unit; and an image quality correction processing unit that performs an image quality correction process on the captured image data under a predetermined imaging condition in accordance with the transition condition calculated by the transition condition calculation unit.
  • the imaging apparatus of the present invention includes an imaging means for capturing a captured image data by capturing a subject, a capturing condition analyzing means for analyzing a capturing condition of the captured image data, and a predetermined value for the captured image data. Transition for transition from the reference condition to an uncorrected condition without image quality correction processing based on the analysis value of the shooting condition obtained by the shooting condition analysis means. Transition condition calculating means for calculating a condition, and image quality correction processing means for performing image quality correction processing on captured image data of a predetermined shooting condition in accordance with the transition condition calculated by the transition condition calculating means. It is characterized by.
  • An image processing program of the present invention includes a computer for executing image processing, a photographing condition analysis function for analyzing photographing conditions of photographed image data, and analysis of photographing conditions obtained by the photographing condition analysis function.
  • a processing condition calculation function for calculating image quality correction processing conditions for the captured image data based on the values, and a predetermined image quality correction processing condition as a reference condition, and the image quality correction processing calculated by the processing condition calculation function.
  • a transition condition calculation function that calculates a transition condition for transitioning from the reference condition to an uncorrected condition that is not subjected to image quality correction processing, and a predetermined condition according to the transition condition calculated by the transition condition calculation function
  • an image processing program of the present invention includes a shooting condition analysis function for analyzing shooting conditions of shot image data and a predetermined image quality correction process for the shot image data in a computer for executing image processing.
  • a shooting condition analysis function for analyzing shooting conditions of shot image data and a predetermined image quality correction process for the shot image data in a computer for executing image processing.
  • a transition condition for making a transition from the reference condition to an uncorrected condition without image quality correction processing is calculated based on the analysis value of the shooting condition obtained by the shooting condition analysis function.
  • the correction amount for an image in which the shooting condition is determined to be under or backlit while maintaining the correction amount for an image in which the shooting condition is determined to be under or backlit, the correction amount for the captured image data in which the shooting condition is normal (appropriate exposure) or over.
  • the continuity and stability can be improved.
  • FIG. 1 is a perspective view showing an external configuration of an image processing apparatus according to Embodiments 1 and 2 of the present invention.
  • FIG. 2 is a block diagram showing an internal configuration of the image processing apparatus according to the first and second embodiments.
  • FIG. 3 is a block diagram showing a main part configuration of the image processing unit in FIG.
  • FIG. 4 is a flowchart showing the flow of processing executed in the image adjustment processing unit of the first embodiment.
  • FIG. 5 is a flowchart showing an imaging condition analysis process executed in the scene determination unit.
  • FIG. 6 is a flowchart showing a first occupancy ratio calculation process for calculating a first occupancy ratio for each brightness and hue area.
  • FIG. 7 is a diagram showing an example of a program for converting RGB power into the HSV color system.
  • FIG. 8 is a diagram showing the brightness (V) —hue (H) plane and the region rl and region r2 on the V—H plane.
  • FIG. 9 is a diagram showing the lightness (V) —hue (H) plane, and regions r3 and r4 on the V—H plane.
  • FIG. 10 is a diagram showing a curve representing a first coefficient for multiplying the first occupancy for calculating index 1;
  • FIG. 11 is a diagram showing a curve representing a second coefficient for multiplying the first occupancy for calculating index 2;
  • FIG. 12 is a flowchart showing a second occupancy ratio calculation process for calculating a second occupancy ratio based on the composition of captured image data.
  • FIG. 13 is a diagram showing regions nl to n4 determined according to the distance from the outer edge of the screen of captured image data.
  • FIG.14 A curve representing the third coefficient for multiplying the second occupancy to calculate index 3 The figure shown according to area
  • ⁇ 17 A diagram showing a discrimination map for discriminating shooting conditions.
  • ⁇ 20 A diagram showing the relationship between the input key correction conversion value and the output key correction conversion value when the shooting condition is direct light.
  • ⁇ 21 A diagram showing the relationship between the input key correction conversion value and the transition coefficient when the shooting condition is direct light.
  • FIG. 22 is a flowchart showing image quality correction processing executed in the image quality correction unit.
  • FIG. 23 A diagram showing a relationship between an index for specifying shooting conditions and gradation adjustment methods A to C.
  • FIG. 24 is a diagram showing a gradation conversion curve corresponding to each gradation adjustment method.
  • FIG. 25 is a flowchart showing the flow of processing executed in the image adjustment processing unit of the second embodiment.
  • ⁇ 26 A diagram showing the relationship between the input key correction conversion value and the output key correction conversion value when the shooting condition is the low accuracy region (2).
  • FIG. 28 is a diagram showing a transition start point and a transition end point in the low accuracy region (2).
  • FIG. 29 is a flowchart showing image quality correction processing according to the first embodiment.
  • ⁇ 30 A diagram showing the relationship (solid line) between the input key correction conversion value and the output key correction conversion value when the shooting condition is front light.
  • ⁇ 31 A diagram showing a gradation conversion curve when the photographing condition is backlight or under.
  • FIG. 32 is a flowchart showing image quality correction processing according to the second embodiment.
  • FIG. 34 is a diagram showing a gradation conversion curve defined for each transition coefficient in the second embodiment.
  • FIG. 35 is a flowchart showing image quality correction processing according to the third embodiment.
  • FIG. 36 is a diagram showing the relationship between transition coefficients and color matrix coefficient values.
  • FIG. 37 is a flowchart showing image quality correction processing according to the fourth embodiment.
  • FIG. 38 is a block diagram showing the configuration of a digital camera to which the imaging apparatus of the present invention is applied.
  • FIG. 39 is a diagram showing a setting screen when manually setting transition conditions.
  • FIG. 1 is a perspective view showing an external configuration of an image processing apparatus 1 according to Embodiments 1 and 2 of the present invention.
  • the image processing apparatus 1 is provided with a magazine loading unit 3 for loading a photosensitive material on one side surface of a housing 2. Inside the housing 2 are provided an exposure processing unit 4 for exposing the photosensitive material, and a print creating unit 5 for developing the exposed photosensitive material, drying it, and creating a print.
  • a tray 6 for discharging the print created by the print creation unit 5 is provided on the other side of the casing 2.
  • a CRT (Cathode Ray Tube) 8 as a display device, a film scanner unit 9 that reads a transparent original, a reflective original input device 10, and an operation unit 11 are provided at the top of the housing 2. Yes.
  • This CRT8 constitutes the display means for displaying the image of the image information to be printed on the screen.
  • the housing 2 is provided with an image reading unit 14 that can read image information recorded on various digital recording media, and an image writing unit 15 that can write (output) image signals on various digital recording media.
  • a control unit 7 that centrally controls these units is provided inside the housing 2.
  • the image reading unit 14 includes a PC card adapter 14a and a floppy (registered trademark) disk adapter 14b, and a PC card 13a and a floppy (registered trademark) disk 13b can be inserted therein.
  • the PC card 13a has a memory in which a plurality of frame image data captured by a digital camera is recorded.
  • a plurality of frame image data captured by a digital camera is recorded on the floppy (registered trademark) disk 13b.
  • Recording media that record frame image data in addition to the PC card 13a and floppy disk 13b include, for example, a multimedia card (registered trademark), a memory stick (registered trademark), MD data, and a CD-ROM. Etc.
  • the image writing unit 15 includes a floppy (registered trademark) disk adapter 15a, an MO adapter 15b, and an optical disk adapter 15c.
  • the operation unit 11, the CRT 8, the film scanner unit 9, the reflective document input device 10, and the image reading unit 14 are structured so as to be integrally provided in the housing 2. Either one or more powers may be provided as separate bodies!
  • a force print creation method is exemplified in which a photosensitive material is exposed to light and developed to create a print.
  • a method such as a kuget method, an electrophotographic method, a heat sensitive method, or a sublimation method may be used.
  • FIG. 2 shows a main part configuration of the image processing apparatus 1.
  • the image processing apparatus 1 includes a control unit 7, an exposure processing unit 4, a print generation unit 5, a film scanner unit 9, a reflection original input device 10, an image reading unit 14, a communication means (input) 32,
  • the image writing unit 15, the data storage unit 71, the template storage unit 72, the operation unit 11, the CRT 8, and the communication unit (output) 33 are configured.
  • the control unit 7 includes a microcomputer, and includes various control programs stored in a storage unit (not shown) such as a ROM (Read Only Memory) and a CPU (Central Processing Unit) (not shown). By cooperation, the operation of each part constituting the image processing apparatus 1 is controlled.
  • a storage unit not shown
  • ROM Read Only Memory
  • CPU Central Processing Unit
  • the control unit 7 includes an image processing unit 70 according to the image processing apparatus of the present invention. Based on an input signal (command information) from the operation unit 11, the control unit 7 controls the film scanner unit 9 and the reflective original input device 10. The read image signal, the image signal read from the image reading unit 14, and the image signal input from the external device via the communication means 32 are subjected to image processing to form image information for exposure, and exposure Output to processing unit 4. Further, the image processing unit 70 performs a conversion process corresponding to the output form on the image signal subjected to the image processing, and outputs it. As output destinations of the image processing unit 70, there are CRT8, image writing unit 15, communication means (output) 33, and the like.
  • the exposure processing unit 4 performs image exposure on the photosensitive material! ⁇ Output this photosensitive material to the print creation unit 5.
  • the print creating unit 5 develops the exposed photosensitive material and dries it to create prints Pl, P2, and P3.
  • Print P1 is a service size, high-definition size, panorama size, etc.
  • print P2 is an A4 size print
  • print P3 is a business card size print.
  • the film scanner unit 9 reads a frame image recorded on a transparent original such as a developed negative film N or a reversal film imaged by an analog camera, and obtains a digital image signal of the frame image.
  • the reflective original input device 10 reads an image on the print P (photo print, document, various printed materials) by a flat bed scanner, and obtains a digital image signal.
  • the image reading unit 14 reads frame image information recorded on the PC card 13a or the floppy (registered trademark) disk 13b and transfers it to the control unit 7.
  • the image reading unit 14 includes, as image transfer means 30, a PC card adapter 14a, a floppy (registered trademark) disk adapter 14b, and the like.
  • the image reading unit 14 reads frame image information recorded on the PC card 13a inserted into the PC card adapter 14a or the floppy disk 13b inserted into the floppy disk adapter 14b. And transfer to the control unit 7.
  • a PC card reader or PC card slot is used as the PC card adapter 14a. I can.
  • the communication means (input) 32 receives an image signal representing a captured image and a print command signal from another computer in the facility where the image processing apparatus 1 is installed or a remote computer via the Internet or the like. To do.
  • the image writing unit 15 includes a floppy (registered trademark) disk adapter 15a, an MO adapter 15b, and an optical disk adapter 15c as the image conveying unit 31.
  • the image writing unit 15 includes a floppy disk 16a inserted into the floppy disk adapter 15a and an MO inserted into the MO adapter 15b. 16b, the optical disk 16c inserted into the optical disk adapter 15c, and the image signal generated by the image processing method of the present invention is written.
  • the data accumulating unit 71 stores and sequentially accumulates image information and order information corresponding to the image information (information about how many prints are to be created for each frame, information on the print size, etc.).
  • the template storage means 72 stores the background image, illustration image, etc., which are sample image data corresponding to the sample identification information Dl, D2, D3, and data of at least one template for setting the synthesis region.
  • a predetermined template is selected from a plurality of templates that are set by the operator's operation and stored in advance in the template storage means 72, and the frame image information is synthesized by the selected template and designated sample identification information D1, D2,
  • the sample image data selected based on D3 is combined with the image data based on the order and the Z or character data to create a print based on the specified sample.
  • the synthesis using this template is performed by the well-known Chromaki method.
  • sample identification information Dl, D2, and D3 for designating print samples are configured to be input from the operation unit 211.
  • these sample identification information is stored in print samples or orders. Since it is recorded on the sheet, it can be read by reading means such as OCR. Or it can also input by an operator's keyboard operation.
  • sample image data is recorded corresponding to sample identification information D1 for specifying a print sample, sample identification information D1 for specifying a print sample is input, and this sample identification information is input.
  • Select the sample image data based on D1 select the selected sample image data, and the image data and Z or character based on the order.
  • the first sample identification information D2 designating the first sample and the image data of the first sample are stored, and the second sample identification information D3 designating the second sample and the second sample identification information D3 are stored.
  • the image data of two samples is stored, the sample image data selected based on the designated first and second sample identification information D2, D3, the image data based on the order, and the Z or character data Since a print based on the specified sample is created, a wider variety of images can be synthesized, and a print that meets a wider variety of user requirements can be created.
  • the operation unit 11 includes information input means 12.
  • the information input means 12 is composed of, for example, a touch panel and outputs a pressing signal from the information input means 12 to the control unit 7 as an input signal.
  • the operation unit 11 may be configured with a keyboard, a mouse, and the like.
  • the CRT 8 displays image information and the like according to the display control signal input from the control unit 7.
  • the communication means (output) 33 sends an image signal representing a photographed image after the image processing of the present invention and order information attached thereto to other links in the facility where the image processing apparatus 1 is installed.
  • the computer transmits to a distant computer via the Internet or the like.
  • the image processing apparatus 1 includes an image input unit that captures image information obtained by dividing and metering images of various digital media and image originals, an image processing unit, and a processed image.
  • Image output means for displaying images, printing output, writing to image recording media, and order information attached to image data for remote computers via the communication line via another communication line or computer Means for transmitting.
  • FIG. 3 shows the internal configuration of the image processing unit 70.
  • the image processing unit 70 includes an image adjustment processing unit 701, a film scan data processing unit 702, a reflection original scan data processing unit 703, an image data format decoding processing unit 704, a template processing unit 705, and a CRT specific process.
  • Part 706, printer-specific processing part A707, printer-specific processing part B708, image data document An expression creation processing unit 709 is included.
  • the film scan data processing unit 702 performs calibration operations specific to the film scanner unit 9, negative / positive reversal (in the case of a negative document), dust flaw removal, contrast adjustment, It performs processing such as granular noise removal and sharpening enhancement, and outputs the processed image data to the image adjustment processing unit 701.
  • the film size, negative / positive type, information on the main subject optically or magnetically recorded on the film, information on the shooting conditions (for example, information content described in APS), etc. are also output to the image adjustment processing unit 701. .
  • the reflection document scan data processing unit 703 performs a calibration operation specific to the reflection document input device 10, negative / positive reversal (in the case of a negative document), dust flaw removal, and contrast adjustment on the image data input from the reflection document input device 10. Then, processing such as noise removal and sharpening enhancement is performed, and the processed image data is output to the image adjustment processing unit 701.
  • the image data format decoding processing unit 704 applies compression code to the image data input from the image transfer means 30 and Z or the communication means (input) 32 according to the data format of the image data as necessary. Processing such as restoration and conversion of the color data expression method is performed, the data is converted into a data format suitable for computation in the image processing unit 70, and output to the image adjustment processing unit 701. In addition, when the size of the output image is specified from any of the operation unit 11, the communication means (input) 32, and the image transfer means 30, the image data format decoding processing unit 704 detects the specified information. And output to the image adjustment processing unit 701. Information about the size of the output image specified by the image transfer means 30 is embedded in the header information and tag information of the image data acquired by the image transfer means 30.
  • the image adjustment processing unit 701 is based on a command from the operation unit 11 or the control unit 7, and includes a film scanner unit 9, a reflective document input device 10, an image transfer unit 30, a communication unit (input) 32, and a template.
  • the image data received from the image processing unit 705 is subjected to image processing (see Fig. 4) described later to generate digital image data for image formation optimized for viewing on the output medium, and CRT
  • the data is output to the unique processing unit 706, the printer specific processing unit A 707, the printer specific processing unit B 708, the image data format creation processing unit 709, and the data storage unit 71.
  • the optimization process for example, it is displayed on a CRT display monitor compliant with the sRGB standard. If it is assumed to be shown, it is processed so as to obtain the optimum color reproduction within the color gamut of the sRGB standard. If output to silver salt photographic paper is assumed, processing is performed to obtain an optimal color reproduction within the color gamut of silver salt photographic paper. In addition to color gamut compression, gradation compression from 16 bits to 8 bits, reduction of the number of output pixels, and processing to handle output characteristics (LUT) of output devices are also included. Furthermore, it goes without saying that tone compression processing such as noise suppression, sharpening, gray balance adjustment, saturation adjustment, or covering and baking processing is performed.
  • tone compression processing such as noise suppression, sharpening, gray balance adjustment, saturation adjustment, or covering and baking processing is performed.
  • the image adjustment processing unit 701 includes a scene determination unit 710 that determines the shooting conditions of the captured image data, and an image quality correction unit 7 11 that performs image quality correction processing on the captured image data.
  • the shooting conditions are classified into light source conditions and exposure conditions.
  • the light source condition is derived from the light source at the time of photographing, the positional relationship between the main subject (mainly a person) and the photographer. In the broader sense, it also includes the type of light source (sunlight, strobe light, tandasten lighting and fluorescent lamps).
  • Backlit scenes occur when the sun is located behind the main subject.
  • a strobe (close-up) scene occurs when the main subject is strongly irradiated with strobe light. Both scenes have the same brightness (light / dark ratio), and the relationship between the brightness of the foreground and background of the main subject is merely reversed.
  • the exposure condition is derived from the settings of the camera shutter speed, aperture value, etc., and the underexposure state is referred to as under, the proper exposure state is referred to as normal, and the overexposure state is referred to as over.
  • so-called “white jump” and “shadow collapse” are also included.
  • Under all light source conditions under or over exposure conditions can be used. Especially in DSC (digital still camera) with a narrow dynamic range, even if the automatic exposure adjustment function is used, due to the setting conditions aimed at suppressing overexposure, the frequency of underexposed exposure conditions is high. High,.
  • Embodiments 1 and 2 “brightness” means “brightness” that is generally used unless otherwise noted.
  • the power of using V (0 to 255) of the H SV color system as “brightness” may be a unit system that represents the brightness of any other color system.
  • numerical values such as various coefficients described in the first and second embodiments are recalculated.
  • Embodiment 1 and Embodiment The captured image data in 2 is assumed to be image data with a person as the main subject.
  • the template processing unit 705 reads predetermined image data (template) from the template storage unit 72 based on a command from the image adjustment processing unit 701, and synthesizes the image data to be processed and the template. The template processing is performed, and the image data after the template processing is output to the image adjustment processing unit 701.
  • the CRT specific processing unit 706 performs processing such as changing the number of pixels and color matching on the image data input from the image adjustment processing unit 701 as necessary, and displays information such as control information that needs to be displayed.
  • the combined display image data is output to CRT8.
  • the printer-specific processing unit A707 performs printer-specific calibration processing, color matching, and pixel number change processing as necessary, and outputs processed image data to the exposure processing unit 4.
  • a printer specific processing unit B708 is provided for each printer apparatus to be connected.
  • the printer-specific processing unit B708 performs printer-specific calibration processing, color matching, pixel number change, and the like, and outputs processed image data to the external printer 51.
  • the image data format creation processing unit 709 applies JPEG (Joint Photographic Coding Experts Group), TIF F (Tagged Image File Format) as necessary to the image data input from the image adjustment processing unit 701. Exif (Exchangeable Image File Format), etc. [Converts to various general-purpose image formats such as these, and outputs processed image data to the image transport unit 31 and communication means (output) 33.
  • JPEG Joint Photographic Coding Experts Group
  • TIF F Tagged Image File Format
  • Exif Exchangeable Image File Format
  • the categories A707, printer specific processing unit B708, and image data format creation processing unit 709 are provided to help understand the functions of the image processing unit 70, and are not necessarily realized as physically independent devices. For example, there is no need to It may be realized as a type of software processing by a single CPU.
  • step Tl photographing condition analysis processing for analyzing photographing conditions of photographed image data is performed.
  • the imaging condition analysis process in step T1 will be described in detail later with reference to FIG.
  • the condition for image quality correction processing for the shot image data is calculated (step ⁇ 2).
  • the condition of the image quality correction process in step ⁇ 2 is, for example, a parameter (for example, a key correction conversion value in density correction) necessary for tone adjustment with respect to captured image data.
  • predetermined image quality correction processing conditions for the captured image data are set as reference conditions (step ⁇ 3).
  • the reference condition is a condition for image quality correction processing that is optimal for photographed image data in which the photographing condition is determined to be backlit or underexposed (slightly dark).
  • the contents of the reference conditions set in step ⁇ 3 include the predetermined density correction processing conditions, the conditions for tone conversion processing that also has the specified brightness enhancement processing and high contrast processing power (see Figs. 33 and 34), Color matrix processing conditions, predetermined contrast correction processing conditions, etc.
  • the density correction processing condition or the brightness enhancement processing condition as the reference condition is, for example, that the input key correction conversion value (key correction conversion value input by the operator's operation) is 0 (no correction). In this case, it is defined as applying -2D high brightness (low density) processing (see Figure 20).
  • “D” is a density correction button operated by an operator in a mini-lab (small scale laboratory).
  • the high contrast processing as the reference condition is defined as performing, for example, a 25% high contrast processing (see S-shaped curve L5-B in FIG. 34). Further, the contrast correction process as the reference condition is expressed by a predetermined linear function.
  • the color matrix processing as the reference condition is defined as a condition for slightly reducing the saturation, for example.
  • the reference condition is that the brightness distribution center (that is, the AE exposure control center of the imaging apparatus) of the captured image data that also obtains the imaging apparatus (camera) force is slightly lower than the appropriate brightness. Since it is thought to be due to the peak taste, it differs depending on the type of imaging device (identifiable by Exif information recorded in the header of the captured image data) and the type of photographer (Amateur, Professional) It is expected that. Therefore, it is desirable to define the reference conditions according to the type of imaging device and the type of photographer. If you want to apply a higher correction level under shooting conditions such as under or backlight, it is preferable to move the reference point (reference condition) to the minus side.
  • step T3 When the reference condition is set, based on the image quality correction processing condition calculated in step T2, the reference condition set in step T3 is shifted to the uncorrected condition side where no image quality correction processing is performed (suppressed). ) Is calculated (step T4), and the transition condition (image quality correction processing condition) is calculated based on the calculated transition coefficient (step ⁇ 5).
  • step ⁇ 6 image quality correction processing is performed on the captured image data (step ⁇ 6), and the image data after the image quality correction processing is sent to the designated output destination. Is output.
  • step ⁇ 6 when the imaging condition is a normal light based on the analysis result in step T1, the image quality correction process according to the transition condition calculated in step ⁇ 5 is performed.
  • the shooting condition is under or backlit, the transition condition is not calculated, and therefore, in step ⁇ 6, the image quality correction process without the transition process is performed.
  • step T1 in FIG. 4 the shooting condition analysis process executed in the scene determination unit 710 will be described with reference to the flowchart in FIG.
  • the captured image data is divided into predetermined image areas, and occupancy ratios (first occupancy ratio and second occupancy ratio) indicating the ratio of each divided area to the entire captured image data are calculated. Occupancy rate calculation processing is performed (step S1). The occupation rate calculation process in step S1 will be described in detail later with reference to FIGS.
  • step S2 a bias amount calculation process for calculating a bias amount indicating a bias of the gradation distribution of the photographed image data is performed (step S2).
  • the bias amount calculation process in step S2 will be described later in Fig. 1.
  • step S3 the occupation rate calculated in step S1 and the relationship set in advance according to the shooting conditions are set. Based on the number, an index for specifying the light source condition is calculated (step S3). Further, an index for specifying the exposure condition is calculated based on the occupation ratio calculated in step S1 and a coefficient set in advance according to the imaging condition (step S4).
  • the index calculation method in steps S3 and S4 will be described in detail later.
  • step S3 and step S4 the captured image data is calculated based on the index (index 4-6) calculated in advance and the discrimination map divided in advance according to the accuracy of the imaging condition.
  • the shooting conditions (light source condition, exposure condition) are determined (step S5), and the shooting condition analysis process ends.
  • the method for determining the shooting condition in step S5 will be described in detail later with reference to FIGS. 16, 17, and Table 7.
  • the RGB value of the photographed image data is converted into the HSV color system (step S 10).
  • the HS V color system is a representation of image data with three elements: Hue, Saturation, and Lightness (Value or Brittleness), and is based on the color system proposed by Munsell. It was devised.
  • Figure 7 shows an example of a conversion program (HSV conversion program) that obtains hue values, saturation values, and brightness values by converting from RGB to the HSV color system in program code (c language). It is.
  • HSV conversion program shown in Fig. 7, the digital image data values that are input image data are defined as InR, InG, and InB, the calculated hue value is defined as OutH, the scale is defined as 0 to 360, and the saturation is defined.
  • the value is OutS, the brightness value is OutV, and the unit is defined as 0 to 255
  • the captured image data is divided into regions having a combination of predetermined brightness and hue, and a two-dimensional histogram is created by calculating the cumulative number of pixels for each divided region (step Sl l). .
  • a two-dimensional histogram is created by calculating the cumulative number of pixels for each divided region (step Sl l). .
  • the area division of the captured image data will be described in detail.
  • Lightness (V) is the lightness value power -25 (vl), 26-50 (v2), 51-84 (v3), 85-169 (v4), 170-199 (v5), 200-224 ( v6), divided into 7 regions from 225 to 255 (v7).
  • Hue (H) is a flesh hue area (HI and H2) with hue values 0 to 39 and 330 to 359, a green hue area (H3) with hue values 40 to 160, and a blue hue area with hue values 61 to 250.
  • H4 red hue area (H5), four areas It is divided into. Note that the red hue region (H5) is not used in the following calculations because of the knowledge that it contributes little to the determination of the shooting conditions.
  • the flesh color hue area is further divided into a flesh color area (HI) and other areas (H2).
  • HI flesh color area
  • H2 other areas
  • the hue '(H) that satisfies the following formula (1) is defined as the flesh-colored area (HI), and the area that does not satisfy the formula (1) (H2).
  • Hue '(H) Hue (H) + 60 (when 0 ⁇ Hue (H) ⁇ 300),
  • Hue '(H) Hue (H) — 300 (when 300 ⁇ Hue (H) ⁇ 360),
  • Luminance (Y) InR X 0.30 + InG X 0.59 + InB X 0.11 (A)
  • a first occupancy ratio indicating the ratio of the cumulative number of pixels calculated for each divided region to the total number of pixels (the entire captured image) is calculated (step S12).
  • the occupation rate calculation process ends. Assuming that Rij is the first occupancy calculated in the divided area, which is the combined power of the lightness area vi and the hue area Hj, the first occupancy ratio in each divided area is expressed as shown in Table 1.
  • Table 2 shows, for each divided region, the first coefficient necessary for calculating the index 1 that quantitatively indicates the accuracy of strobe shooting, that is, the lightness state of the face area during strobe shooting.
  • the coefficient of each divided area shown in Table 2 is multiplied by the first occupation ratio Rij of each divided area shown in Table 1.
  • the weighting coefficient to be used is preset according to the shooting conditions.
  • FIG. 8 shows the brightness (v) —hue (H) plane.
  • a positive (+) coefficient is used for the first occupancy calculated from the area (rl) distributed in the high brightness skin color hue area in Fig. 8, and other hues are used.
  • a negative (one) coefficient is used for the first occupancy calculated from the blue hue region (r2).
  • Figure 10 shows a curve (coefficient curve) that continuously changes the first coefficient in the flesh-color area (HI) and the first coefficient in the other areas (green hue area (H3)) over the entire brightness. It is shown as.
  • the sign of the first coefficient in the skin color region (HI) is positive (+), and other regions (for example, the green hue region)
  • the sign of the first coefficient in (H3)) is negative (one), indicating that the signs of the two are different.
  • the index 1 is expressed as in equation (3) using the sum of the H1 to H4 regions shown in equations (2-1) to (2-4). Defined in
  • Index 1 Sum of H1 area + Sum of H2 area + Sum of H3 area + Sum of H4 area +4.424 (3)
  • Table 3 shows the accuracy of backlighting, that is, brightness of face area during backlighting.
  • the second coefficient necessary for calculating Indicator 2 that quantitatively indicates the state is shown for each divided region.
  • the coefficient of each divided area shown in Table 3 is a weighting coefficient by which the first occupancy ratio Rij of each divided area shown in Table 1 is multiplied, and is set in advance according to the shooting conditions.
  • FIG. 9 shows the brightness (v) —hue (H) plane.
  • a negative (one) coefficient is used for the occupancy in which the area (r4) force is also calculated in Fig. 9 for the area distributed in the intermediate lightness of the flesh hue area, and the low lightness (shadow) area ( A positive (+) coefficient is used for the occupation ratio calculated from r3).
  • Fig. 11 shows the second coefficient in the flesh color region (HI) as a curve (coefficient curve) that continuously changes over the entire brightness. According to Table 3 and Fig.
  • the sign of the second coefficient in the lightness value range of 85-169 (v4) in the flesh tone hue region is negative (-) and the lightness value is in the range of 26-84 (v2,
  • the sign of the second coefficient in the low brightness (shadow) region of v3) is positive (+), and it can be seen that the sign of the coefficient in both regions is different.
  • Index 2 is defined as equation (5) using the sum of the H1 to H4 regions shown in equations (41) to (44).
  • Index 1 and index 2 are taken images Since the calculation is based on the brightness of the data and the distribution amount of the hue, it is effective for determining the shooting condition when the shot image data is a color image.
  • the RGB values of the photographed image data are converted into the HSV color system (step S20).
  • the captured image data is divided into areas where the combined power of the distance from the outer edge of the captured image screen and the brightness is determined, and a two-dimensional histogram is created by calculating the cumulative number of pixels for each divided area. (Step S21).
  • the area division of the captured image data will be described in detail.
  • FIGS. 13A to 13D show four regions nl to n4 divided according to the distance from the outer edge of the screen of the captured image data.
  • the region nl shown in FIG. 13 (a) is the outer frame
  • the region n2 shown in FIG. 13 (b) is the inner region of the outer frame
  • the region n3 shown in FIG. 13 (c) is the region n2.
  • an inner area, an area n4 shown in FIG. 13 (d) is an area at the center of the captured image screen.
  • a second occupancy ratio indicating the ratio of the cumulative number of pixels calculated for each divided region to the total number of pixels (the entire captured image) is calculated (step S22).
  • the occupation rate calculation process ends.
  • Table 2 shows the second occupancy ratio in each divided area, where Qij is the second occupancy ratio calculated for the divided area consisting of the combination of the brightness area vi and the screen area nj.
  • Table 5 shows the third coefficient necessary for calculating the index 3 for each divided region.
  • the coefficient of each divided area shown in Table 5 is a weighting coefficient by which the second occupancy Qij of each divided area shown in Table 4 is multiplied, and is set in advance according to the photographing conditions.
  • FIG. 14 shows the third coefficient in the screen regions nl to n4 as a curve (coefficient curve) that continuously changes over the entire brightness.
  • Index 3 sum of nl region + sum of n2 region + sum of n3 region + sum of n4 region 12.6201 (7)
  • Index 3 is a compositional feature based on brightness distribution position of captured image data (captured image data Therefore, it is effective to determine not only color images but also monochrome image capturing conditions.
  • step S 2 in FIG. 15 the bias amount calculation process (step S 2 in FIG. 5) will be described.
  • the luminance Y (brightness) of each pixel is calculated from the RGB (Red, Green, Blue) values of the captured image data using Equation (A), and the standard deviation (xl) of the luminance is calculated. (Step S23).
  • the standard deviation (xl) of luminance is expressed as shown in Equation (8).
  • the pixel luminance value is the luminance of each pixel of the captured image data
  • the average luminance value is the average value of the luminance of the captured image data.
  • the total number of pixels is the number of pixels of the entire captured image data.
  • a luminance difference value (x2) is calculated (step S24).
  • the maximum luminance value is the maximum luminance value of the captured image data.
  • the average luminance value (x3) of the skin color area in the center of the screen of the captured image data is calculated (step S25), and further, the average luminance value (x4) in the center of the screen is calculated (step S25).
  • the center of the screen is, for example, an area composed of an area n3 and an area n4 in FIG.
  • the flesh color luminance distribution value (x5) is calculated (step S27), and this deviation amount calculation process ends.
  • the maximum brightness value of the skin color area of the captured image data is Yskinjnax
  • the minimum brightness value of the skin color area is Yskin_min
  • the average brightness value of the skin color area is Yskin_ave
  • the skin color brightness distribution value (x5) is expressed as shown in equation (10). Is done.
  • x5 (Yskin.max-Yskin_min) / 2—Yskin—ave (10)
  • x6 be the average luminance value of the skin color area in the center of the screen of the captured image data.
  • the center of the screen is, for example, an area composed of the area n2, the area n3, and the area n4 in FIG.
  • index 4 is defined as in equation (11) using index indexes 3 and x6, and index 5 is defined as in equation (12) using index 2, index 3, and x6.
  • Indicator 4 0.46 X Indicator 1 + 0.61 X Indicator 3 + 0.01 X x6— 0.79 (11)
  • the index 6 is obtained by multiplying the deviation amounts (xl) to (x5) calculated in the deviation amount calculation processing by a fourth coefficient set in advance according to the photographing conditions.
  • Table 6 shows the fourth coefficient, which is a weighting coefficient by which each deviation is multiplied.
  • the index 6 is expressed as in Expression (13).
  • Indicator 6 1 0.02 + 2 1.13 + 3 0.06+ 4 (-0.01) + 5 0.03— 6.49 (13)
  • This indicator 6 is a luminance histogram distribution information that consists of only the compositional features of the captured image data screen. In particular, it is effective for distinguishing between strobe shooting scenes and under shooting scenes.
  • the shooting conditions (light source conditions, exposure conditions) of the captured image data are determined based on these indexes and the determination map divided in advance according to the shooting conditions.
  • the Hereinafter, a method for determining the photographing condition will be described.
  • Figure 16 (a) shows 60 images taken under each of the following conditions: forward light, backlight, and strobe, and index 4 and index 5 were calculated for a total of 180 digital image data. The values of index 4 and index 5 are plotted.
  • Figure 16 (b) shows the results of plotting the values of index 4 and index 6 for images with index 4 greater than 0.5 under the stroboscope and under shooting conditions.
  • the discriminant map is used to evaluate the reliability of the index. As shown in Fig. 17, the basic areas of the following light, backlight, strobe, and under, and the low accuracy area between the backlight and the following light (1 ), Consisting of a low accuracy area (2) between the strobe and under. Note that there are other low-accuracy regions such as a low-accuracy region between backlight and strobe on the discrimination map, but they are omitted in this embodiment.
  • Table 7 shows the plot of each index value shown in Fig. 16 and the details of the shooting conditions determined by the discrimination map of Fig. 17.
  • the light source condition can be quantitatively determined based on the values of the index 4 and the index 5
  • the exposure condition can be quantitatively determined based on the values of the index 4 and the index 6.
  • the low accuracy region (1) between the forward light and the backlight can be distinguished from the values of the indicators 4 and 5
  • the low accuracy region (2) between the strobe and the under can be determined from the values of the indicators 4 and 6. Can be determined.
  • Step IV2 a method for calculating the condition of the image quality correction process in Step IV2 will be described in detail.
  • the conditions for image quality correction processing are calculated based on the details of the shooting conditions and indicators 4-6.
  • calculating the image quality correction processing condition is calculating a parameter (tone adjustment parameter) necessary for tone adjustment with respect to captured image data.
  • the calculation method of the gradation adjustment parameter will be described in detail. In the following, it is assumed that 8-bit captured image data has been converted to 16-bit in advance, and the unit of the value of the captured image data is 16-bit.
  • P1 Average brightness of the entire shooting screen
  • P2 Block division average brightness
  • Reproduction target correction value Brightness reproduction target value (30360) — P4
  • a CDF cumulative density function
  • the maximum and minimum values of the CDF force obtained are determined.
  • the maximum and minimum values are obtained for each RGB.
  • the obtained maximum and minimum values for each RGB are Rmax, Rmin, Gmax, Gmin, Bmax, and Bmin, respectively.
  • Rx normalized data in R plane is R, Gx in G plane
  • the converted data R 1, G 2, and B 3 are expressed as in the equations (14) to (16), respectively.
  • R ⁇ (Rx-Rmin) / (Rmax— Rmin) ⁇ X 65535 (14);
  • G ⁇ (Gx-Gmin) / (Gmax-Gmin) ⁇ X 65535 (15);
  • N (B + G + R) / 3 (17)
  • Figure 18 (a) shows the frequency distribution (histogram) of the brightness of RGB pixels before normalization.
  • the horizontal axis represents luminance
  • the vertical axis represents pixel frequency. This histogram is created for each RGB.
  • the regularity is performed for each plane on the captured image data using Equations (14) to (16).
  • Figure 18 (b) was calculated using equation (17). A luminance histogram is shown. Since the captured image data is normally entered at 65535, each pixel takes an arbitrary value between the maximum value 65535 and the minimum value power.
  • FIG. 18 (c) When the luminance histogram shown in FIG. 18 (b) is divided into blocks divided by a predetermined range, a frequency distribution as shown in FIG. 18 (c) is obtained.
  • the horizontal axis is the block number (luminance) and the vertical axis is the frequency.
  • FIG. 19 (c) an area having a frequency greater than a predetermined threshold is deleted from the luminance histogram. This is because if there is a part with an extremely high frequency, the data in this part has a strong influence on the average brightness of the entire photographed image, so that erroneous correction is likely to occur. Therefore, as shown in FIG. 19 (c), the number of pixels above the threshold is limited in the luminance histogram.
  • Figure 19 (d) shows the luminance histogram after the pixel number limiting process.
  • Each block number of the luminance histogram (Fig. 19 (d)) obtained by deleting the high luminance region and the low luminance region from the normalized luminance histogram and further limiting the cumulative number of pixels,
  • the parameter P2 is the average luminance value calculated based on each frequency.
  • the parameter P1 is an average value of the brightness of the entire captured image data
  • the parameter P3 is an average value of the brightness of the skin color area (HI) in the captured image data.
  • the parameter P7 key correction conversion value, parameter P7 key correction conversion value 2, and parameter P8 brightness correction value 2 are as shown in equations (18), (19), and (20), respectively. Defined.
  • the offset value 3 of the meter PIO is a gradation adjustment parameter in the case of shooting conditions corresponding to the low accuracy area (1) or (2) on the discrimination map.
  • the calculation method of the meter P10 will be described below.
  • an index serving as a reference is determined among the indices in the corresponding low accuracy region. For example, in the low accuracy region (1), the index 5 is determined as the reference index, and in the low accuracy region (2), the index 6 is determined as the reference index. Then, by normalizing the value of the reference index in the range of 0 to 1, the reference index is converted into a normalized index.
  • the normalization index is defined as in equation (21).
  • Normalized index (Standard index Minimum index value) Z (Maximum index value Minimum index value) (21)
  • the maximum index value and minimum index value are within the corresponding low-accuracy region. The maximum and minimum values of the reference index.
  • the correction amounts at the boundary between the corresponding low accuracy region and the two regions adjacent to the low accuracy region are ex and ⁇ , respectively.
  • the correction amounts ⁇ and j8 are fixed values calculated in advance using the reproduction target value defined at the boundary of each region on the discrimination map.
  • the nomometer P10 is expressed as in equation (22) using the normalized index of equation (21) and the correction amounts a and ⁇ .
  • the correlation between the normalization index and the correction amount is a linear relationship, but may be a curve relationship in which the correction amount is shifted more gradually.
  • transition coefficient calculation method (step ⁇ 4 in Fig. 4) will be described.
  • a transition coefficient is calculated as shown in Expression (23), and the transition process of the reference condition is performed.
  • transition start point — 1D
  • transition end point + 2D
  • output key at reference point (reference condition)
  • One correction conversion value — 2D
  • D 150.
  • the input key correction conversion value in the case of direct light is the value (P6 / 24.78) obtained by dividing P6 (offset value 1) calculated as the image quality correction processing condition (tone adjustment parameter) by 24.78.
  • FIG. 20 shows the relationship between the input key correction conversion value (key correction conversion value input by the operator's operation) and the output key correction conversion value in direct light.
  • Figure 21 shows the relationship between the input key correction conversion value and the transition coefficient in front light.
  • the output key correction conversion value is defined as shown in Equation (24) as shown in Fig. 20.
  • Output key correction conversion value (Input key correction conversion value + Output key correction conversion value at the reference point) X transition coefficient (24)
  • the transition (suppression) of the reference point (reference condition) to the non-correction side is between the 1D force that is the transition start point and the + 2D that is the transition end point It is realized by making a transition from a linear function passing through a point to a gentle arcuate curve.
  • the image quality correction condition (curve in FIG. 20) based on the transition coefficient calculated in equation (23) is calculated as the transition condition.
  • the transition condition is not calculated, and the output key correction conversion value according to the linear function passing through the reference point (reference condition) in FIG. 20 is calculated.
  • step T6 in FIG. 4 the image quality correction process (step T6 in FIG. 4) will be described with reference to the flowchart in FIG.
  • a gradation adjustment method for photographed image data is determined in accordance with the photographing condition determined in step T1 in Fig. 4 (step S30).
  • the gradation adjustment method A (FIG. 24 (a)) is selected when the shooting condition is normal light or strobe
  • the gradation adjustment method B (FIG. 24) is selected when the shooting condition is backlight or under.
  • tone adjustment method C (Fig. 24 (c)) is selected.
  • the correction amount is relatively small when the shooting condition is direct light, it is possible to apply the gradation adjustment method A in which the pixel value of the captured image data is corrected in parallel (offset).
  • a viewpoint power capable of suppressing gamma fluctuation is also preferable.
  • the amount of correction is relatively large. The gradation that does not exist increases significantly, resulting in black turbidity and a decrease in white brightness. Therefore, when the shooting condition is backlight or under, it is preferable to apply the gradation adjustment method B in which the pixel value of the shot image data is gamma corrected.
  • the gradation adjustment method for one of the adjacent shooting conditions is A or B in any low accuracy area, so both gradation adjustment methods are mixed. It is preferable to apply the gradation adjustment method C described above. By setting the low-accuracy region in this way, the processing result can be smoothly transferred even when different gradation adjustment methods are used. In addition, it is possible to reduce variations in density between multiple photo prints taken of the same subject.
  • the gradation conversion curve shown in FIG. 24 (b) is convex upward, but may be convex downward.
  • the gradation conversion curve shown in FIG. 24 (c) is convex downward, but may be convex upward.
  • the gradation adjustment amount for the captured image data is determined based on the calculated gradation adjustment parameter (step S31).
  • step S31 specifically, the gradation adjustment parameter calculated as described above is selected from a plurality of gradation conversion curves set in advance corresponding to the gradation adjustment method determined in step S30. The gradation conversion curve corresponding to is selected (determined). Note that a gradation conversion curve (gradation adjustment amount) may be calculated based on the calculated gradation adjustment parameters.
  • step S32 gradation conversion processing is performed on the captured image data in accordance with the determined gradation conversion curve (step S32), and the image quality correction processing ends. A specific example of the image quality correction processing in FIG. 22 will be described later with reference to Examples 1 to 4.
  • the transition amount (transition coefficient) for making a transition from the reference condition to the no image quality correction process! By calculating based on the image quality correction processing condition (input key correction conversion value), the correction amount for the image where the shooting condition is determined to be under-light or backlight is maintained, and the forward light or overshoot (somewhat It is possible to improve the continuity and stability of the correction amount with respect to (brighter) photographed image data.
  • image quality correction processing can be optimized by setting the reference conditions (and transition conditions) for each type of imaging device (camera) and photographer.
  • the transition coefficient is calculated based on the image quality correction processing condition.
  • the transition coefficient is calculated based on the analysis value of the imaging condition analysis process. Since the image processing apparatus in the second embodiment has the same configuration as the image processing apparatus 1 shown in the first embodiment, the illustration thereof is omitted and the same reference numerals are used.
  • steps T10 to T12 are the same as steps ⁇ 1 to ⁇ 3 in FIG.
  • steps T13 will be described.
  • step T12 When the reference condition is set, based on the analysis value of the shooting condition analysis process in step T10, the reference condition set in step T12 is shifted to the no correction condition side where no image quality correction process is performed ( A transition coefficient necessary for the transition process to be suppressed is calculated (step ⁇ 13), and a transition condition (image quality correction processing condition) is calculated based on the calculated transition coefficient (step ⁇ 14).
  • step T15 the image quality correction process is performed on the captured image data (step T15), and the image data after the image quality correction process is sent to the specified output destination. Is output.
  • step T15 when the imaging condition is the low accuracy region (2) based on the analysis result in step T10, image quality correction processing according to the transition condition calculated in step T14 is performed.
  • the transition condition is not calculated, and therefore in step T15, the image quality correction process without the transition process is performed.
  • step T13 when it is determined that the imaging condition is the low accuracy region (2), the transition coefficient is calculated using the index 6 as shown in the equation (25), and the transition processing of the reference condition is performed. Is performed.
  • Figure 26 shows the input key correction conversion value and output key correction conversion value in the low accuracy range (2). Show the relationship.
  • Figure 27 shows the relationship between index 6 and the transition coefficient in the low accuracy region (2).
  • the output key correction conversion value in the low accuracy region (2) is defined as shown in Equation (26) as shown in FIG.
  • Output key correction conversion value (Input key correction conversion value + Output key correction conversion value at the reference point) X transition coefficient (26)
  • the input key correction conversion value in equation (26) is the value obtained by dividing P10 (offset value 3) calculated as the image quality correction processing condition (gradation adjustment parameter) by 24.78 ( P10 / 24.78).
  • FIG. 28 shows the transition start point and transition end point in the low accuracy region (2).
  • the density correction value that is the reference point is applied, so that a high correction amount is still maintained.
  • the reference point shifts to the uncorrected condition.
  • the image quality correction processing is not performed from the reference condition! /
  • the transition amount (transition coefficient) for transitioning to the no correction condition is By calculating based on the analysis value of the shooting conditions (Indicator 6), the correction amount for images in which the shooting conditions are determined to be under or backlit is maintained, and the front light or overexposure (slightly brighter) The continuity and stability of the correction amount for the captured image data can be improved.
  • step T6 in FIG. 4 or step T15 in FIG. 25 a specific example of the image quality correction process
  • step T6 in FIG. 4 or step T15 in FIG. 25 the transition condition (image quality correction processing condition) calculation step in step T5 or T14 is described as one step of the image quality correction processing.
  • Example 1 will be described with reference to FIGS.
  • image quality correction processing when a predetermined density correction processing condition is set as a reference condition will be described.
  • an output key correction conversion value that is a density correction value is calculated (step S40), and image quality correction processing is performed on the captured image data based on the calculated output key correction conversion value. (Step S41).
  • Fig. 30 shows the relationship (solid line) between the input key correction conversion value and the output key correction conversion value when the shooting condition is direct light.
  • the output key correction conversion value in Fig. 30 is defined as in equation (24). Assuming that the value obtained by converting the output key correction converted value of equation (24) into an offset value is P6 ", the offset correction (parallel shift of 8-bit value) that sets parameter P1 to P5 is the following in the image quality correction processing of step S41: This is performed according to the equation (27).
  • RGB value of output image RGB value of input image + P6 "(27)
  • a gradation conversion curve corresponding to Expression (27) is selected from the plurality of gradation conversion curves shown in FIG.
  • the gradation conversion curve may be calculated (determined) based on Expression (27).
  • a gradation conversion curve whose output key correction conversion value corresponds to P71 of Expression (28) is selected from the plurality of gradation conversion curves shown in FIG. 24 (b).
  • a specific example of the gradation conversion curve in FIG. 24 (b) is shown in FIG. The correspondence between the P71 value and the selected gradation conversion curve is shown below.
  • the photographing condition is backlight
  • the output key correction conversion value P72 is defined as in Expression (29) using the parameter P7 ′ (key correction conversion value 2) shown in Expression (19).
  • offset correction (parallel shift of 8-bit value) is performed according to equation (30).
  • RGB value of output image RGB value of input image + P9 (30)
  • a gradation conversion curve corresponding to Expression (30) is selected from a plurality of gradation conversion curves shown in FIG. Or, calculate (determine) the tone conversion curve based on Equation (30).
  • RGB value of output image RGB value of input image + P10 (31)
  • the gradation conversion curve corresponding to the equation (31) is selected from the plurality of gradation conversion curves shown in FIG. Or, let's calculate (determine) the tone conversion curve based on equation (31).
  • the image quality correction processing in step S41 is as follows. This is done according to equation (32).
  • RGB value of output image RGB value of input image + P10 "(32)
  • the gradation conversion curve corresponding to the equation (32) is selected from the plurality of gradation conversion curves shown in FIG. 24 (c). Or, let's calculate (determine) the tone conversion curve based on equation (32).
  • a photographic print with a high degree of satisfaction can be obtained by setting the reference condition as a condition for the predetermined density correction process.
  • Example 2 will be described with reference to FIGS.
  • image quality correction processing is performed when the conditions for gradation conversion processing including predetermined brightness enhancement processing and high contrast processing are set as reference conditions! I will explain in a moment.
  • Fig. 33 the effect of increasing brightness and contrast is changed at regular intervals between the reference point (reference condition) that is the predefined brightness enhancement and contrast enhancement power and the uncorrected condition.
  • reference point reference condition
  • the layout of the ring-around print created in this way is shown.
  • the horizontal axis represents the change in hardness when equally divided between the uncorrected condition and the reference point by 25%
  • the vertical axis represents 25% between the uncorrected condition and the reference point. It represents the change in brightness when divided evenly.
  • FIG. 34 shows a gradation conversion curve set in advance according to the degree of contrast enhancement. The correspondence between the transition coefficient in equation (23) and FIG. 21 and the gradation conversion curves L 5 -A to L 5 -E shown in FIG. 34 is shown below.
  • the transition coefficient when the input key correction conversion value is 0 is approximately 0.7, and therefore the curve L-5-B in FIG. 34 can be set as the reference condition.
  • step S50 a lightening condition is calculated based on the calculated input key correction conversion value and the transition coefficient (step S50).
  • step S50 for example, when the shooting condition is the low accuracy region (2), the gradation corresponding to the equation (32) is selected from the plurality of gradation conversion curves shown in FIG. A conversion curve is selected.
  • step S51 a high contrast condition is calculated based on the calculated transition coefficient.
  • step S51 for example, when the shooting condition is the low accuracy region (2), the gradation conversion curve corresponding to the transition coefficient calculated by the equation (25) among the gradation conversion curves shown in FIG. Selected.
  • step S50 image quality correction processing is performed on the photographed image data based on the brightness enhancement condition calculated in step S50 and the contrast enhancement condition calculated in step S51 (step S52).
  • the reference condition is set to a predetermined brightness enhancement process.
  • the tone conversion processing condition that is the high contrast processing power
  • a photographic print with high satisfaction can be obtained.
  • optimizing the reference condition and the transition condition it is possible to optimize the image quality correction process regardless of the difference in the model I of the imaging apparatus or the user's preference.
  • Embodiment 3 will be described with reference to FIGS. 35 and 36.
  • FIG. in the third embodiment image quality correction processing when a predetermined color matrix processing condition is set as the reference condition will be described.
  • the color matrix processing as the reference condition is defined as a condition for slightly reducing the saturation, for example.
  • the image quality correction processing in FIG. 35 is performed on the captured image data in the follow light or the low accuracy region (2) after the gradation conversion processing and the contrast adjustment.
  • a color matrix coefficient is calculated based on the calculated transition coefficient (step S60).
  • the calculation of the color matrix coefficient in step S60 is performed by changing the matrix components in the color matrix processing shown in equation (33). The calculation is based on the value of the coefficient.
  • B, G, R are RGB values after color matrix processing.
  • a photographic print with a high degree of satisfaction can be obtained by setting the reference condition as the condition for the predetermined color matrix process.
  • the transition condition image quality correction processing condition
  • Embodiment 4 will be described with reference to the flowchart of FIG.
  • image quality correction processing when a predetermined contrast correction processing condition is set as a reference condition will be described.
  • the final contrast correction value is calculated as shown in Equation (38) using the calculated transition coefficient and the scene determination contrast correction value calculated based on the determined imaging condition. (Step S70).
  • Final contrast correction value 100+ ⁇ (Scene discrimination contrast correction value — 100) X transition coefficient) (38) Any known method can be used to calculate the scene discrimination contrast correction value in Equation (38). Generally, a method of examining the width of the tone distribution by performing histogram analysis and expanding it to a predetermined width. Is used.
  • image quality correction processing is performed on the captured image data (step S71).
  • the shape of the gradation conversion curve is determined by decomposing it into two elements, brightness and hardness, and an S-shaped gradation conversion curve is obtained.
  • the image quality correction process is a linear conversion using a linear function with the gradation adjustment parameter P3 (average brightness of the skin color area) that is not S-shaped as a fulcrum (fixed point).
  • a photographic print with a high degree of satisfaction can be obtained by setting the reference condition as a condition for the predetermined contrast correction process.
  • FIG. 38 shows a configuration of a digital camera 200 to which the imaging apparatus of the present invention is applied.
  • the digital camera 200 includes a CPU 201, an optical system 202, an image sensor unit 203, an AF calculation unit 204, a WB calculation unit 205, an AE calculation unit 206, a lens control unit 207, an image processing unit 208, a display.
  • the CPU 201 comprehensively controls the operation of the digital camera 200.
  • the optical system 202 is a zoom lens, and forms an object image on a charge-coupled device (CCD) image sensor in the imaging sensor unit 203.
  • the imaging sensor unit 203 photoelectrically converts an optical image by a CCD image sensor, converts it into a digital signal (AZD conversion), and outputs it.
  • the image data output from the imaging sensor unit 203 is input to the AF calculation unit 204, the WB calculation unit 205, the AE calculation unit 206, and the image processing unit 208.
  • the AF calculation unit 204 calculates and outputs the distances of the AF areas provided at nine places in the screen. The determination of the distance is performed by determining the contrast of the image, and the CPU 201 selects a value at the closest distance among them and sets it as the subject distance.
  • the WB calculation unit 205 Calculate and output the evaluation value.
  • the white balance evaluation value is a gain value required to match the RGB output value of a neutral subject under the light source at the time of shooting, and is calculated as the ratio of R / G and B / G based on the G channel. .
  • the calculated evaluation value is input to the image processing unit 208, and the white balance of the image is adjusted.
  • the AE calculation unit 206 calculates and outputs an appropriate exposure value from the image data, and the CPU 201 calculates an aperture value and a shutter speed value so that the calculated appropriate exposure value matches the current exposure value.
  • the aperture value is output to the lens control unit 2007, and the corresponding aperture diameter is set.
  • the shutter speed value is output to the image sensor unit 203, and the corresponding CCD integration time is set.
  • the image processing unit 208 performs processing such as white balance processing, CCD filter array interpolation processing, color conversion, primary gradation conversion, and sharpness correction on the captured image data, and then performs the above-described implementation.
  • processing such as white balance processing, CCD filter array interpolation processing, color conversion, primary gradation conversion, and sharpness correction on the captured image data, and then performs the above-described implementation.
  • the shooting condition analysis process, the image quality correction process condition calculation, the transition coefficient calculation, the transition condition calculation, and the image quality correction process (any one of Examples 1 to 4) shown in FIG. Convert to image. ⁇
  • Perform conversion such as PEG compression.
  • the JPEG-compressed image data is output to the display unit 209 and the recording data creation unit 210.
  • Display unit 209 displays captured image data on a liquid crystal display and displays various types of information according to instructions from CPU 201.
  • the recording data creation unit 210 formats the JPEG-compressed image data and various captured image data input from the CPU 201 into an Exif (Exchangeable Age File Format) file, and records it on the recording medium 211.
  • Exif Exchangeable Age File Format
  • the recording media 211 there is a part called manufacturer note as a space where each manufacturer can write free information. Record the result of discrimination of shooting conditions and index 4, index 5 and index 6. A little.
  • the shooting scene mode can be switched by a user setting. That is, three modes can be selected as a shooting scene mode: a normal mode, a portrait mode, and a landscape mode scene.
  • a shooting scene mode When the user operates the scene mode setting key 212 and the subject is a person, the portrait mode and the landscape mode are selected. In case of, switch to landscape mode to perform primary gradation conversion suitable for the subject.
  • the digital camera 200 adds the selected shooting scene mode information to the maker note part of the image data file. Record. The digital camera 200 also records the position information of the AF area selected as the subject in the image file in the same manner.
  • the user can set the output color space using the color space setting key 213.
  • the output color space can be selected from sRGB (IEC619662-1) and Raw.
  • sRGB IEC619662-1
  • Raw the image quality correction process in the above-described embodiment is executed.
  • Raw the image quality correction process in the above-described embodiment is not performed, and output is performed in a color space unique to the CCD.
  • the correction amount for an image whose shooting condition is determined to be under or backlit is maintained as in the above-described image processing apparatus 1.
  • a preferable image is output. can do.
  • a face image may be detected from the captured image data, the shooting condition may be determined based on the detected face image, and the gradation adjustment condition may be determined.
  • Exif information may be used to determine the shooting conditions. By using Exif information, it is possible to further improve the accuracy of determining the shooting conditions.
  • the CRT8 (or digital camera) of the image processing apparatus 1 shows the case where the transition amount from the reference condition to the uncorrected condition is automatically calculated.
  • the manual setting screen for transition conditions is displayed on the display section 209) of 200, and the brightness, hardness, color matrix, etc. are displayed on the operation section 11 of the image processing apparatus 1 (or the operation key 215 of the digital camera 200). It may be possible to specify by.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

撮影条件が順光やストロボ近接撮影と判別される、露出が適正からオーバーのシーンから、顧客満足度の高い写真プリントを得ることができる、連続性と安定性に優れた画質補正処理を実現する。 画像処理装置１は、撮影画像データの撮影条件を解析し（ステップＴ１）、得られた撮影条件の解析値に基づいて、撮影画像データに対する画質補正処理の条件を算出し（ステップＴ２）、所定の画質補正処理の条件を基準条件とし、ステップＴ２で算出された画質補正処理の条件に基づいて、前記基準条件から、画質補正処理を施さない無補正条件へ遷移させるための遷移条件を算出し（ステップＴ５）、その算出された遷移条件に従って、所定の撮影条件（例えば、順光）の撮影画像データに対して画質補正処理を施す（ステップＴ６）。

Description

明 細 書
画像処理方法、画像処理装置、撮像装置及び画像処理プログラム 技術分野
[0001] 本発明は、画像処理方法、画像処理装置、撮像装置及び画像処理プログラムに関 する。
背景技術
[0002] ネガフィルムは記録可能な明るさの範囲 (ダイナミックレンジ）が広ぐ例えば、露出 制御のな 、安価なカメラで撮影されたフィルムカゝらでさえ、写真プリントを作成する装 置 (所謂ミニラボ (小規模現像所) )側での濃度補正によって、遜色のな!、写真プリン トに仕上げることができる。従って、ミニラボにおける濃度補正効率の改善は、安価な カメラと高付加価値プリントの提供を発展していくために不可欠なものであり、デジタ ル化ゃ自動化など様々な改良がなされてきた。
[0003] 近年、デジタルカメラの急速な普及に伴 ヽ、ネガフィルムと同様、撮影画像を銀塩 印画紙へとデジタル露光して写真プリントにする機会が増えてきて 、る。デジタルカメ ラのダイナミックレンジはネガフィルムに比べ非常に狭ぐ記録可能な明るさの範囲が 元々少な ヽことから、濃度補正による補償効果を安定して得ることが極めて難 、。 特に、過度の濃度補正や補正量のばらつきが写真プリントの品位を低下させるケー スが多ぐ操作性の改善や自動濃度補正の精度向上が望まれている。
[0004] ミニラボにおける自動濃度補正は、主に「撮影条件の判別」と「画質補正処理」の 2 つの技術要素に分けられる。ここで撮影条件とは、撮影時の光源、露出、被写体の 3 要素に起因するものであり、画質とは写真プリントの階調性 (調子再現とも称される） を表す。
[0005] この撮影条件の判別に関して、従来力 様々な技術開発が行われている。従来、フ イルムスキャン画像やデジタルカメラ画像の輝度補正（写真プリントの濃度補正）は、 画像全体の平均輝度をユーザが希望する値へと補正することで行われて 、た。また 、通常の撮影では、順光、逆光、ストロボ等の撮影条件が様々に変動し、画像中に輝 度の偏りの大きい大面積の領域が生じるため、平均輝度の補正に加えて、判別分析 、重回帰分析により算出される値を用いた追加補正が必要であった。しかしながら、 判別回帰分析方法では、ストロボシーン及び逆光シーン力 算出されるパラメータが 非常に類似しているため、撮影条件 (光源条件、露出条件)の判別が困難であるとい う問題があった。
[0006] 特許文献 1には、判別回帰分析方法に代わる追加補正値の算出方法が開示され ている。特許文献 1に記載の方法は、輝度の累積画素数 (頻度数)を示す輝度ヒスト グラムから、高輝度領域と低輝度領域を削除し、更に、頻度数を制限したものを用い て、輝度の平均値を算出し、この平均値と基準輝度との差分を補正値として求めるも のである。
[0007] また、特許文献 2には、顔領域の抽出精度を補償するために、撮影時の光源状態 の判別を行う方法が記載されている。特許文献 2に記載の方法は、まず、顔候補領 域を抽出し、抽出した顔候補領域の平均輝度の画像全体に対する偏りを算出し、偏 倚量が大きい場合、撮影条件 (逆光撮影カゝストロボ近接撮影か)の判別を行い、顔領 域としての判断基準の許容幅を調整する。特許文献 2には、顔候補領域の抽出方法 として、特開平 6— 67320号公報に記載の、色相と彩度の 2次元ヒストグラムを用いる 方法、特開平 8— 122944号公報、特開平 8— 184925号公報及び特開平 9— 138 471号公報に記載のパターンマッチング、パターン検索方法などが弓 I用されて 、る。
[0008] また、特許文献 2には、顔以外の背景領域除去方法として、特開平 8— 122944号 公報及び特開平 8— 184925号公報に記載の、直線部分の比率、線対称性、画面 外縁との接触率、濃度コントラスト、濃度変化のパターンや周期性を用いて判別する 方法が引用されている。撮影条件の判別には、濃度の 1次元ヒストグラムを用いる方 法が記載されている。この方法は、逆光の場合は顔領域が暗く背景領域が明るい、 ストロボ近接撮影の場合は顔領域が明るく背景領域が暗いという経験則に基づいて いる。このように、撮影条件の判別技術の進歩によって、自動濃度補正の精度向上 に繋がり、デジタルカメラの撮影画像に対する補償効果を確実に改善しつつある。 特許文献 1：特開 2002— 247393号公報
特許文献 2 :特開 2000— 148980号公報
発明の開示 発明が解決しょうとする課題
[0009] しかしながら、撮影条件を判別する能力の向上に従い、判別結果の画質補正処理 への効果的な反映の仕方、連続性や安定性の維持に関する知見やノウハウが必要 となってくる。
[0010] 本発明の出願人は、撮影条件毎の画質補正レベルの違いや、変動に対する主観 的な影響度について詳細な調査を実施した。その結果、アンダー撮影シーンや逆光 シーンに対する濃度補正のばらつきに対する主観的な許容度が非常に大きいのに 対し、撮影条件が順光やストロボ近接撮影といった、露出が適正からオーバーのシ ーンに関しては、わずかな低明度化 (高濃度化)処理や色の違いに対して敏感に反 応するという違いがあることがわ力つた。特に、所謂、プロのカメラマンにおいてこのよ うな傾向は強ぐ様々なカメラでフリーに撮影した画像の処理に関しては、むしろ高明 度化 (低濃度化)のみに画質補正処理を限定した水準にお!、て満足度が高 、と!/、う 驚くべき結果が得られている。一方、カメラの機種の違いに関しては、アンダー撮影 シーンや逆光シーンではまったく差が視認されないのに対し、低明度化 (高濃度化） 処理が拒絶されやすいシーンにおいて、硬さや明るさの違い、顔領域の黄変や白飛 びし易さといつた点が多く指摘された。
[0011] 本発明の課題は、撮影条件が順光やストロボ近接撮影と判別される、露出が適正 からオーバーのシーンから、顧客満足度の高い写真プリントを得ることができる、連続 性と安定性に優れた画質補正処理を実現することである。
課題を解決するための手段
[0012] 上記課題を解決するため、本発明の画像処理方法は、撮影画像データの撮影条 件を解析する撮影条件解析工程と、前記撮影条件解析工程により得られた撮影条 件の解析値に基づいて、前記撮影画像データに対する画質補正処理の条件を算出 する処理条件算出工程と、所定の画質補正処理の条件を基準条件とし、前記処理 条件算出工程により算出された画質補正処理の条件に基づいて、前記基準条件か ら、画質補正処理を施さない無補正条件へ遷移させるための遷移条件を算出する遷 移条件算出工程と、前記遷移条件算出工程により算出された遷移条件に従って、所 定の撮影条件の撮影画像データに対して画質補正処理を施す画質補正処理工程と 、を含むことを特徴としている。
[0013] また、本発明の画像処理方法は、撮影画像データの撮影条件を解析する撮影条 件解析工程と、前記撮影画像データに対する所定の画質補正処理の条件を基準条 件とし、前記撮影条件解析工程により得られた撮影条件の解析値に基づいて、前記 基準条件から、画質補正処理を施さな 1、無補正条件へ遷移させるための遷移条件 を算出する遷移条件算出工程と、前記遷移条件算出工程により算出された遷移条 件に従って、所定の撮影条件の撮影画像データに対して画質補正処理を施す画質 補正処理工程と、を含むことを特徴としている。
[0014] 本発明の画像処理装置は、撮影画像データの撮影条件を解析する撮影条件解析 手段と、前記撮影条件解析手段により得られた撮影条件の解析値に基づいて、前記 撮影画像データに対する画質補正処理の条件を算出する処理条件算出手段と、所 定の画質補正処理の条件を基準条件とし、前記処理条件算出手段により算出された 画質補正処理の条件に基づいて、前記基準条件から、画質補正処理を施さない無 補正条件へ遷移させるための遷移条件を算出する遷移条件算出手段と、前記遷移 条件算出手段により算出された遷移条件に従って、所定の撮影条件の撮影画像デ ータに対して画質補正処理を施す画質補正処理手段と、を備えることを特徴としてい る。
[0015] また、本発明の画像処理装置は、撮影画像データの撮影条件を解析する撮影条 件解析手段と、前記撮影画像データに対する所定の画質補正処理の条件を基準条 件とし、前記撮影条件解析手段により得られた撮影条件の解析値に基づいて、前記 基準条件から、画質補正処理を施さな 1、無補正条件へ遷移させるための遷移条件 を算出する遷移条件算出手段と、前記遷移条件算出手段により算出された遷移条 件に従って、所定の撮影条件の撮影画像データに対して画質補正処理を施す画質 補正処理手段と、を備えることを特徴としている。
[0016] 本発明の撮像装置は、被写体を撮影して撮影画像データを取得する撮像手段と、 前記撮影画像データの撮影条件を解析する撮影条件解析手段と、前記撮影条件解 析手段により得られた撮影条件の解析値に基づ！/ヽて、前記撮影画像データに対す る画質補正処理の条件を算出する処理条件算出手段と、所定の画質補正処理の条 件を基準条件とし、前記処理条件算出手段により算出された画質補正処理の条件に 基づいて、前記基準条件から、画質補正処理を施さない無補正条件へ遷移させるた めの遷移条件を算出する遷移条件算出手段と、前記遷移条件算出手段により算出 された遷移条件に従って、所定の撮影条件の撮影画像データに対して画質補正処 理を施す画質補正処理手段と、を備えることを特徴としている。
[0017] また、本発明の撮像装置は、被写体を撮影して撮影画像データを取得する撮像手 段と、前記撮影画像データの撮影条件を解析する撮影条件解析手段と、前記撮影 画像データに対する所定の画質補正処理の条件を基準条件とし、前記撮影条件解 析手段により得られた撮影条件の解析値に基づいて、前記基準条件から、画質補正 処理を施さない無補正条件へ遷移させるための遷移条件を算出する遷移条件算出 手段と、前記遷移条件算出手段により算出された遷移条件に従って、所定の撮影条 件の撮影画像データに対して画質補正処理を施す画質補正処理手段と、を備えるこ とを特徴としている。
[0018] 本発明の画像処理プログラムは、画像処理を実行するためのコンピュータに、撮影 画像データの撮影条件を解析する撮影条件解析機能と、前記撮影条件解析機能に より得られた撮影条件の解析値に基づいて、前記撮影画像データに対する画質補 正処理の条件を算出する処理条件算出機能と、所定の画質補正処理の条件を基準 条件とし、前記処理条件算出機能により算出された画質補正処理の条件に基づいて 、前記基準条件から、画質補正処理を施さない無補正条件へ遷移させるための遷移 条件を算出する遷移条件算出機能と、前記遷移条件算出機能により算出された遷 移条件に従って、所定の撮影条件の撮影画像データに対して画質補正処理を施す 画質補正処理機能と、を実現させるための画像処理プログラムである。
[0019] また、本発明の画像処理プログラムは、画像処理を実行するためのコンピュータに 、撮影画像データの撮影条件を解析する撮影条件解析機能と、前記撮影画像デー タに対する所定の画質補正処理の条件を基準条件とし、前記撮影条件解析機能に より得られた撮影条件の解析値に基づいて、前記基準条件から、画質補正処理を施 さない無補正条件へ遷移させるための遷移条件を算出する遷移条件算出機能と、 前記遷移条件算出機能により算出された遷移条件に従って、所定の撮影条件の撮 影画像データに対して画質補正処理を施す画質補正処理機能と、を実現させるため の画像処理プログラムである。
発明の効果
[0020] 本発明によれば、撮影条件がアンダー又は逆光と判別される画像に対する補正量 を維持しつつ、撮影条件が順光 (露出が適正)又はオーバーの撮影画像データに対 する補正量の連続性と安定性の向上を図ることができる。
図面の簡単な説明
[0021] [図 1]本発明の実施形態 1及び実施形態 2における画像処理装置の外観構成を示す 斜視図。
[図 2]実施形態 1及び実施形態 2の画像処理装置の内部構成を示すブロック図。
[図 3]図 2の画像処理部の主要部構成を示すブロック図。
[図 4]実施形態 1の画像調整処理部において実行される処理の流れを示すフローチ ヤート。
[図 5]シーン判別部において実行される撮影条件解析処理を示すフローチャート。
[図 6]明度，色相の領域毎に第 1の占有率を算出する第 1の占有率算出処理を示す フローチャート。
[図 7]RGB力も HSV表色系に変換するプログラムの一例を示す図。
[図 8]明度 (V)—色相 (H)平面と、 V— H平面上の領域 rl及び領域 r2を示す図。
[図 9]明度 (V)—色相（H)平面と、 V— H平面上の領域 r3及び領域 r4を示す図。
[図 10]指標 1を算出するための、第 1の占有率に乗算する第 1の係数を表す曲線を 示す図。
[図 11]指標 2を算出するための、第 1の占有率に乗算する第 2の係数を表す曲線を 示す図。
[図 12]撮影画像データの構図に基づ 、て第 2の占有率を算出する第 2の占有率算 出処理を示すフローチャート。
[図 13]撮影画像データの画面の外縁からの距離に応じて決定される領域 nl〜n4を 示す図。
[図 14]指標 3を算出するための、第 2の占有率に乗算する第 3の係数を表す曲線を 領域別（nl〜n4)に示す図。
圆 15]偏倚量算出処理を示すフローチャート。
圆 16]撮影条件別に算出された指標 4〜6のプロット図。
圆 17]撮影条件を判別するための判別マップを示す図。
圆 18]輝度の度数分布 (ヒストグラム）（a)、正規化されたヒストグラム (b)及びブロック 分割されたヒストグラム (c)を示す図。
圆 19]輝度のヒストグラム力ゝらの低輝度領域及び高輝度領域の削除を説明する図（（ a)及び (b) )と、輝度の頻度の制限を説明する図（ (c)及び (d) )。
圆 20]撮影条件が順光である場合の入力キー補正換算値と出力キー補正換算値の 関係を示す図。
圆 21]撮影条件が順光である場合の入力キー補正換算値と遷移係数の関係を示す 図。
[図 22]画質補正部において実行される画質補正処理を示すフローチャート。
圆 23]撮影条件を特定するための指標と階調調整方法 A〜Cの関係を示す図。
[図 24]各階調調整方法に対応する階調変換曲線を示す図。
[図 25]実施形態 2の画像調整処理部において実行される処理の流れを示すフローチ ヤート。
圆 26]撮影条件が低確度領域 (2)である場合の入力キー補正換算値と出力キー補 正換算値の関係を示す図。
圆 27]指標 6と遷移係数との関係を示す図。
[図 28]低確度領域 (2)における遷移開始点及び遷移終了点を示す図。
[図 29]実施例 1における画質補正処理を示すフローチャート。
圆 30]撮影条件が順光である場合の入力キー補正換算値と出力キー補正換算値の 関係 (実線)を示す図。
圆 31]撮影条件が逆光又はアンダーである場合の階調変換曲線を示す図。
[図 32]実施例 2における画質補正処理を示すフローチャート。
圆 33]予め定義された高明度化処理と硬調化処理力もなる基準点と無補正条件との 間を、高明度化と硬調化の作用を一定間隔で変化させて作成したリングアラウンドプ リントの配置を示す図。
[図 34]実施例 2において遷移係数毎に定義された階調変換曲線を示す図。
[図 35]実施例 3における画質補正処理を示すフローチャート。
[図 36]遷移係数と色マトリックス係数値の関係を示す図。
[図 37]実施例 4における画質補正処理を示すフローチャート。
[図 38]本発明の撮像装置を適用したデジタルカメラの構成を示すブロック図。
[図 39]遷移条件をマニュアルで設定する場合の設定画面を示す図。
符号の説明
[0022] 1 画像処理装置
7 制御部
70 画像処理部
701 画像調整処理部
710 シーン判別部
711 画質補正部
200 デジタルカメラ (撮像装置）
208 画像処理部
発明を実施するための最良の形態
[0023] 以下、図面を参照して、本発明の実施形態を詳細に説明する。
[0024] [実施形態 1]
まず、図 1〜図 3を参照して、実施形態 1及び 2に共通の構成について説明する。
[0025] 図 1は、本発明の実施形態 1及び 2における画像処理装置 1の外観構成を示す斜 視図である。画像処理装置 1は、図 1に示すように、筐体 2の一側面に、感光材料を 装填するためのマガジン装填部 3が備えられている。筐体 2の内側には、感光材料に 露光する露光処理部 4と、露光された感光材料を現像処理して乾燥し、プリントを作 成するためのプリント作成部 5が備えられている。筐体 2の他側面には、プリント作成 部 5で作成されたプリントを排出するためのトレー 6が備えられている。
[0026] また、筐体 2の上部には、表示装置としての CRT (Cathode Ray Tube) 8、透過原稿 を読み込む装置であるフィルムスキャナ部 9、反射原稿入力装置 10、操作部 11が備 えられている。この CRT8が、プリントを作成しょうとする画像情報の画像を画面に表 示する表示手段を構成している。更に、筐体 2には、各種デジタル記録媒体に記録さ れた画像情報を読み取り可能な画像読込部 14、各種デジタル記録媒体に画像信号 を書き込み（出力）可能な画像書込部 15が備えられている。また、筐体 2の内部には 、これらの各部を集中制御する制御部 7が備えられている。
[0027] 画像読込部 14には、 PCカード用アダプタ 14a、フロッピー（登録商標）ディスク用ァ ダプタ 14bが備えられ、 PCカード 13aやフロッピー（登録商標）ディスク 13bが差し込 み可能になっている。 PCカード 13aは、例えば、デジタルカメラで撮像された複数の 駒画像データが記録されたメモリを有する。フロッピー（登録商標）ディスク 13bには、 例えば、デジタルカメラで撮像された複数の駒画像データが記録される。 PCカード 1 3a及びフロッピー（登録商標）ディスク 13b以外に駒画像データが記録される記録媒 体としては、例えば、マルチメディアカード (登録商標）、メモリースティック (登録商標 ；)、 MDデータ、 CD— ROM等がある。
[0028] 画像書込部 15には、フロッピー（登録商標）ディスク用アダプタ 15a、 MO用ァダプ タ 15b、光ディスク用アダプタ 15cが備えられ、それぞれ、フロッピー（登録商標）ディ スク 16a、 M016b、光ディスク 16cが差し込み可能になっている。光ディスク 16cとし ては、 CD— R、 DVD— R等がある。
[0029] なお、図 1では、操作部 11、 CRT8、フィルムスキャナ部 9、反射原稿入力装置 10、 画像読込部 14が、筐体 2に一体的に備えられた構造となっている力 これらの何れ 力 1つ以上を別体として設けるようにしてもよ!、。
[0030] また、図 1に示した画像処理装置 1では、感光材料に露光して現像してプリントを作 成するものが例示されている力 プリント作成方式はこれに限定されず、例えば、イン クジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。
[0031] 〈画像処理装置 1の主要部構成〉
図 2に、画像処理装置 1の主要部構成を示す。画像処理装置 1は、図 2に示すよう に、制御部 7、露光処理部 4、プリント生成部 5、フィルムスキャナ部 9、反射原稿入力 装置 10、画像読込部 14、通信手段 (入力） 32、画像書込部 15、データ蓄積手段 71 、テンプレート記憶手段 72、操作部 11、 CRT8、通信手段（出力） 33により構成され る。
[0032] 制御部 7は、マイクロコンピュータにより構成され、 ROM (Read Only Memory)等の 記憶部（図示略）に記憶されている各種制御プログラムと、 CPU (Central Processing Unit) (図示略）との協働により、画像処理装置 1を構成する各部の動作を制御する。
[0033] 制御部 7は、本発明の画像処理装置に係る画像処理部 70を有し、操作部 11から の入力信号 (指令情報）に基づいて、フィルムスキャナ部 9や反射原稿入力装置 10 から読み取られた画像信号、画像読込部 14から読み込まれた画像信号、外部機器 から通信手段 32を介して入力された画像信号に対して、画像処理を施して露光用画 像情報を形成し、露光処理部 4に出力する。また、画像処理部 70は、画像処理され た画像信号に対して出力形態に応じた変換処理を施して出力する。画像処理部 70 の出力先としては、 CRT8、画像書込部 15、通信手段（出力） 33等がある。
[0034] 露光処理部 4は、感光材料に画像の露光を行！ヽ、この感光材料をプリント作成部 5 に出力する。プリント作成部 5は、露光された感光材料を現像処理して乾燥し、プリン ト Pl、 P2、 P3を作成する。プリント P1は、サービスサイズ、ハイビジョンサイズ、パノラ マサイズ等のプリントであり、プリント P2は、 A4サイズのプリントであり、プリント P3は、 名刺サイズのプリントである。
[0035] フィルムスキャナ部 9は、アナログカメラにより撮像された現像済みのネガフィルム N 、リバーサルフィルム等の透過原稿に記録された駒画像を読み取り、駒画像のデジタ ル画像信号を取得する。反射原稿入力装置 10は、フラットベットスキャナにより、プリ ント P (写真プリント、書画、各種の印刷物）上の画像を読み取り、デジタル画像信号 を取得する。
[0036] 画像読込部 14は、 PCカード 13aやフロッピー（登録商標）ディスク 13bに記録され た駒画像情報を読み出して制御部 7に転送する。この画像読込部 14は、画像転送 手段 30として、 PCカード用アダプタ 14a、フロッピー（登録商標）ディスク用アダプタ 1 4b等を有する。画像読込部 14は、 PCカード用アダプタ 14aに差し込まれた PCカー ド 13aや、フロッピー（登録商標）ディスク用アダプタ 14bに差し込まれたフロッピー（ 登録商標）ディスク 13bに記録された駒画像情報を読み取り、制御部 7に転送する。 PCカード用アダプタ 14aとしては、例えば PCカードリーダや PCカードスロット等が用 いられる。
[0037] 通信手段 (入力） 32は、画像処理装置 1が設置された施設内の別のコンピュータや 、インターネット等を介した遠方のコンピュータから、撮像画像を表す画像信号やプリ ント命令信号を受信する。
[0038] 画像書込部 15は、画像搬送部 31として、フロッピー（登録商標）ディスク用アダプタ 15a、 MO用アダプタ 15b、光ディスク用アダプタ 15cを備えている。画像書込部 15 は、制御部 7から入力される書込信号に従って、フロッピー（登録商標）ディスク用ァ ダプタ 15aに差し込まれたフロッピー（登録商標）ディスク 16a、 MO用アダプタ 15bに 差し込まれた MO 16b、光ディスク用アダプタ 15cに差し込まれた光ディスク 16c〖こ、 本発明における画像処理方法によって生成された画像信号を書き込む。
[0039] データ蓄積手段 71は、画像情報とそれに対応する注文情報（どの駒の画像力も何 枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し、順次蓄積する。
[0040] テンプレート記憶手段 72は、サンプル識別情報 Dl, D2, D3に対応するサンプル 画像データである背景画像、イラスト画像等と合成領域を設定する少なくとも 1個のテ ンプレートのデータを記憶して 、る。オペレータの操作によりセットしてテンプレート記 憶手段 72に予め記憶された複数のテンプレートから所定のテンプレートを選択し、駒 画像情報は選択されたテンプレートにより合成し、指定されるサンプル識別情報 D1, D2, D3に基づいて選択されたサンプル画像データと、注文に基づく画像データ及 び Z又は文字データとを合成し、指定によるサンプルに基づくプリントを作成する。こ のテンプレートによる合成は、周知のクロマキ一法によって行なわれる。
[0041] なお、プリントのサンプルを指定するサンプル識別情報 Dl, D2, D3は、操作部 21 1から入力されるように構成されているが、これらのサンプル識別情報は、プリントのサ ンプル又は注文シートに記録されているため、 OCR等の読み取り手段により読み取 ることができる。或いは、オペレータのキーボード操作により入力することもできる。
[0042] このようにプリントのサンプルを指定するサンプル識別情報 D1に対応してサンプル 画像データを記録しておき、プリントのサンプルを指定するサンプル識別情報 D1を 入力し、この入力されるサンプル識別情報 D1に基づきサンプル画像データを選択し 、この選択されたサンプル画像データと、注文に基づく画像データ及び Z又は文字 データとを合成し、指定によるサンプルに基づくプリントを作成するため、種々の実物 大のサンプルをユーザが実際に手にしてプリントの注文ができ、幅広いユーザの多 様な要求に応じることができる。
[0043] また、第 1のサンプルを指定する第 1のサンプル識別情報 D2と第 1のサンプルの画 像データを記憶し、また、第 2のサンプルを指定する第 2のサンプル識別情報 D3と第 2のサンプルの画像データを記憶し、指定される第 1及び第 2のサンプル識別情報 D 2, D3とに基づいて選択されたサンプル画像データと、注文に基づく画像データ及 び Z又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するた め、さらに多種多様の画像を合成することができ、より一層幅広いユーザの多様な要 求に応じたプリントを作成することができる。
[0044] 操作部 11は、情報入力手段 12を有する。情報入力手段 12は、例えば、タツチパネ ル等により構成されており、情報入力手段 12の押下信号を入力信号として制御部 7 に出力する。なお、操作部 11は、キーボードやマウス等を備えて構成するようにして もよい。 CRT8は、制御部 7から入力された表示制御信号に従って、画像情報等を表 示する。
[0045] 通信手段（出力） 33は、本発明の画像処理を施した後の撮影画像を表す画像信号 と、それに付帯するオーダー情報を、画像処理装置 1が設置された施設内の他のコ ンピュータゃ、インターネット等を介した遠方のコンピュータに対して送信する。
[0046] 図 2に示すように、画像処理装置 1は、各種デジタルメディアの画像及び画像原稿 を分割測光して得られた画像情報を取り込む画像入力手段と、画像処理手段と、処 理済の画像を表示、プリント出力、画像記録メディアに書き込む画像出力手段と、通 信回線を介して施設内の別のコンピュータやインターネット等を介した遠方のコンビュ ータに対して画像データと付帯するオーダー情報を送信する手段と、を備える。
[0047] <画像処理部 70の内部構成 >
図 3に、画像処理部 70の内部構成を示す。画像処理部 70は、図 3に示すように、 画像調整処理部 701、フィルムスキャンデータ処理部 702、反射原稿スキャンデータ 処理部 703、画像データ書式解読処理部 704、テンプレート処理部 705、 CRT固有 処理部 706、プリンタ固有処理部 A707、プリンタ固有処理部 B708、画像データ書 式作成処理部 709により構成される。
[0048] フィルムスキャンデータ処理部 702は、フィルムスキャナ部 9から入力された画像デ ータに対し、フィルムスキャナ部 9固有の校正操作、ネガポジ反転 (ネガ原稿の場合） 、ゴミキズ除去、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等の処理を施し、処理 済の画像データを画像調整処理部 701に出力する。また、フィルムサイズ、ネガポジ 種別、フィルムに光学的或いは磁気的に記録された主要被写体に関わる情報、撮影 条件に関する情報 (例えば、 APSの記載情報内容)等も併せて画像調整処理部 701 に出力する。
[0049] 反射原稿スキャンデータ処理部 703は、反射原稿入力装置 10から入力された画像 データに対し、反射原稿入力装置 10固有の校正操作、ネガポジ反転 (ネガ原稿の 場合)、ゴミキズ除去、コントラスト調整、ノイズ除去、鮮鋭化強調等の処理を施し、処 理済の画像データを画像調整処理部 701に出力する。
[0050] 画像データ書式解読処理部 704は、画像転送手段 30及び Z又は通信手段 (入力 ) 32から入力された画像データに対し、その画像データのデータ書式に従って、必 要に応じて圧縮符号の復元、色データの表現方法の変換等の処理を施し、画像処 理部 70内の演算に適したデータ形式に変換し、画像調整処理部 701に出力する。 また、画像データ書式解読処理部 704は、操作部 11、通信手段 (入力） 32、画像転 送手段 30の何れかから出力画像の大きさが指定された場合、その指定された情報を 検出し、画像調整処理部 701に出力する。なお、画像転送手段 30により指定される 出力画像の大きさについての情報は、画像転送手段 30が取得した画像データのへ ッダ情報、タグ情報に埋め込まれている。
[0051] 画像調整処理部 701は、操作部 11又は制御部 7の指令に基づいて、フィルムスキ ャナ部 9、反射原稿入力装置 10、画像転送手段 30、通信手段 (入力） 32、テンプレ ート処理部 705から受け取った画像データに対し、後述の画像処理（図 4参照）を施 して、出力媒体上での鑑賞に最適化された画像形成用のデジタル画像データを生 成し、 CRT固有処理部 706、プリンタ固有処理部 A707、プリンタ固有処理部 B708 、画像データ書式作成処理部 709、データ蓄積手段 71に出力する。
[0052] 最適化処理においては、例えば sRGB規格に準拠した CRTディスプレイモニタに表 示することを前提とした場合、 sRGB規格の色域内で最適な色再現が得られるように 処理される。銀塩印画紙への出力を前提とした場合、銀塩印画紙の色域内で最適な 色再現が得られるように処理される。また前記色域の圧縮の以外にも、 16bitから 8bit への階調圧縮、出力画素数の低減、及び出力デバイスの出力特性 (LUT)への対応 処理等も含まれる。さらにノイズ抑制、鮮鋭化、グレーバランス調整、彩度調整、或い は覆 、焼き処理等の階調圧縮処理が行われることは言うまでもな 、。
[0053] 画像調整処理部 701は、図 3に示すように、撮影画像データの撮影条件を判別す るシーン判別部 710と、撮影画像データに対する画質補正処理を施す画質補正部 7 11により構成される。
[0054] 撮影条件は、光源条件と露出条件に分類される。
[0055] 光源条件とは、撮影時の光源、主要被写体 (主に人物)と撮影者との位置関係に由 来するものである。広義の意味において、光源の種類 (太陽光、ストロボ光、タンダス テン照明及び蛍光灯)も含まれる。逆光シーンは、主要被写体の背景に太陽が位置 することに生じる。また、ストロボ (近接撮影)シーンは、主要被写体にストロボ光が強 く照射されることにより生じる。両シーンは、共に撮影輝度（明暗の比）は同程度で、 主要被写体の前景と背景の明るさの関係が逆転しているに過ぎない。
[0056] 一方、露出条件とは、カメラのシャッタースピードや絞り値等の設定に由来するもの であり、露出不足の状態をアンダー、適正な露出状態をノーマル、露出過多の状態 をオーバーと称する。広義の意味において、所謂「白とび」や「シャドーの潰れ」も含 まれる。全ての光源条件において、アンダー或いはオーバーの露出条件とすることが できる。特に、ダイナミックレンジの狭い DSC (デジタルスチルカメラ)では、自動露出 調整機能を用いても、白とびを抑制することを目的とした設定条件に起因して、アン ダー気味の露出条件となる頻度が高 、。
[0057] なお、特許請求の範囲第、実施形態 1及び実施形態 2において、「明度」は特に注 釈を設けない限り一般に用いられる「明るさ」の意味である。以下の記載において、 H SV表色系の V(0〜255)を「明度」として用いる力 他の如何なる表色系の明るさを表 す単位系を用いてもよい。その際、実施形態 1及び実施形態 2で記載する各種係数 等の数値を改めて算出し直すことは言うまでもない。また、実施形態 1及び実施形態 2における撮影画像データは、人物を主要被写体とする画像データであるものとする
[0058] なお、実施形態 1の画像調整処理部 701で実行される処理については、後に図 4 を参照して詳細に説明する。
[0059] テンプレート処理部 705は、画像調整処理部 701からの指令に基づいて、テンプレ ート記憶手段 72から所定の画像データ (テンプレート）を読み出して、画像処理対象 の画像データとテンプレートを合成するテンプレート処理を行 、、テンプレート処理後 の画像データを画像調整処理部 701に出力する。
[0060] CRT固有処理部 706は、画像調整処理部 701から入力された画像データに対し て、必要に応じて画素数変更やカラーマッチング等の処理を施し、制御情報等表示 が必要な情報と合成した表示用の画像データを CRT8に出力する。
[0061] プリンタ固有処理部 A707は、必要に応じてプリンタ固有の校正処理、カラーマッチ ング、画素数変更等の処理を行い、処理済の画像データを露光処理部 4に出力する
[0062] 本発明の画像処理装置 1に、大判インクジェットプリンタ等の外部プリンタ 51が接続 可能な場合には、接続するプリンタ装置毎にプリンタ固有処理部 B708が備えられて いる。このプリンタ固有処理部 B708は、プリンタ固有の校正処理、カラーマッチング 、画素数変更等の処理を施し、処理済の画像データを外部プリンタ 51に出力する。
[0063] 画像データ書式作成処理部 709は、画像調整処理部 701から入力された画像デ ータに対して、必要に応じて JPEG (Joint Photographic Coding Experts Group)、 TIF F (Tagged Image File Format)、 Exif (Exchangeable Image File Format)等【こ代表 れる各種の汎用画像フォーマットへの変換を施し、処理済の画像データを画像搬送 部 31や通信手段（出力） 33に出力する。
[0064] なお、図 3に示したフィルムスキャンデータ処理部 702、反射原稿スキャンデータ処 理部 703、画像データ書式解読処理部 704、画像調整処理部 701、 CRT固有処理 部 706、プリンタ固有処理部 A707、プリンタ固有処理部 B708、画像データ書式作 成処理部 709、という区分は、画像処理部 70の機能の理解を助けるために設けた区 分であり、必ずしも物理的に独立したデバイスとして実現される必要はなぐ例えば、 単一の CPUによるソフトウェア処理の種類の区分として実現されてもよい。
[0065] 次に、実施形態 1における動作について説明する。
[0066] まず、図 4のフローチャートを参照して、画像調整処理部 701において実行される 処理の流れにっ 、て説明する。
[0067] まず、撮影画像データの撮影条件を解析する撮影条件解析処理が行われる (ステ ップ Tl)。ステップ T1の撮影条件解析処理については、後に図 5を参照して詳細に 説明する。
[0068] 次 、で、ステップ T1で得られた撮影条件の解析値に基づ ヽて、撮影画像データに 対する画質補正処理の条件が算出される (ステップ Τ2)。ステップ Τ2における画質 補正処理の条件とは、例えば、撮影画像データに対する階調調整に必要なパラメ一 タ (例えば、濃度補正におけるキー補正換算値)である。
[0069] 次 、で、撮影画像データに対する所定の画質補正処理の条件が基準条件として 設定される (ステップ Τ3)。基準条件とは、撮影条件が逆光又はアンダー気味 (やや 暗め）と判別される撮影画像データに対して最適となる画質補正処理の条件である。 ステップ Τ3で設定される基準条件の内容としては、所定の濃度補正処理の条件、所 定の高明度化処理及び硬調化処理力もなる階調変換処理の条件（図 33及び図 34 参照）、所定の色マトリクス処理の条件、所定のコントラスト補正処理の条件等がある
[0070] 基準条件としての濃度補正処理の条件又は高明度化処理の条件は、例えば、入 力キー補正換算値 (オペレータの操作によって入力されるキー補正換算値)が 0 (無 補正)である場合に、 - 2Dの高明度 (低濃度)化処理を施すことと定義される（図 20 参照)。ここで「D」とは、ミニラボ (小規模現像所）においてオペレータが操作する濃 度補正ボタンのことである。また、基準条件としての硬調化処理は、例えば、 25%の 硬調化処理 (図 34の S字曲線 L 5— B参照)を施すことと定義される。更に、基準条 件としてのコントラスト補正処理は、所定の一次関数で表される。また、基準条件とし ての色マトリクス処理は、例えば、彩度をやや低下させる条件として定義される。
[0071] なお、基準条件は、撮像装置 (カメラ)力も得られる撮影画像データの明るさの分布 中心 (即ち、撮像装置の AE露出の制御中心）が、適当な明るさよりもややアンダー気 味の状態をピークにしていることに由来すると考えられるため、撮像装置の機種 (撮 影画像データのヘッダに記録された Exif情報で判別可能)や撮影者のタイプ (アマ チユア、プロ)別に異なることが予想される。よって、基準条件は、撮像装置の機種や 撮影者のタイプ別に定義されることが望ましい。なお、アンダーや逆光等の撮影条件 において、より高い補正レベルを適用する場合は、基準点 (基準条件)をマイナス側 へ移動させるのが好まし 、。
[0072] 基準条件が設定されると、ステップ T2で算出された画質補正処理条件に基づいて 、ステップ T3で設定された基準条件から、画質補正処理を全く施さない無補正条件 側へ遷移 (抑制）させる遷移処理に必要な遷移係数が算出され (ステップ T4)、その 算出された遷移係数に基づ!、て遷移条件 (画質補正処理条件)が算出される (ステツ プ Τ5)。
[0073] 次 、で、ステップ Τ5で算出された遷移条件に従って、撮影画像データに対して画 質補正処理が施され (ステップ Τ6)、画質補正処理後の画像データが、指定された 出力先に出力される。ステップ Τ6では、ステップ T1での解析結果により撮影条件が 順光である場合に、ステップ Τ5で算出された遷移条件に従った画質補正処理が行 われる。一方、撮影条件がアンダー又は逆光である場合は、遷移条件が算出されな いため、ステップ Τ6では、遷移処理を伴わない画質補正処理が行われる。
[0074] 以下、図 4の各ステップについて詳細に説明する。
[0075] まず、図 5のフローチャートを参照して、シーン判別部 710において実行される撮影 条件解析処理（図 4のステップ T1)につ 、て説明する。
[0076] まず、撮影画像データが所定の画像領域に分割され、各分割領域が撮影画像デ ータ全体に占める割合を示す占有率 (第 1の占有率、第 2の占有率)を算出する占有 率算出処理が行われる (ステップ S1)。ステップ S1の占有率算出処理については、 後に図 6、図 12を参照して詳細に説明する。
[0077] 次いで、撮影画像データの階調分布の偏りを示す偏倚量を算出する偏倚量算出 処理が行われる (ステップ S2)。ステップ S2の偏倚量算出処理については、後に図 1
5を参照して詳細に説明する。
[0078] 次いで、ステップ S1で算出された占有率と、撮影条件に応じて予め設定された係 数に基づいて、光源条件を特定するための指標が算出される (ステップ S3)。また、 ステップ S1で算出された占有率と、撮影条件に応じて予め設定された係数に基づい て、露出条件を特定するための指標が算出される (ステップ S4)。ステップ S3及び S4 における指標の算出方法は、後に詳細に説明する。
[0079] 次 、で、ステップ S3及び S4にお 、て算出された指標（指標 4〜6)と、撮影条件の 確度に応じて予め領域分けされた判別マップに基づ 、て、撮影画像データの撮影条 件 (光源条件、露出条件)が判別され (ステップ S5)、本撮影条件解析処理が終了す る。ステップ S5における撮影条件の判別方法については、後に図 16、図 17及び表 7 を参照して詳細に説明する。
[0080] 次に、図 6のフローチャートを参照して、第 1の占有率算出処理について詳細に説 明する。
[0081] まず、撮影画像データの RGB値が HSV表色系に変換される (ステップ S 10)。 HS V表色系とは、画像データを、色相（Hue)、彩度（Saturation)、明度 (Value又は Brigh tness)の 3つの要素で表すものであり、マンセルにより提案された表色体系を元にし て考案されたものである。
[0082] 図 7は、 RGBから HSV表色系に変換することにより色相値、彩度値、明度値を得る 変換プログラム (HSV変換プログラム）の一例を、プログラムコード (c言語）により示し たものである。図 7に示す HSV変換プログラムでは、入力画像データであるデジタル 画像データの値を、 InR、 InG、 InBと定義し、算出された色相値を OutHとし、スケール を 0〜360と定義し、彩度値を OutS、明度値を OutVとし、単位を 0〜255と定義している
[0083] 次 、で、撮影画像データが、所定の明度と色相の組み合わせ力 なる領域に分割 され、分割領域毎に累積画素数を算出することにより 2次元ヒストグラムが作成される (ステップ Sl l)。以下、撮影画像データの領域分割について詳細に説明する。
[0084] 明度（V)は、明度値力 〜 25(vl)、 26— 50(v2)、 51〜84(v3)、 85〜169(v4)、 170〜199 (v5)、 200〜224(v6)、 225〜255(v7)の 7つの領域に分割される。色相 (H)は、色相値が 0〜39、 330〜359の肌色色相領域（HI及び H2)、色相値が 40〜160の緑色色相領域 (H3)、色相値力 61〜250の青色色相領域（H4)、赤色色相領域（H5)の 4つの領域 に分割される。なお、赤色色相領域 (H5)は、撮影条件の判別への寄与が少ないとの 知見から、以下の計算では用いていない。肌色色相領域は、更に、肌色領域 (HI)と 、それ以外の領域 (H2)に分割される。以下、肌色色相領域 (H = 0〜39、 330〜359) のうち、下記の式（1)を満たす色相' (H)を肌色領域 (HI)とし、式（1)を満たさない領 域を (H2)とする。
[0085] 10 <彩度 (S) < 175、
色相' (H) =色相 (H) + 60 (0≤色相 (H)< 300のとき)、
色相' (H) =色相 (H)— 300 (300≤色相 (H)< 360のとき)、
輝度 (Y) = InR X 0.30 + InG X 0.59 + InB X 0.11 (A)
として、
色相， (H)Z輝度 (Y) < 3.0 Χ (彩度 (S)Z255) + 0.7 (1)
従って、撮影画像データの分割領域の数は 4 X 7 = 28個となる。なお、式（1)にお V、て明度 (V)を用いることも可能である。
[0086] 2次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素 数 (撮影画像全体)に占める割合を示す第 1の占有率が算出され (ステップ S12)、本 占有率算出処理が終了する。明度領域 vi、色相領域 Hjの組み合わせ力 なる分割 領域において算出された第 1の占有率を Rijとすると、各分割領域における第 1の占 有率は表 1のように表される。
[0087] [表 1]
[第 1の占有率]
Figure imgf000021_0001
[0088] 次に、指標 1及び指標 2の算出方法について説明する。
[0089] 表 2に、ストロボ撮影としての確度、即ち、ストロボ撮影時の顔領域の明度状態を定 量的に示す指標 1を算出するために必要な第 1の係数を分割領域別に示す。表 2に 示された各分割領域の係数は、表 1に示した各分割領域の第 1の占有率 Rijに乗算 する重み係数であり、撮影条件に応じて予め設定されている。
[0090] [表 2]
[第 1 の係数]
Figure imgf000022_0001
[0091] 図 8に、明度 (v)—色相（H)平面を示す。表 2によると、図 8において高明度の肌色 色相領域に分布する領域 (rl)から算出される第 1の占有率には、正 (+)の係数が用 いられ、それ以外の色相である青色色相領域 (r2)から算出される第 1の占有率には、 負 (一)の係数が用いられる。図 10は、肌色領域 (HI)における第 1の係数と、その他 の領域 (緑色色相領域 (H3))における第 1の係数を、明度全体に渡って連続的に変 化する曲線 (係数曲線）として示したものである。表 2及び図 10によると、高明度 (V= 170〜224)の領域では、肌色領域 (HI)における第 1の係数の符号は正 (+)であり、 その他の領域 (例えば、緑色色相領域 (H3))における第 1の係数の符号は負 (一)で あり、両者の符号が異なっていることがわかる。
[0092] 明度領域 vi、色相領域 Hjにおける第 1の係数を Cijとすると、指標 1を算出するため の Hk領域の和は、式（2)のように定義される。
[0093] [数 1]
Hk領域の和 = ^ Rik x Cik ( 2 ) 従って、 H1〜H4領域の和は、下記の式 (2— 1)〜式 (2— 4)のように表される。 HI領域の和 =尺11 （ー44.0) + 1?21 （ー16.0)+(中略）...+ 1?71 （ー11.3) (2— 1 )
H2領域の和 = R12X0.0 + R22X8.6+ (中略）... + R72X(—11.1) (2— 2)
H3領域の和 = R13X0.0 + R23X(— 6.3)+ (中略）… + R73X(— 10.0) (2-3) H4領域の和 = R14X0.0 + R24X(— 1.8)+ (中略）... + R74X(— 14.6) (2-4) 指標 1は、式 (2— 1)〜（2— 4)で示された H1〜H4領域の和を用いて、式（3)のよう に定義される。
[0095] 指標 1 = H1領域の和 + H2領域の和 + H3領域の和 + H4領域の和 +4.424 (3) 表 3に、逆光撮影としての確度、即ち、逆光撮影時の顔領域の明度状態を定量的 に示す指標 2を算出するために必要な第 2の係数を分割領域別に示す。表 3に示さ れた各分割領域の係数は、表 1に示した各分割領域の第 1の占有率 Rijに乗算する 重み係数であり、撮影条件に応じて予め設定されている。
[0096] [表 3]
[第 2の係数]
Figure imgf000023_0001
[0097] 図 9に、明度 (v)—色相（H)平面を示す。表 3によると、図 9において肌色色相領域 の中間明度に分布する領域 (r4)力も算出される占有率には負 (一)の係数が用いられ 、肌色色相領域の低明度 (シャドー)領域 (r3)から算出される占有率には正 (+)の係 数が用いられる。図 11は、肌色領域 (HI)における第 2の係数を、明度全体に渡って 連続的に変化する曲線 (係数曲線）として示したものである。表 3及び図 11によると、 肌色色相領域の、明度値が 85〜169(v4)の中間明度領域の第 2の係数の符号は負（ ―)であり、明度値が 26〜84(v2,v3)の低明度 (シャドー)領域の第 2の係数の符号は 正 (+)であり、両領域での係数の符号が異なっていることがわかる。
[0098] 明度領域 vi、色相領域 Hjにおける第 2の係数を Dijとすると、指標 2を算出するため の Hk領域の和は、式 (4)のように定義される。
[0099] [数 2]
Hk領域の和 = Rik Dik ( 4 )
[0100] 従って、 H1〜H4領域の和は、下記の式 (4 1)〜式 (4 4)のように表される。
HI領域の和 =尺11 （ー27.0) + 1?21 4.5+ (中略）...+ 1?71 （ー24.0) (4—1) H2領域の和 = R12 X 0.0 + R22 X 4.7+ (中略）… +R72 X (-8.5) (4—2) H3領域の和 = R13 X 0.0 + R23 X 0.0+ (中略）... + R73 X 0.0 (4—3) H4領域の和 = R14 X 0.0 + R24 X (— 5.1)+ (中略）... + R74 X 7.2 (4-4)
指標 2は、式 (4 1)〜（4 4)で示された H1〜H4領域の和を用いて、式（5)のよう に定義される。
[0101] 指標 2 = !"11領域の和+ 1"[2領域の和+ 1"[3領域の和+ 1"[4領域の和+ 1.554 (5) 指標 1及び指標 2は、撮影画像データの明度と色相の分布量に基づいて算出され るため、撮影画像データがカラー画像である場合の撮影条件の判別に有効である。
[0102] 次に、図 12のフローチャートを参照して、指標 3を算出するために実行される第 2の 占有率算出処理について詳細に説明する。
[0103] まず、撮影画像データの RGB値が HSV表色系に変換される (ステップ S 20)。次 ヽ で、撮影画像データが、撮影画像画面の外縁からの距離と明度の組み合わせ力ゝらな る領域に分割され、分割領域毎に累積画素数を算出することにより 2次元ヒストグラム が作成される (ステップ S21)。以下、撮影画像データの領域分割について詳細に説 明する。
[0104] 図 13 (a)〜（d)に、撮影画像データの画面の外縁からの距離に応じて分割された 4 つの領域 nl〜n4を示す。図 13 (a)に示す領域 nlが外枠であり、図 13 (b)に示す領 域 n2が、外枠の内側の領域であり、図 13 (c)に示す領域 n3が、領域 n2の更に内側 の領域であり、図 13 (d)に示す領域 n4が、撮影画像画面の中心部の領域である。ま た、明度は、上述のように vl〜v7の 7つの領域に分割するものとする。従って、撮影 画像データを、撮影画像画面の外縁からの距離と明度の組み合わせカゝらなる領域に 分割した場合の分割領域の数は 4 X 7 = 28個となる。
[0105] 2次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素 数 (撮影画像全体)に占める割合を示す第 2の占有率が算出され (ステップ S22)、本 占有率算出処理が終了する。明度領域 vi、画面領域 njの組み合わせからなる分割領 域にぉ 、て算出された第 2の占有率を Qijとすると、各分割領域における第 2の占有 率は表 4のように表される。
[0106] [表 4] 〔第 2の占有率]
Figure imgf000025_0001
[0107] 次に、指標 3の算出方法について説明する。
[0108] 表 5に、指標 3を算出するために必要な第 3の係数を分割領域別に示す。表 5に示 された各分割領域の係数は、表 4に示した各分割領域の第 2の占有率 Qijに乗算す る重み係数であり、撮影条件に応じて予め設定されている。
[0109] [表 5]
[第 3の係数]
Figure imgf000025_0002
[0110] 図 14は、画面領域 nl〜n4における第 3の係数を、明度全体に渡って連続的に変 化する曲線 (係数曲線）として示したものである。
[0111] 明度領域 vi、画面領域 njにおける第 3の係数を Eijとすると、指標 3を算出するための nk領域 (画面領域 nk)の和は、式 (6)のように定義される。
[0112] [数 3] nk領域の和 = y Qik x Eik (6)
[0113] 従って、 nl〜n4領域の和は、下記の式 (6— 1)〜式 (6— 4)のように表される。
nl領域の和 = Q11X40.1 + Q21X37.0+ (中略）... + Q71X22.0 (6— 1) n2領域の和 = Q12X(— 14.8) + Q22X(— 10.5)+ (中略）... + Q72X0.0 (6-2) n3領域の和 = Q13X24.6 + Q23X12.1+ (中略）… + Q73X10.1 (6-3) n4領域の和 = Q14X1.5 + Q24X(— 32.9)+ (中略）… + Q74X(— 52.2) (6-4) 指標 3は、式 (6— 1)〜（6— 4)で示された nl〜n4領域の和を用いて、式（7)のよう 定義される。
[0114] 指標 3=nl領域の和 +n2領域の和 +n3領域の和 +n4領域の和 12.6201 (7) 指標 3は、撮影画像データの明度の分布位置による構図的な特徴 (撮影画像デー タの画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノ クロ画像の撮影条件を判別するのにも有効である。
[0115] 次に、図 15のフローチャートを参照して、偏倚量算出処理（図 5のステップ S2)につ いて説明する。
[0116] まず、撮影画像データの RGB (Red,Green,Blue)値から、式 (A)を用いて各画素の 輝度 Y (明るさ）が算出され、輝度の標準偏差 (xl)が算出される (ステップ S23)。輝度 の標準偏差 (xl)は、式 (8)のように表される。
[0117] [数 4]
Figure imgf000026_0001
[0118] 式 (8)において、画素輝度値とは、撮影画像データの各画素の輝度であり、平均輝 度値とは、撮影画像データの輝度の平均値である。また、全体画素数とは、撮影画 像データ全体の画素数である。
[0119] 次いで、式（9)に示すように、輝度差分値 (x2)が算出される (ステップ S24)。
[0120] 輝度差分値 (x2)= (最大輝度値-平均輝度値) Z255 (9)
式（9)において、最大輝度値とは、撮影画像データの輝度の最大値である。
[0121] 次いで、撮影画像データの画面中央部における肌色領域の平均輝度値 (x3)が算 出され (ステップ S25)、更に、当該画面中央部における平均輝度値 (x4)が算出され る（ステップ S26)。ここで、画面中央部とは、例えば、図 13において、領域 n3及び領 域 n4により構成される領域である。
[0122] 次いで、肌色輝度分布値 (x5)が算出され (ステップ S27)、本偏倚量算出処理が終 了する。撮影画像データの肌色領域の最大輝度値を Yskinjnax 肌色領域の最小輝 度値を Yskin_min、肌色領域の平均輝度値を Yskin_aveとすると、肌色輝度分布値 (x5) は、式（10)のように表される。
[0123] x5 = (Yskin.max - Yskin_min)/2—Yskin— ave (10) 撮影画像データの画面中央部における肌色領域の平均輝度値を x6とする。ここで の画面中央部とは、例えば、図 13の領域 n2、領域 n3及び領域 n4から構成される領 域である。このとき、指標 4は、指標 指標 3、 x6を用いて式（11)のように定義され、 指標 5は、指標 2、指標 3、 x6を用いて式（12)のように定義される。
[0124] 指標 4 = 0.46 X指標 1 + 0.61 X指標 3 + 0.01 X x6— 0.79 (11)
指標 5 = 0.58 X指標 2 + 0.18 X指標 3 + (— 0.03) X x6 + 3.34 (12) ここで、式（11)及び式（12)において各指標に乗算される重み係数は、撮影条件 に応じて予め設定されて ヽる。
[0125] 指標 6は、偏倚量算出処理で算出された偏倚量 (xl)〜(x5)に、撮影条件に応じて予 め設定された第 4の係数を乗算することにより得られる。表 6に、各偏倚量に乗算する 重み係数である第 4の係数を示す。
[0126] [表 6]
[第 4の係数]
Figure imgf000027_0001
[0127] 指標 6は、式（13)のように表される。
[0128] 指標6 = 1 0.02 + 2 1.13 + 3 0.06+ 4 （ー0.01)+ 5 0.03— 6.49 (13) この指標 6は、撮影画像データの画面の構図的な特徴だけでなぐ輝度ヒストグラム 分布情報を持ち合わせており、特に、ストロボ撮影シーンとアンダー撮影シーンの判 別に有効である。
[0129] 指標 4〜6が算出されると、これらの指標と、撮影条件に応じて予め領域分けされた 判別マップに基づいて、撮影画像データの撮影条件 (光源条件、露出条件)が判別 される。以下、撮影条件の判別方法について説明する。
[0130] 図 16 (a)は、順光、逆光、ストロボの各撮影条件で 60枚ずつ撮影し、合計 180枚の デジタル画像データについて、指標 4及び指標 5を算出し、各撮影条件での指標 4 及び指標 5の値をプロットしたものである。図 16 (b)は、ストロボ、アンダーの各撮影 条件で 60枚ずつ撮影し、指標 4が 0. 5より大きい画像の指標 4及び指標 6の値をプ ロットしたちのである。 [0131] 判別マップは、指標の信頼度を評価するもので、図 17に示すように、順光、逆光、 ストロボ、アンダーの各基本領域と、逆光と順光の中間の低確度領域（1)、ストロボと アンダーの中間の低確度領域（2)から構成される。なお、判別マップ上には、逆光と ストロボの間の低確度領域等、他の低確度領域も存在するが、本実施形態では省略 する。
[0132] 図 16に示した各指標値のプロット図と、図 17の判別マップによる撮影条件の判別 内容を表 7に示す。
[0133] [表 7]
Figure imgf000028_0001
[0134] このように、指標 4及び指標 5の値により光源条件を定量的に判別することができ、 指標 4及び指標 6の値により露出条件を定量的に判別することができる。また、指標 4 及び指標 5の値により、順光と逆光の中間の低確度領域（1)を判別でき、指標 4及び 指標 6の値により、ストロボとアンダーの中間の低確度領域（2)を判別することができ る。
[0135] 次に、ステップ Τ2における画質補正処理の条件の算出方法について詳細に説明 する。画質補正処理の条件は、撮影条件の判別内容及び指標 4〜6に基づいて算 出される。本実施形態 1及び後の実施形態 2において、画質補正処理の条件を算出 することは、撮影画像データに対する階調調整に必要なパラメータ（階調調整パラメ ータ）を算出することである。以下、階調調整パラメータの算出方法について詳細に 説明する。なお、以下では、 8bitの撮影画像データは 16bitへと事前に変換されてい るものとし、撮影画像データの値の単位は 16bitであるものとする。
[0136] 階調調整に必要なパラメータ（階調調整パラメータ）として、下記の P1〜P10のパラ メータが算出される。
[0137] P1:撮影画面全体の平均輝度 P2:ブロック分割平均輝度
P3:肌色領域 (HI)の平均輝度
P4:輝度補正値 1 = P1— P2
P5:再現目標修正値 =輝度再現目標値 (30360)— P4
P6:オフセット値 1 = P5— P1
P7:キー補正換算値
P7' :キー補正換算値 2
P8:輝度補正値 2
P9:オフセッ M直 2 = P5— P8— P1
P10:オフセット値 3
ここで、図 18及び図 19を参照して、ノ メータ P2の算出方法について説明する。
[0138] まず、撮影画像データを正規化するために、 CDF (累積密度関数)を作成する。次 いで、得られた CDF力 最大値と最小値を決定する。この最大値と最小値は、 RGB 毎に求める。ここで、求められた RGB毎の最大値と最小値を、それぞれ、 Rmax、 Rmi n、 Gmax、 Gmin、 Bmax、 Bminとする。
[0139] 次いで、撮影画像データの任意の画素 (Rx, Gx, Bx)に対する正規化画像データ を算出する。 Rプレーンにおける Rxの正規化データを R 、 Gプレーンにおける Gx
point
の正規化データを G 、 Bプレーンにおける Bxの正規化データを B とすると、正規
point point
化データ R 、G 、B は、それぞれ、式（14)〜式（16)のように表される。
point point point
R = { (Rx-Rmin) / (Rmax— Rmin) } X 65535 (14)；
point
G = { (Gx-Gmin) / (Gmax-Gmin) } X 65535 (15) ;
point
B = { (Bx - Bmin) / (Bmax - Bmin) } X 65535 (16) .
point
次いで、式（17)により画素 (Rx, Gx, Bx)の輝度 N を算出する。
point
[0140] N = (B +G +R ) /3 (17)
point point point point
図 18 (a)は、正規ィ匕する前の RGB画素の輝度の度数分布 (ヒストグラム)である。図 18 (a)において、横軸は輝度、縦軸は画素の頻度である。このヒストグラムは、 RGB 毎に作成する。輝度のヒストグラムが作成されると、式（14)〜式（16)により、撮影画 像データに対し、プレーン毎に正規ィ匕を行う。図 18 (b)は、式（17)により算出された 輝度のヒストグラムを示す。撮影画像データが 65535で正規ィ匕されているため、各画 素は、最大値が 65535で最小値力^の間で任意の値をとる。
[0141] 図 18 (b)に示す輝度ヒストグラムを所定の範囲で区切ってブロックに分割すると、図 18 (c)に示すような度数分布が得られる。図 18 (c)において、横軸はブロック番号（ 輝度）、縦軸は頻度である。
[0142] 次いで、図 18 (c)に示された輝度ヒストグラムから、ノ、イライト、シャドー領域を削除 する処理を行う。これは、白壁や雪上シーンでは、平均輝度が非常に高くなり、暗闇 のシーンでは平均輝度は非常に低くなつているため、ハイライト、シャドー領域は、平 均輝度制御に悪影響を与えてしまうことによる。そこで、図 18 (c)に示した輝度ヒスト グラムのハイライト領域、シャドー領域を制限することによって、両領域の影響を減少 させる。図 19 (a) (又は図 18 (c) )に示す輝度ヒストグラムにおいて、高輝度領域 (ノヽ イライト領域)及び低輝度領域 (シャドー領域)を削除すると、図 19 (b)のようになる。
[0143] 次いで、図 19 (c)に示すように、輝度ヒストグラムにおいて、頻度が所定の閾値より 大きい領域を削除する。これは、頻度が極端に多い部分が存在すると、この部分の データが、撮影画像全体の平均輝度に強く影響を与えてしまうため、誤補正が生じ やすいことによる。そこで、図 19 (c)に示すように、輝度ヒストグラムにおいて、閾値以 上の画素数を制限する。図 19 (d)は、画素数の制限処理を行った後の輝度ヒストグラ ムである。
[0144] 正規化された輝度ヒストグラムから、高輝度領域及び低輝度領域を削除し、更に、 累積画素数を制限することによって得られた輝度ヒストグラム（図 19 (d) )の各ブロック 番号と、それぞれの頻度に基づいて、輝度の平均値を算出したものがパラメータ P2 である。
[0145] ノ ラメータ P1は、撮影画像データ全体の輝度の平均値であり、パラメータ P3は、撮 影画像データのうち肌色領域 (HI)の輝度の平均値である。パラメータ P7のキー補 正換算値、パラメータ P7，のキー補正換算値 2、パラメータ P8の輝度補正値 2は、そ れぞれ、式（18)、式（19)、式（20)のように定義される。
[0146] P7 (キー補正換算値） ={P3— ((指標 5 / 6) X 18000) + 22000)1/24.78 (18)
P7，（キー補正換算値 2)={P3— ((指標 6/ 6) X 10000 + 30000)1/24.78 (19) P8 (輝度補正値 2) = (指標 4 / 6) X 17500 (20)
ノ メータ PIOのオフセット値 3は、判別マップ上で低確度領域（1)又は（2)に対応 する撮影条件の場合の階調調整パラメータである。以下、ノ メータ P10の算出方法 について説明する。
[0147] まず、該当する低確度領域内の指標のうち、基準となる指標が決定される。例えば 、低確度領域 ( 1)であれば、基準指標として指標 5が決定され、低確度領域 (2)であ れば、基準指標として指標 6が決定される。そして、その基準指標の値を 0〜1の範囲 で正規ィ匕することによって、当該基準指標が正規化指標へ変換される。正規化指標 は、式（21)のように定義される。
[0148] 正規化指標 = (基準指標 指標最小値) Z (指標最大値 指標最小値） （21) 式 (21)において、指標最大値、指標最小値は、それぞれ、該当する低確度領域 内の基準指標の最大値、最小値である。
[0149] 該当する低確度領域と、当該低確度領域に隣接する 2つの領域との境界における 補正量をそれぞれ ex、 βとする。この補正量 α、 j8は、判別マップ上の各領域の境 界において定義された再現目標値を用いて予め算出された固定値である。ノ メー タ P10は、式（21)の正規化指標と、補正量 a、 βを用いて式（22)のように表される
[0150] P10 = ( |8— α ) Χ正規化指標 + α (22)
なお、本実施形態 1及び実施形態 2では、正規化指標と補正量との相関を 1次の線 形関係とするが、補正量をさらに緩やかに移行させるベぐ曲線関係としてもよい。
[0151] 次に、遷移係数の算出方法（図 4のステップ Τ4)について説明する。実施形態 1で は、撮影条件が順光であると判別された場合に、式 (23)に示すように遷移係数が算 出され、基準条件の遷移処理が行われる。
[0152] [数 5]
-Μ^ρ,» ―入力キー補正換算値 遷移開始点 ―
し ― 基準点での出力キー補正換算値 +遷移関始点
但し、 遷移係数 = 1 (入力キー補正換算値 <遷移開始点の場合)《 ( 2 3 ) 遷移係数 = 0 (入力キー補正換算値 >遷移終了点の場合）
[0153] ここで、遷移開始点 =— 1D、遷移終了点 = + 2D、基準点 (基準条件)での出力キ 一補正換算値 =— 2D、 D= 150である。順光の場合の入力キー補正換算値は、画 質補正処理の条件 (階調調整パラメータ)として算出された P6 (オフセット値 1)を 24.7 8で除算した値（P6/24.78)である。
[0154] 図 20に、順光における入力キー補正換算値 (オペレータの操作によって入力され るキー補正換算値)と出力キー補正換算値との関係を示す。図 21に、順光における 入力キー補正換算値と遷移係数との関係を示す。出力キー補正換算値は、図 20〖こ 示すように、式（24)のように定義される。
[0155] 出力キー補正換算値 = (入力キー補正換算値 +基準点における出力キー補正換 算値） X遷移係数 （24)
図 20及び式 (24)に示すように、基準点 (基準条件)の無補正側への遷移 (抑制） は、遷移開始点である 1D力 遷移終了点である + 2Dまでの間において、基準点 を通る一次関数から、緩やかな弓形の曲線に遷移させることによって実現される。図 4のステップ T5では、式（23)にょうに算出された遷移係数に基づく画質補正条件（ 図 20の曲線)が遷移条件として算出される。なお、撮影条件が逆光又はアンダーの 場合、遷移条件は算出されず、図 20の基準点 (基準条件)を通る一次関数に従った 出力キー補正換算値が算出される。
[0156] 次に、図 22のフローチャートを参照して、画質補正処理（図 4のステップ T6)につい て説明する。
[0157] まず、図 4のステップ T1で判別された撮影条件に応じて、撮影画像データに対する 階調調整の方法が決定される (ステップ S30)。図 23に示すように、撮影条件が順光 又はストロボである場合は階調調整方法 A (図 24 (a) )が選択され、逆光又はアンダ 一である場合は階調調整方法 B (図 24 (b) )が選択される。また、撮影条件が逆光と 順光の中間又はストロボとアンダーの中間である場合 (即ち、判別マップ上の低確度 領域である場合)は階調調整方法 C (図 24 (c) )が選択される。
[0158] このように、撮影条件が順光である場合は、補正量が比較的少ないため、撮影画像 データの画素値を平行移動 (オフセット)補正する階調調整方法 Aを適用することが、 ガンマ変動を抑制できる観点力も好ましい。また、撮影条件が逆光又はアンダーであ る場合は、補正量が比較的多いため、階調調整方法 Aを適用すると、画像データの 存在しない階調が著しく増大し、黒色の白濁化や、白色の明度の低下を招くことにな る。従って、撮影条件が逆光又はアンダーである場合は、撮影画像データの画素値 をガンマ補正する階調調整方法 Bを適用するのが好ましい。また、判別マップ上で低 確度領域にある撮影条件の場合、どの低確度領域も、隣接する一方の撮影条件に 対する階調調整方法が A又は Bとなるため、双方の階調調整方法を混合した階調調 整方法 Cを適用するのが好ましい。このように低確度領域を設定することにより、異な る階調調整方法を用いた場合でも、処理結果をスムーズに移行させることができる。 また、同じ被写体を撮影した複数の写真プリント間での、濃度のばらつきを軽減する ことができる。なお、図 24 (b)に示した階調変換曲線は上向きに凸となっているが、 下向きに凸の場合もある。また、図 24 (c)に示した階調変換曲線は下向きに凸となつ ているが、上向きに凸の場合もある。
[0159] 階調調整パラメータが算出されると、その算出された階調調整パラメータに基づい て、撮影画像データに対する階調調整量が決定される (ステップ S31)。ステップ S31 では、具体的に、ステップ S30において決定された階調調整方法に対応して予め設 定された複数の階調変換曲線の中から、上述のように算出された階調調整パラメ一 タに対応する階調変換曲線が選択 (決定)される。なお、算出された階調調整パラメ ータに基づいて、階調変換曲線 (階調調整量)を算出するようにしてもよい。階調変 換曲線が決定されると、その決定された階調変換曲線に従って、撮影画像データに 対して階調変換処理が施され (ステップ S32)、本画質補正処理が終了する。図 22の 画質補正処理の具体例については、後に実施例 1〜4を挙げて説明する。
[0160] 以上のように、実施形態 1の画像処理装置 1によれば、基準条件から、画質補正処 理を施さな!/ヽ無補正条件へ遷移させるための遷移量 (遷移係数)を、画質補正処理 条件 (入力キー補正換算値)に基づいて算出するようにしたことにより、撮影条件がァ ンダ一又は逆光と判別される画像に対する補正量を維持しつつ、順光又はオーバー 気味 (やや明るめ）の撮影画像データに対する補正量の連続性と安定性の向上を図 ることができる。また、基準条件 (及び遷移条件)を、撮像装置 (カメラ)の機種や撮影 者別に設定することにより、画質補正処理の最適化が可能となる。
[実施形態 2] 実施形態 1では、画質補正処理条件に基づいて遷移係数が算出される場合を示し たが、実施形態 2では、撮影条件解析処理の解析値に基づいて遷移係数が算出さ れる場合を示す。実施形態 2における画像処理装置は、実施形態 1において示した 画像処理装置 1と同一の構成ゆえ、その図示を省略し、更に、同一符号を用いるもの とする。
[0161] まず、図 25のフローチャートを参照して、実施形態 2の画像処理装置 1における動 作について説明する。図 25において、ステップ T10〜T12の処理は、それぞれ、図 4のステップ Τ1〜Τ3と同一ゆえ、ここでの説明は省略する。以下、ステップ T13以降 の処理について説明する。
[0162] 基準条件が設定されると、ステップ T10の撮影条件解析処理の解析値に基づいて 、ステップ T12で設定された基準条件から、画質補正処理を全く施さない無補正条 件側へ遷移 (抑制）させる遷移処理に必要な遷移係数が算出され (ステップ Τ13)、 その算出された遷移係数に基づ!、て遷移条件 (画質補正処理条件)が算出される ( ステップ Τ14)。
[0163] 次 、で、ステップ T14で算出された遷移条件に従って、撮影画像データに対して画 質補正処理が施され (ステップ T15)、画質補正処理後の画像データが、指定された 出力先に出力される。ステップ T15では、ステップ T10での解析結果により撮影条件 が低確度領域（2)である場合に、ステップ T14で算出された遷移条件に従った画質 補正処理が行われる。一方、撮影条件がアンダー又は逆光である場合は、遷移条件 が算出されないため、ステップ T15では、遷移処理を伴わない画質補正処理が行わ れる。
[0164] ステップ T13では、撮影条件が低確度領域（2)であると判別された場合に、式（25 )に示すように、指標 6を用いて遷移係数が算出され、基準条件の遷移処理が行わ れる。
[0165] [数 6]
- 0.5 指標 6 + 0.75 ( - 0.5≤指標 6≤ 1.5)
遷移係数 1 (指標 6 < -0.5) ( 2 5 )
0 (指標 6 > 1.5)
[0166] 図 26に、低確度領域 (2)における入力キー補正換算値と出力キー補正換算値との 関係を示す。また、図 27に、低確度領域 (2)における指標 6と遷移係数との関係を示 す。低確度領域 (2)における出力キー補正換算値は、図 26に示すように、式 (26)の ように定義される。
[0167] 出力キー補正換算値 = (入力キー補正換算値 +基準点における出力キー補正換 算値） X遷移係数 （26)
低確度領域 (2)の場合、式 (26)における入力キー補正換算値は、画質補正処理 の条件（階調調整パラメータ）として算出された P10 (オフセット値 3)を 24.78で除算し た値（P10/24.78)である。
[0168] 図 28に、低確度領域（2)における遷移開始点及び遷移終了点を示す。図 28に示 すように、遷移開始点は、アンダー撮影シーンと低確度領域（2)との境界である指標 6=— 0. 5に設定されている。この遷移開始点においては、基準点のままの濃度補 正値が適用されるため、依然高い補正量を保っている。指標 6の値が大きくなるにつ れて、基準点が無補正条件に遷移していく。ストロボ撮影シーンと低確度領域 (2)と の境界である指標 6 = 1. 5に到達した点が遷移終了点であり、完全な無補正状態と なる。即ち、本実施形態 2におけるストロボ (ストロボ近接)撮影シーンの撮影画像デ ータに対する濃度補正量は、完全に無補正となっている。
[0169] 以上のように、実施形態 2の画像処理装置 1によれば、基準条件から、画質補正処 理を施さな!/、無補正条件へ遷移させるための遷移量 (遷移係数)を、撮影条件の解 析値 (指標 6)に基づいて算出するようにしたことにより、撮影条件がアンダー又は逆 光と判別される画像に対する補正量を維持しつつ、順光又はオーバー気味 (やや明 るめ）の撮影画像データに対する補正量の連続性と安定性の向上を図ることができる 実施例
[0170] 次に、画質補正処理（図 4のステップ T6又は図 25のステップ T15)の具体例を、実 施例 1〜4を挙げて説明する。なお、以下の各実施例では、ステップ T5又は T14に おける遷移条件 (画質補正処理条件)の算出工程を、本画質補正処理の一工程とし て記載することにする。
[0171] [実施例 1] 図 29〜図 31を参照して、実施例 1について説明する。実施例 1では、基準条件とし て、所定の濃度補正処理の条件が設定された場合の画質補正処理につ!、て説明す る。
[0172] まず、濃度補正値である出力キー補正換算値が算出され (ステップ S40)、その算 出された出力キー補正換算値に基づいて、撮影画像データに対して画質補正処理 が施される（ステップ S41)。
[0173] く順光の場合〉
図 30に、撮影条件が順光である場合の入力キー補正換算値と出力キー補正換算 値の関係 (実線)を示す。図 30の出力キー補正換算値は、式 (24)のように定義され る。式（24)の出力キー補正換算値をオフセット値に換算した値を P6"とすると、ステツ プ S41の画質補正処理では、パラメータ P1を P5と一致させるオフセット補正（8bit値の 平行シフト）が下記の式（27)に従って行われる。
[0174] 出力画像の RGB値 =入力画像の RGB値 +P6" (27)
従って、撮影条件が順光の場合、図 24 (a)に示す複数の階調変換曲線の中から、 式 (27)に対応する階調変換曲線が選択される。又は、式 (27)に基づいて階調変換 曲線を算出 (決定)してもよい。
[0175] く逆光の場合〉
撮影条件が逆光である場合、式（18)に示すパラメータ P7 (キー補正換算値)を用 V、て、出力キー補正換算値 P71が式 (28)のように定義される。
[0176] P71 = P7 +基準点での出力キー補正換算値 （28)
但し、 P7>遷移終了点の場合、 P71 = 0である。従って、図 24 (b)に示す複数の階 調変換曲線の中から、出力キー補正換算値が式 (28)の P71に対応する階調変換曲 線が選択される。図 24 (b)の階調変換曲線の具体例を図 31に示す。 P71の値と、選 択される階調変換曲線の対応関係を以下に示す。
[0177] -50 < P71 < +50の場合→L3 ;
+ 50≤ P71 < + 150の場合→L4 ;
+ 150≤ P71 < +250の場合→L5 ;
- 150 < P71≤ -50の場合→L2 ; -250 < P71≤ - 150の場合→L1.
なお、撮影条件が逆光の場合、この階調変換処理とともに、覆い焼き処理を併せて 行うことが好ましい。この場合、逆光度を示す指標 5に応じて覆い焼き処理の程度も 調整されることが望ましい。
[0178] 〈アンダーの場合〉
撮影条件がアンダーである場合、式（19)に示すパラメータ P7' (キー補正換算値 2 )を用いて、出力キー補正換算値 P72が式 (29)のように定義される。
[0179] P72 = P7，+基準点での出力キー補正換算値 （29)
但し、 P7' >遷移終了点の場合、 P72 = 0である。従って、図 24 (b)に示す複数の階 調変換曲線の中から、出力キー補正換算値が式 (29)の P72に対応する階調変換曲 線が選択される。 P72の値と、図 31において選択される階調変換曲線の対応関係を 以下に示す。
[0180] -50 < P72< +50の場合→L3 ;
+ 50≤ P72< + 150の場合→L4 ;
+ 150≤ P72< +250の場合→L5 ;
- 150 < P72≤ -50の場合→L2 ;
-250 < P72≤ - 150の場合→L1.
なお、撮影条件がアンダーである場合は、逆光の場合に示したような覆い焼き処理 は行わない。
[0181] 〈ストロボの場合〉
撮影条件がストロボである場合、オフセット補正 (8bit値の平行シフト）が式（30)に 従って行われる。
[0182] 出力画像の RGB値 =入力画像の RGB値 +P9 (30)
従って、撮影条件がストロボの場合、図 24 (a)に示す複数の階調変換曲線の中か ら、式 (30)に対応する階調変換曲線が選択される。又は、式 (30)に基づいて階調 変換曲線を算出 (決定)してもょ 、。
[0183] く低確度領域の場合〉
撮影条件が低確度領域（1)である場合、遷移処理は行われず、オフセット補正 (8bi t値の平行シフト）が式（31)に従って行われる。
[0184] 出力画像の RGB値 =入力画像の RGB値 +P10 (31)
従って、低確度領域（1)の場合、図 24 (c)に示す複数の階調変換曲線の中から、 式 (31)に対応する階調変換曲線が選択される。又は、式 (31)に基づいて階調変換 曲線を算出 (決定)するようにしてもょ 、。
[0185] 撮影条件が低確度領域 (2)である場合、式 (26)の出力キー補正換算値をオフセッ ト値に換算した値を P10"とすると、ステップ S41の画質補正処理は、下記の式（32) に従って行われる。
[0186] 出力画像の RGB値 =入力画像の RGB値 +P10" (32)
従って、低確度領域 (2)の場合、図 24 (c)に示す複数の階調変換曲線の中から、 式 (32)に対応する階調変換曲線が選択される。又は、式 (32)に基づいて階調変換 曲線を算出 (決定)するようにしてもょ 、。
[0187] 以上のように、実施例 1の画質補正処理によれば、基準条件を、所定の濃度補正 処理の条件とすることにより、満足度の高い写真プリントを得ることができる。
[0188] なお、実施例 1及び以下の各実施例では、実際に撮影画像データに対して階調変 換処理を施す場合、上述の各画質補正処理条件を 16bitから 8bitへ変更するものとす る。
[0189] [実施例 2]
図 32〜図 34を参照して、実施例 2について説明する。実施例 2では、基準条件とし て、所定の高明度化処理及び硬調化処理からなる階調変換処理の条件が設定され た場合の画質補正処理につ！ヽて説明する。
[0190] 図 33に、予め定義された高明度化処理と硬調化処理力 なる基準点 (基準条件)と 無補正条件との間を、高明度化と硬調化の作用を一定間隔で変化させて作成したリ ングアラウンドプリントの配置を示す。図 33において、横軸は、無補正条件と基準点 との間を 25%ずつ均等に分割したときの硬さ変化を表し、縦軸は、無補正条件と基 準点の間を 25%ずつ均等に分割したときの明るさ変化を表している。
[0191] 順光、低確度領域 (2)と判別される複数の撮影画像データにつ!、て官能評価を実 施し、入力キー補正換算値 =0における最適な高明度化処理と硬調化処理の組み 合わせが基準条件として決定される。例えば、基準条件となる高明度化処理は、入 力キー補正換算値力 SOのとき 2Dの高明度 (低濃度)化処理を施すこととし、この高 明度化処理に加えて、階調の S字化による最適な硬調化処理を基準条件としてよい 図 34に、硬調化の度合いに応じて予め設定された階調変換曲線を示す。式 (23) 及び図 21における遷移係数と、図 34に示した各階調変換曲線 L 5— A〜L 5— Eとの対応関係を以下に示す。
L- 5 -A :遷移係数≤0. 60 …硬調化 = 0% ;
L- 5 - B : 0. 60<遷移係数≤0. 80 …硬調化 = : 25% ;
L- 5 - C : 0. 80<遷移係数≤0. 90 …硬調化 = : 50% ;
L- 5 - D : 0. 90<遷移係数≤1. 00 …硬調化 = = 75% ;
L- 5 -E : l . 00<遷移係数 …硬調化 =100%.
式（23)及び図 21により、入力キー補正換算値 0のときの遷移係数は約 0. 7ゆえ、 図 34の曲線 L— 5— Bを基準条件として設定することができる。
[0194] 次に、図 32のフローチャートを参照して、実施例 2の画質補正処理について説明 する。
[0195] まず、上記算出された入力キー補正換算値、遷移係数に基づいて高明度化条件 が算出される (ステップ S50)。ステップ S50では、例えば、撮影条件が低確度領域（ 2)の場合、高明度化条件として、図 24 (c)に示す複数の階調変換曲線の中から、式 (32)に対応する階調変換曲線が選択される。
[0196] 次いで、算出された遷移係数に基づいて硬調化条件が算出される (ステップ S51) 。ステップ S51では、例えば、撮影条件が低確度領域（2)の場合、図 34に示した各 階調変換曲線のうち、式 (25)によって算出された遷移係数に対応する階調変換曲 線が選択される。
[0197] 次いで、ステップ S50で算出された高明度化条件及びステップ S51で算出された 硬調化条件に基づいて、撮影画像データに対して画質補正処理が施される (ステツ プ S52)。
[0198] このように、実施例 2の画質補正処理によれば、基準条件を、所定の高明度化処理 及び硬調化処理力 なる階調変換処理の条件とすることにより、満足度の高い写真 プリントを得ることができる。また、基準条件と遷移条件を最適化することで、撮像装 置の機種I やユーザの嗜好の違いに関わらず、画質補正処理の最適化を図ることが できる。
[0199] [実施例 3]
図 35及び図 36を参照して、実施例 3について説明する。実施例 3では、基準条件 として、所定の色マトリクス処理の条件が設定された場合の画質補正処理にっ 、て 説明する。基準条件としての色マトリクス処理は、上述のように、例えば、彩度をやや 低下させる条件として定義される。また、図 35の画質補正処理は、階調変換処理済 み、コントラスト調整済みの、順光又は低確度領域（2)の撮影画像データに対して行 われるものとする。
[0200] まず、算出された遷移係数に基づいて色マトリクス係数が算出される (ステップ S60 ) oステップ S60における色マトリクス係数の算出は、式（33)に示す色マトリクス処理 におけるマトリクスの成分を遷移係数の値に基づいて算出することである。
[0201] [数 7]
Y
( 3 3 )
[0202] ここで、 B，、 G，、 R，は、色マトリクス処理後の RGB値である。
[0203] ステップ S60で算出される色マトリクス係数値は、 0≤遷移係数≤1の場合、式（34) のようになり、式（35)を満たす。
[0204] [数 8]
JW7^— S = 90 + 10 (卜遷移係数)
A£DT _G = 5 - 5 x (卜遷龍数） ( 3 4 )
[0205] [数 9]
α = ΜΓΧ _ B
b = ΜΓΧ—G ( 3 5 )
c ^ MTX R
[0206] 図 36に、遷移係数と色マトリックス係数値の関係を示す。式（34)及び図 36より、 M TX_G = MTX— R = 5 X遷移係数である。また、遷移係数 > 1の場合、 MTX— B
= 90、 MTX— G = MTX— R= 5であり、遷移係数く 0の場合、 MTX— B= 100、
MTX— G = MTX— R = 0である。
[0207] 式（36)に、遷移係数 = 1の色マトリクスを示し、式（37)に、遷移係数 =0の色マトリ タスを示す。
[0208] [数 10]
(遷移係数 = 1 )
f
、
Figure imgf000041_0001
[0209] [数 11]
(遷移係数 = 0 )
'ο b cヽ 100 0 0、
d e f = 0 100 0
.,S h 、 o 0 100ン
[0210] 遷移係数に応じて色マトリクス係数が算出されると、当該算出された色マトリクス係 数に基づいて、撮影画像データに対して画質補正処理が施される (ステップ S61)。
[0211] このように、実施例 3の画質補正処理によれば、基準条件を所定の色マトリクス処理 の条件とすることにより、満足度の高い写真プリントを得ることができる。また、基準条 件と遷移条件 (画質補正処理条件)を最適化することで、撮像装置の機種やユーザ の嗜好の違いに関わらず、画質補正処理の最適化を図ることができる。
[0212] [実施例 4]
図 37のフローチャートを参照して、実施例 4について説明する。実施例 4では、基 準条件として、所定のコントラスト補正処理の条件が設定された場合の画質補正処理 について説明する。
[0213] まず、上記算出された遷移係数と、判別された撮影条件に基づいて算出されるシ ーン判別コントラスト補正値を用いて、式 (38)のように、最終コントラスト補正値が算 出される (ステップ S70)。
[0214] 最終コントラスト補正値 = 100+ { (シーン判別コントラスト補正値— 100) X遷移係 数） (38) 式（38)におけるシーン判別コントラスト補正値の算出方法は、公知のあらゆる手法 を用いることができるが、一般には、ヒストグラム解析を行って階調分布の幅を調べ、 所定の幅へと伸張する方法が用いられる。
[0215] 次 、で、ステップ S70で算出された最終コントラスト補正値に基づ 、て、撮影画像 データに対して画質補正処理が施される (ステップ S71)。上述の実施例 2は、階調 変換曲線の形状を、明るさと硬さという 2つの要素に分解して決定するものであり、 S 字の階調変換曲線となるのに対し、実施例 4の画質補正処理 (コントラスト補正）は、 S字ではなぐ階調調整パラメータ P3 (肌色領域の平均輝度)を支点（固定点）とした、 一次関数による線形変換となる。
[0216] 以上のように、実施例 4の画質補正処理によれば、基準条件を、所定のコントラスト 補正処理の条件とすることにより、満足度の高い写真プリントを得ることができる。
[0217] 〈撮像装置に適用した例〉
上述の実施形態 1、実施形態 2及び実施例 1〜4で示した画質補正処理は、デジタ ルカメラ等の撮像装置にも適用可能である。図 38に、本発明の撮像装置を適用した デジタルカメラ 200の構成を示す。デジタルカメラ 200は、図 38に示すように、 CPU2 01、光学系 202、撮像センサ部 203、 AF演算部 204、 WB演算部 205、 AE演算部 206、レンズ制御部 207、画像処理部 208、表示部 209、記録データ作成部 210、 記録メディア 211、シーンモード設定キー 212、色空間設定キー 213、レリーズボタン 214、その他操作キー 215により構成される。
[0218] CPU201は、デジタルカメラ 200の動作を統括的に制御する。光学系 202は、ズー ムレンズであり、被写体像を撮像センサ部 203にある CCD (Charge— Coupled Devic e)イメージセンサ上に結像させる。撮像センサ部 203は、光学像を CCDイメージセン サによって光電変換し、デジタル信号に変換 (AZD変換)して出力する。撮像セン サ部 203から出力された画像データは、 AF演算部 204、 WB演算部 205、 AE演算 部 206、画像処理部 208に入力される。
[0219] AF演算部 204は、画面内 9ケ所に設けられた AFエリアの距離を算出して出力する 。距離の判定は、画像のコントラスト判定により行われ、 CPU201は、この中の最も近 距離にある値を選択し、被写体距離とする。 WB演算部 205は、画像のホワイトバラン ス評価値を算出して出力する。ホワイトバランス評価値とは、撮影時の光源下で、ニュ ートラルな被写体の RGB出力値を一致させるために必要なゲイン値で、 Gチャネル を基準として R/G、 B/Gの比として算出する。算出された評価値は、画像処理部 208 に入力され、画像のホワイトバランスが調整される。 AE演算部 206は、画像データか ら適正露出値を算出して出力し、 CPU201は、算出された適正露出値と現在の露出 値が一致するような絞り値とシャッター速度値を算出する。絞り値は、レンズ制御部 2 07に出力され、対応する絞り径が設定される。シャッター速度値は、撮像センサ部 2 03に出力され、対応する CCD積分時間が設定される。
[0220] 画像処理部 208は、撮影画像データに対して、ホワイトバランス処理、 CCDフィル ター配列の補間処理、色変換、 1次階調変換、シャープネス補正等の処理を行った 後に、上述の実施形態と同様に、図 4又は図 25に示した撮影条件解析処理、画質 補正処理条件算出、遷移係数算出、遷移条件算出、画質補正処理 (実施例 1〜4の 何れか)を実行し、好ましい画像に変換する。その銜 PEG圧縮等の変換を実行する 。 JPEG圧縮された画像データは、表示部 209と記録データ作成部 210に出力され る。
[0221] 表示部 209は、撮影画像データを液晶ディスプレイに表示するとともに、 CPU201 の指示による各種情報を表示する。記録データ作成部 210は、 JPEG圧縮された画 像データと、 CPU201から入力された各種撮影画像データを Exif (Exchangeable Im age File Format)ファイルにフォーマットし、記録メディア 211に記録する。記録メディ ァ 211の中には、各メーカーが自由な情報を書き込めるスペースとして、メーカーノ ートと呼ばれる部分があり、撮影条件の判別結果や指標 4、指標 5及び指標 6を記録 するようにしてちょい。
[0222] デジタルカメラ 200では、ユーザ設定により撮影シーンモードを切り替えることがで きる。即ち、撮影シーンモードとして、通常モード、ポートレートモード、風景モードシ ーンの 3つが選択可能で、ユーザは、シーンモード設定キー 212を操作して、被写体 が人物である場合はポートレートモード、風景の場合は風景モードに切り替えること によって、被写体に適した 1次階調変換を実施する。また、デジタルカメラ 200は、選 択した撮影シーンモードの情報を画像データファイルのメーカーノート部分に付加し て記録する。また、デジタルカメラ 200は、被写体として選択した AFエリアの位置情 報を同様に画像ファイルに記録する。
[0223] なお、デジタルカメラ 200では、色空間設定キー 213によって、出力色空間のユー ザ設定が可能になっている。出力色空間としては、 sRGB (IEC61966— 2— 1)と Rawの 選択が可能である。 sRGBが選択された場合は、上述の実施形態における画質補正 処理を実行するが、 Rawが選択された場合は、上述の実施形態の画質補正処理は 行わず、 CCD固有の色空間で出力する。
[0224] 以上のように、本発明の撮像装置を適用したデジタルカメラ 200によれば、上述の 画像処理装置 1と同様に、撮影条件がアンダー又は逆光と判別される画像に対する 補正量を維持しつつ、撮影条件が順光 (露出が適正)又はオーバーの撮影画像デ ータに対する補正量の連続性と安定性の向上を図ることができる。このように、デジタ ルカメラ 200の内部で、適切な画質補正処理が行われることにより、デジタルカメラ 2 00とプリンタがパーソナルコンピュータを介さずに直接接続されている場合であって も、好ましい画像を出力することができる。
[0225] なお、上述の各実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で 適宜変更可能である。
[0226] 例えば、撮影画像データから顔画像を検出し、検出された顔画像に基づ 、て撮影 条件を判別し、階調調整条件を決定するようにしてもよい。また、撮影条件の判別に 、 Exif情報を用いるようにしてもよい。 Exif情報を用いると、撮影条件の判別精度を 更に向上させることが可能となる。
[0227] また、上述の実施形態では、基準条件から無補正条件への遷移量が自動的に算 出される場合を示した力 図 39に示すように、画像処理装置 1の CRT8 (又はデジタ ルカメラ 200の表示部 209)に、遷移条件のマニュアル設定画面を表示して、明るさ、 硬さ、色マトリクス等を、画像処理装置 1の操作部 11 (又はデジタルカメラ 200の操作 キー 215)の操作によって指定できるようにしてもよい。

Claims

請求の範囲
[1] 撮影画像データの撮影条件を解析する撮影条件解析工程と、
前記撮影条件解析工程により得られた撮影条件の解析値に基づ!/ヽて、前記撮影 画像データに対する画質補正処理の条件を算出する処理条件算出工程と、 所定の画質補正処理の条件を基準条件とし、前記処理条件算出工程により算出さ れた画質補正処理の条件に基づいて、前記基準条件から、画質補正処理を施さな い無補正条件へ遷移させるための遷移条件を算出する遷移条件算出工程と、 前記遷移条件算出工程により算出された遷移条件に従って、所定の撮影条件の撮 影画像データに対して画質補正処理を施す画質補正処理工程と、
を含むことを特徴とする画像処理方法。
[2] 撮影画像データの撮影条件を解析する撮影条件解析工程と、
前記撮影画像データに対する所定の画質補正処理の条件を基準条件とし、前記 撮影条件解析工程により得られた撮影条件の解析値に基づ ヽて、前記基準条件か ら、画質補正処理を施さない無補正条件へ遷移させるための遷移条件を算出する遷 移条件算出工程と、
前記遷移条件算出工程により算出された遷移条件に従って、所定の撮影条件の撮 影画像データに対して画質補正処理を施す画質補正処理工程と、
を含むことを特徴とする画像処理方法。
[3] 前記基準条件は、所定の高明度化処理及び硬調化処理からなる階調変換処理の 条件であることを特徴とする請求の範囲第 1項又は第 2項に記載の画像処理方法。
[4] 前記基準条件は、所定の色マトリクス処理の条件であることを特徴とする請求の範 囲第 1項又は第 2項に記載の画像処理方法。
[5] 前記基準条件は、所定の濃度補正処理の条件であることを特徴とする請求の範囲 第 1項又は第 2項に記載の画像処理方法。
[6] 前記基準条件は、所定のコントラスト補正処理の条件であることを特徴とする請求 の範囲第 1項又は第 2項に記載の画像処理方法。
[7] 前記撮影条件解析工程は、
撮影画像データを、所定の明度と色相の組み合わせカゝらなる領域に分割し、当該 分割された領域毎に、前記撮影画像データ全体に占める割合を示す第 1の占有率 を算出するとともに、撮影画像データを、当該撮影画像データの画面の外縁からの 距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、 前記撮影画像データ全体に占める割合を示す第 2の占有率を算出し、
前記撮影画像データの階調分布の偏りを示す偏倚量を算出し、
前記算出された第 1の占有率及び第 2の占有率と、前記偏倚量に、撮影条件に応 じて予め設定された係数を乗算することにより、撮影条件を特定するための指標を算 出し、
前記算出された指標と、撮影条件の確度に応じて予め領域分けされた判別マップ に基づ!/ヽて、前記撮影画像データの撮影条件を判別することを特徴とする請求の範 囲第 1項〜第 6項の何れか一項に記載の画像処理方法。
[8] 前記画質補正処理工程は、
前記撮影条件解析工程により得られた撮影条件に応じて、前記撮影画像データに 対する階調調整の方法を決定し、
前記算出された指標に基づいて前記撮影画像データの階調調整量を決定し、 前記決定された階調調整方法を用いて、前記撮影画像データに対し、前記決定さ れた階調調整量の階調変換処理を施すことを特徴とする請求の範囲第 7項に記載 の画像処理方法。
[9] 前記撮影画像データの所定の色相、明度毎に累積画素数を算出することによって 2次元ヒストグラムを作成し、作成された 2次元ヒストグラムに基づいて前記第 1の占有 率が算出されることを特徴とする請求の範囲第 7項又は第 8項に記載の画像処理方 法。
[10] 前記撮影画像データの画面の外縁からの距離と明度毎に累積画素数を算出する ことによって 2次元ヒストグラムを作成し、作成された 2次元ヒストグラムに基づいて前 記第 2の占有率が算出されることを特徴とする請求の範囲第 7項〜第 9項の何れか一 項に記載の画像処理方法。
[11] 前記指標を算出するに際し、所定の高明度の肌色色相領域と、当該高明度の肌色 色相領域以外の色相領域とで、異なる符号の係数が用いられることを特徴とする請 求の範囲第 7項〜第 10項の何れか一項に記載の画像処理方法。
[12] 前記指標を算出するに際し、肌色色相領域の中間明度領域と、当該中間明度領 域以外の明度領域とで異なる符号の係数が用いられることを特徴とする請求の範囲 第 7項〜第 11項の何れか一項に記載の画像処理方法。
[13] 前記高明度の肌色色相領域以外の色相領域の明度領域が、所定の高明度領域 であることを特徴とする請求の範囲第 11項に記載の画像処理方法。
[14] 前記中間明度領域以外の明度領域が、肌色色相領域内の明度領域であることを 特徴とする請求の範囲第 12項に記載の画像処理方法。
[15] 前記高明度の肌色色相領域には、 HSV表色系の明度値で 170〜224の範囲の 領域が含まれることを特徴とする請求の範囲第 11項又は第 13項に記載の画像処理 方法。
[16] 前記中間明度領域には、 HSV表色系の明度値で 85〜169の範囲の領域が含ま れることを特徴とする請求の範囲第 12項又は第 14項に記載の画像処理方法。
[17] 前記高明度の肌色色相領域以外の色相領域には、青色色相領域、緑色色相領域 の少なくとも一方が含まれることを特徴とする請求の範囲第 11項，第 13項，第 15項 の何れか一項に記載の画像処理方法。
[18] 前記中間明度領域以外の明度領域がシャドー領域であることを特徴とする請求の 範囲第 12項，第 14項，第 16項の何れか一項に記載の画像処理方法。
[19] 前記青色色相領域の色相値は、 HSV表色系の色相値で 161〜250の範囲内にあ り、前記緑色色相領域の色相値は、 HSV表色系の色相値で 40〜160の範囲内に あることを特徴とする請求の範囲第 17項に記載の画像処理方法。
[20] 前記シャドー領域の明度値は、 HSV表色系の明度値で 26〜84の範囲内にあるこ とを特徴とする請求の範囲第 18項に記載の画像処理方法。
[21] 前記肌色色相領域の色相値は、 HSV表色系の色相値で 0〜39及び 330〜359 の範囲内にあることを特徴とする請求の範囲第 11項〜第 20項の何れか一項に記載 の画像処理方法。
[22] 前記肌色色相領域が、明度及び彩度に基づく所定の条件式により 2つの領域に分 割されることを特徴とする請求の範囲第 11項〜第 21項の何れか一項に記載の画像 処理方法。
[23] 前記偏倚量には、撮影画像データの明るさの偏差量、当該撮影画像データの画面 中央部における明るさの平均値、異なる条件で算出された明るさの差分値のうちの 少なくとも一つが含まれることを特徴とする請求の範囲第 7項〜第 22項の何れか一 項に記載の画像処理方法。
[24] 前記撮影条件は、撮影時の光源条件及び露出条件のうち少なくとも 1つの条件を 示し、
前記光源条件にはストロボ撮影状態が含まれ、前記露出条件には、撮影時のシャ ッタースピード、絞り値に由来するアンダー撮影状態が含まれることを特徴とする請求 の範囲第 1項〜第 23項の何れか一項に記載の画像処理方法。
[25] 撮影画像データの撮影条件を解析する撮影条件解析手段と、
前記撮影条件解析手段により得られた撮影条件の解析値に基づ ヽて、前記撮影 画像データに対する画質補正処理の条件を算出する処理条件算出手段と、 所定の画質補正処理の条件を基準条件とし、前記処理条件算出手段により算出さ れた画質補正処理の条件に基づいて、前記基準条件から、画質補正処理を施さな い無補正条件へ遷移させるための遷移条件を算出する遷移条件算出手段と、 前記遷移条件算出手段により算出された遷移条件に従って、所定の撮影条件の撮 影画像データに対して画質補正処理を施す画質補正処理手段と、
を備えることを特徴とする画像処理装置。
[26] 撮影画像データの撮影条件を解析する撮影条件解析手段と、
前記撮影画像データに対する所定の画質補正処理の条件を基準条件とし、前記 撮影条件解析手段により得られた撮影条件の解析値に基づ ヽて、前記基準条件か ら、画質補正処理を施さない無補正条件へ遷移させるための遷移条件を算出する遷 移条件算出手段と、
前記遷移条件算出手段により算出された遷移条件に従って、所定の撮影条件の撮 影画像データに対して画質補正処理を施す画質補正処理手段と、
を備えることを特徴とする画像処理装置。
[27] 前記基準条件は、所定の高明度化処理及び硬調化処理からなる階調変換処理の 条件であることを特徴とする請求の範囲第 25項又は第 26項に記載の画像処理装置
[28] 前記基準条件は、所定の色マトリクス処理の条件であることを特徴とする請求の範 囲第 25項又は第 26項に記載の画像処理装置。
[29] 前記基準条件は、所定の濃度補正処理の条件であることを特徴とする請求の範囲 第 25項又は第 26項に記載の画像処理装置。
[30] 前記基準条件は、所定のコントラスト補正処理の条件であることを特徴とする請求 の範囲第 25項又は第 26項に記載の画像処理装置。
[31] 前記撮影条件解析手段は、
撮影画像データを、所定の明度と色相の組み合わせカゝらなる領域に分割し、当該 分割された領域毎に、前記撮影画像データ全体に占める割合を示す第 1の占有率 を算出するとともに、撮影画像データを、当該撮影画像データの画面の外縁からの 距離と明度の組み合わせ力 なる所定の領域に分割し、当該分割された領域毎に、 前記撮影画像データ全体に占める割合を示す第 2の占有率を算出し、
前記撮影画像データの階調分布の偏りを示す偏倚量を算出し、
前記算出された第 1の占有率及び第 2の占有率と、前記偏倚量に、撮影条件に応 じて予め設定された係数を乗算することにより、撮影条件を特定するための指標を算 出し、
前記算出された指標と、撮影条件の確度に応じて予め領域分けされた判別マップ に基づ!/ヽて、前記撮影画像データの撮影条件を判別することを特徴とする請求の範 囲第 25項〜第 30項の何れか一項に記載の画像処理装置。
[32] 前記画質補正処理手段は、
前記撮影条件解析手段により得られた撮影条件に応じて、前記撮影画像データに 対する階調調整の方法を決定し、
前記算出された指標に基づいて前記撮影画像データの階調調整量を決定し、 前記決定された階調調整方法を用いて、前記撮影画像データに対し、前記決定さ れた階調調整量の階調変換処理を施すことを特徴とする請求の範囲第 31項に記載 の画像処理装置。
[33] 前記撮影画像データの所定の色相、明度毎に累積画素数を算出することによって 2次元ヒストグラムを作成し、作成された 2次元ヒストグラムに基づいて前記第 1の占有 率を算出することを特徴とする請求の範囲第 31項又は第 32項に記載の画像処理装 置。
[34] 前記撮影画像データの画面の外縁からの距離と明度毎に累積画素数を算出する ことによって 2次元ヒストグラムを作成し、作成された 2次元ヒストグラムに基づいて前 記第 2の占有率を算出することを特徴とする請求の範囲第 31項〜第 33項の何れか 一項に記載の画像処理装置。
[35] 前記指標を算出するに際し、所定の高明度の肌色色相領域と、当該高明度の肌色 色相領域以外の色相領域とで、異なる符号の係数を用いることを特徴とする請求の 範囲第 31項〜第 34項の何れか一項に記載の画像処理装置。
[36] 前記指標を算出するに際し、肌色色相領域の中間明度領域と、当該中間明度領 域以外の明度領域とで異なる符号の係数を用いることを特徴とする請求の範囲第 31 項〜第 35項の何れか一項に記載の画像処理装置。
[37] 前記高明度の肌色色相領域以外の色相領域の明度領域が、所定の高明度領域 であることを特徴とする請求の範囲第 35項に記載の画像処理装置。
[38] 前記中間明度領域以外の明度領域が、肌色色相領域内の明度領域であることを 特徴とする請求の範囲第 36項に記載の画像処理装置。
[39] 前記高明度の肌色色相領域には、 HSV表色系の明度値で 170〜224の範囲の 領域が含まれることを特徴とする請求の範囲第 35項又は第 37項に記載の画像処理 装置。
[40] 前記中間明度領域には、 HSV表色系の明度値で 85〜169の範囲の領域が含ま れることを特徴とする請求の範囲第 36項又は第 38項に記載の画像処理装置。
[41] 前記高明度の肌色色相領域以外の色相領域には、青色色相領域、緑色色相領域 の少なくとも一方が含まれることを特徴とする請求の範囲第 35項，第 37項，第 39項 の何れか一項に記載の画像処理装置。
[42] 前記中間明度領域以外の明度領域がシャドー領域であることを特徴とする請求の 範囲第 36項，第 38項，第 40項の何れか一項に記載の画像処理装置。
[43] 前記青色色相領域の色相値は、 HSV表色系の色相値で 161〜250の範囲内にあ り、前記緑色色相領域の色相値は、 HSV表色系の色相値で 40〜160の範囲内に あることを特徴とする請求の範囲第 41項に記載の画像処理装置。
[44] 前記シャドー領域の明度値は、 HSV表色系の明度値で 26〜84の範囲内にあるこ とを特徴とする請求の範囲第 42項に記載の画像処理装置。
[45] 前記肌色色相領域の色相値は、 HSV表色系の色相値で 0〜39及び 330〜359 の範囲内にあることを特徴とする請求の範囲第 35項〜第 44項の何れか一項に記載 の画像処理装置。
[46] 前記肌色色相領域が、明度及び彩度に基づく所定の条件式により 2つの領域に分 割されることを特徴とする請求の範囲第 35項〜第 45項の何れか一項に記載の画像 処理装置。
[47] 前記偏倚量には、撮影画像データの明るさの偏差量、当該撮影画像データの画面 中央部における明るさの平均値、異なる条件で算出された明るさの差分値のうちの 少なくとも一つが含まれることを特徴とする請求の範囲第 31項〜第 46項の何れか一 項に記載の画像処理装置。
[48] 前記撮影条件は、撮影時の光源条件及び露出条件のうち少なくとも 1つの条件を 示し、
前記光源条件にはストロボ撮影状態が含まれ、前記露出条件には、撮影時のシャ ッタースピード、絞り値に由来するアンダー撮影状態が含まれることを特徴とする請求 の範囲第 25項〜第 47項の何れか一項に記載の画像処理装置。
[49] 被写体を撮影して撮影画像データを取得する撮像手段と、
前記撮影画像データの撮影条件を解析する撮影条件解析手段と、
前記撮影条件解析手段により得られた撮影条件の解析値に基づ ヽて、前記撮影 画像データに対する画質補正処理の条件を算出する処理条件算出手段と、 所定の画質補正処理の条件を基準条件とし、前記処理条件算出手段により算出さ れた画質補正処理の条件に基づいて、前記基準条件から、画質補正処理を施さな い無補正条件へ遷移させるための遷移条件を算出する遷移条件算出手段と、 前記遷移条件算出手段により算出された遷移条件に従って、所定の撮影条件の撮 影画像データに対して画質補正処理を施す画質補正処理手段と、
を備えることを特徴とする撮像装置。
[50] 被写体を撮影して撮影画像データを取得する撮像手段と、
前記撮影画像データの撮影条件を解析する撮影条件解析手段と、
前記撮影画像データに対する所定の画質補正処理の条件を基準条件とし、前記 撮影条件解析手段により得られた撮影条件の解析値に基づ ヽて、前記基準条件か ら、画質補正処理を施さない無補正条件へ遷移させるための遷移条件を算出する遷 移条件算出手段と、
前記遷移条件算出手段により算出された遷移条件に従って、所定の撮影条件の撮 影画像データに対して画質補正処理を施す画質補正処理手段と、
を備えることを特徴とする撮像装置。
[51] 前記基準条件は、所定の高明度化処理及び硬調化処理からなる階調変換処理の 条件であることを特徴とする請求の範囲第 49項又は第 50項に記載の撮像装置。
[52] 前記基準条件は、所定の色マトリクス処理の条件であることを特徴とする請求の範 囲第 49項又は第 50項に記載の撮像装置。
[53] 前記基準条件は、所定の濃度補正処理の条件であることを特徴とする請求の範囲 第 49項又は第 50項に記載の撮像装置。
[54] 前記基準条件は、所定のコントラスト補正処理の条件であることを特徴とする請求 の範囲第 49項又は第 50項に記載の撮像装置。
[55] 前記撮影条件解析手段は、
撮影画像データを、所定の明度と色相の組み合わせカゝらなる領域に分割し、当該 分割された領域毎に、前記撮影画像データ全体に占める割合を示す第 1の占有率 を算出するとともに、撮影画像データを、当該撮影画像データの画面の外縁からの 距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、 前記撮影画像データ全体に占める割合を示す第 2の占有率を算出し、
前記撮影画像データの階調分布の偏りを示す偏倚量を算出し、
前記算出された第 1の占有率及び第 2の占有率と、前記偏倚量に、撮影条件に応 じて予め設定された係数を乗算することにより、撮影条件を特定するための指標を算 出し、
前記算出された指標と、撮影条件の確度に応じて予め領域分けされた判別マップ に基づ!/ヽて、前記撮影画像データの撮影条件を判別することを特徴とする請求の範 囲第 49項〜第 54項の何れか一項に記載の撮像装置。
[56] 前記画質補正処理手段は、
前記撮影条件解析手段により得られた撮影条件に応じて、前記撮影画像データに 対する階調調整の方法を決定し、
前記算出された指標に基づいて前記撮影画像データの階調調整量を決定し、 前記決定された階調調整方法を用いて、前記撮影画像データに対し、前記決定さ れた階調調整量の階調変換処理を施すことを特徴とする請求の範囲第 55項に記載 の撮像装置。
[57] 前記撮影画像データの所定の色相、明度毎に累積画素数を算出することによって
2次元ヒストグラムを作成し、作成された 2次元ヒストグラムに基づいて前記第 1の占有 率を算出することを特徴とする請求の範囲第 55項又は第 56項に記載の撮像装置。
[58] 前記撮影画像データの画面の外縁からの距離と明度毎に累積画素数を算出する ことによって 2次元ヒストグラムを作成し、作成された 2次元ヒストグラムに基づいて前 記第 2の占有率を算出することを特徴とする請求の範囲第 55項〜第 57項の何れか 一項に記載の撮像装置。
[59] 前記指標を算出するに際し、所定の高明度の肌色色相領域と、当該高明度の肌色 色相領域以外の色相領域とで、異なる符号の係数を用いることを特徴とする請求の 範囲第 55項〜第 58項の何れか一項に記載の撮像装置。
[60] 前記指標を算出するに際し、肌色色相領域の中間明度領域と、当該中間明度領 域以外の明度領域とで異なる符号の係数を用いることを特徴とする請求の範囲第 55 項〜第 59項の何れか一項に記載の撮像装置。
[61] 前記高明度の肌色色相領域以外の色相領域の明度領域が、所定の高明度領域 であることを特徴とする請求の範囲第 59項に記載の撮像装置。
[62] 前記中間明度領域以外の明度領域が、肌色色相領域内の明度領域であることを 特徴とする請求の範囲第 60項に記載の撮像装置。
[63] 前記高明度の肌色色相領域には、 HSV表色系の明度値で 170〜224の範囲の 領域が含まれることを特徴とする請求の範囲第 59項又は第 61項に記載の撮像装置
[64] 前記中間明度領域には、 HSV表色系の明度値で 85〜169の範囲の領域が含ま れることを特徴とする請求の範囲第 60項又は第 62項に記載の撮像装置。
[65] 前記高明度の肌色色相領域以外の色相領域には、青色色相領域、緑色色相領域 の少なくとも一方が含まれることを特徴とする請求の範囲第 59項，第 61項，第 63項 の何れか一項に記載の撮像装置。
[66] 前記中間明度領域以外の明度領域がシャドー領域であることを特徴とする請求の 範囲第 60項，第 62項，第 64項の何れか一項に記載の撮像装置。
[67] 前記青色色相領域の色相値は、 HSV表色系の色相値で 161〜250の範囲内にあ り、前記緑色色相領域の色相値は、 HSV表色系の色相値で 40〜160の範囲内に あることを特徴とする請求の範囲第 65項に記載の撮像装置。
[68] 前記シャドー領域の明度値は、 HSV表色系の明度値で 26〜84の範囲内にあるこ とを特徴とする請求の範囲第 66項に記載の撮像装置。
[69] 前記肌色色相領域の色相値は、 HSV表色系の色相値で 0〜39及び 330〜359 の範囲内にあることを特徴とする請求の範囲第 59項〜第 68項の何れか一項に記載 の撮像装置。
[70] 前記肌色色相領域が、明度及び彩度に基づく所定の条件式により 2つの領域に分 割されることを特徴とする請求の範囲第 59項〜第 69項の何れか一項に記載の撮像 装置。
[71] 前記偏倚量には、撮影画像データの明るさの偏差量、当該撮影画像データの画面 中央部における明るさの平均値、異なる条件で算出された明るさの差分値のうちの 少なくとも一つが含まれることを特徴とする請求の範囲第 55項〜第 70項の何れか一 項に記載の撮像装置。
[72] 前記撮影条件は、撮影時の光源条件及び露出条件のうち少なくとも 1つの条件を 示し、
前記光源条件にはストロボ撮影状態が含まれ、前記露出条件には、撮影時のシャ ッタースピード、絞り値に由来するアンダー撮影状態が含まれることを特徴とする請求 の範囲第 49項〜第 71項の何れか一項に記載の撮像装置。
[73] 画像処理を実行するためのコンピュータに、
撮影画像データの撮影条件を解析する撮影条件解析機能と、
前記撮影条件解析機能により得られた撮影条件の解析値に基づ!ヽて、前記撮影 画像データに対する画質補正処理の条件を算出する処理条件算出機能と、 所定の画質補正処理の条件を基準条件とし、前記処理条件算出機能により算出さ れた画質補正処理の条件に基づいて、前記基準条件から、画質補正処理を施さな い無補正条件へ遷移させるための遷移条件を算出する遷移条件算出機能と、 前記遷移条件算出機能により算出された遷移条件に従って、所定の撮影条件の撮 影画像データに対して画質補正処理を施す画質補正処理機能と、
を実現させるための画像処理プログラム。
[74] 画像処理を実行するためのコンピュータに、
撮影画像データの撮影条件を解析する撮影条件解析機能と、
前記撮影画像データに対する所定の画質補正処理の条件を基準条件とし、前記 撮影条件解析機能により得られた撮影条件の解析値に基づ ヽて、前記基準条件か ら、画質補正処理を施さない無補正条件へ遷移させるための遷移条件を算出する遷 移条件算出機能と、
前記遷移条件算出機能により算出された遷移条件に従って、所定の撮影条件の撮 影画像データに対して画質補正処理を施す画質補正処理機能と、
を実現させるための画像処理プログラム。
[75] 前記基準条件は、所定の高明度化処理及び硬調化処理からなる階調変換処理の 条件であることを特徴とする請求の範囲第 73項又は第 74項に記載の画像処理プロ グラム。
[76] 前記基準条件は、所定の色マトリクス処理の条件であることを特徴とする請求の範 囲第 73項又は第 74項に記載の画像処理プログラム。
[77] 前記基準条件は、所定の濃度補正処理の条件であることを特徴とする請求の範囲 第 73項又は第 74項に記載の画像処理プログラム。
[78] 前記基準条件は、所定のコントラスト補正処理の条件であることを特徴とする請求 の範囲第 73項又は第 74項に記載の画像処理プログラム。
[79] 前記撮影条件解析機能を実現させる際に、
撮影画像データを、所定の明度と色相の組み合わせカゝらなる領域に分割し、当該 分割された領域毎に、前記撮影画像データ全体に占める割合を示す第 1の占有率 を算出するとともに、撮影画像データを、当該撮影画像データの画面の外縁からの 距離と明度の組み合わせ力 なる所定の領域に分割し、当該分割された領域毎に、 前記撮影画像データ全体に占める割合を示す第 2の占有率を算出し、
前記撮影画像データの階調分布の偏りを示す偏倚量を算出し、
前記算出された第 1の占有率及び第 2の占有率と、前記偏倚量に、撮影条件に応 じて予め設定された係数を乗算することにより、撮影条件を特定するための指標を算 出し、
前記算出された指標と、撮影条件の確度に応じて予め領域分けされた判別マップ に基づ!/ヽて、前記撮影画像データの撮影条件を判別することを特徴とする請求の範 囲第 73項〜第 78項の何れか一項に記載の画像処理プログラム。
[80] 前記画質補正処理機能を実現させる際に、
前記撮影条件解析機能により得られた撮影条件に応じて、前記撮影画像データに 対する階調調整の方法を決定し、
前記算出された指標に基づいて前記撮影画像データの階調調整量を決定し、 前記決定された階調調整方法を用いて、前記撮影画像データに対し、前記決定さ れた階調調整量の階調変換処理を施すことを特徴とする請求の範囲第 79項に記載 の画像処理プログラム。
[81] 前記撮影画像データの所定の色相、明度毎に累積画素数を算出することによって 2次元ヒストグラムを作成し、作成された 2次元ヒストグラムに基づいて前記第 1の占有 率を算出することを特徴とする請求の範囲第 79項又は第 80項に記載の画像処理プ ログラム。
[82] 前記撮影画像データの画面の外縁からの距離と明度毎に累積画素数を算出する ことによって 2次元ヒストグラムを作成し、作成された 2次元ヒストグラムに基づいて前 記第 2の占有率を算出することを特徴とする請求の範囲第 79項〜第 81項の何れか 一項に記載の画像処理プログラム。
[83] 前記指標を算出するに際し、所定の高明度の肌色色相領域と、当該高明度の肌色 色相領域以外の色相領域とで、異なる符号の係数を用いることを特徴とする請求の 範囲第 79項〜第 82項の何れか一項に記載の画像処理プログラム。
[84] 前記指標を算出するに際し、肌色色相領域の中間明度領域と、当該中間明度領 域以外の明度領域とで異なる符号の係数を用いることを特徴とする請求の範囲第 79 項〜第 83項の何れか一項に記載の画像処理プログラム。
[85] 前記高明度の肌色色相領域以外の色相領域の明度領域が、所定の高明度領域 であることを特徴とする請求の範囲第 83項に記載の画像処理プログラム。
[86] 前記中間明度領域以外の明度領域が、肌色色相領域内の明度領域であることを 特徴とする請求の範囲第 84項に記載の画像処理プログラム。
[87] 前記高明度の肌色色相領域には、 HSV表色系の明度値で 170〜224の範囲の 領域が含まれることを特徴とする請求の範囲第 83項又は第 85項に記載の画像処理 プログラム。
[88] 前記中間明度領域には、 HSV表色系の明度値で 85〜169の範囲の領域が含ま れることを特徴とする請求の範囲第 84項又は第 86項に記載の画像処理プログラム。
[89] 前記高明度の肌色色相領域以外の色相領域には、青色色相領域、緑色色相領域 の少なくとも一方が含まれることを特徴とする請求の範囲第 83項，第 85項，第 87項 の何れか一項に記載の画像処理プログラム。
[90] 前記中間明度領域以外の明度領域がシャドー領域であることを特徴とする請求の 範囲第 84項，第 86項，第 88項の何れか一項に記載の画像処理プログラム。
[91] 前記青色色相領域の色相値は、 HSV表色系の色相値で 161〜250の範囲内にあ り、前記緑色色相領域の色相値は、 HSV表色系の色相値で 40〜160の範囲内に あることを特徴とする請求の範囲第 89項に記載の画像処理プログラム。
[92] 前記シャドー領域の明度値は、 HSV表色系の明度値で 26〜84の範囲内にあるこ とを特徴とする請求の範囲第 90項に記載の画像処理プログラム。
[93] 前記肌色色相領域の色相値は、 HSV表色系の色相値で 0〜39及び 330〜359 の範囲内にあることを特徴とする請求の範囲第 83項〜第 92項の何れか一項に記載 の画像処理プログラム。
[94] 前記肌色色相領域が、明度及び彩度に基づく所定の条件式により 2つの領域に分 割されることを特徴とする請求の範囲第 83項〜第 93項の何れか一項に記載の画像 処理プログラム。
[95] 前記偏倚量には、撮影画像データの明るさの偏差量、当該撮影画像データの画面 中央部における明るさの平均値、異なる条件で算出された明るさの差分値のうちの 少なくとも一つが含まれることを特徴とする請求の範囲第 79項〜第 94項の何れか一 項に記載の画像処理プログラム。
[96] 前記撮影条件は、撮影時の光源条件及び露出条件のうち少なくとも 1つの条件を 示し、
前記光源条件にはストロボ撮影状態が含まれ、前記露出条件には、撮影時のシャ ッタースピード、絞り値に由来するアンダー撮影状態が含まれることを特徴とする請求 の範囲第 73項〜第 95項の何れか一項に記載の画像処理プログラム。
PCT/JP2006/310003 2005-06-07 2006-05-19 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム WO2006132067A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-166619 2005-06-07
JP2005166619A JP2006345037A (ja) 2005-06-07 2005-06-07 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2006132067A1 true WO2006132067A1 (ja) 2006-12-14

Family

ID=37498272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/310003 WO2006132067A1 (ja) 2005-06-07 2006-05-19 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム

Country Status (2)

Country Link
JP (1) JP2006345037A (ja)
WO (1) WO2006132067A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112345548A (zh) * 2020-11-18 2021-02-09 上海神力科技有限公司 一种燃料电池石墨板表面成型光洁程度检测方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5414846B2 (ja) * 2012-06-28 2014-02-12 キヤノン株式会社 画像表示システム、画像表示装置及びその制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369075A (ja) * 2001-06-04 2002-12-20 Olympus Optical Co Ltd 撮像装置および画像処理装置並びに撮像プログラムおよび画像処理プログラム
JP2003244622A (ja) * 2002-02-19 2003-08-29 Konica Corp 画像形成方法、画像処理装置、プリント作成装置及び記憶媒体
JP2004088345A (ja) * 2002-08-26 2004-03-18 Konica Minolta Holdings Inc 画像形成方法、画像処理装置、プリント作成装置及び記憶媒体
JP2004282570A (ja) * 2003-03-18 2004-10-07 Fuji Xerox Co Ltd 画像処理装置
JP2005062993A (ja) * 2003-08-08 2005-03-10 Seiko Epson Corp 画像データの出力画像調整

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369075A (ja) * 2001-06-04 2002-12-20 Olympus Optical Co Ltd 撮像装置および画像処理装置並びに撮像プログラムおよび画像処理プログラム
JP2003244622A (ja) * 2002-02-19 2003-08-29 Konica Corp 画像形成方法、画像処理装置、プリント作成装置及び記憶媒体
JP2004088345A (ja) * 2002-08-26 2004-03-18 Konica Minolta Holdings Inc 画像形成方法、画像処理装置、プリント作成装置及び記憶媒体
JP2004282570A (ja) * 2003-03-18 2004-10-07 Fuji Xerox Co Ltd 画像処理装置
JP2005062993A (ja) * 2003-08-08 2005-03-10 Seiko Epson Corp 画像データの出力画像調整

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112345548A (zh) * 2020-11-18 2021-02-09 上海神力科技有限公司 一种燃料电池石墨板表面成型光洁程度检测方法及装置

Also Published As

Publication number Publication date
JP2006345037A (ja) 2006-12-21

Similar Documents

Publication Publication Date Title
US7076119B2 (en) Method, apparatus, and program for image processing
JP4281311B2 (ja) 被写体情報を用いた画像処理
WO2006123492A1 (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
JP4978378B2 (ja) 画像処理装置
WO2006120839A1 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2004173010A (ja) 撮像装置、画像処理装置、画像記録装置、画像処理方法、プログラム及び記録媒体
JP2005190435A (ja) 画像処理方法、画像処理装置及び画像記録装置
JP2003244467A (ja) 画像処理方法、画像処理装置、及び画像記録装置
JP2007184888A (ja) 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム
JP2005192162A (ja) 画像処理方法、画像処理装置及び画像記録装置
US20050259282A1 (en) Image processing method, image processing apparatus, image recording apparatus, and image processing program
JP2007311895A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
WO2006132067A1 (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
US6801296B2 (en) Image processing method, image processing apparatus and image recording apparatus
WO2006033235A1 (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
JP2004096508A (ja) 画像処理方法、画像処理装置、画像記録装置、プログラム及び記録媒体
WO2006033236A1 (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
WO2006033234A1 (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
JP2006318255A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
WO2006077702A1 (ja) 撮像装置、画像処理装置及び画像処理方法
JP4449619B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2005332054A (ja) 画像処理方法、画像処理装置、画像記録装置及び画像処理プログラム
JP2006345272A (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
JP2011045141A (ja) 画像ファイルの出力画像調整
JP2008146657A (ja) 画像処理方法および画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06756359

Country of ref document: EP

Kind code of ref document: A1