[go: up one dir, main page]

WO2017006780A1 - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2017006780A1
WO2017006780A1 PCT/JP2016/068754 JP2016068754W WO2017006780A1 WO 2017006780 A1 WO2017006780 A1 WO 2017006780A1 JP 2016068754 W JP2016068754 W JP 2016068754W WO 2017006780 A1 WO2017006780 A1 WO 2017006780A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
unit
information
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/068754
Other languages
English (en)
French (fr)
Inventor
宏昌 長沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US15/571,592 priority Critical patent/US10218949B2/en
Priority to JP2017527174A priority patent/JP6798491B2/ja
Priority to CN201680039021.1A priority patent/CN107852484B/zh
Publication of WO2017006780A1 publication Critical patent/WO2017006780A1/ja
Anticipated expiration legal-status Critical
Priority to US16/240,315 priority patent/US10602106B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present technology relates to an information processing apparatus, method, and program, and more particularly, to an information processing apparatus, method, and program that can suppress a reduction in color correction accuracy.
  • This technology has been proposed in view of such a situation, and aims to suppress a reduction in color correction accuracy.
  • the information processing apparatus uses information regarding color correction for each pixel of the projection unit using a captured image captured by the image capturing unit in which the projection image projected on the projection plane by the calibrated projection unit is calibrated.
  • the information processing apparatus includes a color correction information setting unit that sets certain color correction information.
  • the color correction information setting unit is configured to display environmental information, which is information indicating an influence on a color caused by the projection image being projected on the projection plane, based on the projection image and the captured image.
  • the color correction information can be set every time using the environment information for each pixel of the projection unit.
  • the color correction information setting unit further obtains an illumination component of the projection surface for each pixel of the projection unit based on a captured image obtained by capturing the projection surface in a state where the projection image is not projected, A gain amount of the color correction information is obtained from the projection image for each pixel of the projection unit, and the color correction information is set using the illumination component, the gain amount, and the environment information for each pixel of the projection unit. Can do.
  • the color correction information setting unit further includes an adjustment unit that adjusts a projection level of the projection unit for projecting the projection image for each pixel of the projection unit based on a pixel value of each pixel of the captured image.
  • the color correction information can be set using the projection image projected by the projection unit in which the projection level of each pixel is adjusted by the adjustment unit.
  • the adjustment unit can adjust the projection level for each pixel of the projection unit such that the pixel value of each pixel of the captured image converges to the target value of each pixel.
  • the adjustment unit can further adjust the projection level for each pixel of the projection unit so that the pixel value converges to a target value of the entire projection image.
  • An initial value for setting the initial value of the projection level for each pixel of the projection unit based on the pixel value of each pixel of the captured image and the correspondence between each pixel of the projection unit and each pixel of the imaging unit A value setting unit may be further included, and the adjustment unit may adjust an initial value of the projection level for each pixel of the projection unit set by the initial value setting unit.
  • the image processing apparatus further includes a correspondence setting unit that obtains a correspondence between each pixel of the projection unit and each pixel of the imaging unit based on the projection image and the captured image, and the initial value setting unit includes: Based on the pixel value of each pixel and the correspondence set by the correspondence setting unit, an initial value of the projection level for each pixel of the projection unit can be set.
  • the initial value setting unit can further set an initial value of the projection level for each pixel of the projection unit based on depth information and normal information of the projection plane.
  • a depth normal information setting unit that sets the depth information and the normal information is further provided, and the initial value setting unit is based on the depth information and the normal information set by the depth normal information setting unit.
  • the initial value of the projection level for each pixel of the projection unit can be set.
  • the initial value setting unit can further set an initial value of the projection level for each pixel of the projection unit based on information on the reflectance according to the incident angle of the projection image on the projection plane.
  • the apparatus further includes a reflectance information setting unit configured to set information regarding the reflectance, and the initial value setting unit is configured to provide information for each pixel of the projection unit based on the information regarding the reflectance set by the reflectance information setting unit. An initial value of the projection level can be set.
  • the color correction information setting unit can set the color correction information for each of a plurality of projection imaging devices having the projection unit and the imaging unit.
  • the adjustment unit sets, as a target value, a minimum value of a luminance value when viewed from an observer of projection images projected on the projection plane by the projection units of all the projection imaging devices, and the target value
  • the projection level can be adjusted for each pixel of the projection unit so as to converge.
  • the color correction information setting unit when an angle difference between each of the projection imaging devices and the projection plane is larger than a predetermined threshold, according to an angle between the projection imaging device and the projection plane, Color correction information can be corrected.
  • the image processing apparatus further includes an acquisition unit that acquires information about the projection image and information about the captured image from a projection imaging device that includes the projection unit and the imaging unit, and the color correction information setting unit is acquired by the acquisition unit
  • the color correction information can be set based on information related to the projected image and information related to the captured image.
  • the projection unit and the imaging unit can be further provided.
  • the information processing apparatus further includes an acquisition unit that acquires information about the projected image and information about the captured image from another information processing apparatus having the projection unit and the imaging unit, and the color correction information setting unit is Information related to a projected image projected by the projection unit, information related to a captured image captured by the imaging unit of the information processing apparatus itself, and projection by the projection unit of the other information processing apparatus acquired by the acquisition unit
  • the color correction information can be set based on information on the projected image and information on the captured image captured by the imaging unit of the other information processing apparatus acquired by the acquisition unit.
  • the information processing method is information regarding color correction for each pixel of the projection unit, using a captured image captured by the image capturing unit in which the projection image projected on the projection plane by the calibrated projection unit is calibrated. This is an information processing method for setting certain color correction information.
  • the program of the present technology uses a captured image captured by an image capturing unit in which a projection image projected on a projection plane by a calibrated projecting unit is used for information regarding color correction for each pixel of the projecting unit.
  • This is a program for functioning as a color correction information setting unit for setting color correction information.
  • a captured image captured by an image capturing unit in which a projection image projected on the projection plane by the calibrated projecting unit is calibrated is used.
  • Color correction information which is information relating to color correction for each pixel is set.
  • This technology can process information. According to the present technology, it is possible to suppress a reduction in color correction accuracy.
  • First embodiment projection imaging apparatus
  • Second embodiment projection imaging system
  • Third embodiment application example
  • FIG. 1 shows a main configuration example of a projection imaging apparatus that is an embodiment of an information processing apparatus to which the present technology is applied.
  • the projection imaging apparatus 101 shown in FIG. 1 has a projection unit 111, and projects an image onto the projection plane 102 by the projection unit 111.
  • the projection unit 111 performs processing related to image projection.
  • the projection unit 111 emits projection light and projects an image of the supplied image data onto the outside of the projection imaging apparatus 101 (for example, the projection plane 102). That is, the projection unit 111 realizes a projection function.
  • the light source of the projection unit 111 is arbitrary, and may be an LED (Light Emitting Diode), xenon, or the like.
  • the projection unit 111 may emit laser light as projection light.
  • the projection unit 111 may include, for example, a plurality of lenses, diaphragms, and the like, and may include an optical system that controls the focal length, exposure, projection direction, projection angle of view, and the like of the projection light.
  • the projection imaging apparatus 101 further includes an imaging unit 112 and images the projection plane 102 to obtain a captured image.
  • the imaging unit 112 includes an image sensor, photoelectrically converts incident light by the image sensor, images a subject outside the apparatus, and generates a captured image. That is, the imaging unit 112 realizes an imaging function (sensor function).
  • the image sensor included in the imaging unit 112 is arbitrary, for example, a CMOS image sensor using CMOS (Complementary Metal Oxide Semiconductor) or a CCD image sensor using CCD (Charge Coupled Device). It may be other than those.
  • the imaging range 122 of the imaging unit 112 on the projection plane 102 includes a projection range 121 of the projection unit 111 on the projection plane 102. Therefore, the captured image obtained by the imaging unit 112 includes a projection image projected onto the projection plane 102 by the projection unit 111.
  • the projection imaging apparatus 101 performs color correction of the image projected by the projection unit 111 using this captured image (that is, referring to the state of projection on the projection plane 102), and the projection image on the projection plane 102 is corrected. Distortion can be reduced.
  • the image projected by the projection imaging apparatus 101 may be a moving image or a still image.
  • the captured image obtained by imaging by the projection imaging apparatus 101 may be a moving image or a still image.
  • the projection imaging apparatus 101 may be provided with a speaker or the like so that the projection imaging apparatus 101 can output sound.
  • the projection imaging apparatus 101 may be configured to be able to output sound (for example, BGM (Back Ground Music) or the like) that matches the image to be projected, or operation confirmation sound (for example, a beep sound or a message). ) May be output.
  • the projection plane 102 is a plane on which the projection imaging apparatus 101 projects an image.
  • the projection surface 102 may be a flat surface, a curved surface, a surface partially or entirely uneven, or a plurality of surfaces.
  • the color of the projection surface 102 is arbitrary, and may be composed of a plurality of colors, or may have a pattern or a pattern.
  • the projection surface 102 is formed by a polka dot curtain. That is, the projection surface 102 is formed by a set of various curved surfaces. The polka dot pattern is also deformed according to the curved surface shape, and the projection surface 102 is a more complicated pattern.
  • the projection surface 102 may be formed on an arbitrary object.
  • the projection surface 102 may be formed on a planar object such as a so-called screen or wall surface.
  • the projection surface 102 may be formed in a three-dimensional structure.
  • it may be formed on the wall surface of buildings such as buildings, station buildings, castles, etc., for example, natural objects such as rocks, artificial objects such as signs and statues, furniture such as fences, chairs, desks, etc.
  • it may be formed in a living organism such as a human being or an animal or plant.
  • the projection surface 102 may be formed on a plurality of surfaces such as a wall, floor, ceiling, etc. of the room space.
  • the projection surface 102 may be formed as a solid, or may be formed as a liquid or a gas. For example, it may be formed on a water surface such as a pond or a pool, a water surface such as a waterfall or fountain, or a gas such as mist or gas. Further, the projection plane 102 may move, deform, or change color. The projection surface 102 may be formed on a plurality of objects such as a room wall, furniture and a person, a plurality of buildings, a castle wall and a fountain, and the like.
  • Such a shape and color of the projection surface 102 may affect the brightness and color of the projection image projected on the projection surface 102, and the image quality of the projection image may be reduced. Therefore, it has been considered to perform color correction on the projected image.
  • the projection unit 111 projects a sensing pattern 131 that is a predetermined test pattern, and the imaging unit 112 captures the projection image to obtain the captured image.
  • a method has been considered in which the projection level of the projection unit 111 is controlled with reference to the captured image, and color correction information, which is information for color correction (information regarding color correction) for the projection image, is set.
  • the projection unit 111 may use, as the sensing pattern 131, for example, a black (BL) sensing pattern 131-1, a blue (B) sensing pattern 131-2, a red (R) sensing pattern 131-3, and a green ( Color correction information is generated using sensing patterns of a plurality of colors, such as G) sensing pattern 131-4 and white (W) sensing pattern 131-5.
  • the blue (B) sensing pattern 131-2, the red (R) sensing pattern 131-3, and the green (G) sensing pattern 131-4 are sensing patterns 131 for color gamut correction.
  • the black (BL) sensing pattern 131-1 is a sensing pattern 131 for correcting an illumination component (luminance of the projection surface 102 by light other than projection light).
  • the white (W) sensing pattern 131-5 is a sensing pattern 131 for white balance correction.
  • a color correction method of the projected image for example, a method of correcting each color component of the input image using the spectral reflectance of the projection surface or the color information under the light source as in the method described in Patent Document 1 has been considered. . Further, for example, a method of performing correction by converting spectral data into XYZ space and converting to RGB in the process of generating correction information, as in the method described in Patent Document 2.
  • the light from the projection unit 111 on the projection surface 102 is difficult to be reflected in the direction of the observer viewing the projection image due to the shape of the projection surface 102, and the luminance is reduced.
  • the luminance reduction rate changes depending on the position of the projection image. In such a case, even if correction is performed uniformly on the entire projection image, the variation in luminance depending on the position is not eliminated, and there is a possibility that reduction in the image quality of the projection image cannot be sufficiently suppressed.
  • a color change such as a reddish projection image may occur.
  • the color or degree of the color change changes depending on the position of the projection image. In such a case, even if correction is performed uniformly on the entire projection image, the variation in color change according to the position is not eliminated, and the reduction in the image quality of the projection image may not be sufficiently suppressed.
  • a projection image projected on the projection plane by the calibrated projection unit is used, and a captured image captured by the calibrated imaging unit is used.
  • Color correction information which is information related to color correction for each pixel, is set.
  • color correction information which is information relating to color correction for each pixel of the projection unit, is set using a captured image captured by a calibrated imaging unit that is a projection image projected on a projection plane by a calibrated projection unit
  • a color correction information setting unit is provided.
  • FIG. 2 is a block diagram illustrating a main configuration example of the projection imaging apparatus 101.
  • the projection imaging apparatus 101 includes a control unit 151, an image display unit 152, a device control unit 153, and an image input unit 154 in addition to the projection unit 111 and the imaging unit 112.
  • the control unit 151 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like (all not shown), and executes a program and processes data. Then, processing related to control of each unit of the projection imaging apparatus 101 is performed.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the image display unit 152 is controlled by the control unit 151 to perform image processing on the projected image. For example, the image display unit 152 performs predetermined image processing on the image supplied from the control unit 151 and supplies the image to the projection unit 111.
  • the device control unit 153 is controlled by the control unit 151 to perform processing related to the drive control of the projection unit 111 and the imaging unit 112. For example, the device control unit 153 controls the projection unit 111 to project an image supplied from the image display unit 152, or controls the imaging unit 112 to image the projection plane 102 (projected image). .
  • the image input unit 154 is controlled by the control unit 151 to perform image processing on the captured image obtained in the imaging unit 112. For example, the image input unit 154 performs predetermined image processing on the captured image supplied from the imaging unit 112 and supplies the captured image to the control unit 151.
  • the projection imaging apparatus 101 further includes an input unit 161, an output unit 162, a storage unit 163, a communication unit 164, and a drive 165.
  • the input unit 161 includes an input device that accepts external information such as user input.
  • the input unit 161 includes a keyboard, a mouse, operation buttons, a touch panel, a camera, a microphone, an input terminal, and the like.
  • the input unit 161 may include various sensors such as an acceleration sensor, an optical sensor, and a temperature sensor, and an input device such as a barcode reader.
  • the output unit 162 includes an output device that outputs information such as images and sounds.
  • the output unit 162 includes a display, a speaker, an output terminal, and the like.
  • the storage unit 163 includes a storage medium that stores information such as programs and data.
  • the storage unit 163 includes a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 164 includes a communication device that performs communication for exchanging information such as programs and data with an external apparatus via a predetermined communication medium.
  • the communication unit 164 includes a network interface, for example.
  • the communication unit 164 communicates (transfers programs and data) with an apparatus external to the projection imaging apparatus 101.
  • the drive 165 reads information (programs, data, etc.) stored in a removable medium 171 attached to the drive 165 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the drive 165 supplies information read from the removable medium 171 to the control unit 151.
  • information (program, data, etc.) supplied from the control unit 151 or the like can be stored in the removable medium 171.
  • the projection unit 111 and the imaging unit 112 have been calibrated, and their positional relationship (relative position) is also defined.
  • the CPU of the control unit 151 performs various processes by, for example, acquiring a program stored in the ROM or the storage unit 163, loading it into the RAM, and executing it.
  • the RAM also appropriately stores data necessary for the CPU to execute various processes.
  • the CPU of the control unit 151 can perform processing related to the control of the projection unit 111 and the imaging unit 112 and the setting of color correction information by executing the program and the like as described above.
  • ⁇ Flow of correction setting process> For example, the control unit 151 (or its CPU) sets the color correction information by executing a correction setting process. An example of the flow of the correction setting process will be described with reference to the flowchart of FIG.
  • the control unit 151 obtains the distance from the projection target, that is, the distance from the projection unit 111 to the projection plane 102 in step S101. Since the projection unit 111 and the imaging unit 112 are already calibrated and their relative positions are known, the control unit 151 determines the distance (depth information) from the captured image obtained by imaging the projection image to the projection plane 102 by triangulation. Measurement is performed for each pixel of the projection unit 111. In addition, the control unit 151 generates normal information indicating the shape of the projection plane 102 based on the depth information of the projection plane 102 for each pixel.
  • the control unit 151 estimates a geometric change in luminance, that is, attenuation due to the luminance distance for each pixel of the projection unit 111. That is, the control unit 151 obtains a luminance value for each pixel of the projection unit 111.
  • the control unit 151 stores the luminance value, depth information, and normal line information obtained for each pixel as described above in the storage unit 163, for example.
  • step S102 the control unit 151 obtains a pixel correspondence relationship between the projection unit 111 and the imaging unit 112. That is, the control unit 151 generates pixel corresponding point information indicating where the projection pixel of the projection unit 111 corresponds to the coordinates on the captured image of the imaging unit 112. More specifically, the control unit 151 controls the projection unit 111 to project a pattern image that can identify the position in the projection image corresponding to each pixel of the projection unit 111 onto the projection plane. In addition, the control unit 151 controls the imaging unit 112 to capture the projected image and generate a captured image. As described above, it is known which position in the projection image included in the captured image corresponds to which pixel of the projection unit 111. Naturally, which position of the captured image corresponds to which pixel of the imaging unit 112 is known. Therefore, the control unit 151 obtains a pixel correspondence relationship between the projection unit 111 and the imaging unit 112 based on the projection image included in the captured image.
  • the control unit 151 stores the pixel correspondence obtained as described above in, for example, the storage unit 163.
  • the control unit 151 obtains the projection target shape and the incident angle from the viewpoint. That is, the control unit 151 determines what type of material and shape is incident on the projection target based on the depth information and the normal information of the projection target (projection plane 102) as viewed from the observer viewing the projection image. Incident angle information indicating whether the projection light is incident on the corner is obtained for each pixel of the projection unit 111. Based on the incident angle information, the control unit 151 displays attenuation information (reflection) indicating the luminance attenuation amount (also referred to as correction attenuation amount) due to the incident angle of the projection light with respect to the projection surface 102, the material and shape of the projection surface, and the like. (Also referred to as rate information) for each pixel of the projection unit 111.
  • attenuation information reflection
  • luminance attenuation amount also referred to as correction attenuation amount
  • rate information for each pixel of the projection unit 111.
  • the control unit 151 stores attenuation information (reflectance information) for each pixel obtained as described above, for example, in the storage unit 163.
  • the control unit 151 generates an initial value (initial output pixel value) and a target luminance value of the sensing pattern 131.
  • the sensing pattern 131 is an image of a predetermined test pattern that is projected to set color correction information that is information for color correction (information about color correction) for a projected image.
  • This test pattern may be any pattern (picture).
  • the sensing pattern 131 is for each color (in the case of FIG. 1, the sensing pattern 131-1 for black (BL), the sensing pattern 131-2 for blue (B), the sensing pattern 131-3 for red (R), The sensing pattern 131-4 for green (G) and the sensing pattern 131-5 for white (W) may be set.
  • control unit 151 reads the luminance value for each pixel, depth information, normal information, pixel correspondence, attenuation information for each pixel, and the like stored in the storage unit 163, and based on the information, the sensing pattern An initial value 131 (initial output pixel value) is set for each pixel of the projection unit 111.
  • the target luminance value is the luminance value of the projection image on the projection plane 102 when it is in an ideal state as viewed from the observer.
  • the ideal state is a state in which the projection image is not affected by the color, shape, or the like of the projection surface 102. That is, the projection image viewed from the observer is the same as the image projected by the projection unit 111 (the state where there is no change in luminance, color, shape, etc.).
  • the control unit 151 reads out the luminance value for each pixel, depth information, normal information, pixel correspondence, attenuation information for each pixel, etc. stored in the storage unit 163, and based on the information, the target luminance A value is set for each pixel of the projection unit 111.
  • step S105 the control unit 151 adjusts the sensing pattern 131 so that the luminance value of the projection plane 102 approaches the target luminance value.
  • the initial value (initial output pixel value) of the sensing pattern 131 is set by the process of step S104.
  • the control unit 151 performs adjustment so that the sensing pattern 131 is more appropriately color-corrected with respect to the initial value (initial output pixel value) of the sensing pattern 131. This adjustment is repeated as necessary. Details of this adjustment will be described later.
  • step S106 the control unit 151 generates an environmental model expression using the adjusted sensing pattern 131 obtained by the process in step S105, and uses the environmental model expression to generate color correction information (for color correction). Correction data (correction model formula)) is generated (set) for each pixel. Details of setting the color correction information will be described later.
  • step S107 the control unit 151 stores the obtained color correction information (correction data (correction model formula)) in the storage unit 163, for example.
  • step S107 When the process of step S107 is completed, the correction setting process is terminated.
  • step S121 the control unit 151 stores the projection level (output pixel value) of the sensing pattern 131 in, for example, the RAM or the storage unit 163 in the control unit 151.
  • the control unit 151 stores the initial value (initial output pixel value) of the sensing pattern 131 set by the process of step S104 (FIG. 3).
  • the control unit 151 stores the projection level (output pixel value) of the sensing pattern 131 set by the process of step S123 described later.
  • the projection level of the sensing pattern 131 is also referred to as a sensing pattern observation gain.
  • step S122 the control unit 151 causes the projection unit 111 to project a sensing pattern, causes the imaging unit 112 to capture the projection image, and acquires the captured image as a sensing result (sensing pixel value).
  • the control unit 151 stores the sensing result (sensing pixel value) in, for example, the RAM or the storage unit 163 in the control unit 151.
  • This sensing result (sensing pixel value) is also referred to as imaging unit pixel information corresponding to the projection unit pixel.
  • step S123 the control unit 151 reads the observation gain of the sensing pattern and the imaging unit pixel information corresponding to the projection unit pixel from the storage unit 163 and the like, and the projection unit 111 and the imaging unit obtained in advance with each data. Based on the calibration result (calibration information) 112, the light quantity is calculated by converting into a linear value (linear region), and a gain (also referred to as sensing gain) for setting a target sensing result (target luminance value) is set. To do. That is, the control unit 151 adjusts the gain so that the luminance value of the projected image on the projection plane 102 is closer to the target luminance value.
  • the control unit 151 performs each process from step S121 to step S123 on the processing target pixel of the projection unit 111.
  • step S124 the control unit 151 determines whether all the pixels have been processed. When it is determined that an unprocessed pixel exists, the control unit 151 selects an unprocessed pixel as a processing target.
  • the pixel selected here may be any pixel as long as it is an unprocessed pixel.
  • the processing returns to step S121, and the subsequent processing is repeated.
  • step S121 to step S124 are performed for each pixel of the projection unit 111.
  • step S124 the process proceeds to step S125.
  • step S125 the control unit 151 obtains the achievement level of the target value as the entire projection image and determines whether or not the achievement level is sufficient.
  • the criteria for determining whether this is sufficient are arbitrary. What is necessary is just to determine according to what kind of image quality a projection image is made. If it is determined that the convergence of the entire screen (that is, the sensing result) has not sufficiently reached the target value, the process returns to step S121, and the subsequent processes are repeated. That is, adjustment of the sensing pattern (each process from step S121 to step S125) is repeated until the target value of the entire projection image is reached.
  • step S141 the control unit 151 changes the light other than the projection light from the sensing result (captured image) when there is no irradiation (that is, the state where the sensing pattern 131 is not irradiated).
  • An illumination component that is, an offset
  • the control unit 151 may not cause the projection unit 111 to project the sensing pattern 131, or the sensing pattern 131 (for example, the black (BL) sensing pattern 131-1) for obtaining the illumination component may be used. You may make it project.
  • step S142 the control unit 151 controls the projection unit 111 to detect each color sensing pattern 131 (for example, a blue (B) sensing pattern 131-2 and a red (R) sensing pattern 131 for color gamut correction). -3, green (G) sensing pattern 131-4) is projected. And the control part 151 produces
  • the environmental information is represented by a determinant, for example, and stores red, green, and blue results.
  • step S143 the control unit 151 uses information (calibration information or the like) obtained in advance regarding the projection unit 111 and the imaging unit 112, and uses an inverse matrix (correction matrix) for correcting the environment information obtained in step S142. (Also called). By performing correction using this inverse matrix, the color gamut conversion of the projected image can be performed.
  • step S144 the control unit 151 controls the projection unit 111 to project a sensing pattern 131 (for example, white (W) sensing pattern 131-5) for adjusting the white balance. Then, the control unit 151 obtains gain information (also referred to as gain information of the conversion equation) indicating what kind of gain is to be applied to the inverse matrix (correction matrix) obtained by the process of step S143 of the sensing pattern. It is obtained from the sensing result and the correction attenuation amount of the projection target (projection plane 102) (attenuation information (reflectance information) obtained by the processing in step S103 (FIG. 3)) and reflected in the projection target correction formula (correction matrix). That is, it is possible to adjust the white balance of the projected image by performing correction using this gain information.
  • gain information also referred to as gain information of the conversion equation
  • step S145 the control unit 151 combines the illumination component information set by the process of step S141, the correction matrix set by the process of step S143, and the gain information of the conversion equation set by the process of step S144. Then, correction data (correction model formula) is generated (set).
  • step S141 to step S145 are performed on the pixel to be processed by the projection unit 111.
  • step S146 the control unit 151 determines whether or not these processes have been executed for all the pixels of the projection unit 111. If it is determined that there is an unprocessed pixel, the process returns to step S141, and the subsequent processes are repeated. That is, each process of step S141 to step S146 is executed for each pixel of the projection unit 111. Each process of step S141 to step S146 is repeatedly executed. When it is determined in step S146 that all the pixels have been processed, the correction data generation process ends, and the process returns to FIG.
  • the left side (f c (ci, c ⁇ )) of Expression (1) indicates the linear pixel value of the imaging unit 112 represented by the pixel value ci of the imaging unit 112 and the ⁇ curve c ⁇ of the imaging unit 112.
  • M 3x3 on the right side of Expression (1) indicates a matrix for color gamut conversion of the projection unit 111 and the imaging unit 112.
  • V 3x3 on the right side of Expression (1) indicates a matrix indicating that the projection unit 111 is affected by the color of the projection plane.
  • control unit 151 When projecting an image, the control unit 151 performs color correction on the projected image for each pixel using color correction information generated by executing the above-described processes, and the color correction is performed.
  • the projected image is projected on the projection unit 111.
  • the projection imaging apparatus 101 can correct more appropriately not only a simple flat single-color wall surface but also a projection surface including a complicated shape, a complicated pattern, and a color. That is, it is possible to suppress a reduction in color correction accuracy for a wider variety of projection planes.
  • the optical characteristic information of the projector is not required to obtain the target expected value by converging the test pattern by changing the test pattern after the second time by estimating the reflectance of the target from the projection result onto the projection target. Therefore, color correction information can be obtained more easily.
  • the environment information of the projection plane 102 of the projection unit 111 can be estimated more easily, and the shape of the projection plane 102 and the distance from the projection unit 111 can be estimated.
  • the reflectance of the projection surface 102 can be grasped more easily.
  • the calibrated imaging unit 112 the pixel corresponding points between the projection unit 111 and the imaging unit 112 can be grasped more easily. Therefore, color correction information for each pixel of the projection unit 111 can be obtained more easily. Note that when obtaining the color correction information, the processing time until the optimum value is obtained can be reduced by using the estimation result of the environmental information described above.
  • the correction target value is not determined in advance, but the optimum value can be estimated from the information of the projection environment, so that correction suitable for the environment can be performed.
  • the final correction performance can be further prevented from changing because the target value is reviewed.
  • the control unit 151 converts the sensing pattern result into the environmental information with respect to the calculation time for obtaining the correction formula
  • the calculation result of the sensing pattern is the environmental information itself. Determining the matrix is fast and does not require conversion from spectral data or color space conversion. In addition, since it is not necessary to solve the minimization problem, the calculation can be performed at a very high speed.
  • color correction information for each pixel of the projection unit may be set using a captured image captured by the image capturing unit in which the projection image projected on the projection plane by the calibrated projection unit is calibrated.
  • the projection imaging apparatus 101 may have a configuration other than the example of FIG. Further, a part of the configuration shown in FIG. 2 may be omitted.
  • the normal information may not be used in the process of step S104 (generation of the initial value of the sensing pattern 131 or generation of the target luminance value). Further, the attenuation information for each pixel may not be used. That is, the information generation process may be omitted.
  • the correction data generated in the process of step S106 may be supplied to another device (for example, a server).
  • the corrected sensing pattern 131 generated by the process of step S105 may be supplied to another device (for example, a server).
  • the correction data generation process in step S106 may be executed in another device (for example, a server).
  • the initial value and the target luminance value of the sensing pattern 131 generated by the process of step S104 may be supplied to another device (for example, a server).
  • the sensing pattern adjustment process in step S105 may be executed in another device (for example, a server).
  • the correction data generation process in step S106 may also be executed in another device (for example, a server).
  • step S104 processing for generating the initial value of the sensing pattern 131 and the target luminance value
  • step S105 may also be executed in another device (for example, a server).
  • correction data generation process in step S106 may also be executed in another device (for example, a server).
  • the correction data generation processing in step S106 may be performed in any information processing apparatus other than the projection imaging apparatus 101. That is, the present technology can be applied to any information processing apparatus other than the projection imaging apparatus 101.
  • step S125 may be omitted without considering the convergence of the entire screen.
  • the sensing pattern adjustment process may be performed only for some pixels, and the interpolation process or the like may be performed for other pixels.
  • the illumination component information may not be used when generating correction data (step S145). Further, the gain information of the conversion formula may not be used. In that case, the generation processing of these information may be omitted. Further, correction data processing may be performed only for some pixels, and interpolation processing or the like may be performed for other pixels.
  • Second Embodiment> ⁇ Projection imaging system>
  • the color correction of one projection imaging apparatus 101 has been described, but the number of projection imaging apparatuses 101 is arbitrary and may be plural.
  • the present technology can also be applied to, for example, a system that projects an image by cooperating a plurality of projection imaging apparatuses 101.
  • FIG. 6 is a diagram illustrating a main configuration example of an embodiment of a projection imaging system to which the present technology is applied.
  • a projection imaging system 300 shown in FIG. 6 includes three projection imaging apparatuses 101 (projection imaging apparatus 101-1, projection imaging apparatus 101-2, projection imaging apparatus 101-3) and a control apparatus 301.
  • Reference numeral 301 denotes a system for projecting an image by cooperating these projection imaging apparatuses 101.
  • each projection imaging apparatus 101 includes the projection unit 111 and the imaging unit 112.
  • the projection imaging apparatus 101-1 includes a projection unit 111-1 and an imaging unit 112-1.
  • the projection imaging apparatus 101-2 includes a projection unit 111-2 and an imaging unit 112-2.
  • the projection imaging apparatus 101-3 includes a projection unit 111-3 and an imaging unit 112-3.
  • Each projection imaging apparatus 101 is connected to a network 302 so as to be communicable. This connection may be wired, wireless, or both.
  • the network 302 is an arbitrary communication network, and may perform wired communication, wireless communication, or both of them. Further, the network 302 may be configured by a single communication network, or may be configured by a plurality of communication networks. For example, communication conforming to the Internet, public telephone network, so-called 3G and 4G wireless mobile wide area networks, WAN (Wide Area Network), LAN (Local Area Network), Bluetooth (registered trademark) standards , Wireless communication network for near field communication such as NFC (Near Field Communication), infrared communication path, HDMI (High-Definition Multimedia Interface) and USB (Universal Serial Bus) standards
  • the network 302 may include a communication network or a communication path of an arbitrary communication standard such as a wired communication network complying with the standard.
  • the control device 301 is communicably connected to the network 302. That is, the control device 301 can communicate with each projection imaging device 101 via the network 302. Note that this connection may be wired, wireless, or both.
  • the control device 301 can control each projection imaging device 101 through the communication and execute arbitrary processing such as projection and imaging. For example, the control device 301 projects small images of different portions of one large image from the respective projection imaging devices 101 onto the projection plane 102, and projects a projection image corresponding to one large image onto the projection plane 102. be able to.
  • the projection range 311-1 of the projection unit 111-1 of the projection imaging apparatus 101-1 and the projection range 311 of the projection unit 111-2 of the projection imaging apparatus 101-2. -2 overlaps in the overlapping portion 313-1 which is a part of -2. That is, in this overlapping portion 313-1 of the projection surface 102, the projection image projected by the projection unit 111-1 and the projection image projected by the projection unit 111-2 are projected in an overlapping manner.
  • the projection range 311-2 of the projection unit 111-2 of the projection imaging apparatus 101-2 and the projection range 311-3 of the projection unit 111-3 of the projection imaging apparatus 101-3 are a part thereof.
  • the overlapping portion 313-2 is overlapping. That is, in this overlapping portion 313-2 of the projection surface 102, the projection image projected by the projection unit 111-2 and the projection image projected by the projection unit 111-3 are projected in an overlapping manner.
  • the imaging range 312-1 of the imaging unit 112-1 of the projection imaging apparatus 101-1 includes the projection range 311-1 of the projection unit 111-1.
  • the imaging range 312-2 of the imaging unit 112-2 of the projection imaging apparatus 101-2 includes the projection range 311-2 of the projection unit 111-2.
  • the imaging range 312-3 of the imaging unit 112-3 of the projection imaging apparatus 101-3 includes the projection range 311-3 of the projection unit 111-3.
  • the control device 301 In such a projection imaging system 300, the control device 301 generates color correction information for each pixel for each projection imaging device 101. Each projection imaging apparatus 101 performs color correction on the projected image for each pixel using the color correction information generated by the control apparatus 301, and projects the color-corrected image.
  • FIG. 7 is a block diagram illustrating a main configuration example of the control device 301 in FIG. 6.
  • the control device 301 includes a CPU 351, a ROM 352, a RAM 353, a bus 354, an input / output interface 360, an input unit 361, an output unit 362, a storage unit 363, a communication unit 364, and a drive 365.
  • the CPU 351, ROM 352, and RAM 353 are connected to each other via a bus 354.
  • An input / output interface 360 is also connected to the bus 354.
  • An input unit 361, an output unit 362, a storage unit 363, a communication unit 364, and a drive 365 are connected to the input / output interface 360.
  • the input unit 361 includes an input device that accepts external information such as user input.
  • the input unit 361 includes a keyboard, a mouse, operation buttons, a touch panel, a camera, a microphone, an input terminal, and the like.
  • the input unit 361 may include various sensors such as an acceleration sensor, an optical sensor, and a temperature sensor, and an input device such as a barcode reader.
  • the output unit 362 includes an output device that outputs information such as images and sounds.
  • the output unit 362 includes a display, a speaker, an output terminal, and the like.
  • the storage unit 363 includes a storage medium that stores information such as programs and data.
  • the storage unit 363 includes a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 364 includes a communication device that performs communication for exchanging information such as programs and data with an external apparatus via a predetermined communication medium.
  • the communication unit 364 is composed of a network interface, for example.
  • the communication unit 364 communicates (transfers programs and data) with devices external to the control device 301.
  • the drive 365 reads information (programs, data, etc.) stored in a removable medium 371 attached to the drive 365 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the drive 365 supplies information read from the removable medium 371 to the CPU 351, the RAM 353, and the like. Further, when a writable removable medium 371 is attached to the drive 365, the drive 365 can store information (programs, data, etc.) supplied from the CPU 351, the RAM 353, and the like in the removable medium 371.
  • the CPU 351 performs various processes, for example, by loading a program stored in the storage unit 363 into the RAM 353 via the input / output interface 360 and the bus 354 and executing the program.
  • the RAM 353 also stores data necessary for the CPU 351 to execute various processes as appropriate.
  • the CPU 351 can perform processing relating to setting of color correction information, processing relating to control of each projection imaging apparatus 101, and the like by executing such a program and the like.
  • control device 301 generates color correction information for each projection imaging device 101.
  • the color correction information for each projection imaging apparatus 101 is generated basically in the same manner as in the first embodiment.
  • the degree of achievement of the target value is also determined for one entire projection image projected on the projection plane 102 by projecting the image by the all-projection imaging apparatus 101.
  • control device 301 generates and adjusts a sensing pattern for each projection imaging device 101 (steps S301 to S307), and then confirms that the convergence of the entire system has sufficiently reached the target value (steps). S308), correction data is generated for each projection imaging apparatus 101 (step S309).
  • the CPU 351 of the control device 301 selects the projection imaging device 101 to be processed from the unprocessed projection imaging devices 101 in step S301.
  • the processes in steps S302 to S306 are executed in the same manner as the processes in steps S101 to S105 in FIG. That is, in step S306, the sensing pattern adjustment process is executed as described with reference to the flowchart of FIG.
  • the CPU 351 of the control apparatus 301 performs correction setting processing for all the projection imaging apparatuses 101 in step S307, ( It is determined whether the adjusted sensing pattern 131 has been generated. If it is determined that there is a projection imaging apparatus 101 that has not generated the sensing pattern 131, the process returns to step S301 and the subsequent processes are repeated. That is, a new unprocessed projection imaging apparatus 101 is selected as a processing target, and correction setting processing (each process of Steps S302 to S306) is performed on the projection imaging apparatus 101.
  • step S308 when the (adjusted) sensing pattern 131 is generated for all the projection imaging apparatuses 101 by repeating the processes in steps S301 to S307, the process proceeds to step S308.
  • step S308 the CPU 351 of the control device 301 obtains the achievement level of the target value as the entire projection image projected by the all projection imaging apparatus 101, and determines whether or not the achievement level is sufficient.
  • the criteria for determining whether this is sufficient are arbitrary. What is necessary is just to determine according to what kind of image quality a projection image is made.
  • the process returns to step S301, and the subsequent processes are repeated. That is, adjustment of the sensing pattern (each process of step S301 to step S308) is repeated until the target value of the entire projection image projected by all the projection imaging apparatuses 101 is reached.
  • step S308 If it is determined in step S308 that the convergence of the entire system has sufficiently reached the target value, the process proceeds to step S309.
  • step S309 the CPU 351 of the control device 301 generates correction data for each projection imaging device 101. That is, as described with reference to the flowchart of FIG. 5, the correction data generation process is executed for each projection imaging apparatus 101. For example, in the case of the projection imaging system 300 (FIG. 6), correction data generation processing is executed for each of the three projection imaging apparatuses 101 (repeated three times).
  • step S310 the CPU 351 of the control device 301 stores the correction data of each projection imaging device 101 generated by the processing in step S309 in the RAM 353, the storage unit 363, the removable medium 371, or the like. Then, the CPU 351 of the control device 301 controls the communication unit 364 at a predetermined timing and supplies the correction data to each projection imaging device 101 as color correction information. The CPU 351 may supply the generated correction data to the projection imaging apparatus 101 via the communication unit 364 without storing the generated correction data in the storage unit 363 or the like.
  • step S310 When the process of step S310 is completed, the correction setting process is terminated.
  • each projection imaging apparatus 101 When projecting an image, the control unit 151 of each projection imaging apparatus 101 performs color correction on the projected image for each pixel using the color correction information supplied from the control apparatus 301, and the color correction is performed.
  • the projected image is projected on the projection unit 111.
  • the projection imaging system 300 can correct more appropriately a variety of projection planes even when there are a plurality of projection imaging apparatuses 101, and suppresses a reduction in color correction accuracy. be able to.
  • occlusion may occur depending on the angle between the projection imaging apparatus 101 and the projection plane 102, and there may be a case where light does not strike. By using, occurrence of such a case can be suppressed. In other words, by using a plurality of projection imaging devices 101, it is possible to further suppress the color correction accuracy.
  • FIG. 6 three projection imaging devices 101 are shown, but the number of the projection imaging devices 101 included in the projection imaging system 300 is arbitrary. Similarly, the number of control devices 301 included in the projection imaging system 300 is arbitrary. In addition, a device other than the device shown in FIG. 6 may be connected to the network 302.
  • control device 301 may have a configuration other than the example of FIG. Further, a part of the configuration shown in FIG. 7 may be omitted.
  • the projection imaging system 300 includes a plurality of projection imaging apparatuses 101
  • information of other projection imaging apparatuses 101 can be used in the correction setting process for each projection imaging apparatus 101. Therefore, for example, even if the projection surface 102 is not a perfect diffuse reflection surface, the priority order of the imaging unit 112 that uses the captured image can be determined, so that the correction considering the reflectance of the projection surface 102 can be performed. That is, a reduction in color correction accuracy can be suppressed.
  • the luminance value obtained from the captured image of the projection imaging apparatus 101 having the smallest angle ⁇ formed by the “normal vector” indicating the shape information of the projection plane 102 and the “direction vector” from the projection plane 102 to the projection imaging apparatus 101 is obtained. Obtained as “maximum reflection luminance value”.
  • the luminance value obtained from the captured image of the projection imaging apparatus 101 having the largest formed angle ⁇ is obtained as the “minimum reflection luminance value”.
  • a “brightness decay curve” can be obtained in accordance with the change in the angle ⁇ formed from these two brightness values.
  • the reflectance of the projection surface is corrected.
  • a luminance value is corrected by applying a “luminance attenuation curve” represented by an angle ⁇ formed by a “direction vector” from the projection plane 102 to the projection imaging device 101 to the luminance value obtained by each projection imaging device 101.
  • the “environment model” is updated.
  • the brightness values of the projection planes 102 of all the projection imaging devices 101 when viewed from the viewer are calculated.
  • the minimum value of the luminance values is set as a “target luminance value”.
  • the projection surface 102 is not an arbitrary shape and a perfect diffuse reflection surface, it is possible to perform projection with less luminance difference when viewed from the observer. Further, since the gain of the correction model converges faster, as a result, the correction model that matches the target luminance value can be created faster than when the projection imaging apparatus 101 is used alone. As a result, not only the processing time can be shortened, but also an increase in load can be suppressed.
  • configuration examples of the projection imaging apparatus and the projection imaging system to which the present technology is applied are not limited to the above-described examples.
  • the control device 301 may be omitted as in the projection imaging system 400 shown in FIG.
  • each process such as the correction setting process described above may be performed in any one of the projection imaging apparatuses 101.
  • the number of projection imaging apparatuses 101 that perform processing in this way is arbitrary, and may be one or plural. By doing in this way, even if it is the case of this projection imaging system 400, the reduction of color correction precision can be suppressed.
  • the configurations of the projection imaging apparatuses may be different from each other.
  • the projection imaging system 410 includes three projection imaging apparatuses 411 (projection imaging apparatus 411-1, projection imaging apparatus 411-2, projection imaging apparatus) that are communicably connected to the network 302. 411-3).
  • the projection imaging apparatus 411-1 has two projection units 111 (projection unit 111-1-1 and projection unit 111-1-2) and one imaging unit 112-1.
  • the projection imaging apparatus 411-2 includes one projection unit 111-2 and one imaging unit 112-2.
  • the projection imaging device 411-3 includes one projection unit 111-3 and two imaging units 112 (an imaging unit 112-3-1 and an imaging unit 112-3-2).
  • the processing can be performed in the same manner as in the second embodiment. That is, also in the case of the projection imaging system 410, it is possible to suppress a reduction in color correction accuracy.
  • a plurality of projection units 111 and a plurality of imaging units 112 may be provided as in the projection imaging apparatus 420 shown in FIG.
  • the projection imaging apparatus 420 may generate color correction information for each projection unit 111. By doing so, also in the case of the projection imaging apparatus 420, it is possible to suppress a reduction in color correction accuracy.
  • this recording medium is constituted by a removable medium 171 on which the program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body.
  • the removable medium 171 includes a magnetic disk (including a flexible disk) and an optical disk (including a CD-ROM and a DVD). Further, magneto-optical disks (including MD (Mini-Disc)) and semiconductor memories are also included.
  • MD Mini-Disc
  • this recording medium is constituted by a removable medium 371 on which a program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body.
  • the removable medium 371 includes a magnetic disk (including a flexible disk) and an optical disk (including a CD-ROM and a DVD). Furthermore, a magneto-optical disk (including MD), a semiconductor memory, and the like are also included.
  • this program stored in the removable medium 371 can be read and installed in the storage unit 363.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 164 and installed in the storage unit 163.
  • the program can be received by the communication unit 364 and installed in the storage unit 363.
  • this program can also be installed in advance in a storage unit or ROM.
  • the program can be installed in advance in a ROM or the like built in the storage unit 163 or the control unit 151.
  • the program can be installed in advance in the storage unit 363, the ROM 352, or the like.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.
  • each step described above can be executed in each device described above or any device other than each device described above.
  • the device that executes the process may have the functions (functional blocks and the like) necessary for executing the process described above.
  • Information necessary for processing may be transmitted to the apparatus as appropriate.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology is not limited to this, and any configuration mounted on such a device or a device constituting the system, for example, a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • a processor as a system LSI (Large Scale Integration)
  • a module using a plurality of processors a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • Color correction information which is information relating to color correction for each pixel of the projection unit, is obtained by using a captured image captured by an imaging unit in which a projection image projected on the projection plane by the calibrated projection unit is calibrated.
  • An information processing apparatus comprising a color correction information setting unit to be set.
  • the color correction information setting unit based on the projection image and the captured image, outputs environment information that is information indicating an influence on a color due to the projection image being projected onto the projection plane.
  • the information processing apparatus according to (1), wherein the color correction information is set for each pixel of the projection unit and the color correction information is set using the environment information for each pixel of the projection unit.
  • the color correction information setting unit further includes: Based on a captured image obtained by imaging the projection surface in a state where the projection image is not projected, an illumination component of the projection surface is obtained for each pixel of the projection unit, Obtaining a gain amount of the color correction information for each pixel of the projection unit from the white projection image; The information processing apparatus according to (2), wherein the color correction information is set using the illumination component, the gain amount, and the environment information for each pixel of the projection unit.
  • the image processing apparatus further includes an adjustment unit that adjusts a projection level of the projection unit for projecting the projection image for each pixel of the projection unit based on a pixel value of each pixel of the captured image.
  • the color correction information setting unit sets the color correction information using the projection image projected by the projection unit in which the projection level of each pixel is adjusted by the adjustment unit.
  • (1) to (3) The information processing apparatus according to any one of the above.
  • (5) The information processing unit according to (4), wherein the adjustment unit adjusts the projection level for each pixel of the projection unit so that a pixel value of each pixel of the captured image converges to a target value of each pixel. apparatus.
  • (6) The information processing apparatus according to (5), wherein the adjustment unit further adjusts the projection level for each pixel of the projection unit so that the pixel value converges to a target value of the entire projection image.
  • the initial value of the projection level is set for each pixel of the projection unit.
  • An initial value setting unit for setting is further provided, The information processing apparatus according to any one of (4) to (6), wherein the adjustment unit adjusts an initial value of the projection level for each pixel of the projection unit set by the initial value setting unit.
  • the initial value setting unit sets an initial value of the projection level for each pixel of the projection unit based on the pixel value of each pixel of the captured image and the correspondence set by the correspondence setting unit.
  • the information processing apparatus according to (7).
  • the initial value setting unit further sets an initial value of the projection level for each pixel of the projection unit based on depth information and normal information of the projection plane. (7) or (8) The information processing apparatus described.
  • (10) further comprising a depth normal information setting unit for setting the depth information and the normal information;
  • the initial value setting unit sets an initial value of the projection level for each pixel of the projection unit based on the depth information and the normal information set by the depth normal information setting unit.
  • the initial value setting unit further sets an initial value of the projection level for each pixel of the projection unit on the basis of information on the reflectance according to the incident angle of the projection image on the projection plane.
  • the information processing apparatus according to any one of (10).
  • a reflectance information setting unit that sets information on the reflectance is further provided, The information processing apparatus according to (11), wherein the initial value setting unit sets an initial value of the projection level for each pixel of the projection unit based on information on the reflectance set by the reflectance information setting unit. apparatus. (13) The information according to any one of (4) to (12), wherein the color correction information setting unit sets the color correction information for each of a plurality of projection imaging devices including the projection unit and the imaging unit. Processing equipment.
  • the adjustment unit sets, as a target value, a minimum value of luminance values when viewed from an observer of the projection images projected onto the projection plane by the projection units of all the projection imaging devices, The information processing apparatus according to (13), wherein the projection level is adjusted for each pixel of the projection unit so as to converge to the target value.
  • the color correction information setting unit may respond to an angle between the projection imaging device and the projection plane.
  • the image processing apparatus further includes an acquisition unit configured to acquire information related to the projection image and information related to the captured image from a projection imaging apparatus including the projection unit and the imaging unit.
  • the color correction information setting unit sets the color correction information based on information on the projection image acquired by the acquisition unit and information on the captured image.
  • the information processing apparatus according to any one of (1) to (16), further including the projection unit and the imaging unit.
  • the image processing apparatus further includes an acquisition unit that acquires information about the projection image and information about the captured image from another information processing apparatus having the projection unit and the imaging unit.
  • the color correction information setting unit is acquired by the acquisition unit, information related to a projection image projected by the projection unit of the information processing device itself, information related to a captured image captured by the imaging unit of the information processing device itself, and the acquisition unit.
  • the information processing apparatus Based on information related to the projection image projected by the projection unit of the other information processing apparatus, and information related to the captured image captured by the imaging unit of the other information processing apparatus acquired by the acquisition unit.
  • the information processing apparatus wherein the color correction information is set.
  • Color correction information which is information related to color correction for each pixel of the projection unit, is obtained using a captured image captured by the image capturing unit in which the projection image projected on the projection plane by the calibrated projection unit is calibrated.
  • a color for setting color correction information which is information relating to color correction for each pixel of the projection unit, using a captured image captured by an imaging unit in which the projection image projected on the projection plane by the calibrated projection unit is calibrated Program to function as a correction information setting section.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

本技術は、色補正精度の低減を抑制することができるようにする情報処理装置および方法、並びにプログラムに関する。 本技術の情報処理装置は、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、その投影部の画素毎の色補正に関する情報である色補正情報を設定する。本技術は、例えば、プロジェクタおよびカメラの両方の機能を備える電子機器、若しくはその電子機器を制御するコンピュータ等に適用することができる。

Description

情報処理装置および方法、並びにプログラム
　本技術は、情報処理装置および方法、並びにプログラムに関し、特に、色補正精度の低減を抑制することができるようにした情報処理装置および方法、並びにプログラムに関する。
　従来、プロジェクタにおける投影画像の色補正方法として様々な手法が考えられた。例えば、投射面の分光反射率あるいは光源下の色情報を用いて入力画像の各色成分を補正する方法が考えられた（例えば、特許文献１参照）。また、補正情報の生成過程で分光データからXYZ空間に変換を行いRGBに変換することで補正を行う方法も考えられた（例えば、特許文献２参照）。
特開２００３－３３３６１１号公報 特開２００３－３２３６１０号公報
　しかしながら、これらの方法においては、投影画像全体について一様に色補正が行われるため、例えば模様や凹凸等を有する投影面に投影する場合のような複雑な環境下での投影の場合、投影画像の色補正精度が低減し、投影画像の画質が低減するおそれがあった。
　本技術は、このような状況に鑑みて提案されたものであり、色補正精度の低減を抑制することを目的とする。
　本技術の情報処理装置は、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する色補正情報設定部を備える情報処理装置である。
　前記色補正情報設定部は、前記投影画像と前記撮像画像とに基づいて、前記投影画像が前記投影面に投影されることによる色に関する影響を示す情報である環境情報を、前記投影部の画素毎に求め、前記投影部の画素毎の前記環境情報を用いて前記色補正情報を設定することができる。
　前記色補正情報設定部は、さらに、前記投影画像を投影していない状態の前記投影面を撮像した撮像画像に基づいて、前記投影面の照明成分を前記投影部の画素毎に求め、白の前記投影画像から前記色補正情報のゲイン量を前記投影部の画素毎に求め、前記投影部の画素毎の前記照明成分と前記ゲイン量と前記環境情報を用いて前記色補正情報を設定することができる。
　前記撮像画像の各画素の画素値に基づいて、前記投影画像を投影する際の前記投影部の投影レベルを前記投影部の画素毎に調整する調整部をさらに備え、前記色補正情報設定部は、前記調整部により各画素の投影レベルが調整された前記投影部により投影される前記投影画像を用いて、前記色補正情報を設定することができる。
　前記調整部は、前記撮像画像の各画素の画素値が各画素の目標値に収束するように、前記投影部の画素毎に前記投影レベルを調整することができる。
　前記調整部は、さらに、前記画素値が前記投影画像全体の目標値に収束するように、前記投影部の画素毎に前記投影レベルを調整することができる。
　前記撮像画像の各画素の画素値と、前記投影部の各画素と前記撮像部の各画素との対応関係とに基づいて、前記投影レベルの初期値を前記投影部の画素毎に設定する初期値設定部をさらに備え、前記調整部は、前記初期値設定部により設定された前記投影部の画素毎の前記投影レベルの初期値を調整することができる。
　前記投影画像と前記撮像画像とに基づいて、前記投影部の各画素と前記撮像部の各画素との対応関係を求める対応関係設定部をさらに備え、前記初期値設定部は、前記撮像画像の各画素の画素値と、前記対応関係設定部により設定された前記対応関係とに基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定することができる。
　前記初期値設定部は、さらに、前記投影面のデプス情報および法線情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定することができる。
　前記デプス情報および前記法線情報を設定するデプス法線情報設定部をさらに備え、前記初期値設定部は、前記デプス法線情報設定部により設定された前記デプス情報および前記法線情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定することができる。
　前記初期値設定部は、さらに、前記投影面への投影画像の入射角に応じた反射率に関する情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定することができる。
　前記反射率に関する情報を設定する反射率情報設定部をさらに備え、前記初期値設定部は、前記反射率情報設定部により設定された前記反射率に関する情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定することができる。
　前記色補正情報設定部は、前記投影部および前記撮像部を有する複数の投影撮像装置のそれぞれについて、前記色補正情報を設定することができる。
　前記調整部は、全ての前記投影撮像装置の前記投影部により前記投影面に投影された投影画像の、観察者から見た場合の輝度値の最小値を、目標値として設定し、前記目標値に収束するように前記投影部の画素毎に前記投影レベルを調整することができる。
　前記色補正情報設定部は、前記投影撮像装置のそれぞれと前記投影面とのなす角の角度差が所定の閾値より大きい場合、前記投影撮像装置と前記投影面とのなす角に応じて、前記色補正情報を補正することができる。
　前記投影部および前記撮像部を有する投影撮像装置から、前記投影画像に関する情報および前記撮像画像に関する情報を取得する取得部をさらに備え、前記色補正情報設定部は、前記取得部により取得された前記投影画像に関する情報および前記撮像画像に関する情報に基づいて、前記色補正情報を設定することができる。
　前記投影部および前記撮像部をさらに備えることができる。
　前記投影部および前記撮像部を有する他の情報処理装置から、前記投影画像に関する情報および前記撮像画像に関する情報を取得する取得部をさらに備え、前記色補正情報設定部は、前記情報処理装置自身の前記投影部により投影される投影画像に関する情報、前記情報処理装置自身の前記撮像部により撮像された撮像画像に関する情報、前記取得部により取得された前記他の情報処理装置の前記投影部により投影される投影画像に関する情報、並びに、前記取得部により取得された前記他の情報処理装置の前記撮像部により撮像された撮像画像に関する情報に基づいて、前記色補正情報を設定することができる。
　本技術の情報処理方法は、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する情報処理方法である。
　本技術のプログラムは、コンピュータを、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する色補正情報設定部として機能させるためのプログラムである。
　本技術の情報処理装置および方法、並びに、プログラムにおいては、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像が用いられて、その投影部の画素毎の色補正に関する情報である色補正情報が設定される。
　本技術によれば、情報を処理することが出来る。また本技術によれば、色補正精度の低減を抑制することができる。
投影の様子の例を説明する図である。 投影撮像装置の主な構成例を示すブロック図である。 補正設定処理の流れの例を説明するフローチャートである。 センシングパターン調整処理の流れの例を説明するフローチャートである。 補正データ生成処理の流れの例を説明するフローチャートである。 投影撮像システムの主な構成例を示す図である。 制御装置の主な構成例を示すブロック図である。 補正設定処理の流れの例を説明するフローチャートである。 投影撮像システムや投影撮像装置の他の構成例を示す図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（投影撮像装置）
　２．第２の実施の形態（投影撮像システム）
　３．第３の実施の形態（応用例）
　＜１．第１の実施の形態＞
　　＜投影撮像装置＞
　本技術を適用した情報処理装置の一実施の形態である投影撮像装置の主な構成例を、図１に示す。
　図１に示される投影撮像装置１０１は、投影部１１１を有し、その投影部１１１により画像を投影面１０２に投影する。投影部１１１は、画像の投影に関する処理を行う。例えば、投影部１１１は、投影光を発光し、供給される画像データの画像を投影撮像装置１０１の外部（例えば投影面１０２等）に投影する。つまり、投影部１１１は、投影機能を実現する。投影部１１１の光源は任意であり、LED（Light Emitting Diode）やキセノン等であってもよい。また、投影部１１１が投影光としてレーザ光を発光するようにしてもよい。なお、投影部１１１が、例えば複数のレンズや絞り等からなり、投影光の焦点距離、露出、投影方向、投影画角等を制御する光学系を有するようにしてもよい。
　また、投影撮像装置１０１は、撮像部１１２をさらに有し、投影面１０２を撮像し、撮像画像を得る。撮像部１１２は、イメージセンサを有し、そのイメージセンサにより入射光を光電変換することにより、装置外部の被写体を撮像し、撮像画像を生成する。つまり、撮像部１１２は、撮像機能（センサ機能）を実現する。なお、撮像部１１２が有するイメージセンサは任意であり、例えば、CMOS（Complementary Metal Oxide Semiconductor）を用いたCMOSイメージセンサであってもよいし、CCD（Charge Coupled Device）を用いたCCDイメージセンサであってもよいし、それら以外であってもよい。
　図１に示されるように、投影面１０２における撮像部１１２の撮像範囲１２２は、その投影面１０２における投影部１１１の投影範囲１２１を内包する。したがって、撮像部１１２が得る撮像画像には、投影部１１１によって投影面１０２に投影された投影画像が含まれる。投影撮像装置１０１は、この撮像画像を用いて（すなわち、投影面１０２に投影された様子を参照して）、投影部１１１により投影される画像の色補正を行い、投影面１０２における投影画像の歪みを低減させることができる。
　投影撮像装置１０１が投影する画像は、動画像であってもよいし、静止画像であってもよい。また、投影撮像装置１０１が撮像して得られる撮像画像は、動画像であってもよいし、静止画像であってもよい。また、投影撮像装置１０１にスピーカ等を設け、投影撮像装置１０１が音声を出力することができるようにしてもよい。例えば、投影撮像装置１０１が、投影する画像に合わせた音声（例えばBGM（Back Ground Music）等）を出力することができるようにしてもよいし、操作確認用の音声（例えばビープ音やメッセージ等）を出力することができるようにしてもよい。
　投影面１０２は、投影撮像装置１０１が画像を投影する面である。投影面１０２は、平面であってもよいし、曲面であってもよいし、一部若しくは全部に凹凸を有する面であってもよいし、複数の面により構成されていてもよい。また、投影面１０２の色は任意であり、複数色により構成されるようにしてもよいし、模様や絵柄を有するようにしてもよい。
　図１の例の場合、投影面１０２は、水玉模様のカーテンにより形成されている。つまり、投影面１０２は、様々な曲面の集合により形成されている。また、水玉模様もその曲面形状に応じて変形し、投影面１０２は、より複雑な模様となっている。
　なお、この投影面１０２は、任意の物体に形成されるようにしてもよい。例えば、投影面１０２は、所謂スクリーンや壁面のような面状の物体に形成されるようにしてもよい。また、投影面１０２は、立体構造物に形成されるようにしてもよい。例えばビルディング、駅舎、城等の建造物の壁面等に形成されるようにしてもよいし、例えば、岩等の自然物、看板や銅像等の人造物、箪笥、椅子、机等の家具等に形成されるようにしてもよいし、例えば人や動植物等の生物に形成されるようにしてもよい。また、投影面１０２は、例えば部屋空間の壁、床、天井等のように、複数の面に形成されるようにしてもよい。
　また、投影面１０２は、固体に形成されるようにしてもよいし、液体や気体に形成されるようにしてもよい。例えば、池やプール等の水面、滝や噴水等の流水面、霧やガス等の気体に形成されるようにしてもよい。また、投影面１０２は、移動してもよいし、変形してもよいし、変色してもよい。また、投影面１０２は、例えば、部屋の壁と家具と人物、複数のビルディング、城壁と噴水等のように、複数の物体に形成されるようにしてもよい。
　　＜色補正＞
　このような投影面１０２の形状や色等によって、投影面１０２に投影された投影画像の輝度や色に影響を及ぼし、投影画像の画質が低減してしまう可能性がある。そこで、投影画像に対して色補正を行うことが考えられた。例えば、投影部１１１が所定のテストパターンであるセンシングパターン１３１を投影し、撮像部１１２がその投影画像を撮像し、その撮像画像を得る。この撮像画像を参考にして投影部１１１の投影レベルを制御して、投影画像に対する色補正の為の情報（色補正に関する情報）である色補正情報を設定する方法が考えられた。
　その際、投影部１１１は、センシングパターン１３１として、例えば、黒（BL）のセンシングパターン１３１－１、青（B）のセンシングパターン１３１－２、赤（R）のセンシングパターン１３１－３、緑（G）のセンシングパターン１３１－４、白（W）のセンシングパターン１３１－５のように、複数色のセンシングパターンを用いて色補正情報を生成する。青（B）のセンシングパターン１３１－２、赤（R）のセンシングパターン１３１－３、および緑（G）のセンシングパターン１３１－４は、色域補正のためのセンシングパターン１３１である。黒（BL）のセンシングパターン１３１－１は、照明成分（投影光以外の光による投影面１０２の輝度）補正のためのセンシングパターン１３１である。白（W）のセンシングパターン１３１－５は、ホワイトバランス補正のためのセンシングパターン１３１である。
　ところで、投影画像の色補正方法として、例えば特許文献１に記載の方法のように、投射面の分光反射率あるいは光源下の色情報を用いて入力画像の各色成分を補正する方法が考えられた。また、例えば特許文献２に記載の方法のように、補正情報の生成過程で分光データからXYZ空間に変換を行いRGBに変換することで補正を行う方法も考えられた。
　しかしながら、これらの方法においては、投影画像全体について一様に色補正が行われるため、例えば模様や凹凸等を有する投影面に投影する場合のような複雑な環境下での投影の場合、投影画像の色補正精度が低減し、投影画像の画質が低減する可能性があった。
　例えば、投影面１０２において投影部１１１からの光が、その投影面１０２の形状によって投影画像を見る観察者の方向に反射し難く、輝度が低減することが考えられる。特に、図１の例のように、投影面１０２が複雑な凹凸形状を有する場合、投影画像の位置によってその輝度の低減率が変化することが考えられる。このような場合、投影画像全体に一様に補正を行っても、位置に応じた輝度のばらつきは解消されず、投影画像の画質の低減を十分に抑制することができない可能性がある。
　また、例えば、投影面１０２が赤色の場合、投影画像が赤みがかる等の色変化が生じることが考えられる。特に、図１の例のように、投影面１０２が複雑な模様を有する場合、投影画像の位置によってその色変化の色や程度が変化することが考えられる。このような場合、投影画像全体に一様に補正を行っても、位置に応じた色変化のばらつきは解消されず、投影画像の画質の低減を十分に抑制することができない可能性がある。
　なお、付言するに、特許文献１に記載の方法の場合、色補正情報の生成過程においてRGBの各ゲイン調整が行われるが、それだけでは、色補正性能が十分でない可能性があった。また、特許文献２に記載の方法の場合、補正値を求める過程において事前情報を用いていないため、最適値を求めるまでの処理が複雑になり、処理時間が増大する可能性があった。
　そこで、色補正精度の低減を抑制することができるように、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、その投影部の画素毎の色補正に関する情報である色補正情報を設定するようにする。
　例えば、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する色補正情報設定部を備えるようにする。
　　＜投影撮像装置の主な構成例＞
　図２は、投影撮像装置１０１の主な構成例を示すブロック図である。図２に示されるように、投影撮像装置１０１は、投影部１１１および撮像部１１２の他に、制御部１５１、画像表示部１５２、デバイス制御部１５３、および画像入力部１５４を有する。
　制御部１５１は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し（いずれも図示せず）、プログラムを実行したりデータを処理したりすることにより、投影撮像装置１０１の各部の制御に関する処理を行う。
　画像表示部１５２は、制御部１５１に制御されて、投影される画像に対する画像処理を行う。例えば、画像表示部１５２は、制御部１５１から供給される画像に対して所定の画像処理を行い、その画像を投影部１１１に供給する。
　デバイス制御部１５３は、制御部１５１に制御されて、投影部１１１および撮像部１１２の駆動の制御に関する処理を行う。例えば、デバイス制御部１５３は、投影部１１１を制御して、画像表示部１５２から供給される画像を投影させたり、撮像部１１２を制御して、投影面１０２（投影画像）を撮像させたりする。
　画像入力部１５４は、制御部１５１に制御されて、撮像部１１２において得られる撮像画像に対する画像処理を行う。例えば、画像入力部１５４は、撮像部１１２から供給される撮像画像に対して所定の画像処理を行い、その撮像画像を制御部１５１に供給する。
　投影撮像装置１０１は、さらに、入力部１６１、出力部１６２、記憶部１６３、通信部１６４、およびドライブ１６５を有する。
　入力部１６１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部１６１には、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサや、バーコードリーダ等の入力機器が入力部１６１に含まれるようにしてもよい。出力部１６２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部１６２には、ディスプレイ、スピーカ、出力端子等が含まれる。
　記憶部１６３は、プログラムやデータ等の情報を記憶する記憶媒体よりなる。例えば、記憶部１６３には、ハードディスク、RAMディスク、不揮発性メモリ等が含まれる。通信部１６４は、所定の通信媒体を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスよりなる。通信部１６４は、例えば、ネットワークインタフェースよりなる。例えば、通信部１６４は、投影撮像装置１０１の外部の装置と通信（プログラムやデータの授受）を行う。
　ドライブ１６５は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１７１に記憶されている情報（プログラムやデータ等）を読み出す。ドライブ１６５は、リムーバブルメディア１７１から読み出した情報を制御部１５１に供給する。また、ドライブ１６５は、書き込み可能なリムーバブルメディア１７１が自身に装着された場合、制御部１５１等から供給される情報（プログラムやデータ等）を、そのリムーバブルメディア１７１に記憶させることができる。
　なお、投影部１１１および撮像部１１２は較正済みであり、互いの位置関係（相対位置）も定義されている。
　制御部１５１のCPUは、例えば、ROMや記憶部１６３に記憶されているプログラムを取得し、RAMにロードして実行することにより、各種処理を行う。このRAMにはまた、CPUが各種の処理を実行する上において必要なデータなども適宜記憶される。
　例えば、制御部１５１のCPUは、そのようにプログラム等を実行することにより、投影部１１１や撮像部１１２の制御や色補正情報の設定に関する処理等を行うことができる。
　　＜補正設定処理の流れ＞
　例えば、制御部１５１（のCPU）は、補正設定処理を実行することにより、色補正情報を設定する。この補正設定処理の流れの例を、図３のフローチャートを参照して説明する。
　補正設定処理が開始されると、制御部１５１は、ステップＳ１０１において、投影対象との距離、すなわち、投影部１１１から投影面１０２までの距離を求める。投影部１１１および撮像部１１２は較正済みであり互いの相対位置は既知であるので、制御部１５１は、投影画像を撮像した撮像画像から、三角測量により投影面１０２までの距離（デプス情報）を投影部１１１の画素毎に測定する。また、制御部１５１は、その画素毎の投影面１０２のデプス情報に基づいて、投影面１０２の形状を示す法線情報を生成する。そして、その求めたデプス情報や法線情報に基づいて、制御部１５１は、輝度の幾何的な変化、すなわち輝度の距離による減衰を投影部１１１の画素毎に推定する。つまり、制御部１５１は、投影部１１１の画素毎の輝度値を求める。
　制御部１５１は、以上のように求めた、画素毎の輝度値、デプス情報、および法線情報を例えば記憶部１６３に記憶する。
　ステップＳ１０２において、制御部１５１は、投影部１１１と撮像部１１２との画素対応関係を求める。つまり、制御部１５１は、撮像部１１２の撮像画像上の座標に対して、投影部１１１の投影画素がどこに対応するかを示す画素対応点情報を生成する。より具体的には、制御部１５１は、投影部１１１を制御し、投影部１１１の各画素に対応する投影画像内の位置を識別可能なパターン画像を投影面に投影させる。また、制御部１５１は、撮像部１１２を制御して、その投影画像を撮像させ、撮像画像を生成させる。上述したように、撮像画像に含まれる投影画像において、どの位置が投影部１１１のどの画素に対応するかが既知である。そして撮像画像のどの位置が撮像部１１２のどの画素に対応するかは当然既知である。したがって、制御部１５１は、その撮像画像に含まれる投影画像に基づいて、投影部１１１と撮像部１１２との画素対応関係を求める。
　制御部１５１は、以上のように求めた画素対応関係を、例えば記憶部１６３に記憶する。
　ステップＳ１０３において、制御部１５１は、投影対象形状と視点からの入射角を求める。つまり、制御部１５１は、投影対象（投影面１０２）のデプス情報と法線情報とに基づいて、投影画像を見る観測者から見て、どのような素材・形状の投影対象にどのような入射角で投影光が当たっているかを示す入射角情報を、投影部１１１の画素毎に求める。そして、制御部１５１は、その入射角情報に基づいて、投影光の投影面１０２に対する入射角や投影面の素材・形状等による輝度の減衰量（補正減衰量とも称する）を示す減衰情報（反射率情報とも称する）を、投影部１１１の画素毎に求める。
　制御部１５１は、以上のように求めた画素毎の減衰情報（反射率情報）を、例えば記憶部１６３に記憶する。
　ステップＳ１０４において、制御部１５１は、センシングパターン１３１の初期値（初期出力画素値）と目標輝度値とを生成する。このセンシングパターン１３１は、投影画像に対する色補正の為の情報（色補正に関する情報）である色補正情報を設定するために投影される所定のテストパターンの画像である。このテストパターンは、どのようなパターン（絵柄）であってもよい。例えば、センシングパターン１３１が、色毎（図１の例の場合、黒（BL）のセンシングパターン１３１－１、青（B）のセンシングパターン１３１－２、赤（R）のセンシングパターン１３１－３、緑（G）のセンシングパターン１３１－４、白（W）のセンシングパターン１３１－５）に設定されるようにしてもよい。例えば、制御部１５１は、記憶部１６３に記憶されている画素毎の輝度値、デプス情報、法線情報、画素対応関係、画素毎の減衰情報等を読み出し、それらの情報に基づいて、センシングパターン１３１の初期値（初期出力画素値）を投影部１１１の画素毎に設定する。
　また、目標輝度値は、観察者から見て理想の状態となるようにした場合の投影面１０２の投影画像の輝度値である。理想の状態とは、投影画像が投影面１０２の色や形状等の影響を受けない状態である。つまり、観察者から見た投影画像が、投影部１１１が投影する画像と同一となる状態（輝度、色、形状等に変化が無い状態）である。例えば、制御部１５１は、記憶部１６３に記憶されている画素毎の輝度値、デプス情報、法線情報、画素対応関係、画素毎の減衰情報等を読み出し、それらの情報に基づいて、目標輝度値を投影部１１１の画素毎に設定する。
　ステップＳ１０５において、制御部１５１は、投影面１０２の輝度値が目標輝度値に近づくようにセンシングパターン１３１の調整を行う。上述したように、ステップＳ１０４の処理により、センシングパターン１３１の初期値（初期出力画素値）が設定される。制御部１５１は、このセンシングパターン１３１の初期値（初期出力画素値）に対して、より適切に色補正されたセンシングパターン１３１となるように調整を行う。この調整は必要に応じて繰り返し行われる。この調整の詳細については後述する。
　ステップＳ１０６において、制御部１５１は、ステップＳ１０５の処理により得られた調整後のセンシングパターン１３１を用いて環境モデル式を生成し、その環境モデル式を用いて、色補正情報（色補正の為の補正データ（補正モデル式））を画素毎に生成（設定）する。この色補正情報の設定の詳細については後述する。
　ステップＳ１０７において、制御部１５１は、得られた色補正情報（補正データ（補正モデル式））を、例えば記憶部１６３に記憶する。
　ステップＳ１０７の処理が終了すると、補正設定処理が終了する。
　　＜センシングパターン調整処理の流れ＞
　次に、図４のフローチャートを参照して、図３のステップＳ１０５において実行されるセンシングパターン調整処理の流れの例を説明する。
　センシングパターン調整処理が開始されると、ステップＳ１２１において、制御部１５１は、センシングパターン１３１の投影レベル（出力画素値）を、例えば制御部１５１内のRAMや記憶部１６３等に記憶させる。例えば初回のステップＳ１２１の処理の場合、制御部１５１は、ステップＳ１０４（図３）の処理により設定されたセンシングパターン１３１の初期値（初期出力画素値）を記憶させる。２回目以降のステップＳ１２１の処理の場合、制御部１５１は、後述するステップＳ１２３の処理により設定されたセンシングパターン１３１の投影レベル（出力画素値）を記憶させる。なお、このセンシングパターン１３１の投影レベルのことを、センシングパターンの観察ゲインとも称する。
　ステップＳ１２２において、制御部１５１は、投影部１１１にセンシングパターンを投影させ、撮像部１１２にその投影画像を撮像させて撮像画像を、センシング結果（センシング画素値）として取得する。制御部１５１は、そのセンシング結果（センシング画素値）を、例えば制御部１５１内のRAMや記憶部１６３等に記憶させる。なお、このセンシング結果（センシング画素値）のことを、投影部画素に対応する撮像部画素情報とも称する。
　ステップＳ１２３において、制御部１５１は、センシングパターンの観察ゲインと投影部画素に対応する撮像部画素情報とを記憶部１６３等から読み出し、それぞれのデータを、事前に得られた投影部１１１および撮像部１１２の較正結果（キャリブレーション情報）に基づいてリニア値（リニア領域）に変換して光量計算を行い、目標とするセンシング結果（目標輝度値）にするためのゲイン（センシングゲインとも称する）を設定する。つまり、制御部１５１は、投影面１０２における投影画像の輝度値が目標輝度値により近づくようにゲインの調整を行う。
　制御部１５１は、ステップＳ１２１乃至ステップＳ１２３の各処理を、投影部１１１の処理対象の画素について行う。
　ステップＳ１２４において、制御部１５１は、全ての画素を処理したか否かを判定する。未処理の画素が存在すると判定された場合、制御部１５１は、未処理の画素を処理対象として選択する。ここで選択される画素は、未処理の画素であればどの画素であってもよい。新たな画素が処理対象として選択されると、処理はステップＳ１２１に戻り、それ以降の処理が繰り返される。
　つまり、ステップＳ１２１乃至ステップＳ１２４の各処理が、投影部１１１の画素毎に行われる。各処理が繰り返し実行され、ステップＳ１２４において全ての画素を処理したと判定された場合、処理はステップＳ１２５に進む。
　ステップＳ１２５において、制御部１５１は、投影画像全体としての目標値の達成度を求め、達成度が十分であるか否かを判定する。この十分か否かの判定基準（判定するパラメータや閾値等）は任意である。どのような画質の投影画像にするか等に応じて決定すればよい。画面全体の収束（すなわちセンシング結果）が目標値に十分達していないと判定された場合、処理は、ステップＳ１２１に戻り、それ以降の処理を繰り返す。つまり、投影画像全体の目標値に達するまで、センシングパターンの調整（ステップＳ１２１乃至ステップＳ１２５の各処理）が繰り返される。
　画面全体の収束が目標値に十分達したと判定された場合、センシングパターン調整処理が終了し、処理は図３に戻る。
　　＜補正データ生成処理の流れ＞
　次に、図５のフローチャートを参照して、図３のステップＳ１０６において実行される補正データ生成処理の流れの例を説明する。
　補正データ生成処理が開始されると、ステップＳ１４１において、制御部１５１は、無照射時（つまり、センシングパターン１３１を照射していない状態）のセンシング結果（撮像画像）から、投影光以外の光に基づく投影面１０２の輝度値である照明成分（すなわち、オフセット）を求める。この処理において、制御部１５１は、投影部１１１にセンシングパターン１３１を投影させないようにしてもよいし、照明成分を求めるためのセンシングパターン１３１（例えば、黒（BL）のセンシングパターン１３１－１）を投影させるようにしてもよい。
　ステップＳ１４２において、制御部１５１は、投影部１１１を制御して、色域補正のための各色のセンシングパターン１３１（例えば、青（B）のセンシングパターン１３１－２、赤（R）のセンシングパターン１３１－３、緑（G）のセンシングパターン１３１－４）を投影させる。そして、制御部１５１は、各センシングパターンのセンシング結果に基づいて投影面１０２の距離や形状等を表すパラメータである環境情報を生成する。環境情報は例えば行列式で表され、赤、緑、青の結果を格納する。
　ステップＳ１４３において、制御部１５１は、投影部１１１および撮像部１１２に関する事前に得られた情報（キャリブレーション情報等）を用い、ステップＳ１４２において得られた環境情報を補正するための逆行列（補正行列とも称する）を求める。この逆行列を用いて補正を行うことにより、投影画像の色域変換を行うことができる。
　ステップＳ１４４において、制御部１５１は、投影部１１１を制御して、ホワイトバランスを調整するためのセンシングパターン１３１（例えば、白（W）のセンシングパターン１３１－５）を投影させる。そして、制御部１５１は、ステップＳ１４３の処理により得られた逆行列（補正行列）に対してどのようなゲインをかけるかを示すゲイン情報（変換式のゲイン情報とも称する）を、そのセンシングパターンのセンシング結果と投影対象（投影面１０２）の補正減衰量（ステップＳ１０３（図３）の処理により得られる減衰情報（反射率情報））から求め、投影対象の補正式（補正行列）に反映させる。つまり、このゲイン情報を用いて補正を行うことにより、投影画像のホワイトバランス調整を行うことができる。
　ステップＳ１４５において、制御部１５１は、ステップＳ１４１の処理により設定された照明成分情報、ステップＳ１４３の処理により設定された補正行列、および、ステップＳ１４４の処理により設定された変換式のゲイン情報を組み合わせて、補正データ（補正モデル式）を生成（設定）する。
　ステップＳ１４１乃至ステップＳ１４５の各処理は、投影部１１１の処理対象の画素に対して行われる。ステップＳ１４６において、制御部１５１は、投影部１１１の全ての画素について、これらの処理を実行したか否かを判定する。未処理の画素が存在すると判定された場合、処理はステップＳ１４１に戻り、それ以降の処理が繰り返される。つまり、ステップＳ１４１乃至ステップＳ１４６の各処理が、投影部１１１の各画素について実行される。ステップＳ１４１乃至ステップＳ１４６の各処理が繰り返し実行され、ステップＳ１４６において、全ての画素が処理されたと判定された場合、補正データ生成処理が終了し、処理は図３に戻る。
　　＜補正モデル式＞
　以上のような補正データ生成処理により、例えば、以下の式（１）に示されるような補正モデル式が得られる。
Figure JPOXMLDOC01-appb-M000001
 　・・・（１）
　なお、式（１）の左辺（fc（ci , cγ））は、 撮像部１１２の画素値ciと撮像部１１２のγカーブcγで表される撮像部１１２のリニア画素値を示している。また、式（１）の右辺のM3x3は、投影部１１１と撮像部１１２の色域変換のための行列を示している。また、式（１）の右辺のV3x3は、投影部１１１が投影面の色の影響を受けることを表す行列を示している。
　　＜補正情報の利用＞
　画像を投影する際、制御部１５１は、その投影する画像に対して、以上のような各処理を実行して生成された色補正情報を用いて色補正を画素毎に行い、その色補正された画像を投影部１１１に投影させる。
　このようにすることにより、投影撮像装置１０１は、単純な平面単色壁面のみならず、複雑な形状かつ複雑な模様、色を含む投影面に関してもより適切に補正を行うことができる。つまり、より多様な投影面に対して、色補正精度の低減を抑制することができる。
　また、法線マップを利用して特定の視点からの角度依存による光量減衰を推定することで、視点切り替え時の見えの差を補正する際に拘束に色補正を完了させることができる。
　さらに、投影対象への投影結果から、対象の反射率推定を行い２回目以降のテストパターンを変化させテストパターンを収束させることで目的の期待値を得るためプロジェクタの光学特性情報を必要としない。したがって、より容易に色補正情報を得ることができる。
　また、較正された投影部１１１と撮像部１１２とを用いることにより、投影部１１１の投影面１０２の環境情報をより容易に推定することができ、投影面１０２の形状や投影部１１１からの距離、投影面１０２の反射率などをより容易に把握することができる。そして、較正された撮像部１１２を用いることで、投影部１１１と撮像部１１２との画素対応点をより容易に把握することができる。したがって、投影部１１１の画素単位の色補正情報をより容易に求めることができる。なお、この色補正情報を求める際に、上述の環境情報の推定結果を用いることで、最適値を求めるまでの処理時間を低減することができる。
　さらに、補正目標値に関してはあらかじめ定めるのではなく、投影環境の情報から最適値を推定することで、環境に適した補正を行うことができる。
　また、目標値に達するまでの過程で投影部１１１の特性が経時変化していたとしても、目標値の見直しを行っているため最終的な補正性能がより変わらないようにすることができる。
　さらに、上述したように、制御部１５１は、補正式を求める計算時間に関して、センシングパターンの結果を環境情報に変換する際に、センジングパターンの計算結果が環境情報そのもののため、環境情報の逆行列を求めることは高速であり、分光データからの変換や、色空間の変換を必要としない。また最小化問題を解く必要もないため、非常に高速に計算を行うことができる。
　　＜その他＞
　なお、以上に説明した装置の構成や処理の流れは一例であり、本技術を適用した装置の構成や処理の流れは、上述した例に限定されない。本技術は、較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、その投影部の画素毎の色補正情報を設定すればよい。
　例えば、投影撮像装置１０１が、図２の例以外の構成を有するようにしてもよい。また、図２に示される構成の一部が省略されるようにしてもよい。
　また、例えば、補正設定処理（図３）において、ステップＳ１０４の処理（センシングパターン１３１の初期値の生成や目標輝度値の生成）において、法線情報を利用しないようにしてもよい。また、画素毎の減衰情報を利用しないようにしてもよい。つまり、これらの情報の生成処理を省略するようにしてもよい。
　また、例えば、ステップＳ１０６の処理において生成した補正データを、他の装置（例えばサーバ等）に供給するようにしてもよい。また、ステップＳ１０５の処理により生成した補正後のセンシングパターン１３１を他の装置（例えばサーバ等）に供給するようにしてもよい。そしてその場合、ステップＳ１０６の補正データ生成処理が、他の装置（例えばサーバ等）において実行されるようにしてもよい。
　また、ステップＳ１０４の処理により生成されたセンシングパターン１３１の初期値と目標輝度値とを、他の装置（例えばサーバ等）に供給するようにしてもよい。そしてその場合、ステップＳ１０５のセンシングパターン調整処理が、他の装置（例えばサーバ等）において実行されるようにしてもよい。さらに、ステップＳ１０６の補正データ生成処理も、他の装置（例えばサーバ等）において実行されるようにしてもよい。
　また、ステップＳ１０１乃至ステップＳ１０３の各処理において生成される各種情報を、他の装置（例えばサーバ等）に供給するようにしてもよい。そしてその場合、ステップＳ１０４の処理（センシングパターン１３１の初期値と目標輝度値との生成処理）が、他の装置（例えばサーバ等）において実行されるようにしてもよい。さらに、ステップＳ１０５のセンシングパターン調整処理も、他の装置（例えばサーバ等）において実行されるようにしてもよい。さらに、ステップＳ１０６の補正データ生成処理も、他の装置（例えばサーバ等）において実行されるようにしてもよい。
　つまり、ステップＳ１０６の補正データ生成処理は、投影撮像装置１０１以外の任意の情報処理装置において行うようにしてもよい。すなわち、本技術は、投影撮像装置１０１以外の任意の情報処理装置に適用することができる。
　なお、センシングパターン調整処理（図４）において、画面全体の収束を考慮せず、ステップＳ１２５の処理を省略するようにしてもよい。また、一部の画素についてのみセンシングパターン調整処理を行い、その他の画素については、補間処理等を行うようにしてもよい。
　また、補正データ生成処理（図５）において、補正データの生成の際（ステップＳ１４５）において、照明成分情報を利用しないようにしてもよい。また、変換式のゲイン情報を利用しないようにしてもよい。その場合、これらの情報の生成処理を省略するようにしてもよい。また、一部の画素についてのみ補正データ処理を行い、その他の画素については、補間処理等を行うようにしてもよい。
　さらに、各処理において上述した以外の処理を行ったり、上述した以外のデータを利用したりするようにしてもよい。
　＜２．第２の実施の形態＞
　　＜投影撮像システム＞
　第１の実施の形態においては、１台の投影撮像装置１０１の色補正について説明したが、投影撮像装置１０１の台数は任意であり、複数であってもよい。本技術は、例えば、複数の投影撮像装置１０１を協働させて画像の投影を行うシステムにも適用することができる。
　図６は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示す図である。図６に示される投影撮像システム３００は、３台の投影撮像装置１０１（投影撮像装置１０１－１、投影撮像装置１０１－２、投影撮像装置１０１－３）と制御装置３０１を有し、制御装置３０１がこれらの投影撮像装置１０１を協働させて画像の投影を行うシステムである。
　第１の実施の形態において上述したように、各投影撮像装置１０１は、投影部１１１および撮像部１１２を有する。例えば、投影撮像装置１０１－１は、投影部１１１－１および撮像部１１２－１を有する。また、例えば、投影撮像装置１０１－２は、投影部１１１－２および撮像部１１２－２を有する。さらに、例えば、投影撮像装置１０１－３は、投影部１１１－３および撮像部１１２－３を有する。
　各投影撮像装置１０１は、ネットワーク３０２に通信可能に接続されている。この接続は有線であってもよいし、無線であってもよいし、その両方であってもよい。
　ネットワーク３０２は、任意の通信網であり、有線通信を行ってもよいし、無線通信を行ってもよいし、それらの両方を行ってもよい。また、ネットワーク３０２が、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク３０２に含まれるようにしてもよい。
　制御装置３０１は、ネットワーク３０２に通信可能に接続されている。つまり、制御装置３０１は、このネットワーク３０２を介して、各投影撮像装置１０１と通信することができる。なお、この接続は有線であってもよいし、無線であってもよいし、その両方であってもよい。
　制御装置３０１は、その通信により各投影撮像装置１０１を制御し、投影や撮像等の任意の処理を実行させることができる。例えば、制御装置３０１は、１枚の大画像の互いに異なる部分の小画像を各投影撮像装置１０１から投影面１０２に投影させ、投影面１０２に１枚の大画像に相当する投影画像を投影させることができる。
　なお、図６の例の場合、投影面１０２における、投影撮像装置１０１－１の投影部１１１－１の投影範囲３１１－１と、投影撮像装置１０１－２の投影部１１１－２の投影範囲３１１－２とは、その一部分である重複部分３１３－１において重複している。つまり、投影面１０２のこの重複部分３１３－１においては、投影部１１１－１が投影する投影画像と、投影部１１１－２が投影する投影画像とが重畳して投影されている。
　また、投影面１０２における、投影撮像装置１０１－２の投影部１１１－２の投影範囲３１１－２と、投影撮像装置１０１－３の投影部１１１－３の投影範囲３１１－３とは、その一部分である重複部分３１３－２において重複している。つまり、投影面１０２のこの重複部分３１３－２においては、投影部１１１－２が投影する投影画像と、投影部１１１－３が投影する投影画像とが重畳して投影されている。
　また、投影面１０２において、投影撮像装置１０１－１の撮像部１１２－１の撮像範囲３１２－１は、投影部１１１－１の投影範囲３１１－１を含む。同様に、投影撮像装置１０１－２の撮像部１１２－２の撮像範囲３１２－２は、投影部１１１－２の投影範囲３１１－２を含む。さらに、投影撮像装置１０１－３の撮像部１１２－３の撮像範囲３１２－３は、投影部１１１－３の投影範囲３１１－３を含む。
　なお、各投影撮像装置１０１の投影部１１１および撮像部１１２は、較正済みであるものとする。
　このような投影撮像システム３００において、制御装置３０１は、各投影撮像装置１０１について、画素毎の色補正情報を生成する。各投影撮像装置１０１は、制御装置３０１において生成された色補正情報を用いて、投影する画像に対して色補正を画素毎に行い、その色補正された画像を投影する。
　　＜制御装置の構成例＞
　図７は、図６の制御装置３０１の主な構成例を示すブロック図である。図７に示されるように、制御装置３０１は、CPU３５１、ROM３５２、RAM３５３、バス３５４、入出力インタフェース３６０、入力部３６１、出力部３６２、記憶部３６３、通信部３６４、およびドライブ３６５を有する。
　CPU３５１、ROM３５２、RAM３５３は、バス３５４を介して相互に接続されている。バス３５４にはまた、入出力インタフェース３６０も接続されている。入出力インタフェース３６０には、入力部３６１、出力部３６２、記憶部３６３、通信部３６４、およびドライブ３６５が接続されている。
　入力部３６１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部３６１には、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサや、バーコードリーダ等の入力機器が入力部３６１に含まれるようにしてもよい。出力部３６２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部３６２には、ディスプレイ、スピーカ、出力端子等が含まれる。
　記憶部３６３は、プログラムやデータ等の情報を記憶する記憶媒体よりなる。例えば、記憶部３６３には、ハードディスク、RAMディスク、不揮発性メモリ等が含まれる。通信部３６４は、所定の通信媒体を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスよりなる。通信部３６４は、例えば、ネットワークインタフェースよりなる。例えば、通信部３６４は、制御装置３０１の外部の装置と通信（プログラムやデータの授受）を行う。
　ドライブ３６５は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３７１に記憶されている情報（プログラムやデータ等）を読み出す。ドライブ３６５は、リムーバブルメディア３７１から読み出した情報をCPU３５１やRAM３５３等に供給する。また、ドライブ３６５は、書き込み可能なリムーバブルメディア３７１が自身に装着された場合、CPU３５１やRAM３５３等から供給される情報（プログラムやデータ等）を、そのリムーバブルメディア３７１に記憶させることができる。
　CPU３５１は、例えば、記憶部３６３に記憶されているプログラムを、入出力インタフェース３６０およびバス３５４を介して、RAM３５３にロードして実行することにより、各種処理を行う。RAM３５３にはまた、CPU３５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　例えば、CPU３５１は、そのようにプログラム等を実行することにより、色補正情報の設定に関する処理や、各投影撮像装置１０１の制御に関する処理等を行うことができる。
　　＜補正設定処理の流れ＞
　図８のフローチャートを参照して、制御装置３０１により実行される、色補正情報を設定するための補正設定処理の流れの例を説明する。
　第２の実施の形態の場合、制御装置３０１は、各投影撮像装置１０１について、色補正情報を生成する。各投影撮像装置１０１についての色補正情報は、第１の実施の形態の場合と基本的に同様に生成される。また、第２の実施の形態の場合、全投影撮像装置１０１により画像を投影させることにより投影面１０２に投影される１枚の投影画像全体についても目標値の達成度を判定する。
　そこで、制御装置３０１は、投影撮像装置１０１毎にセンシングパターンを生成して調整し（ステップＳ３０１乃至ステップＳ３０７）、次に、システム全体の収束が目標値に十分に達したことを確認し（ステップＳ３０８）、各投影撮像装置１０１について、補正データを生成する（ステップＳ３０９）。
　したがって、制御装置３０１のCPU３５１は、ステップＳ３０１において、未処理の投影撮像装置１０１の中から処理対象とする投影撮像装置１０１を選択する。その選択された処理対象の投影撮像装置１０１について、ステップＳ３０２乃至ステップＳ３０６の各処理が、図３のステップＳ１０１乃至ステップＳ１０５の各処理と同様に実行される。つまり、ステップＳ３０６においては、図４のフローチャートを参照して説明したように、センシングパターン調整処理が実行される。
　処理対象の投影撮像装置１０１について、以上のように調整後のセンシングパターン１３１が得られると、制御装置３０１のCPU３５１は、ステップＳ３０７において、全ての投影撮像装置１０１について、補正設定処理を行い、（調整済みの）センシングパターン１３１を生成したか否かを判定する。センシングパターン１３１を生成していない投影撮像装置１０１が存在すると判定された場合、処理はステップＳ３０１に戻りそれ以降の処理が繰り返される。すなわち、新たな未処理の投影撮像装置１０１が処理対象として選択され、その投影撮像装置１０１について補正設定処理（ステップＳ３０２乃至ステップＳ３０６の各処理）が行われる。
　以上のように、ステップＳ３０１乃至ステップＳ３０７の各処理が繰り返されることにより、全投影撮像装置１０１について（調整済みの）センシングパターン１３１が生成されると、処理はステップＳ３０８に進む。
　ステップＳ３０８において、制御装置３０１のCPU３５１は、全投影撮像装置１０１が投影した投影画像全体としての目標値の達成度を求め、達成度が十分であるか否かを判定する。この十分か否かの判定基準（判定するパラメータや閾値等）は任意である。どのような画質の投影画像にするか等に応じて決定すればよい。システム全体の収束（すなわち全投影撮像装置１０１のセンシング結果）がその目標値に十分達していないと判定された場合、処理は、ステップＳ３０１に戻り、それ以降の処理を繰り返す。つまり、全投影撮像装置１０１が投影した投影画像全体の目標値に達するまで、センシングパターンの調整（ステップＳ３０１乃至ステップＳ３０８の各処理）が繰り返される。
　そして、ステップＳ３０８において、システム全体の収束が目標値に十分達したと判定された場合、処理はステップＳ３０９に進む。
　ステップＳ３０９において、制御装置３０１のCPU３５１は、各投影撮像装置１０１について、補正データを生成する。つまり、図５のフローチャートを参照して説明したように、補正データ生成処理が各投影撮像装置１０１について実行される。例えば、投影撮像システム３００（図６）の場合、３台の投影撮像装置１０１のそれぞれに対して補正データ生成処理が実行される（３回繰り返される）。
　以上のようにして各投影撮像装置１０１の補正データが生成されると、処理はステップＳ３１０に進む。
　ステップＳ３１０において、制御装置３０１のCPU３５１は、ステップＳ３０９の処理により生成された各投影撮像装置１０１の補正データをRAM３５３、記憶部３６３、若しくはリムーバブルメディア３７１等に記憶する。そして、制御装置３０１のCPU３５１は、所定のタイミングにおいて通信部３６４を制御し、その補正データを各投影撮像装置１０１に色補正情報として供給させる。なお、CPU３５１は、生成された補正データを記憶部３６３等に記憶させずに、通信部３６４を介して投影撮像装置１０１に供給するようにしてもよい。
　ステップＳ３１０の処理が終了すると、補正設定処理が終了する。
　　＜補正情報の利用＞
　画像を投影する際、各投影撮像装置１０１の制御部１５１は、その投影する画像に対して、制御装置３０１から供給される色補正情報を用いて色補正を画素毎に行い、その色補正された画像を投影部１１１に投影させる。
　このようにすることにより、投影撮像システム３００は、投影撮像装置１０１が複数の場合も、より多様な投影面に対して、より適切に補正を行うことができ、色補正精度の低減を抑制することができる。
　投影撮像装置１０１が１台の場合、投影撮像装置１０１と投影面１０２との角度によってはオクルージョンが発生し、光が当たらないケースが発生する可能性があったが、複数台の投影撮像装置１０１を用いることにより、そのようなケースの発生を抑制することができる。つまり、複数台の投影撮像装置１０１を用いることにより、より色補正精度の低減を抑制することができる。
　　＜その他＞
　なお、以上に説明したシステムや装置の構成、処理の流れ等は一例であり、本技術を適用したシステムや装置の構成、処理の流れ等は、上述した例に限定されない。
　例えば、図６においては、３台の投影撮像装置１０１が示されているが、投影撮像システム３００が有する投影撮像装置１０１の数は任意である。同様に、投影撮像システム３００が有する制御装置３０１の数は任意である。また、ネットワーク３０２に、図６に示される装置以外の装置が接続されていてもよい。
　また、例えば、制御装置３０１が、図７の例以外の構成を有するようにしてもよい。また、図７に示される構成の一部が省略されるようにしてもよい。
　また、例えば、補正設定処理（図８）については、第１の実施の形態の場合と基本的に同様に、一部の処理やデータを省略したり、図８に示した以外の処理を行ったり、図８に示されないデータを利用したりしてもよい。また、一部の処理を他の装置において行うようにしてもよい。
　例えば、複数台の投影撮像装置１０１を用いて画像を投影し、図６の例のように投影面１０２において互いの投影画像の一部を重畳させる場合（重複投影を行う場合）その重複投影された領域は、他の領域よりも明るく表示させることができる。そこで、例えば、変換式のゲイン情報を生成する際に（図５のステップＳ１４４の処理の際に）、そのような重複投影される領域を用いるようにしてもよい。この場合、その領域に画像を投影する各投影部１１１の光量の総和を用いて目標値を推定することができるので、変換式のゲイン情報をより正確に設定することができる。つまり、投影画像全体の光量調整をより正確に行うことができる。
　また、投影撮像システム３００が複数の投影撮像装置１０１を有する場合、各投影撮像装置１０１に対する補正設定処理において、他の投影撮像装置１０１の情報を用いることができる。したがって、例えば、投影面１０２が完全拡散反射面でなくとも、撮像画像を利用する撮像部１１２の優先順位を決めることができるため、投影面１０２の反射率を考慮した補正を行うことができる。つまり、色補正精度の低減を抑制することができる。
　例えば、投影面１０２の形状情報を示す「法線ベクトル」と投影面１０２から投影撮像装置１０１への「方向ベクトル」のなす角θが最も小さい投影撮像装置１０１の撮像画像から得られる輝度値を「最大反射輝度値」として得る。なす角θが最も大きい投影撮像装置１０１の撮像画像から得られる輝度値を「最小反射輝度値」として得る。この２つの輝度値からなす角θの変化に応じた「輝度減衰カーブ」を得ることができる。
　そして、「輝度減衰カーブ」が急峻な変化（最大反射輝度と最小反射輝度の差が大きい場合）の場合、投影面の反射率補正を行う。各投影撮像装置１０１で得られた輝度値に、投影面１０２から投影撮像装置１０１への「方向ベクトル」のなす角θで表される「輝度減衰カーブ」を適用し、輝度値の補正を行うことで「環境モデル」を更新する。
　また、投影面１０２から観察者への「方向ベクトル」を使って、観察者から見たときの全ての投影撮像装置１０１の投影面１０２の輝度値を算出する。それら輝度値の最小値を「目標輝度値」とする。
　そして、各投影撮像装置１０１の「補正モデル」のゲインは「目標輝度値」に合わせて収束させる。
　以上のようにすることにより、投影面１０２が任意の形状かつ完全拡散反射面でない場合でも、観察者から見たときに輝度差がより少ない投影を行うことができる。また、補正モデルのゲインの収束が早くなるため、結果的に目標輝度値に合わせた補正モデルの作成を、投影撮像装置１０１単体で行う場合よりも高速に行うことができる。これにより処理時間の短縮だけでなく、負荷の増大の抑制を実現することができる。
　＜３．第３の実施の形態＞
　　＜投影撮像システム、投影撮像装置の構成例＞
　なお、本技術を適用した投影撮像装置や投影撮像システムの構成例は、上述した例に限定されない。例えば、図９のＡに示される投影撮像システム４００のように、制御装置３０１を省略するようにしてもよい。この投影撮像システム４００の場合、上述した補正設定処理等の各処理は、いずれかの投影撮像装置１０１において行われるようにすればよい。このように処理を行う投影撮像装置１０１の数は任意であり、１台であってもよいし、複数台であってもよい。このようにすることにより、この投影撮像システム４００の場合であっても、色補正精度の低減を抑制することができる。
　また、図９のＢに示される投影撮像システム４１０のように、各投影撮像装置の構成が互いに異なるようにしてもよい。図９のＢに示されるように、投影撮像システム４１０は、ネットワーク３０２に通信可能に接続される３台の投影撮像装置４１１（投影撮像装置４１１－１、投影撮像装置４１１－２、投影撮像装置４１１－３）を有する。
　投影撮像装置４１１－１は、２つの投影部１１１（投影部１１１－１－１および投影部１１１－１－２）と１つの撮像部１１２－１とを有する。投影撮像装置４１１－２は、１つの投影部１１１－２と１つの撮像部１１２－２とを有する。投影撮像装置４１１－３は、１つの投影部１１１－３と２つの撮像部１１２（撮像部１１２－３－１および撮像部１１２－３－２）とを有する。
　このように投影撮像装置４１１の構成が互いに異なる場合であっても、第２の実施の形態の場合と同様に処理を行うことができる。つまり、この投影撮像システム４１０の場合も、色補正精度の低減を抑制することができる。
　さらに、図９のＣに示される投影撮像装置４２０のように、複数の投影部１１１と複数の撮像部１１２を備えるようにしてもよい。この場合、投影撮像装置４２０は、投影撮像システム３００の場合と同様に、各投影部１１１について、色補正情報を生成するようにすればよい。このようにすることにより、投影撮像装置４２０の場合も、色補正精度の低減を抑制することができる。
　　＜ソフトウェア＞
　上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
　例えば図２の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１７１により構成される。このリムーバブルメディア１７１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。その場合、例えば、リムーバブルメディア１７１をドライブ１６５に装着することにより、そのリムーバブルメディア１７１に記憶されているこのプログラムを読み出させ、記憶部１６３にインストールさせることができる。
　また例えば図７の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア３７１により構成される。このリムーバブルメディア３７１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MDを含む）や半導体メモリ等も含まれる。その場合、例えば、リムーバブルメディア３７１をドライブ３６５に装着することにより、そのリムーバブルメディア３７１に記憶されているこのプログラムを読み出させ、記憶部３６３にインストールさせることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図２の場合、プログラムは、通信部１６４で受信し、記憶部１６３にインストールすることができる。また例えば図７の場合、プログラムは、通信部３６４で受信し、記憶部３６３にインストールすることができる。
　その他、このプログラムは、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば図２の場合、プログラムは、記憶部１６３や制御部１５１に内蔵されるROM等に予めインストールしておくこともできる。また、例えば図７の場合、プログラムは、記憶部３６３やROM３５２等に予めインストールしておくこともできる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
　　＜その他＞
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する色補正情報設定部
　を備える情報処理装置。
　（２）　前記色補正情報設定部は、前記投影画像と前記撮像画像とに基づいて、前記投影画像が前記投影面に投影されることによる色に関する影響を示す情報である環境情報を、前記投影部の画素毎に求め、前記投影部の画素毎の前記環境情報を用いて前記色補正情報を設定する
　（１）に記載の情報処理装置。
　（３）　前記色補正情報設定部は、さらに、
　　前記投影画像を投影していない状態の前記投影面を撮像した撮像画像に基づいて、前記投影面の照明成分を前記投影部の画素毎に求め、
　　白の前記投影画像から前記色補正情報のゲイン量を前記投影部の画素毎に求め、
　　前記投影部の画素毎の前記照明成分と前記ゲイン量と前記環境情報を用いて前記色補正情報を設定する
　（２）に記載の情報処理装置。
　（４）　前記撮像画像の各画素の画素値に基づいて、前記投影画像を投影する際の前記投影部の投影レベルを前記投影部の画素毎に調整する調整部をさらに備え、
　前記色補正情報設定部は、前記調整部により各画素の投影レベルが調整された前記投影部により投影される前記投影画像を用いて、前記色補正情報を設定する
　（１）乃至（３）のいずれかに記載の情報処理装置。
　（５）　前記調整部は、前記撮像画像の各画素の画素値が各画素の目標値に収束するように、前記投影部の画素毎に前記投影レベルを調整する
　（４）に記載の情報処理装置。
　（６）　前記調整部は、さらに、前記画素値が前記投影画像全体の目標値に収束するように、前記投影部の画素毎に前記投影レベルを調整する
　（５）に記載の情報処理装置。
　（７）　前記撮像画像の各画素の画素値と、前記投影部の各画素と前記撮像部の各画素との対応関係とに基づいて、前記投影レベルの初期値を前記投影部の画素毎に設定する初期値設定部をさらに備え、
　前記調整部は、前記初期値設定部により設定された前記投影部の画素毎の前記投影レベルの初期値を調整する
　（４）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記投影画像と前記撮像画像とに基づいて、前記投影部の各画素と前記撮像部の各画素との対応関係を求める対応関係設定部をさらに備え、
　前記初期値設定部は、前記撮像画像の各画素の画素値と、前記対応関係設定部により設定された前記対応関係とに基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
　（７）に記載の情報処理装置。
　（９）　前記初期値設定部は、さらに、前記投影面のデプス情報および法線情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
　（７）または（８）に記載の情報処理装置。
　（１０）　前記デプス情報および前記法線情報を設定するデプス法線情報設定部をさらに備え、
　前記初期値設定部は、前記デプス法線情報設定部により設定された前記デプス情報および前記法線情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
　（９）に記載の情報処理装置。
　（１１）　前記初期値設定部は、さらに、前記投影面への投影画像の入射角に応じた反射率に関する情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
　（７）乃至（１０）のいずれかに記載の情報処理装置。
　（１２）　前記反射率に関する情報を設定する反射率情報設定部をさらに備え、
　前記初期値設定部は、前記反射率情報設定部により設定された前記反射率に関する情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
　（１１）に記載の情報処理装置。
　（１３）　前記色補正情報設定部は、前記投影部および前記撮像部を有する複数の投影撮像装置のそれぞれについて、前記色補正情報を設定する
　（４）乃至（１２）のいずれかに記載の情報処理装置。
　（１４）　前記調整部は、全ての前記投影撮像装置の前記投影部により前記投影面に投影された投影画像の、観察者から見た場合の輝度値の最小値を、目標値として設定し、前記目標値に収束するように前記投影部の画素毎に前記投影レベルを調整する
　（１３）に記載の情報処理装置。
　（１５）　前記色補正情報設定部は、前記投影撮像装置のそれぞれと前記投影面とのなす角の角度差が所定の閾値より大きい場合、前記投影撮像装置と前記投影面とのなす角に応じて、前記色補正情報を補正する
　（１３）または（１４）に記載の情報処理装置。
　（１６）　前記投影部および前記撮像部を有する投影撮像装置から、前記投影画像に関する情報および前記撮像画像に関する情報を取得する取得部をさらに備え、
　前記色補正情報設定部は、前記取得部により取得された前記投影画像に関する情報および前記撮像画像に関する情報に基づいて、前記色補正情報を設定する
　（１）乃至（１５）のいずれかに記載の情報処理装置。
　（１７）　前記投影部および前記撮像部をさらに備える
　（１）乃至（１６）のいずれかに記載の情報処理装置。
　（１８）　前記投影部および前記撮像部を有する他の情報処理装置から、前記投影画像に関する情報および前記撮像画像に関する情報を取得する取得部をさらに備え、
　前記色補正情報設定部は、前記情報処理装置自身の前記投影部により投影される投影画像に関する情報、前記情報処理装置自身の前記撮像部により撮像された撮像画像に関する情報、前記取得部により取得された前記他の情報処理装置の前記投影部により投影される投影画像に関する情報、並びに、前記取得部により取得された前記他の情報処理装置の前記撮像部により撮像された撮像画像に関する情報に基づいて、前記色補正情報を設定する
　（１７）に記載の情報処理装置。
　（１９）　較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する
　情報処理方法。
　（２０）　コンピュータを、
　較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する色補正情報設定部
　として機能させるためのプログラム。
　１０１　投影撮像装置，　１０２　投影面，　１１１　投影部，　１１２　撮像部，　１２１　投影範囲，　１２２　撮像範囲，　１３１　センシングパターン，　１５１　制御部，　１５２　画像表示部，　１５３　デバイス制御部，　１５４　画像入力部，　１６１　入力部，　１６２　出力部，　１６３　記憶部，　１６４　通信部，　１６５　ドライブ，　３００　投影撮像システム，　３０１　制御装置，　３０２　ネットワーク，　３５１　CPU，　３５２　ROM，　３５３　RAM，　３５４　バス，　３６０　入出力インタフェース，　３６１　入力部，　３６２　出力部，　３６３　記憶部，　３６４　通信部，　３６５　ドライブ，　４００　投影撮像システム，　４１０　投影撮像システム，　４１１　投影撮像装置，　４２０　投影撮像装置

Claims (20)

  1. 　較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する色補正情報設定部
    　を備える情報処理装置。
  2. 　前記色補正情報設定部は、前記投影画像と前記撮像画像とに基づいて、前記投影画像が前記投影面に投影されることによる色に関する影響を示す情報である環境情報を、前記投影部の画素毎に求め、前記投影部の画素毎の前記環境情報を用いて前記色補正情報を設定する
    　請求項１に記載の情報処理装置。
  3. 　前記色補正情報設定部は、さらに、
    　　前記投影画像を投影していない状態の前記投影面を撮像した撮像画像に基づいて、前記投影面の照明成分を前記投影部の画素毎に求め、
    　　白の前記投影画像から前記色補正情報のゲイン量を前記投影部の画素毎に求め、
    　　前記投影部の画素毎の前記照明成分と前記ゲイン量と前記環境情報を用いて前記色補正情報を設定する
    　請求項２に記載の情報処理装置。
  4. 　前記撮像画像の各画素の画素値に基づいて、前記投影画像を投影する際の前記投影部の投影レベルを前記投影部の画素毎に調整する調整部をさらに備え、
    　前記色補正情報設定部は、前記調整部により各画素の投影レベルが調整された前記投影部により投影される前記投影画像を用いて、前記色補正情報を設定する
    　請求項１に記載の情報処理装置。
  5. 　前記調整部は、前記撮像画像の各画素の画素値が各画素の目標値に収束するように、前記投影部の画素毎に前記投影レベルを調整する
    　請求項４に記載の情報処理装置。
  6. 　前記調整部は、さらに、前記画素値が前記投影画像全体の目標値に収束するように、前記投影部の画素毎に前記投影レベルを調整する
    　請求項５に記載の情報処理装置。
  7. 　前記撮像画像の各画素の画素値と、前記投影部の各画素と前記撮像部の各画素との対応関係とに基づいて、前記投影レベルの初期値を前記投影部の画素毎に設定する初期値設定部をさらに備え、
    　前記調整部は、前記初期値設定部により設定された前記投影部の画素毎の前記投影レベルの初期値を調整する
    　請求項４に記載の情報処理装置。
  8. 　前記投影画像と前記撮像画像とに基づいて、前記投影部の各画素と前記撮像部の各画素との対応関係を求める対応関係設定部をさらに備え、
    　前記初期値設定部は、前記撮像画像の各画素の画素値と、前記対応関係設定部により設定された前記対応関係とに基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
    　請求項７に記載の情報処理装置。
  9. 　前記初期値設定部は、さらに、前記投影面のデプス情報および法線情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
    　請求項７に記載の情報処理装置。
  10. 　前記デプス情報および前記法線情報を設定するデプス法線情報設定部をさらに備え、
    　前記初期値設定部は、前記デプス法線情報設定部により設定された前記デプス情報および前記法線情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
    　請求項９に記載の情報処理装置。
  11. 　前記初期値設定部は、さらに、前記投影面への投影画像の入射角に応じた反射率に関する情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
    　請求項７に記載の情報処理装置。
  12. 　前記反射率に関する情報を設定する反射率情報設定部をさらに備え、
    　前記初期値設定部は、前記反射率情報設定部により設定された前記反射率に関する情報に基づいて、前記投影部の画素毎の前記投影レベルの初期値を設定する
    　請求項１１に記載の情報処理装置。
  13. 　前記色補正情報設定部は、前記投影部および前記撮像部を有する複数の投影撮像装置のそれぞれについて、前記色補正情報を設定する
    　請求項４に記載の情報処理装置。
  14. 　前記調整部は、全ての前記投影撮像装置の前記投影部により前記投影面に投影された投影画像の、観察者から見た場合の輝度値の最小値を、目標値として設定し、前記目標値に収束するように前記投影部の画素毎に前記投影レベルを調整する
    　請求項１３に記載の情報処理装置。
  15. 　前記色補正情報設定部は、前記投影撮像装置のそれぞれと前記投影面とのなす角の角度差が所定の閾値より大きい場合、前記投影撮像装置と前記投影面とのなす角に応じて、前記色補正情報を補正する
    　請求項１３に記載の情報処理装置。
  16. 　前記投影部および前記撮像部を有する投影撮像装置から、前記投影画像に関する情報および前記撮像画像に関する情報を取得する取得部をさらに備え、
    　前記色補正情報設定部は、前記取得部により取得された前記投影画像に関する情報および前記撮像画像に関する情報に基づいて、前記色補正情報を設定する
    　請求項１に記載の情報処理装置。
  17. 　前記投影部および前記撮像部をさらに備える
    　請求項１に記載の情報処理装置。
  18. 　前記投影部および前記撮像部を有する他の情報処理装置から、前記投影画像に関する情報および前記撮像画像に関する情報を取得する取得部をさらに備え、
    　前記色補正情報設定部は、前記情報処理装置自身の前記投影部により投影される投影画像に関する情報、前記情報処理装置自身の前記撮像部により撮像された撮像画像に関する情報、前記取得部により取得された前記他の情報処理装置の前記投影部により投影される投影画像に関する情報、並びに、前記取得部により取得された前記他の情報処理装置の前記撮像部により撮像された撮像画像に関する情報に基づいて、前記色補正情報を設定する
    　請求項１７に記載の情報処理装置。
  19. 　較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する
    　情報処理方法。
  20. 　コンピュータを、
    　較正された投影部により投影面に投影された投影画像が較正された撮像部により撮像された撮像画像を用いて、前記投影部の画素毎の色補正に関する情報である色補正情報を設定する色補正情報設定部
    　として機能させるためのプログラム。
PCT/JP2016/068754 2015-07-08 2016-06-24 情報処理装置および方法、並びにプログラム Ceased WO2017006780A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/571,592 US10218949B2 (en) 2015-07-08 2016-06-24 Information processing apparatus, information processing method, and program
JP2017527174A JP6798491B2 (ja) 2015-07-08 2016-06-24 情報処理装置および方法、並びにプログラム
CN201680039021.1A CN107852484B (zh) 2015-07-08 2016-06-24 信息处理装置、信息处理方法和程序
US16/240,315 US10602106B2 (en) 2015-07-08 2019-01-04 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-136728 2015-07-08
JP2015136728 2015-07-08

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/571,592 A-371-Of-International US10218949B2 (en) 2015-07-08 2016-06-24 Information processing apparatus, information processing method, and program
US16/240,315 Continuation US10602106B2 (en) 2015-07-08 2019-01-04 Information processing apparatus, information processing method, and program

Publications (1)

Publication Number Publication Date
WO2017006780A1 true WO2017006780A1 (ja) 2017-01-12

Family

ID=57685564

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/068754 Ceased WO2017006780A1 (ja) 2015-07-08 2016-06-24 情報処理装置および方法、並びにプログラム

Country Status (4)

Country Link
US (2) US10218949B2 (ja)
JP (1) JP6798491B2 (ja)
CN (1) CN107852484B (ja)
WO (1) WO2017006780A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3386196A1 (en) * 2017-03-27 2018-10-10 Casio Computer Co., Ltd. Image processing apparatus, image processing method, and non-transitory computer-readable storage medium having stored thereon image processing program
JP2019029789A (ja) * 2017-07-28 2019-02-21 国立大学法人電気通信大学 画像処理装置、画像処理方法および画像処理プログラム
US11763482B2 (en) 2017-09-27 2023-09-19 Panasonic Intellectual Property Management Co., Ltd. Baggage recognition device, baggage sorting system, and baggage recognition method
WO2023189068A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018207373A (ja) * 2017-06-07 2018-12-27 パナソニックＩｐマネジメント株式会社 投写型表示装置の較正装置、較正方法、プログラム、投写型表示装置、及び投写型表示システム
JP2019078786A (ja) * 2017-10-20 2019-05-23 セイコーエプソン株式会社 画像投射システム、プロジェクター、及び画像投射システムの制御方法
CN108848358B (zh) * 2018-05-31 2020-10-09 歌尔股份有限公司 色彩汇聚误差的修正方法及装置
CN108900821A (zh) * 2018-06-15 2018-11-27 深圳汇通九州科技有限公司 一种投影方法、系统、投影机及终端设备
JP2019220887A (ja) * 2018-06-21 2019-12-26 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN110874002B (zh) * 2018-08-31 2021-12-21 深圳光峰科技股份有限公司 动态调节显示系统色域的系统、方法及显示系统
WO2020166242A1 (ja) * 2019-02-14 2020-08-20 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US11104350B2 (en) * 2019-06-28 2021-08-31 GM Cruise Holdings, LLC Wireless vehicle control of vehicle sensor calibration environment
JP7215458B2 (ja) * 2020-05-19 2023-01-31 セイコーエプソン株式会社 表示システムの制御方法、表示システム、及びプロジェクターの制御方法
EP4228253B1 (en) 2021-04-22 2025-10-08 Samsung Electronics Co., Ltd. Electronic device and control method therefor
KR102669078B1 (ko) 2021-11-23 2024-05-24 한국공학대학교산학협력단 인간 친화형 로봇의 감정 표현을 위한 표정 시각화 정보 생성 방법 및 장치
KR102669074B1 (ko) 2021-11-23 2024-05-24 한국공학대학교산학협력단 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보 생성 방법 및 장치
CN114143523B (zh) * 2021-12-10 2024-07-23 深圳市火乐科技发展有限公司 亮度调节方法、装置、投影设备及存储介质
KR102667970B1 (ko) 2022-06-27 2024-05-23 한국공학대학교산학협력단 반응형 로봇

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057941A1 (ja) * 2003-12-10 2005-06-23 Nec Corporation プロジェクタの色補正方法
JP2007304284A (ja) * 2006-05-10 2007-11-22 Nikon Corp プロジェクタ
JP2008294961A (ja) * 2007-05-28 2008-12-04 Panasonic Electric Works Co Ltd 映像表示装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1090645A (ja) * 1996-09-12 1998-04-10 Matsushita Electric Ind Co Ltd 液晶表示装置
JP2003323610A (ja) 2002-03-01 2003-11-14 Nec Corp プロジェクタの色補正方法および色補正装置
JP4445693B2 (ja) 2002-05-17 2010-04-07 日本電気株式会社 プロジェクタの投射面色補正方法、プロジェクタの投射面色補正システムおよびプロジェクタの投射面色補正用プログラム
TWI231886B (en) * 2003-01-08 2005-05-01 Silicon Optix Inc Image projection system and method
DE10308427B4 (de) * 2003-02-27 2016-07-07 Mann + Hummel Gmbh Kraftstoffilter
US6811264B2 (en) * 2003-03-21 2004-11-02 Mitsubishi Electric Research Laboratories, Inc. Geometrically aware projector
JP3871061B2 (ja) * 2003-03-25 2007-01-24 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4055010B2 (ja) * 2003-09-26 2008-03-05 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3994290B2 (ja) * 2005-01-17 2007-10-17 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2007206797A (ja) * 2006-01-31 2007-08-16 Omron Corp 画像処理方法および画像処理装置
US7905606B2 (en) * 2006-07-11 2011-03-15 Xerox Corporation System and method for automatically modifying an image prior to projection
US20090066916A1 (en) * 2007-09-06 2009-03-12 Microvision, Inc. Scanning laser projector with reduced laser power incident on the retina
JP2011188083A (ja) * 2010-03-05 2011-09-22 Sony Corp 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置
CN102801952B (zh) * 2011-05-28 2015-01-21 华为终端有限公司 视频会议系统调整的方法及装置
JP6041513B2 (ja) * 2012-04-03 2016-12-07 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN103400005B (zh) * 2013-07-22 2016-09-28 西安电子科技大学 一种强光源干扰微光系统成像的特征量化方法
JP2015139177A (ja) * 2014-01-24 2015-07-30 株式会社東芝 制御装置、制御方法、および画像投影システム
JP6459194B2 (ja) * 2014-03-20 2019-01-30 セイコーエプソン株式会社 プロジェクター、及び投写画像制御方法
CN104504710B (zh) * 2014-12-30 2017-04-12 中国科学技术大学 X射线光栅相位衬度成像中摩尔条纹的识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057941A1 (ja) * 2003-12-10 2005-06-23 Nec Corporation プロジェクタの色補正方法
JP2007304284A (ja) * 2006-05-10 2007-11-22 Nikon Corp プロジェクタ
JP2008294961A (ja) * 2007-05-28 2008-12-04 Panasonic Electric Works Co Ltd 映像表示装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3386196A1 (en) * 2017-03-27 2018-10-10 Casio Computer Co., Ltd. Image processing apparatus, image processing method, and non-transitory computer-readable storage medium having stored thereon image processing program
CN108668121A (zh) * 2017-03-27 2018-10-16 卡西欧计算机株式会社 图像处理装置、图像处理方法及存储介质
US10225464B2 (en) 2017-03-27 2019-03-05 Casio Computer Co., Ltd. Image processing apparatus, image processing method, and non-transitory computer-readable storage medium having stored thereon image processing program for correcting an image for projection
CN108668121B (zh) * 2017-03-27 2021-07-06 卡西欧计算机株式会社 图像处理装置、图像处理方法及存储介质
JP2019029789A (ja) * 2017-07-28 2019-02-21 国立大学法人電気通信大学 画像処理装置、画像処理方法および画像処理プログラム
US11763482B2 (en) 2017-09-27 2023-09-19 Panasonic Intellectual Property Management Co., Ltd. Baggage recognition device, baggage sorting system, and baggage recognition method
WO2023189068A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Also Published As

Publication number Publication date
CN107852484A (zh) 2018-03-27
US20190141303A1 (en) 2019-05-09
CN107852484B (zh) 2021-08-13
US20180160086A1 (en) 2018-06-07
JPWO2017006780A1 (ja) 2018-05-24
JP6798491B2 (ja) 2020-12-09
US10602106B2 (en) 2020-03-24
US10218949B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
JP6798491B2 (ja) 情報処理装置および方法、並びにプログラム
JP6658520B2 (ja) 画像処理装置および方法
JP5902297B2 (ja) 撮像デバイスを較正するための方法および装置
US20150098651A1 (en) Color balance in digital photography
WO2018225531A1 (ja) 画像処理装置および方法
JPWO2017006779A1 (ja) 情報処理装置および方法、並びに、投影撮像装置および情報処理方法
CN107566689B (zh) 用于修改输入图像数据的系统和方法
WO2016002510A1 (ja) 画像処理装置および方法
US9696613B2 (en) Image processing apparatus, projector and image processing method
JP6318576B2 (ja) 画像投影システム、画像処理装置、画像投影方法およびプログラム
JP5590668B2 (ja) プロジェクタ装置、映像信号補正装置、映像信号補正方法及びプログラム
WO2018093661A1 (en) System and method for matching lighting conditions for shared virtual presence
WO2019203002A1 (ja) 情報処理装置および方法
CN110677557B (zh) 图像处理方法、装置、存储介质及电子设备
WO2018216500A1 (ja) 画像処理装置および方法
WO2019155903A1 (ja) 情報処理装置および方法
US11727597B2 (en) Calibrating volumetric rig with structured light
JPWO2018155198A1 (ja) 情報処理装置および方法
JP7498517B6 (ja) ３次元仮想モデル生成のためのテクスチャリング方法およびそのためのコンピューティング装置
JP2019139206A (ja) 投影画像の測色を補償するための方法及び装置
US20200374420A1 (en) Image processing apparatus, image processing method, and storage medium
JP2022120607A (ja) 投影装置及び投影方法
JP7633730B2 (ja) ３次元仮想モデルの生成のためのテキスチャーリング方法及びそのためのコンピューティング装置
JP2019068306A (ja) 撮像装置および撮像方法
JP2023021670A (ja) 画像処理装置、撮像システム、及び照明装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16821249

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15571592

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017527174

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16821249

Country of ref document: EP

Kind code of ref document: A1