[go: up one dir, main page]

WO2015001788A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2015001788A1
WO2015001788A1 PCT/JP2014/003475 JP2014003475W WO2015001788A1 WO 2015001788 A1 WO2015001788 A1 WO 2015001788A1 JP 2014003475 W JP2014003475 W JP 2014003475W WO 2015001788 A1 WO2015001788 A1 WO 2015001788A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
parallax
image data
image
parallax image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/003475
Other languages
English (en)
French (fr)
Inventor
清茂 芝崎
浜島　宗樹
晋 森
文樹 中村
家坂　守
潤弥 萩原
石賀　健一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2015525046A priority Critical patent/JP6288088B2/ja
Priority to CN201480037505.3A priority patent/CN105359519B/zh
Publication of WO2015001788A1 publication Critical patent/WO2015001788A1/ja
Priority to US14/980,869 priority patent/US9706186B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Definitions

  • the present invention relates to an imaging apparatus.
  • Patent Literature Japanese Patent Application Laid-Open No. 2003-7994
  • left and right parallax images generated by this type of imaging device are displayed on a display device, a viewer who wears 3D glasses sees it as a 3D image, but a viewer who does not wear 3D glasses.
  • the left and right parallax images are visually recognized as a 2D image including a double image shifted from each other. It is desired that a viewer wearing 3D glasses and a viewer not wearing 3D glasses can simultaneously view the displayed images.
  • An imaging device includes: a first pixel that receives a first partial light beam that is biased in a first direction orthogonal to the optical axis of an optical system, out of subject light beams that are incident through the optical system; An image sensor including at least a second pixel that receives a second partial light beam biased in a second direction opposite to the first direction, first parallax image data based on the output of the first pixel, and output of the second pixel And an image generation unit that generates second parallax image data based on the image, and the first parallax image data corresponds to the optical axis when the imaging element images an object point that exists in the non-focused region of the optical axis.
  • the pixel value of the center pixel is 50% or more of the pixel value of the peak pixel, and in the second parallax image data, the pixel value of the center pixel is 50% or more of the pixel value of the peak pixel.
  • the figure explaining the relationship between the point image distribution of the left viewpoint and the angle dependency of the sensitivity of the parallax Lt pixels is shown.
  • the figure explaining the relationship between the point image distribution of the left viewpoint and the angle dependency of the sensitivity of the parallax Lt pixels is shown. It is a figure explaining the image containing a double image. It is a figure explaining the example of a production
  • the digital camera according to the present embodiment which is a form of the imaging device, is configured to generate a plurality of viewpoint images for one scene by one shooting. Each image having a different viewpoint is called a parallax image.
  • a parallax image In the present embodiment, a case where a right parallax image and a left parallax image from two viewpoints corresponding to the right eye and the left eye are generated will be described.
  • the digital camera according to the present embodiment can generate a parallax-free image with no parallax from the central viewpoint as the viewpoint in the reference direction along with the parallax image.
  • the left viewpoint parallax pixel may be referred to as a parallax Lt pixel
  • the right viewpoint parallax pixel may be referred to as a parallax Rt pixel
  • a non-parallax pixel may be referred to as an N pixel.
  • the parallax image of the left viewpoint is referred to as a parallax Lt image
  • the parallax image of the right viewpoint is referred to as a parallax Rt image
  • an image without parallax is referred to as an N image.
  • FIG. 1 is a diagram illustrating a configuration of a digital camera 10 according to the present embodiment.
  • the digital camera 10 is configured by mounting an interchangeable lens 300 on a camera body 200.
  • the camera body 200 includes an image sensor 100, a camera body control unit 201, an A / D conversion circuit 202, a work memory 203, a drive unit 204, an image processing unit 205, a memory card IF 207, an operation unit 208, a display unit 209, and display control.
  • the unit 210 is provided.
  • the interchangeable lens 300 includes a photographing lens 20 as a photographing optical system, an aperture 22, an interchangeable lens control unit 301, a lens memory 302, and a lens driving unit 304.
  • the camera body 200 includes a camera mount 213, and the interchangeable lens 300 includes a lens mount 303.
  • the camera mount 213 and the lens mount 303 are engaged, the connection between the communication terminal on the camera body 200 side and the communication terminal on the interchangeable lens 300 side is established, and communication such as a control signal can be performed.
  • the camera body control unit 201 and the interchangeable lens control unit 301 control the camera body 200 and the interchangeable lens 300 in cooperation with each other while performing communication.
  • the user can attach any one to the camera body 200 according to the purpose of shooting.
  • the taking lens 20 provided in the interchangeable lens 300 guides the subject light flux incident along the optical axis 21 to the image sensor 100 disposed in the camera body 200.
  • the direction parallel to the optical axis 21 toward the image sensor 100 is defined as the Z-axis plus direction
  • the direction toward the back of the plane of the plane orthogonal to the Z-axis is the X-axis plus direction
  • the upward direction on the plane is Y.
  • the axis is defined as the plus direction.
  • the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes of FIG.
  • the photographing lens 20 is composed of a plurality of optical lens groups, and forms an image of a subject light flux from the scene in the vicinity of its focal plane.
  • the photographic lens 20 is represented by a single virtual lens arranged in the vicinity of the pupil. Further, in the vicinity of the pupil, a stop 22 for limiting the incident light beam concentrically with the optical axis as the center is disposed.
  • the image sensor 100 is disposed in the vicinity of the focal plane of the photographing lens 20.
  • the image sensor 100 is an image sensor such as a CMOS sensor in which a plurality of pixels are two-dimensionally arranged.
  • the image sensor 100 is timing-controlled by the drive unit 204, converts the subject image formed on the light receiving surface into a pixel signal, and outputs the pixel signal to the A / D conversion circuit 202.
  • the A / D conversion circuit 202 converts the pixel signal output from the image sensor 100 into a digital signal and outputs the digital signal to the work memory 203.
  • the image processing unit 205 performs various image processing using the work memory 203 as a work space, and generates image data.
  • the image data includes reference image data generated from the output of the non-parallax pixel of the image sensor 100 and parallax image data generated from the output of the parallax pixel of the image sensor 100.
  • the image processing unit 205 adds additional information according to the determination of the determination unit described later to the generated image data. Specifically, when 2D-3D seamless image data, which will be described later, is generated, additional information indicating that it is 2D-3D seamless image data is added. When 2D image data is generated, additional information indicating that it is 2D image data is added.
  • the display device can determine the type of the image data from the additional information.
  • an image that can be viewed simultaneously by a viewer wearing 3D glasses and a viewer not wearing 3D glasses is called a 2D-3D seamless image.
  • the 2D-3D seamless image provides a stereoscopic 3D image to a viewer wearing 3D glasses, and provides a 2D image without a sense of incongruity to a viewer who does not wear 3D glasses.
  • the image processing unit 205 also has general image processing functions such as adjusting image data according to the selected image format.
  • compression processing is performed after white balance processing, gamma processing, and the like are performed.
  • the generated image data is converted into a display signal by the display control unit 210 and displayed on the display unit 209.
  • the data is recorded on the memory card 220 attached to the memory card IF 207.
  • a series of shooting sequences is started when the operation unit 208 receives a user operation and outputs an operation signal to the camera body control unit 201.
  • Various operations such as AF and AE accompanying the shooting sequence are executed under the control of the camera body control unit 201.
  • the digital camera 10 has a parallax image shooting mode in addition to the normal 2D shooting mode. If the parallax image shooting mode is set, a 2D-3D seamless image described later can be shot. The user can select one of these modes by operating the operation unit 208 while viewing the display unit 209 on which the menu screen is displayed.
  • the camera body control unit 201 includes a determination unit 206 and a camera memory 214.
  • the determination unit 206 acquires lens information of the photographing lens 20 via the interchangeable lens control unit 301.
  • identification information for identifying the interchangeable lens 300 is acquired as lens information.
  • the determination unit 206 acquires a correspondence table described later from the camera memory 214. The determination unit 206 determines whether the mounted interchangeable lens 300 is compatible with 2D-3D seamless image shooting by comparing the lens information of the shooting lens 20 with the correspondence table.
  • the 2D-3D seamless image is displayed on the display device, the 2D-3D seamless image is visually recognized as a 3D image by a viewer wearing 3D glasses and doubled by a viewer who does not wear 3D glasses. It is an image visually recognized as a 2D image not including an image.
  • the camera memory 214 is a non-volatile memory such as a flash memory, and plays a role of storing a program for controlling the digital camera 10, various parameters, and the like.
  • the camera memory 214 stores the above correspondence table.
  • the correspondence table is a table in which identification information of interchangeable lenses that are compatible with 2D-3D seamless image shooting is described.
  • the optical conditions are determined in advance so as to cope with the shooting of the 2D-3D seamless image through experiments or simulations. Specifically, the focal length of the photographing lens, the lens pupil diameter, the open aperture value, etc. are determined.
  • the correspondence table may be updated at any time by firmware upgrade.
  • the interchangeable lens control unit 301 moves the taking lens 20 via the lens driving unit 304. Further, the interchangeable lens control unit 301 reads out the lens information from the lens memory 302 that stores the lens information of the photographing lens 20 and transmits the lens information to the camera body control unit 201.
  • the lens memory 302 stores identification information for identifying the photographing lens 20 as lens information of the photographing lens 20.
  • FIG. 2 is a conceptual diagram conceptually showing a state in which a part of the image sensor 100 is enlarged. For example, 20 million or more pixels are arranged in a matrix in the pixel region. In the present embodiment, 64 pixels of adjacent 8 pixels ⁇ 8 pixels constitute one basic lattice.
  • the basic grid includes four Bayer arrays having 4 ⁇ 2 ⁇ 2 basic units in the Y-axis direction and four in the X-axis direction. As shown in the figure, in the Bayer array, a green filter (G filter) is arranged for the upper left pixel and the lower right pixel, a blue filter (B filter) is arranged for the lower left pixel, and a red filter (R filter) is arranged for the upper right pixel.
  • G filter green filter
  • B filter blue filter
  • R filter red filter
  • the basic grid includes parallax pixels and non-parallax pixels.
  • the parallax pixel is a deviated pixel that receives a partial light beam deviated from the optical axis among incident light beams transmitted through the interchangeable lens 300, converts the light beam into a pixel signal, and outputs the pixel signal.
  • the parallax pixel is provided with a wiring that forms a deviated opening deviated from the pixel center so as to transmit only the partial light flux.
  • the wiring functions as an opening mask that defines the offset opening.
  • the parallax Lt pixel is a pixel that receives a partial light beam that has reached the left side with respect to the center of the pixel, converts it into a pixel signal, and outputs the pixel signal.
  • the parallax Rt pixel is a pixel that receives a partial light beam that has reached the right side with respect to the center of the pixel, converts it into a pixel signal, and outputs the pixel signal.
  • non-parallax pixels are non-decentered pixels without eccentricity. The non-parallax pixel receives the entire incident light beam that passes through the interchangeable lens 300, converts it into a pixel signal, and outputs it.
  • FIG. 2 shows a state in which one basic lattice in the image sensor 100 is arranged as it is in accordance with the pixel arrangement.
  • the pixel types are shown so that they can be understood, the output values corresponding to each pixel are actually arranged.
  • a pixel in the basic grid is represented by PIJ .
  • the upper left pixel is P 11
  • the upper right pixel is P 81.
  • the parallax pixels are arranged as follows.
  • the other pixels are non-parallax pixels, and are any of the non-parallax pixel + R filter, the non-parallax pixel + G filter, and the non-parallax pixel + B filter.
  • the parallax pixels When viewed as a whole of the image sensor 100, the parallax pixels are classified into one of a first group having a G filter, a second group having an R filter, and a third group having a B filter.
  • the basic lattice includes at least one parallax Lt pixel and parallax Rt pixel belonging to each group among N pixels without parallax of the group.
  • these parallax pixels and non-parallax pixels may be arranged in a dispersed manner in the basic lattice. Since the RGB color information can be acquired as the output of the parallax pixel without causing a bias in the spatial resolution for each color component by dispersively arranging, high-quality parallax image data can be obtained.
  • the spatial resolution of the non-parallax pixels is kept close to the Bayer array.
  • FIG. 3 is a diagram for explaining the concept of defocusing in a non-parallax pixel.
  • FIG. 3A when an object point that is a subject exists at the focal position, the subject luminous flux that reaches the image sensor light receiving surface through the lens pupil is steep with the pixel at the corresponding image point as the center.
  • the light intensity distribution is shown. That is, if non-parallax pixels that receive the entire effective luminous flux that passes through the lens pupil are arranged in the vicinity of the image point, the output value of the pixel corresponding to the image point is the largest, and the output value of the pixels arranged in the vicinity Drops rapidly.
  • the subject luminous flux is received by the image sensor compared to the case where the object point exists at the focus position. It shows a gentle light intensity distribution on the surface. That is, the output value at the pixel of the corresponding image point is lowered, and a distribution having output values up to the peripheral pixels is shown.
  • the subject luminous flux exhibits a gentler light intensity distribution on the image sensor light receiving surface.
  • the output value at the pixel of the corresponding image point further decreases, and a distribution having output values up to the surrounding pixels is shown.
  • FIG. 4 is a diagram for explaining the concept of defocusing in a parallax pixel.
  • the parallax Lt pixel and the parallax Rt pixel receive the subject luminous flux that arrives from one of the two parallax virtual pupils set as the optical axis target as a partial region of the lens pupil.
  • a method of capturing a parallax image by receiving subject light fluxes that arrive from different virtual pupils in a single lens pupil is referred to as a monocular pupil division imaging method.
  • the light intensity indicated by the parallax Lt pixel is greater than when the object point exists at the focal position.
  • the distribution peak appears at a position away from the pixel corresponding to the image point in one direction, and its output value decreases.
  • the width of the pixel having the output value is increased. That is, since the point image spreads in the horizontal direction of the light receiving surface of the image sensor, the amount of blur increases.
  • the peak of the light intensity distribution indicated by the parallax Rt pixel appears at a position away from the pixel corresponding to the image point in the opposite direction to the one direction in the parallax Lt pixel and at an equal distance, and the output value similarly decreases. Similarly, the width of the pixel having the output value is increased. That is, the same light intensity distribution that is gentler than that in the case where the object point exists at the focal position appears at an equal distance from each other.
  • the shift amount between the peaks of the light intensity distribution indicated by the parallax Lt pixel and the parallax Rt pixel corresponds to the parallax amount.
  • the light intensity indicated by the parallax Rt pixel is opposite to the state of FIG.
  • the distribution peak appears at a position away from the pixel corresponding to the image point in the one direction.
  • the peak of the light intensity distribution indicated by the parallax Lt pixel appears at a position away from the one direction in the parallax Rt pixel. That is, it is determined in which direction the peak of the light intensity distribution indicated by the parallax Lt pixel and the parallax Rt pixel appears in the direction away from the pixel corresponding to the image point according to the direction of deviation of the object point.
  • FIG. 5 is a diagram for explaining conditions for generating a 2D-3D seamless image. Specifically, it is a diagram showing a point image distribution of object points existing in the out-of-focus region.
  • the horizontal axis represents the pixel position, and the center position is the pixel position corresponding to the image point.
  • the vertical axis represents the signal intensity.
  • a point image distribution 1804 of the left viewpoint of the object points, a point image distribution 1805 of the right viewpoint, and a combined point image distribution 1806 obtained by adding them are shown.
  • the degree of overlap between the point image distribution 1804 and the point image distribution 1805 is important.
  • the peak value a of the overlapping portion of the point image distribution 1804 and the point image distribution 1805 is more than half of the average with respect to the respective peak values b of the point image distribution 1804 and the point image distribution 1805.
  • the peak value b that is the pixel value of the center pixel is preferably 50% or more of the peak value a that is the pixel value of the peak pixel in the overlapping portion.
  • the peak value b that is the pixel value of the center pixel is preferably 50% or more of the peak value a that is the pixel value of the peak pixel in the overlapping portion.
  • the output value has a convex shape as indicated by the composite point image distribution 1806. As shown in the composite point image distribution 1806, if each output value has a convex shape, a viewer who does not wear 3D glasses does not include a double image when left and right parallax images are displayed on the display device. Visible as an image. Further, it is visually recognized as a 3D image by a viewer wearing 3D glasses.
  • the amount of parallax decreases as the overlapping portion of the point image distribution 1804 and the point image distribution 1805 increases. Therefore, it is preferable that the overlapping portion of the point image distribution 1804 and the point image distribution 1805 is appropriately adjusted so that a 2D-3D seamless image can be generated within a range in which the amount of parallax is maintained.
  • FIG. 6 is a diagram for explaining an example of the opening shape of the opening mask when there are two types of parallax pixels. Specifically, FIG. 6 shows that the shape of the opening 104l in the opening mask of the parallax Lt pixel and the shape of the opening 104r of the parallax Rt pixel divide the shape of the opening 104n of the non-parallax pixel by the center line 322. The example which is the same as each shape was shown. That is, in FIG. 5, the area of the opening 104n of the non-parallax pixel is the sum of the area of the opening 104l of the parallax Lt pixel and the area of the opening 104r of the parallax Rt pixel.
  • the opening 104n of the non-parallax pixel is referred to as a full-opening opening, and the opening 104l and the opening 104r are referred to as half-opening openings.
  • the opening is said to be in the reference direction.
  • the opening 104l of the parallax Lt pixel and the opening 104r of the parallax Rt pixel are offset in opposite directions with respect to a virtual center line 322 passing through the center (pixel center) of the corresponding photoelectric conversion element. . Accordingly, the opening 104l of the parallax Lt pixel and the opening 104r of the parallax Rt pixel each generate parallax in one direction with respect to the center line 322 and in the other direction opposite to the one direction.
  • FIG. 7 is a schematic diagram showing a cross section of the image sensor 100.
  • the opening shape corresponds to the opening shape shown in FIG.
  • the imaging element 100 is configured by arranging a microlens 101, a color filter 102, a wiring layer 105, and a substrate 109 in order from the subject side.
  • a plurality of photoelectric conversion elements 108 are two-dimensionally arranged on the substrate 109.
  • the photoelectric conversion element 108 is configured by a photodiode that converts incident light into an electrical signal.
  • An image signal converted by the photoelectric conversion element 108, a control signal for controlling the photoelectric conversion element 108, and the like are transmitted and received through the wiring 106 provided in the wiring layer 105.
  • the wiring 106 also functions as an aperture mask that limits the incident light flux.
  • a prescribed opening shape can be formed by the wiring 106, and the incident light beam can be limited by the opening shape to guide only a specific partial light beam to the photoelectric conversion element 108.
  • the wiring 106 extends in the X-axis direction so as to cover half of the photoelectric conversion element 108 in order to correspond to the opening shape shown in FIG.
  • the incident light beam is limited by the action of the wiring 106 functioning as an aperture mask, and parallax is generated.
  • the end of the extended portion of the wiring 106 is formed in a tapered shape. The light beam incident on the end of the extended portion can be guided to the photoelectric conversion element 108 by diffraction at the end of the extended portion of the wiring 106.
  • the light beam entering the opening 104l of the parallax Lt pixel reaches not only the left half of the corresponding photoelectric conversion element but also the right side portion. This helps to form the point image distribution 1804 and the point image distribution 1805 shown in FIG.
  • the wiring 106 does not exist on the photoelectric conversion element 108 that does not cause parallax. That is, the wiring 106 does not extend in the X-axis direction. In other words, it can be said that the wiring 106 functions as an aperture mask that does not limit the subject luminous flux incident on the corresponding photoelectric conversion element 108, that is, allows the entire incident luminous flux to pass therethrough. Note that the wiring 106 that forms the opening shape may be formed closest to the photoelectric conversion element 108 in the wiring layer 105.
  • the color filter 102 is provided on the wiring layer 105.
  • the color filter 102 is a filter provided in a one-to-one correspondence with each photoelectric conversion element 108, which is colored so as to transmit a specific wavelength band to each photoelectric conversion element 108.
  • at least two types of color filters that are different from each other may be arranged, but in order to obtain a color image with higher image quality, it is preferable to arrange three or more types of color filters.
  • a red filter (R filter) that transmits the red wavelength band, a green filter (G filter) that transmits the green wavelength band, and a blue filter (B filter) that transmits the blue wavelength band may be arranged in a grid pattern.
  • the color filter may be not only a combination of primary colors RGB but also a combination of YCM complementary color filters.
  • the microlens 101 is provided on the color filter 102.
  • the microlens 101 is a condensing lens for guiding more incident subject light flux to the photoelectric conversion element 108.
  • the microlenses 101 are provided in a one-to-one correspondence with the photoelectric conversion elements 108.
  • the optical axis of the microlens 101 is shifted so that more subject light flux is guided to the photoelectric conversion element 108. It is preferable.
  • the arrangement position may be adjusted so that a specific subject light beam, which will be described later, enters more.
  • one unit of the color filter 102 and the microlens 101 provided on a one-to-one basis corresponding to each photoelectric conversion element 108 is referred to as a pixel.
  • the microlens 101 may not be provided.
  • the wiring layer 105 is provided on the side opposite to the photoelectric conversion element 108. Note that the color filter 102 is not provided when a monochrome image signal may be output.
  • the wiring 106 functions as an opening mask. Therefore, the opening width can be freely set by appropriately adjusting the width of the wiring 106. Accordingly, the point image distribution 1804 and the point image distribution 1805 shown in FIG. 5 can be easily overlapped.
  • the opening width of the opening of the parallax Lt pixel and the parallax Rt pixel may be formed larger than the half opening or the half opening.
  • the light receiving area for receiving the subject light beam includes the center of the pixel area, and is set at a position deviated from the center of the pixel area. Therefore, it can have a part which mutually overlaps.
  • the wiring 106 is configured to serve as an opening mask, but an opening mask may be formed separately.
  • an opening mask can be formed immediately below the color filter 102.
  • the opening mask may be arranged separately and independently corresponding to each photoelectric conversion element 108, or may be formed collectively for a plurality of photoelectric conversion elements 108 in the same manner as the manufacturing process of the color filter 102. Further, if a color component is given to the opening of the opening mask, the color filter 102 and the opening mask can be formed integrally.
  • the opening mask may be formed by a permeation blocking film provided to overlap the photoelectric conversion element 108.
  • the opening mask is formed, for example, by sequentially laminating a SiN film and a SiO 2 film to form a permeation blocking film and removing a region corresponding to the opening by etching.
  • the region of the photoelectric conversion element 108 itself may be formed to correspond to the opening.
  • FIG. 8 is a diagram illustrating the configuration of pixels for generating a 2D-3D seamless image.
  • FIG. 8A is a diagram illustrating the configuration of a parallax Lt pixel as a comparative example.
  • the microlens 401, the wiring 406, and the photoelectric conversion element 408 are illustrated.
  • the wiring 406 is disposed in contact with the photoelectric conversion element 408.
  • the wiring 406 covers the right half of the photoelectric conversion element 408.
  • the focal position of the microlens 401 is set to the height of the light receiving surface of the photoelectric conversion element 408.
  • the middle diagram in FIG. 8A shows a state in which parallel light is incident on the microlens 401 vertically. In this state, a part of incident light reaches the photoelectric conversion element 408.
  • the left diagram in FIG. 8A shows a state in which the parallel light incident on the microlens 401 is tilted in the clockwise direction, that is, the minus side. In this state, all of the incident light rays reach the photoelectric conversion element 408.
  • the right diagram in FIG. 8A shows a state in which the parallel light incident on the microlens 401 is tilted counterclockwise, that is, on the plus side. In this state, all the incident light rays do not reach the photoelectric conversion element 408.
  • FIG. 8B is a diagram illustrating the relationship between the light beam incident angle of the parallax Lt pixel and the pixel sensitivity as a comparative example.
  • the horizontal axis indicates the light beam incident angle [ ⁇ ] to the pixel, and the vertical axis indicates the pixel sensitivity.
  • the broken line indicates the relationship between the light beam incident angle of the pixel without parallax and the pixel sensitivity.
  • the wiring 406 is arranged in contact with the photoelectric conversion element 408. Therefore, as shown by a bold line, although the sensitivity is obtained when the incident light angle is negative, In the case of, it has no sensitivity.
  • FIG. 8C is a diagram illustrating the configuration of the parallax Lt pixel according to the present embodiment.
  • the microlens 101, the wiring 106, and the photoelectric conversion element 108 are illustrated.
  • the wiring 106 is disposed at a position away from the photoelectric conversion element 108.
  • the wiring 106 covers the right half of the photoelectric conversion element 108.
  • the focal position of the microlens 101 is set to the height of the light receiving surface of the photoelectric conversion element 108.
  • the center diagram in FIG. 8C shows a state in which parallel light is incident on the microlens 101 perpendicularly. In this state, a part of incident light reaches the photoelectric conversion element 108.
  • the wiring 106 is arranged closer to the microlens 101 than the focal position of the microlens 101, but the range of light flux to be limited is the same, and thus the photoelectric conversion element 408. The amount of light that reaches is unchanged.
  • the left figure of FIG.8 (c) has shown the state in which the parallel light which injects into the microlens 101 inclines in the clockwise direction. In this state, a part of incident light reaches the photoelectric conversion element 108, but the remaining part 111 is blocked by the wiring 106 and does not reach the photoelectric conversion element 108.
  • the right diagram in FIG. 8C shows a state in which the parallel light incident on the microlens 101 is tilted in the counterclockwise direction. In this state, not all the incident light rays reach the photoelectric conversion element 108, but a part 112 reaches the photoelectric conversion element 108.
  • FIG. 8D is a diagram illustrating the relationship between the light beam incident angle and the pixel sensitivity in the parallax Lt pixel of the present embodiment.
  • the horizontal axis indicates the light beam incident angle [ ⁇ ] to the pixel, and the vertical axis indicates the pixel sensitivity.
  • the broken line indicates the relationship between the light beam incident angle of the pixel without parallax and the pixel sensitivity.
  • the pixel has sensitivity not only to the left half but also to the right half as illustrated in a bold line. Have. More specifically, as described in the left diagram of FIG.
  • the pixel sensitivity is lowered by the amount that the remaining portion 111 does not reach the photoelectric conversion element 108.
  • the region 113 corresponds to the pixel sensitivity when the remaining part 111 reaches the photoelectric conversion element 108.
  • a part 112 of the light beam reaches the photoelectric conversion element 108. Therefore, the pixel has a region having sensitivity also in the right half.
  • a region 114 corresponds to the pixel sensitivity due to the part 112 of the light beam reaching the photoelectric conversion element 108.
  • the parallax Lt pixel is taken as an example, but the same applies to the parallax Rt pixel. Since the parallax Lt pixels and the parallax Rt pixels as described above are arranged, the point image distribution 1804 and the point image distribution 1805 shown in FIG. 5 can be easily overlapped as will be described later. In general, the same can be said if the focal position of the microlens 101 is slightly deviated from the surface that limits the incident light beam.
  • limits an incident light beam here corresponds to the wiring 106 in FIG.
  • the wiring 106 and the wiring 106 are set so that the peak value b that is the pixel value of the central pixel is 50% or more of the peak value a that is the pixel value of the peak pixel in the overlapping portion.
  • the distance from the photoelectric conversion element 108, the opening width, the focal length of the microlens 101, and the like are determined.
  • FIG. 9 is a diagram for explaining the relationship between the point image distribution of the left viewpoint and the angle dependency of the sensitivity of the parallax Lt pixel. More specifically, it is a diagram illustrating the relationship between the point image distribution of the left viewpoint and the angle dependency of the sensitivity of the parallax Lt pixels when the parallax Lt pixels as a comparative example are arranged.
  • FIG. 9A shows a case where the object point is deviated from the focal position in the direction away from the light receiving surface of the image sensor, as in FIGS. 4B and 4C already described. Here, a case is shown in which light rays are incident on nine pixels.
  • FIG. 9B shows the point image distribution of the left viewpoint.
  • the horizontal axis indicates the pixel position
  • the vertical axis indicates the signal intensity.
  • the light beam is always incident on the center pixel regardless of the focal point of the object point, whereas the light beam is obliquely incident on the pixel far from the center pixel.
  • the tilt angle of the light beam with respect to the pixel increases.
  • the wiring 406 is arranged so as to cover the right side of the photoelectric conversion element 408, so that the light beam reaches the photoelectric conversion element 408. That is, light rays are incident on the pixel on the left side of the center pixel.
  • the point image distribution at the left viewpoint has a signal intensity in a region on the left side of the center at the pixel position.
  • the right region also has a slight signal intensity due to light diffraction or the like.
  • the point image distribution at the right viewpoint has a signal intensity in the right region at the pixel position.
  • FIG. 9C shows the point image distribution of the left viewpoint and the point image distribution of the right viewpoint. Since the left-view point image distribution and the right-view point image distribution have little signal intensity only in different directions, as shown in the figure, the left-view point image distribution and the right-view point image distribution overlap. The parts are very few.
  • FIG. 10 is a diagram for explaining the relationship between the point image distribution of the left viewpoint and the angle dependency of the sensitivity of the parallax Lt pixel. More specifically, it is a diagram illustrating the relationship between the point image distribution of the left viewpoint and the angle dependency of the sensitivity of the parallax Lt pixels when the parallax Lt pixels of the present embodiment are arranged.
  • FIG. 10A shows a case where the object point is deviated from the focal position in the direction away from the light receiving surface of the image sensor, as in FIGS. 4B and 4C already described. Similarly to FIG. 9A, a case where light rays enter nine pixels is shown.
  • FIG. 10B shows the point image distribution of the left viewpoint.
  • the horizontal axis indicates the pixel position
  • the vertical axis indicates the signal intensity.
  • the solid line shows the point image distribution of the left viewpoint corresponding to FIG. 10A
  • the broken line shows the point image distribution of the left viewpoint shown in FIG.
  • the point image distribution of the left viewpoint has a signal intensity not only in the left area at the pixel position but also in the right area.
  • the point image distribution at the right viewpoint has a signal intensity not only in the right area but also in the left area at the pixel position.
  • FIG. 10C shows a point image distribution at the left viewpoint and a point image distribution at the right viewpoint.
  • the left viewpoint point image distribution also has signal intensity on the right side
  • the right viewpoint point image distribution also has signal intensity on the left side, so as shown in the figure, the left viewpoint point image distribution and the right viewpoint point image distribution
  • the number of overlapping portions is larger than that in FIG.
  • the parallax Lt pixel has a sensitivity in the plus direction as shown in FIG. It is necessary to have.
  • the parallax Rt pixel needs to have sensitivity in the minus direction.
  • the point image distributions at the center pixel position in order for the point image distributions at the center pixel position to have the overlap shown in FIGS. 10C and 5C, not only the case where the parallax Lt pixel and the parallax Rt pixel are inclined at each angle but also the vertical incidence.
  • FIG. 11 is a diagram illustrating an image including a double image. Specifically, it is a diagram showing a point image distribution of object points existing in the out-of-focus region.
  • the horizontal axis represents the pixel position
  • the center position is the pixel position corresponding to the image point.
  • the vertical axis represents the signal intensity.
  • FIG. 11A shows a signal intensity distribution 1702 at the left viewpoint of an object point and a point image distribution 1803 at the right viewpoint. As shown, the signal strength distribution 1702 and the signal strength distribution 1703 are completely separated from each other. Therefore, two peak values of signal intensity exist in the combined point image distribution obtained by adding the signal intensity distribution 1702 and the signal intensity distribution 1703.
  • FIG. 11B shows a point image distribution 1802 of the left viewpoint of the object points, a point image distribution 1803 of the right viewpoint, and a combined point image distribution 1807 obtained by adding them.
  • the point image distribution 1802 and the point image distribution 1803 have portions that overlap each other. Therefore, the image quality for a viewer who does not wear the 3D glasses can be improved as compared with the case where the two point image distributions are separated from each other.
  • the peak value a of the overlapping portion is less than half of the average with respect to each peak value b of the point image distribution 1802 and the point image distribution 1803.
  • FIG. 12 is a diagram illustrating an example of processing for generating 2D image data and parallax image data as reference image data.
  • the basic lattice shown in FIG. 2 will be described as an example.
  • the image processing unit 205 receives raw raw image data in which output values (pixel values) are arranged in the order of pixel arrangement of the image sensor 100, and executes plane separation processing for separating the raw image data into a plurality of plane data.
  • the left column of the figure shows an example of processing for generating 2D-RGB plane data as 2D image data.
  • the image processing unit 205 In generating 2D-RGB plane data, the image processing unit 205 first removes the pixel values of the parallax pixels to form a vacant lattice. Then, the pixel value that becomes the empty grid is calculated by interpolation processing using the pixel values of the surrounding pixels. For example, the pixel value of the empty lattice P 11 is obtained by averaging the pixel values of P ⁇ 1 ⁇ 1 , P 2 ⁇ 1 , P ⁇ 12 , and P 22 which are the pixel values of the G filter pixels adjacent in the diagonal direction. To calculate.
  • the pixel value of the empty lattice P 63 is calculated by averaging the pixel values of P 43 , P 61 , P 83 , and P 65 that are adjacent R filter pixel values by skipping one pixel vertically and horizontally.
  • the pixel value of the air grating P 76 is the pixel value of the adjacent B filter skipping one pixel vertically and horizontally, and averaging operation of the pixel values of P 56, P 74, P 96 , P 78 calculate.
  • the image processing unit 205 performs image processing as a general 2D image according to a predetermined format such as JPEG when generating still image data and MPEG when generating moving image data.
  • the image processing unit 205 further separates the 2D-RGB plane data for each color, performs the interpolation processing as described above, and generates each plane data as reference image data. That is, three of Gn 0 plane data as green reference image plane data, Rn 0 plane data as red reference image plane data, and Bn 0 plane data as blue reference image plane data are generated. Since these plane data are generated based on non-parallax pixels having a high density with respect to the parallax pixels, the resolution is higher than the plane data of the parallax image data described below.
  • the right column of the figure shows an example of generation processing of two G plane data, two R plane data, and two B plane data as plane data constituting parallax pixel data.
  • the two G plane data are GLt plane data as left parallax image data and GRt plane data as right parallax image data.
  • the two R plane data are RLt plane data and right parallax image data as left parallax image data.
  • the two B plane data are the BLt plane data as the left parallax image data and the BRt plane data as the right parallax image data.
  • the image processing unit 205 removes pixel values other than the pixel values of the G (Lt) pixels from all output values of the image sensor 100 to form a vacant lattice. Then, two pixel values P 11 and P 55 remain in the basic lattice. Therefore, four equal portions primitive lattice vertically and horizontally, the 16 pixels of the top left is represented by an output value of the P 11, it is representative of the 16 pixels in the lower right in the output value of the P 55. Then, for the upper right 16 pixels and the lower left 16 pixels, average values of neighboring representative values adjacent in the vertical and horizontal directions are averaged and interpolated. That is, the GLt plane data has one value in units of 16 pixels. More preferably, linear interpolation according to the distance is introduced.
  • the image processing unit 205 removes pixel values other than the pixel value of the G (Rt) pixel from all the output values of the image sensor 100 to obtain an empty grid.
  • two pixel values P 51 and P 15 remain in the basic lattice. Therefore, four equal portions primitive lattice vertically and horizontally, the 16 pixels in the upper right is represented by the output value of the P 51, to the 16 pixels in the lower left is represented by an output value of the P 15.
  • the upper left 16 pixels and the lower right 16 pixels are interpolated by averaging the peripheral representative values adjacent vertically and horizontally. That is, the GRt plane data has one value in units of 16 pixels. More preferably, linear interpolation according to the distance is introduced. In this way, GLt plane data and GRt plane data having a resolution lower than that of the Gn 0 plane data can be generated.
  • the image processing unit 205 In generating the RLt plane data, the image processing unit 205 removes pixel values other than the pixel value of the R (Lt) pixel from all output values of the image sensor 100 to form a vacant lattice. Then, the primitive lattice, the pixel values of P 27 remains. This pixel value is a representative value for 64 pixels of the basic grid. More preferably, linear interpolation according to the distance is introduced. Similarly, when generating the RRt plane data, the image processing unit 205 removes pixel values other than the pixel value of the R (Rt) pixel from all output values of the image sensor 100 to form a vacant lattice. Then, the pixel value P 63 remains in the basic grid.
  • This pixel value is a representative value for 64 pixels of the basic grid. More preferably, linear interpolation according to the distance is introduced. In this way, RLt plane data and RRt plane data having a resolution lower than that of the Rn 0 plane data are generated. In this case, the resolution of the RLt plane data and the RRt plane data is lower than the resolution of the GLt plane data and the GRt plane data.
  • the image processing unit 205 In generating the BLt plane data, the image processing unit 205 removes pixel values other than the pixel values of the B (Lt) pixels from all output values of the image sensor 100 to form a vacant lattice. Then, the primitive lattice, the pixel values of P 32 remains. This pixel value is a representative value for 64 pixels of the basic grid. More preferably, linear interpolation according to the distance is introduced. Similarly, when generating the BRt plane data, the image processing unit 205 removes pixel values other than the pixel value of the B (Rt) pixel from all the output values of the image sensor 100 to obtain an empty grid. Then, the primitive lattice, the pixel values of P 76 remains.
  • This pixel value is a representative value for 64 pixels of the basic grid. More preferably, linear interpolation according to the distance is introduced. In this way, BLt plane data and BRt plane data having a resolution lower than that of the Bn 0 plane data are generated. In this case, the resolution of the BLt plane data and the BRt plane data is lower than the resolution of the GLt plane data and the GRt plane data, and is equal to the resolution of the RLt plane data and the RRt plane data.
  • the image processing unit 205 uses these plane data to generate high-resolution left-viewpoint color image data and right-viewpoint color image data.
  • the red parallax plane (RLt 0 plane data and RRt 0 plane data) is generated using the pixel values of the Rn 0 plane data and the pixel values of the RLt plane data and the RRt plane data. Specifically, for example, when calculating the pixel value RLt 0mn of the target pixel position (i m , j n ) of the RLt 0 plane data, first, the image processing unit 205 first determines the same pixel position (i m of the Rn 0 plane data ). , J n ) extract the pixel value Rn 0mn .
  • the image processing unit 205 calculates the pixel value RLt 0mn by distributing the pixel value Rn 0mn by the ratio of the pixel values RLt mn and RRt mn . Specifically, it is calculated by the following equation (1).
  • RLt 0mn 2Rn 0mn ⁇ RLt mn / (RLt mn + RRt mn ) (1)
  • the image processing unit 205 calculates the pixel value Rn 0mn as the pixel value RLt mn and the pixel value RRt mn . Calculate by distributing by ratio. Specifically, it is calculated by the following equation (2).
  • the image processing unit 205 sequentially executes such processing from (1, 1) which is the pixel at the left end and the upper end to (i 0 , j 0 ) which is the coordinates at the right end and the lower end.
  • a high resolution green disparity plane GLt 0 plane data and GRT 0 generation processing plane data Execute. Specifically, same pixel position of Rn 0 plane data in the above description (i m, j n) instead of extracting the pixel values Rn 0mn from the same pixel position of Gn 0 plane data (i m, j n) extracting pixel values Gn 0mn from further GLt mn instead of RLt mn, extracts GRT mn instead of RRT mn, similarly processed.
  • high-resolution color image data (RLt 0 plane data, GLt 0 plane data, BLt 0 plane data) for the left viewpoint and high-resolution color image data (RRt 0 plane data, GRt 0 for the right viewpoint).
  • Plane data, BRt 0 plane data is generated. That is, the left-viewpoint and right-viewpoint color image data is relatively simple as virtual outputs of the parallax Lt pixel and the parallax Rt pixel that do not actually exist as pixels of the image sensor 100 and have any of RGB color filters. Can be obtained by simple processing. Therefore, if these image data are reproduced by a 3D image compatible reproducing apparatus, the user can appreciate a high-resolution 3D video image as a color image. In particular, since the processing is simple, image data can be generated at high speed, and it can be applied to moving images.
  • the process of generating the high-resolution parallax image data from the low-resolution parallax image data and the high-resolution 2D image data is performed by superimposing the parallax component of the low-resolution parallax image on the 2D image. Since the displacement process is realized, it can be called a parallax modulation process.
  • the parallax modulation process even if the image is not a 2D-3D seamless image before the parallax modulation process, a 2D-3D seamless image can be obtained.
  • FIG. 13 is a diagram for explaining the relationship between parallax modulation processing and 2D-3D seamless image generation.
  • FIG. 13A shows a point image distribution 1802 of an object point at a left viewpoint, a point image distribution 1803 at a right viewpoint, a combined point image distribution 1807 obtained by adding them, and a point image distribution 1801 at a central viewpoint.
  • the parallax modulation process can be expressed by the following mathematical formula.
  • the distribution of (Lt (x, y) + Rt (x, y)) / 2 has a small overlap in the center of the pixel, for example, the peak value a of the overlap portion is a point image.
  • the peak values b of the distribution 1802 and the point image distribution 1803 are 30%. In this case, it is visually recognized as an image including a double image by a viewer who does not wear 3D glasses.
  • N (x, y) is imaged with N pixels. Since N (x, y) is a full aperture, it has a single image characteristic having a peak at the center of the pixel, as indicated by a point image distribution 1801. That is, the central portion is not recessed.
  • FIG. 13B shows a point image distribution 1808 of the left viewpoint of the object points, a point image distribution 1809 of the right viewpoint, and a combined point image distribution 1810 obtained by adding these after the parallax modulation.
  • the average (Lt ′ (x, y) + Rt ′ (x, y)) / 2 distribution of the left and right images after parallax modulation is the same as the distribution of N (x, y) from the above formula. That is, the following formula is obtained.
  • the distribution of the left and right average images after parallax modulation is an image distribution captured by N pixels. Since the central portion is recessed in the denominator of the parallax modulation term, the gain amplification action works near the center. As a result, the central portion of the original distribution of Lt (x, y) is lifted. Similarly, the central portion of Rt (x, y) is also lifted. In the central part, these sums are raised to a level equal to N (x, y). Therefore, even when the overlap of the central portion is 30% of the peak value of N (x, y) at the time of imaging, the peak value of the overlap portion of Lt ′ and Rt ′ is at the 50% level after parallax modulation. Become.
  • 2PD refers to a structure of an image sensor in which a left parallax pixel and a right parallax pixel coexist under one microlens.
  • the average after parallax modulation is expressed by the following mathematical formula.
  • the parallax modulation term the overlapping portion of the central portion is always added to the distribution of the N images after removing the overlapping portions to zero.
  • the average values after the modulation are mutually canceled and only N images remain, so the overlap state does not affect.
  • the correspondence table is a table in which the identification information of the interchangeable lens and whether or not the 2D-3D seamless image can be handled are associated with each other.
  • the optical conditions for realizing the shooting of the 2D-3D seamless image are as follows. It may be a described table.
  • the optical conditions may be set so that the light beam is incident obliquely.
  • the lens memory 302 stores the pupil position, focal length, open aperture value, lens pupil diameter, and the like of the taking lens 20.
  • the determination unit 206 acquires the pupil position, the open aperture value, and the like, and checks whether the optical condition of the mounted interchangeable lens 300 satisfies the optical condition of the correspondence table in comparison with the table in which the optical condition is described. Determine whether.
  • a correspondence table in which optical conditions are described it is not necessary to upgrade the firmware for updating the correspondence table.
  • the determination unit 206 does not use the correspondence table, and the correspondence between the parallax Lt image data and the parallax Rt image data when the optical system satisfies a specific optical condition, for example, when it is different from the optical condition of a genuine interchangeable lens.
  • An arithmetic value Ea obtained by arithmetically averaging the respective pixel values to be calculated and a geometrically calculated arithmetic value Em may be calculated to determine whether the arithmetic value Ea and the arithmetic value Em satisfy Ea / Em ⁇ 3. . Accordingly, when a special interchangeable lens is attached, it is possible to determine whether or not the 2D-3D seamless image shooting is supported even if the correspondence table is not stored in advance.
  • the gradation is assumed to be a linear gradation output by A / D conversion.
  • gamma conversion which is nonlinear conversion
  • the above calculation is performed after returning to the original color space by performing inverse gamma conversion (inverse gradation conversion).
  • the calculation value Ea and the calculation value Em satisfy Ea / Em ⁇ 2.
  • the calculation value Ea and the calculation value Em satisfy Ea / Em> 1. It should be noted that if the calculated value Ea and the calculated value Em are used, it is possible to verify from the pixel value whether the image is a 2D-3D seamless image.
  • the image is a 2D-3D seamless image, and if Ea / Em diverges, the image includes a double image.
  • the arithmetic average calculates a signal value representing the spread width of the entire blur of the two left and right images, whereas the geometric average calculates the signal value representing the overlap width of the two left and right images. This is because the ratio between the arithmetic mean and the geometric mean gives an index representing the degree of blur overlap.
  • the 2D-3D seamless condition may not be satisfied exceptionally with the special lens of the optical system, but the normal optical system lens does not satisfy the 2D-3D seamless condition. This is rare, and the ease with which a double image is generated rather depends on the design structure of the parallax pixels on the image sensor side. Therefore, the value of Ea / Em can also be used as a determination of the 2D-3D seamless condition for the image sensor.
  • the diaphragm shape may not be suitable for 2D-3D seamlessly.
  • the digital camera 10 is an interchangeable lens camera.
  • the digital camera 10 may be an integrated camera in which a lens is configured integrally with the camera body 200.
  • the camera body control unit 201 may not include a determination unit.
  • the determination unit 206 determines whether or not the interchangeable lens is compatible with 2D-3D seamless image shooting. If 2D-3D seamless image shooting is not supported, the user may be notified of this.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

　光学系を介して入射する被写体光束のうち、光学系の光軸に対して直交する第１方向へ偏った第１部分光束を受光する第１画素と、第１方向とは反対の第２方向へ偏った第２部分光束を受光する第２画素を少なくとも含む撮像素子と、第１画素の出力に基づく第１視差画像データと、第２画素の出力に基づく第２視差画像データとを生成する画像生成部とを備え、撮像素子が光軸の非合焦領域に存在する物点を撮像した場合に、第１視差画像データは、光軸に対応する中心画素の画素値が、ピーク画素の画素値の５０％以上であり、第２視差画像データは、中心画素の画素値が、ピーク画素の画素値の５０％以上である撮像装置。

Description

撮像装置
　本発明は、撮像装置に関する。
　単一の撮影光学系を用いて、互いに視差を有する左右の視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
　　［特許文献１］特開２００３－７９９４号公報
　この種の撮像装置により生成された左右の視差画像を表示装置に表示させた場合には、３Ｄメガネを装着した鑑賞者には３Ｄ画像として視認されるものの、３Ｄメガネを装着しない鑑賞者には左右の視差画像が互いにずれた二重像を含む２Ｄ画像として視認される。３Ｄメガネを装着した鑑賞者と、３Ｄメガネを装着しない鑑賞者とが、表示された画像を同時に鑑賞できることが望まれている。
　本発明の一態様における撮像装置は、光学系を介して入射する被写体光束のうち、光学系の光軸に対して直交する第１方向へ偏った第１部分光束を受光する第１画素と、第１方向とは反対の第２方向へ偏った第２部分光束を受光する第２画素を少なくとも含む撮像素子と、第１画素の出力に基づく第１視差画像データと、第２画素の出力に基づく第２視差画像データとを生成する画像生成部とを備え、撮像素子が光軸の非合焦領域に存在する物点を撮像した場合に、第１視差画像データは、光軸に対応する中心画素の画素値が、ピーク画素の画素値の５０％以上であり、第２視差画像データは、中心画素の画素値が、ピーク画素の画素値の５０％以上である。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明の実施形態に係るデジタルカメラの構成を説明する図である。 撮像素子の一部を拡大した様子を概念的に表す概念図である。 視差なし画素におけるデフォーカスの概念を説明する図である。 視差画素におけるデフォーカスの概念を説明する図である。 ２Ｄ－３Ｄシームレス画像を生成するための条件を説明する図である。 視差画素の種類が２つである場合における開口マスクの開口形状の一例を説明する図である。 撮像素子の断面の構成を説明する図である。 ２Ｄ－３Ｄシームレス画像を生成するための画素の構成を説明する図である。 左視点の点像分布と視差Ｌｔ画素の感度の角度依存性との関係を説明する図出る。 左視点の点像分布と視差Ｌｔ画素の感度の角度依存性との関係を説明する図出る。 二重像を含む画像を説明する図である。 ２Ｄ画像データと視差画像データの生成処理の例を説明する図である。 視差変調処理と２Ｄ－３Ｄシームレス画像の生成との関係を説明する図である。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。詳しくは後述するが、本実施形態におけるデジタルカメラは、基準方向の視点として中央視点による視差のない視差なし画像も、視差画像と共に生成できる。また、左視点の視差画素を視差Ｌｔ画素、右視点の視差画素を視差Ｒｔ画素、視差なし画素をＮ画素と記す場合もある。左視点の視差画像を視差Ｌｔ画像、右視点の視差画像を視差Ｒｔ画像、視差なし画像をＮ画像と記す場合もある。
　図１は、本実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、交換レンズ３００がカメラ本体２００に装着されて構成される。カメラ本体２００は、撮像素子１００、カメラ本体制御部２０１、Ａ／Ｄ変換回路２０２、ワークメモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、および表示制御部２１０を備える。交換レンズ３００は、撮影光学系としての撮影レンズ２０、絞り２２、交換レンズ制御部３０１、レンズメモリ３０２、およびレンズ駆動部３０４を備える。また、カメラ本体２００は、カメラマウント２１３を備え、交換レンズ３００は、レンズマウント３０３を備える。カメラマウント２１３とレンズマウント３０３が係合すると、カメラ本体２００側の通信端子と交換レンズ３００側の通信端子との接続が確立され、互いに制御信号等の通信を行うことができる。カメラ本体制御部２０１および交換レンズ制御部３０１は、相互に通信を実行しつつ協働してカメラ本体２００と交換レンズ３００を制御する。
　交換レンズ３００には、焦点距離等が異なる複数の種類がある。ユーザは、撮影目的に応じて任意の一つをカメラ本体２００へ装着することができる。交換レンズ３００に備えられた撮影レンズ２０は、光軸２１に沿って入射する被写体光束をカメラ本体２００内に配置された撮像素子１００へ導く。図１に示すように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
　撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。また、瞳近傍には、光軸を中心として同心状に入射光束を制限する絞り２２が配置されている。
　撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、複数の画素が二次元的に配列された、例えばＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画素信号に変換してＡ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画素信号をデジタル信号に変換してワークメモリ２０３へ出力する。
　画像処理部２０５は、ワークメモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。画像データは、後述するように、撮像素子１００の視差なし画素の出力から生成される基準画像データと、撮像素子１００の視差画素の出力から生成される視差画像データを包含する。また、画像処理部２０５は、後述する判断部の判断に応じた付加情報を生成した画像データに付加する。具体的には、後述する２Ｄ－３Ｄシームレス画像データを生成した場合には、２Ｄ－３Ｄシームレス画像データであることを示す付加情報を付加する。２Ｄ画像データを生成した場合には、２Ｄ画像データであることを示す付加情報を付加する。これにより、画像データを表示装置に表示させる場合に、表示装置は、付加情報から画像データの種別を判断することができる。
　本明細書において、３Ｄメガネを装着した鑑賞者と３Ｄメガネを装着しない鑑賞者とが同時に鑑賞できる画像を２Ｄ－３Ｄシームレス画像という。２Ｄ－３Ｄシームレス画像により、３Ｄメガネを装着した鑑賞者には立体感のある３Ｄ画像が提供されるとともに、３Ｄメガネを装着しない鑑賞者には２Ｄ画像として違和感のない２Ｄ画像が提供される。
　画像処理部２０５は、他にも、選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。ＪＰＥＧファイル形式の画像データを生成する場合には、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、表示制御部２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
　一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、カメラ本体制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ、ＡＥ等の各種動作は、カメラ本体制御部２０１に制御されて実行される。
　デジタルカメラ１０は、通常の２Ｄ撮影モードの他に視差画像撮影モードを備える。視差画像撮影モードに設定されていれば、後述する２Ｄ－３Ｄシームレス画像を撮影することができる。ユーザは、これらのいずれかのモードを、メニュー画面が表示された表示部２０９を視認しながら、操作部２０８を操作することにより選択することができる。
　カメラ本体制御部２０１は、判断部２０６およびカメラメモリ２１４を含む。判断部２０６は、交換レンズ３００がカメラ本体２００に装着されると、交換レンズ制御部３０１を介して撮影レンズ２０のレンズ情報を取得する。本実施形態においては、レンズ情報として交換レンズ３００を識別する識別情報を取得する。また、判断部２０６は、カメラメモリ２１４から後述する対応テーブルを取得する。判断部２０６は、撮影レンズ２０のレンズ情報を対応テーブルに照らし合わせて、装着された交換レンズ３００が２Ｄ－３Ｄシームレス画像の撮影に対応しているか否かを判断する。詳しくは後述するが、２Ｄ－３Ｄシームレス画像は、表示装置に表示された場合に、３Ｄメガネを装着した鑑賞者には３Ｄ画像として視認されるとともに、３Ｄメガネを装着しない鑑賞者には二重像を含まない２Ｄ画像として視認される画像である。
　カメラメモリ２１４は、例えばフラッシュメモリなどの不揮発性メモリであり、デジタルカメラ１０を制御するプログラム、各種パラメータ等を記憶する役割を担う。カメラメモリ２１４は、上記の対応テーブルを記憶している。対応テーブルは、２Ｄ－３Ｄシームレス画像の撮影に対応している交換レンズの識別情報が記載されたテーブルである。対応テーブルに記載された識別情報の交換レンズにおいては、予め実験あるいはシミュレーションを通じて、２Ｄ－３Ｄシームレス画像の撮影に対応すべく光学条件が決定されている。具体的には、撮影レンズの焦点距離、レンズ瞳径、開放絞り値等が決定されている。なお、ファームアップにより対応テーブルを随時更新してもよい。
　交換レンズ制御部３０１は、レンズ駆動部３０４を介して撮影レンズ２０を移動させる。また、交換レンズ制御部３０１は、撮影レンズ２０のレンズ情報を記憶しているレンズメモリ３０２から当該レンズ情報を読み出し、カメラ本体制御部２０１に送信する。レンズメモリ３０２は、撮影レンズ２０のレンズ情報として当該撮影レンズ２０を識別するための識別情報を記憶している。
　図２は、撮像素子１００の一部を拡大した様子を概念的に表す概念図である。画素領域には例えば２０００万個以上もの画素がマトリクス状に配列されている。本実施形態においては、隣接する８画素×８画素の６４画素が一つの基本格子を構成する。基本格子は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配される。
　基本格子は、視差画素と視差なし画素を含む。視差画素は、交換レンズ３００を透過する入射光束のうち、光軸から偏位した部分光束を受光し、画素信号に変換して出力する偏位画素である。詳しくは後述するが、視差画素には、当該部分光束のみを透過させるように、画素中心から偏位した偏位開口を形成する配線が設けられている。配線は、偏位開口を規定する開口マスクとして機能する。視差画素には、視差Ｌｔ画素と視差Ｒｔ画素の２種類が存在する。視差Ｌｔ画素は、画素中心に対して左側に到達した部分光束を受光し、画素信号に変換して出力する画素である。視差Ｒｔ画素は、画素中心に対して右側に到達した部分光束を受光し、画素信号に変換して出力する画素である。一方、視差なし画素は、偏心のない非偏位画素である。視差なし画素は、交換レンズ３００を透過する入射光束の全体を受光し、画素信号に変換して出力する。
　なお、図２においては、撮像素子１００における一つの基本格子を、その画素配列に一致させてそのまま羅列した様子を示している。画素の種類が理解されるように示しているが、実際には各画素に対応した出力値が並ぶ。また、基本格子内の画素をＰＩＪで表す。例えば、左上画素はＰ１１であり、右上画素はＰ８１である。図に示すように、視差画素は以下のように配列されている。
　Ｐ１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
　Ｐ１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
　Ｐ２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
　Ｐ３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
　Ｐ５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
　Ｐ５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
　Ｐ６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
　Ｐ７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
　他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。
　撮像素子１００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分される。基本格子には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素がその群の視差なしＮ画素の間に少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素が、基本格子内において分散して配置されるとよい。分散して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、高品質な視差画像データが得られる。
　図２に示す基本格子においては、Ｇ（Ｎ）＝２８個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝２＋２＝４個であり、Ｒ（Ｎ）＝１４個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝２個、Ｂ（Ｎ）＝１４個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝２個である。ＲＧＢ比率は、視差Ｌｔ画素、視差Ｒｔ画素、および視差なし画素のそれぞれについて、ベイヤー配列と同じＲ：Ｇ：Ｂ＝１：２：１の構成である。視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素の画素数比は、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１である。視差なし画素の空間解像度は、ベイヤー配列に近い状態を保っている。
　続いて、単眼立体撮像におけるボケと視差の関係について説明する。視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する前に、まず、視差なし画素におけるデフォーカスの概念について簡単に説明する。
　図３は、視差なし画素におけるデフォーカスの概念を説明する図である。図３（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。
　一方、図３（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。
　図３（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。
　図３（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合にも、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示す。
　図４は、視差画素におけるデフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。
　図４（ａ）に示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。
　一方、図４（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。すなわち、撮像素子受光面の水平方向に対して点像の広がりを有することになるので、ボケ量は増す。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれ量は、視差量に相当する。
　また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。点像の広がりがより大きくなるので、ボケ量は増す。また、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれも大きくなっているので、視差量も増す。つまり、物点が焦点位置から大きくずれる程、ボケ量と視差量が増すと言える。
　図４（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合には、図４（ｃ）の状態とは逆に、視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から上記一方向に離れた位置に現れる。視差Ｌｔ画素が示す光強度分布のピークは、視差Ｒｔ画素における一方向とは逆向きに離れた位置に現れる。すなわち、物点のずれの方向に応じて、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークが、像点に対応する画素からどちらの方向に離れた位置に現れるかが決まる。
　続いて、２Ｄ－３Ｄシームレス画像を実現するための条件について説明する。撮像素子１００が光軸２１に存在する物点を撮像した場合に、物点が光軸２１上のいずれに位置していても、画像処理部２０５が生成する視差Ｌｔ画像データと視差Ｒｔ画像データがいずれも、光軸２１に対応する中心画素に物点に対する出力値を有していれば、２Ｄ－３Ｄシームレス画像を実現することができる。図５を用いて光学的に説明する。
　図５は、２Ｄ－３Ｄシームレス画像を生成するための条件を説明する図である。具体的には、非合焦領域に存在する物点の点像分布を示す図である。横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、信号強度を表す。図においては、物点の左視点の点像分布１８０４、右視点の点像分布１８０５、およびこれらを足し合わせた合成点像分布１８０６を示している。点像分布１８０４と点像分布１８０５が分離していると、左右の視差画像が表示装置に表示された場合に、中心像の光量不足によって、３Ｄメガネを装着しない鑑賞者に二重像を含む画像として視認される。
　図に示すように、点像分布１８０４と点像分布１８０５が互いに重なり合っていれば、２Ｄ－３Ｄシームレス画像を生成することができる。特に、点像分布１８０４と点像分布１８０５の重なり具合が重要になる。具体的には、点像分布１８０４と点像分布１８０５の重なり部分のピーク値ａは、点像分布１８０４と点像分布１８０５のそれぞれのピーク値ｂに対して、平均の半分以上であることが好ましい。すなわち、視差Ｌｔ画像データにおいて、中心画素の画素値であるピーク値ｂが、重なり部分におけるピーク画素の画素値であるピーク値ａの５０％以上であることが好ましい。同様に、視差Ｒｔ画像データにおいて、中心画素の画素値であるピーク値ｂが、重なり部分におけるピーク画素の画素値であるピーク値ａの５０％以上であることが好ましい。換言すると、視差Ｌｔ画像データと視差Ｒｔ画像データを重ね合わせた合成画像データにおいて、合成点像分布１８０６に示すように、出力値が凸形状を成すことが好ましいとも言える。合成点像分布１８０６に示すように、それぞれの出力値が凸形状を成せば、左右の視差画像が表示装置に表示された場合に、３Ｄメガネを装着しない鑑賞者に二重像を含まない２Ｄ画像として視認される。また、３Ｄメガネを装着する鑑賞者に３Ｄ画像として視認される。
　なお、点像分布１８０４と点像分布１８０５の重なり部分が多くなるほど、視差量は小さくなる。したがって、点像分布１８０４と点像分布１８０５の重なり部分は、視差量を維持する範囲において、２Ｄ－３Ｄシームレス画像を生成できるように適宜調整されることが好ましい。
　図６は、視差画素の種類が２つである場合における開口マスクの開口形状の一例を説明する図である。具体的には、図６は、視差Ｌｔ画素の開口マスクにおける開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図５では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。この場合、視差なし画素の開口部１０４ｎを全開口の開口部といい、開口部１０４ｌおよび開口部１０４ｒを半開口の開口部という。開口部が光電変換素子の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。したがって、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒはそれぞれ、中心線３２２に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。
　図７は、撮像素子１００の断面を表す概略図である。図７においては、開口形状は、図６で示した開口形状に対応する。撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、配線層１０５、および基板１０９が配列されて構成されている。
　基板１０９には、二次元的に複数の光電変換素子１０８が配列されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。
　配線１０６は、入射光束を制限する開口マスクとしても機能する。規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導くことができる。本実施形態においては、図６に示した開口形状に対応すべく、配線１０６は、光電変換素子１０８の半分を覆うようにＸ軸方向に延伸している。開口マスクとして機能する配線１０６の作用により入射光束が制限され、視差が生じることになる。配線１０６の延伸部分の端部は、テーパー形状に形成されている。配線１０６の延伸部分の端部での回折により、延伸部分の端部に入射した光束を光電変換素子１０８に導くことができる。より詳細には、視差Ｌｔ画素の開口部１０４ｌに入射する光束は、対応する光電変換素子の左側半分に限らず、右側部分にも到達する。このことは、図５に示した点像分布１８０４と点像分布１８０５と形成する一助になる。
　一方、視差を生じさせない光電変換素子１０８上には、配線１０６が存在しない。すなわち、配線１０６は、Ｘ軸方向に延伸していない。別言すれば、配線１０６は、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口マスクとして機能するとも言える。なお、開口形状を形成する配線１０６を配線層１０５のうち最も光電変換素子１０８側に形成してもよい。
　カラーフィルタ１０２は、配線層１０５上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されればよいが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列するとよい。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列するとよい。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹＣＭの補色フィルタの組合せであってもよい。
　マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、後述の特定の被写体光束がより多く入射するように配置位置が調整されてもよい。
　このように、各々の光電変換素子１０８に対応して一対一に設けられるカラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。なお、集光効率、光電変換効率がよいイメージセンサの場合は、マイクロレンズ１０１を設けなくてもよい。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。なお、白黒画像信号を出力すればよい場合にはカラーフィルタ１０２は設けない。
　以上のように、本実施形態においては、配線１０６を開口マスクとして機能させる。したがって、配線１０６の幅を適宜調整することにより、自由に開口幅を設定できる。よって、図５に示した点像分布１８０４と点像分布１８０５に簡単に重なり部分を持たせることができる。視差Ｌｔ画素および視差Ｒｔ画素の開口の開口幅は、半開口または半開口よりも大きく形成するとよい。このような開口を持つ視差画素は、被写体光束を受光する受光領域が画素領域の中心を含み、かつ、当該画素領域の中心に対して偏位した位置に設定されている。よって、互いに重なる部分を有することができる。
　以上の説明では、配線１０６が開口マスクの機能を兼ねる構成であったが、開口マスクを別途形成してもよい。例えば、カラーフィルタ１０２の直下に開口マスクを形成することができる。開口マスクは、各光電変換素子１０８に対応して別個独立に配列してもよいし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成してもよい。また、開口マスクの開口部に色成分を持たせれば、カラーフィルタ１０２と開口マスクを一体的に形成することもできる。
　開口マスクは、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されてもよい。この場合、開口マスクは、例えば、ＳｉＮ膜とＳｉＯ２膜を順次積層して透過阻止膜とし、開口部に相当する領域をエッチングで除去して形成される。さらに、光電変換素子１０８そのものの領域を開口部に相当するように形成してもよい。
　図８は、２Ｄ－３Ｄシームレス画像を生成するための画素の構成を説明する図である。図８（ａ）は、比較例としての視差Ｌｔ画素の構成を説明する図である。ここでは、マイクロレンズ４０１、配線４０６、および光電変換素子４０８を図示している。配線４０６は、光電変換素子４０８に接した状態で配置されている。配線４０６は、光電変換素子４０８の右半分を覆っている。また、マイクロレンズ４０１の焦点位置は光電変換素子４０８の受光面の高さに設定されている。図８（ａ）の中央の図は、マイクロレンズ４０１に垂直に平行光が入射した状態を示している。この状態においては、入射する光線の一部は光電変換素子４０８に達する。図８（ａ）の左図は、マイクロレンズ４０１に入射する平行光が時計回りの方向、すなわちマイナス側に傾いた状態を示している。この状態においては、入射する光線の全ては光電変換素子４０８に達する。図８（ａ）の右図は、マイクロレンズ４０１に入射する平行光が反時計回りの方向、すなわちプラス側に傾いた状態を示している。この状態においては、入射する光線の全ては光電変換素子４０８に達しない。
　図８（ｂ）は、比較例としての視差Ｌｔ画素の光線入射角度と画素感度との関係を説明する図である。横軸は、画素への光線入射角度［θ］を示し、縦軸は、画素感度を示す。破線は、視差なし画素の光線入射角度と画素感度との関係を示す。比較例としての視差Ｌｔ画素においては、配線４０６が光電変換素子４０８に接した状態で配置されているので、太線で図示するように、入射光線角度がマイナスの場合には感度を有するものの、プラスの場合には感度を有しない。
　図８（ｃ）は、本実施形態の視差Ｌｔ画素の構成を説明する図である。ここでは、マイクロレンズ１０１、配線１０６、および光電変換素子１０８を図示している。既に説明したように、配線１０６は、光電変換素子１０８から離れた位置に配置されている。配線１０６は、光電変換素子１０８の右半分を覆っている。また、マイクロレンズ１０１の焦点位置は光電変換素子１０８の受光面の高さに設定されている。図８（ｃ）の中央の図は、マイクロレンズ１０１に垂直に平行光が入射した状態を示している。この状態においては、入射する光線の一部は光電変換素子１０８に達する。比較例の視差Ｌｔ画素と比較した場合には、配線１０６がマイクロレンズ１０１の焦点位置よりもマイクロレンズ１０１寄りに配置されているが、制限する光束の範囲は同一であるので、光電変換素子４０８に達する光線の量は変わらない。
　図８（ｃ）の左図は、マイクロレンズ１０１に入射する平行光が時計回りの方向に傾いた状態を示している。この状態においては、入射する光線の一部は光電変換素子１０８に達するものの、残部１１１は配線１０６により遮られて光電変換素子１０８に達しない。図８（ｃ）の右図は、マイクロレンズ１０１に入射する平行光が半時計回りの方向に傾いた状態を示している。この状態においては、入射する光線の全てが光電変換素子１０８に達しないのではなく、一部１１２は光電変換素子１０８に達する。
　図８（ｄ）は、本実施形態の視差Ｌｔ画素における光線入射角度と画素感度の関係を説明する図である。横軸は、画素への光線入射角度［θ］を示し、縦軸は、画素感度を示す。破線は、視差なし画素の光線入射角度と画素感度との関係を示す。本実施形態の視差Ｌｔ画素においては、配線１０６が光電変換素子１０８から離れた位置に配置されているので、太線で図示するように、画素は、左半分だけでなく、右半分にも感度を有する。より詳細には、図８（ｃ）の左図で説明したように、この状態においては、残部１１１が光電変換素子１０８に達しない分だけ、画素感度は低下する。領域１１３は、残部１１１が光電変換素子１０８に達した場合の画素感度に相当する。一方で、図８（ｃ）の右図で説明したように、この状態においては、光線の一部１１２は光電変換素子１０８に達する。したがって、画素は、右半分にも感度を有する領域を持つ。図においては、領域１１４は、光線の一部１１２が光電変換素子１０８に達したことによる画素感度に相当する。
　なお、以上の説明では、視差Ｌｔ画素を例に挙げたが、視差Ｒｔ画素についても同様のことが言える。以上のような視差Ｌｔ画素、視差Ｒｔ画素が配列されているので、後述するように、図５に示した点像分布１８０４と点像分布１８０５とを重なり易くすることができる。一般には、マイクロレンズ１０１の焦点位置が入射光束を制限する面から少しでもずれていれば、同様のことが言える。ここでいう入射光束を制限する面は、図７、８における配線１０６に相当する。視差Ｌｔ画像データおよび視差Ｒｔ画像データのそれぞれにおいて、中心画素の画素値であるピーク値ｂが、重なり部分におけるピーク画素の画素値であるピーク値ａの５０％以上になるように、配線１０６と光電変換素子１０８との距離、開口の幅、マイクロレンズ１０１の焦点距離等が決定される。
　図９は、左視点の点像分布と視差Ｌｔ画素の感度の角度依存性との関係を説明する図である。より詳細には、比較例としての視差Ｌｔ画素が配列された場合において、左視点の点像分布と視差Ｌｔ画素の感度の角度依存性との関係を説明する図である。図９（ａ）は、既に説明した図４（ｂ）、（ｃ）と同じように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合を示している。ここでは、九つの画素に光線が入射する場合を示している。図９（ｂ）は、左視点の点像分布を示す。横軸は画素位置を示し、縦軸は信号強度を示す。図示するように、中心画素には、物点の焦点位置によらず、光線は常に垂直に入射するのに対し、中心画素から離れた画素には、光線は斜めに入射する。そして、中心画素から離れるに従って、画素に対する光線の傾き角度は大きくなる。光線が時計回りに傾いている場合には、配線４０６が光電変換素子４０８の右側を覆うように配置されているので、光線は光電変換素子４０８に達する。すなわち、中心画素よりも左側の画素には、光線が入射する。一方で、光線が反時計回りに傾いている場合には、光線は光電変換素子４０８に達しない。すなわち、中心画素よりも右側の画素には、光線が入射しない。以上のことから、結果として、左視点の点像分布は、画素位置において中心よりも左側の領域に信号強度を持つ分布となる。なお、実際には、図示するように、光の回折等により右側領域にも若干の信号強度を持つ。一方で、右視点の点像分布は、画素位置において右側の領域に信号強度を持つ分布となる。
　図９（ｃ）は、左視点の点像分布と右視点の点像分布とを示す。左視点の点像分布と右視点の点像分布とは、互いに異なる方向にしかほとんど信号強度を有しないので、図示するように、左視点の点像分布と右視点の点像分布との重なり部分は非常に少なくなる。
　図１０は、左視点の点像分布と視差Ｌｔ画素の感度の角度依存性との関係を説明する図である。より詳細には、本実施形態の視差Ｌｔ画素が配列された場合において、左視点の点像分布と視差Ｌｔ画素の感度の角度依存性との関係を説明する図である。図１０（ａ）は、既に説明した図４（ｂ）、（ｃ）と同じように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合を示している。図９（ａ）と同様に、九つの画素に光線が入射する場合を示している。図１０（ｂ）は、左視点の点像分布を示す。横軸は画素位置を示し、縦軸は信号強度を示す。特に、実線は、図１０（ａ）に対応する左視点の点像分布を示し、破線は、図９（ｂ）の左視点の点像分布を示す。光線が時計回りに傾いている場合には、光線は光電変換素子１０８に達する。すなわち、中心画素よりも左側の画素には、光線が入射する。一方で、光線が反時計回りに傾いている場合にも、光線は光電変換素子１０８に達する。すなわち、中心画素よりも右側の一部の画素にも、光線が入射する。以上のことから、結果として、左視点の点像分布は、画素位置において左側の領域に信号強度を持つだけでなく、右側の領域にも信号強度を持つ分布となる。なお、右視点の点像分布は、画素位置においては右側の領域に信号強度を持つだけでなく、左側の領域にも信号強度を持つ分布となる。
　図１０（ｃ）は、左視点の点像分布と右視点の点像分布とを示す。左視点の点像分布が右側にも信号強度を持ち、右視点の点像分布が左側にも信号強度を持つので、図示するように、左視点の点像分布と右視点の点像分布との重なり部分は、図９（ｃ）に比べて多くなる。
　以上のように、左視点の点像分布において、中心画素に対して右側の位置で信号強度を持つためには、視差Ｌｔ画素は、図８（ｄ）に示したように、プラス方向に感度を有する必要がある。同様に、右視点の点像分布において、中心画素に対して左側の位置で信号強度を持つためには、視差Ｒｔ画素はマイナス方向に感度を有する必要がある。一方で、中心画素位置で両者の点像分布が図１０（ｃ）や図５に示す重なりを持つためには、視差Ｌｔ画素と視差Ｒｔ画素がそれぞれ傾いた角度の場合だけでなく、垂直入射に対しても感度を有する必要がある。結果として、視差Ｌｔ画素と視差Ｒｔ画素の入射角度と画素感度の関係を図示したとき、両者が垂直入射、すなわち０度の入射角度で重なりをもつと、点像分布においても中心画素で重なりをもつことになる。
　図１１は、二重像を含む画像を説明する図である。具体的には、非合焦領域に存在する物点の点像分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、信号強度を表す。図１１（ａ）は、物点の左視点の信号強度分布１７０２、および右視点の点像分布１８０３を示している。図示するように、信号強度分布１７０２および信号強度分布１７０３は、互いに完全に分離している。したがって、信号強度分布１７０２と信号強度分布１７０３を足し合わせた合成点像分布には、信号強度のピーク値が二つ存在することになる。そうすると、３Ｄメガネを装着しない鑑賞者には、二つのピーク値によって二重像を含む画像として視認される。図１１（ｂ）は、物点の左視点の点像分布１８０２、右視点の点像分布１８０３、およびこれらを足し合わせた合成点像分布１８０７を示している。点像分布１８０２および点像分布１８０３は、互いに重なる部分を有する。したがって、２つの点像分布が互いに分離している場合に比べて、３Ｄメガネを装着しない鑑賞者に対する画質を改善することができる。図に示す例においては、重なり部分のピーク値ａは、点像分布１８０２と点像分布１８０３のそれぞれのピーク値ｂに対して、平均の半分未満である。視差Ｌｔ画素および視差Ｒｔ画素において、垂直に入射する光線に対する感度がＮ画素において垂直に入射する光線に対する感度よりも低ければ、このようになり得る。この場合には、合成点像分布１８０７の中央部分に信号強度が落ち込んだ領域が存在する。換言すると、信号強度のピーク値が二つ存在する。そうすると、３Ｄメガネを装着しない鑑賞者には、二つのピーク値によって二重像を含む画像として視認される。この場合であっても、後述する視差変調処理を施すことにより、２Ｄ－３Ｄシームレス画像を実現することができる。
　次に、撮像素子１００から出力される撮影画像データから２Ｄ画像データと視差画像データを生成する処理の概念を説明する。図１２は、基準画像データとしての２Ｄ画像データと視差画像データの生成処理の例を説明する図である。図１２においては、図２に示す基本格子を例に挙げて説明する。
　基本格子における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、左右の視差画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。
　画像処理部２０５は、撮像素子１００の画素配列順にその出力値（画素値）が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像データとしての２Ｄ－ＲＧＢプレーンデータの生成処理の例を示す。
　２Ｄ－ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ－１－１、Ｐ２－１、Ｐ－１２、Ｐ２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ４３、Ｐ６１、Ｐ８３、Ｐ６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ５６、Ｐ７４、Ｐ９６、Ｐ７８の画素値を平均化演算して算出する。
　このように補間された２Ｄ－ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等の、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って一般的な２Ｄ画像としての画像処理を行う。
　もう一度述べると、画像処理部２０５は、２Ｄ－ＲＧＢプレーンデータをさらに色ごとに分離し、上述のような補間処理を施して、基準画像データとしての各プレーンデータを生成する。すなわち、緑色の基準画像プレーンデータとしてのＧｎ０プレーンデータ、赤色の基準画像プレーンデータとしてのＲｎ０プレーンデータ、および青色の基準画像プレーンデータとしてのＢｎ０プレーンデータの３つを生成する。これらのプレーンデータは、視差画素に対して密度の高い視差なし画素をベースとして生成されるので、次に述べる視差画像データのプレーンデータよりは高解像である。
　図の右列は、視差画素データを構成するプレーンデータとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。
　ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ１１とＰ５５の２つの画素値が残る。そこで、基本格子を縦横に４等分し、左上の１６画素分をＰ１１の出力値で代表させ、右下の１６画素分をＰ５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。より好ましくは距離に応じた線形補間を導入する。
　同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ５１とＰ１５の２つの画素値が残る。そこで、基本格子を縦横に４等分し、右上の１６画素分をＰ５１の出力値で代表させ、左下の１６画素分をＰ１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。より好ましくは距離に応じた線形補間を導入する。このようにして、Ｇｎ０プレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。
　ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ２７の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。より好ましくは距離に応じた線形補間を導入する。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ６３の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。より好ましくは距離に応じた線形補間を導入する。このようにして、Ｒｎ０プレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。
　ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ３２の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。より好ましくは距離に応じた線形補間を導入する。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ７６の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。より好ましくは距離に応じた線形補間を導入する。このようにして、Ｂｎ０プレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。
　本実施形態においては、画像処理部２０５は、これらのプレーンデータを用いて、高解像な左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。
　赤色視差プレーン（ＲＬｔ０プレーンデータとＲＲｔ０プレーンデータ）は、Ｒｎ０プレーンデータの画素値と、ＲＬｔプレーンデータおよびＲＲｔプレーンデータの画素値とを用いて生成する。具体的には、例えばＲＬｔ０プレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＬｔ０ｍｎを算出する場合、まず、画像処理部２０５は、Ｒｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎ０ｍｎを抽出する。次に、画像処理部２０５は、ＲＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＬｔｍｎを、ＲＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＲｔｍｎを抽出する。そして、画像処理部２０５は、画素値Ｒｎ０ｍｎを、画素値ＲＬｔｍｎとＲＲｔｍｎの比で分配して画素値ＲＬｔ０ｍｎを算出する。具体的には、以下の式（１）により算出する。
　ＲＬｔ０ｍｎ＝２Ｒｎ０ｍｎ×ＲＬｔｍｎ／（ＲＬｔｍｎ＋ＲＲｔｍｎ）　　　　　　…（１）
　同様に、ＲＲｔ０プレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＲｔ０ｍｎを算出する場合も、画像処理部２０５は、画素値Ｒｎ０ｍｎを画素値ＲＬｔｍｎと画素値ＲＲｔｍｎの比で分配して算出する。具体的には、以下の式（２）により算出する。
　ＲＲｔ０ｍｎ＝２Ｒｎ０ｍｎ×ＲＲｔｍｎ／（ＲＬｔｍｎ＋ＲＲｔｍｎ）　　　　　　…（２）
　画像処理部２０５は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ０，ｊ０）まで順次実行する。
　そして、高解像な赤色視差プレーンであるＲＬｔ０プレーンデータとＲＲｔ０プレーンデータの生成処理が完了したら、次に高解像な緑色視差プレーンであるＧＬｔ０プレーンデータとＧＲｔ０プレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎ０ｍｎを抽出する代わりに、Ｇｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｇｎ０ｍｎを抽出し、さらにＲＬｔｍｎの代わりにＧＬｔｍｎを、ＲＲｔｍｎの代わりにＧＲｔｍｎを抽出して、同様に処理する。さらに、高解像な緑色視差プレーンであるＧＬ０ｔプレーンデータとＧＲｔ０プレーンデータの生成処理が完了したら、次に高解像な青色視差プレーンであるＢＬｔ０プレーンデータとＢＲｔ０プレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎ０ｍｎを抽出する代わりに、Ｂｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｂｎ０ｍｎを抽出し、さらにＲＬｔｍｎの代わりにＢＬｔｍｎを、ＲＲｔｍｎの代わりにＢＲｔｍｎを抽出して、同様に処理する。
　以上の処理により、左側視点の高解像なカラー画像データ（ＲＬｔ０プレーンデータ、ＧＬｔ０プレーンデータ、ＢＬｔ０プレーンデータ）および右側視点の高解像なカラー画像データ（ＲＲｔ０プレーンデータ、ＧＲｔ０プレーンデータ、ＢＲｔ０プレーンデータ）が生成される。すなわち、実際には撮像素子１００の画素として存在しない、ＲＧＢいずれかのカラーフィルタを併せ持つ視差Ｌｔ画素および視差Ｒｔ画素の仮想的な出力として、左側視点および右側視点のカラー画像データを、比較的簡易な処理により取得することができる。したがって、これらの画像データを３Ｄ画像対応の再生装置で再生すれば、ユーザは、カラー画像としての高解像な３Ｄ映像を鑑賞できる。特に、処理が簡易なので高速に画像データを生成することができ、動画に対しても対応できる。
　以上のように、解像度の低い視差画像データと解像度の高い２Ｄ画像データとから、解像度の高い視差画像データを生成する処理は、解像度の低い視差画像が持つ視差成分を２Ｄ画像に重畳することにより変位処理を実現するので、視差変調処理ということができる。視差変調処理によって、視差変調処理前において２Ｄ－３Ｄシームレス画像でない画像であっても、２Ｄ－３Ｄシームレス画像にすることができる。
　図１３は、視差変調処理と２Ｄ－３Ｄシームレス画像の生成との関係を説明する図である。図１３（ａ）は、物点の左視点の点像分布１８０２、右視点の点像分布１８０３、これらを足し合わせた合成点像分布１８０７、および中央視点の点像分布１８０１を示している。
　ここでは、説明を簡単にする目的で、カラー情報を省いて説明する。この場合には、視差変調処理は以下の数式で表すことができる。
Figure JPOXMLDOC01-appb-I000001
　図１３（ａ）に示すように、（Ｌｔ（ｘ,ｙ）＋Ｒｔ（ｘ,ｙ））／２の分布が、画素の中心部の重なりが少ない、例えば重なり部分のピーク値ａが、点像分布１８０２と点像分布１８０３のそれぞれのピーク値ｂに対して３０％である場合を想定する。この場合には、３Ｄメガネを装着しない鑑賞者には、二重像を含む画像として視認される。本実施形態においては、疎な視差画素配列を採用しているので、Ｎ（ｘ,ｙ）は、Ｎ画素で撮像されている。Ｎ（ｘ,ｙ）は全開口であるので、点像分布１８０１に示すように、画素の中心にピークを持つ一重像の特性を持つ。つまり、中心部分は凹まない。
　図１３（ｂ）は、視差変調後における、物点の左視点の点像分布１８０８、右視点の点像分布１８０９、およびこれらを足し合わせた合成点像分布１８１０を示している。視差変調後の左右画像の平均（Ｌｔ'（ｘ,ｙ）＋Ｒｔ'（ｘ,ｙ））／２の分布は、上述の式から、Ｎ（ｘ,ｙ）の分布と同一となる。すなわち、以下の数式となる。
Figure JPOXMLDOC01-appb-I000002
　これは、視差変調後の左右の平均画像の分布が、Ｎ画素で撮像した画像分布になっていることを意味する。視差変調項の分母において中心部分が凹んでいるので、中心付近ではゲイン増幅作用が働く。その結果、もともとのＬｔ（ｘ,ｙ）の分布の中心部分が持ち上げられることになる。同様に、Ｒｔ（ｘ,ｙ）の中心部分も持ち上げられることになる。中心部分においては、これらの和がＮ（ｘ,ｙ）に等しくなるレベルまで持ち上げられる。したがって、撮像時に中心部分の重なりが例えばＮ（ｘ,ｙ）のピーク値の３０％であったとしても、視差変調後においては、Ｌｔ'、Ｒｔ'の重なり部分のピーク値は５０％レベルになる。
　以上のように、視差変調処理を施すことにより、画素の中心部の重なりが少ない場合であっても、２Ｄ－３Ｄシームレス画像を実現することができる。したがって、光電変換素子が２ＰＤの場合にも有効である。なお、２ＰＤとは１つのマイクロレンズの下に左視差画素と右視差画素が共存して構成される撮像素子の構造のことを指す。
　なお、視差変調式として以下に示す数式を用いる場合であっても同様のことが言える。
Figure JPOXMLDOC01-appb-I000003
　視差変調後の平均は、以下の数式で表される。
Figure JPOXMLDOC01-appb-I000004
　この場合には、中心部分の重なり部分は、視差変調項内においては、常に重なりを相互に取り除いてゼロにした上で、Ｎ画像の分布に加算することになる。式に示されるように、変調後の平均値は相互にキャンセルされ、Ｎ画像のみが残るので、オーバーラップの状態は影響しない。
　以上の説明では、対応テーブルは、交換レンズの識別情報と２Ｄ－３Ｄシームレス画像の対応の可否とが関連付けられたテーブルであったが、２Ｄ－３Ｄシームレス画像の撮影を実現するための光学条件が記載されたテーブルであってもよい。例えば、光束が斜入射するように、光学条件を設定するとよい。この場合には、レンズメモリ３０２は、撮影レンズ２０の瞳位置、焦点距離、開放絞り値、レンズ瞳径等を記憶している。そして、判断部２０６は、瞳位置、開放絞り値等を取得して、光学条件が記載されたテーブルに照らし合わせて、装着された交換レンズ３００の光学条件が対応テーブルの光学条件を満たすか否かを判断する。光学条件が記載された対応テーブルを利用する場合には、当該対応テーブルを更新するためのファームアップをしなくてもよい。
　また、判断部２０６は、対応テーブルを用いずに、光学系が特定の光学条件を満たす場合、例えば純正の交換レンズの光学条件とは異なる場合に、視差Ｌｔ画像データと視差Ｒｔ画像データの対応するそれぞれの画素値を相加平均した演算値Ｅａと、相乗平均した演算値Ｅｍを算出し、演算値Ｅａと演算値Ｅｍが、Ｅａ／Ｅｍ＜３を満たすか否かを判断してもよい。これにより、特殊な交換レンズが装着された場合に、対応テーブルを予め記憶していない場合であっても、２Ｄ－３Ｄシームレス画像の撮影に対応しているか否かを判断することができる。ただし、階調はＡ／Ｄ変換によって出力された線形階調であるものとする。非線形変換であるガンマ変換がなされている場合には、逆ガンマ変換（逆階調変換）を施すことにより元の色空間へ戻した上で上記の演算を行う。また、演算値Ｅａと演算値Ｅｍが、Ｅａ／Ｅｍ＜２を満たすことがより好ましい。さらに、演算値Ｅａと演算値Ｅｍが、Ｅａ／Ｅｍ＞１を満たす。なお、上記の演算値Ｅａ、演算値Ｅｍを用いれば、２Ｄ－３Ｄシームレス画像か否かを画素値から検証することができる。演算値Ｅａと演算値Ｅｍが、Ｅａ／Ｅｍ＜３を満たせば、２Ｄ－３Ｄシームレス画像であり、Ｅａ／Ｅｍが発散すれば、二重像を含む画像である。なぜならば、相加平均は左右２つの像のボケ全体の広がり幅を表す信号値が算出されるのに対し、相乗平均は左右２つの像のボケの重なり幅を表す信号値が算出されるからであり、相加平均と相乗平均との比はボケの重なり具合を表す指標を与えるからである。
　なお、これまでの説明では光学系の特殊レンズで例外的に２Ｄ－３Ｄシームレス条件が満たされないことがあることを前提とした説明をしたが、通常光学系レンズが２Ｄ－３Ｄシームレス条件を満たさないことは稀であり、それよりも二重像の生じやすさはむしろ撮像素子側の視差画素の設計構造に依存して決まることが多い。したがってＥａ／Ｅｍの値は、撮像素子に対する２Ｄ－３Ｄシームレス条件の判断としても利用できる。上記の特殊レンズの例としては、部分光束を視差画素ではなくレンズ内に特殊形状の絞りによって得る単眼立体撮像方式において、その絞り形状が２Ｄ－３Ｄシームレスに適さない場合が考えられる。
　以上の説明では、デジタルカメラ１０は、レンズ交換式カメラであったが、レンズがカメラ本体２００と一体的に構成される一体式カメラであってもよい。この場合には、カメラ本体制御部２０１は、判断部を備えていなくてもよい。
　なお、純正の交換レンズであれば、２Ｄ－３Ｄシームレス画像の撮影に対応していると考えられるが、純正でない交換レンズであれば、対応していない場合も考えられる。そこで、本実施形態においては、上述したように、交換レンズが２Ｄ－３Ｄシームレス画像の撮影に対応しているか否かを判断部２０６によって判断している。２Ｄ－３Ｄシームレス画像の撮影に対応していない場合には、その旨をユーザに報知してもよい。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
１０　デジタルカメラ、２０　撮影レンズ、２１　光軸、２２　絞り、１００　撮像素子、１０１　マイクロレンズ、１０２　カラーフィルタ、１０４　開口部、１０５　配線層、１０６　配線、１０８　光電変換素子、１０９　基板、１１１　残部、１１２　一部、１１３　領域、１１４　領域、２００　カメラ本体、２０１　カメラ本体制御部、２０２　Ａ／Ｄ変換回路、２０３　メモリ、２０４　駆動部、２０５　画像処理部、２０６　判断部、２０７　メモリカードＩＦ、２０８　操作部、２０９　表示部、２１０　表示制御部、２１３　カメラマウント、２１４　カメラメモリ、２２０　メモリカード、３００　交換レンズ、３０１　交換レンズ制御部、３０２　レンズメモリ、３０３　レンズマウント、３０４　レンズ駆動部、３２２　中心線、４０１　マイクロレンズ、４０６　配線、４０８　光電変換素子、１７０２　信号強度分布、１７０３　信号強度分布、１８０１　点像分布、１８０２　点像分布、１８０３　点像分布、１８０４　点像分布、１８０５　点像分布、１８０６　合成点像分布、１８０７　合成点像分布、１８０８　点像分布、１８０９　点像分布、１８１０　合成点像分布

Claims (12)

  1. 　光学系を介して入射する被写体光束のうち、前記光学系の光軸に対して直交する第１方向へ偏った第１部分光束を受光する第１画素と、前記第１方向とは反対の第２方向へ偏った第２部分光束を受光する第２画素を少なくとも含む撮像素子と、
    　前記第１画素の出力に基づく第１視差画像データと、前記第２画素の出力に基づく第２視差画像データとを生成する画像生成部と
    を備え、
    　前記撮像素子が前記光軸の非合焦領域に存在する物点を撮像した場合に、前記第１視差画像データは、前記光軸に対応する中心画素の画素値が、ピーク画素の画素値の５０％以上であり、前記第２視差画像データは、前記中心画素の画素値が、ピーク画素の画素値の５０％以上である撮像装置。
  2. 　前記第１視差画像データと前記第２視差画像データを重ね合わせた合成画像データは、前記中心画素を通り前記第１方向と前記第２方向に沿う画素列を横軸とした場合に、縦軸としての出力値である点像分布が凸形状を成す請求項１に記載の撮像装置。
  3. 　前記撮像素子は、前記第１画素および前記第２画素のそれぞれに対応して設けられたマイクロレンズと、前記第１画素に対応して設けられた前記マイクロレンズと前記第１画素の受光面との間および前記第２画素に対応して設けられた前記マイクロレンズと前記第２画素の受光面との間のそれぞれに設けられた、前記被写体光束を制限する偏位開口マスクとを含み、
    　前記偏位開口マスクに形成された開口の偏位方向の幅は、前記被写体光束を制限しない全開口の幅の半分よりも大きい請求項１または請求項２に記載の撮像装置。
  4. 　前記撮像素子は、前記被写体光束を前記光軸に対して偏りなく受光する第３画素を含む請求項１から請求項３のいずれか１項に記載の撮像装置。
  5. 　前記画像生成部は、前記第３画素の出力に基づく第３画像データに、前記第１視差画像データと前記第２視差画像データを用いて、前記第１視差画像データとは異なる第４視差画像データおよび前記第２視差画像データとは異なる第５視差画像データを生成する請求項４に記載の撮像装置。
  6. 　前記第４視差画像データと前記第５視差画像データとの互いに対応するそれぞれの画素値の平均は、前記第３画像データの対応する画素値と同一である請求項５に記載の撮像装置。
  7. 　前記第４視差画像データは、前記中心画素の画素値が、ピーク画素の画素値の５０％以上であり、
    　前記第５視差画像データは、前記中心画素の画素値が、ピーク画素の画素値の５０％以上である請求項５または６に記載の撮像装置。
  8. 　前記第１視差画像データと前記第２視差画像データの対応するそれぞれの画素値を相加平均した演算値Ｅａと相乗平均した演算値Ｅｍが、Ｅａ／Ｅｍ＜３を満たす請求項１から請求項７のいずれか１項に記載の撮像装置。
  9. 　前記演算値Ｅａと前記演算値Ｅｍが、Ｅａ／Ｅｍ＜２を満たす請求項８に記載の撮像装置。
  10. 　前記演算値Ｅａと前記演算値Ｅｍが、Ｅａ／Ｅｍ＞１を満たす請求項８または請求項９に記載の撮像装置。
  11. 　前記第１視差画像データおよび前記第２視差画像データは、表示装置に表示された場合に、３Ｄメガネを装着した鑑賞者には３Ｄ画像として視認されるとともに、前記３Ｄメガネを装着しない鑑賞者には二重像を含まない２Ｄ画像として視認される請求項１から請求項１０のいずれか１項に記載の撮像装置。
  12. 　前記第４視差画像データおよび前記第５視差画像データは、表示装置に表示された場合に、３Ｄメガネを装着した鑑賞者には３Ｄ画像として視認されるとともに、前記３Ｄメガネを装着しない鑑賞者には二重像を含まない２Ｄ画像として視認される請求項５から請求項７のいずれか１項に記載の撮像装置。
PCT/JP2014/003475 2013-07-05 2014-06-30 撮像装置 Ceased WO2015001788A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015525046A JP6288088B2 (ja) 2013-07-05 2014-06-30 撮像装置
CN201480037505.3A CN105359519B (zh) 2013-07-05 2014-06-30 摄像装置
US14/980,869 US9706186B2 (en) 2013-07-05 2015-12-28 Imaging apparatus for generating parallax image data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-142174 2013-07-05
JP2013142174 2013-07-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/980,869 Continuation US9706186B2 (en) 2013-07-05 2015-12-28 Imaging apparatus for generating parallax image data

Publications (1)

Publication Number Publication Date
WO2015001788A1 true WO2015001788A1 (ja) 2015-01-08

Family

ID=52143388

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003475 Ceased WO2015001788A1 (ja) 2013-07-05 2014-06-30 撮像装置

Country Status (4)

Country Link
US (1) US9706186B2 (ja)
JP (1) JP6288088B2 (ja)
CN (1) CN105359519B (ja)
WO (1) WO2015001788A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017007526A2 (en) 2015-04-21 2017-01-12 Choi Jospeh S Cloaking systems and methods
JP6935389B2 (ja) * 2016-03-30 2021-09-15 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
EP3494457A1 (en) 2016-08-05 2019-06-12 University of Rochester Virtual window
US10496238B2 (en) * 2016-08-22 2019-12-03 University Of Rochester 3D display ray principles and methods, zooming, and real-time demonstration
KR102148127B1 (ko) * 2020-02-14 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템
JP7780284B2 (ja) * 2021-09-21 2025-12-04 株式会社Subaru 車外環境認識装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061165A (ja) * 1999-08-20 2001-03-06 Sony Corp レンズ装置及びカメラ
WO2012002430A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 立体画像撮像装置
WO2012117619A1 (ja) * 2011-03-02 2012-09-07 富士フイルム株式会社 立体画像撮像装置
WO2012164934A1 (ja) * 2011-05-30 2012-12-06 株式会社ニコン 画像処理装置、画像処理方法およびプログラム
WO2013031392A1 (ja) * 2011-08-30 2013-03-07 富士フイルム株式会社 立体撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050140820A1 (en) * 1999-08-20 2005-06-30 Koichi Takeuchi Lens unit and camera
JP2003007994A (ja) 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2011199755A (ja) 2010-03-23 2011-10-06 Fujifilm Corp 撮像装置
US9532033B2 (en) 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
JP5825817B2 (ja) 2011-04-01 2015-12-02 キヤノン株式会社 固体撮像素子及び撮像装置
CN104185983B (zh) 2012-03-16 2016-10-26 株式会社尼康 摄像元件、摄像装置以及摄像系统
WO2013161313A1 (ja) 2012-04-25 2013-10-31 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
WO2013190814A1 (ja) 2012-06-22 2013-12-27 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5904281B2 (ja) * 2012-08-10 2016-04-13 株式会社ニコン 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP6036840B2 (ja) * 2012-10-26 2016-11-30 株式会社ニコン 撮像装置、画像処理装置、撮像装置の制御プログラムおよび画像処理装置の制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061165A (ja) * 1999-08-20 2001-03-06 Sony Corp レンズ装置及びカメラ
WO2012002430A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 立体画像撮像装置
WO2012117619A1 (ja) * 2011-03-02 2012-09-07 富士フイルム株式会社 立体画像撮像装置
WO2012164934A1 (ja) * 2011-05-30 2012-12-06 株式会社ニコン 画像処理装置、画像処理方法およびプログラム
WO2013031392A1 (ja) * 2011-08-30 2013-03-07 富士フイルム株式会社 立体撮像装置

Also Published As

Publication number Publication date
CN105359519B (zh) 2017-07-04
US20160119608A1 (en) 2016-04-28
JP6288088B2 (ja) 2018-03-07
CN105359519A (zh) 2016-02-24
JPWO2015001788A1 (ja) 2017-02-23
US9706186B2 (en) 2017-07-11

Similar Documents

Publication Publication Date Title
CN103688536B (zh) 图像处理装置、图像处理方法
JP6354838B2 (ja) 撮像素子、撮像装置および画像処理装置
CN104185983B (zh) 摄像元件、摄像装置以及摄像系统
CN104170377B (zh) 图像处理装置、摄像装置
JP6288088B2 (ja) 撮像装置
US9838665B2 (en) Image processing device, imaging device, and image processing program
CN104322061B (zh) 图像处理装置、摄像装置及图像处理方法
WO2013136808A1 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6197316B2 (ja) 撮像素子および撮像装置
CN103907188B (zh) 摄像元件、摄像装置及图像处理装置
JP5979137B2 (ja) 撮像装置および撮像装置の制御プログラム
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
JP6476630B2 (ja) 撮像装置
JP6205770B2 (ja) 撮像素子および撮像システム
JP2014085608A (ja) 撮像装置
JP5978737B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6051568B2 (ja) 撮像素子および撮像装置
JP6070060B2 (ja) 撮像装置およびプログラム
JP5978735B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6331279B2 (ja) 撮像装置、撮像方法およびプログラム
JP2013219180A (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480037505.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14819821

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015525046

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14819821

Country of ref document: EP

Kind code of ref document: A1