[go: up one dir, main page]

WO2018207666A1 - 撮像素子及びその駆動方法、並びに、電子機器 - Google Patents

撮像素子及びその駆動方法、並びに、電子機器 Download PDF

Info

Publication number
WO2018207666A1
WO2018207666A1 PCT/JP2018/017156 JP2018017156W WO2018207666A1 WO 2018207666 A1 WO2018207666 A1 WO 2018207666A1 JP 2018017156 W JP2018017156 W JP 2018017156W WO 2018207666 A1 WO2018207666 A1 WO 2018207666A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
pixel array
output
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/017156
Other languages
English (en)
French (fr)
Inventor
典弘 市丸
真生 全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to US16/612,554 priority Critical patent/US11375136B2/en
Priority to CN201880040627.6A priority patent/CN110786003B/zh
Priority to KR1020197034210A priority patent/KR102493027B1/ko
Publication of WO2018207666A1 publication Critical patent/WO2018207666A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present technology relates to an imaging device, a driving method thereof, and an electronic device, and more particularly, an imaging device capable of improving functions by using high-speed reading in a period shorter than an image output cycle and a driving method thereof. As well as electronic devices.
  • Imaging using an exposure condition for image output and imaging using an exposure condition for detection whose exposure time is longer or shorter than the exposure condition for image output are performed.
  • an imaging device that appropriately corrects see, for example, Patent Document 1).
  • CMOS Complementary Metal Oxide Semiconductor
  • the present technology has been made in view of such a situation, and is intended to improve the function by using high-speed reading in a period shorter than an image output cycle.
  • An imaging device includes a pixel array unit in which pixels are arranged in a matrix, and a control unit that controls reading of an image of the pixel array unit, and the control unit captures one image.
  • the image of the pixel array section is read out twice or more within a period of outputting to the outside.
  • An image sensor driving method is an image sensor including a pixel array unit in which pixels are arranged in a matrix and a control unit that controls reading of an image of the pixel array unit. Is read out twice or more in the cycle of outputting the image.
  • An electronic device includes a pixel array unit in which pixels are arranged in a matrix, and a control unit that controls reading of an image of the pixel array unit, and the control unit displays one image.
  • An image sensor is provided that reads out the image of the pixel array section twice or more within a period of outputting to the outside.
  • the image of the pixel array unit is read out twice or more within a cycle of outputting one image to the outside.
  • the imaging device may be an independent device or an internal block constituting one device.
  • the function can be improved by using high-speed reading in a period shorter than the image output cycle.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an image sensor to which the present technology is applied.
  • 1 has a pixel area 11, a memory area 12, a logic area 13, and a control area 14.
  • the image sensor 1 can be formed by a three-layer structure in which three semiconductor substrates 31 to 33 are stacked.
  • the pixel region 11 is formed in the first semiconductor substrate 31 on the incident light side, and the second region in the middle.
  • a configuration in which the memory region 12 is formed in the semiconductor substrate 32 and the logic region 13 and the control region 14 are formed in the third semiconductor substrate 33 below the second semiconductor substrate 32 can be adopted.
  • the pixel region 11 and the control region 14 are formed in the first semiconductor substrate 31, and the second semiconductor substrate 32 is formed.
  • the memory region 12 may be formed, and the logic region 13 may be formed on the third semiconductor substrate 33.
  • the imaging element 1 has a three-layer structure in which the three semiconductor substrates 31 to 33 are stacked in this way, so that the pixel area 11 that generates a pixel signal, the control area 14 that controls the pixel area 11, and the pixel array
  • a memory area 12 that temporarily stores a plurality of images is also provided.
  • the pixel region 11 has a pixel array unit 21 and a column AD conversion unit 22, and the memory region 12 has a frame memory 23.
  • the logic area 13 includes an image feature detection unit 24 and a signal processing unit 25, and the control area 14 includes a control unit 26.
  • the frame memory 23 in the memory area 12 is composed of, for example, a volatile memory such as DRAM (Dynamic Read Only Memory), and has a storage area for storing two or more images.
  • the memory area 12 temporarily stores the image supplied from the column AD conversion unit 22 in the frame memory 23 and outputs the image to the logic area 13 based on the control of the control unit 26.
  • the image feature detection unit 24 in the logic area 13 detects a predetermined feature amount for the image acquired by the pixel array unit 21.
  • An example of the image feature amount detected by the image feature detection unit 24 will be described later with reference to FIG.
  • the controller 26 instructs what kind of image feature the image feature detector 24 detects.
  • the image feature detection unit 24 acquires one or more images stored in the frame memory 23 according to an instruction from the control unit 26, and detects the feature amount of the image. In FIG. 1, control signals from the control unit 26 to the logic area 13 are not shown.
  • the signal processing unit 25 performs predetermined signal processing on the image acquired by the pixel array unit 21 and outputs the image signal of the processed image to the subsequent stage (external) of the image sensor 1.
  • the signal processing unit 25 adds feature amount information indicating the feature amount detected by the image feature detection unit 24 to the output image and outputs it.
  • An example of signal processing that can be executed by the signal processing unit 25 will be described later with reference to FIG. What kind of signal processing the signal processing unit 25 executes is instructed from the control unit 26.
  • the control unit 26 in the control area 14 controls the overall operation of the image sensor 1.
  • control unit 26 controls driving of the pixel 20 and the column AD conversion unit 22 by supplying a predetermined clock signal and timing signal to each pixel 20 and the column AD conversion unit 22.
  • the control unit 26 also supplies a predetermined clock signal and timing signal to the memory area 12 to control writing of an image (data) to the frame memory 23 and reading of an image (data) from the frame memory 23. .
  • the imaging device 1 causes the pixel array unit 21 to read out an image twice or more and read out the image once in a cycle in which the logic area 13 outputs one image. Imaging can be performed in at least two operation modes of the second operation mode.
  • the control unit 26 performs control to switch between the first operation mode and the second operation mode.
  • a plurality of images can be captured inside the device by high-speed reading within a cycle of outputting one image.
  • four images can be captured at 120 fps within the element within a 30 fps period in which one image is output.
  • an image that cannot be realized by one imaging can be output as one output image.
  • an image that cannot be realized by one imaging is output as a single output image, or information that cannot be detected by a single image using a plurality of images obtained inside the device. Can be output as additional information, so that the function of the image sensor 1 can be improved.
  • FIG. 3 shows an example of feature amount detection processing executed by the image feature detection unit 24.
  • the image feature detection unit 24 detects statistical information such as a peak value (at least one of a maximum value or a minimum value) or an average value (APL) of each pixel constituting the image as a feature amount of the image. .
  • the image feature detection unit 24 detects flicker information for correcting a flicker component included in the image as a feature amount of the image. Further, for example, the image feature detection unit 24 detects region information indicating the region of the target object in the image as a feature amount of the image. For example, face area information indicating a face area in the image is detected as a feature amount of the image as the target object area.
  • FIG. 4 shows an example of signal processing executed by the signal processing unit 25.
  • the signal processing unit 25 performs signals such as white balance adjustment processing, gamma correction processing, demosaic processing, noise reduction processing (NR processing), and defect correction processing on one image captured by the pixel array unit 21. Process.
  • the signal processing unit 25 performs region extraction processing for extracting a face region in order to generate an image of only the face region as an output image based on the face region information detected by the image feature detection unit 24.
  • the region extraction processing can extract a desired object region as well as the face region.
  • the signal processing unit 25 performs predetermined signal processing using one image supplied from the pixel area 11 and a plurality of images of one or more images stored in the memory area 12, and performs processing. It is also possible to output a later image to the subsequent stage (external) of the image sensor 1.
  • the signal processing unit 25 detects the periodicity of noise in the time direction from a plurality of images continuous in the time direction, and the periodicity of the detected noise. 3D-NR processing for reducing noise is performed on each output image.
  • the signal processing unit 25 sets an exposure time as the first time (short exposure time) and an image acquired longer than the first time. Using the image acquired by setting the second time (long exposure time) and executing processing for generating an HDR image with an expanded dynamic range from two images with different exposure times, the obtained HDR Output an image.
  • the signal processing unit 25 may perform processing other than the signal processing described above. In addition, a plurality of processes may be executed on a predetermined image.
  • the output image output by the signal processing unit 25 is a predetermined one of a plurality of images taken by high-speed reading, or a processed image obtained by processing the signal. Alternatively, it may be an image newly generated using a plurality of images taken by high-speed reading.
  • FIG. 5 is a diagram illustrating the first operation mode.
  • the horizontal axis represents time
  • the vertical axis represents the line position in the vertical direction of the pixel array unit 21.
  • a thick solid line represents readout of pixel signals from the pixel array unit 21 to the column AD conversion unit 22, and a thick broken line represents output of an image from the logic area 13 to the subsequent stage (external) of the image sensor 1. Represents.
  • the thick solid line and the thick broken line are drawn with diagonal lines because the readout of the pixel signal in the pixel array unit 21 and the output of the image to the subsequent stage of the image sensor 1 are sequentially executed in units of rows. It is shown that.
  • the imaging device 1 executes image reading in the pixel array unit 21 four times at 120 fps, and outputs the image to the subsequent stage at 30 fps. Therefore, the pixel array unit 21 reads four images within a 30 fps period, which is a cycle for outputting one image.
  • the signal processing unit 25 performs predetermined signal processing using the four images acquired in the 30 fps period, and generates an output image.
  • the image feature detection unit 24 executes a predetermined feature amount detection process using the four images acquired in the 30 fps period.
  • the feature amount detected by the image feature detection unit 24 is added to the output image after the signal processing by the signal processing unit 25 as feature amount information, and is output to the outside of the image sensor 1.
  • the imaging process of the image sensor 1 in the first operation mode will be described. This process is started, for example, when an imaging command in the first operation mode is supplied from the outside of the imaging device 1.
  • step S1 the control unit 26 causes the pixel array unit 21 to read an image at 120 fps.
  • the pixel array unit 21 starts reading an image at 120 fps.
  • the pixel array unit 21 for example, after resetting a signal accumulated in a photoelectric conversion unit configured by a photodiode or the like, exposure (light reception) is started, and a series of data read to the column AD conversion unit 22 after a predetermined period has elapsed.
  • the above operation is sequentially performed for each pixel 20 arranged two-dimensionally in a matrix for each row, thereby obtaining one image.
  • the pixel array unit 21 performs imaging four times during a 30 fps period.
  • step S2 the image feature detection unit 24 performs a predetermined feature amount detection process using a plurality of (four) images acquired in the 30 fps period.
  • step S3 the signal processing unit 25 performs predetermined signal processing using a plurality of (four) images acquired in the 30 fps period, and generates an output image.
  • step S4 the signal processing unit 25 outputs an image signal in which the feature amount detected by the image feature detection unit 24 is added to the output image as the feature amount information to the outside of the image sensor 1.
  • the signal processing executed by the signal processing unit 25 is a process of selecting one desired image from the four images acquired in the 30 fps period, the four of the images are selected.
  • the predetermined one is used as an output image. Therefore, the output image is not necessarily a new image generated using the four images.
  • FIG. 7 is a diagram illustrating the second operation mode.
  • the imaging device 1 executes the image reading of the pixel array unit 21 once at 120 fps and the image output to the subsequent stage at 30 fps. Accordingly, the pixel array unit 21 outputs one image read at a high speed of 120 fps to the outside at a low speed of 30 fps.
  • the signal processing unit 25 performs predetermined signal processing using one image acquired within a 30 fps period, and generates an output image.
  • the image feature detection unit 24 performs a predetermined feature amount detection process using one image acquired within a 30 fps period.
  • the feature amount detected by the image feature detection unit 24 is added to the output image after the signal processing by the signal processing unit 25 as feature amount information, and is output to the outside of the image sensor 1.
  • the imaging process of the imaging device 1 in the second operation mode will be described. This process is started, for example, when an imaging command in the second operation mode is supplied from the outside of the imaging device 1.
  • step S11 the control unit 26 causes the pixel array unit 21 to read an image at 120 fps.
  • the pixel array unit 21 starts reading an image at 120 fps.
  • the pixel array unit 21 performs one imaging within a 30 fps period.
  • step S12 the image feature detection unit 24 executes a predetermined feature amount detection process on one image acquired by the pixel array unit 21.
  • the feature amount detection process in the second operation mode may be the same as or different from the feature amount detection process in the first operation mode.
  • step S13 the signal processing unit 25 performs predetermined signal processing using one image acquired by the pixel array unit 21, and generates an output image.
  • step S14 the signal processing unit 25 outputs an image signal in which the feature amount detected by the image feature detection unit 24 is added to the output image as the feature amount information to the outside of the image sensor 1.
  • FIG. 9 is a diagram illustrating the switching operation for switching the operation mode from the first operation mode to the second operation mode.
  • the control unit 26 performs control to switch between the first operation mode and the second operation mode at a predetermined timing.
  • the control unit 26 performs control to change the operation mode from the first operation mode to the second operation mode.
  • the control unit 26 performs control to change the operation mode from the second operation mode to the first operation mode.
  • step S21 the control unit 26 causes the pixel array unit 21 to read an image and generate an output image in the first operation mode.
  • the first operation mode as described with reference to the flowchart of FIG. 6, four image readings at 120 fps and generation of one output image are executed in a 30 fps period.
  • step S22 the control unit 26 determines whether the power consumption of the image sensor 1 is equal to or greater than the first threshold based on the power consumption information indicating the power consumption of the image sensor 1 detected by the power sensor.
  • the power sensor may be inside or outside the image sensor 1.
  • step S21 is repeated until it is determined in step S22 that the power consumption of the image sensor 1 is equal to or greater than the first threshold value.
  • the imaging process in the first operation mode is continuously executed.
  • step S22 If it is determined in step S22 that the power consumption of the image sensor 1 is equal to or greater than the first threshold, the process proceeds to step S23, and the control unit 26 performs the operation of the pixel array unit 21 in the second operation mode. Image reading and output image generation are performed. In the second operation mode, as described with reference to the flowchart of FIG. 8, one image reading at 120 fps and generation of one output image are executed in a 30 fps period.
  • step S24 the control unit 26 determines whether the power consumption of the image sensor 1 is equal to or less than the second threshold based on the power consumption information indicating the power consumption of the image sensor 1 detected by the power sensor.
  • step S23 is repeated until it is determined in step S24 that the power consumption of the image sensor 1 is equal to or less than the second threshold value. Thereby, while the power consumption of the image sensor 1 is larger than the second threshold value, the imaging process in the second operation mode is continuously executed.
  • step S24 when it determines with the power consumption of the image pick-up element 1 being below a 2nd threshold value by step S24, a process is returned to step S21 and the process of step S21 mentioned above is performed. That is, the operation mode is changed from the second operation mode to the first operation mode, and imaging processing in the first operation mode is started.
  • the image sensor 1 can adaptively switch between the first operation mode and the second operation mode in consideration of the power consumption of the image sensor 1.
  • the temperature information is acquired from the thermosensor, and the first operation mode and the first operation mode are determined based on whether the acquired temperature information is equal to or less than a predetermined threshold.
  • the two operation modes may be switched adaptively.
  • the operation mode can be changed based on an operation instruction from the outside of the image sensor 1.
  • the imaging device 1 outputs an image in which the exposure time is set shorter than the flicker cycle of the light source as an output image in order to reduce focal plane distortion, and as feature amount information Output flicker information.
  • the flicker information is correction information for correcting luminance unevenness due to flicker included in an output image in an ISP (Image Signal Processor) at the subsequent stage of the image sensor 1.
  • the imaging device 1 causes the pixel array unit 21 to read out an image twice or more within a period in which the signal processing unit 25 outputs one image (hereinafter also referred to as an image output period).
  • the reading period of a plurality of images performed within a cycle for outputting one image includes a half cycle of the flicker cycle, more preferably one cycle of the flicker cycle.
  • the pixel array unit 21 performs image readout four times within the image output cycle, and the two image readout periods are half the flicker cycle, and the four image readout periods are the same. This is one flicker cycle.
  • the image feature detection unit 24 generates luminance (pixel value) histogram information as flicker information for each of the four images obtained within the image output period.
  • the signal processing unit 25 outputs an output signal in which flicker information of each of the four images detected by the image feature detection unit 24 is added to the output image as feature amount information to the outside of the image sensor 1.
  • the ISP at the subsequent stage of the image sensor 1 can detect the flicker cycle, correct the flicker phenomenon of the output image, and adjust the exposure time of the next image capture performed by the image sensor 1 to the multiplication cycle of the flicker cycle. You can do it.
  • As the output image for example, a predetermined one of four images is output.
  • the control unit 26 causes the pixel array unit 21 to read the image twice within the image output cycle.
  • the image read out for the first time is a short exposure image set at a short exposure time (first exposure time)
  • the image read out for the second time is an image whose exposure time is longer than the first exposure time.
  • the long exposure image is set to the exposure time of 2.
  • the signal processing unit 25 outputs the image signal added to the HDR image as the output image to the outside of the image sensor 1 using the detected feature amount of the image as feature amount information.
  • the imaging device 1 can also capture three or more images while changing the exposure time of each image within the image output cycle, and generate an HDR image by combining the three or more images.
  • the imaging device 1 uses a plurality of images by using a result of imaging a plurality of images by high-speed reading in the device in a cycle of outputting one image (for example, 30 fps period).
  • a predetermined composite image can be generated and output as an output image.
  • ISP image processing apparatus
  • the present technology is not limited to application to an image sensor. That is, the present technology captures an image capturing unit (photoelectric conversion unit) such as an imaging device such as a digital still camera or a video camera, a portable terminal device having an imaging function, or a copier using an imaging element for an image reading unit.
  • an image capturing unit photoelectric conversion unit
  • the present invention can be applied to all electronic devices using elements.
  • the imaging element may be formed as a single chip, or may be in a module form having an imaging function in which an imaging unit and a signal processing unit or an optical system are packaged together.
  • FIG. 14 is a block diagram illustrating a configuration example of an imaging apparatus as an electronic apparatus to which the present technology is applied.
  • the display unit 105 includes a thin display such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display, and displays a moving image or a still image captured by the image sensor 102.
  • the recording unit 106 records a moving image or a still image captured by the image sensor 102 on a recording medium such as a hard disk or a semiconductor memory.
  • the operation unit 107 issues operation commands for various functions of the imaging apparatus 100 under the operation of the user.
  • the power supply unit 108 appropriately supplies various power sources serving as operation power sources for the DSP circuit 103, the frame memory 104, the display unit 105, the recording unit 106, and the operation unit 107 to these supply targets.
  • the imaging device 1 with improved functions as the imaging device 102, the processing load on the DSP circuit 103 in the subsequent stage is reduced. Further, by using the image feature amount information that is added to the output image and output in the DSP circuit 103, it is possible to execute processing for improving the image quality or functionality of the captured image. Therefore, even in the imaging apparatus 100 such as a video camera, a digital still camera, or a camera module for mobile devices such as a mobile phone, it is possible to improve the image quality or functionality of the captured image.
  • FIG. 15 is a diagram illustrating a usage example in which the above-described imaging element 1 is used as an image sensor.
  • the image sensor using the above-described imaging device 1 can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-ray as follows.
  • Devices for taking images for viewing such as digital cameras and mobile devices with camera functions
  • Devices used for traffic such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc.
  • Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures ⁇ Endoscopes, equipment that performs blood vessel photography by receiving infrared light, etc.
  • Equipment used for medical and health care ⁇ Security equipment such as security surveillance cameras and personal authentication cameras ⁇ Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports-Equipment used for sports such as action cameras and wearable cameras for sports applications-Used for agriculture such as cameras for monitoring the condition of fields and crops apparatus
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 16 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes an ADAS (Advanced Driver Assistance System) function including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 17 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the forward images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 17 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the technology according to the present disclosure may be applied to the imaging unit 12031, for example.
  • the imaging device 1 in FIG. 1 can be applied to the imaging unit 12031.
  • information that cannot be detected by a single image using a plurality of images obtained inside the imaging unit 12031 can be output as additional information.
  • the processing load on the information detection unit 12030, the integrated control unit 12050, and the like can be reduced.
  • the outside information detection unit 12030 or the like can execute processing for improving the image quality or functionality of the captured image. It is possible to reduce driver fatigue and burden by generating easy-to-read captured images and improving the accuracy of detecting obstacles and the like.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • this technique can also take the following structures.
  • a pixel array section in which pixels are arranged in a matrix;
  • a control unit that controls reading of an image of the pixel array unit, The control unit is configured to read out the image of the pixel array unit twice or more within a period of outputting one image to the outside.
  • the control unit causes the pixel array unit to read out the image twice or more and to read out the image once in a cycle in which one image is output to the outside.
  • An image feature detector for detecting a predetermined feature amount for the image; A signal processing unit that performs predetermined signal processing on the image, and The image sensor according to (1) or (2), wherein the feature amount information indicating the feature amount is added to an output image after signal processing and output to the outside.
  • the image feature detection unit detects, as the feature amount, flicker information for correcting a flicker component included in the image, using a plurality of images read out within the period.
  • the imaging according to (3) element The signal processing unit detects a periodicity of noise in a time direction using a plurality of images read out within the period, and executes a 3D-NR process for reducing the noise (3) or (4 ).
  • An imaging device comprising a pixel array unit in which pixels are arranged in a matrix and a control unit that controls reading of an image of the pixel array unit, A method for driving an image sensor, wherein the image of the pixel array unit is read out twice or more within a cycle of outputting one image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本技術は、画像の出力周期よりも短い期間での高速読み出しを用いて機能を向上させることができるようにする撮像素子及びその駆動方法、並びに、電子機器に関する。 撮像素子は、画素が行列状に配置された画素アレイ部と、画素アレイ部の画像の読み出しを制御する制御部とを備え、制御部は、１枚の画像を外部に出力する周期内で、画素アレイ部の画像の読み出しを２回以上行わせる。本技術は、例えば、メモリ領域を備える撮像素子等に適用できる。

Description

撮像素子及びその駆動方法、並びに、電子機器
　本技術は、撮像素子及びその駆動方法、並びに、電子機器に関し、特に、画像の出力周期よりも短い期間での高速読み出しを用いて機能を向上させることができるようにした撮像素子及びその駆動方法、並びに、電子機器に関する。
　１フレーム期間に、画像出力用の露光条件を用いた撮像と、その画像出力用の露光条件よりも露光時間が長いまたは短い検波用の露光条件を用いた撮像を行い、画像出力用の露光条件を適正に補正する撮像装置がある（例えば、特許文献１参照）。
特開２０１６－６９３０号公報
　CMOS（Complementary Metal Oxide Semiconductor）センサ等の撮像素子においても、画像の出力周期よりも短い期間での高速読み出しが可能となってきており、高速読み出しを用いた新たな機能が望まれる。
　本技術は、このような状況に鑑みてなされたものであり、画像の出力周期よりも短い期間での高速読み出しを用いて機能を向上させることができるようにするものである。
　本技術の一側面の撮像素子は、画素が行列状に配置された画素アレイ部と、前記画素アレイ部の画像の読み出しを制御する制御部とを備え、前記制御部は、１枚の画像を外部に出力する周期内で、前記画素アレイ部の画像の読み出しを２回以上行わせる。
　本技術の一側面の撮像素子の駆動方法は、画素が行列状に配置された画素アレイ部と、前記画素アレイ部の画像の読み出しを制御する制御部とを備える撮像素子が、１枚の画像を出力する周期内で、前記画素アレイ部の画像の読み出しを２回以上行う。
　本技術の一側面の電子機器は、画素が行列状に配置された画素アレイ部と、前記画素アレイ部の画像の読み出しを制御する制御部とを備え、前記制御部は、１枚の画像を外部に出力する周期内で、前記画素アレイ部の画像の読み出しを２回以上行わせる撮像素子を備える。
　本技術の一側面においては、１枚の画像を外部に出力する周期内で、画素アレイ部の画像の読み出しが２回以上行われる。
　撮像素子は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　本技術の一側面によれば、画像の出力周期よりも短い期間での高速読み出しを用いて機能を向上させることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した撮像素子の概略構成を示すブロック図である。 撮像素子の３層積層構造を説明する図である。 特徴量検出処理を説明する図である。 信号処理を説明する図である。 第１の動作モードを説明する図である。 第１の動作モードによる撮像処理を説明するフローチャートである。 第２の動作モードを説明する図である。 第２の動作モードによる撮像処理を説明するフローチャートである。 動作モードを切り替える切替え動作を説明する図である。 動作モード切替え処理を説明するフローチャートである。 特徴量情報としてフリッカ情報を出力する具体例を説明する図である。 特徴量情報としてフリッカ情報を出力する具体例を説明する図である。 出力画像としてHDR画像を出力する具体例を説明する図である。 本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。 イメージセンサの使用例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．撮像素子の構成例
２．第１の動作モードの説明
３．第２の動作モードの説明
４．動作モード切替え処理の説明
５．第１の動作モードにおいて特徴量情報としてフリッカ情報を出力する例
６．第１の動作モードにおいて出力画像としてHDR画像を出力する例
７．電子機器への適用例
８．イメージセンサの使用例
９．移動体への応用例
＜１．撮像素子の構成例＞
　図１は、本技術を適用した撮像素子の概略構成を示すブロック図である。
　図１の撮像素子１は、画素領域１１、メモリ領域１２、ロジック領域１３、及び制御領域１４を有している。
（基板構成例）
　撮像素子１は、図２に示されるように、３枚の半導体基板３１乃至３３を積層した３層構造により形成することができる。
　より具体的には、図２のAに示されるように、３枚の半導体基板３１乃至３３のうち、入射光側の第１の半導体基板３１には画素領域１１を形成し、真ん中の第２の半導体基板３２にはメモリ領域１２を形成し、第２の半導体基板３２の下層の第３の半導体基板３３に、ロジック領域１３と制御領域１４を形成した構成を採用することができる。
　あるいはまた、図２のBに示されるように、３枚の半導体基板３１乃至３３のうち、第１の半導体基板３１には画素領域１１と制御領域１４を形成し、第２の半導体基板３２にはメモリ領域１２を形成し、第３の半導体基板３３に、ロジック領域１３を形成した構成とすることもできる。
　３枚の半導体基板３１乃至３３どうしは、例えば、貫通ビアやCu-Cuの金属結合により電気的に接続される。
　撮像素子１は、このように、３枚の半導体基板３１乃至３３を積層した３層構造とすることで、画素信号を生成する画素領域１１と、その制御を行う制御領域１４、及び、画素アレイ部２１で撮影された画像に対する所定の信号処理を行うロジック領域１３に加えて、複数枚の画像を一時記憶するメモリ領域１２も備えた構成とされている。
　図１の説明に戻り、画素領域１１は、画素アレイ部２１とカラムAD変換部２２を有し、メモリ領域１２は、フレームメモリ２３を有する。また、ロジック領域１３は、画像特徴検出部２４及び信号処理部２５を有し、制御領域１４は、制御部２６を有する。
　画素領域１１の画素アレイ部２１には、入射光の光量に応じた光電荷を生成して蓄積する光電変換部を有する画素２０が行方向及び列方向の行列状に２次元配置されている。カラムAD変換部２２は、２次元配置された各画素２０から出力されるアナログの画素信号をデジタルの画素信号に変換して、メモリ領域１２及びロジック領域１３の少なくとも１一方に出力する。画素アレイ部２１及びカラムAD変換部２２は、制御部２６から供給されるタイミング信号等にしたがって、駆動される。
　メモリ領域１２のフレームメモリ２３は、例えば、DRAM(Dynamic Read Only Memory)等の揮発性メモリで構成され、２枚以上の画像を記憶する記憶領域を有している。メモリ領域１２は、カラムAD変換部２２から供給される画像をフレームメモリ２３に一時記憶するとともに、その画像を、制御部２６の制御に基づいて、ロジック領域１３に出力する。
　ロジック領域１３の画像特徴検出部２４は、画素アレイ部２１で取得された画像に対して所定の特徴量を検出する。画像特徴検出部２４が検出する画像特徴量の例は、図３を参照して後述する。
　画像特徴検出部２４が、どのような画像の特徴量を検出するかは、制御部２６から指示される。画像特徴検出部２４は、制御部２６からの指示に従い、必要に応じて、フレームメモリ２３に記憶されている１枚以上の画像を取得して、画像の特徴量を検出する。なお、図１では、制御部２６からロジック領域１３への制御信号の図示が省略されている。
　信号処理部２５は、画素アレイ部２１で取得された画像に対して、所定の信号処理を施し、処理後の画像の画像信号を、撮像素子１の後段（外部）に出力する。信号処理部２５は、処理後の画像を出力する際、画像特徴検出部２４によって検出された特徴量を示す特徴量情報を、出力画像に付加して出力する。信号処理部２５が実行することができる信号処理の例は、図４を参照して後述する。信号処理部２５が、どのような信号処理を実行するかは、制御部２６から指示される。
　制御領域１４の制御部２６は、撮像素子１の全体の動作を制御する。
　例えば、制御部２６は、所定のクロック信号やタイミング信号を、各画素２０やカラムAD変換部２２に供給することにより、画素２０及びカラムAD変換部２２の駆動を制御する。また、制御部２６は、所定のクロック信号やタイミング信号をメモリ領域１２に供給し、フレームメモリ２３への画像（データ）の書き込み、及び、フレームメモリ２３からの画像（データ）の読み出しを制御する。
　さらに、制御部２６は、画像特徴検出部２４に対して、画像に対する所定の特徴量の検出を指示し、信号処理部２５に対して、画像に対して施す所定の信号処理の内容を指示する。
　撮像素子１は、ロジック領域１３が１枚の画像を出力する周期内で、画素アレイ部２１に画像の読み出しを２回以上行わせる第１の動作モードと、１回の画像の読み出しを行わせる第２の動作モードの少なくとも２つの動作モードによる撮像を行うことができる。制御部２６は、第１の動作モードと第２の動作モードを切り替える制御を行う。
　以上のように構成される撮像素子１によれば、第１の動作モードにおいて、１枚の画像を出力する周期内で、高速読み出しにより、素子内部で複数枚の撮像を行うことができる。例えば、１枚の画像を出力する３０ｆｐｓ期間内に、素子内部では１２０ｆｐｓで４枚の画像を撮像することができる。３０ｆｐｓ期間とは、３０ｆｐｓ（frame per seccond）における画像１枚当たりの時間であり、１０００／３０＝約３３．３３msecである。
　これにより、この素子内部で得られた複数枚の画像を積算、合成等することにより、１回の撮像では実現できない画像を、１枚の出力画像として出力することができる。
　また、この素子内部で得られた複数枚の画像を用いて各画像の特徴量を検出して、特徴量情報として出力画像とともに出力することにより、高速読み出しによる１枚の画像では検出できない情報を付加情報として出力することができる。
　したがって、撮像素子１によれば、１回の撮像では実現できない画像を、１枚の出力画像として出力したり、素子内部で得られた複数枚の画像を用いて１枚の画像では検出できない情報を付加情報として出力することができるので、撮像素子１としての機能を向上させることができる。
　図３は、画像特徴検出部２４が実行する特徴量検出処理の例を示している。
　例えば、画像特徴検出部２４は、画像を構成する各画素の画素値のピーク値（最大値又は最小値の少なくとも一方）や平均値（APL）などの統計情報を、画像の特徴量として検出する。
　また例えば、画像特徴検出部２４は、複数枚の画像から注目被写体の動き量を示す動き量情報を、画像の特徴量として検出する。例えば、４枚の画像から、時間方向に隣接する画像間の所定画素の動き量として、10,-5,20が検出された場合、10,-5,20のセットを、特徴量情報として出力画像とともに出力してもよいし、４枚の画像における所定画素の最終的な動き量である25＝10-5+20を、特徴量情報として出力画像とともに出力してもよい。
　また例えば、画像特徴検出部２４は、画像に含まれるフリッカ成分を補正するためのフリッカ情報を、画像の特徴量として検出する。また例えば、画像特徴検出部２４は、画像内の注目オブジェクトの領域を示す領域情報を、画像の特徴量として検出する。例えば、注目オブジェクト領域として、画像内の顔領域を示す顔領域情報を、画像の特徴量として検出する。
　図４は、信号処理部２５が実行する信号処理の例を示している。
　例えば、信号処理部２５は、画素アレイ部２１で撮像された１枚の画像に対して、ホワイトバランス調整処理、ガンマ補正処理、デモザイク処理、ノイズリダクション処理（NR処理）、欠陥補正処理等の信号処理を行う。
　また例えば、信号処理部２５は、画像特徴検出部２４により検出された顔領域情報に基づいて、顔領域のみの画像を出力画像として生成するため、顔領域を抽出する領域抽出処理を行う。なお、領域抽出処理は、顔領域に限らず、所望のオブジェクト領域を抽出することができる。
　また、信号処理部２５は、画素領域１１から供給される１枚の画像と、メモリ領域１２に記憶されている１枚以上の画像の複数枚の画像を用いて所定の信号処理を行い、処理後の画像を、撮像素子１の後段（外部）に出力することも可能である。
　複数枚の画像を用いた所定の信号処理としては、例えば、信号処理部２５は、時間方向に連続する複数枚の画像から、時間方向のノイズの周期性を検出し、検出したノイズの周期性に基づいてノイズを低減する３D-NR処理を、出力する各画像に対して実行する。
　また例えば、複数枚の画像を用いた所定の信号処理として、信号処理部２５は、露光時間を第１の時間（短露光時間）に設定して取得した画像と、第１の時間よりも長い第２の時間（長露光時間）に設定して取得した画像とを用いて、露光時間の異なる２枚の画像から、ダイナミックレンジを拡大したHDR画像を生成する処理を実行し、得られたHDR画像を出力する。
　信号処理部２５は、上述した信号処理以外の処理を行ってもよい。また、所定の画像に対して、複数の処理を実行してもよい。
　第１の動作モードにおいて、信号処理部２５が出力する出力画像は、高速読み出しにより撮像された複数枚の画像のなかの所定の１枚そのもの、または、それを信号処理した処理後の画像であってもよいし、高速読み出しにより撮像された複数枚の画像を用いて新たに生成された画像であってもよい。
＜２．第１の動作モードの説明＞
　図５は、第１の動作モードを説明する図である。
　図５の上側に示されるタイムチャートにおいて、横軸は時間を表し、縦軸は画素アレイ部２１の垂直方向のライン位置を示している。
　また、タイムチャートにおいて、太実線は、画素アレイ部２１からカラムAD変換部２２への画素信号の読み出しを表し、太破線は、ロジック領域１３から撮像素子１の後段（外部）への画像の出力を表す。
　タイムチャートにおいて、太実線及び太破線が、斜め線で描画されているのは、画素アレイ部２１における画素信号の読み出し、及び、撮像素子１の後段への画像の出力が、行単位に順次実行されることを示している。
　図５に示される第１の動作モードの例では、撮像素子１は、画素アレイ部２１における画像の読み出しを１２０ｆｐｓで４回実行し、後段への画像の出力を３０ｆｐｓで実行する。したがって、画素アレイ部２１は、１枚の画像を出力する周期である３０ｆｐｓ期間内で、４枚の画像の読み出しを行う。
　信号処理部２５は、３０ｆｐｓ期間に取得される４枚の画像を用いて、所定の信号処理を実行し、出力画像を生成する。
　画像特徴検出部２４は、３０ｆｐｓ期間に取得される４枚の画像を用いて、所定の特徴量検出処理を実行する。画像特徴検出部２４によって検出された特徴量が、特徴量情報として、信号処理部２５による信号処理後の出力画像に付加されて、撮像素子１の外部へ出力される。
　図６のフローチャートを参照して、第１の動作モードによる撮像素子１の撮像処理について説明する。この処理は、例えば、撮像素子１の外部から、第１の動作モードによる撮像の指令が供給されたとき開始される。
　初めに、ステップＳ１において、制御部２６は、１２０ｆｐｓによる画像の読み出しを画素アレイ部２１に行わせる。画素アレイ部２１は、１２０ｆｐｓで画像の読み出しを開始する。画素アレイ部２１では、例えば、フォトダイオード等で構成される光電変換部に蓄積されている信号をリセット後、露光（受光）を開始し、所定の期間経過後に、カラムAD変換部２２に読み出す一連の動作を、行列状に２次元配置された各画素２０に対して行単位に順次行うことで、１枚の画像が取得される。第１の動作モードでは、画素アレイ部２１は、３０ｆｐｓ期間に４回の撮像を実行する。
　ステップＳ２において、画像特徴検出部２４は、３０ｆｐｓ期間に取得された複数枚（４枚）の画像を用いて、所定の特徴量検出処理を実行する。
　ステップＳ３において、信号処理部２５は、３０ｆｐｓ期間に取得された複数枚（４枚）の画像を用いて所定の信号処理を実行し、出力画像を生成する。
　ステップＳ４において、信号処理部２５は、画像特徴検出部２４によって検出された特徴量を特徴量情報として出力画像に付加した画像信号を、撮像素子１の外部に出力する。
　第１の動作モードでは、上述したステップＳ１乃至Ｓ４の処理が、繰り返し実行される。
　なお、信号処理部２５により実行される信号処理が、３０ｆｐｓ期間に取得される４枚の画像のなかから、所望の１枚の画像を選択する処理である場合には、４枚の画像のなかの所定の１枚が出力画像とされる。したがって、出力画像は、４枚の画像を用いて新たな画像を生成したものとは限らない。
＜３．第２の動作モードの説明＞
　図７は、第２の動作モードを説明する図である。
　図７に示される第２の動作モードの例では、撮像素子１は、画素アレイ部２１の画像の読み出しを１２０ｆｐｓで１回実行し、後段への画像の出力を３０ｆｐｓで実行する。したがって、画素アレイ部２１は、１２０ｆｐｓで高速に読み出した１枚の画像を、３０ｆｐｓの遅い速度で、外部に出力する。
　信号処理部２５は、３０ｆｐｓ期間内で取得される１枚の画像を用いて、所定の信号処理を実行し、出力画像を生成する。
　画像特徴検出部２４は、３０ｆｐｓ期間内で取得される１枚の画像を用いて、所定の特徴量検出処理を実行する。画像特徴検出部２４よって検出された特徴量が、特徴量情報として、信号処理部２５による信号処理後の出力画像に付加されて、撮像素子１の外部へ出力される。
　図８のフローチャートを参照して、第２の動作モードによる撮像素子１の撮像処理について説明する。この処理は、例えば、撮像素子１の外部から、第２の動作モードによる撮像の指令が供給されたとき開始される。
　初めに、ステップＳ１１において、制御部２６は、１２０ｆｐｓによる画像の読み出しを画素アレイ部２１に行わせる。画素アレイ部２１は、１２０ｆｐｓで画像の読み出しを開始する。第２の動作モードでは、画素アレイ部２１は、３０ｆｐｓ期間内に１回の撮像を実行する。
　ステップＳ１２において、画像特徴検出部２４は、画素アレイ部２１で取得された１枚の画像に対して、所定の特徴量検出処理を実行する。第２の動作モードにおける特徴量検出処理は、第１の動作モードにおける特徴量検出処理と同じでも異なっていてもよい。
　ステップＳ１３において、信号処理部２５は、画素アレイ部２１で取得された１枚の画像を用いて所定の信号処理を実行し、出力画像を生成する。
　ステップＳ１４において、信号処理部２５は、画像特徴検出部２４によって検出された特徴量を特徴量情報として出力画像に付加した画像信号を、撮像素子１の外部に出力する。
　第２の動作モードでは、上述したステップＳ１１乃至Ｓ１４の処理が、繰り返し実行される。
＜４．動作モード切替え処理の説明＞
　図９は、第１の動作モードから第２の動作モードへ動作モードを切り替える切替え動作を説明する図である。
　制御部２６は、第１の動作モードと第２の動作モードを、所定のタイミングで切り替える制御を行う。
　例えば、１２０ｆｐｓで４回の画像読み出しを実行し、３０ｆｐｓで１枚の画像を出力する第1のモードは、消費電力が大きくなる。そのため、例えば、消費電力が第１の閾値以上まで上昇したことが検出された場合、制御部２６は、動作モードを、第１の動作モードから第２の動作モードに変更する制御を行う。また、消費電力が第２の閾値以下まで下がった場合には、制御部２６は、動作モードを、第２の動作モードから第１の動作モードに変更する制御を行う。
　図１０のフローチャートを参照して、動作モードを切り替える動作モード切替え処理について説明する。
　初めに、ステップＳ２１において、制御部２６は、第１の動作モードで、画素アレイ部２１の画像読み出し及び出力画像の生成を行わせる。第１の動作モードでは、図６のフローチャートを参照して説明したように、３０ｆｐｓ期間に、１２０ｆｐｓによる４回の画像読み出しと、１枚の出力画像の生成が実行される。
　ステップＳ２２において、制御部２６は、電力センサで検出された撮像素子１の消費電力を示す消費電力情報に基づいて、撮像素子１の消費電力が第１の閾値以上であるかを判定する。電力センサは、撮像素子１の内部にあっても、外部にあってもよい。
　ステップＳ２２で、撮像素子１の消費電力が第１の閾値以上であると判定されるまで、ステップＳ２１の処理が繰り返される。これにより、撮像素子１の消費電力が第１の閾値より低いあいだは、第１の動作モードによる撮像処理が継続して実行される。
　そして、ステップＳ２２で、撮像素子１の消費電力が第１の閾値以上であると判定された場合、処理はステップＳ２３に進み、制御部２６は、第２の動作モードで、画素アレイ部２１の画像読み出し及び出力画像の生成を行わせる。第２の動作モードでは、図８のフローチャートを参照して説明したように、３０ｆｐｓ期間に、１２０ｆｐｓによる１回の画像読み出しと、１枚の出力画像の生成が実行される。
　ステップＳ２４において、制御部２６は、電力センサで検出された撮像素子１の消費電力を示す消費電力情報に基づいて、撮像素子１の消費電力が第２の閾値以下であるかを判定する。
　ステップＳ２４で、撮像素子１の消費電力が第２の閾値以下であると判定されるまで、ステップＳ２３の処理が繰り返される。これにより、撮像素子１の消費電力が第２の閾値より大きいあいだは、第２の動作モードによる撮像処理が継続して実行される。
　そして、ステップＳ２４で、撮像素子１の消費電力が第２の閾値以下であると判定された場合、処理はステップＳ２１に戻され、上述したステップＳ２１の処理が実行される。すなわち、動作モードが第２の動作モードから第１の動作モードに変更され、第１の動作モードによる撮像処理が開始される。
　以上のように、撮像素子１は、撮像素子１の消費電力を考慮して、第１の動作モードと第２の動作モードを適応的に切り替えることができる。
　なお、電力センサから消費電力情報を取得する代わりに、サーモセンサから温度情報を取得し、取得した温度情報が所定の閾値以下または以上であるか、等に基づいて、第１の動作モードと第２の動作モードを適応的に切り替えてもよい。
　あるいはまた、動作モードの変更は、撮像素子１の外部からの動作指示に基づいて行うこともできる。
＜５．第１の動作モードにおいて特徴量情報としてフリッカ情報を出力する例＞
　次に、図１１及び図１２を参照して、第１の動作モードにおいて特徴量情報としてフリッカ情報を出力する具体例について説明する。
　各画素の露光および画素信号の読み出しを行単位で垂直方向に順次行うローリングシャッタ方式では、フォーカルプレーン歪みを低減するため、露光時間を短く設定することが望ましい。
　しかしながら、露光時間を蛍光灯等の光源周期よりも短く設定すると、フリッカが発生する。
　一般に、蛍光灯の照明の下で撮像を行うと、画像に縞状の輝度ムラや色ムラが発生する。特に輝度の高い部分と低い部分の縞パターンが画面上を流れるような現象が確認される。このような現象がフリッカであり、この現象は、交流電源に接続された蛍光灯が電源周波数の２倍の周期で点滅を繰り返していることと撮像素子の動作原理に起因する。
　フリッカが発生しないためには、露光時間を、フリッカ周期の逓倍周期に設定して撮像すればよい。例えば、図１１のAに示されるように、光源周期が６０Ｈｚである場合、フリッカレス可能な最短の露光時間は、１０００／（６０＊２）＝８．３３msecとなる。
　これに対して、図１１のBに示されるように、露光時間を、８．３３msecより短い時間に設定して撮像すると、フリッカが発生した画像となる。
　また、８．３３msecより短い露光時間で撮像した場合には、露光期間が、光源のフリッカ周期のどの部分の波の期間であるのかがわからないため、フリッカによる輝度ムラを補正することもできない。
　そこで、例えば、撮像素子１は、第１の動作モードにおいて、フォーカルプレーン歪みを低減するため、露光時間を光源のフリッカ周期よりも短く設定した画像を、出力画像として出力するとともに、特徴量情報としてフリッカ情報を出力する。フリッカ情報とは、撮像素子１の後段のISP（Image Signal Processor）において、出力画像に含まれるフリッカによる輝度ムラを補正するための補正情報である。
　具体的には、撮像素子１は、信号処理部２５が１枚の画像を出力する周期（以下、画像出力周期とも称する。）内で、画素アレイ部２１に画像の読み出しを２回以上行わせ、１枚の画像を出力する周期内で行った複数枚の画像の読み出し期間に、フリッカ周期の1/2周期、より好ましくはフリッカ周期の１周期が含まれるようにする。
　図１２の例では、画像出力周期内で、画素アレイ部２１が４回の画像読み出しを行っており、２回の画像読み出し期間がフリッカ周期の1/2周期となり、４回の画像読み出し期間がフリッカ周期の1周期となっている。
　画像特徴検出部２４は、画像出力周期内で得られる、４枚の画像それぞれについて、輝度（画素値）のヒストグラム情報をフリッカ情報として生成する。信号処理部２５は、画像特徴検出部２４によって検出された４枚の画像それぞれのフリッカ情報を特徴量情報として出力画像に付加した出力信号を、撮像素子１の外部に出力する。これにより、撮像素子１の後段のISPが、フリッカ周期を検出することができ、出力画像のフリッカ現象を補正したり、撮像素子１が次に行う撮像の露光時間をフリッカ周期の逓倍周期に調整したりすることができる。出力画像としては、例えば、４枚の画像のうちの所定の１枚が出力される。
　以上のように、撮像素子１は、１枚の画像を出力する周期（例えば、３０ｆｐｓ期間）に、高速読み出しによる複数枚の撮像を素子内部で行った結果を用いて、高速読み出しにより撮像した１枚の出力画像では得られない情報を付加情報として付加して出力することができる。これにより、出力された画像を処理する画像処理装置（例えば、ISP）では、付加情報を用いて、高画質な画像を得ることができる。
＜６．第１の動作モードにおいて出力画像としてHDR画像を出力する例＞
　次に、図１３を参照して、第１の動作モードにおいて出力画像としてHDR画像を出力する具体例について説明する。
　制御部２６は、画像出力周期内で、画素アレイ部２１に２回の画像読み出しを行わせる。１回目に読み出される画像は、露光時間が短い時間（第１の露光時間）に設定された短露光画像であり、２回目に読み出される画像は、露光時間が第１の露光時間よりも長い第２の露光時間に設定された長露光画像とされる。
　信号処理部２５は、露光時間の異なる２枚の画像（短露光画像及び長露光画像）から、ダイナミックレンジを拡大したHDR画像を生成する。
　画像特徴検出部２４は、短露光画像及び長露光画像それぞれの画素値の統計情報、具体的には、画素値のピーク値や平均値などを、画像の特徴量として検出する。
　信号処理部２５は、検出された画像の特徴量を特徴量情報として、出力画像としてのHDR画像に付加した画像信号を、撮像素子１の外部に出力する。
　なお、撮像素子１は、画像出力周期内で、各画像の露光時間を変えて３枚以上の撮像を行い、３枚以上の画像を合成したHDR画像を生成することも可能である。
　以上のように、撮像素子１は、１枚の画像を出力する周期（例えば、３０ｆｐｓ期間）に、高速読み出しによる複数枚の撮像を素子内部で行った結果を用いて、複数枚の画像を用いた所定の合成画像を生成し、出力画像として出力することができる。これにより、出力された画像信号を処理する画像処理装置（ISP）が行う処理の負荷を軽減することができる。
＜７．電子機器への適用例＞
　本技術は、撮像素子への適用に限られるものではない。即ち、本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に撮像素子を用いる複写機など、画像取込部（光電変換部）に撮像素子を用いる電子機器全般に対して適用可能である。撮像素子は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
　図１４は、本技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。
　図１４の撮像装置１００は、レンズ群などからなる光学部１０１、図１の撮像素子１の構成が採用される撮像素子（撮像デバイス）１０２、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路１０３を備える。また、撮像装置１００は、フレームメモリ１０４、表示部１０５、記録部１０６、操作部１０７、および電源部１０８も備える。DSP回路１０３、フレームメモリ１０４、表示部１０５、記録部１０６、操作部１０７および電源部１０８は、バスライン１０９を介して相互に接続されている。
　光学部１０１は、被写体からの入射光（像光）を取り込んで撮像素子１０２の撮像面上に結像する。撮像素子１０２は、光学部１０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この撮像素子１０２として、図１の撮像素子１、即ち、１枚の出力画像とともに、高速読み出しにより素子内部で得た複数枚の画像に基づいて算出した所定の画像特徴量情報を付加情報として出力する撮像素子を用いることができる。
　表示部１０５は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の薄型ディスプレイで構成され、撮像素子１０２で撮像された動画または静止画を表示する。記録部１０６は、撮像素子１０２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
　操作部１０７は、ユーザによる操作の下に、撮像装置１００が持つ様々な機能について操作指令を発する。電源部１０８は、DSP回路１０３、フレームメモリ１０４、表示部１０５、記録部１０６および操作部１０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
　上述したように、撮像素子１０２として、機能が向上された撮像素子１を用いることで、後段のDSP回路１０３における処理負荷が軽減される。また、DSP回路１０３において、出力画像に付加されて出力されてくる画像特徴量情報を用いることで、撮像画像を高画質化または高機能化する処理を実行することができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置１００においても、撮像画像の高画質化または高機能化を図ることができる。
＜８．イメージセンサの使用例＞
　図１５は、上述の撮像素子１をイメージセンサとして用いた使用例を示す図である。
　上述の撮像素子１を用いたイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜９．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１７は、撮像部１２０３１の設置位置の例を示す図である。
　図１７では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１の撮像素子１を撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、撮像部１２０３１内部で得られた複数枚の画像を用いて１枚の画像では検出できない情報を付加情報として出力することができるので、車外情報検出ユニット１２０３０、統合制御ユニット１２０５０等の処理負荷を軽減することができる。また、出力画像に付加されて出力されてくる画像特徴量情報を用いることで、車外情報検出ユニット１２０３０等で、撮像画像を高画質化または高機能化する処理を実行することができるので、より見やすい撮影画像を生成したり、障害物等の検出精度を向上させることで、ドライバの疲労や負担を軽減することが可能になる。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した実施の形態の機能の一部を組み合わせた形態を採用することができる。
　本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　画素が行列状に配置された画素アレイ部と、
　前記画素アレイ部の画像の読み出しを制御する制御部と
　を備え、
　前記制御部は、１枚の画像を外部に出力する周期内で、前記画素アレイ部の画像の読み出しを２回以上行わせる
　撮像素子。
（２）
　前記制御部は、１枚の画像を外部に出力する周期内で、前記画素アレイ部に前記画像の読み出しを２回以上行わせる第１の動作モードと、１回の前記画像の読み出しを行わせる第２の動作モードとを切り替える制御を行う
　前記（１）に記載の撮像素子。
（３）
　前記画像に対して所定の特徴量を検出する画像特徴検出部と、
　前記画像に対して所定の信号処理を実行する信号処理部と
　をさらに備え、
　前記特徴量を示す特徴量情報は、信号処理後の出力画像に付加されて、外部に出力される
　前記（１）または（２）に記載の撮像素子。
（４）
　前記画像特徴検出部は、前記周期内で読み出した複数枚の画像を用いて、画像に含まれるフリッカ成分を補正するためのフリッカ情報を、前記特徴量として検出する
　前記（３）に記載の撮像素子。
（５）
　前記信号処理部は、前記周期内で読み出した複数枚の画像を用いて、時間方向のノイズの周期性を検出して、ノイズを低減する３D-NR処理を実行する
　前記（３）または（４）に記載の撮像素子。
（６）
　前記信号処理部は、前記周期内で読み出した複数枚の画像を用いて、HDR画像を生成する処理を実行する
　前記（３）または（４）に記載の撮像素子。
（７）
　画素が行列状に配置された画素アレイ部と、前記画素アレイ部の画像の読み出しを制御する制御部とを備える撮像素子が、
　１枚の画像を出力する周期内で、前記画素アレイ部の画像の読み出しを２回以上行う
　撮像素子の駆動方法。
（８）
　画素が行列状に配置された画素アレイ部と、
　前記画素アレイ部の画像の読み出しを制御する制御部と
　を備え、
　前記制御部は、１枚の画像を外部に出力する周期内で、前記画素アレイ部の画像の読み出しを２回以上行わせる
　撮像素子
　を備える電子機器。
　１　撮像素子，　２０　画素，　２１　画素アレイ部，　２３　フレームメモリ，　２４　画像特徴検出部，　２５　信号処理部，　２６　制御部，　１００　撮像装置，　１０２　撮像素子

Claims (8)

  1. 　画素が行列状に配置された画素アレイ部と、
    　前記画素アレイ部の画像の読み出しを制御する制御部と
    　を備え、
    　前記制御部は、１枚の画像を外部に出力する周期内で、前記画素アレイ部の画像の読み出しを２回以上行わせる
    　撮像素子。
  2. 　前記制御部は、１枚の画像を外部に出力する周期内で、前記画素アレイ部に前記画像の読み出しを２回以上行わせる第１の動作モードと、１回の前記画像の読み出しを行わせる第２の動作モードとを切り替える制御を行う
    　請求項１に記載の撮像素子。
  3. 　前記画像に対して所定の特徴量を検出する画像特徴検出部と、
    　前記画像に対して所定の信号処理を実行する信号処理部と
    　をさらに備え、
    　前記特徴量を示す特徴量情報は、信号処理後の出力画像に付加されて、外部に出力される
    　請求項１に記載の撮像素子。
  4. 　前記画像特徴検出部は、前記周期内で読み出した複数枚の画像を用いて、画像に含まれるフリッカ成分を補正するためのフリッカ情報を、前記特徴量として検出する
    　請求項３に記載の撮像素子。
  5. 　前記信号処理部は、前記周期内で読み出した複数枚の画像を用いて、時間方向のノイズの周期性を検出して、ノイズを低減する３D-NR処理を実行する
    　請求項３に記載の撮像素子。
  6. 　前記信号処理部は、前記周期内で読み出した複数枚の画像を用いて、HDR画像を生成する処理を実行する
    　請求項３に記載の撮像素子。
  7. 　画素が行列状に配置された画素アレイ部と、前記画素アレイ部の画像の読み出しを制御する制御部とを備える撮像素子が、
    　１枚の画像を出力する周期内で、前記画素アレイ部の画像の読み出しを２回以上行う
    　撮像素子の駆動方法。
  8. 　画素が行列状に配置された画素アレイ部と、
    　前記画素アレイ部の画像の読み出しを制御する制御部と
    　を備え、
    　前記制御部は、１枚の画像を外部に出力する周期内で、前記画素アレイ部の画像の読み出しを２回以上行わせる
    　撮像素子
    　を備える電子機器。
PCT/JP2018/017156 2017-05-11 2018-04-27 撮像素子及びその駆動方法、並びに、電子機器 Ceased WO2018207666A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/612,554 US11375136B2 (en) 2017-05-11 2018-04-27 Imaging device for high-speed read out, method of driving the same, and electronic instrument
CN201880040627.6A CN110786003B (zh) 2017-05-11 2018-04-27 摄像器件、摄像器件驱动方法和电子设备
KR1020197034210A KR102493027B1 (ko) 2017-05-11 2018-04-27 촬상 소자 및 그 구동 방법, 그리고 전자 기기

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017094360A JP2018191230A (ja) 2017-05-11 2017-05-11 撮像素子及びその駆動方法、並びに、電子機器
JP2017-094360 2017-05-11

Publications (1)

Publication Number Publication Date
WO2018207666A1 true WO2018207666A1 (ja) 2018-11-15

Family

ID=64104466

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017156 Ceased WO2018207666A1 (ja) 2017-05-11 2018-04-27 撮像素子及びその駆動方法、並びに、電子機器

Country Status (5)

Country Link
US (1) US11375136B2 (ja)
JP (1) JP2018191230A (ja)
KR (1) KR102493027B1 (ja)
CN (1) CN110786003B (ja)
WO (1) WO2018207666A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116177A1 (ja) 2018-12-05 2020-06-11 ソニー株式会社 撮像素子、撮像装置および方法
CN110049241A (zh) * 2019-04-09 2019-07-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
JP7331483B2 (ja) * 2019-06-18 2023-08-23 株式会社アイシン 撮像制御装置
JP7491317B2 (ja) * 2019-10-30 2024-05-28 ソニーグループ株式会社 情報処理システム、情報処理方法、撮像装置
KR20240142806A (ko) 2023-03-22 2024-10-02 에스케이하이닉스 주식회사 이미지 센서 및 그의 동작방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006217255A (ja) * 2005-02-03 2006-08-17 Fuji Photo Film Co Ltd 撮影装置
JP2006287743A (ja) * 2005-04-01 2006-10-19 Canon Inc 情報処理装置及びその制御方法、プログラム、記憶媒体
JP2010074484A (ja) * 2008-09-18 2010-04-02 Nikon Corp 撮像装置
JP2011055278A (ja) * 2009-09-02 2011-03-17 Sharp Corp 動き情報取得装置及び画像処理装置
WO2014112291A1 (ja) * 2013-01-17 2014-07-24 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052988A (zh) * 2005-06-22 2007-10-10 松下电器产业株式会社 图像生成装置及图像生成方法
JP2007288131A (ja) * 2006-03-23 2007-11-01 Fujifilm Corp 固体撮像素子、固体撮像装置およびその駆動方法
CN100574376C (zh) * 2006-03-27 2009-12-23 精工爱普生株式会社 摄像装置、摄像系统以及摄像方法
JP2009267739A (ja) * 2008-04-24 2009-11-12 Yamaha Corp 固体撮像装置
JP5412953B2 (ja) * 2009-05-20 2014-02-12 リコーイメージング株式会社 撮像装置
WO2012027290A1 (en) * 2010-08-23 2012-03-01 Red. Com, Inc. High dynamic range video
US8900148B2 (en) * 2011-03-09 2014-12-02 Fujifilm Corporation Ultrasound diagnostic apparatus
US8711245B2 (en) * 2011-03-18 2014-04-29 Digitaloptics Corporation Europe Ltd. Methods and systems for flicker correction
JP5839998B2 (ja) * 2012-01-10 2016-01-06 キヤノン株式会社 固体撮像装置
JP6120500B2 (ja) * 2012-07-20 2017-04-26 キヤノン株式会社 撮像装置およびその制御方法
JP2014154982A (ja) * 2013-02-06 2014-08-25 Canon Inc 撮像装置およびその制御方法
US9350916B2 (en) * 2013-05-28 2016-05-24 Apple Inc. Interleaving image processing and image capture operations
DE102013012810A1 (de) * 2013-08-01 2015-02-05 Connaught Electronics Ltd. Verfahren zum Aktivieren und Deaktivieren einer Bildkorrekturfunktion, Kamerasystem und Kraftfahrzeug
US9210350B2 (en) * 2013-12-09 2015-12-08 Omnivision Technologies, Inc. Low power imaging system with single photon avalanche diode photon counters and ghost image reduction
US9342871B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems
JP2016006930A (ja) 2014-06-20 2016-01-14 ソニー株式会社 撮像装置および撮像方法
JP6370134B2 (ja) * 2014-07-02 2018-08-08 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
CN107110648A (zh) 2014-11-06 2017-08-29 金泰克斯公司 用于可视范围检测的系统和方法
US9521351B1 (en) * 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006217255A (ja) * 2005-02-03 2006-08-17 Fuji Photo Film Co Ltd 撮影装置
JP2006287743A (ja) * 2005-04-01 2006-10-19 Canon Inc 情報処理装置及びその制御方法、プログラム、記憶媒体
JP2010074484A (ja) * 2008-09-18 2010-04-02 Nikon Corp 撮像装置
JP2011055278A (ja) * 2009-09-02 2011-03-17 Sharp Corp 動き情報取得装置及び画像処理装置
WO2014112291A1 (ja) * 2013-01-17 2014-07-24 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP2018191230A (ja) 2018-11-29
CN110786003A (zh) 2020-02-11
US11375136B2 (en) 2022-06-28
KR102493027B1 (ko) 2023-01-30
US20200128168A1 (en) 2020-04-23
CN110786003B (zh) 2023-05-05
KR20200006067A (ko) 2020-01-17

Similar Documents

Publication Publication Date Title
JP7105754B2 (ja) 撮像装置、及び、撮像装置の制御方法
TWI846754B (zh) 固體攝像裝置、信號處理晶片、及電子機器
WO2018190126A1 (ja) 固体撮像装置、及び電子機器
CN110786003B (zh) 摄像器件、摄像器件驱动方法和电子设备
WO2017163890A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
TWI842952B (zh) 攝像裝置
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2018008426A1 (ja) 信号処理装置および方法、並びに撮像装置
JP2019012968A (ja) 固体撮像装置、及び電子機器
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
WO2018139187A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
WO2018105372A1 (ja) 固体撮像装置、駆動方法、および電子機器
JP2019022020A (ja) 固体撮像素子、固体撮像素子の駆動方法および電子機器
WO2022014222A1 (ja) 撮像装置および撮像方法
WO2022019025A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
JP2021125836A (ja) 撮像装置及び電子機器
WO2018211985A1 (ja) 撮像素子、および撮像素子の制御方法、撮像装置、並びに電子機器
JP2018113615A (ja) 固体撮像素子、駆動方法、および電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18798804

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20197034210

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18798804

Country of ref document: EP

Kind code of ref document: A1