[go: up one dir, main page]

WO2018101187A1 - 距離測定装置 - Google Patents

距離測定装置 Download PDF

Info

Publication number
WO2018101187A1
WO2018101187A1 PCT/JP2017/042318 JP2017042318W WO2018101187A1 WO 2018101187 A1 WO2018101187 A1 WO 2018101187A1 JP 2017042318 W JP2017042318 W JP 2017042318W WO 2018101187 A1 WO2018101187 A1 WO 2018101187A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
exposure
light
solid
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/042318
Other languages
English (en)
French (fr)
Inventor
圭一 森
中村　清治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to US16/464,238 priority Critical patent/US11448757B2/en
Priority to JP2018553826A priority patent/JP6981997B2/ja
Priority to CN201780072791.0A priority patent/CN110023785B/zh
Priority to EP17876971.7A priority patent/EP3550330B1/en
Publication of WO2018101187A1 publication Critical patent/WO2018101187A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G02B7/32—Systems for automatic generation of focusing signals using parallactic triangle with a base line using active means, e.g. light emitter

Definitions

  • the present disclosure relates to a distance measuring device that generates a distance image.
  • the present invention relates to a distance measuring device that measures a distance using an irradiation light source and a solid-state imaging device that receives the light source and using a delay caused by reciprocation of light.
  • a measurement time from when infrared light or laser light is irradiated toward a subject until light reflected by the subject is received by a solid-state imaging device A TOF (Time Of Flight) method for calculating (ranging) the distance to a subject based on the above is known.
  • Patent Documents 1 to 3 In the recent TOF method, light reflected by a subject is exposed by a solid-state imaging device having a pixel array, and a signal amount is generated as a distance image indicating a distance distribution on a two-dimensional surface (for example, distance measurement is performed) Patent Documents 1 to 3).
  • the conventional distance measuring device acquires distance images under different exposure conditions for each time series in units of frames, the accuracy of distance measurement is improved when the distance of the object changes in an apparatus with a narrow distance measurable range. There is a problem of lowering. Further, in the conventional distance measuring device, since a distance is measured by combining a plurality of distance images with different exposures, when the distance image includes disturbances other than irradiation light such as background light, the exposure of the distance image is performed. There is a problem that there is variation and measurement accuracy is not stable.
  • an object of the present disclosure is to provide a distance measuring device capable of performing distance measurement with good accuracy in a distance measurement range that is not affected by a change in the distance of an object.
  • a distance measuring device is a distance measuring device that measures a distance to an object using a round trip time of light, and includes a light emitting unit that emits light from a light source toward a measurement target range, and the light emitting unit.
  • a solid-state imaging device having a plurality of pixel groups capable of photoelectrically converting reflected light of the object within an angle of view of irradiation light in a plurality of pixels arranged in a matrix and independently performing exposure of the pixels; Instructing the light emission timing and light emission period of the light source to the light emitting unit, and a plurality of types of pixel signals corresponding to the time difference between the irradiation light and the reflected light due to the round trip time of light for each pixel group of the solid-state imaging device The exposure timing and the exposure period are obtained, the exposure timing and the exposure period are instructed, and the pixel signal exposure for each of the pixel groups is performed at different exposure times, and the irradiation light and the reflection of each pixel group light
  • the distance measurement device of the present disclosure it is possible to perform distance measurement with good accuracy in a distance measurement range that is not affected by a change in the distance of an object.
  • FIG. 1 is a schematic configuration diagram of a distance measuring device.
  • FIG. 2 is a diagram illustrating an example of the TOF method.
  • FIG. 3 is a diagram illustrating another example of the TOF method.
  • FIG. 4 is a schematic configuration diagram of a solid-state imaging device in the distance measuring device according to the first embodiment.
  • FIG. 5 is a configuration diagram of a pixel cell of the solid-state imaging device in the distance measuring device according to the first embodiment.
  • FIG. 6A is a light emission exposure control timing chart in the distance measuring apparatus according to the first embodiment.
  • FIG. 6B is a light emission exposure control timing diagram in which a part of FIG. 6A is enlarged.
  • FIG. 7 is a light emission exposure control timing chart in the distance measuring apparatus according to the first embodiment.
  • FIG. 1 is a schematic configuration diagram of a distance measuring device.
  • FIG. 2 is a diagram illustrating an example of the TOF method.
  • FIG. 3 is a diagram illustrating another example of the TOF method.
  • FIG. 8 is a configuration diagram of a combining unit in the distance measuring device according to the first embodiment.
  • FIG. 9 is a pixel diagram that is referred to by the combining unit in the distance measuring device according to the first embodiment.
  • FIG. 10 is a flowchart showing the procedure of the composite calculation process in the distance measuring apparatus according to the first embodiment.
  • FIG. 11A is a diagram illustrating a relationship between the signal amount obtained by the synthesis calculation 1 and the input signal in the distance measuring device according to the first embodiment.
  • FIG. 11B is a diagram illustrating a relationship between the signal amount obtained by the synthesis calculation 2 and the input signal in the distance measuring device according to the first embodiment.
  • FIG. 12 is a pixel diagram that is referred to by the combining unit in the distance measuring device according to the first embodiment.
  • FIG. 13A is a diagram illustrating the relationship between the signal amount obtained by the synthesis calculation 1 and the input signal in the distance measuring device according to the first embodiment.
  • FIG. 13B is a diagram illustrating a relationship between the signal amount obtained by the synthesis calculation 2 and the input signal in the distance measuring device according to the first embodiment.
  • FIG. 14 is a pixel diagram that is referred to in the pixel arrangement of the solid-state imaging device and the combining unit in the distance measuring device according to the second embodiment.
  • FIG. 15 is a light emission exposure control timing chart in the distance measuring apparatus according to the second embodiment.
  • FIG. 16 is a configuration diagram of a combining unit in the distance measuring device according to the second embodiment.
  • FIG. 17 is a flowchart showing the procedure of the composite calculation process in the distance measuring apparatus according to the second embodiment.
  • distance images images having distance measurement information of subjects
  • the distance measurement method for generating a distance image includes a method for generating a distance image based on the parallax of images captured using multiple cameras, and irradiating the subject with a known random dot pattern to receive the dot pattern. There is a method of generating a distance image based on the parallax to be performed.
  • the TOF method which is an example of those methods, is a distance to a subject based on a measurement time from irradiation of infrared light or laser light toward the subject until light reflected by the subject is received by the solid-state imaging device. This is a method for calculating (ranging).
  • the intensity of the reflected light received varies greatly depending on the distance from the solid-state imaging device to the subject and the surface reflectance of the subject. Therefore, the intensity of the irradiation light source, the light receiving sensitivity of the solid-state imaging device, and the exposure amount are made uniform.
  • the intensity of the irradiation light source, the light receiving sensitivity of the solid-state imaging device, and the exposure amount are made uniform.
  • the intensity of reflected light received by the solid-state imaging device depends on the characteristics of light that attenuates in inverse proportion to the square of the distance from the light source to the subject or the light reflectance of the subject surface. For example, if you adjust the exposure of reflected light and increase the amount of exposure, the reflected light from an object at a short distance or an object with high surface reflectance increases in light intensity, exceeding the exposure that can be received by the solid-state imaging device. And become saturated. In this case, a correct received light amount signal cannot be acquired. Conversely, when the exposure amount is reduced, the amount of reflected light from an object at a long distance or an object with low surface reflectance becomes minute. In this case, stable distance measurement becomes difficult.
  • Patent Document 1 Patent Document 2, and Patent Document 3 are disclosed as means for solving the technical problems as described above.
  • Patent Document 1 and Patent Document 3 a plurality of distance images with different exposures are acquired, and the distance images are synthesized from the plurality of images to expand the distance measurement range and improve the distance measurement accuracy.
  • signals having different sensitivities are extracted by individually setting the signal charge accumulation time in each of even-numbered pixel rows and odd-numbered pixel rows, and signals having different sensitivities are processed in the subsequent signal processing. Synthesize in the system. Specifically, for example, for each pixel in an even row, the accumulation time is set long to obtain a highly sensitive pixel signal, and for each pixel in the odd row, a short accumulation time is set to obtain a low sensitivity pixel signal.
  • a high-sensitivity pixel signal is selected and used for pixels in which even-numbered pixel signals (high-sensitivity pixel signals) are not saturated, and neighboring pixels in odd-numbered pixels (A synthesis process such as selecting a low-sensitivity pixel signal) is generally used.
  • the distance measurement device described below by expanding the distance measurement range within one frame of the solid-state imaging device that is restricted by the attenuation of light due to the distance of the target object or the decrease in reflected light intensity due to the influence of surface reflectance, It is possible to acquire a distance image that is resistant to changes in the distance of an object along a time series. In the distance measuring device, it is possible to acquire a distance image with good accuracy by removing the influence of disturbance due to background light other than irradiation light. As a result, it is possible to provide a small and inexpensive distance measuring device that does not require a frame memory or the like.
  • FIG. 1 is a configuration diagram showing the configuration of the distance measuring apparatus 100 according to the first or second embodiment.
  • a distance measuring apparatus 100 shown in FIG. 1 includes a light emission exposure control unit 101, a solid-state imaging device 102, a signal processing unit 103, and a light emitting unit 104.
  • Examples of the solid-state image sensor 102 include a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, and the like.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • the light emitting unit 104 includes a light source driving unit 114 and a light source 115.
  • Examples of the light source 115 include an LED and a laser diode.
  • the signal processing unit 103 includes a line memory 111, a combining unit 112, and a distance calculating unit 113.
  • the light emission exposure control unit 101 generates and outputs a light emission timing signal LT1, an exposure timing signal ET1, and a shutter timing signal SH1 according to predetermined conditions described later.
  • the light source driving unit 114 in the light emitting unit 104 is ON / OFF controlled by the light emission timing signal LT1, and the light source 115 emits the light L1 toward the object OBJ.
  • the irradiation light L1 is light with a pulse waveform having a predetermined emission width.
  • the irradiation light L1 is reflected by the object OBJ.
  • the reflected light L2 is received by the solid-state image sensor 102 via a lens optical system (not shown).
  • the solid-state image sensor 102 has a plurality of pixels arranged in a matrix. In the solid-state imaging device 102, exposure at each pixel is controlled according to the exposure timing signal ET1 and the shutter timing signal SH1. A pixel signal corresponding to the signal charge photoelectrically converted and accumulated in each pixel is output to the signal processing unit 103.
  • FIG. 2 is a diagram showing an example of the TOF method.
  • a delay time among the reflected light that is time-delayed due to the S0 exposure for receiving all the reflected light of the light emitted in a pulse form from the light source and the distance of the object reflected by the pulse light emitted from the light source.
  • S1 exposure for receiving a part of the reflected light corresponding to the minute and BG exposure for receiving only the background light without causing the light source to emit light are performed.
  • background light is also received simultaneously.
  • T0 is the light emission pulse width (irradiation pulse time width)
  • c is the speed of light
  • FIG. 3 is a diagram showing another example of the TOF method.
  • the length of the exposure period of the solid-state imaging device is substantially the same as the light emission pulse width in comparison with the method of FIG. 2, and the pulse light emission timing of the irradiation light and the outline of the reflected light reflected from the object and returned after being delayed.
  • the S0 exposure for receiving light in the same exposure period and the S1 exposure for receiving a part of the reflected light returned after completion of the pulse emission of the irradiation light are obtained.
  • the distance L to the object OBJ can be obtained by Expression 2.
  • the timing of the exposure signal and the formula for calculating the distance are not limited to this.
  • the irradiation light is emitted in a sine wave shape, and the reflected light is exposed at a timing corresponding to a phase of 0 degrees, a phase of 90 degrees, a phase of 180 degrees, and a phase of 270 degrees with respect to the phase of the sine wave of the irradiation light.
  • four pixel signals are acquired for each pixel group.
  • the time difference of the reflected light with respect to the irradiation light is determined from the ratio of the difference signal between the pixel signal of 0 degree phase and the pixel signal of 180 degree phase, the difference signal of the pixel signal of 90 degree phase and the pixel signal of 270 degree phase. Can be calculated and converted into distance.
  • the pixel signal group (S0, S1, BG) input to the signal processing unit 103 is held in the line memory 111 in units of lines corresponding to the pixels of the solid-state image sensor 102.
  • the synthesizing unit 112 inputs a pixel signal of a necessary reference pixel from the line memory 111 and performs a synthesizing process.
  • the result of the combining process performed by the combining unit 112 is input to the distance calculation unit 113, and the distance calculation unit 113 calculates the expression 1 or 2 using the combined pixel signal, and the distance obtained as a result of the calculation.
  • the value D0 is output.
  • the exposure timing signal ET1 output from the light emission exposure control unit 101 is, specifically, two sets of the above three exposure signals for S0 exposure, S1 exposure, and BG exposure.
  • the light emission exposure control unit 101 outputs the signal group to the solid-state image sensor 102.
  • FIG. 4 is a schematic configuration diagram of a solid-state imaging device in the distance measuring device according to the present embodiment.
  • FIG. 4 shows an example of the connection relationship between the pixel cell arrangement of the solid-state image sensor 102 and the exposure timing signal group.
  • P01, P02, P03,... In FIG. 4 indicate each pixel cell including the photodiode region.
  • Each pixel cell is arranged with the pixel position shifted by a half pixel pitch in the horizontal direction in the odd-numbered line and the even-numbered line in line units.
  • Three signals of exposure timing signals ET10a, ET11a, and ET12a are connected to the pixel cells of the odd lines, and three signals of ET10b, ET11b, and ET12b are connected to the pixel cells of the even lines.
  • the line for supplying the shutter timing signal SH1 is commonly connected to all the pixel cells.
  • FIG. 5 shows an example of a schematic configuration diagram of a pixel cell of a solid-state imaging device in the distance measuring device according to the present embodiment.
  • the reset transistor 502 is connected to the photodiode 501 that performs photoelectric conversion, and when the shutter timing signal SH1 is turned on, the charge photoelectrically converted by the photodiode is discarded.
  • analog memories 520, 521, and 522 are connected to the photodiode 501 through analog switches 510, 511, and 512, respectively.
  • the exposure timing signal ET10a is supplied for ON / OFF control of the analog switch 510
  • the exposure timing signal ET11a is supplied for ON / OFF control of the analog switch 511
  • the analog switch 512 is turned ON.
  • An exposure timing signal ET12a is supplied for control of / OFF.
  • the exposure timing signal ET10b is connected to the ON / OFF control of the analog switch 510
  • the exposure timing signal ET11b is supplied to control the analog switch 511 ON / OFF
  • the analog switch 512 is turned ON.
  • An exposure timing signal ET12b is supplied for controlling / OFF.
  • the analog memories 520, 521, and 522 store charges photoelectrically converted by the photodiode 501 during a period in which the analog switches 510, 511, and 512 to be connected are ON and a non-reset period in which the reset transistor 502 is OFF. . In addition, the analog memories 520, 521, and 522 do not accumulate charges during a period in which the analog switches 510, 511, and 512 are ON and a period in which the reset transistor 502 is in an ON state or a period in which the analog switches 510, 511, and 512 are in an OFF state. .
  • the solid-state imaging device 102 can perform exposure control independently for each of odd-numbered lines and even-numbered lines.
  • FIG. 6A and 6B show an example of the relationship between the exposure timing signal output from the light emission exposure control unit 101, the irradiation light, and the shutter timing signal SH1, as a first example of light emission exposure control.
  • FIG. 6A is a light emission exposure control timing chart in the distance measuring apparatus according to the present embodiment.
  • the pulsed irradiation light generated by the light emission timing signal LT1 generated and output by the light emission exposure control unit 101, and the exposure timing signal ET1 and the shutter timing signal SH1 generated and output by the light emission exposure control unit 101 are as shown in FIG. 6A.
  • the same pattern is output repeatedly for a plurality of cycles with one cycle.
  • the one cycle time (exposure period cycle Tcyc) is, for example, 1 of the light amount fluctuation cycle (light source cycle time Tbg) of illumination light using a commercial AC power source as a power source in the environment where the distance measuring apparatus 100 is used.
  • / N (n is an integer of 2 or more).
  • the number of cycles Ncyc is generally set to n ⁇ m (m is an integer of 1 or more).
  • the present invention is not limited to this.
  • FIG. 6B shows an enlarged one cycle period of FIG. 6A described above.
  • the one-cycle period is a period for performing the S0 exposure formed by the shutter timing signal SH1 that generates the timing at which the light emission exposure control unit 101 is turned on based on the TOF method 1 shown in FIG. And a period for performing S1 exposure and a period for performing BG exposure.
  • the exposure timing signals ET10a and ET10b are supplied during the S0 exposure period, the exposure timing signals ET11a and ET11b are supplied during the S1 exposure period, and the exposure timing signals ET12a and ET12b are supplied during the BG exposure period.
  • the ET10a signal is supplied for a period of 8 pulses of pulsed irradiation light generated by the light emission timing signal LT1
  • the ET11b signal is supplied only for a period of 2 pulses.
  • the time (first condition) during which photoelectric conversion is performed on pixels in odd lines of the solid-state imaging device 102 and signals are accumulated in the analog memory 520
  • the time in which signals are accumulated in analog memories 520 of pixels in the even lines. (Second condition) is a relationship in which the ratio of signal accumulation time corresponding to exposure time is 4: 1.
  • the control example in which the ratio of the exposure time is 4: 1 is shown.
  • the present invention is not limited to this.
  • the exposure timing ratio can be easily changed by changing the timing control described above. Can be formed.
  • S0odd can be expressed by Equation 3.
  • Equation 3 A0odd represents a signal component due to irradiation light, and B0odd represents a signal component due to background light.
  • S1odd the signal accumulated in the analog memory 521 of one pixel cell in the odd-numbered line of the solid-state imaging device 102 by S1 exposure.
  • Equation 4 A1odd represents a signal component due to irradiation light, and B1odd represents a signal component due to background light.
  • the signal accumulated in the analog memory 521 of one pixel cell in the odd-numbered line of the solid-state image sensor 102 by BG exposure is defined as BGodd.
  • S0evn a signal accumulated in the analog memory 520 of one pixel cell in the even-numbered line of the solid-state imaging device 102 by the S0 exposure and in the vicinity of one pixel in the odd-numbered line.
  • S0evn can be expressed by Equation 5.
  • Equation 5 A0evn represents a signal component due to irradiation light, and B0evn represents a signal component due to background light.
  • S1evn can be expressed by Equation 6.
  • Equation 6 A1evn represents a signal component due to irradiation light, and B1evn represents a signal component due to background light.
  • the signal accumulated in the analog memory 521 by BG exposure on the other pixel of the even-numbered line of the solid-state image sensor 102 is defined as BGevn.
  • Equation (7) is established between these pixels and even-numbered pixels.
  • A0odd 4 ⁇ A0evn
  • A1odd 4 ⁇ A1evn ...
  • each pixel signal of BG exposure is performed in six periodic exposure periods in this embodiment.
  • the period of each exposure period is 1/3 period with respect to 1 period of the light quantity fluctuation
  • the electric charge photoelectrically converted by the solid-state imaging device 102 in each exposure period is stored in each analog memory 520, 521, and 522 sequentially without exposing the magnitude of the background light, so that the S0 signal, the S1 signal, The background light components of the pixel signals of each BG signal are averaged. Therefore, Formula 8 is satisfied regardless of the fluctuation of the background light.
  • Equation 9 is established, and only the signal component of the illumination light from which the background light component has been removed can be accurately extracted.
  • A0odd S0odd ⁇ BGodd
  • A1odd S1odd ⁇ BGodd
  • A0evn S0evn ⁇ BGevn
  • A1evn S1evn ⁇ BGevn ....
  • Equation 10 is satisfied without being affected by the disturbance even under illumination light whose intensity varies with a commercial AC power source or the like.
  • the light emission exposure control unit 101 of the first example of light emission exposure control With the operation of the light emission exposure control unit 101 of the first example of light emission exposure control, exposure control with different exposure times is performed in the same frame of the solid-state image sensor under an environment where illumination light using a commercial AC power source becomes noise. Even if it implements by, the signal of the background light component which receives the fluctuation
  • a pixel whose exposure time is relatively short with respect to one period of fluctuation in the amount of illumination light using a commercial AC power source as a power source is affected by the local bias of the background light that fluctuates.
  • the background light components of the S0 signal and the S1 signal are averaged by averaging the local sizes of the background light. Since it becomes equal to the BG signal, the illumination light component signals of S0 exposure and S1 exposure can be extracted with high accuracy.
  • FIG. 7 shows a second example of light emission exposure control.
  • the light emission control timing control method shown in FIG. 7 is a control method different from the light emission exposure timing control method shown in FIG. 6A.
  • the light emission control timing control method shown in FIG. 7 takes time to emit illumination light for exposing odd lines as the first condition and illumination light for exposing even lines as the second condition. Are separated.
  • the exposure timing and the exposure period of the odd and even lines are separated in time.
  • the stray light reflected by the inner surface of the lens disposed on the front surface of the solid-state imaging device 102 or the object having a high light reflectance in the irradiation range of the irradiation light which is not the target of the exposure period of the second condition
  • the stray light generated by the secondary reflection of the reflected light flying to the object reaches the second condition exposure period with a time delay due to the long flight distance.
  • Optical effects on the pixel signal can be avoided.
  • the solid-state imaging device 102 After the exposure shown in FIG. 6A or FIG. 7 is performed by a built-in timing generator (not shown) or the like, the solid-state imaging device 102 sequentially scans the S0 signal, the S1 signal, and the BG signal for each pixel on the pixel array. Read sequentially. The read S0 signal, S1 signal, and BG signal for each pixel are output to the signal processing unit 103.
  • the pixel signal input from the solid-state imaging device 102 is received by the line memory 111 in the signal processing unit 103 in a predetermined number of S0odd signals, S1odd signals, and BGodd signals for odd lines, and S0evn for a predetermined number of even lines.
  • the signal, the S1evn signal, and the BGevn signal are sequentially stored and held, and the pixel signal to be referred to is sequentially output to the combining unit 112.
  • FIG. 8 is a configuration diagram of a combining unit in the distance measuring device according to the first embodiment.
  • the combining unit 112 includes a combining calculation processing unit 801, a first condition background light removal unit 802, a first condition saturation determination unit 803, and a second condition background light removal. Part 804 and a saturation determination part 805 for the second condition.
  • FIG. 9 is a pixel diagram referred to by the combining unit 112 in the distance measuring apparatus according to the present embodiment.
  • the synthesizer 112 sets the S0 signal of each pixel as a pixel group for processing one pixel of the odd line and four pixels of the even line adjacent to the upper and lower lines from the line memory 111 as shown in FIG. , S1 signal and BG signal are input from the line memory 111.
  • the pixel group P01, P02, P11, P21, and P22 in FIG. 9 is a set of processing target pixels.
  • a set of P02, P03, P12, P22, and P23, and P21, P22, P31, P41, One set of P42 is sequentially input to the combining unit 112 and combined.
  • P01, P02, P11, P21, and P22 that are the target pixel group A in FIG. 9 are taken as an example.
  • the input signals S0odd (P11), S1odd (P11), and BGodd (P11) of one pixel in the odd lines are the background light removing unit 802 and the first condition of the first condition. Is input to the saturation determination unit 803.
  • S0odd (P11) represents the S0odd signal of the pixel P11
  • S1odd (P11) represents the S1odd signal of the pixel P11
  • BGodd (P11) represents the BGodd signal of the pixel P11.
  • Formula 11 is computed and A0odd (P11) and A1odd (P11) are output to the synthesis computation processing unit 801.
  • A0odd (P11) S0odd (P11) ⁇ BGodd (P11)
  • A1odd (P11) S1odd (P11) ⁇ BGodd (P11) ....
  • the first condition saturation determination unit 803 performs the condition determination of Expression 12 on the saturation determination threshold Smax set in advance corresponding to the output signal range of the solid-state imaging device 102.
  • the saturation determination unit 803 of the first condition notifies the synthesis calculation processing unit 801 that there is a saturation signal when any of the conditions of Expression 12 is satisfied.
  • Equation 13 is calculated and executed, and A0evn (P01), A1evn (P01), A0evn (P02), A1evn (P02), A0evn (P21), A1evn (P21), A0evn. (P22), A1evn (P22) is output to the composition calculation processing unit 801.
  • A0evn (P01) S0evn (P01) ⁇ BGevn (P01)
  • A1evn (P01) S1evn (P01) ⁇ BGevn (P01)
  • A0evn (P02) S0evn (P02) ⁇ BGevn (P02)
  • A1evn (P02) S1evn (P02) ⁇ BGevn (P02)
  • A0evn (P21) S0evn (P21) ⁇ BGevn (P21)
  • A1evn (P21) S1evn (P21) ⁇ BGevn (P21)
  • A0evn (P22) S0evn (P22) ⁇ BGevn (P22)
  • A1evn (P22) S1evn (P22) ⁇ BGevn (P22) .... Formula 13
  • the condition determination of Expression 14 is performed on the above-described threshold value Smax.
  • the saturation determination unit 805 of the second condition notifies the synthesis calculation processing unit 801 that there is a saturation signal when any of the conditions is satisfied.
  • FIG. 10 is a flowchart showing the procedure of the composition calculation process in the distance measuring device 100 according to the present embodiment.
  • the saturation determination unit 805 of the second condition determines whether there is a saturation signal as described above (step S1001). If there is a saturation signal (Y in step S1001), the saturation determination unit 805 of the second condition notifies the composition calculation processing unit 801 that there is a saturation signal. In this case, the composition calculation processing unit 801 performs distance measurement impossibility processing (step S1005).
  • the composition calculation processing unit 801 outputs a distance measurement impossible state to the distance calculation unit 113.
  • the saturation determination unit 803 of the first condition determines whether there is a saturation signal (step S1002). If there is a saturation signal (Y in step S1002), the saturation determination unit 803 under the first condition notifies the synthesis calculation processing unit 801 that there is a saturation signal. In this case, the synthesis calculation processing unit 801 performs the synthesis calculation 2 (step S1004). If there is no saturation signal, the synthesis operation processing unit 801 performs the synthesis operation 1 (step S1003).
  • the synthesis operation processing unit 801 executes the operation of Expression 15, and calculates A0mix and A1mix.
  • the data is output to the distance calculation unit 113.
  • A0mix A0odd (P11) + A0evn (P01) + A0evn (P02) + A0evn (P21) + A0evn (P22)
  • A1mix A1odd (P11) + A1evn (P01) + A1evn (P02) + A1evn (P21) + A1evn (P22) ....
  • FIG. 11A is a diagram illustrating a relationship between the signal amount obtained by the synthesis calculation 1 and the input signal in the distance measuring device according to the first embodiment.
  • the exposure time ratio is 4: 1 in the first condition and the second condition
  • a signal amount that is eight times the signal amount obtained from the pixel under the second condition is obtained by the synthesis operation 1. Will be. Therefore, a high S / N ratio can be realized by the synthesis operation 1.
  • a low-pass filter having symmetrical characteristics in the horizontal and vertical directions of 1: 3: 3: 1 in the half period of the pixel pitch in the horizontal direction and 1: 2: 1 in the period of the pixel pitch in the vertical direction. Therefore, there is no spatial sampling point bias.
  • the synthesis calculation processing unit 801 executes the calculation of Expression 16 using only the pixel signal obtained under the second condition, and outputs A0mix and A1mix to the distance calculation unit 113.
  • A0mix ⁇ A0evn (P01) + A0evn (P02) + A0evn (P21) + A0evn (P22) ⁇ ⁇ K
  • A1mix ⁇ A1evn (P01) + A1evn (P02) + A1evn (P21) + A1evn (P22) ⁇ ⁇ K ....
  • the coefficient K in Equation 16 is determined in advance from the ratio of the total value of one pixel for the exposure time of the first condition and the total value of four pixels for the exposure time of the second condition.
  • the exposure time of the second condition is a, in the present embodiment, it is 2 which is a value calculated from the following.
  • FIG. 11B shows a relationship diagram between the signal amount obtained by the synthesis operation 2 and the input signal.
  • a spatial low-pass filter or a bilateral filter is combined with the synthesis unit 112 and the distance calculation unit 113 for further reduction of signal noise.
  • the reference pixel group of this spatial filter even if the pixel signal exposed under the first condition is mixed with or without saturation, the continuity of the signal amount is maintained and the filter is normally filtered. Processing can be executed.
  • the above is the description of the first example of the combining unit 112.
  • FIG. 11B is a diagram illustrating the relationship between the signal amount obtained by the synthesis calculation 2 and the input signal in the distance measuring device 100 according to the present embodiment.
  • FIG. 12 is a pixel diagram referred to in the synthesis unit 112.
  • the synthesizer 112 sets one pixel of the odd line and one pixel of the even line adjacent to the pixel on the upper side or the lower side as a pixel group to be processed.
  • the S0 signal, S1 signal and BG signal of each pixel are input from the line memory 111.
  • the pixel group of P01 and P11 in FIG. 12 is a set of pixels to be processed, and a set of P02 and P11 or a set of P11 and P21 is sequentially input to the combining unit for signal processing.
  • P01 and P11 which are the target pixel group B in FIG. 12 will be described as an example.
  • the internal configuration of the synthesis unit 112 that performs the synthesis operation 2 is the same as that in FIG.
  • the input signals S0odd (P11), S1odd (P11), and BGodd (P11) of one pixel in the odd line are input to the background light removing unit 802 under the first condition and the saturation determining unit 803 under the first condition.
  • the saturation determination unit 803 of the first condition performs the same condition determination as that of the above-described Expression 12, and compares the previously set threshold value Smax with S0odd (P11), S1odd (P11), and BGodd (P11), respectively. To do. When any one of the input signals satisfies a large condition, the saturation determination unit 803 of the first condition notifies the synthesis calculation processing unit 801 that there is a saturation signal.
  • the input signals S0evn (P01), S1evn (P01), and BGevn (P01) of one pixel in the even line are input to the background light removal unit 804 of the second condition and the saturation determination unit 805 of the second condition.
  • Equation 17 is calculated and executed, and A0evn (P01), A1evn (P01), and A0evn (P02) are output to the synthesis calculation processing unit 801.
  • A0evn (P01) S0evn (P01) ⁇ BGevn (P01)
  • A1evn (P01) S1evn (P01) ⁇ BGevn (P01) ....
  • the second condition saturation determination unit 805 performs the condition determination of Expression 18 with respect to the above-described threshold value Smax. When either condition is satisfied, the saturation determination unit 805 of the second condition notifies the synthesis calculation processing unit 801 that there is a saturation signal sum.
  • the processing procedure of the composite operation processing unit 801 is the same as that shown in FIG. 10, but the calculation methods of the composite operation 1 and the composite operation 2 are different.
  • the synthesis calculation processing unit 801 executes the calculation of Formula 19, and outputs A0mix and A1mix to the distance calculation unit 113.
  • A0mix A0odd (P11) + A0evn (P01) ⁇ K2
  • A1mix A1odd (P11) + A1evn (P01) ⁇ K2 ....
  • the coefficient K2 in Equation 19 is determined in advance from the ratio of the exposure time of the first condition and the exposure time of the second condition, and this embodiment assumes that the exposure time of the second condition is a. Then, it is 4 which is a value calculated from the following.
  • FIG. 13A is a diagram illustrating the relationship between the signal amount obtained by the synthesis operation 1 and the input signal.
  • the synthesis operation processing unit 801 executes the operation of Expression 20 using only the pixel signal obtained under the second condition, and outputs A0mix and A1mix to the distance calculation unit 113.
  • A0mix A0evn (P01) ⁇ K3
  • A1mix A1evn (P01) ⁇ K3 ....
  • the coefficient K3 in Expression 20 is calculated in advance from the ratio of the total value of one pixel of the exposure time of the first condition and the value four times the exposure time of the second condition and the exposure time of the second condition. If the exposure time under the second condition is a, the value calculated from the following is 8 in the present embodiment.
  • FIG. 13B is a diagram illustrating the relationship between the signal amount obtained by the synthesis operation 2 and the input signal.
  • the effect of unifying the signal amount and scale obtained by the synthesis operation 1 by multiplying by the coefficient K3 is as described in the first example of the synthesis unit 112.
  • the pixel signal after the synthesizing process is obtained even though the exposure time is different between the odd-numbered line and the even-numbered line of the solid-state imaging device 102 to ensure a wide measurable range.
  • the combined A0mix and A1mix output from the synthesis calculation processing unit 801 are input to the distance calculation unit 113 as the output of the synthesis unit 112.
  • the distance calculation unit 113 When the distance calculation unit 113 is notified of the above-mentioned distance measurement impossible state from the combination calculation processing unit 801, the distance calculation unit 113 outputs the output signal DO with a value indicating a predetermined measurement impossible state. When the distance measurement impossible state has not been notified, the composition calculation processing unit 801 calculates the output signal DO using Equation 21.
  • Equation 21 is an equation equivalent to Equation 2 corresponding to the TOF method 1 described in FIG. 2, the output signal DO is a value corresponding to the distance to the object.
  • the distance calculation unit 113 may be expressed by the following equation (22).
  • FIG. 14 is a pixel arrangement of the solid-state imaging device 102 in the distance measuring device 100 according to the present embodiment and a pixel diagram referred to by the combining unit 112.
  • FIG. 14 shows the arrangement of pixel cells of the solid-state imaging device 102, the configuration of each pixel group, and the combination of pixels referred to by the combining unit 112. In the following, the description will mainly focus on differences from the first embodiment.
  • the solid-state image sensor 102 includes pixels of even lines and even columns (hereinafter referred to as first pixel group), pixels of even lines and odd columns (hereinafter referred to as second pixel group), pixels of odd lines and even columns. Independent exposure control is possible for each of the four pixel groups (hereinafter, the third pixel group) and the pixels in the odd lines and the odd columns (hereinafter, the fourth pixel group).
  • the pixel P01 is the first pixel group
  • the pixel P02 is the second pixel group
  • the pixel P11 is the third pixel group
  • the pixel P12 is the fourth pixel group.
  • these pixels will be described as an example.
  • the exposure timing signal ET1 output from the light emission exposure control unit 101 is one of three exposure signals for S0 exposure, S1 exposure, and BG exposure as described above. It consists of four sets of signals.
  • the ET10a signal, the ET11a signal, and the ET12a signal are supplied to the first pixel group including the pixel P01.
  • the ET10b signal, the ET11b signal, and the ET12b signal are supplied to the second pixel group including the pixel P02.
  • the ET10c signal, the ET11c signal, and the ET12c signal are supplied to the third pixel group including the pixel P11.
  • the ET10d signal, the ET11d signal, and the ET12d signal are supplied to the fourth pixel group including the pixel P12.
  • FIG. 15 is a light emission exposure control timing chart in the distance measuring apparatus 100 according to the present embodiment.
  • the operation of the light emission exposure control unit 101 of the present embodiment allows exposure with different exposure times for each of the four pixel groups in an environment in which illumination light using a commercial AC power source becomes noise. Even if the control is performed in the same frame of the solid-state imaging device, the signal of the background light component that receives the fluctuation of the illumination light intensity can be averaged. Thereby, it is possible to eliminate the bias of the signal amount of the background light component between the S0 exposure, the S1 exposure, and the BG exposure from the first pixel group to the fourth pixel group of the solid-state imaging device 102. In particular, it is possible to accurately extract the illumination light component signals of the S0 exposure and S1 exposure of each pixel of the third pixel group or the fourth pixel group that have a relatively short exposure time.
  • FIG. 14 also shows the relationship of the pixel groups that the combining unit 112 in the signal processing unit 103 refers to at the time of combining as this embodiment.
  • the synthesizer 112 receives one pixel from the adjacent first pixel group, one pixel from the second pixel group, one pixel from the third pixel group, and the first pixel from the line memory 111.
  • the S0 signal, the S1 signal, and the BG signal of each pixel are input from the line memory 111 as a pixel group for processing four pixels of one pixel of the four pixel groups.
  • P01, P02, P11, and P12 in FIG. 14 are a set of processing target pixel groups, and as other combinations, a set of P03, P04, P13, and P14, or a set of P21, P22, P31, and P32 Are sequentially input to the combining unit 112 to be combined.
  • the target pixel group C in FIG. 14 will be described by taking P01, P02, P11, and P12 as an example.
  • FIG. 16 is a configuration diagram of the synthesis unit 112 in the distance measuring apparatus 100 according to the present embodiment.
  • the combining unit 112 includes a combining calculation processing unit 1601, a background light removing unit 1602 of the first pixel group, a saturation determining unit 1603 of the first pixel group, A background light removal unit 1604 of the second pixel group, a saturation determination unit 1605 of the second pixel group, a background light removal unit 1606 of the third pixel group, a saturation determination unit 1607 of the third pixel group, A background light removing unit 1608 for the fourth pixel group, and a saturation determining unit 1609 for the fourth pixel group.
  • S0g1 (P01) which is the S0 signal, S1g1 (P01) which is the S1 signal, and BGg1 (P01) which is the BG signal are the first pixel group.
  • the background light removal unit 1602 and the saturation determination unit 1603 of the first pixel group are input.
  • Expression 23 is calculated and A0g1 (P01) and A1g1 (P01) are output to the combination calculation unit 1601.
  • A0g1 (P01) S0g1 (P01) ⁇ BGg1 (P01)
  • A1g1 (P01) S1g1 (P01) ⁇ BGg1 (P01) ....
  • the saturation determination unit 1603 of the first pixel group performs the condition determination of Expression 24 on the saturation detection threshold Smax, and if any of the conditions is satisfied, The pixel group saturation determination unit 1603 notifies the synthesis calculation processing unit 1601 that there is a saturation signal.
  • the input signals S0g2 (P02), S1g2 (P02), and BGg2 (P02) of the pixel P02 of the second pixel group are the same as the pixel P01.
  • the background light removal unit 1604 of the second pixel group calculates A0g2 (P02) and A1g2 (P02), and outputs them to the synthesis operation processing unit 1601.
  • the saturation determination unit 1605 of the second pixel group notifies the synthesis calculation processing unit 1601 of the presence or absence of any one of S0g2 (P02), S1g2 (P02), and BGg2 (P02).
  • the input signals S0g3 (P11), S1g3 (P11), and BGg3 (P11) of the pixel P11 of the third pixel group are the same as the pixel P01.
  • the background light removal unit 1606 of the third pixel group calculates A0g3 (P11) and A1g3 (P11), and outputs them to the synthesis operation processing unit 1601.
  • the saturation determination unit 1607 of the third pixel group notifies the synthesis calculation processing unit 1601 of the presence / absence of any one of S0g3 (P11), S1g3 (P11), and BGg3 (P11).
  • the input signals S0g4 (P12), S1g4 (P12), and BGg4 (P12) of the pixel P12 of the fourth pixel group are the same as the pixel P01.
  • the background light removal unit 1608 of the fourth pixel group calculates A0g4 (P12) and A1g4 (P12), and outputs them to the synthesis operation processing unit 1601.
  • the saturation determination unit 1609 of the fourth pixel group notifies the synthesis calculation processing unit 1601 of the presence / absence of one of S0g4 (P12), S1g4 (P12), and BGg4 (P12).
  • FIG. 17 is a flowchart showing the procedure of the composition calculation process in the distance measuring device 100 according to the present embodiment.
  • the saturation determination unit 1609 of the fourth pixel group determines whether or not there is a saturation signal (step S1701). If there is a saturation signal (Y in step S1701), the saturation determination unit 1609 of the fourth pixel group notifies the synthesis calculation processing unit 1601 that there is a saturation signal. In this case, the composition calculation processing unit 1601 performs a distance measurement impossible process (step S1705).
  • the composition calculation processing unit 1601 outputs a distance measurement impossible state to the distance calculation unit 113.
  • the saturation determination unit 1607 of the third pixel group determines whether there is a saturation signal (step S1702). If there is a saturation signal (Y in step S1702), the saturation determination unit 1607 of the third pixel group notifies the composition calculation processing unit 1601 that there is a saturation signal. In this case, the synthesis calculation processing unit 1601 performs the synthesis calculation 4 (step S1706).
  • the saturation determination unit of the second pixel group determines whether there is a saturation signal (step S1703). If there is a saturation signal (Y in step S1703), the saturation determination unit 1605 of the second pixel group notifies the composition calculation processing unit 1601 that there is a saturation signal. In this case, the synthesis calculation processing unit 1601 performs the synthesis calculation 3 (step S1707).
  • the saturation determination unit 1603 of the first pixel group determines whether there is a saturation signal (step S1704). If there is a saturation signal (Y in step S1704), the saturation determination unit 1603 of the first pixel group notifies the composition calculation processing unit 1601 that there is a saturation signal. In this case, the synthesis calculation processing unit 1601 performs the synthesis calculation 2 (step S1708).
  • the synthesis operation processing unit 1601 performs the synthesis operation 1. In the synthesis operation 1, since all the pixels to be processed are output from the solid-state imaging device 102 within a normal signal range in a non-saturated state, the synthesis operation processing unit 1601 executes the operation of Expression 25 and calculates A0mix and A1mix. The data is output to the distance calculation unit 113.
  • A0mix A0g1 (P01) + A0g2 (P02) + A0g3 (P11) + A0g4 (P12)
  • A1mix A1g1 (P01) + A1g2 (P02) + A1g3 (P11) + A1g4 (P12) ....
  • the output signal A0mix is 15 times the A0g4 signal of P12 having the shortest exposure time. Signal amount. Further, the output signal A1mix has a signal amount 15 times as large as the A1g4 signal of P12.
  • the synthesis calculation processing unit 1601 executes the calculation of Expression 26 by removing the pixel signal of P01, and outputs A0mix and A1mix to the distance calculation unit 113.
  • A0mix A0g2 (P02) + A0g3 (P11) + A0g4 (P12)
  • A1mix A1g2 (P02) + A1g3 (P11) + A1g4 (P12) ....
  • the synthesis calculation processing unit 1601 executes the calculation of Expression 27 by removing the pixel signals P01 and P02, and outputs A0mix and A1mix to the distance calculation unit 113.
  • A0mix A0g3 (P11) + A0g4 (P12)
  • A1mix A1g3 (P11) + A1g4 (P12) ....
  • the composition calculation processing unit 1601 executes the calculation of Expression 28 and outputs A0mix and A1mix to the distance calculation unit 113.
  • A0mix A0g4 (P12)
  • A1mix A1g4 (P12) ....
  • the operation of the distance calculation unit 113 is the same as in the first and second embodiments.
  • the signal range can be expanded by 8 times the signal range of the solid-state imaging device 102 by independent exposure control of the four pixel groups. That is, the distance measuring device 100 according to the present embodiment can expand the distance measuring range that is a little less than three times in terms of distance compared to the distance measuring device 100 shown in the first embodiment.
  • the exposure time ratio of the four pixel groups is not limited to the ratio described in the second embodiment, and can be easily changed by changing the timing of the exposure timing signal generated by the light emission exposure control unit 101. .
  • the number of pixel groups for independently controlling the exposure time is four.
  • the number of exposure timing signals generated by the light emission exposure control unit 101 is increased, and By increasing the number of divided wirings to each pixel cell in the solid-state imaging device 102, it is possible to easily increase the number of pixel groups that perform independent exposure control.
  • the distance measurement range within one frame of the solid-state imaging device that is restricted by the attenuation of the light due to the distance of the target object or the reduction of the reflected light intensity due to the influence of the surface reflectance can be expanded to It is possible to realize a distance measuring apparatus that can acquire a distance image with good accuracy that is resistant to a change in the distance of a target object in a direction and that can eliminate the influence of disturbance due to background light other than irradiation light.
  • a small and inexpensive distance measuring device that does not require a frame memory or the like can be realized.
  • an on-board occupant detection device for example, an on-board occupant detection device, a monitoring system device for industrial FA application, and a human gesture motion by three-dimensionally detecting the movement of a person's arm or finger as a device for detecting the presence or absence of a person. It can be applied to an input device that recognizes and inputs a user interface of a specific device such as a PC.
  • DESCRIPTION OF SYMBOLS 100 Distance measuring device 101 Light emission exposure control part 102 Solid-state image sensor 103 Signal processing part 104 Light emission part 111 Line memory 112 Synthesis

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

光の往復時間を利用して物体までの距離を測定する距離測定装置（１００）において、固体撮像素子（１０２）は、独立して露光制御可能な複数の画素群を有し、光源（１１５）にて照射されたパルス光の物体の反射光を画素群ごとに異なった露光時間で受光する。発光露光制御部（１０１）は、固体撮像素子（１０２）の各画素群の照射光と反射光の時間差に対応する複数種類の画素信号を異なる露光時間で得るための周期的な間欠の露光制御を実施し、信号処理部（１０３）は、固体撮像素子（１０２）の露光時間の異なる画素群の近隣の画素の各画素信号に基づいて物体までの距離情報を得る。

Description

距離測定装置
　本開示は、距離画像を生成する距離測定装置に関する。特に、照射光源とそれを受光する固体撮像素子で光の往復による遅延を用いて距離を測定する距離測定装置に関する。
　近年、距離画像を生成するための被写体の測距手法の一例として、赤外光またはレーザー光を被写体に向けて照射してから、被写体で反射した光を固体撮像装置で受光するまでの計測時間に基づいて被写体までの距離を算出（測距）するＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）方式が知られている。
　昨今のＴＯＦ方式は、被写体で反射した光を画素アレイを有する固体撮像素子により露光し、信号量を２次元面上に距離分布を示す距離画像として生成することで距離測定を行っている（例えば、特許文献１～３参照）。
特開２０１２－２２５８０７号公報 特開２００６－２５３８７６号公報 特開２０１１－６４４９８号公報
　しかしながら、従来の距離測定装置は、フレーム単位で時系列毎に異なる露光条件で距離画像を取得するため、距離測定可能な範囲が狭い装置では対象物の距離が変化した際に距離測定の精度が低下するという課題がある。また、従来の測距測定装置では、露出の異なる複数枚の距離画像を合成して距離を計測するため、距離画像に背景光などの照射光以外の外乱が含まれる場合、距離画像の露出にばらつきがあり、計測精度が安定しないという課題がある。
　このような課題に鑑み、本開示は、対象物の距離変化に影響されない距離測定範囲で、良好な精度で距離測定を行うことができる距離測定装置を提供することを目的とする。
　本開示の距離測定装置は、光の往復時間を利用して物体までの距離を測定する距離測定装置であって、光源から測定対象範囲に向けて光を照射する発光部と、前記発光部による照射光の画角内の前記物体の反射光を、行列状に配置された複数の画素において光電変換するとともに、前記画素の露光を独立して実施可能な複数の画素群を有する固体撮像素子と、前記発光部に対し前記光源の発光タイミングおよび発光期間を指示し、前記固体撮像素子の前記画素群ごとに光の往復時間に起因する照射光と反射光の時間差に対応する複数種類の画素信号を得るための露光タイミングと露光期間を指示し、前記露光タイミングと前記露光期間の指示を、前記画素群ごとの画素信号の露光を異なる露光時間で実施し、各前記画素群の照射光と反射光の時間差に対応する各画素信号の露光を周期的な少なくとも２つ以上の露光期間で実施することで、前記画素の露光を間欠的に行う発光露光制御部と、前記固体撮像素子の画素群ごとに異なる露光時間で露光を実施された２つ以上の近隣の画素の、照射光と反射光の時間差に対応した画素信号に基づいて、前記固体撮像素子に結像される物体の距離値を算出する信号処理部と、を備える。
　本開示の距離測定装置によれば、対象物の距離変化に影響されない距離測定範囲で、良好な精度で距離測定を行うことができる。
図１は、距離測定装置の概略構成図である。 図２は、ＴＯＦ方式の一例を示す図である。 図３は、ＴＯＦ方式の他の例を示す図である。 図４は、第１の実施形態に係る測距測定装置における固体撮像素子の概略構成図である。 図５は、第１の実施形態に係る測距測定装置における固体撮像素子の画素セルの構成図である。 図６Ａは、第１の実施形態に係る測距測定装置における発光露光制御タイミング図である。 図６Ｂは、図６Ａの一部の区間を拡大した発光露光制御タイミング図である。 図７は、第１の実施形態に係る測距測定装置における発光露光制御タイミング図である。 図８は、第１の実施形態に係る測距測定装置における合成部の構成図である。 図９は、第１の実施形態に係る測距測定装置における合成部で参照する画素図である。 図１０は、第１の実施形態に係る測距測定装置における合成演算処理の手順を示すフローチャートである。 図１１Ａは、第１の実施形態に係る測距測定装置における合成演算１で得られる信号量と入力信号の関係を示す図である。 図１１Ｂは、第１の実施形態に係る測距測定装置における合成演算２で得られる信号量と入力信号の関係を示す図である。 図１２は、第１の実施形態に係る測距測定装置における合成部で参照する画素図である。 図１３Ａは、第１の実施形態に係る測距測定装置における合成演算１で得られる信号量と入力信号の関係を示す図である。 図１３Ｂは、第１の実施形態に係る測距測定装置における合成演算２で得られる信号量と入力信号の関係を示す図である。 図１４は、第２の実施形態に係る測距測定装置における固体撮像素子の画素配置と合成部で参照する画素図である。 図１５は、第２の実施形態に係る測距測定装置における発光露光制御タイミング図である。 図１６は、第２の実施形態に係る測距測定装置における合成部の構成図である。 図１７は、第２の実施形態に係る測距測定装置における合成演算処理の手順を示すフローチャートである。
　（本発明の基礎となった知見）
　被写体の測距情報を有する画像（以下、距離画像）を生成する装置や手法は、近年、ゲームやアミューズメント分野だけでなく、車載カメラまたは監視カメラなどの２次元イメージセンサーが使用されてきた分野にも応用されている。
　距離画像を生成するための被写体の測距手法には、複数のカメラを用いて撮像した画像の視差に基づいて距離画像を生成する方法、既知のランダムドットパターンを被写体に照射しドットパターンを受光する視差に基づいて距離画像を生成する方法などが存在する。それらの方法の一例であるＴＯＦ方式は、赤外光やレーザー光を被写体に向けて照射してから、被写体で反射した光を固体撮像装置で受光するまでの計測時間に基づいて被写体までの距離を算出（測距）する方式である。
　昨今のＴＯＦ方式は、被写体で反射した光を、画素アレイを有する固体撮像素子により露光し、得られた信号量より、固体撮像素子の画素毎に距離情報を取得することが可能であり２次元面上に距離分布を示す距離画像を生成することが可能である。
　当該技術では、固体撮像素子から被写体までの距離や被写体の表面反射率に応じて、受光する反射光の強度は大きく変動する。そこで、照射光源の強度や固体撮像素子の受光感度や露光量を一律にする。しかし、固体撮像素子の受光面に距離の異なる複数の対象物が存在する場合には、距離画像全体にわたって良好な測距性能を得ることが難しい。
　固体撮像素子で受光する反射光強度は、光源から被写体までの距離の二乗に反比例して減衰する光の特性または被写体表面の光反射率に依存する。例えば、反射光の露出調整を実施し露光量を増やすと、近距離にある物体や表面反射率の高い物体からの反射光は光強度が高くなり、固体撮像素子の受光可能な露光量を超えて飽和状態となる。この場合、正しい受光量信号を取得できなくなる。逆に、露光量を減らすと、遠距離にある物体または表面反射率の低い物体からの反射光量は微小となる。この場合には、安定した距離測定が困難になる。
　上述のような技術的課題に対する解決手段として、特許文献１、特許文献２および特許文献３が開示されている。
　特許文献１および特許文献３では、露出の異なる複数枚の距離画像を取得し、それら複数画像から距離画像の合成を行い距離測定範囲の拡大と距離測定精度の向上を実施している。
　特許文献２では、固体撮像素子において、偶数画素行と奇数画素行とで、それぞれ信号電荷の蓄積時間を個別に設定することにより異なる感度の信号を取り出し、これら感度の異なる信号を後段の信号処理系で合成する。具体的には、例えば、偶数行の各画素については蓄積時間を長く設定し高感度の画素信号を得て、奇数行の各画素については蓄積時間を短く設定し低感度の画素信号を得る。合成処理においては、偶数行の画素信号（高感度の画素信号）が飽和していない画素については高感度の画素信号を選択して利用し、飽和した画素については近傍の奇数行の画素信号（低感度の画素信号）を選択するといった合成処理が一般的である。
　しかしながら、特許文献１または特許文献３の距離測定装置は、フレーム単位で時系列に異なる露光条件で距離画像を取得するため、対象物の距離が変化した際に距離測定の精度が低下する課題がある。さらに、当該測距測定装置では、露出の異なる複数枚の距離画像を記憶するため、固体撮像素子の画素毎の距離値を記憶するフレームメモリが必要となる。したがって、固体撮像素子の多画素化に伴い、より大容量のフレームメモリを必要とし、距離測定装置が大型かつ高価になるという問題がある。
　また、特許文献２の合成処理では、高感度の画素信号が飽和していない場合は高感度の画素信号のみを利用するため、低感度の画素信号の画素情報は、有効であっても利用されないことになる。
　以下に説明する距離測定装置では、対象物体の距離による光の減衰または表面反射率の影響による反射光強度の低下により制約を受ける固体撮像素子の１フレーム内の距離測定範囲を拡大することで、時系列に沿った対象物の距離変化に強い距離画像を取得することができる。また、当該距離測定装置では、照射光以外の背景光による外乱の影響を除去することで、良好な精度の距離画像を取得することができる。これにより、フレームメモリ等を必要としない小型で低価格な距離測定装置の提供が可能となる。
　以下、本開示に係る実施形態について、図面を参照しながら詳細に説明する。
　（各実施形態における共通説明）
　以下に説明する各実施形態では、被写体に対してＬＥＤ光やレーザー光を照射して発生する反射光の往復時間を求めることで測距するＴＯＦ方式を用いる場合を例として説明する。
　図１は、本実施形態１または２に係る距離測定装置１００の構成を示す構成図である。図１に示す距離測定装置１００は、発光露光制御部１０１、固体撮像素子１０２、信号処理部１０３および発光部１０４を備えている。
　固体撮像素子１０２としては、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサーや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ―Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー等が挙げられる。
　発光部１０４は、光源駆動部１１４と光源１１５から構成されている。光源１１５は、例えばＬＥＤやレーザーダイオード等が挙げられる。
　信号処理部１０３は、ラインメモリ１１１、合成部１１２および距離演算部１１３から構成される。
　発光露光制御部１０１は、後述の所定の条件に従って、発光タイミング信号ＬＴ１と露光タイミング信号ＥＴ１とシャッタータイミング信号ＳＨ１とを生成し出力する。発光タイミング信号ＬＴ１により発光部１０４内の光源駆動部１１４がＯＮ／ＯＦＦ制御され、光源１１５が対象物ＯＢＪに向かって光Ｌ１を照射する。照射光Ｌ１は、所定の発光幅を持つパルス波形の光である。
　照射光Ｌ１は、対象物ＯＢＪで反射する。この反射光Ｌ２は、図示しないレンズ光学系を介して固体撮像素子１０２で受光される。固体撮像素子１０２は、行列状に配置された複数の画素を有している。固体撮像素子１０２において、露光タイミング信号ＥＴ１とシャッタータイミング信号ＳＨ１に従って各画素での露光が制御される。各画素で光電変換され蓄積された信号電荷に応じた画素信号は、信号処理部１０３へ出力される。
　図２は、ＴＯＦ方式の一例を示す図である。図２を用いてＴＯＦ方式の距離測定法の一例を説明する。ＴＯＦ方式では、光源からパルス状に照射される光の反射光を全て受光するＳ０露光、光源から照射されるパルス光が反射した物体の距離に起因して時間遅延した反射光のうちで遅延時間分に相当する反射光の一部を受光するＳ１露光、および、光源を発光させずに背景光のみを受光するＢＧ露光を行う。また、Ｓ０露光及びＳ１露光においては、背景光も同時に受光する。これらの３種類の露光を複数回ずつ繰り返して電荷を蓄積し、その蓄積した電荷量に応じた画素信号Ｓ０、Ｓ１、ＢＧを得る。光源から対象物ＯＢＪまでの距離Ｌは、発光パルス幅（照射パルス時間幅）をＴ０、光の速度をｃとすると、数式１で得られる。
Figure JPOXMLDOC01-appb-M000001
 　・・・・・・・・・・・・・・・・・・・・・・・・・　数式１
　図３は、ＴＯＦ方式の他の例を示す図である。図２の方式に対して固体撮像素子の露光期間の長さが発光パルス幅と概同一となり、対象物から反射し遅延して戻ってきた反射光に対して、照射光のパルス発光タイミングと概同一の露光期間で受光するＳ０露光と、照射光のパルス発光完了より後に戻ってきた反射光の一部を受光するＳ１露光を得る。この場合の対象物ＯＢＪまでの距離Ｌは、数式２で得ることができる。
Figure JPOXMLDOC01-appb-M000002
 　・・・・・・・・・・・・・・・・・・・・・・・・・　数式２
　なお、露光信号のタイミングおよび距離計算式はこれだけに限定されるものではない。例えば、照射光をサイン波状に発光させて、照射光のサイン波の位相に対して０度の位相、９０度の位相、１８０度の位相および２７０度の位相に相当するタイミングで反射光を露光して４つの画素信号を画素群ごとに取得する。そして、０度の位相の画素信号と１８０度の位相の画素信号の差分信号と９０度の位相の画素信号と２７０度の位相の画素信号の差分信号との比から照射光に対する反射光の時間差を算出し、距離に換算する方法を取ることもできる。
　信号処理部１０３に入力された画素信号群（Ｓ０、Ｓ１、ＢＧ）は、固体撮像素子１０２の画素に対応してライン単位で、ラインメモリ１１１に保持される。合成部１１２は、ラインメモリ１１１から必要な参照画素の画素信号を入力して合成処理を行う。合成部１１２で行われた合成処理の結果は距離演算部１１３に入力され、距離演算部１１３で合成後の画素信号を用いて数式１もしくは数式２の計算を行い、計算の結果得られた距離値Ｄ０を出力する。
　（第１の実施形態）
　以下、第１の実施形態について説明する。本実施形態では、発光露光制御部１０１から出力される露光タイミング信号ＥＴ１は、詳細には前述のＳ０露光用、Ｓ１露光用、およびＢＧ露光用の３つの露光用信号を１組とした２組の信号ＥＴ１０ａ、ＥＴ１１ａ、ＥＴ１２ａおよびＥＴ１０ｂ、ＥＴ１１ｂ、ＥＴ１２ｂから構成されている。発光露光制御部１０１は、当該信号群を固体撮像素子１０２へ出力する。
　図４は、本実施形態に係る測距測定装置における固体撮像素子の概略構成図である。図４に固体撮像素子１０２の画素セルの配置と露光タイミング信号群の接続関係の一例を示す。図４中のＰ０１、Ｐ０２、Ｐ０３・・・は、フォトダイオード領域を含む各画素セルを示している。
　各画素セルは、ライン単位で奇数ラインと偶数ラインとにおいて画素位置が水平方向に半画素ピッチずらして配置されている。奇数ラインの画素セルには露光タイミング信号ＥＴ１０ａ、ＥＴ１１ａ、ＥＴ１２ａの３つの信号が接続され、偶数ラインの画素セルにはＥＴ１０ｂ、ＥＴ１１ｂ、ＥＴ１２ｂの３つの信号が接続されている。なお、図示していないが、シャッタータイミング信号ＳＨ１を供給するラインは、すべての画素セルに共通して接続されている。
　図５に、本実施形態に係る測距測定装置における固体撮像素子の画素セルの概略構成図を一例として示す。
　光電変換を行うフォトダイオード５０１にはリセットトランジスタ５０２が接続され、シャッタータイミング信号ＳＨ１がオンされるとフォトダイオードで光電変換された電荷は破棄される。
　さらに、フォトダイオード５０１にはアナログスイッチ５１０、５１１、５１２を介してアナログメモリー５２０、５２１、５２２がそれぞれ接続される。奇数ラインの画素セルでは、アナログスイッチ５１０のＯＮ／ＯＦＦの制御のために露光タイミング信号ＥＴ１０ａが供給され、アナログスイッチ５１１ＯＮ／ＯＦＦの制御のために露光タイミング信号ＥＴ１１ａが供給され、アナログスイッチ５１２のＯＮ／ＯＦＦの制御のために露光タイミング信号ＥＴ１２ａが供給される。同様に、偶数ラインの画素セルでは、アナログスイッチ５１０のＯＮ／ＯＦＦ制御に露光タイミング信号ＥＴ１０ｂが接続され、アナログスイッチ５１１ＯＮ／ＯＦＦの制御のために露光タイミング信号ＥＴ１１ｂが供給され、アナログスイッチ５１２のＯＮ／ＯＦＦの制御のために露光タイミング信号ＥＴ１２ｂが供給される。
　アナログメモリー５２０、５２１、５２２は、それぞれ接続されるアナログスイッチ５１０、５１１、５１２がＯＮ状態の期間かつリセットトランジスタ５０２がＯＦＦ状態の非リセット期間に、フォトダイオード５０１で光電変換された電荷を蓄積する。また、アナログメモリー５２０、５２１、５２２は、アナログスイッチ５１０、５１１、５１２がＯＮ状態の期間かつリセットトランジスタ５０２がＯＮ状態の期間またはアナログスイッチ５１０、５１１、５１２がＯＦＦ状態の期間には電荷蓄積しない。
　上記の構成を取ることにより、固体撮像素子１０２は奇数ラインと偶数ラインの行毎に独立して露光制御が可能となる。
　図６Ａ及び図６Ｂに、発光露光制御の第１の例として、発光露光制御部１０１が出力する露光タイミング信号と照射光及びシャッタータイミング信号ＳＨ１との関係の一例を示す。図６Ａは、本実施形態に係る測距測定装置における発光露光制御タイミング図である。
　発光露光制御部１０１が生成し出力する発光タイミング信号ＬＴ１によって生じるパルス状の照射光と、発光露光制御部１０１が生成し出力する露光タイミング信号ＥＴ１およびシャッタータイミング信号ＳＨ１は、図６Ａに示すように、同一のパターンを１サイクルとして、複数サイクル繰り返し出力される。当該１サイクルの時間（露光期間の周期Ｔｃｙｃ）は、例えば、距離測定装置１００の使用される環境下で商用交流電源を電力源とする照明光の光量変動周期（光源の周期時間Ｔｂｇ）の１／ｎ（ｎは２以上の整数）とする。サイクル数Ｎｃｙｃは、ｎ×ｍ（ｍは１以上の整数）に概ね設定する。なお、図６Ａでは、例としてｎ＝３、ｍ＝２として総数６サイクルとしているが、これに限定するものではない。
　図６Ｂに、上述した図６Ａの１サイクル期間を拡大したものを示す。
　１サイクル期間は、前述の図２および数式１で示したＴＯＦ方式その１に基づいて、発光露光制御部１０１がＯＮ状態となるタイミングを生成したシャッタータイミング信号ＳＨ１により形成されるＳ０露光を行う期間と、Ｓ１露光を行う期間と、ＢＧ露光を行う期間とから構成されている。
　Ｓ０露光の期間では、露光タイミング信号ＥＴ１０ａおよびＥＴ１０ｂが供給され、Ｓ１露光の期間では、露光タイミング信号ＥＴ１１ａおよびＥＴ１１ｂが供給され、ＢＧ露光の期間では、露光タイミング信号ＥＴ１２ａおよびＥＴ１２ｂが供給される。
　加えて、例えばＳ０露光ではＥＴ１０ａ信号が発光タイミング信号ＬＴ１によって発生するパルス状の照射光の８パルス分の期間に供給されるのに対し、ＥＴ１１ｂ信号は２パルス分の期間に供給されるのみとし、前述の説明の通り固体撮像素子１０２の奇数ラインの画素で光電変換されアナログメモリー５２０に信号蓄積される時間（第１の条件）と、偶数ラインの画素のアナログメモリー５２０に信号蓄積される時間（第２の条件）は、露光時間に相当する信号蓄積時間の比率が４：１の関係となる。
　Ｓ１露光の期間、ＢＧ露光の期間についても同様である。
　なお、本実施形態では、露光時間の比率が４：１となる制御例を示したが、これに限定するものではなく、上述のタイミング制御の変形をすることで容易に異なる露光時間の比を形成することができる。
　上述のような発光と露光のタイミング制御で、Ｓ０露光によって固体撮像素子１０２の奇数ラインのひとつの画素セルのアナログメモリー５２０に蓄積された信号をＳ０ｏｄｄとすると、Ｓ０ｏｄｄは数式３で表せる。
　　Ｓ０ｏｄｄ＝Ａ０ｏｄｄ＋Ｂ０ｏｄｄ　・・・・　数式３
　数式３において、Ａ０ｏｄｄは照射光による信号成分、Ｂ０ｏｄｄは背景光による信号成分を示す。
　Ｓ１露光によって固体撮像素子１０２の奇数ラインのひとつの画素セルのアナログメモリー５２１に蓄積された信号をＳ１ｏｄｄとすると、Ｓ１ｏｄｄは数式４で表せる。
　　Ｓ１ｏｄｄ＝Ａ１ｏｄｄ＋Ｂ１ｏｄｄ　・・・・　数式４
　数式４において、Ａ１ｏｄｄは照射光による信号成分、Ｂ１ｏｄｄは背景光による信号成分を示す。
　ＢＧ露光によって固体撮像素子１０２の奇数ラインのひとつの画素セルのアナログメモリー５２１に蓄積された信号をＢＧｏｄｄとする。
　同様に、Ｓ０露光によって固体撮像素子１０２の偶数ラインのひとつの画素セルであって、上述の奇数ラインのひとつの画素の近傍にある画素セルのアナログメモリー５２０に蓄積された信号をＳ０ｅｖｎとすると、Ｓ０ｅｖｎは数式５で表せる。
　　Ｓ０ｅｖｎ＝Ａ０ｅｖｎ＋Ｂ０ｅｖｎ　・・・・　数式５
　数式５において、Ａ０ｅｖｎは照射光による信号成分、Ｂ０ｅｖｎは背景光による信号成分を示す。
　Ｓ１露光によって固体撮像素子１０２の偶数ラインの他方の画素のアナログメモリー５２１に蓄積された信号をＳ１ｅｖｎとすると、Ｓ１ｅｖｎは数式６で表せる。
　　Ｓ１ｅｖｎ＝Ａ１ｅｖｎ＋Ｂ１ｅｖｎ　・・・・　数式６
　数式６において、Ａ１ｅｖｎは照射光による信号成分、Ｂ１ｅｖｎは背景光による信号成分を示す。
　固体撮像素子１０２の偶数ラインの他方の画素にＢＧ露光によってアナログメモリー５２１に蓄積された信号をＢＧｅｖｎとする。
　前述のように固体撮像素子１０２の奇数ラインと偶数ラインは露光時間で４：１の関係であるため、固体撮像素子１０２内のＳ０ｏｄｄが信号飽和しない受光強度である場合には、近傍の奇数ラインの画素と偶数ラインの画素間では、数式７が成立する。
　　Ａ０ｏｄｄ＝４×Ａ０ｅｖｎ
　　Ａ１ｏｄｄ＝４×Ａ１ｅｖｎ
　　　　　　　　　　　　・・・・　数式７
　さらに、商用交流電源を電力源とする照明光が周期性を持って変動する背景光として存在する環境下であっても、固体撮像素子１０２の奇数ラインと偶数ラインそれぞれのＳ０露光、Ｓ１露光およぶＢＧ露光の各画素信号を、本実施形態では６回の周期的な露光期間で行う。また、各露光期間の周期は、商用交流電源を電力源とする照明光の光量変動の１周期に対して１／３周期であり、間欠的な露光が行われる。これにより、背景光の大小を偏りなく各露光期間にて固体撮像素子１０２で光電変換された電荷を各アナログメモリー５２０、５２１、５２２へ逐次電荷蓄積して露光するので、Ｓ０信号、Ｓ１信号、ＢＧ信号それぞれの画素信号の背景光成分は平均化される。したがって、背景光の変動によらず、数式８が成立する。
　　ＢＧｏｄｄ＝Ｂ０ｏｄｄ＝Ｂ１ｏｄｄ
　　ＢＧｅｖｎ＝Ｂ０ｅｖｎ＝Ｂ１ｅｖｎ
　　　　　　　　　・・・・　数式８
　さらに、数式９が成立し、背景光成分が除去された照明光による信号成分のみが正確に抽出することができる。
　　Ａ０ｏｄｄ＝Ｓ０ｏｄｄ－ＢＧｏｄｄ
　　Ａ１ｏｄｄ＝Ｓ１ｏｄｄ－ＢＧｏｄｄ
　　Ａ０ｅｖｎ＝Ｓ０ｅｖｎ－ＢＧｅｖｎ
　　Ａ１ｅｖｎ＝Ｓ１ｅｖｎ－ＢＧｅｖｎ
　　　　　　　　　・・・・　数式９
　上述の数式７と数式８から、商用交流電源等により強度が変動する照明光下であっても、その外乱を受けず数式１０が成立する。
　　Ｓ０ｏｄｄ－ＢＧｏｄｄ＝４×（Ｓ０ｅｖｎ－ＢＧｅｖｎ）
　　Ｓ１ｏｄｄ－ＢＧｏｄｄ＝４×（Ｓ１ｅｖｎ－ＢＧｅｖｎ）
　　　　　　　　　・・・・　数式１０
　発光露光制御の第１の例の発光露光制御部１０１の動作により、商用交流電源を電力源とする照明光が雑音となる環境下で、露光時間の異なる露光制御を固体撮像素子の同一フレーム内で実施しても、照明光強度の変動を受ける背景光成分の信号を平均化できる。これにより、固体撮像素子１０２の奇数ラインと偶数ラインそれぞれのＳ０露光とＳ１露光とＢＧ露光間の背景光成分の信号量の偏りを排除することができる。
　特に、商用交流電源を電力源とする照明光の光量変動の１周期に対して相対的に短い露光時間となる画素は、変動する背景光の局所的な大小の偏りの影響を画素信号の背景光成分に大きく受けるが、本実施形態に示すように短い露光時間となる第２の条件の画素群では、背景光の局所的な大小を平均して、Ｓ０信号とＳ１信号の背景光成分がＢＧ信号と等しくなることから、Ｓ０露光およびＳ１露光の照明光成分の信号を精度よく抽出することができる。
　さらに、発光露光制御の第１の例では、第１の条件の長い露光時間となる画素を露光するための光源の発光を、部分的に第２の条件の短い露光時間となる画素を露光するための発光と兼用しているため、照明光光源の電力を最小にする効果がある。以上が発光露光制御の第１の例の説明である。
　続いて、図７に発光露光制御の第２の例を示す。図７に示す発光制御タイミングの制御方法は、図６Ａで示した発光露光タイミングの制御方法とは別の制御方法である。図７に示す発光制御タイミングの制御方法は、第１の条件となる奇数ラインを露光するための照明光の発光と、第２の条件となる偶数ラインを露光するための照明光の発光を時間的に分離している。
　当発光露光タイミング制御では、奇数ラインと偶数ラインの露光タイミングと露光期間が時間的に分離されている。これにより、例えば第２の条件の露光期間の対象でない照射光が固体撮像素子１０２前面に配置されたレンズの内面で反射した迷光、または、照射光の照射範囲にある高い光反射率の物体から対象物へ飛行した反射光が対象物で２次反射して発生する迷光が、その長い飛行距離に起因する時間遅延で、第２条件の露光期間に到達することにより発生する第２の条件の画素信号へ及ぼす光学的な影響を避けることができる。以上が発光露光制御の第２の例の説明である。
　固体撮像素子１０２は、図示しない内蔵のタイミングジェネレータ等により、上述の図６Ａ又は図７に示す露光が行われた後に、画素毎のＳ０信号、Ｓ１信号、ＢＧ信号が逐次画素配列上でラスタースキャン順に読み出しされる。読み出しされた画素毎のＳ０信号、Ｓ１信号、ＢＧ信号は、信号処理部１０３へ出力される。
　固体撮像素子１０２から入力された画素信号は、信号処理部１０３内のラインメモリ１１１にて奇数ラインの所定のライン数のＳ０ｏｄｄ信号とＳ１ｏｄｄ信号とＢＧｏｄｄ信号、および偶数ラインの所定のライン数のＳ０ｅｖｎ信号とＳ１ｅｖｎ信号とＢＧｅｖｎ信号を逐次記憶保持し、順次参照対象となる画素信号を合成部１１２へ出力する。
　ここで、合成部１１２の構成例を示す。図８は、第１の実施形態に係る測距測定装置における合成部の構成図である。
　合成部１１２は、図８に示すように、合成演算処理部８０１と、第１の条件の背景光除去部８０２と、第１の条件の飽和判定部８０３と、第２の条件の背景光除去部８０４と、第２の条件の飽和判定部８０５とを有している。
　また、合成部１１２の第１の例として、合成時に参照する画素群の関係を示す。図９は、本実施形態に係る測距測定装置における合成部１１２で参照する画素図である。
　合成部１１２は、ラインメモリ１１１から、図９に示すように、奇数ラインのひとつの画素とこれに上下で隣接する偶数ラインの４つの画素を処理対象とする画素群として、各画素のＳ０信号、Ｓ１信号およびＢＧ信号をラインメモリ１１１から入力する。
　例えば、図９におけるＰ０１、Ｐ０２、Ｐ１１、Ｐ２１、Ｐ２２の画素群が一組の処理対象画素であり、例えばＰ０２、Ｐ０３、Ｐ１２、Ｐ２２、Ｐ２３の一組や、Ｐ２１、Ｐ２２、Ｐ３１、Ｐ４１、Ｐ４２の一組が順次合成部１１２へ入力されて合成処理される。後述する説明では、図９中の対象画素群ＡであるＰ０１、Ｐ０２、Ｐ１１、Ｐ２１、Ｐ２２を例にする。
　合成部１１２では、図８に示すように、奇数ラインのひとつの画素の入力信号Ｓ０ｏｄｄ（Ｐ１１）、Ｓ１ｏｄｄ（Ｐ１１）、ＢＧｏｄｄ（Ｐ１１）は、第１の条件の背景光除去部８０２および第１の条件の飽和判定部８０３へ入力される。Ｓ０ｏｄｄ（Ｐ１１）は画素Ｐ１１のＳ０ｏｄｄ信号、Ｓ１ｏｄｄ（Ｐ１１）は画素Ｐ１１のＳ１ｏｄｄ信号、ＢＧｏｄｄ（Ｐ１１）は画素Ｐ１１のＢＧｏｄｄ信号を示す。
　第１の条件の背景光除去部８０２では、数式１１が演算実行され、Ａ０ｏｄｄ（Ｐ１１）およびＡ１ｏｄｄ（Ｐ１１）が合成演算処理部８０１へ出力される。
　　Ａ０ｏｄｄ（Ｐ１１）＝Ｓ０ｏｄｄ（Ｐ１１）－ＢＧｏｄｄ（Ｐ１１）
　　Ａ１ｏｄｄ（Ｐ１１）＝Ｓ１ｏｄｄ（Ｐ１１）－ＢＧｏｄｄ（Ｐ１１）
　　　　　　　　　・・・・　数式１１
　第１の条件の飽和判定部８０３では、固体撮像素子１０２の出力信号レンジに対応して予め設定されている飽和判定用閾値Ｓｍａｘに対して、数式１２の条件判定が実施される。第１の条件の飽和判定部８０３は、数式１２のいずれかの条件が満たされる場合には、飽和信号有りを合成演算処理部８０１へ通知する。
　　Ｓ０ｏｄｄ（Ｐ１１）　＞　Ｓｍａｘ
　　Ｓ１ｏｄｄ（Ｐ１１）　＞　Ｓｍａｘ
　　ＢＧｏｄｄ（Ｐ１１）　＞　Ｓｍａｘ
　　　　　　　　　・・・・　数式１２
　偶数ラインの４つの画素の入力信号Ｓ０ｅｖｎ（Ｐ０１）、Ｓ１ｅｖｎ（Ｐ０１）、ＢＧｅｖｎ（Ｐ０１）と、Ｓ０ｅｖｎ（Ｐ０２）、Ｓ１ｅｖｎ（Ｐ０２）、ＢＧｅｖｎ（Ｐ０２）と、Ｓ０ｅｖｎ（Ｐ２１）、Ｓ１ｅｖｎ（Ｐ２１）、ＢＧｅｖｎ（Ｐ２１）と、Ｓ０ｅｖｎ（Ｐ２２）、Ｓ１ｅｖｎ（Ｐ２２）、ＢＧｅｖｎ（Ｐ２２）は、第２の条件の背景光除去部８０４および第２の条件の飽和判定部８０５へ入力される。
　第２の条件の背景光除去部８０４では、数式１３が演算実行され、Ａ０ｅｖｎ（Ｐ０１）、Ａ１ｅｖｎ（Ｐ０１）、Ａ０ｅｖｎ（Ｐ０２）、Ａ１ｅｖｎ（Ｐ０２）、Ａ０ｅｖｎ（Ｐ２１）、Ａ１ｅｖｎ（Ｐ２１）、Ａ０ｅｖｎ（Ｐ２２）、Ａ１ｅｖｎ（Ｐ２２）が合成演算処理部８０１へ出力される。
　　Ａ０ｅｖｎ（Ｐ０１）＝Ｓ０ｅｖｎ（Ｐ０１）－ＢＧｅｖｎ（Ｐ０１）
　　Ａ１ｅｖｎ（Ｐ０１）＝Ｓ１ｅｖｎ（Ｐ０１）－ＢＧｅｖｎ（Ｐ０１）
　　Ａ０ｅｖｎ（Ｐ０２）＝Ｓ０ｅｖｎ（Ｐ０２）－ＢＧｅｖｎ（Ｐ０２）
　　Ａ１ｅｖｎ（Ｐ０２）＝Ｓ１ｅｖｎ（Ｐ０２）－ＢＧｅｖｎ（Ｐ０２）
　　Ａ０ｅｖｎ（Ｐ２１）＝Ｓ０ｅｖｎ（Ｐ２１）－ＢＧｅｖｎ（Ｐ２１）
　　Ａ１ｅｖｎ（Ｐ２１）＝Ｓ１ｅｖｎ（Ｐ２１）－ＢＧｅｖｎ（Ｐ２１）
　　Ａ０ｅｖｎ（Ｐ２２）＝Ｓ０ｅｖｎ（Ｐ２２）－ＢＧｅｖｎ（Ｐ２２）
　　Ａ１ｅｖｎ（Ｐ２２）＝Ｓ１ｅｖｎ（Ｐ２２）－ＢＧｅｖｎ（Ｐ２２）
　　　　　　　　　・・・・　数式１３
　第２の条件の飽和判定部８０５では、前述の閾値Ｓｍａｘに対して数式１４の条件判定が実施される。第２の条件の飽和判定部８０５は、いずれかの条件が満たされる場合には、飽和信号有りを合成演算処理部８０１へ通知する。
　　Ｓ０ｅｖｎ（Ｐ０１）　＞　Ｓｍａｘ
　　Ｓ１ｅｖｎ（Ｐ０１）　＞　Ｓｍａｘ
　　ＢＧｅｖｎ（Ｐ０１）　＞　Ｓｍａｘ
　　Ｓ０ｅｖｎ（Ｐ０２）　＞　Ｓｍａｘ
　　Ｓ１ｅｖｎ（Ｐ０２）　＞　Ｓｍａｘ
　　ＢＧｅｖｎ（Ｐ０２）　＞　Ｓｍａｘ
　　Ｓ０ｅｖｎ（Ｐ２１）　＞　Ｓｍａｘ
　　Ｓ１ｅｖｎ（Ｐ２１）　＞　Ｓｍａｘ
　　ＢＧｅｖｎ（Ｐ２１）　＞　Ｓｍａｘ
　　Ｓ０ｅｖｎ（Ｐ２２）　＞　Ｓｍａｘ
　　Ｓ１ｅｖｎ（Ｐ２２）　＞　Ｓｍａｘ
　　ＢＧｅｖｎ（Ｐ２２）　＞　Ｓｍａｘ
　　　　　　　　　・・・・　数式１４
　次に、合成演算処理部８０１で実行される処理を例として示す。図１０は、本実施形態に係る測距測定装置１００における合成演算処理の手順を示すフローチャートである。
　合成処理が開始されると、第２の条件の飽和判定部８０５は、上述したように、飽和信号があるか否かを判定する（ステップＳ１００１）。飽和信号が有る場合は（ステップＳ１００１においてＹ）、第２の条件の飽和判定部８０５から合成演算処理部８０１に飽和信号有りの通知がされる。この場合、合成演算処理部８０１は、測距不能処理を行う（ステップＳ１００５）。
　測距不能処理では、短い露光時間である第２の条件であっても光入力が固体撮像素子１０２の信号レンジを越えているため、処理対象画素では正しい距離測定が不能である。したがって、合成演算処理部８０１は、測距不能状態を距離演算部１１３へ出力する。
　飽和信号が無しの場合は（ステップＳ１００１においてＮ）、第１の条件の飽和判定部８０３は、飽和信号があるか否かを判定する（ステップＳ１００２）。飽和信号がある場合は（ステップＳ１００２においてＹ）、第１の条件の飽和判定部８０３から合成演算処理部８０１に飽和信号有りの通知がされる。この場合、合成演算処理部８０１は、合成演算２を行う（ステップＳ１００４）。また、飽和信号が無い場合は、合成演算処理部８０１は、合成演算１を行う（ステップＳ１００３）。
　合成演算１では、処理対象画素すべてが非飽和状態の正常な信号レンジ内で固体撮像素子１０２から入力されているので、合成演算処理部８０１は、数式１５の演算を実行し、Ａ０ｍｉｘ、Ａ１ｍｉｘを距離演算部１１３へ出力する。
　　Ａ０ｍｉｘ＝Ａ０ｏｄｄ（Ｐ１１）＋Ａ０ｅｖｎ（Ｐ０１）＋Ａ０ｅｖｎ（Ｐ０２）＋Ａ０ｅｖｎ（Ｐ２１）＋Ａ０ｅｖｎ（Ｐ２２）
　　Ａ１ｍｉｘ＝Ａ１ｏｄｄ（Ｐ１１）＋Ａ１ｅｖｎ（Ｐ０１）＋Ａ１ｅｖｎ（Ｐ０２）＋Ａ１ｅｖｎ（Ｐ２１）＋Ａ１ｅｖｎ（Ｐ２２）
　　　　　　・・・・　数式１５
　ここで、合成部１１２の第１の例として、合成演算１で得られる信号量と入力信号の関係を示す。図１１Ａは、第１の実施形態に係る測距測定装置における合成演算１で得られる信号量と入力信号の関係を示す図である。
　本実施形態では、第１の条件と第２の条件では露光時間の比が４：１であるため、第２の条件で画素から得られる信号量の８倍の信号量が合成演算１で得られることになる。したがって、合成演算１により、高Ｓ／Ｎ化が実現できる。これに合わせて、水平方向で画素ピッチの半分の周期で１：３：３：１、垂直方向で画素ピッチの周期で１：２：１の水平および垂直方向が対称的な特性のローパスフィルターを形成しているため、空間的なサンプリング点の偏りがない。
　合成演算２では、第２の条件よりも相対的に長い露光時間である第１の条件では光入力が固体撮像素子１０２の信号レンジを越えている。したがって、合成演算処理部８０１は、第２の条件で得られる画素信号のみで数式１６の演算を実行し、Ａ０ｍｉｘ、Ａ１ｍｉｘを距離演算部１１３へ出力する。
　　Ａ０ｍｉｘ＝｛Ａ０ｅｖｎ（Ｐ０１）＋Ａ０ｅｖｎ（Ｐ０２）＋Ａ０ｅｖｎ（Ｐ２１）＋Ａ０ｅｖｎ（Ｐ２２）｝×Ｋ
　　Ａ１ｍｉｘ＝｛Ａ１ｅｖｎ（Ｐ０１）＋Ａ１ｅｖｎ（Ｐ０２）＋Ａ１ｅｖｎ（Ｐ２１）＋Ａ１ｅｖｎ（Ｐ２２）｝×Ｋ
　　　　　　・・・・　数式１６
　なお、数式１６中の係数Ｋは、第１の条件の露光時間の１画素分と、第２の条件の露光時間で４画素分の合計値の比率から予め決定されたものである。ここで、第２の条件の露光時間をａとすると、本実施形態では下記から算出された値である２となる。
　　Ｋ＝（４ａ＋４×１ａ）／（４×１ａ）＝２
　図１１Ｂに、合成演算２で得られる信号量と入力信号の関係図を示す。係数Ｋを乗算して合成演算１で得られる信号量とスケールを統一することにより、例えば信号ノイズの更なる低減のために空間的なローパスフィルターやバイラテラルフィルターを合成部１１２と距離演算部１１３の間に配置する際に、当空間フィルターの参照画素群の中で第１の条件で露光した画素信号の飽和有り無しが混在しても、信号量の連続性が保たれるため正常にフィルター処理を実行することができる。以上が合成部１１２の第１の例についての説明である。
　次に、合成部１１２の第２の例として、合成演算２で得られる信号量と入力信号の関係を示す。図１１Ｂは、本実施形態に係る測距測定装置１００における合成演算２で得られる信号量と入力信号の関係を示す図である。また、図１２は、合成部１１２で参照する画素図である。
　合成部１１２は、ラインメモリ１１１から、図１２に示すように、奇数ラインのひとつの画素と、当画素に上側または下側で隣接する偶数ラインのひとつの画素を、処理対象とする画素群として、各画素のＳ０信号、Ｓ１信号およびＢＧ信号をラインメモリ１１１から入力する。
　例えば、図１２におけるＰ０１、Ｐ１１の画素群が一組の処理対象画素であり、Ｐ０２とＰ１１の一組、または、Ｐ１１とＰ２１の一組が順次合成部へ入力されて信号処理される。後の説明では、図１２中の対象画素群ＢであるＰ０１とＰ１１を例にして説明する。
　なお、合成演算２を行う合成部１１２の内部構成は、図８と同じである。
　奇数ラインのひとつの画素の入力信号Ｓ０ｏｄｄ（Ｐ１１）、Ｓ１ｏｄｄ（Ｐ１１）、ＢＧｏｄｄ（Ｐ１１）は、第１の条件の背景光除去部８０２および第１の条件の飽和判定部８０３へ入力される。
　第１の条件の背景光除去部８０２では、前述の数式１１と同一の演算が実行され、Ａ０ｏｄｄ（Ｐ１１）およびＡ１ｏｄｄ（Ｐ１１）が合成演算処理部８０１へ出力される。
　第１の条件の飽和判定部８０３では、前述の数式１２と同一の条件判定を実施し、予め設定された前述の閾値ＳｍａｘとＳ０ｏｄｄ（Ｐ１１）、Ｓ１ｏｄｄ（Ｐ１１）、ＢＧｏｄｄ（Ｐ１１）をそれぞれ比較する。いずれかの入力信号が大なる条件を満たす場合には、第１の条件の飽和判定部８０３は、飽和信号有りを合成演算処理部８０１へ通知する。
　偶数ラインのひとつの画素の入力信号Ｓ０ｅｖｎ（Ｐ０１）、Ｓ１ｅｖｎ（Ｐ０１）、ＢＧｅｖｎ（Ｐ０１）は、第２の条件の背景光除去部８０４および第２の条件の飽和判定部８０５へ入力される。
　第２の条件の背景光除去部８０４では、数式１７が演算実行され、Ａ０ｅｖｎ（Ｐ０１）、Ａ１ｅｖｎ（Ｐ０１）、Ａ０ｅｖｎ（Ｐ０２）が合成演算処理部８０１へ出力される。
　　Ａ０ｅｖｎ（Ｐ０１）＝Ｓ０ｅｖｎ（Ｐ０１）－ＢＧｅｖｎ（Ｐ０１）
　　Ａ１ｅｖｎ（Ｐ０１）＝Ｓ１ｅｖｎ（Ｐ０１）－ＢＧｅｖｎ（Ｐ０１）
　　　　　　　　　・・・・　数式１７
　第２の条件の飽和判定部８０５では、前述の閾値Ｓｍａｘに対して数式１８の条件判定を実施する。いずれかの条件を満たす場合には、第２の条件の飽和判定部８０５は、飽信号和有りを合成演算処理部８０１へ通知する。
　　Ｓ０ｅｖｎ（Ｐ０１）　＞　Ｓｍａｘ
　　Ｓ１ｅｖｎ（Ｐ０１）　＞　Ｓｍａｘ
　　ＢＧｅｖｎ（Ｐ０１）　＞　Ｓｍａｘ
　　　　　　　　　・・・・　数式１８
　このときの、合成演算処理部８０１の処理手順は、図１０に示したものと同じであるが、合成演算１および合成演算２の計算方式が異なる。
　合成演算１では、処理対象画素すべてが正常な信号レンジ内で入力されているので合成演算処理部８０１は、数式１９の演算を実行し、Ａ０ｍｉｘ、Ａ１ｍｉｘを距離演算部１１３へ出力する。
　　Ａ０ｍｉｘ＝Ａ０ｏｄｄ（Ｐ１１）＋Ａ０ｅｖｎ（Ｐ０１）×Ｋ２
　　Ａ１ｍｉｘ＝Ａ１ｏｄｄ（Ｐ１１）＋Ａ１ｅｖｎ（Ｐ０１）×Ｋ２
　　　　　　・・・・　数式１９
　なお、数式１９中の係数Ｋ２は、第１の条件の露光時間と、第２の条件の露光時間の比率から予め決定されたもので、第２の条件の露光時間をａとすると本実施形態では下記から算出された値である４となる。
　　Ｋ２＝４ａ／１ａ＝４
　ここで、合成演算１で得られる信号量と入力信号の関係図を示す。図１３Ａは、合成演算１で得られる信号量と入力信号の関係を示す図である。係数Ｋ２を乗算して合成演算１を実行することで、第１の条件と第２の条件の露光時間の差を吸収することができる。これにより、合成された画素の仮想的な重心位置が画素配列上で行方向および列方向で均一に保つことができる。
　合成演算２では、合成演算処理部８０１は、第２の条件で得られる画素信号のみで数式２０の演算を実行し、Ａ０ｍｉｘ、Ａ１ｍｉｘを距離演算部１１３へ出力する。
　　Ａ０ｍｉｘ＝Ａ０ｅｖｎ（Ｐ０１）×Ｋ３
　　Ａ１ｍｉｘ＝Ａ１ｅｖｎ（Ｐ０１）×Ｋ３
　　　　　　・・・・　数式２０
　なお、数式２０中の係数Ｋ３は、第１の条件の露光時間の１画素分と第２の条件の露光時間の４倍の値の合計値と、第２の条件の露光時間の比率から予め決定されたもので、第２の条件の露光時間をａとすると本実施形態では下記から算出された値である８となる。
　　Ｋ＝（４ａ＋４×１ａ）／１ａ＝８
　ここで、合成演算２で得られる信号量と入力信号の関係図を示す。図１３Ｂは、合成演算２で得られる信号量と入力信号の関係を示す図である。係数Ｋ３を乗算して合成演算１で得られる信号量とスケールを統一することによる効果は、合成部１１２の第１の例で述べた通りである。
　合成部１１２の第２の例によれば、固体撮像素子１０２の奇数ラインと偶数ラインで露光時間を異ならせて広い測定可能範囲を確保しているにも関わらず、合成処理後の画素信号は高い空間分解能を有している。以上が合成部１１２の第２の例についての説明である。
　合成演算処理部８０１から出力された合成処理後のＡ０ｍｉｘ、Ａ１ｍｉｘは、合成部１１２の出力として距離演算部１１３へ入力される。
　距離演算部１１３では、合成演算処理部８０１から前述の測距不能状態が通知された場合は、出力信号ＤＯを予め決められた測定不能状態を示す値で出力する。測距不能状態が通知されていない場合は、合成演算処理部８０１は、数式２１により出力信号ＤＯを算出する。
　　ＤＯ＝Ａ１ｍｉｘ／Ａ０ｍｉｘ　・・・・　数式２１
　数式２１は、図２で説明したＴＯＦ方式その１に対応する数式２と等価な式であるため、出力信号ＤＯは対象物までの距離に相当する値である。
　併せて、前述同様に図３で述べたＴＯＦ方式その２に対応することも可能であり、発光露光制御部１０１から出力するシャッタータイミング信号ＳＨ１のパルス上のＯＦＦ期間を照射光のパルス発光期間と概同一とし、距離演算部１１３で実施する演算を数式２２とすればよい。
　　ＤＯ＝Ａ１ｍｉｘ／（Ａ０ｍｉｘ＋Ａ１ｍｉｘ）　・・・・　数式２２
　（第２の実施形態）
　第１の実施形態の説明では、固体撮像素子１０２が独立して露光制御可能な画素群を奇数ラインと偶数ラインの２つの画素群で構成した例を示したが、本技術の応用として、図１４から図１７に示すような４つの画素群で構成することも可能である。以下、第２の実施形態について、図１４～図１７を用いて説明する。
　図１４は、本実施形態に係る測距測定装置１００における固体撮像素子１０２の画素配置と合成部１１２で参照する画素図である。図１４では、固体撮像素子１０２の画素セルの配置と各画素群の構成、合成部１１２で参照する画素の組合せを示している。以降では、主に第１の実施形態と異なる点を中心に説明する。
　固体撮像素子１０２は、偶数ラインかつ偶数列の画素と（以降、第１の画素群）、偶数ラインかつ奇数列の画素と（以降、第２の画素群）、奇数ラインかつ偶数列の画素と（以降、第３の画素群）、奇数ラインかつ奇数列の画素（以降、第４の画素群）、の４つの画素群ごとにそれぞれ独立の露光制御を可能としている。
　例えば、画素Ｐ０１が第１の画素群であり、画素Ｐ０２が第２の画素群であり、画素Ｐ１１が第３の画素群であり、画素Ｐ１２が第４の画素群である。以降はこれらの画素を例にして説明する。
　本実施形態に係る距離測定装置１００では、発光露光制御部１０１から出力される露光タイミング信号ＥＴ１は、前述と同様にＳ０露光用、Ｓ１露光用、およびＢＧ露光用の３つの露光用信号を１組とした４組の信号から構成されている。ＥＴ１０ａ信号、ＥＴ１１ａ信号、ＥＴ１２ａ信号は、画素Ｐ０１を含む第１の画素群に供給される。ＥＴ１０ｂ信号、ＥＴ１１ｂ信号、ＥＴ１２ｂ信号は、画素Ｐ０２を含む第２の画素群に供給される。ＥＴ１０ｃ信号、ＥＴ１１ｃ信号、ＥＴ１２ｃ信号は、画素Ｐ１１を含む第３の画素群に供給される。ＥＴ１０ｄ信号、ＥＴ１１ｄ信号、ＥＴ１２ｄ信号は、画素Ｐ１２を含む第４の画素群に供給される。
　ここで、発光露光制御部１０１が出力する露光タイミング信号の関係を示す。図１５は、本実施形態に係る測距測定装置１００における発光露光制御タイミング図である。
　本実施形態では、一例として、発光露光制御部１０１が生成し出力する発光タイミング信号ＬＴ１によって生じるパルス状の照射光と、発光露光制御部１０１が生成し出力する露光タイミング信号は固体撮像素子１０２の４つの画素群ごとの露光時間で、Ｓ０露光とＳ１露光とＢＧ露光のそれぞれに対する露光時間の比が、第１の画素群：第２の画素群：第３の画素群：第４の画素群＝８：４：２：１となるよう構成されている。
　第１実施形態と同様に、本実施形態の発光露光制御部１０１の動作により、商用交流電源を電力源とする照明光が雑音となる環境下で、４つの画素群ごとに露光時間の異なる露光制御を固体撮像素子の同一フレーム内で実施しても、照明光強度の変動を受ける背景光成分の信号を平均化できる。これにより、固体撮像素子１０２の第１の画素群から第４の画素群までのそれぞれのＳ０露光とＳ１露光とＢＧ露光との間で背景光成分の信号量の偏りを排除することができる。特に、相対的に短い露光時間となる第３の画素群または第４の画素群の各画素のＳ０露光およびＳ１露光の照明光成分の信号を、精度よく抽出することが可能となる。
　図１４には、本実施形態として、信号処理部１０３内の合成部１１２が合成時に参照する画素群の関係を合わせて示している。
　合成部１１２は、ラインメモリ１１１から、図１４に示すように、隣接する第１の画素群のひとつの画素と第２の画素群のひとつの画素と第３の画素群のひとつの画素と第４の画素群のひとつの画素の４つの画素とを処理対象とする画素群として、各画素のＳ０信号、Ｓ１信号およびＢＧ信号をラインメモリ１１１から入力する。
　例えば、図１４におけるＰ０１、Ｐ０２、Ｐ１１、Ｐ１２が一組の処理対象画素群であり、その他の組合せとしてＰ０３、Ｐ０４、Ｐ１３、Ｐ１４の一組、または、Ｐ２１、Ｐ２２、Ｐ３１、Ｐ３２の一組が、順次合成部１１２へ入力されて合成処理される。後述の説明では、図１４中の対象画素群ＣであるＰ０１、Ｐ０２、Ｐ１１、Ｐ１２を例に説明する。
　図１６は、本実施形態に係る距離測定装置１００における合成部１１２の構成図である。図１６に示すように、本実施形態において、合成部１１２は、合成演算処理部１６０１と、第１の画素群の背景光除去部１６０２と、第１の画素群の飽和判定部１６０３と、第２の画素群の背景光除去部１６０４と、第２の画素群の飽和判定部１６０５と、第３の画素群の背景光除去部１６０６と、第３の画素群の飽和判定部１６０７と、第４の画素群の背景光除去部１６０８と、第４の画素群の飽和判定部１６０９とを有している。
　第１の画素群のひとつの画素Ｐ０１の画素信号の入力として、Ｓ０信号であるＳ０ｇ１（Ｐ０１）、Ｓ１信号であるＳ１ｇ１（Ｐ０１）、ＢＧ信号であるＢＧｇ１（Ｐ０１）は、第１の画素群の背景光除去部１６０２および第１の画素群の飽和判定部１６０３へ入力される。
　第１の画素群の背景光除去部１６０２では、数式２３が演算実行され、Ａ０ｇ１（Ｐ０１）およびＡ１ｇ１（Ｐ０１）が合成演算部１６０１へ出力される。
　　Ａ０ｇ１（Ｐ０１）＝Ｓ０ｇ１（Ｐ０１）－ＢＧｇ１（Ｐ０１）
　　Ａ１ｇ１（Ｐ０１）＝Ｓ１ｇ１（Ｐ０１）－ＢＧｇ１（Ｐ０１）
　　　　　　　　　・・・・　数式２３
　第１の画素群の飽和判定部１６０３は、第１の実施形態と同様に、飽和検出用閾値Ｓｍａｘに対して数式２４の条件判定を実施し、いずれかの条件を満たす場合には、第１の画素群の飽和判定部１６０３は、飽和信号有りを合成演算処理部１６０１へ通知する。
　　Ｓ０ｇ１（Ｐ０１）　＞　Ｓｍａｘ
　　Ｓ１ｇ１（Ｐ０１）　＞　Ｓｍａｘ
　　ＢＧｇ１（Ｐ０１）　＞　Ｓｍａｘ
　　　　　　　　　・・・・　数式２４
　第２の画素群の画素Ｐ０２の入力信号Ｓ０ｇ２（Ｐ０２）、Ｓ１ｇ２（Ｐ０２）、ＢＧｇ２（Ｐ０２）についても、画素Ｐ０１と同様である。第２の画素群の背景光除去部１６０４は、Ａ０ｇ２（Ｐ０２）とＡ１ｇ２（Ｐ０２）を算出し、合成演算処理部１６０１へ出力する。第２の画素群の飽和判定部１６０５は、Ｓ０ｇ２（Ｐ０２）、Ｓ１ｇ２（Ｐ０２）、ＢＧｇ２（Ｐ０２）の内のいずれかの飽和信号有無を合成演算処理部１６０１へ通知する。
　第３の画素群の画素Ｐ１１の入力信号Ｓ０ｇ３（Ｐ１１）、Ｓ１ｇ３（Ｐ１１）、ＢＧｇ３（Ｐ１１）についても、画素Ｐ０１と同様である。第３の画素群の背景光除去部１６０６は、Ａ０ｇ３（Ｐ１１）とＡ１ｇ３（Ｐ１１）を算出し、合成演算処理部１６０１へ出力する。第３の画素群の飽和判定部１６０７は、Ｓ０ｇ３（Ｐ１１）、Ｓ１ｇ３（Ｐ１１）、ＢＧｇ３（Ｐ１１）の内のいずれかの飽和信号有無を合成演算処理部１６０１へ通知する。
　第４の画素群の画素Ｐ１２の入力信号Ｓ０ｇ４（Ｐ１２）、Ｓ１ｇ４（Ｐ１２）、ＢＧｇ４（Ｐ１２）についても、画素Ｐ０１と同様である。第４の画素群の背景光除去部１６０８は、Ａ０ｇ４（Ｐ１２）とＡ１ｇ４（Ｐ１２）を算出し、合成演算処理部１６０１へ出力する。第４の画素群の飽和判定部１６０９は、Ｓ０ｇ４（Ｐ１２）、Ｓ１ｇ４（Ｐ１２）、ＢＧｇ４（Ｐ１２）の内のいずれかの飽和信号有無を合成演算処理部１６０１へ通知する。
　次に、合成演算処理部１６０１で実行される処理を例として示す。図１７は、本実施形態に係る測距測定装置１００における合成演算処理の手順を示すフローチャートである。
　合成処理が開始されると、第４の画素群の飽和判定部１６０９は、飽和信号があるか否かを判定する（ステップＳ１７０１）。飽和信号がある場合は（ステップＳ１７０１においてＹ）、第４の画素群の飽和判定部１６０９から合成演算処理部１６０１に飽和信号有りの通知がされる。この場合、合成演算処理部１６０１は、測距不能処理を行う（ステップＳ１７０５）。
　測距不能処理では、最も短い露光時間である第４の画素群の画素であっても光入力が固体撮像素子１０２の信号レンジを越えているため、処理対象画素では正しい距離測定が不能である。したがって、合成演算処理部１６０１は、測距不能状態を距離演算部１１３へ出力する。
　飽和信号が無しの場合は（ステップＳ１７０１においてＮ）、第３の画素群の飽和判定部１６０７は、飽和信号があるか否かを判定する（ステップＳ１７０２）。飽和信号がある場合は（ステップＳ１７０２においてＹ）、第３の画素群の飽和判定部１６０７から合成演算処理部１６０１に飽和信号有りの通知がされる。この場合、合成演算処理部１６０１は、の合成演算４を行う（ステップＳ１７０６）。
　飽和信号が無しの場合は（ステップＳ１７０２においてＮ）、第２の画素群の飽和判定部は、飽和信号があるか否かを判定する（ステップＳ１７０３）。飽和信号がある場合は（ステップＳ１７０３においてＹ）、第２の画素群の飽和判定部１６０５から合成演算処理部１６０１に飽和信号有りの通知がされる。この場合、合成演算処理部１６０１は、合成演算３を行う（ステップＳ１７０７）。
　飽和信号が無しの場合は（ステップＳ１７０３においてＮ）、第１の画素群の飽和判定部１６０３は、飽和信号があるか否かを判定する（ステップＳ１７０４）。飽和信号がある場合は（ステップＳ１７０４においてＹ）、第１の画素群の飽和判定部１６０３から合成演算処理部１６０１に飽和信号有りの通知がされる。この場合、合成演算処理部１６０１は、合成演算２を行う（ステップＳ１７０８）。
　飽和信号が無しの場合は（ステップＳ１７０４においてＮ）、合成演算処理部１６０１は、合成演算１を行う。合成演算１では、処理対象画素すべてが非飽和状態の正常な信号レンジ内で固体撮像素子１０２から出力されているので、合成演算処理部１６０１は、数式２５の演算を実行し、Ａ０ｍｉｘ、Ａ１ｍｉｘを距離演算部１１３へ出力する。
　　Ａ０ｍｉｘ＝Ａ０ｇ１（Ｐ０１）＋Ａ０ｇ２（Ｐ０２）＋Ａ０ｇ３（Ｐ１１）＋Ａ０ｇ４（Ｐ１２）
　　Ａ１ｍｉｘ＝Ａ１ｇ１（Ｐ０１）＋Ａ１ｇ２（Ｐ０２）＋Ａ１ｇ３（Ｐ１１）＋Ａ１ｇ４（Ｐ１２）
　　　　　　　　　　・・・・　数式２５
　前述の第１の画素群から第４の画素群までの露光時間の比が８：４：２：１であることから、もっとも短い露光時間のＰ１２のＡ０ｇ４信号に対し、出力信号Ａ０ｍｉｘは１５倍の信号量を有する。また、Ｐ１２のＡ１ｇ４信号に対し、出力信号Ａ１ｍｉｘは同じく１５倍の信号量を有する。
　合成演算２では、処理対象画素の中で第１の画素群であるＰ０１のみが飽和している状態である。したがって、合成演算処理部１６０１は、Ｐ０１の画素信号を排除して数式２６の演算を実行し、Ａ０ｍｉｘ、Ａ１ｍｉｘを距離演算部１１３へ出力する。
　　Ａ０ｍｉｘ＝Ａ０ｇ２（Ｐ０２）＋Ａ０ｇ３（Ｐ１１）＋Ａ０ｇ４（Ｐ１２）
　　Ａ１ｍｉｘ＝Ａ１ｇ２（Ｐ０２）＋Ａ１ｇ３（Ｐ１１）＋Ａ１ｇ４（Ｐ１２）
　　　　　　　　　　　・・・・　数式２６
　合成演算３では、処理対象画素の中で第１の画素群であるＰ０１と第２の画素群であるＰ０２が飽和している状態である。したがって、合成演算処理部１６０１は、Ｐ０１とＰ０２の画素信号を排除して数式２７の演算を実行し、Ａ０ｍｉｘ、Ａ１ｍｉｘを距離演算部１１３へ出力する。
　　Ａ０ｍｉｘ＝Ａ０ｇ３（Ｐ１１）＋Ａ０ｇ４（Ｐ１２）
　　Ａ１ｍｉｘ＝Ａ１ｇ３（Ｐ１１）＋Ａ１ｇ４（Ｐ１２）
　　　　　　　　　・・・・　数式２７
　合成演算４では、処理対象画素の中で第４の画素群であるＰ１２のみが非飽和状態の正常な信号レンジ内で固体撮像素子１０２から出力されている。したがって、合成演算処理部１６０１は、数式２８の演算を実行し、Ａ０ｍｉｘ、Ａ１ｍｉｘを距離演算部１１３へ出力する。
　　Ａ０ｍｉｘ＝Ａ０ｇ４（Ｐ１２）
　　Ａ１ｍｉｘ＝Ａ１ｇ４（Ｐ１２）
　　　　　　　　　　　・・・・　数式２８
　なお、距離演算部１１３の動作は、第１および第２の実施形態と同様である。
　上述のような第２の実施形態によると、４つの画素群の独立な露光制御により、固体撮像素子１０２の信号レンジに対して、信号レンジを８倍に拡大することが可能である。つまり、本実施形態に係る距離測定装置１００は、第１の実施形態に示した距離測定装置１００と比較して、距離に換算して３倍弱の距離測定範囲の拡大を行うことができる。
　なお、４つの画素群の露光時間比は、第２の実施形態に記載した比率に限定されるものではなく、発光露光制御部１０１で生成する露光タイミング信号のタイミング変更で容易に変更可能である。
　また、第２の実施形態に係る距離測定装置１００では、独立に露光時間の制御を行う画素群を４つとしたが、発光露光制御部１０１で生成する露光タイミング信号の本数を増やし、当信号の固体撮像素子１０２内の各画素セルへの分割配線を増やすことで、独立な露光制御を行う画素群の数をさらに増やすことは容易に実施できる。
　以上のような実施形態により、対象物体の距離による光の減衰や表面反射率の影響による反射光強度の低下により制約を受ける固体撮像素子の１フレーム内の距離測定範囲を拡大することで、時間方向の対象物の距離変化に強く、さらには照射光以外の背景光による外乱の影響を除去可能な、良好な精度の距離画像を取得可能な距離測定装置を実現することができる。また、フレームメモリ等を必要としない、小型で低価格な距離測定装置を実現することができる。
　本開示は、例えば、人物の有無を検知する機器として、車載の乗員検知装置、産業ＦＡ用途向けの監視システム装置、人の腕や指の動きを３次元的に検出して人物のジェスチャー動作を認識しＰＣなどの特定機器のユーザーインターフェース入力を行う入力装置等に適用できる。
　１００　距離測定装置
　１０１　発光露光制御部
　１０２　固体撮像素子
　１０３　信号処理部
　１０４　発光部
　１１１　ラインメモリ
　１１２　合成部
　１１３　距離演算部
　１１４　光源駆動部
　１１５　光源
　５０１　フォトダイオード
　５０２　リセットトランジスタ
　５１０　アナログスイッチ
　５１１　アナログスイッチ
　５１２　アナログスイッチ
　５２０　アナログメモリー
　５２１　アナログメモリー
　５２２　アナログメモリー
　５３０　アンプ
　５３１　アンプ
　５３２　アンプ
　８０１　合成演算処理部
　８０２　第１の条件の背景光除去部
　８０３　第１の条件の飽和判定部
　８０４　第２の条件の背景光除去部
　８０５　第２の条件の飽和判定部
　１６０１　合成演算処理部
　１６０２　第１の画素群の背景光除去部
　１６０３　第１の画素群の飽和判定部
　１６０４　第２の画素群の背景光除去部
　１６０５　第２の画素群の飽和判定部
　１６０６　第３の画素群の背景光除去部
　１６０７　第３の画素群の飽和判定部
　１６０８　第４の画素群の背景光除去部
　１６０９　第４の画素群の飽和判定部

Claims (10)

  1. 　光の往復時間を利用して物体までの距離を測定する距離測定装置であって、
    　光源から測定対象範囲に向けて光を照射する発光部と、
    　前記発光部による照射光の画角内の前記物体の反射光を、行列状に配置された複数の画素において光電変換するとともに、前記画素の露光を独立して実施可能な複数の画素群を有する固体撮像素子と、
    　前記発光部に対し前記光源の発光タイミングおよび発光期間を指示し、前記固体撮像素子の前記画素群ごとに光の往復時間に起因する照射光と反射光の時間差に対応する複数種類の画素信号を得るための露光タイミングと露光期間を指示し、前記露光タイミングと前記露光期間の指示を、前記画素群ごとの画素信号の露光を異なる露光時間で実施し、各前記画素群の照射光と反射光の時間差に対応する各画素信号の露光を周期的な少なくとも２つ以上の露光期間で実施することで、前記画素の露光を間欠的に行う発光露光制御部と、
    　前記固体撮像素子の画素群ごとに異なる露光時間で露光を実施された２つ以上の近隣の画素の、照射光と反射光の時間差に対応した画素信号に基づいて、前記固体撮像素子に結像される物体の距離値を算出する信号処理部と、を備える
    　距離測定装置。
  2. 　前記信号処理部は、
    　前記固体撮像素子の前記画素群で異なる時間で露光された２つ以上の近隣の前記画素に対して、照射光と反射光の時間差に対応した前記画素信号ごとに合成して、照射光と反射光の時間差に対応する合成画素信号を得る合成部と、
    　前記合成画素信号から照射光と反射光の時間差に基づいて、前記固体撮像素子に結像される前記物体の距離値を算出する距離演算部と、を有する
    　請求項１に記載の距離測定装置。
  3. 　前記固体撮像素子において、露光を独立して実施可能な２つ以上の前記複数の画素群は、
    　前記固体撮像素子内の前記複数の画素のうち、奇数行に配置された画素を第１の画素群とし、偶数行に配置された画素を第２の画素群とし、前記第１の画素群と前記第２の画素群とは、それぞれ露光を独立して実施可能な２つの画素群である
    　請求項１または２に記載の距離測定装置。
  4. 　前記固体撮像素子において、露光を独立して実施可能な２つ以上の前記複数の画素群は、
    　前記固体撮像素子内の前記複数の画素のうち、偶数行かつ偶数列に配置された画素を第１の画素群とし、偶数行かつ奇数列に配置された画素を第２の画素群とし、奇数行かつ偶数列に配置された画素を第３の画素群とし、奇数行かつ奇数列に配置された画素を第４の画素群とし、前記第１の画素群と前記第２の画素群と前記第３の画素群と前記第４の画素群とは、それぞれ露光を独立して実施可能な４つの画素群である
    　請求項１または２に記載の距離測定装置。
  5. 　前記合成部は、
    　前記固体撮像素子の前記画素群で異なる時間で露光された２つ以上の近隣の前記画素のそれぞれから出力された複数の前記画素信号の中で、各前記画素信号が飽和しているか否かの判断を行い、飽和している前記画素信号がある場合はこれを排除して、照射光と反射光の時間差に対応する前記合成画素信号を取得する
    　請求項２に記載の距離測定装置。
  6. 　前記合成部は、
    　前記固体撮像素子の前記画素群で異なる時間で露光された２つ以上の近隣の前記画素のそれぞれから出力された複数の前記画素信号の中で、飽和している前記画素信号がある場合は、飽和していない前記画素の露光時間に対する飽和している前記画素の露光時間の倍率を、飽和していない近隣の前記画素の各前記画素信号に乗じて、飽和している前記画素信号を補間した後に合成する
    　請求項５に記載の距離測定装置。
  7. 　前記発光露光制御部において、
    　前記固体撮像素子の各前記画素群における照射光と反射光の時間差に対応する各前記画素信号の露光期間の周期をＴｃｙｃとし、１フレーム内の露光期間の回数をＮｃｙｃとしたときに、
    　商用交流電源を供給源とする照明機器の周期的な変動をする光源の周期時間Ｔｂｇに対してＴｃｙｃを約１／ｎとし（ｎは２以上の自然数）、休止期間を含む露光に要する時間Ｔｃｙｃ×Ｎｃｙｃを、前記周期時間Ｔｂｇの約ｍ倍（ｍは１以上の自然数）とする
    　請求項１または２に記載の距離測定装置。
  8. 　前記発光露光制御部において、
    　前記固体撮像素子の各前記画素群における照射光と反射光の時間差に対応する前記画素信号の間欠的な露光期間のうちで、一方の前記画素群で実施される露光期間と、前記一方の画素群で実施される露光期間よりも相対的に短い他方の画素群で実施される露光期間が、時間的に重なるよう制御する
    　請求項１または２に記載の距離測定装置。
  9. 　前記発光露光制御部において、
    　前記固体撮像素子の前記画素群における照射光と反射光の時間差に対応する各画素信号の間欠的な露光期間のうちで、各前記画素群で少なくとも１つの前記画素信号の露光期間は、物体の反射光が前記固体撮像素子に入射しない露光タイミングに設定して背景光のみが光電変換された画素信号となるよう制御し、
    　前記合成部は、背景光成分のみの前記画素信号を用いて、照射光成分と前記背景光成分の両方を含む前記画素信号から前記背景光成分を除去する
    　請求項１または２に記載の距離測定装置。
  10. 　前記発光露光制御部において、
    　前記固体撮像素子は、各前記画素に光電変換を行うフォトダイオード部と、前記フォトダイオード部で光電変換により発生した電荷を選択的に蓄積保持する複数のアナログメモリーと、前記フォトダイオード部で発生した電荷を全画素共通で破棄する電子シャッター部とを有しており、前記フォトダイオード部で発生した電荷の選択的な前記アナログメモリーでの蓄積保持は、前記画素群ごとに共通であり、
    　前記発光露光制御部は、前記固体撮像素子の電子シャッター部の切り替え動作の制御と、前記画素群ごとの各前記アナログメモリーへの選択的な電荷の蓄積保持の制御とを指示し、
    　前記発光露光制御部は、前記発光部に複数のパルス状の照射光を発光させ、前記照射光に同期し複数の異なる位相のパルス状の前記電子シャッター部の切り替え動作を制御し、前記照射光に対して同一の位相の前記電子シャッター部の制御期間に、前記固体撮像素子内の所定の前記画素群の所定の前記アナログメモリーへの電荷蓄積を指示し、前記固体撮像素子の各前記画素群の異なる露光時間は、パルス状の照射光の繰り返し数に相当する前記電荷蓄積の期間の時間の長短差で生成するよう制御する
    　請求項１または２に記載の距離測定装置。
PCT/JP2017/042318 2016-11-29 2017-11-27 距離測定装置 Ceased WO2018101187A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/464,238 US11448757B2 (en) 2016-11-29 2017-11-27 Distance measuring device
JP2018553826A JP6981997B2 (ja) 2016-11-29 2017-11-27 距離測定装置
CN201780072791.0A CN110023785B (zh) 2016-11-29 2017-11-27 距离测定装置
EP17876971.7A EP3550330B1 (en) 2016-11-29 2017-11-27 Distance measuring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016230890 2016-11-29
JP2016-230890 2016-11-29

Publications (1)

Publication Number Publication Date
WO2018101187A1 true WO2018101187A1 (ja) 2018-06-07

Family

ID=62242659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042318 Ceased WO2018101187A1 (ja) 2016-11-29 2017-11-27 距離測定装置

Country Status (5)

Country Link
US (1) US11448757B2 (ja)
EP (1) EP3550330B1 (ja)
JP (1) JP6981997B2 (ja)
CN (1) CN110023785B (ja)
WO (1) WO2018101187A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018131514A1 (ja) * 2017-01-13 2019-11-07 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP2019219400A (ja) * 2018-06-21 2019-12-26 アナログ ディヴァイスィズ インク 内部散乱に起因する飛行時間型深度画像の破損を測定すること、及び除去すること
CN111200710A (zh) * 2018-10-31 2020-05-26 英飞凌科技股份有限公司 用于单次读出深度测量的具有交织保持的图像传感器
CN111289988A (zh) * 2018-12-07 2020-06-16 英飞凌科技股份有限公司 用于确定距离信息的方法、装置以及计算机程序
JP2020137117A (ja) * 2019-02-12 2020-08-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 距離測定のためのイメージセンサ
WO2020195046A1 (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 固体撮像装置
WO2020202779A1 (ja) * 2019-03-29 2020-10-08 株式会社ブルックマンテクノロジ 固体撮像装置、撮像システム及び撮像方法
CN112470458A (zh) * 2018-07-23 2021-03-09 新唐科技日本株式会社 距离测定装置及可靠性判定方法
JPWO2021059748A1 (ja) * 2019-09-27 2021-04-01
WO2021070320A1 (ja) * 2019-10-10 2021-04-15 株式会社ブルックマンテクノロジ 距離画像撮像装置、及び距離画像撮像方法
JP2021092554A (ja) * 2019-12-09 2021-06-17 エスケーハイニックス株式会社ＳＫ ｈｙｎｉｘ Ｉｎｃ． 飛行時間距離測定方式のセンシングシステム及びイメージセンサ
CN113631944A (zh) * 2019-03-27 2021-11-09 松下知识产权经营株式会社 距离测量装置以及图像生成方法
JP2023031274A (ja) * 2021-08-23 2023-03-08 深セン市速騰聚創科技有限公司 レーダーデータ処理方法、端末デバイスおよびコンピュータ可読記憶媒体
KR102858186B1 (ko) * 2019-09-20 2025-09-10 엘지이노텍 주식회사 카메라 모듈

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX346062B (es) 2012-07-26 2017-03-06 Depuy Synthes Products Inc Amplio rango dinamico utilizando sensor monocromatico.
DE102018205378A1 (de) * 2018-04-10 2019-10-10 Ibeo Automotive Systems GmbH Verfahren zur Ansteuerung von Sensorelementen eines LIDAR Messsystems
US11294039B2 (en) * 2018-07-24 2022-04-05 Samsung Electronics Co., Ltd. Time-resolving image sensor for range measurement and 2D greyscale imaging
WO2020080065A1 (ja) * 2018-10-16 2020-04-23 株式会社ブルックマンテクノロジ 測距装置、カメラ、及び測距装置の駆動調整方法
JP2020193957A (ja) * 2019-05-30 2020-12-03 ファナック株式会社 測距異常を補正する距離画像生成装置
US11841438B2 (en) 2019-09-30 2023-12-12 Zoox, Inc. Power control of sensors using multiple exposures
US11726186B2 (en) * 2019-09-30 2023-08-15 Zoox, Inc. Pixel filtering using multiple exposures
JP7235638B2 (ja) * 2019-10-04 2023-03-08 株式会社日立エルジーデータストレージ 測距装置および測距システム
CN111175774B (zh) * 2020-01-14 2022-09-09 炬佑智能科技(苏州)有限公司 一种tof传感器模块的控制方法
US20230048328A1 (en) * 2020-03-18 2023-02-16 Hirokazu Takenaka Distance-measuring apparatus and distance-measuring method
JP7625582B2 (ja) * 2020-03-26 2025-02-03 株式会社小糸製作所 イメージング装置および車両用灯具、車両
US12306349B2 (en) * 2020-05-15 2025-05-20 Analog Devices International Unlimited Company Proximity detection system
CN112954230B (zh) * 2021-02-08 2022-09-09 深圳市汇顶科技股份有限公司 深度测量方法、芯片和电子设备
CN113296114B (zh) * 2021-05-21 2024-05-14 Oppo广东移动通信有限公司 dTOF深度图像的采集方法、装置、电子设备及介质
CN115480258B (zh) * 2021-05-31 2024-11-05 宁波飞芯电子科技有限公司 一种探测装置及方法
CN116008949B (zh) * 2021-10-22 2024-02-27 深圳市速腾聚创科技有限公司 一种雷达数据处理方法、终端设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006253876A (ja) 2005-03-09 2006-09-21 Sony Corp 物理量分布検知装置および物理量分布検知装置の駆動方法
JP2011064498A (ja) 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム
JP2012225807A (ja) 2011-04-20 2012-11-15 Optex Co Ltd 距離画像カメラおよび距離画像合成方法
WO2015025497A1 (ja) * 2013-08-23 2015-02-26 パナソニックＩｐマネジメント株式会社 測距システム及び信号発生装置
JP2016099233A (ja) * 2014-11-21 2016-05-30 株式会社デンソー 光飛行型測距装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4161910B2 (ja) * 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法，プログラム
JP4998056B2 (ja) * 2006-05-11 2012-08-15 セイコーエプソン株式会社 撮像装置、撮像システム及び撮像方法
JP4981780B2 (ja) * 2008-10-20 2012-07-25 本田技研工業株式会社 測距システム及び測距方法
JP2010114674A (ja) * 2008-11-06 2010-05-20 Sanyo Electric Co Ltd ビデオカメラ
JP2010166246A (ja) * 2009-01-14 2010-07-29 Fujifilm Corp 撮像装置及び撮像制御方法
JP5713816B2 (ja) * 2011-03-16 2015-05-07 株式会社東芝 固体撮像装置及びカメラモジュール
BR112014002463B1 (pt) * 2011-08-02 2020-12-08 Hewlett-Packard Development Company, L.P sistemas de captura de projeções, sistema de captura de projeções interativo e método de captura de projeções
WO2013051186A1 (ja) * 2011-10-03 2013-04-11 パナソニック株式会社 撮像装置、撮像装置を用いたシステム及び測距装置
JP5794176B2 (ja) * 2012-03-02 2015-10-14 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
WO2013138646A1 (en) * 2012-03-15 2013-09-19 Bio-Rad Laboratories, Inc. Image acquisition for chemiluminescent samples
JP5860952B2 (ja) * 2012-03-28 2016-02-16 富士フイルム株式会社 撮像装置、及びこれを備える内視鏡装置
JP2013219708A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6296697B2 (ja) * 2013-05-10 2018-03-20 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
US10063844B2 (en) * 2013-10-17 2018-08-28 Microsoft Technology Licensing, Llc. Determining distances by probabilistic time of flight imaging
US9473706B2 (en) * 2013-12-09 2016-10-18 Apple Inc. Image sensor flicker detection
JP6408372B2 (ja) * 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
JP6483725B2 (ja) * 2014-04-07 2019-03-13 サムスン エレクトロニクス カンパニー リミテッド 光学的イベントを感知する方法とそのための光学的イベントセンサ、及び距離測定モバイル装置
JP6537224B2 (ja) * 2014-04-23 2019-07-03 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
CN106576146B (zh) * 2014-08-29 2020-06-26 松下半导体解决方案株式会社 摄像装置及用于该摄像装置的固体摄像装置
DE112015005163B4 (de) * 2014-11-14 2025-02-06 Denso Corporation Flugzeitabstandsmessvorrichtung
JP6539990B2 (ja) * 2014-11-14 2019-07-10 株式会社デンソー 光飛行型測距装置
US9881235B1 (en) * 2014-11-21 2018-01-30 Mahmoud Narimanzadeh System, apparatus, and method for determining physical dimensions in digital images
CN105872392B (zh) * 2015-01-23 2019-01-04 原相科技股份有限公司 具有动态曝光时间的光学测距系统
US9659371B2 (en) * 2015-10-08 2017-05-23 Christie Digital Systems Usa, Inc. System and method for online projector-camera calibration from one or more images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006253876A (ja) 2005-03-09 2006-09-21 Sony Corp 物理量分布検知装置および物理量分布検知装置の駆動方法
JP2011064498A (ja) 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム
JP2012225807A (ja) 2011-04-20 2012-11-15 Optex Co Ltd 距離画像カメラおよび距離画像合成方法
WO2015025497A1 (ja) * 2013-08-23 2015-02-26 パナソニックＩｐマネジメント株式会社 測距システム及び信号発生装置
JP2016099233A (ja) * 2014-11-21 2016-05-30 株式会社デンソー 光飛行型測距装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAYAR, S. ET AL.: "High Dynamic Range Imaging: Spatially Varying Pixel Exposures", PROCEEDINGS 2000 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. CVPR 2000., 13 June 2000 (2000-06-13), pages 472 - 479, XP002236923 *
See also references of EP3550330A4

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018131514A1 (ja) * 2017-01-13 2019-11-07 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP7172603B2 (ja) 2017-01-13 2022-11-16 ソニーグループ株式会社 信号処理装置、信号処理方法、およびプログラム
US11585898B2 (en) 2017-01-13 2023-02-21 Sony Group Corporation Signal processing device, signal processing method, and program
JP2019219400A (ja) * 2018-06-21 2019-12-26 アナログ ディヴァイスィズ インク 内部散乱に起因する飛行時間型深度画像の破損を測定すること、及び除去すること
KR20190143809A (ko) * 2018-06-21 2019-12-31 아나로그 디바이시즈 인코포레이티드 내부 산란으로 인한 비행 시간 깊이 이미지들의 손상을 측정 및 제거하는 방법
EP3588132A1 (en) * 2018-06-21 2020-01-01 Analog Devices, Inc. Measuring and removing the corruption of time-of-flight depth images due to internal scattering
JP7071312B2 (ja) 2018-06-21 2022-05-18 アナログ ディヴァイスィズ インク 内部散乱に起因する飛行時間型深度画像の破損を測定すること、及び除去すること
US11092678B2 (en) 2018-06-21 2021-08-17 Analog Devices, Inc. Measuring and removing the corruption of time-of-flight depth images due to internal scattering
KR102759838B1 (ko) * 2018-06-21 2025-01-23 아나로그 디바이시즈 인코포레이티드 내부 산란으로 인한 비행 시간 깊이 이미지들의 손상을 측정 및 제거하는 방법
CN112470458B (zh) * 2018-07-23 2023-02-28 新唐科技日本株式会社 距离测定装置及可靠性判定方法
CN112470458A (zh) * 2018-07-23 2021-03-09 新唐科技日本株式会社 距离测定装置及可靠性判定方法
CN111200710A (zh) * 2018-10-31 2020-05-26 英飞凌科技股份有限公司 用于单次读出深度测量的具有交织保持的图像传感器
CN111289988B (zh) * 2018-12-07 2024-02-02 英飞凌科技股份有限公司 用于确定距离信息的方法、装置以及计算机程序
US11879993B2 (en) 2018-12-07 2024-01-23 Infineon Technologies Ag Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data
CN111289988A (zh) * 2018-12-07 2020-06-16 英飞凌科技股份有限公司 用于确定距离信息的方法、装置以及计算机程序
JP7492834B2 (ja) 2019-02-12 2024-05-30 三星電子株式会社 距離測定のためのイメージセンサ
JP2020137117A (ja) * 2019-02-12 2020-08-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 距離測定のためのイメージセンサ
JPWO2020195046A1 (ja) * 2019-03-27 2020-10-01
JP7199016B2 (ja) 2019-03-27 2023-01-05 パナソニックＩｐマネジメント株式会社 固体撮像装置
WO2020195046A1 (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 固体撮像装置
CN113574408A (zh) * 2019-03-27 2021-10-29 松下知识产权经营株式会社 固体摄像装置
CN113631944A (zh) * 2019-03-27 2021-11-09 松下知识产权经营株式会社 距离测量装置以及图像生成方法
WO2020202779A1 (ja) * 2019-03-29 2020-10-08 株式会社ブルックマンテクノロジ 固体撮像装置、撮像システム及び撮像方法
JPWO2020202779A1 (ja) * 2019-03-29 2020-10-08
US20220182569A1 (en) * 2019-03-29 2022-06-09 Toppan Inc. Solid-state imaging device, imaging system, and imaging method
JP7472902B2 (ja) 2019-03-29 2024-04-23 Ｔｏｐｐａｎホールディングス株式会社 固体撮像装置、撮像システム及び撮像方法
US11871134B2 (en) 2019-03-29 2024-01-09 Toppan Inc. Solid-state imaging device, imaging system, and imaging method
KR102858186B1 (ko) * 2019-09-20 2025-09-10 엘지이노텍 주식회사 카메라 모듈
JPWO2021059748A1 (ja) * 2019-09-27 2021-04-01
JP7642550B2 (ja) 2019-09-27 2025-03-10 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、補正方法およびプログラム
JPWO2021070320A1 (ja) * 2019-10-10 2021-04-15
WO2021070320A1 (ja) * 2019-10-10 2021-04-15 株式会社ブルックマンテクノロジ 距離画像撮像装置、及び距離画像撮像方法
JP2024041961A (ja) * 2019-10-10 2024-03-27 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
JP7469779B2 (ja) 2019-10-10 2024-04-17 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
JP7572578B2 (ja) 2019-10-10 2024-10-23 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
JP2021092554A (ja) * 2019-12-09 2021-06-17 エスケーハイニックス株式会社ＳＫ ｈｙｎｉｘ Ｉｎｃ． 飛行時間距離測定方式のセンシングシステム及びイメージセンサ
JP7765174B2 (ja) 2019-12-09 2025-11-06 エスケーハイニックス株式会社 飛行時間距離測定方式のセンシングシステム及びイメージセンサ
JP7352266B2 (ja) 2021-08-23 2023-09-28 深セン市速騰聚創科技有限公司 レーダーデータ処理方法、端末デバイスおよびコンピュータ可読記憶媒体
JP2023031274A (ja) * 2021-08-23 2023-03-08 深セン市速騰聚創科技有限公司 レーダーデータ処理方法、端末デバイスおよびコンピュータ可読記憶媒体

Also Published As

Publication number Publication date
EP3550330B1 (en) 2022-05-04
US11448757B2 (en) 2022-09-20
CN110023785A (zh) 2019-07-16
EP3550330A1 (en) 2019-10-09
JPWO2018101187A1 (ja) 2019-10-24
EP3550330A4 (en) 2019-10-30
CN110023785B (zh) 2023-03-28
JP6981997B2 (ja) 2021-12-17
US20190391266A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
JP6981997B2 (ja) 距離測定装置
JP6908695B2 (ja) 飛行時間で奥行きを検知するための干渉処理
CN107710015B (zh) 距离测量装置以及距离图像合成方法
TWI597981B (zh) 用於使用脈衝照明之移動影像之高速獲取的方法及裝置
JP6435513B2 (ja) 測距撮像装置及びその測距方法、固体撮像素子
CN105705962B (zh) 具有主动照明的传感器系统
JP7018022B2 (ja) 固体撮像装置及び測距撮像装置
US10491842B2 (en) Imaging device, a solid-state imaging device for use in the imaging device
WO2017085916A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
CN106461763A (zh) 测距装置
WO2017022152A1 (ja) 測距撮像装置、及び、固体撮像装置
JP6531326B2 (ja) 光学式検知装置
CN111971578A (zh) 距离信息取得装置、多路径检测装置及多路径检测方法
JP2012225944A (ja) ３次元形状測定方法および基板検査方法
JP2016008875A (ja) 距離測定装置
JP2017201760A (ja) 撮像装置および測距装置
JP7592538B2 (ja) 光検出システム
WO2022185732A1 (ja) 距離画像取得装置および距離画像取得方法
JP2013174446A (ja) ３次元情報検出装置および３次元情報検出方法
US20250184468A1 (en) Depth Scanning Image Sensor
JP2017133931A (ja) 画像生成装置、ならびに距離画像およびカラー画像の生成方法
JP2025537174A (ja) 光学センシングシステム
JP3984784B2 (ja) 光検出装置および座標入力装置
JP2015192341A (ja) 撮像システム
US20150153155A1 (en) Speckle pattern processing circuit with i2c and a/b phase output

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17876971

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018553826

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017876971

Country of ref document: EP

Effective date: 20190701