[go: up one dir, main page]

WO2019050024A1 - 距離測定方法および距離測定装置 - Google Patents

距離測定方法および距離測定装置 Download PDF

Info

Publication number
WO2019050024A1
WO2019050024A1 PCT/JP2018/033363 JP2018033363W WO2019050024A1 WO 2019050024 A1 WO2019050024 A1 WO 2019050024A1 JP 2018033363 W JP2018033363 W JP 2018033363W WO 2019050024 A1 WO2019050024 A1 WO 2019050024A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
transistor
signal
distance
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/033363
Other languages
English (en)
French (fr)
Inventor
信三 香山
基範 石井
廣瀬 裕
小田川 明弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019541042A priority Critical patent/JPWO2019050024A1/ja
Priority to US16/644,473 priority patent/US20200408910A1/en
Publication of WO2019050024A1 publication Critical patent/WO2019050024A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/14Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein a voltage or current pulse is initiated and terminated in accordance with the pulse transmission and echo reception respectively, e.g. using counters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80Constructional details of image sensors
    • H10F39/803Pixels having integrated switching, control, storage or amplification elements
    • H10F39/8037Pixels having integrated switching, control, storage or amplification elements the integrated elements comprising a transistor
    • H10F39/80373Pixels having integrated switching, control, storage or amplification elements the integrated elements comprising a transistor characterised by the gate of the transistor

Definitions

  • the present disclosure relates to a distance measurement method and a distance measurement device.
  • solid-state imaging devices have been focused on imaging images with high sensitivity and high definition, but in addition to that, devices having a function capable of acquiring distance information from the solid-state imaging device have also appeared in recent years. If distance information is added to the image, three-dimensional information of the imaging target of the solid-state imaging device can be sensed. For example, when a person is photographed, gestures can be detected three-dimensionally, so that it can be used as an input device of various devices. Furthermore, if it mounts in a motor vehicle, since it can recognize distance with the object and person which exist around a self-vehicle, it can be applied to collision prevention, automatic driving, etc.
  • the time from when light is emitted from near the solid-state imaging device toward the object and then reflected by the object and returned to the solid-state imaging device There is a TOF (Time Of Flight) method to measure.
  • the light source is required in addition to the solid-state imaging device.
  • the light source is intensified, it is advantageous that the distance to a distant object can be measured with high resolution.
  • the received light (light pulse reflected by the object) reaches the solid-state imaging device with a delay time Td corresponding to the distance to the object with respect to the projection light (light pulse emitted from the light source).
  • the charge generated in response to the received light incident on the light receiving element that is, the photodiode (PD) is distributed to two nodes in response to the driving of the two transfer gate transistors TX1 and TX2, and generates the signals A and B. .
  • signals C and D are obtained by the same driving in a state where the projection light is turned off.
  • the signals A and B include background light components
  • the signals C and D are subtracted, and the signal (AC) and the signal (BD) are calculated to calculate the signal including only the received light component. can get.
  • the ratio of the signal (AC) to the signal (BD) is determined by the delay time Td, distance information can be obtained.
  • pulse phase method Since the projection light is a pulse, and the ratio of the signal (AC) to the signal (BD) represents the phase of the pulse, this method will be referred to as pulse phase method.
  • the pulse phase method is good when applied to a relatively short distance (about several meters) in a room where the background light is relatively weak, but it becomes a problem when applied to the field or distant where the background light is strong.
  • the first drawback is that the dynamic range is small. In other words, the range of measurable distances is small.
  • the intensity of the received light is proportional to the square of the distance to the object. For example, the intensity ratio between the received light from an object at a distance of 1 m and the received light for the same object at a distance of 100 m is 10000: 1.
  • the number of saturated electrons in a single pixel of a solid-state imaging device is usually about 10000, when the optical condition is set such that a distance of 100 m can be detected, the received light from an object at a distance of 1 m is saturated and pulse phase information Will be lost.
  • the background light is strong, it becomes easier to saturate.
  • the second drawback is that the resistance to strong background light is low.
  • the pulse width To of the projection light is determined according to the distance measurement range. For example, if the distance measurement range is 100 m, To needs 667 nanoseconds, and this can not be reduced.
  • the signals C and D from the background light increase in proportion to To, and the noise, that is, the light shot noise is proportional to the square root of the signals C and D.
  • the signals C and D are almost equal to the signals A and B, respectively, the light shot noise becomes extremely large, and the distance can not be measured with sufficient accuracy.
  • the present disclosure aims to provide a solid-state imaging device having a wide measurable distance range, a distance measuring device, a distance measuring method, and a distance measuring device.
  • Another object of the present invention is to provide a solid-state imaging device, a distance measuring device, a distance measuring method, and a distance measuring device capable of distance measurement even in a strong background light environment.
  • the distance measurement method is a distance measurement method which measures a distance based on a time when pulse light from a light source is reflected on an object and returns, and outputs a distance image within one frame period.
  • One frame period includes a background light detection period, a distance measurement period, and a distance signal output period.
  • a threshold is set, and the distance measurement period is divided into N periods. (N is an integer of 1 or more).
  • the transfer gate is turned on, the reset signal is turned on, and in the period when the transfer gate is turned on, the reset signal is turned off.
  • the reset signal is turned on, and the transfer gate is turned on, and from the light source
  • the reset signal is turned off at a time delayed by a predetermined time with respect to the emission time of the pulse, and the threshold value and the count value are compared in each of the N periods of the distance measurement period, and the count is compared with the threshold value.
  • the time signal is stored as a distance signal in a period in which the value is increased, and the distance signal is output as the distance image in the distance signal output period.
  • FIG. 6 is a diagram showing an operation period included in one frame period of the solid-state imaging device according to the first embodiment.
  • FIG. 1 is a schematic view showing the configuration of a distance measuring device including the solid-state imaging device according to the present embodiment.
  • the distance measurement device 1 includes a solid-state imaging device 10, a signal processing device 20, a computer 30, and a light source 40.
  • the solid-state imaging device 10 further has the following configuration, but is not limited thereto.
  • the solid-state imaging device 10 includes a pixel area 12, a vertical shift register 13, a pixel drive circuit 14, a correlated double sampling (CDS) circuit 15, a horizontal shift register 16, and an output circuit 17. Is equipped.
  • CDS correlated double sampling
  • the pixels 100 are two-dimensionally arranged.
  • the vertical shift register 13 selects the pixels 100 in a specific row in the pixel area 12. This function is mainly used to sequentially output distance signals from a specific pixel 100.
  • the pixel drive circuit 14 uses the pixel 100 shown in FIG. 2 to simultaneously control all pixels.
  • the CDS circuit 15 is a circuit for removing an offset component which is different in each pixel 100, which is included in the output from the pixel 100 shown in FIG.
  • the horizontal shift register 16 is a circuit for sequentially selecting the output from the pixel in the column direction.
  • the output circuit 17 amplifies and outputs the distance signal from the pixel selected by the vertical shift register 13 and the horizontal shift register 16 if necessary.
  • the four output circuits 17 are mounted, it is needless to say that not four solid-state imaging devices are provided.
  • the signal processor 20 comprises an analog front end 21 and a logic memory 22 as shown in FIG.
  • the analog front end 21 converts an analog output signal from the solid-state imaging device 10 into a digital output signal, changes the order of the output signals if necessary, and outputs the result to the logic memory 22. If the output signal from the solid-state imaging device 10 is a digital output signal, the function of converting an analog output signal to a digital output signal is not necessary, but the function of changing the order of output signals is required. An output signal (distance signal) from the signal processing device 20 is output to the computer 30.
  • the computer 30 is, for example, a computer, and configures three-dimensional information around the solid-state imaging device 10 based on an output signal (distance signal) from the signal processing device 20.
  • the light source 40 projects light to a place where three-dimensional information is desired to be obtained.
  • the light source 40 has a built-in mechanism for emitting light to the entire portion where three-dimensional information is desired to be obtained by diffusing the light as necessary.
  • the light source 40 outputs pulsed light (pulsed light) in the time direction. The output time and width of the pulsed light are controlled by the signal processor 20.
  • the signal processing device 20 controls the solid-state imaging device 10 in synchronization with the control of the light source 40.
  • the solid-state imaging device 10 controls the mounted pixel 100 through the pixel drive circuit 14 or the like according to a signal from the signal processing device 20.
  • FIG. 2 is a block diagram showing the configuration of the pixel 100 mounted on the solid-state imaging device 10 according to the present embodiment.
  • FIG. 3 is a circuit diagram showing the configuration of the pixel 100 mounted on the solid-state imaging device 10 according to the present embodiment.
  • ON means the signal of the voltage value of a high level
  • OFF means that it is a signal of the voltage value of a low level.
  • turn on means to apply a signal of a high level voltage value
  • turn off means to apply a signal of a low level voltage value.
  • each block In the pixel 100 shown in FIG. 2, four blocks of a light receiving circuit 101, a counter circuit 102, a comparison circuit 103, and a storage circuit 104 are incorporated.
  • the configuration and function of each block will be described below.
  • the configuration in which each block has the functions described here may be modified to some extent, but it is needless to say that this case is also equivalent to the present disclosure.
  • the light receiving circuit 101 includes a light receiving element 105, a transfer gate transistor 106, and a reset transistor 107.
  • the light receiving element 105 and the transfer gate transistor 106 are connected in series, and the light receiving element 105 and the transfer gate transistor 106 are in pairs.
  • the transfer gate transistor 106 is connected between the light receiving element 105 and the counter circuit 102.
  • the light receiving element 105 is, for example, a photodiode.
  • the transfer gate transistor 106 transports the charge generated by photoelectric conversion in the light receiving element 105. Therefore, the light receiving circuit 101 incorporates a function of receiving incident light and converting it into a light receiving signal.
  • the light reception signal may change according to the intensity of the incident light, but it is desirable that the light reception signal has a binary value depending on the presence or absence of the incident light. Although the following description will be made on the premise of being binary, the pixel 100 operates even if it is not binary. If the value is not binary, it is assumed that the value is binary with respect to a certain threshold value determined by the circuit.
  • the time which performs photoelectric conversion can be set arbitrarily.
  • a function to reset the light reception signal in response to the reset signal may be added.
  • the light reception signal when light is received is referred to as "there is a light reception signal”, and the case where light is not received is referred to as "no light reception signal”.
  • the reset function is not added, the function of resetting the electric signal is added simultaneously with the output of the light reception signal or within a sufficiently short time.
  • the pixel 100 shown in FIG. 2 further includes a counter circuit 102 connected to the output of the light receiving circuit 101.
  • the counter circuit 102 includes a charge storage capacitor 108, a counter transistor 109, and a counter capacitor 110.
  • An output enable signal 130 is output via the counter capacitor 110.
  • the counter circuit 102 has a function of holding, increasing, and resetting the count value.
  • the counter circuit 102 resets the count value in response to the reset signal.
  • the counter circuit 102 detects a light reception signal while the count signal which is an input is ON. When the light reception signal is detected, the counter circuit 102 increments the count value by one. That is, the counter circuit 102 counts the number of arrivals of the light reception signal to the light reception circuit 101.
  • the pixel 100 shown in FIG. 2 further includes a comparison circuit 103 connected to the output of the counter circuit 102.
  • the comparison circuit 103 includes a DC cut capacitor 111, a clamp transistor 112, and an inverter 113.
  • the comparison circuit 103 has a function of arbitrarily setting and holding a threshold for the count value counted by the counter circuit 102.
  • the threshold setting signal which is an input is turned on, the threshold according to the count value which is an input is set.
  • the threshold setting signal is OFF, when the count value is larger than the set threshold, a function to turn on the comparison signal is further added.
  • the output permission signal may be input to the comparison circuit 103. In this case, the comparison signal is turned ON only when the output permission signal is ON. The output permission signal will be described in the second embodiment.
  • the pixel 100 illustrated in FIG. 2 further includes a memory circuit 104.
  • the storage circuit 104 includes an input transistor 114, a storage capacitor 115, and a storage node reset transistor 116.
  • the storage circuit 104 has two inputs, and one receives a comparison signal. The other is a time-varying signal, ie, a time signal.
  • the storage circuit 104 has a function of storing the value of the time signal at this timing when the comparison signal is turned on. Furthermore, the storage circuit 104 is naturally also provided with a function of outputting a stored time signal (this is used as a distance signal).
  • an amplification transistor 117 and a selection transistor 118 are connected to the memory circuit 104.
  • the pixels 100 shown in FIG. 2 are incorporated in the solid-state imaging device 10 in a two-dimensional array.
  • the distance measurement device 1 including the solid-state imaging device 10 has a configuration as shown in FIG. 1 described above, the present invention is not limited to this.
  • FIG. 4 is a diagram illustrating an operation period included in one frame period of the solid-state imaging device 10.
  • one frame period is divided into a background light detection period, a distance measurement period, and a distance signal output period.
  • the solid-state imaging device 10 performs an operation of repeating the background light detection period, the distance measurement period, and the distance signal output period in this order.
  • FIG. 5 is a diagram for describing an operation sequence of the background light detection period of the solid-state imaging device 10 according to the present embodiment.
  • FIG. 6 is a diagram for describing an operation sequence of the distance measurement period of the solid-state imaging device 10 according to the present embodiment.
  • the signal light from the light source 40 is turned off.
  • incident light to the solid-state imaging device 10 is only the one due to the background light.
  • the transfer gate transistor 106 is turned on by turning on the transfer gate pulse according to the exposure signal. While the transfer gate transistor 106 is on, the reset transistor 107 is on until the measurement is started. By setting in this manner, light that has reached the light receiving element before the predetermined signal detection period is discharged through the reset transistor without being accumulated in the charge accumulation capacitor 108 as electric charge.
  • the timing at which the transfer gate transistor 106 is turned on and the timing at which the reset transistor 107 is turned on need not necessarily be simultaneous, and the reset transistor 107 may be turned on before a predetermined signal detection period.
  • the reset transistor 107 is turned off while the transfer gate transistor 106 is turned on. Thereafter, when light is incident, charges corresponding to the incident light are stored in the charge storage capacitor 108 via the transfer gate transistor 106.
  • the transfer gate transistor 106 is turned off. Subsequently, a counter trigger which is a voltage applied to the gate of the counter transistor 109 is turned on to transfer the charge to the counter capacitor 110.
  • the counter trigger is turned off. Subsequently, the transfer gate transistor 106 is turned on again, and the reset transistor 107 is turned on at the same time to reset the charge of the charge storage capacitor 108. Repeat this process b times.
  • the threshold setting signal is turned on in the comparison circuit 103, and this signal is applied to the clamp transistor 112, whereby the voltage of the counter capacitance 110 corresponding to the background light is stored as the voltage across the DC cut capacitor 111. During this time, the voltage of the output enable signal is set to the voltage E.
  • FIG. 6 shows the operation sequence in the distance measurement period, where (a) shows the distance measurement period divided into a plurality of periods, and (b) shows the operation sequence of the period ⁇ in (a).
  • the light source emits a signal light pulse.
  • the transfer gate transistor 106 is turned on simultaneously with the emitted signal light pulse or at a time delayed by a predetermined time from the time when the signal light pulse is emitted.
  • the transfer gate transistor 106 is turned on, and the reset transistor 107 is turned on before the time represented by Expression 1 elapses.
  • the transfer gate transistor 106 is turned on for a predetermined period, the transfer gate transistor 106 is turned off. Subsequently, the counter trigger is turned on to transfer the charge generated by the light receiving element 105 to the charge storage capacitor 108. At this time, when there is a light reception signal, the counter value is increased by one. Repeat this sequence b times.
  • the counter circuit 102 counts and stores how many times the light has reached among the b times of exposure.
  • light has reached c times.
  • this premise is sufficiently established if a is several tens of nano or less.
  • the threshold value setting signal is turned on for the comparison circuit 103, and a threshold value corresponding to c times which is the output value of the counter circuit 102 is set.
  • the operation of the distance measurement period is performed.
  • an object in the range from the close distance of the solid-state imaging device 10 to R meters is detected as the distance measurement range.
  • the resolution is R / N meters (N is an integer of 1 or more).
  • the distance measurement period is further divided into N periods.
  • Each divided section has a period 1 for detecting 0 to R / N meters, a period 2 for detecting R / N to 2 R / N meters, ..., ( ⁇ -1) R / N to ⁇ R / N A period ⁇ for detecting a meter ( ⁇ is an integer of 1 or more and N or less),..., (N ⁇ 1) R / N to R A period for detecting a meter is N.
  • the division method of the distance measurement period is not limited to this, and may be, for example, an unequal pitch, but here, the division will be described as divided as described above.
  • the counter circuit reset signal is turned on to reset the counter value.
  • the time signal to be input to the memory circuit 104 is set to ⁇ .
  • the values of the time signals input to the memory circuit 104 are completely arbitrary, and may be different from period 1 to period N. Furthermore, it may change continuously. (In FIG. 6, (b), it is a constant value within the period ⁇ ).
  • the light source 40 is controlled to project a light pulse having a width of a seconds.
  • this light is reflected on an object corresponding to the distance to be measured in period ⁇ , that is, an object located at ( ⁇ -1) R / N to ⁇ R / N meters and is incident on a pixel in solid-state imaging device 10
  • the light pulse reflected by the object (referred to as received light) is relative to the time when the light pulse emitted from the light source (referred to as projected light) is emitted, Only after a delay, the solid-state imaging device 10 is reached.
  • V is the speed of light.
  • the reset transistor is turned off first at the time when the light pulse reaches the solid-state imaging device, and the transfer gate is turned off a second after that. If set, received light from an object within this distance range can be detected. Thereafter, the counter circuit 102 counts the number of times of detection of the received light by the count signal, that is, the number of times of arrival of the light.
  • the exposure is repeated b times according to the above-described procedure, and the counter circuit 102 counts the number of times of light arrival. If there is no object in the distance range corresponding to the period ⁇ , the expected value of the count is c times, which is the background light component, and is smaller than the threshold d, so the operation of the comparison circuit 103 in the subsequent stage does not change. .
  • the expected value of the count is f times, which is a value exceeding c times. That is, when the received light intensity is sufficiently large, f> d (Equation 2) Meet.
  • the output permission signal of the comparison circuit 103 is turned on. If Equation 2 is satisfied, the comparison signal is turned on and the time signal is stored as the distance signal. If equation 2 is not satisfied, the stored distance signal (or possibly the initial value) does not change.
  • the period ( ⁇ + 1) continues, and the period N ends in the distance measurement period.
  • a signal corresponding to the distance to the object captured by each pixel, that is, a distance signal is stored.
  • the distance signal stored in each pixel is output during the distance signal output period.
  • the solid-state imaging device 10 in the distance measuring device 1 shown in FIG. 1 pixels are selected in order by the vertical shift register 13 and the horizontal shift register 16, and a distance signal is output.
  • the distance signal is processed by the signal processing device 20 or the like to obtain three-dimensional information (i.e., a distance image).
  • a signal from the solid-state imaging device 10 for obtaining the distance image may be simply referred to as a distance image.
  • the exposure time in the background light detection period and the exposure time in the distance measurement period are the same, and the number of light pulses in the background light detection period and the number of light pulses in the distance measurement period are the same. Absent. However, in the case of making them different, they will be deformed in accordance with the different values of the establishment requirements of Expression 2.
  • the delay time of the exposure signal with respect to the emission time of the light pulse in each period is not limited to this, and various variations can be easily considered.
  • the pulse phase method since it is a method of measuring the distance based on the intensity change of the received light in a simplified manner, the measurement becomes impossible when the saturation level of the pixel is exceeded.
  • the received light intensity is inversely proportional to the square of the distance to the object, and also proportional to the reflectance of the object.
  • the maximum measurement distance is 100 meters and the reflectance of the object to be measured is 10% to 100%.
  • the ratio of the received light intensity from a 100% reflectance object at a distance of 1 meter to the received light intensity from a 10% reflectance object at a distance of 100 meters reaches 100000: 1.
  • the number of saturated electrons of a single pixel of a general solid-state imaging device is about 10000, this means that the above two can not be measured simultaneously.
  • the distance dynamic range is larger in the distance measurement by the solid-state imaging device 10 than in the pulse phase method.
  • the reason why the distance measurement by the solid-state imaging device 10 is more tolerant to background light intensity than the pulse phase method will be described.
  • a measurement condition as described above, an object in the range from close distance to R meters is detected.
  • the measurement accuracy shall be R / N meters.
  • the influence of the background light is most affected when measuring an object at the farthest distance, that is, R meters away. This is because the intensity of reflected light from an object of background light does not depend on the distance to the object, while the received light from the light source is inversely proportional to the square of the distance. That is, the SN ratio of the received light decreases as the distance increases.
  • the condition of the received light that can be measured is calculated.
  • the unit of energy is assumed to be the number of photons.
  • the noise component is dominated by the shot noise of the background light, and the shot noise of the received light is sufficiently small and can be ignored.
  • S be the number of incident peak photons per unit time of the received light to a single pixel (the value obtained by converting the number of incident peak powers into photons). S is determined by the energy of the light source, the reflectance of the object, and the distance. At the same time as this received light, a component resulting from the reflection of the background light on the object is superimposed.
  • B be the number of photons per unit time of the incident light component due to the background light.
  • the pulse width is Since the number of pulses is M, the total energy T of the received light to a single pixel is It becomes. Meanwhile, the total energy of the background light component is Light shot noise on this Are superimposed.
  • a necessary condition for calculating the accuracy R / N meter using the measured received light energy T is that T can be measured with an accuracy of T / N or less. That is, Is the condition.
  • the equation corresponding to the equation 7 for the distance measurement by the solid-state imaging device 10 is derived as follows.
  • the width of a single light pulse and the exposure time for detecting it are the time when the speed of light passes twice the distance range corresponding to one period, ie The following is sufficient.
  • the width of a single light pulse and the exposure time for detecting it are equal to Equation 8.
  • the total energy of the received light incident on a single pixel in one period is It becomes.
  • the number of pulses per period and the peak energy are equal.
  • the light energy from the incident background light is The light shot noise of this light is It is.
  • the threshold d is at least required to be greater than the sum of Equations 10 and 11. In addition, it is necessary to further increase the threshold d in order to avoid erroneous determination that the light has reached in a period in which the received light does not reach.
  • the distance measurement method by the solid-state imaging device 10 can perform measurement with light source energy smaller than that of the pulse phase method, ie, It can be seen that the background light is highly resistant.
  • N> 100 is at least required, so it is substantially smaller than the pulse phase method It turns out that light source energy may be sufficient.
  • the main component of the noise is the light shot noise of the received light component, and the other noise can be ignored.
  • the light shot noise component of the received light component is considered to be equal to the light shot noise for the received light energy T. It is.
  • a necessary condition for calculating the accuracy R / N meter is that T can be measured with an accuracy of T / N or less. That is,
  • the number of received photons in a single measurement period is It is.
  • a prerequisite for obtaining an accuracy R / N meter is that the received light energy within a single measurement period is at least one photon. That is,
  • Equation 16 and Equation 17 are compared, it can be seen that for the case of N> 1, the distance measurement by the solid-state imaging device 10 can be performed with smaller light energy than the pulse phase method. Conversely, it can be said that, with the same light energy, distance measurement with such a solid-state imaging device 10 provides higher ranging accuracy.
  • the solid-state imaging device according to the present invention can be applied to automotive equipment for preventing collision or automatic driving, a distance measuring device, and the like.
  • Reference Signs List 1 distance measuring device 10 solid-state imaging device 12 pixel area 13 vertical shift register 14 pixel drive circuit 15 CDS circuit 16 horizontal shift register 17 output circuit 20 signal processing device 21 analog front end 22 logic memory 30 computer 40 light source 100 pixel 101 light receiving circuit 102 counter circuit 103 comparison circuit 104 storage circuit 105 light receiving element 106 transfer gate transistor 107 reset transistor 108 charge storage capacitor 109 counter transistor 110 counter capacitance 111 DC cut capacitor 112 clamp transistor 113 inverter 114 input transistor 115 storage capacitor 116 storage node reset transistor 117 Amplification transistor 118 Selection transistor 130 output Yes signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

距離測定方法では、背景光検知期間に、閾値が設定され、距離測定期間がN個の期間に分割され、背景光検知期間に、トランスファーゲートをONし、リセット信号をONし、トランスファーゲートがONしている期間にリセット信号をOFFし、距離測定期間において、トランスファーゲートをONし、リセット信号をONし、トランスファーゲートがONしている期間であってかつ光源からの光パルスの発射時刻に対し所定の時間だけ遅れた時間にリセット信号をOFFし、距離測定期間のN個の期間のそれぞれにおいて閾値とカウント値とを比較し、閾値よりもカウント値が大きくなった期間に時間信号を距離信号として記憶し、距離信号出力期間に距離信号を距離画像として出力する。

Description

距離測定方法および距離測定装置
 本開示は、距離測定方法および距離測定装置に関する。
 従来、固体撮像装置は画像を高感度、高精細に撮像することに注力されてきたが、それに加えて固体撮像装置からの距離情報も取得できる機能を併せ持つものも近年登場してきた。画像に距離情報が加われば固体撮像装置の撮影対象の三次元的な情報が感知できることになる。例えば、人物を撮影すれば、しぐさ(ジェスチャー)を三次元的に検知できるので、様々な機器の入力装置として使用できる。さらに例示すると、自動車に搭載すれば自車の周囲に存在する物体・人物との距離を認識できるので衝突防止や自動運転などに応用できる。
 固体撮像装置から物体までの距離測定に使用される数々の方法の中に、光を固体撮像装置付近から物体に向けて照射されてから、物体により反射し固体撮像装置に帰還するまでの時間を測定するTOF(Time Of Flight)法がある。複眼方式などの他の方法と比較すれば、固体撮像装置の他に光源が必要になることが短所である。一方、光源を強くすれば、遠方の物体までの距離を高分解能で測定できることが長所である。固体撮像装置にTOF法を適用して三次元的な情報を得る方法としては、例えば特許文献1に掲載された技術がある。
特開2004-294420号公報
 特許文献1において、受信光(物体で反射した光パルス)は投射光(光源から発射した光パルス)に対して物体までの距離に対応した遅れ時間Tdを持って固体撮像装置に到達する。受光素子、すなわちフォトダイオード(PD)に入射する受信光に応じて生成される電荷は、2つのトランスファゲートトランジスタTX1、TX2の駆動に応じて2つのノードに振り分けられ、信号A、Bを生成する。そのあと、投射光をOFFにした状態で同様の駆動により信号C、Dを得る。信号A、Bは背景光の成分が含まれているが、信号C、Dを差し引き、信号(A-C)、信号(B-D)を計算することにより受信光成分だけが含まれる信号が得られる。このとき信号(A-C)と信号(B-D)の比は遅れ時間Tdで決定されるので距離情報を得ることができる。
 投射光はパルスであり、信号(A-C)と信号(B-D)の比はパルスの位相を表すので、この方法をパルス位相法と呼ぶことにする。パルス位相法は、背景光の比較的弱い室内で、比較的近距離(数m程度)に適用する場合にはよいが、背景光の強い野外や遠距離に適用する場合に対して問題となる以下の欠点が存在することに発明者らは気づいた。
 欠点の1点目は、ダイナミックレンジが小さいことである。言い換えると、測定可能な距離のレンジが小さいことである。受信光の強度は、物体までの距離の二乗に比例する。例えば、距離1mの物体からの受信光と、それと同じ物体で距離100mの場合の受信光との強度比は10000:1になる。ところが、固体撮像装置の単一画素の飽和電子数は通常10000程度なので、距離100mが検知可能な光学条件に設定した場合、距離1mの物体からの受信光は飽和してしまい、パルスの位相情報が失われることになる。背景光が強い場合、さらに飽和しやすくなる。
 欠点の2点目は、強い背景光に対する耐性が低いということである。以下説明すると、投射光のパルス幅Toは、距離測定レンジに応じて決定される。例えば距離測定レンジが100mの場合であれば、Toは667ナノ秒必要であり、これを小さくすることはできない。一方、背景光による信号C、DはToに比例して増加し、そのノイズ、すなわち光ショットノイズは信号C、Dの平方根に比例する。信号A、Bに対して信号C、Dがそれぞれほとんど等しい場合、上記光ショットノイズが極めて大きくなり、十分な精度をもって距離を測定できない。
 上記課題に鑑み、本開示は、測定可能距離レンジが広い固体撮像装置、距離測定装置および距離測定方法および距離測定装置を提供することを目的とする。
 また、強い背景光の環境下においても距離測定が可能である固体撮像装置、距離測定装置および距離測定方法および距離測定装置を提供することを目的とする。
 その他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
 本願において開示される実施の形態のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
 一実施の形態である距離測定方法は、光源からのパルス光が対象物において反射して帰還する時間により距離を測定し、1フレーム期間内に距離画像を出力する距離測定方法であって、前記1フレーム期間には、背景光検知期間、距離測定期間および距離信号出力期間が含まれており、前記背景光検知期間において、閾値が設定され、前記距離測定期間は、N個の期間に分割され(Nは1以上の整数)、前記背景光検知期間において、トランスファーゲートをONし、リセット信号をONし、前記トランスファーゲートがONしている期間に、前記リセット信号をOFFし、前記距離測定期間において、トランスファーゲートをONし、リセット信号をONし、前記トランスファーゲートがONしている期間であって、かつ前記光源からの光パルスの発射時刻に対し所定の時間だけ遅れた時間に前記リセット信号をOFFし、前記距離測定期間の前記N個の期間のそれぞれにおいて前記閾値とカウント値とを比較し、前記閾値よりも前記カウント値が大きくなった期間において前記時間信号を距離信号として記憶し、前記距離信号出力期間において、前記距離信号を前記距離画像として出力する。
 この構成によれば、測定可能距離レンジが広い距離測定を実現できる。
 本開示において開示される一実施の形態によれば、測定可能距離レンジが広い距離測定方法を提供することができる。
実施の形態1にかかる固体撮像装置の構成を示す概略図 実施の形態1にかかる固体撮像装置に搭載する画素の構成を示すブロック図 実施の形態1にかかる固体撮像装置に搭載する画素の構成を示す回路図 実施の形態1にかかる固体撮像装置の1フレーム期間に含まれる動作期間を示す図 実施の形態1にかかる固体撮像装置の背景光検知期間の動作シーケンスについて説明するための図 実施の形態1にかかる固体撮像装置の距離測定期間の動作シーケンスについて説明するための図
 以下、本開示にかかる実施の形態について、図面を参照しながら説明する。なお、実質的に同一の構成に対して同一の符号を付し、説明を省略する場合がある。また、以下で説明する実施の形態は、いずれも一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 (実施の形態1)
 [1.固体撮像装置の構成]
 はじめに、本実施の形態にかかる距離測定装置1および固体撮像装置10の構成について説明する。図1は、本実施の形態にかかる固体撮像装置を含む距離測定装置の構成を示す概略図である。
 図1に示すように、距離測定装置1は、固体撮像装置10と、信号処理装置20と、計算機30と、光源40とを備えている。
 固体撮像装置10は、さらに以下のような構成となるが、これに限られるものではない。
 図1に示すように、固体撮像装置10は、画素領域12と、垂直シフトレジスタ13と、画素駆動回路14と、CDS(Correllated Double Sampling)回路15と、水平シフトレジスタ16と、出力回路17とを備えている。
 画素領域12は、図2に示すように、画素100が二次元状に配列されている。
 垂直シフトレジスタ13は、画素領域12内のある特定の行の画素100を選択する。この機能は主に、ある特定の画素100から距離信号を順に出力するために使用する。
 画素駆動回路14は、図2に示した画素100を、全画素同時に制御するために使用する。
 CDS回路15は、図2に示した画素100からの出力に含まれる、各画素100で異なるオフセット成分を除去するための回路である。
 水平シフトレジスタ16は、画素からの出力を列方向に順に選択するための回路である。
 出力回路17は、垂直シフトレジスタ13および水平シフトレジスタ16によって選択された画素からの距離信号を、必要ならば増幅して出力する。この固体撮像装置10では、4つの出力回路17を搭載しているが、4つでない固体撮像装置も当然考えられる。
 信号処理装置20は、図1に示すように、アナログフロントエンド21と、ロジック・メモリ22とを備えている。
 アナログフロントエンド21は、固体撮像装置10からのアナログ出力信号をデジタル出力信号に変換して、必要ならば出力信号の順序を入れ替えてロジック・メモリ22に出力する。固体撮像装置10からの出力信号がもしデジタル出力信号である場合には、アナログ出力信号をデジタル出力信号に変換する機能は不要だが、出力信号の順序を入れ替える機能は必要になる。信号処理装置20からの出力信号(距離信号)は、計算機30に出力される。
 計算機30は、例えばコンピュータであり、信号処理装置20からの出力信号(距離信号)に基づいて固体撮像装置10の周囲の三次元情報を構成する。
 光源40は、三次元情報を得たい箇所に光を投射する。光源40には、必要に応じて光を拡散することにより三次元情報を得たい箇所全体に光を照射する機構が内蔵されている。光源40からは、時間方向にパルス状の光(パルス光)が出力される。パルス光の出力時刻や幅は、信号処理装置20によって制御される。また、信号処理装置20は、光源40の制御と同期させて固体撮像装置10を制御する。固体撮像装置10は、信号処理装置20からの信号に従って、搭載されている画素100を画素駆動回路14などを介して制御する。
 図2は、本実施形態にかかる固体撮像装置10に搭載する画素100の構成を示すブロック図である。図3は、本実施形態にかかる固体撮像装置10に搭載する画素100の構成を示す回路図である。なお、以下に説明する各種の信号について、“ON”とはハイレベルの電圧値の信号のことをいい、“OFF”とはローレベルの電圧値の信号であることをいう。また、“ONする”とはハイレベルの電圧値の信号を印加することをいい、“OFFする”とはローレベルの電圧値の信号を印加することをいう。
 図2に示す画素100内には、受光回路101、カウンタ回路102、比較回路103、記憶回路104の4つのブロックが内蔵されている。以下、各ブロックの構成および機能を説明する。ここで説明する機能を各ブロックに持たせる構成は、ある程度の変形が考えられるが、その場合も本開示と同等であることはいうまでもない。
 受光回路101は、図3に示すように、受光素子105と、トランスファゲートトランジスタ106と、リセットトランジスタ107とを有している。受光素子105とトランスファゲートトランジスタ106とは直列に接続され、受光素子105とトランスファゲートトランジスタ106とが1つずつ組となっている。トランスファゲートトランジスタ106は、受光素子105とカウンタ回路102との間に接続されている。
 受光素子105は、例えばフォトダイオードである。トランスファゲートトランジスタ106は、受光素子105において光電変換により発生した電荷を輸送する。よって、受光回路101は、入射光を受けて受光信号に変換する機能を内蔵している。受光信号は、入射光の強弱に応じて変化してもよいが、入射光の到達の有無により2値になることが望ましい。以下、2値である前提で説明するが、2値でなくても画素100は動作する。2値でない場合は、回路的に定めたある閾値に対する大小で2値になっているものとする。さらに、入力信号である露光信号に応じて、光電変換を行う時間を任意に設定できる。また、リセット信号を受けて、受光信号をリセットする機能が付加されていてもよい。受光した場合の受光信号を、“受光信号がある”、受光していない場合を“受光信号がない”、と呼ぶことにする。リセット機能が付加されていない場合は、受光信号を出力すると同時もしくは十分短い時間内に、電気信号をリセットする機能が付加されている。
 図2に示す画素100は、さらに、受光回路101の出力に接続されているカウンタ回路102を備えている。
 カウンタ回路102は、図3に示すように、電荷蓄積コンデンサ108と、カウンタトランジスタ109と、カウンタ容量110とを有している。カウンタ容量110を介して出力許可信号130が出力される。カウンタ回路102は、カウント値を保持、増加、リセットする機能が付加されている。カウンタ回路102は、カウント値のリセットを、リセット信号に応じて行う。また、カウンタ回路102は、入力であるカウント信号がONの期間、受光信号を検知する。受光信号を検知した場合、カウンタ回路102は、カウント値を1つ増加させる。すなわち、カウンタ回路102は、受光回路101への受光信号の到達回数をカウントする。
 図2に示す画素100は、さらに、カウンタ回路102の出力に接続されている比較回路103を備えている。
 比較回路103は、図3に示すように、直流カットコンデンサ111と、クランプトランジスタ112と、インバータ113とを有している。比較回路103には、カウンタ回路102が計数した回数値に対する閾値を任意に設定、保持する機能が搭載されている。入力である閾値設定信号がONしたとき、入力であるカウント値に応じた閾値が設定される。閾値設定信号がOFFのとき、設定した閾値に対しカウント値が大きい場合、比較信号をONさせる機能がさらに付加されている。また、比較回路103は、出力許可信号が入力されていてもよい。この場合は、出力許可信号がONの場合のみ、比較信号をONする。出力許可信号については、実施の形態2で説明する。
 図2に示す画素100は、さらに、記憶回路104を備えている。
 記憶回路104は、図3に示すように、入力トランジスタ114と、記憶コンデンサ115と、記憶ノードリセットトランジスタ116とを有している。記憶回路104の入力は2つであり、1つには比較信号が入力される。もう1つには、時間に対して変化する信号、すなわち時間信号が入力される。記憶回路104には、比較信号がONしたとき、このタイミングでの時間信号の値を記憶する機能が内蔵されている。さらに、記憶回路104には、当然ながら、記憶した時間信号(これを距離信号とする)を出力する機能も付加されている。
 さらに、記憶回路104には、図3に示すように、増幅トランジスタ117と、選択トランジスタ118とが接続されている。
 図2に示す画素100は、固体撮像装置10内に二次元状に配列した形で内蔵される。固体撮像装置10を含めた距離測定装置1は、上述した図1のような構成となるが、これに限られるものではない。
 [2.固体撮像装置の動作]
 次に、本実施の形態にかかる固体撮像装置10の動作について説明する。図4は、固体撮像装置10の1フレーム期間に含まれる動作期間を示す図である。
 図4に示すように、1フレーム期間は、背景光検知期間、距離測定期間および距離信号出力期間に分けられる。固体撮像装置10は、背景光検知期間、距離測定期間および距離信号出力期間をこの順に繰り返す動作を行う。
 図5は、本実施の形態にかかる固体撮像装置10の背景光検知期間の動作シーケンスについて説明するための図である。図6は、本実施の形態にかかる固体撮像装置10の距離測定期間の動作シーケンスについて説明するための図である。
 図5に示すように、背景光検知期間では、光源40からの信号光をOFFする。背景光検知期間では、固体撮像装置10への入射光は、背景光によるものだけである。トランスファゲートパルスを露光信号によりONすることによって、トランスファゲートトランジスタ106をONする。なお、トランスファゲートトランジスタ106をONしているうち、測定を開始するまでの間は、リセットトランジスタ107をONする。このように設定することで、所定の信号検出期間以前に受光素子に到達した光は、電荷として電荷蓄積コンデンサ108に蓄積されることなく、リセットトランジスタを介して排出されることとなる。
 なお、トランスファゲートトランジスタ106をONするタイミングとリセットトランジスタ107をONするタイミングとは必ずしも同時である必要はなく、所定の信号検出期間以前にリセットトランジスタ107がONすればよい。
 測定を開始する直前に、トランスファゲートトランジスタ106をONにしたまま、リセットトランジスタ107をOFFする。その後、光が入射すれば、入射光に対応する電荷がトランスファゲートトランジスタ106を介して電荷蓄積コンデンサ108に蓄積される。
 それから、トランスファゲートトランジスタ106をOFFする。続いてカウンタトランジスタ109のゲートに印加する電圧であるカウンタトリガをONし、その電荷をカウンタ容量110に転送する。
 その後、カウンタトリガをOFFする。続いて再びトランスファゲートトランジスタ106をONし、合わせてリセットトランジスタ107をONすることで、電荷蓄積コンデンサ108の電荷をリセットする。この行程をb回繰り返す。
 その後、比較回路103において閾値設定信号をONし、この信号をクランプトランジスタ112に印加することにより、背景光に対応するカウンタ容量110の電圧を、直流カットコンデンサ111の両端の電圧として記憶する。この間、出力許可信号の電圧は、電圧Eに設定する。
 距離測定期間では、期間を複数の期間に分割する。図6は、距離測定期間での動作シーケンスを示しており、(a)は複数の期間に分割された距離測定期間、(b)は(a)における期間αの動作シーケンスを示している。
 期間αでは、まず光源から信号光パルスを射出する。
 射出した信号光パルスと同時、または、信号光パルスを射出した時間から所定の時間だけ遅れた時間にトランスファゲートトランジスタ106をONする。トランスファゲートトランジスタ106をONし、式1で表される時間が経過する以前までに、リセットトランジスタ107をONする。
 それから、式1で表される時間が経過したとき、トランスファゲートトランジスタ106をONにしたまま、リセットトランジスタ107をOFFする。
 ここで、リセットトランジスタ107がONしている期間に入射した光は、電荷として電荷蓄積コンデンサ108に蓄積されることなく、リセットトランジスタ107を介して排出される。すなわち、リセットトランジスタ107がONしている期間に入射した光は、測定に寄与しない。一方で、所定の信号検出期間(リセットトランジスタ107をOFFしてからトランスファーゲートがOFFされるまでの期間)に到達した光のみを精度よく信号として検出することができる。
 さらに、トランスファゲートトランジスタ106を所定の期間ONしたあと、トランスファゲートトランジスタ106をOFFする。続いて、カウンタトリガをONし、受光素子105で生成した電荷を電荷蓄積コンデンサ108に転送する。このとき、受光信号がある場合は、カウンタ値が1つ増加する。この一連の行程をb回繰り返す。
 カウンタ回路102では、上記b回の露光のうち、何回光が到達したかを計数し記憶することになる。ここでは、光がc回到達したとする。ただし、上記aが十分小さいか、入射光が十分小さく、入射光が光子数個に分解でき、断続的に入射するとみなせることを前提としている。通常は、aが数10ナノ以下であれば、この前提は十分成立する。
 次に、比較回路103に対し、閾値設定信号をONし、カウンタ回路102の出力値であるc回に応じた閾値を設定する。閾値は、カウンタ回路102の出力値であるcそのものでもよいが、ここではd=c+e(eは任意の正の値)に設定する。
 次に、距離測定期間の動作を行う。ここでは、距離測定レンジとして、固体撮像装置10の至近距離からRメートルまでの範囲にある物体を検出するとする。また、その分解能はR/Nメートル(Nは1以上の整数)とする。これを実現するため、図6の(a)および(b)に示すように、距離測定期間では以下のような行程とする。
 まず、図6の(a)に示すように、距離測定期間をN個の期間にさらに分ける。分けられたそれぞれの区間は、0~R/Nメートルを検知する期間1、R/N~2R/Nメートルを検知する期間2、・・・、(α―1)R/N~αR/Nメートルを検知する期間α(αは1以上N以下の整数)、・・・、(N-1)R/N~Rメートルを検知する期間Nとする。距離測定期間の分け方はこの通りに限られるものでなく、例えば不等ピッチにしてもよいが、ここでは上記のように分けたとして説明する。
 次に、期間α内での動作について説明する。まず、カウンタ回路リセット信号をONし、カウンタ値をリセットする。また、記憶回路104に入力する時間信号をαに設定する。記憶回路104に入力する時間信号の値は全くの任意であり、期間1~期間Nで互いに異なっていればよい。さらに、連続的に変化してもよい。(図6の(b)では期間α内で一定値としている)。
 さらに、光源40を制御し、a秒間の幅を持った光パルスを投射する。この光がもし、期間αで測定する距離に対応した物体、すなわち(α―1)R/N~αR/Nメートル先にある物体に反射して固体撮像装置10内のある画素に入射する場合、物体で反射した光パルス(受信光と呼ぶことにする)は、光源から発射した光パルス(投射光と呼ぶことにする)が発射した時刻に対して、
Figure JPOXMLDOC01-appb-M000001
だけ遅れて固体撮像装置10に到達する。ここで、Vは光速である。したがって、トランスファゲートトランジスタ106と、リセットトランジスタ107とをそれぞれONした後、光パルスが固体撮像装置に到達する時刻において、リセットトランジスタを先にOFFし、そこからa秒間後にトランスファーゲートをOFFするように設定すれば、この距離範囲内にある物体からの受信光を検知することができる。このあと、カウンタ回路102において、カウント信号により受信光を検知した回数、すなわち光の到達回数のカウントを行う。
 上述した手順で露光をb回繰り返し、カウンタ回路102で光の到達回数を計数する。もし、期間αに対応する距離範囲内に物体が存在しなければ、計数の期待値は、背景光成分であるc回であり、閾値dより小さいので、後段の比較回路103の動作は変化しない。期間αに対応する距離範囲内に物体が存在する場合、計数の期待値はc回を上回る値であるf回となる。すなわち、受信光強度が十分大きい場合、
 f>d                       ・・・(式2)
を満たす。
 その後、比較回路103の出力許可信号をONする。式2が満たされている場合は、比較信号がONし、時間信号が距離信号として記憶される。式2が満たされない場合は、記憶されている距離信号(あるいは初期値の場合もありえる)は変化しない。
 その後、期間(α+1)が続き、期間Nで距離測定期間が終了する。このとき、各画素の記憶回路104には、各画素が撮影する物体までの距離に対応した信号、すなわち距離信号が記憶されている。
 最後に、距離信号出力期間に、各画素に記憶された距離信号を出力する。図1に示した距離測定装置1内の固体撮像装置10の場合は、垂直シフトレジスタ13および水平シフトレジスタ16により、順に画素を選択し、距離信号を出力する。この距離信号を信号処理装置20などで処理することにより、三次元的な情報(すなわち距離画像)が得られる。以下、この距離画像を得るための固体撮像装置10からの信号を単に距離画像と呼ぶこともある。
 ここまでは、背景光検知期間の露光時間と距離測定期間の露光時間は同じ、また背景光検知期間の光パルス数と距離測定期間の光パルス数も同じとしたが、これに限られるものではない。ただし、異ならせる場合は、式2の成立要件が異ならせた値に応じて変形することになる。
 さらに、各期間の光パルスの発射時刻に対する露光信号の遅れ時間もこれに限られるものではなく、様々なバリエーションが容易に考えられる。
 次に、先行技術文献で使用されているパルス位相法よりも、本実施の形態にかかる固体撮像装置10による距離測定のほうが、距離の測定ダイナミックレンジが広い理由を説明する。
 パルス位相法の場合、簡単化して考えると、受信光の強度変化によって距離を測定する方式であるので、画素の飽和レベルを超えた場合には測定不能となる。ところで、受信光強度は物体までの距離の二乗に反比例し、また物体の反射率に比例する。例えば、最大測定距離を100メートル、測定対象の物体の反射率が10%~100%であるとする。このとき、1メートルの距離にある反射率100%の物体からの受信光強度と、100メートルの距離にある反射率10%の物体からの受信光強度の比は100000:1に達する。一方、一般的な固体撮像装置の単一画素の飽和電子数は10000程度であるので、上記2つを同時に測定できないことを意味している。
 一方、固体撮像装置10による距離測定の場合、測定可能か否かは式2が成立するほど受信光強度が大きいことだけが条件であり、物体までの距離と反射率による受信光強度の変化にはまったく左右されない。従って、固体撮像装置10による距離測定のほうが、パルス位相法よりも距離ダイナミックレンジが大きいといえる。
 固体撮像装置10による距離測定のほうが、パルス位相法よりも背景光強度に対する耐性がよい理由を説明する。測定条件として、上述のように至近距離からRメートルまでの範囲にある物体を検出することにする。また測定精度はR/Nメートルを確保するものとする。
 このとき、背景光の影響を最も受けるのは、最遠距離、すなわちRメートル先の物体を測定する場合である。なぜなら、背景光の物体からの反射光強度は、物体までの距離によらないのに対し、光源からの受信光は距離の2乗に反比例するからである。すなわち、受信光におけるSN比は、距離が遠いほど小さくなる。
 以下、測定可能である受信光の条件を計算する。以下、エネルギーの単位は光子数であるとする。計算の仮定として、ノイズ成分は、背景光のショットノイズが支配的であるとし、受信光のショットノイズはそれに対し十分小さく無視できるとする。
 単一画素への受信光の単位時間当たりの入射ピーク光子数をSとする(入射ピークパワーを光子数換算した値である)。Sは、光源のエネルギーおよび物体の反射率、距離で決定される。この受信光と同時に、背景光が物体に反射することによる成分が重畳する。背景光による入射光成分の単位時間当たりの光子数をBとする。パルス位相法の場合、パルス幅を
Figure JPOXMLDOC01-appb-M000002
にしなければならないから、パルス数をMとすると、単一画素への受信光の合計エネルギーTは、
Figure JPOXMLDOC01-appb-M000003
となる。一方、背景光の成分の合計エネルギーは、
Figure JPOXMLDOC01-appb-M000004
となるが、これに光ショットノイズ
Figure JPOXMLDOC01-appb-M000005
が重畳している。測定される受信光エネルギーTを用いて、精度R/Nメートルを算出するための必要条件は、TがT/N以下の精度を持って測定できることである。すなわち、
Figure JPOXMLDOC01-appb-M000006
が条件である。
 それに対して、かかる固体撮像装置10による距離測定に対する式7に対応する式を以下導出する。まず、単一の光パルスの幅およびそれを検知するための露光時間は、期間一つに対応する距離範囲の2倍を光速で通過する時間、すなわち、
Figure JPOXMLDOC01-appb-M000007
以下であればよい。ここでは、単一の光パルスの幅およびそれを検知するための露光時間は、式8に等しいとする。また、期間一つに単一画素に入射する受信光の合計エネルギーは、
Figure JPOXMLDOC01-appb-M000008
となる。ただし、ここでは期間ごとのパルス数とピークエネルギーは等しいと仮定した。これと同時に、入射する背景光による光エネルギーは、
Figure JPOXMLDOC01-appb-M000009
であり、この光の光ショットノイズは、
Figure JPOXMLDOC01-appb-M000010
である。閾値dは、式10と式11の合計よりも大きいことが最低限必要である。加えて、受信光が到達しない期間において到達したと誤って判定することを避けるためには、さらに閾値dを大きくする必要がある。統計理論によれば、式11の光ショットノイズが、式11のγ倍よりも大きくなる確率は、γ=1のとき16%、γ=2のとき2.5%、γ=3のとき0.15%である。この確率が1/Nよりも小さければ、上記誤判定は生じない。例えばN=100の場合、γ=3であればよい。すなわち、閾値dは、
Figure JPOXMLDOC01-appb-M000011
であるから、誤判定を生じずに測定するための必要条件は、
Figure JPOXMLDOC01-appb-M000012
である。
 簡単のために、固体撮像装置10による距離測定において、総パルス数をパルス位相法による測定の場合と一致させる場合を考える。すなわち、固体撮像装置10による距離測定において、パルス位相法のパルス数M、測定期間数N、各測定期間内でのパルス数bが、M=Nbを満たす場合を考えると、式13は、
Figure JPOXMLDOC01-appb-M000013
となる。式14と式7とを比較すると、少なくともN>γの場合には、かかる固体撮像装置10による距離測定方法の方が、パルス位相法よりも小さい光源エネルギーで測定を行うことができる、すなわち、背景光に対する耐性が高いことがわかる。ジェスチャー認識、自動車に搭載して障害物検知を行うなどの場合に、固体撮像装置10による距離測定を用いるのであれば、N>100は少なくとも要求されるため、実質的にパルス位相法よりも小さい光源エネルギーでよいことが分かる。
 次に、背景光成分が小さい場合でも、測距精度が高い理由を説明する。ここではノイズの主成分が受信光成分の光ショットノイズであるとし、他のノイズは無視できるとする。
 パルス位相法の場合、受信光成分の光ショットノイズ成分は、受信光エネルギーTに対する光ショットノイズに等しいと考えて、
Figure JPOXMLDOC01-appb-M000014
である。精度R/Nメートルを算出するための必要条件は、TがT/N以下の精度を持って測定できることである。すなわち、
Figure JPOXMLDOC01-appb-M000015
 かかる固体撮像装置10による距離計測の場合、簡単のため、M=Nbを満たすとすると、単一の測定期間内の受信光子数は、
Figure JPOXMLDOC01-appb-M000016
である。精度R/Nメートルを得るための必要条件は、単一の測定期間内の受信光エネルギーが1光子以上であることである。すなわち、
Figure JPOXMLDOC01-appb-M000017
 式16と式17を比較すれば、N>1の場合について、パルス位相法よりもかかる固体撮像装置10による距離測定の方が、小さい光エネルギーで行うことができることがわかる。逆に言うと、同一光エネルギーならば、かかる固体撮像装置10による距離測定の方が、高い測距精度が得られるといえる。
 以上、本実施の形態にかかる固体撮像装置10によると、測定可能距離レンジが広い距離測定が可能である。
 本発明にかかる固体撮像装置は、衝突防止または自動運転のための自動車用機器、距離測定装置などに応用できる。
 1 距離測定装置
 10 固体撮像装置
 12 画素領域
 13 垂直シフトレジスタ
 14 画素駆動回路
 15 CDS回路
 16 水平シフトレジスタ
 17 出力回路
 20 信号処理装置
 21 アナログフロントエンド
 22 ロジック・メモリ
 30 計算機
 40 光源
 100 画素
 101 受光回路
 102 カウンタ回路
 103 比較回路
 104 記憶回路
 105 受光素子
 106 トランスファゲートトランジスタ
 107 リセットトランジスタ
 108 電荷蓄積コンデンサ
 109 カウンタトランジスタ
 110 カウンタ容量
 111 直流カットコンデンサ
 112 クランプトランジスタ
 113 インバータ
 114 入力トランジスタ
 115 記憶コンデンサ
 116 記憶ノードリセットトランジスタ
 117 増幅トランジスタ
 118 選択トランジスタ
 130 出力許可信号

Claims (11)

  1.  光源と、前記光源からの光が物体に反射して帰還した反射光を受光して電荷を生じる受光素子と、前記電荷を蓄積する第1および第2容量と、前記受光素子と前記第1容量とを接続するトランスファーゲートトランジスタと、前記第1容量と外部電圧とを接続するリセットトランジスタと、を備える距離測定装置において、前記光源からの光が対象物に反射して帰還するまでの時間により距離を測定する距離測定方法であって、
     前記トランスファーゲートトランジスタをONする第1ステップと、
     前記トランスファーゲートトランジスタがONしている期間に、前記リセットトランジスタをOFFする第2ステップと、を含む距離測定方法。
  2.  第2ステップが実行される前であって、かつ、前記期間に前記リセットトランジスタをONする第3ステップを更に含む請求項1に記載の距離測定方法。
  3.  前記第3ステップにおいて前記リセットトランジスタがONになるタイミングは、前記トランスファーゲートトランジスタがONになるタイミングに一致する請求項2に記載の距離測定方法。
  4.  前記第2ステップは、前記光の発射時刻に対し所定の時間だけ遅れた時間に前記リセットトランジスタをOFFする請求項1に記載の距離測定方法。
  5.  前記光はパルス光である請求項1に記載の距離測定方法。
  6.  光源と、
     前記光源からの光が物体に反射して帰還した反射光を受光して電荷を生じる受光素子と、
     前記電荷を蓄積する第1および第2容量と、
     前記受光素子と前記第1容量とを接続する第1トランジスタと、
     前記第1容量と外部電圧とを接続する第2トランジスタと、を備え、
     前記制御回路は、
    前記第1トランスジスタをONする信号を前記第1トランスジスタに送り、
    前記第1トランスジスタがONの期間において前記第2トランスジスタをOFFする信号を前記第2トランスジスタに送る、
    距離測定装置。
  7.  前記期間において、
    前記第2トランスジスタをONする信号を前記第2トランスジスタに送る請求項6に記載の距離測定装置。
  8.  前記制御回路は、前記第1トランスジスタをONする信号と、前記第2トランスジスタをONする信号と、を同時に送る請求項7に記載の距離測定装置。
  9.  前記制御回路は、
    前記光の発射時刻に対し所定の時間だけ遅れた時間に前記第2トランスジスタをOFFする信号を前記第2トランスジスタに送る請求項6に記載の距離測定装置。
  10.  前記光はパルス光である請求項6に記載の距離測定装置。
  11.  前記制御回路は、
    前記電荷に基づいて入射光の到達回数を計数し、カウント値として出力するカウンタ回路と、
    前記カウント値が所定の閾値よりも大きい場合にON状態となる比較信号を出力する比較回路と、を更に備える、
    請求項6に記載の距離測定装置。
PCT/JP2018/033363 2017-09-11 2018-09-10 距離測定方法および距離測定装置 Ceased WO2019050024A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019541042A JPWO2019050024A1 (ja) 2017-09-11 2018-09-10 距離測定方法および距離測定装置
US16/644,473 US20200408910A1 (en) 2017-09-11 2018-09-10 Distance measuring method and distance measuring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017173859 2017-09-11
JP2017-173859 2017-09-11

Publications (1)

Publication Number Publication Date
WO2019050024A1 true WO2019050024A1 (ja) 2019-03-14

Family

ID=65633963

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/033363 Ceased WO2019050024A1 (ja) 2017-09-11 2018-09-10 距離測定方法および距離測定装置

Country Status (3)

Country Link
US (1) US20200408910A1 (ja)
JP (1) JPWO2019050024A1 (ja)
WO (1) WO2019050024A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112865862A (zh) * 2019-11-12 2021-05-28 Oppo广东移动通信有限公司 电子设备之间光通信的环境光检测方法和装置
WO2024100760A1 (ja) * 2022-11-08 2024-05-16 株式会社ブルックマンテクノロジ 距離画像撮像装置、及び距離画像撮像方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6735515B2 (ja) * 2017-03-29 2020-08-05 パナソニックIpマネジメント株式会社 固体撮像装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011122600A1 (ja) * 2010-03-31 2011-10-06 本田技研工業株式会社 固体撮像装置
JP2012215481A (ja) * 2011-03-31 2012-11-08 Honda Motor Co Ltd 測距システム
JP2013195344A (ja) * 2012-03-22 2013-09-30 Toshiba Corp 飛行時間型距離センサ
WO2016075945A1 (ja) * 2014-11-14 2016-05-19 株式会社デンソー 光飛行型測距装置
WO2017141957A1 (ja) * 2016-02-17 2017-08-24 パナソニックIpマネジメント株式会社 距離測定装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5050719B2 (ja) * 2007-08-06 2012-10-17 株式会社デンソー 計測装置
WO2011055625A1 (en) * 2009-11-06 2011-05-12 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and operating method thereof
KR102008233B1 (ko) * 2012-06-29 2019-08-07 삼성전자주식회사 거리 측정 장치 및 상기 거리 측정 장치를 이용한 거리 측정 방법
US9881954B2 (en) * 2014-06-11 2018-01-30 Semiconductor Energy Laboratory Co., Ltd. Imaging device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011122600A1 (ja) * 2010-03-31 2011-10-06 本田技研工業株式会社 固体撮像装置
JP2012215481A (ja) * 2011-03-31 2012-11-08 Honda Motor Co Ltd 測距システム
JP2013195344A (ja) * 2012-03-22 2013-09-30 Toshiba Corp 飛行時間型距離センサ
WO2016075945A1 (ja) * 2014-11-14 2016-05-19 株式会社デンソー 光飛行型測距装置
WO2017141957A1 (ja) * 2016-02-17 2017-08-24 パナソニックIpマネジメント株式会社 距離測定装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112865862A (zh) * 2019-11-12 2021-05-28 Oppo广东移动通信有限公司 电子设备之间光通信的环境光检测方法和装置
WO2024100760A1 (ja) * 2022-11-08 2024-05-16 株式会社ブルックマンテクノロジ 距離画像撮像装置、及び距離画像撮像方法

Also Published As

Publication number Publication date
JPWO2019050024A1 (ja) 2020-10-22
US20200408910A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
JP6823815B2 (ja) 固体撮像装置、距離測定装置および距離測定方法
JP6443132B2 (ja) 演算装置
US12038510B2 (en) High dynamic range direct time of flight sensor with signal-dependent effective readout rate
US11644551B2 (en) Lidar systems with improved time-to-digital conversion circuitry
US11626446B2 (en) Pixel circuit and method of operating the same in an always-on mode
US11119196B2 (en) First photon correlated time-of-flight sensor
JP6665873B2 (ja) 光検出器
CN108802753A (zh) 用于确定距对象的距离的设备以及相应的方法
JP2007170856A (ja) 距離データ生成方法、距離画像生成装置、光電センサ
TW201945756A (zh) 適用於遠程飛行時間應用的雙模堆疊式光倍增器
JP6735515B2 (ja) 固体撮像装置
JP6791055B2 (ja) 光検出装置、運転支援システム、及び自動運転システム
WO2019050024A1 (ja) 距離測定方法および距離測定装置
CN113219491B (zh) 具有动态分辨率的lidar系统
JP7003949B2 (ja) 光測距装置
US20230221439A1 (en) Addressing redundant memory for lidar pixels
US20230213626A1 (en) Lidar systems with reduced inter-chip data rate
US11849229B2 (en) Image capturing apparatus having photon detection and control method therefor
CN110554399B (zh) 用于测量距物体的距离的激光测量装置及其操作方法
CN114829970A (zh) 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法
US20250341619A1 (en) High photon rate spad device
US20240385325A1 (en) Direct-time-of-flight device, system, and method
KR20250098541A (ko) 노출 시간을 조절할 수 있는 라이다 센서

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18853820

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019541042

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18853820

Country of ref document: EP

Kind code of ref document: A1