[go: up one dir, main page]

WO2022185732A1 - 距離画像取得装置および距離画像取得方法 - Google Patents

距離画像取得装置および距離画像取得方法 Download PDF

Info

Publication number
WO2022185732A1
WO2022185732A1 PCT/JP2022/000951 JP2022000951W WO2022185732A1 WO 2022185732 A1 WO2022185732 A1 WO 2022185732A1 JP 2022000951 W JP2022000951 W JP 2022000951W WO 2022185732 A1 WO2022185732 A1 WO 2022185732A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixels
charge
control pattern
light
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/000951
Other languages
English (en)
French (fr)
Inventor
圭祐 内田
宗則 宅見
尚宜 高本
尚明 加藤
勝大 中本
光人 間瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to CN202280018234.1A priority Critical patent/CN116981962A/zh
Priority to US18/272,611 priority patent/US20240305907A1/en
Priority to DE112022001323.0T priority patent/DE112022001323T5/de
Publication of WO2022185732A1 publication Critical patent/WO2022185732A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/779—Circuitry for scanning or addressing the pixel array

Definitions

  • the present disclosure relates to an apparatus and method for acquiring a range image of an object using the time-of-flight method.
  • a range image acquisition device using the time-of-flight (TOF) method receives a light pulse that is irradiated onto an object and reflected by the object, and an image of the object is received by an imaging device.
  • a distance image of the object is obtained by determining for each of a plurality of pixels on the light-receiving surface the time required for the light pulse output from the light source to be reflected by the object and return to the imaging device. can be obtained.
  • the distance image acquisition device of the invention disclosed in Patent Document 1 uses compressed sensing technology when acquiring a distance image of an object by the TOF method.
  • a plurality of pixels each including a photodiode are arranged two-dimensionally on the light-receiving surface of the image pickup device, the plurality of pixels are divided into a plurality of groups, and different control patterns are given to the pixels depending on the group. .
  • each pixel the charge generated in the photodiode is accumulated in the charge accumulation portion during the period specified by the given control pattern. Then, based on the control pattern given to each pixel and the amount of charge accumulated in the charge accumulation section in each pixel, analysis is performed by compression sensing technology to obtain a range image of the object.
  • Patent Document 1 a plurality of pixels on the light-receiving surface of the image sensor are divided into a plurality of groups, and different control patterns are given to the pixels depending on the groups. Get the data you need in a short amount of time. Therefore, according to the present invention, a range image with high temporal resolution can be obtained.
  • Patent Document 1 can obtain a range image with high temporal resolution, it has the following problems.
  • a plurality of pixels on the light-receiving surface of the image sensor are divided into a plurality of groups, so the number of pixels included in each group is reduced, resulting in a decrease in spatial resolution.
  • An object of the embodiments is to provide a device and method that can easily acquire a range image with high spatial resolution using compressed sensing technology.
  • the embodiment is a range image acquisition device.
  • a range image acquisition device is a device that acquires a range image of an object by the time-of-flight method, and includes (1) a light source that irradiates the object with a light pulse, and (2) the object that is irradiated from the light source to the object. and (3) an imager having a plurality of pixels each including a photodiode arranged on a light-receiving surface for receiving the light pulses that have passed through the imaging optical system. and (4) a control pattern in which the first logical value and the second logical value appear alternately in time from the light pulse output timing of the light source is commonly given to the plurality of pixels, and the photodiode of each of the plurality of pixels.
  • a processing unit for obtaining a distance image of an object based on the charge generated in the first charge for accumulating the charge generated in the photodiode during the period in which the control pattern has the first logical value.
  • the processing unit calculates the distance to the object by compressive sensing technology based on the amount of charge accumulated by the first charge accumulation unit in each of the plurality of control patterns for each of the plurality of pixels. Ask.
  • the embodiment is a distance image acquisition method.
  • the distance image acquisition method is a method for acquiring a distance image of an object by a time-of-flight method, comprising (1) a light source that irradiates a light pulse to the object; and (3) an imager having a plurality of pixels each including a photodiode arranged on a light-receiving surface for receiving the light pulses that have passed through the imaging optical system.
  • a control pattern in which the first logical value and the second logical value appear alternately in time from the light pulse output timing of the light source is commonly given to the plurality of pixels, and the control pattern is applied to each of the plurality of pixels.
  • the distance to the object is obtained by compression sensing technology based on the amount of , and the distance image of the object is obtained.
  • the range image acquisition device and range image acquisition method of the embodiment it is possible to easily acquire a range image with high spatial resolution using compression sensing technology.
  • FIG. 1 is a diagram showing the configuration of a distance image acquisition device 1.
  • FIG. 2 is a diagram showing the configuration of the imaging element 5.
  • FIG. 3A and 3B are diagrams schematically showing the configuration of each pixel of the image pickup device 5.
  • (a) A diagram showing the circuit configuration of the pixel, and (b) the switch SW1 is in an off state and the switch SW2 is in an on state.
  • 4 is a diagram schematically showing how charges generated in the photodiode PD are transferred to the second charge storage unit C2 when .
  • FIG. 4 is a diagram showing control patterns of a comparative example.
  • FIG. 5 is a diagram showing an example of control patterns in the embodiment.
  • FIG. 6 is a diagram showing another example of control patterns in the embodiment.
  • FIG. 7 is a diagram showing another example of control patterns in the embodiment.
  • FIG. 8 is a diagram showing another example of control patterns in the embodiment.
  • FIG. 9 is a diagram showing another example of control patterns in the embodiment.
  • FIG. 10 is a diagram showing another example of control patterns in the embodiment.
  • FIG. 11 is a graph showing simulation results.
  • FIG. 12 is a graph showing simulation results.
  • FIG. 1 is a diagram showing the configuration of the distance image acquisition device 1.
  • a distance image acquisition device 1 acquires a distance image of an object by the TOF method, and includes a light source 2, an irradiation optical system 3, an image forming optical system 4, an imaging device 5, and a processing section 6.
  • FIG. 1 is a diagram showing the configuration of the distance image acquisition device 1.
  • a distance image acquisition device 1 acquires a distance image of an object by the TOF method, and includes a light source 2, an irradiation optical system 3, an image forming optical system 4, an imaging device 5, and a processing section 6.
  • FIG. 1 is a diagram showing the configuration of the distance image acquisition device 1.
  • FIG. A distance image acquisition device 1 acquires a distance image of an object by the TOF method, and includes a light source 2, an irradiation optical system 3, an image forming optical system 4, an imaging device 5, and a processing section 6.
  • FIG. 1 is a diagram showing the configuration of the distance image acquisition device 1.
  • the light source 2 outputs a light pulse to irradiate the object.
  • the light source 2 outputs optical pulses with a constant pulse width at a constant repetition frequency.
  • the light source 2 is arbitrary as long as it can output light pulses, and is, for example, a laser light source or a light emitting diode.
  • the irradiation optical system 3 is an optical system that irradiates the object with the light output from the light source 2 .
  • the irradiation optical system 3 efficiently irradiates the object with the light.
  • the imaging optical system 4 receives a light pulse that is emitted from the light source 2 to the object through the irradiation optical system 3 and is reflected by the object. image on the light-receiving surface of
  • the imaging element 5 receives the light pulse reflected by the object and passed through the imaging optical system 4 on the light receiving surface.
  • a plurality of pixels are arranged on the light receiving surface of the imaging device 5 .
  • Each of the plurality of pixels has a photodiode that generates charge in response to light reception and a charge storage section that stores the charge generated by the photodiode.
  • the processing unit 6 gives a control pattern to each of the plurality of pixels of the imaging device 5.
  • the control pattern instructs the period for accumulating charges generated in the photodiodes in the charge accumulating portions in each of the plurality of pixels.
  • the processing unit 6 obtains a distance image of the object based on the amount of charge generated in the photodiode of each of the plurality of pixels and accumulated in the charge accumulation unit.
  • the processing unit 6 may be a computer.
  • the processing unit 6 includes a storage unit (e.g., hard disk drive, RAM, ROM, etc.) for storing control patterns, distance images, etc., a display unit (e.g., liquid crystal display, etc.) for displaying control patterns, distance images, etc., and an instruction to start measurement. , an input unit (for example, a keyboard, a mouse, etc.) for receiving input of measurement conditions, etc., and a control unit (for example, CPU, FPGA, etc.) for controlling the operation of the entire apparatus.
  • a storage unit e.g., hard disk drive, RAM, ROM, etc.
  • a display unit e.g., liquid crystal display, etc.
  • an instruction to start measurement for example, a keyboard, a mouse, etc.
  • an input unit for example, a keyboard, a mouse, etc.
  • a control unit for example, CPU, FPGA, etc.
  • FIG. 2 is a diagram showing the configuration of the imaging element 5. As shown in FIG.
  • the imaging device 5 includes a pixel array section 10 , a row control section 21 , a column control section 31 and a column readout section 32 .
  • the pixel array section 10 includes MN pixels P 1,1 to P M,N two-dimensionally arranged in M rows and N columns.
  • the MN pixels P 1,1 to P M,N have a common configuration.
  • the pixel P m,n is located at the m-th row and the n-th column.
  • the pixel P m,n includes a photodiode that generates charge in response to light reception, and one or more charge storage units that store the charge generated by the photodiode.
  • M and N are integers of 2 or more.
  • m is each integer of 1 or more and M or less.
  • n is each integer of 1 or more and N or less.
  • the row control unit 21 is connected to N pixels P m,1 to P m,N in the m-th row by an m -th row control line 23m.
  • the row control unit 21 supplies the m-th row control signal to the N pixels P m,1 to P m,N on the m-th row through the m -th row control line 23m.
  • the row control section 21 designates the row to which the charge accumulated in the charge accumulation section is to be output by the 1st to Mth row control signals.
  • the column readout section 32 is connected to M pixels P 1,n to P M,n in the nth column by an nth column output line 34n.
  • the column readout section 32 stores the charges in the charge storage section of one of the M pixels P 1,n to P M,n in the n-th column via the n -th column output line 34n. input the charge.
  • the column readout section 32 may include a charge amplifier that outputs a voltage value corresponding to the input charge amount, and an AD converter that outputs a digital value corresponding to the voltage value output from the charge amplifier.
  • the column control unit 31 causes the column readout unit 32 to sequentially output signals corresponding to the amount of charge input to the column readout unit 32 via the n -th column output line 34n.
  • the first to Mth rows are sequentially selected by the first to Mth row control lines 23 1 to 23M output from the row control section 21, and the N lines of the selected rows are selected.
  • the charge accumulated in the charge accumulation section in each of the pixels P m,1 to P m,N is output to the first to Nth column output lines 34 1 to 34 N and input to the column readout section 32 .
  • the column control unit 31 sequentially outputs signals corresponding to the amount of charge input to the column readout unit 32 via the first to Nth column output lines 34 1 to 34 N from the column readout unit 32. be done.
  • control patterns are given to MN pixels P 1,1 to P M,N .
  • the control pattern may be provided by the row control section 21 or by another circuit.
  • FIG. 3 is a diagram schematically showing the configuration of each pixel of the imaging device 5. As shown in FIG. In this figure, each pixel is configured to have two charge storage portions.
  • Each pixel includes a photodiode PD that generates a charge in response to light reception, a first charge storage unit C1 and a second charge storage unit C2 that store the charge, and a first charge storage unit C1 that stores the charge generated in the photodiode PD.
  • a switch SW1 for transferring the charge generated in the photodiode PD to the second charge storage section C2; and a switch SW2 for transferring the charge generated in the photodiode PD to the second charge storage section C2.
  • a switch SW4 for outputting the charge accumulated in the second charge accumulation section C2 to the column output line.
  • FIG. 3(a) shows the circuit configuration of a pixel.
  • FIG. 3B shows that when the switches SW1, SW3, and SW4 are off and the switch SW2 is on, the charge generated in the photodiode PD is transferred to the second charge storage section C2 via the switch SW2. Schematically shows how it is done. When the charge transfer to the second charge storage section C2 is completed, the switch SW2 is turned off, the switch SW4 is turned on, and the charge stored in the second charge storage section C2 is output to the column output line via the switch SW4. and input to the column reading unit 32 .
  • the number of charge storage units may be one, or may be two or more. Any one of the plurality of charge storage units may be used as the charge disposal unit, or a separate charge disposal unit may be provided.
  • the charge discarding section accumulates charges generated in the photodiodes during periods when charge accumulation is not instructed by the control pattern, and there is no need to output these charges to the column output lines.
  • Each pixel also includes a switch for initializing charge accumulation in each of the charge accumulation portion and the charge disposal portion.
  • the imaging device described using FIGS. 2 and 3 is described in Patent Document 2, and is sold as a product as described in Non-Patent Document 1.
  • the distance image acquisition device 1 and the distance image acquisition method of the present embodiment use the light source, optical system, and imaging device as described above, and have one of the characteristics in the control pattern. It acquires a range image of an object.
  • FIG. 4 is a diagram showing a control pattern of a comparative example.
  • the waveform of the irradiation light pulse output from the light source the waveform of the reflected light pulse reaching the image sensor, and the period for accumulating the charge generated in the photodiode in each pixel in the charge accumulation section are shown.
  • Instruction control patterns VTX(1) to VTX(8) are shown.
  • the waveforms of the illuminating light pulse and the reflected light pulse actually have noise and distortion, they are shown schematically as rectangles in this figure (and the following figures).
  • a plurality of (eight in the drawing) control patterns VTX(1) to VTX(8) are prepared. Assuming that the light pulse output timing of the light source is the reference time 0 and the pulse width of the irradiation light pulse is T, the control pattern VTX(k) becomes a logical value H during the period from time (k ⁇ 1)T to time kT. , becomes a logical value L in other periods. k is each integer of 1 or more and 8 or less.
  • the charge generated in the photodiode is selectively accumulated in the charge accumulation portion during the period from the time (k ⁇ 1)T, which is the logic value H, to the time kT. , the charge accumulated in the charge accumulation portion is output from the pixel.
  • the time difference between the arrival timing of the reflected light pulse and the output timing of the irradiation light pulse can be asked for.
  • the control pattern VTX(4) and the control pattern VTX(5) are respectively applied to the pixel, the charge is accumulated in the charge accumulation portion of the pixel. It can be seen that the time difference of the optical pulse arrival timing is in the range of 3T to 5T.
  • the reflected light pulse output timing is calculated.
  • the time difference between the arrival timings of the optical pulses is detected in more detail. Based on this time difference, the distance to the position corresponding to the pixel in the object can be obtained.
  • FIG. 5 is a diagram showing an example of control patterns in this embodiment.
  • the waveform of the irradiation light pulse output from the light source the waveform of the reflected light pulse reaching the image sensor, and the period for accumulating the charge generated in the photodiode in each pixel in the charge accumulation section are shown.
  • a commanding control pattern VTX is shown.
  • the control pattern VTX is a pattern in which the first logical value and the second logical value appear alternately in time from the light pulse output timing of the light source 2, and is commonly given to a plurality of pixels of the image sensor 5.
  • One of the first logic value and the second logic value is logic H and the other is logic L.
  • each control pattern has only one period of the logic value H representing the period of charge transfer from the photodiode to the charge storage unit, and the period of the logic value H shifts by time T in order.
  • a plurality of control patterns are used.
  • the period of the logic value H representing the period of charge transfer from the photodiode to the charge storage unit may be one or plural in each control pattern.
  • a plurality of control patterns with different logic value H periods are used.
  • the plurality of control patterns used in this embodiment may be randomly set, or may be set based on the Hadamard matrix or the like.
  • the reflected light pulse appears within a limited period of time after the light pulse output timing of the light source, and no reflected light is present at other times, so the reflected light intensity as a function of time is It has sparsity. Therefore, by using the compression sensing technique, it is possible to obtain the time from the output timing of the irradiated light pulse to the arrival timing of the reflected light pulse, and to obtain the distance to the object. Also, the number of control patterns required in this embodiment can be reduced compared to the number of control patterns required in the comparative example.
  • the processing unit 6 performs compression sensing based on the amount of charge accumulated by the charge accumulation unit when each of the plurality of pixels of the imaging element 5 is set to each of the plurality of control patterns.
  • Technology determines the distance to an object.
  • the length of each period of logical value H and logical value L is an integral multiple of the unit time.
  • the unit time is the minimum unit of the period of each logical value H and logical value L in each control pattern.
  • the unit time may be the same as the pulse width T of the irradiation light pulse.
  • M the number of control patterns used
  • y a vector of signal values output from the column readout unit 32 according to the amount of charge accumulated in the pixel
  • ⁇ be a matrix representing the M control patterns.
  • x the vector of the time variation of the intensity of the reflected light to be restored (the intensity of the reflected light reaching the pixel). At this time, the relationship of the following formula (1) holds between them.
  • the following formula (2) is obtained by converting the above formula (1) into It is represented.
  • ym is the signal value obtained by the measurement using the m -th control pattern among the M control patterns.
  • xn is the reflected light intensity in the n-th period among the N periods divided after the irradiation light pulse output timing.
  • ⁇ m,n is a logic value that instructs charge accumulation in the nth period in the mth control pattern.
  • m is an integer of 1 or more and M or less.
  • n is an integer of 1 or more and N or less.
  • the compression sensing technology can detect the reflected light intensity over time.
  • Change x can be restored.
  • ⁇ is a parameter representing an error tolerance.
  • a range image can be acquired by compressed sensing technology using a smaller number of control patterns than in the case of the comparative example.
  • a common control pattern is given to a plurality of pixels of the image sensor, it is possible to acquire a range image with high spatial resolution compared to the invention disclosed in Patent Document 1.
  • the configuration of the system is simplified, the cost can be reduced, processing for parallax correction is not required, and the configuration for preparing control patterns can be simplified.
  • the period during which only the background light is incident on the image sensor (the period before or after the reflected light pulse measurement, in which the light pulse is not output from the light source, or during the reflected light pulse measurement).
  • the signal value obtained when measuring the reflected light pulse is corrected by hardware or software based on the amount of charge accumulated in the charge storage unit or charge disposal unit during the period when the reflected light pulse does not enter the image sensor (even if the reflected light pulse does not enter the image sensor). do it. Also, by creating a matrix ⁇ in consideration of the background light intensity, it is possible to correct the signal value obtained when measuring the reflected light pulse.
  • FIG. 6 is a diagram showing another example of control patterns in this embodiment. Also in this figure, from top to bottom, the waveform of the irradiation light pulse output from the light source, the waveform of the reflected light pulse reaching the image sensor, and the period for accumulating the charge generated in the photodiode in each pixel in the charge accumulation section are shown. A commanding control pattern VTX is shown.
  • FIG. 7 is a diagram showing another example of control patterns in this embodiment.
  • the waveform of the irradiated light pulse output from the light source, the waveform of the reflected light pulse reaching the image sensor, and the period during which the charge generated by the photodiode in each pixel is accumulated in the charge accumulation section are shown.
  • Control pattern VTX1 and control pattern VTX2 are indicated.
  • the control pattern VTX2 is obtained by logically inverting the control pattern VTX1.
  • the first charge accumulation unit among them accumulates the charge generated in the photodiode during the period when the control pattern VTX1 is logic value H, 2
  • the charge storage unit can store charges generated in the photodiode during the period when the control pattern VTX2 is at the logic value H (while the control pattern VTX1 is at the logic value L).
  • the processing unit compresses each of the plurality of pixels based on the amount of charge accumulated by the first charge accumulation unit and the amount of charge accumulated by the second charge accumulation unit when each of the plurality of control patterns is set. Sensing technology can determine the distance to an object.
  • control pattern VTX2 is the logic inversion of the control pattern VTX1, and reflected light pulse measurements using both the control pattern VTX1 and the control pattern VTX2 can be performed substantially simultaneously. Therefore, the number of control patterns to be prepared can be halved, and the time required for the entire measurement can be halved. Note that even if the sensitivities of charge accumulation in the first charge accumulation section and the second charge accumulation section are different, the difference in sensitivity can be corrected.
  • FIG. 8 is a diagram showing another example of control patterns in this embodiment.
  • the waveform of the irradiation light pulse output from the light source the waveform of the reflected light pulse reaching the image sensor, and the period for accumulating the charge generated in the photodiode in each pixel in the charge accumulation section are shown.
  • a commanding control pattern VTX is shown.
  • the control pattern assumes that the length of each period of the logical value H and the logical value L is an integral multiple of the unit time, and is constant from the unit time in the constant period from the light pulse output timing of the light source.
  • the unit time after the period has elapsed is assumed to be long.
  • the unit time in a fixed period (for example, 100 ns period) from the light pulse output timing of the light source may be the same as the pulse width T (for example, 10 ns) of the irradiation light pulse, and the unit time after the fixed period may be 2T.
  • the unit time may be changed in multiple steps.
  • the longer the distance to the object the smaller the intensity of the reflected light pulse that enters the imaging device.
  • the temporal resolution of distance measurement can be increased by shortening the unit time.
  • the distance is long, by lengthening the unit time, it is possible to increase the received amount of the reflected light pulse during the unit time period.
  • the range of distance measurement can be expanded without increasing the number of measurements.
  • FIG. 9 is a diagram showing another example of control patterns in this embodiment. Also in this figure, from top to bottom, the waveform of the irradiation light pulse output from the light source, the waveform of the reflected light pulse reaching the image sensor, and the period for accumulating the charge generated in the photodiode in each pixel in the charge accumulation section are shown. A commanding control pattern VTX is shown.
  • This example shows a case where a plurality of reflected light pulses reach the imaging device after the light pulse output timing of the light source.
  • the target is a translucent object such as glass and an object behind this translucent object. And, there is a case where it contains.
  • the light pulse reflected by the semi-transparent object and the light pulse transmitted through the semi-transparent object and reflected by the object behind can reach the imaging element.
  • the compressed sensing technology using a small number of control patterns can detect the reflected light The intensity time variation x can be reconstructed.
  • FIG. 10 is a diagram showing another example of control patterns in this embodiment. Also in this figure, from top to bottom, the waveform of the irradiation light pulse output from the light source, the waveform of the reflected light pulse reaching the image sensor, and the period for accumulating the charge generated in the photodiode in each pixel in the charge accumulation section are shown. A commanding control pattern VTX is shown.
  • the light pulse output from the light source has a pulse width longer than the unit time in the control pattern VTX.
  • the pulse width of the output light pulse may be an integral multiple of the unit time in the control pattern VTX.
  • the graph of the simulation results shown in FIG. 11 shows the results of the comparative example using the control pattern shown in FIG. 4 and the example using the control pattern shown in FIG.
  • the horizontal axis represents the time when the light pulse output timing of the light source is set to the reference time 0
  • the vertical axis represents the intensity of the reflected light pulse per unit time in the control pattern.
  • the pulse width of each of the irradiation light pulse and the reflected light pulse is 1 ns
  • the period for the reflected light pulse to reach the imaging device is 4.8 ns to 5.8 ns.
  • the unit time which is the minimum unit of the period of each logical value H and logical value L in each control pattern, was set to 1 ns, which is the same as the pulse width of the light pulse.
  • 20 control patterns were used in which the period of the logic value H was sequentially shifted by 1 ns.
  • eight randomly set control patterns were used.
  • the graph of the simulation results shown in FIG. 12 shows the results of the comparative example using the control pattern shown in FIG. 4 and the example using the control pattern shown in FIG.
  • the horizontal axis represents the time when the light pulse output timing of the light source is set to the reference time 0
  • the vertical axis represents the intensity of the reflected light pulse per unit time in the control pattern.
  • the pulse width of each of the irradiation light pulse and the reflected light pulse is 1 ns, and that the period during which the reflected light pulse reaches the imaging device is 25.8 ns to 26.8 ns.
  • 30 control patterns were used in which the unit time in each control pattern was set to 1 ns, which is the same as the pulse width of the optical pulse, and the period of the logic value H was sequentially shifted by 1 ns.
  • the unit time in each control pattern is 1 ns in the period from time 0 to 10 ns, and 2 ns in the period from 10 ns to 30 ns, and 8 randomly set control patterns are used.
  • a common control pattern is given to all pixels on the light receiving surface of the image pickup device, and a range image is acquired by the TOF method and compression sensing technology. Therefore, a range image with high temporal resolution can be acquired using a small number of control patterns.
  • the configuration of the optical system is simplified, so that the cost can be reduced, processing for parallax correction is not required, and the configuration for preparing the control pattern is also simple. It is possible to
  • the range image acquisition device and range image acquisition method are not limited to the above-described embodiments and configuration examples, and various modifications are possible.
  • the distance image acquisition apparatus is an apparatus for acquiring a distance image of an object by the time-of-flight method, and includes (1) a light source for irradiating the object with a light pulse, and (2) the object from the light source. (3) a plurality of photodiodes arranged on a light-receiving surface for receiving the light pulses that have passed through the imaging optical system; and (4) a control pattern in which the first logical value and the second logical value appear alternately in time from the light pulse output timing of the light source is commonly given to the plurality of pixels, and the plurality of pixels a processing unit that obtains a distance image of an object based on the charge generated by each photodiode, wherein each of the plurality of pixels accumulates the charge generated by the photodiode during a period in which the control pattern has a first logical value.
  • the processing unit detects the object by compression sensing technology based on the amount of charge accumulated by the first charge storage unit when each of the plurality of control patterns is
  • each of the plurality of pixels has a second charge storage unit that stores charges generated in the photodiode during a period in which the control pattern has the second logical value
  • the processing unit includes the plurality of pixels
  • the distance to the object is calculated by compression sensing technology based on the amount of charge accumulated by the first charge accumulation unit and the amount of charge accumulated by the second charge accumulation unit. Any desired configuration may be used.
  • the processing unit may be configured to commonly give to a plurality of pixels a control pattern in which the length of the period of each of the first logical value and the second logical value is an integral multiple of the unit time. Further, the processing unit may be configured to commonly give to a plurality of pixels a control pattern in which the unit time after a certain period of time is longer than the unit time of the certain period from the light pulse output timing of the light source. Further, the light source may be configured to irradiate the object with a light pulse having a pulse width longer than the unit time.
  • the processing unit may be configured to perform correction based on the intensity of background light when obtaining the distance to the object using compression sensing technology for each of the plurality of pixels.
  • the distance image acquisition method is a method for acquiring a distance image of an object by the time-of-flight method, comprising (1) a light source for irradiating the object with light pulses, and (2) irradiating the object from the light source. (3) a plurality of photodiodes arranged on a light-receiving surface for receiving the light pulses that have passed through the imaging optical system; and an image pickup device having pixels, and a control pattern in which a first logical value and a second logical value appear temporally alternately from a light pulse output timing of a light source is commonly given to a plurality of pixels, and each of the plurality of pixels is provided with a control pattern.
  • the first charge accumulation unit A range image of the object is obtained by determining the distance to the object by compression sensing technology based on the amount of accumulated charge.
  • the distance image acquisition method described above in each of the plurality of pixels, charges generated in the photodiode during a period in which the control pattern has the second logical value are accumulated in the second charge storage unit, and the plurality of control patterns are performed for each of the plurality of pixels.
  • the distance to the object is obtained by compression sensing technology based on the amount of charge accumulated by the first charge accumulation unit and the amount of charge accumulated by the second charge accumulation unit.
  • a configuration for obtaining a distance image may also be used.
  • a control pattern in which the length of the period of each of the first logical value and the second logical value is an integral multiple of the unit time may be commonly given to a plurality of pixels. Also, a configuration may be adopted in which a control pattern in which the unit time after a certain period of time is longer than the unit time of the certain period from the light pulse output timing of the light source is commonly given to a plurality of pixels. Further, the light source may be configured to irradiate the object with a light pulse having a pulse width longer than the unit time.
  • a configuration may be employed in which correction is performed based on the intensity of the background light when obtaining the distance to the object using compression sensing technology for each of the plurality of pixels.
  • the embodiments can be used as a range image acquisition device and a range image acquisition method that can easily acquire range images with high spatial resolution using compressed sensing technology.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

距離画像取得装置１は、光源２、照射光学系３、結像光学系４、撮像素子５および処理部６を備える。撮像素子５は、光源２から出力され対象物で反射されて結像光学系４を経た光パルスを受光面上に受光する。撮像素子５の受光面上の複数の画素それぞれは、受光に応じて電荷を発生するフォトダイオードと、このフォトダイオードで発生した電荷を蓄積する電荷蓄積部とを有する。処理部６は、撮像素子５の複数の画素それぞれへ共通の制御パターンを与える。制御パターンは、複数の画素それぞれにおいてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する。処理部６は、複数の画素それぞれのフォトダイオードで発生して電荷蓄積部に蓄積された電荷の量に基づいて、対象物の距離画像を求める。これにより、圧縮センシング技術により空間的分解能が高い距離画像の取得を容易に行うことができる装置が実現される。

Description

距離画像取得装置および距離画像取得方法
　本開示は、飛行時間法により対象物の距離画像を取得する装置および方法に関するものである。
　飛行時間（Time-Of-Flight、ＴＯＦ）法を利用した距離画像取得装置は、対象物へ照射されて該対象物で反射された光パルスを受光して該対象物の像を撮像素子の受光面に結像し、光源から出力された光パルスが該対象物で反射されて撮像素子まで戻って来るまでの時間を受光面上の複数の画素それぞれについて求めることで、該対象物の距離画像を取得することができる。
　特許文献１に開示された発明の距離画像取得装置は、ＴＯＦ法により対象物の距離画像を取得する際に、圧縮センシング技術を利用する。この装置では、各々フォトダイオードを含む複数の画素が撮像素子の受光面上に２次元配列されており、これらの複数の画素が複数の群に区分され、群によって異なる制御パターンが画素に与えられる。
　各画素では、与えられた制御パターンにより指示された期間にフォトダイオードで発生した電荷が電荷蓄積部に蓄積される。そして、各画素に与えられた制御パターンと、各画素において電荷蓄積部に蓄積された電荷の量とに基づいて、圧縮センシング技術による解析が行われて、対象物の距離画像が得られる。
　特許文献１に開示された発明では、撮像素子の受光面上の複数の画素が複数の群に区分され、群によって異なる制御パターンが画素に与えられることから、圧縮センシング技術による解析を行う上で必要なデータが短時間に得られる。したがって、この発明では、時間的分解能が高い距離画像が得られる。
特許第６６６６６２０号公報 特開２０１１－１３３４６４号公報
測距エリアイメージセンサＳ１１９６３－０１ＣＲのカタログ、浜松ホトニクス株式会社、２０２０年８月
　特許文献１に開示された発明では、時間的分解能が高い距離画像が得られるものの、次のような問題点を有している。特許文献１に開示された発明では、撮像素子の受光面上の複数の画素が複数の群に区分されることから、各群に含まれる画素の個数が少なくなり、空間的分解能が低下する。
　撮像素子の受光面上の各群に含まれる画素の配置関係によっては、群毎に結像の為のレンズを設ける必要があることからコスト増になり、群間で異なる視差を補正する必要があることから処理が複雑になる。また、群によって異なる制御パターンを画素に与えることから、制御パターンを群の個数だけ用意する必要があり、その為の構成が複雑になる。
　実施形態は、圧縮センシング技術により空間的分解能が高い距離画像の取得を容易に行うことができる装置および方法を提供することを目的とする。
　実施形態は、距離画像取得装置である。距離画像取得装置は、飛行時間法により対象物の距離画像を取得する装置であって、（１）対象物へ光パルスを照射する光源と、（２）光源から対象物へ照射されて対象物で反射された光パルスを入力して結像する結像光学系と、（３）結像光学系を経た光パルスを受光する受光面上に配列され各々フォトダイオードを含む複数の画素を有する撮像素子と、（４）光源の光パルス出力タイミングから第１論理値と第２論理値とが時間的に交互に登場する制御パターンを複数の画素へ共通に与えるとともに、複数の画素それぞれのフォトダイオードで発生した電荷に基づいて対象物の距離画像を求める処理部と、を備え、複数の画素それぞれは、制御パターンが第１論理値である期間にフォトダイオードで発生した電荷を蓄積する第１電荷蓄積部を有し、処理部は、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第１電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求める。
　実施形態は、距離画像取得方法である。距離画像取得方法は、飛行時間法により対象物の距離画像を取得する方法であって、（１）対象物へ光パルスを照射する光源と、（２）光源から対象物へ照射されて対象物で反射された光パルスを入力して結像する結像光学系と、（３）結像光学系を経た光パルスを受光する受光面上に配列され各々フォトダイオードを含む複数の画素を有する撮像素子と、を用い、光源の光パルス出力タイミングから第１論理値と第２論理値とが時間的に交互に登場する制御パターンを複数の画素へ共通に与え、複数の画素それぞれにおいて、制御パターンが第１論理値である期間にフォトダイオードで発生した電荷を第１電荷蓄積部に蓄積させ、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第１電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求めて、対象物の距離画像を求める。
　実施形態の距離画像取得装置および距離画像取得方法によれば、圧縮センシング技術により空間的分解能が高い距離画像の取得を容易に行うことができる。
図１は、距離画像取得装置１の構成を示す図である。 図２は、撮像素子５の構成を示す図である。 図３は、撮像素子５の各画素の構成を模式的に示す図であり、（ａ）画素の回路構成を示す図、及び（ｂ）スイッチＳＷ１がオフ状態であって、スイッチＳＷ２がオン状態であるときに、フォトダイオードＰＤで発生した電荷が第２電荷蓄積部Ｃ２へ転送されていく様子を模式的に示す図である。 図４は、比較例の制御パターンを示す図である。 図５は、実施形態における制御パターンの例を示す図である。 図６は、実施形態における制御パターンの他の例を示す図である。 図７は、実施形態における制御パターンの他の例を示す図である。 図８は、実施形態における制御パターンの他の例を示す図である。 図９は、実施形態における制御パターンの他の例を示す図である。 図１０は、実施形態における制御パターンの他の例を示す図である。 図１１は、シミュレーション結果を示すグラフである。 図１２は、シミュレーション結果を示すグラフである。
　以下、添付図面を参照して、距離画像取得装置および距離画像取得方法の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではない。
　図１は、距離画像取得装置１の構成を示す図である。距離画像取得装置１は、ＴＯＦ法により対象物の距離画像を取得するものであって、光源２、照射光学系３、結像光学系４、撮像素子５および処理部６を備える。
　光源２は、対象物へ照射すべき光パルスを出力する。光源２は、一定のパルス幅の光パルスを、一定の繰り返し周波数で出力する。光源２は、光パルスを出力することができるものであれば任意であり、例えばレーザ光源や発光ダイオード等である。
　照射光学系３は、光源２から出力された光を対象物へ照射する光学系である。光源２から出力される光が発散光である場合に、照射光学系３は、その光を対象物へ効率よく照射する。
　結像光学系４は、光源２から照射光学系３を経て対象物へ照射されて該対象物で反射された光パルスを入力して、その入力した光パルスにより対象物の像を撮像素子５の受光面上に結像する。
　撮像素子５は、対象物で反射されて結像光学系４を経た光パルスを受光面上に受光する。撮像素子５の受光面上には複数の画素が配列されている。複数の画素それぞれは、受光に応じて電荷を発生するフォトダイオードと、このフォトダイオードで発生した電荷を蓄積する電荷蓄積部とを有する。
　処理部６は、撮像素子５の複数の画素それぞれへ制御パターンを与える。制御パターンは、複数の画素それぞれにおいてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示するものである。処理部６は、複数の画素それぞれのフォトダイオードで発生して電荷蓄積部に蓄積された電荷の量に基づいて、対象物の距離画像を求める。
　処理部６はコンピュータであってよい。処理部６は、制御パターンや距離画像などを記憶する記憶部（例えば、ハードディスクドライブ、ＲＡＭ、ＲＯＭ等）、制御パターンや距離画像などを表示する表示部（例えば液晶ディスプレイ等）、測定開始の指示や測定条件の入力などを受け付ける入力部（例えばキーボード、マウス等）、装置全体の動作を制御する制御部（例えばＣＰＵ，ＦＰＧＡ等）を備える。
　図２は、撮像素子５の構成を示す図である。撮像素子５は、画素アレイ部１０、行制御部２１，列制御部３１および列読出部３２を備える。
　画素アレイ部１０は、Ｍ行Ｎ列に２次元配列されたＭＮ個の画素Ｐ1,1～ＰM,Nを含む。ＭＮ個の画素Ｐ1,1～ＰM,Nは共通の構成を有する。画素Ｐm,nは第ｍ行第ｎ列に位置する。画素Ｐm,nは、受光に応じて電荷を発生するフォトダイオードと、このフォトダイオードで発生した電荷を蓄積する１または複数の電荷蓄積部とを含む。ここで、Ｍ，Ｎは２以上の整数である。ｍは１以上Ｍ以下の各整数である。ｎは１以上Ｎ以下の各整数である。
　行制御部２１は、第ｍ行のＮ個の画素Ｐm,1～Ｐm,Nと第ｍ行制御線２３ｍにより接続されている。行制御部２１は、この第ｍ行制御線２３ｍを介して第ｍ行制御信号を第ｍ行のＮ個の画素Ｐm,1～Ｐm,Nへ与える。行制御部２１は、第１～第Ｍの行制御信号により、電荷蓄積部に蓄積されていた電荷を出力すべき行を指定する。
　列読出部３２は、第ｎ列のＭ個の画素Ｐ1,n～ＰＭ,nと第ｎ列出力線３４ｎにより接続されている。列読出部３２は、この第ｎ列出力線３４ｎを介して、第ｎ列のＭ個の画素Ｐ1,n～ＰＭ,nのうちの何れかの画素の電荷蓄積部に蓄積されていた電荷を入力する。列読出部３２は、入力した電荷量に応じた電圧値を出力するチャージアンプと、このチャージアンプから出力された電圧値に応じたデジタル値を出力するＡＤ変換器とを含んでいてもよい。
　列制御部３１は、第ｎ列出力線３４ｎを介して列読出部３２に入力された電荷の量に応じた信号を、順次に列読出部３２から出力させる。
　この撮像素子５では、行制御部２１から出力される第１～第Ｍの行制御線２３１～２３Ｍにより第１行～第Ｍ行が順次に選択されて、その選択された行のＮ個の画素Ｐm,1～Ｐm,Nそれぞれにおいて電荷蓄積部に蓄積されていた電荷が第１～第Ｎの列出力線３４１～３４Ｎへ出力されて列読出部３２に入力される。そして、列制御部３１により、第１～第Ｎの列出力線３４１～３４Ｎを介して列読出部３２に入力された電荷の量に応じた信号が、順次に列読出部３２から出力される。
　また、撮像素子５では、ＭＮ個の画素Ｐ1,1～ＰM,Nに対し制御パターンが与えられる。制御パターンを与えるのは、行制御部２１であってもよいし、他の回路であってもよい。
　図３は、撮像素子５の各画素の構成を模式的に示す図である。この図では、各画素は２つの電荷蓄積部を有する構成としている。
　各画素は、受光に応じて電荷を発生するフォトダイオードＰＤと、電荷を蓄積する第１電荷蓄積部Ｃ１および第２電荷蓄積部Ｃ２と、フォトダイオードＰＤで発生した電荷を第１電荷蓄積部Ｃ１へ転送するためのスイッチＳＷ１と、フォトダイオードＰＤで発生した電荷を第２電荷蓄積部Ｃ２へ転送するためのスイッチＳＷ２と、第１電荷蓄積部Ｃ１に蓄積されていた電荷を列出力線へ出力するためのスイッチＳＷ３と、第２電荷蓄積部Ｃ２に蓄積されていた電荷を列出力線へ出力するためのスイッチＳＷ４とを含む。
　図３（ａ）は、画素の回路構成を示す。図３（ｂ）は、スイッチＳＷ１，ＳＷ３，ＳＷ４がオフ状態であって、スイッチＳＷ２がオン状態であるときに、フォトダイオードＰＤで発生した電荷がスイッチＳＷ２を経て第２電荷蓄積部Ｃ２へ転送されていく様子を模式的に示す。第２電荷蓄積部Ｃ２への電荷転送が終了すると、スイッチＳＷ２がオフ状態、スイッチＳＷ４がオン状態となり、第２電荷蓄積部Ｃ２に蓄積されていた電荷は、スイッチＳＷ４を経て列出力線へ出力され、列読出部３２に入力される。
　電荷蓄積部の個数は、１つであってもよいし、２以上であってもよい。複数の電荷蓄積部のうち何れかを電荷廃棄部として用いてもよいし、別に電荷廃棄部が設けられてもよい。電荷廃棄部は、制御パターンにより電荷蓄積が指示されなかった期間にフォトダイオードで発生した電荷を蓄積するものであって、この電荷を列出力線へ出力する必要はない。また、各画素は、電荷蓄積部および電荷廃棄部それぞれにおける電荷蓄積を初期化するためのスイッチを含む。
　図２および図３を用いて説明した撮像素子は、特許文献２に記載されており、また、非特許文献１に記載されているとおり製品として販売されている。本実施形態の距離画像取得装置１および距離画像取得方法は、以上のような光源、光学系および撮像素子を用いた上で、制御パターンに特徴の一つを有しており、圧縮センシング技術により対象物の距離画像を取得するものである。
　図４は、比較例の制御パターンを示す図である。この図では、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンＶＴＸ（１）～ＶＴＸ（８）が示されている。照射光パルスの波形および反射光パルスの波形は、実際にはノイズや歪みを有するが、この図（および以降の図）では模式的に矩形で示されている。
　光源の光パルス出力タイミングに対し、撮像素子の各画素への反射光パルス到達タイミングは、対象物中の該画素に対応する位置までの距離に依存する時間差がある。この時間差を検出すれば、対象物中の該画素に対応する位置までの距離を求めることができる。この時間差を検出するために、位相シフト法が用いられる。
　位相シフト法では、複数（図では８個）の制御パターンＶＴＸ（１）～ＶＴＸ（８）が用意される。光源の光パルス出力タイミングを基準の時刻０とし、照射光パルスのパルス幅をＴとすると、制御パターンＶＴＸ（ｋ）は、時刻（ｋ－１）Ｔから時刻ｋＴまでの期間に論理値Ｈとなり、その他の期間に論理値Ｌとなる。ｋは１以上８以下の各整数である。制御パターンＶＴＸ（ｋ）が与えられた画素では、論理値Ｈである時刻（ｋ－１）Ｔから時刻ｋＴまでの期間にフォトダイオードで発生した電荷が選択的に電荷蓄積部に蓄積され、その後、電荷蓄積部に蓄積されていた電荷が該画素から出力される。
　制御パターンＶＴＸ（１）～ＶＴＸ（８）それぞれが画素に与えられたときに該画素の電荷蓄積部に蓄積される電荷の量に基づいて、照射光パルス出力タイミングに対する反射光パルス到達タイミングの時間差を求めることができる。図に示される例では、制御パターンＶＴＸ（４）および制御パターンＶＴＸ（５）それぞれが画素に与えられたときに該画素の電荷蓄積部に電荷が蓄積されるので、照射光パルス出力タイミングに対する反射光パルス到達タイミングの時間差は３Ｔ～５Ｔの範囲にあることが分かる。
　また、制御パターンＶＴＸ（４）および制御パターンＶＴＸ（５）それぞれが画素に与えられたときに該画素の電荷蓄積部に蓄積された電荷の量の比に基づいて、照射光パルス出力タイミングに対する反射光パルス到達タイミングの時間差は、より詳細に検出される。この時間差に基づいて、対象物中の該画素に対応する位置までの距離を求めることができる。
　図５は、本実施形態における制御パターンの例を示す図である。この図では、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンＶＴＸが示されている。
　制御パターンＶＴＸは、光源２の光パルス出力タイミングから第１論理値と第２論理値とが時間的に交互に登場するパターンであり、撮像素子５の複数の画素に対し共通に与えられる。第１論理値および第２論理値のうち一方は論理値Ｈであり、他方は論理値Ｌである。
　比較例（図４）では、各制御パターンにおいてフォトダイオードから電荷蓄積部への電荷転送の期間を表す論理値Ｈの期間は１つのみであり、その論理値Ｈの期間が時間Ｔずつ順にシフトした複数の制御パターンが用いられる。
　これに対して、本実施形態では、各制御パターンにおいてフォトダイオードから電荷蓄積部への電荷転送の期間を表す論理値Ｈの期間は１つであってもよいし複数であってもよく、その論理値Ｈの期間が互いに異なる複数の制御パターンが用いられる。本実施形態で用いられる複数の制御パターンは、ランダムに設定されたものであってもよいし、アダマール行列等に基づいて設定されたものであってもよい。
　図に示されるように、光源の光パルス出力タイミングの後の限られた期間内に反射光パルスが現れ、他の時間帯には反射光が存在しないので、時刻の関数としての反射光強度はスパース性を有する。したがって、圧縮センシング技術を利用して、照射光パルス出力タイミングから反射光パルス到達タイミングまでの時間を求めることができ、対象物までの距離を求めることができる。また、比較例で必要な制御パターンの個数と比べて、本実施形態で必要な制御パターンの個数は少なくすることができる。
　本実施形態の距離画像取得装置１では、処理部６は、撮像素子５の複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求める。各制御パターンは、論理値Ｈおよび論理値Ｌそれぞれの期間の長さが単位時間の整数倍であるのが好適である。単位時間は、各制御パターンにおける論理値Ｈおよび論理値Ｌそれぞれの期間の最小単位である。ここで、単位時間は、照射光パルスのパルス幅Ｔと同じであってもよい。
　以下では、用いた制御パターンの個数をＭとし、画素に蓄積された電荷の量に応じて列読出部３２から出力された信号値のベクトルをｙとし、Ｍ個の制御パターンを表す行列をΦとし、復元したい反射光強度（画素に到達した反射光の強度）の時間変化のベクトルをｘとする。このとき、これらの間に次の（１）式の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　下記（２）式は、上記（１）式を、（１）式中の列ベクトルｙの各要素ｙｍ、行列Φの各要素φm,nおよび列ベクトルｘの各要素ｘｎを用いて表したものである。ｙｍは、Ｍ個の制御パターンのうち第ｍの制御パターンを用いた測定で得られた信号値である。ｘｎは、照射光パルス出力タイミング後において区分したＮ個の期間のうち第ｎ期間の反射光強度である。φm,nは、第ｍの制御パターンにおける第ｎ期間に電荷蓄積を指示する論理値である。ｍは１以上Ｍ以下の整数である。ｎは１以上Ｎ以下の整数である。
Figure JPOXMLDOC01-appb-M000002
　Ｍ＝Ｎであって、行列Φの逆行列が存在すれば、反射光強度の時間変化ｘは一意的に求められる。これに対し、Ｍ＜Ｎである場合、上記の式は劣決定系となり、反射光強度の時間変化ｘは数学的に解くことができない。
　しかし、Ｍ＜Ｎの場合であっても、反射光強度の時間変化ｘがスパースであれば（または、フーリエ変換などの線形変換によりスパースとなれば）、圧縮センシング技術により、反射光強度の時間変化ｘを復元することができる。具体的には、次の（３）式で表される最適化問題を解くことにより、反射光強度の時間変化ｘを復元することができる。λは、誤差の許容値を表すパラメータである。
Figure JPOXMLDOC01-appb-M000003
　本実施形態によれば、比較例の場合と比べて少ない個数の制御パターンを用いて圧縮センシング技術により距離画像を取得することができる。本実施形態では、撮像素子の複数の画素に対して共通の制御パターンが与えられるので、特許文献１に開示された発明と比較すると、空間的分解能が高い距離画像の取得が可能であり、光学系の構成が簡易となってコストの低減が可能であり、視差補正の為の処理が不要であり、また、制御パターンを用意するための構成も簡易なものとすることが可能である。
　撮像素子の各画素へは反射光パルスだけでなく背景光も入射する。この背景光の影響を低減する為には、背景光のみが撮像素子に入射する期間（反射光パルス測定の前もしくは後において光源から光パルスを出力させない期間、または、反射光パルス測定時であっても反射光パルスが撮像素子に入射しない期間）に電荷蓄積部または電荷廃棄部に蓄積された電荷の量に基づいて、ハードウェアまたはソフトウェアにより、反射光パルス測定時に得られた信号値を補正すればよい。また、背景光強度を考慮した行列Φを作成することでも、反射光パルス測定時に得られた信号値を補正することができる。
　図６は、本実施形態における制御パターンの他の例を示す図である。この図でも、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンＶＴＸが示されている。
　図５に示された例と比較すると、この図６に示された例では、照射光パルス出力タイミングから反射光パルス到達タイミングまでの時間が、図５中の制御パターンＶＴＸの長さを超えている。このような場合、図４に示された比較例の場合には、時間的分解能を低下させない為には、制御パターンの個数を増やす必要がある。これに対して、本実施形態では、各制御パターンを長くすればよいので、制御パターンの個数を増やすことなく、或いは、制御パターンの個数の増加を抑制して、時間的分解能が高い距離画像の取得が可能である。
　図７は、本実施形態における制御パターンの他の例を示す図である。この図では、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、ならびに、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンＶＴＸ１および制御パターンＶＴＸ２が示されている。制御パターンＶＴＸ２は制御パターンＶＴＸ１を論理反転したものである。
　図３に示されるように各画素が複数の電荷蓄積部を有する場合、そのうちの第１電荷蓄積部は、制御パターンＶＴＸ１が論理値Ｈである期間にフォトダイオードで発生した電荷を蓄積し、第２電荷蓄積部は、制御パターンＶＴＸ２が論理値Ｈである期間（制御パターンＶＴＸ１が論理値Ｌである期間）にフォトダイオードで発生した電荷を蓄積することができる。そして、処理部は、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第１電荷蓄積部により蓄積された電荷の量および第２電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求めることができる。
　この例では、制御パターンＶＴＸ２が制御パターンＶＴＸ１を論理反転したものであり、制御パターンＶＴＸ１および制御パターンＶＴＸ２の双方を用いた反射光パルス測定を実質的に同時に行うことができる。したがって、用意すべき制御パターンの個数を１／２にすることができ、全体の測定に要する時間を１／２にすることができる。なお、第１電荷蓄積部および第２電荷蓄積部それぞれへの電荷蓄積について感度が相違していても、その感度の相違は補正可能である。
　図８は、本実施形態における制御パターンの他の例を示す図である。この図では、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンＶＴＸが示されている。
　この例では、制御パターンは、論理値Ｈおよび論理値Ｌそれぞれの期間の長さが単位時間の整数倍であるとされた上で、光源の光パルス出力タイミングからの一定期間における単位時間より一定期間経過後における単位時間が長いものとされている。光源の光パルス出力タイミングからの一定期間（例えば１００ｎｓの期間）における単位時間は照射光パルスのパルス幅Ｔ（例えば１０ｎｓ）と同じとし、一定期間経過後における単位時間は２Ｔとしてもよい。単位時間の変化は多段階であってもよい。
　一般に、対象物までの距離が長いほど、撮像素子に入射する反射光パルスの強度は小さくなる傾向にあり、また、距離測定の時間的分解能は低くても許容される。この例では、距離が短い場合には、単位時間を短くすることで、距離測定の時間的分解能を高くすることができる。一方で、距離が長い場合には、単位時間を長くすることで、単位時間の期間における反射光パルスの受光量を多くすることができる。また、測定回数を増やすことなく、距離測定の範囲の拡大を図ることができる。
　図９は、本実施形態における制御パターンの他の例を示す図である。この図でも、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンＶＴＸが示されている。
　この例では、光源の光パルス出力タイミングの後に、複数の反射光パルスが撮像素子へ到達する場合が示されている。このように１つの照射光パルスに対して複数の反射光パルスが撮像素子へ到達する場合の例としては、対象物が、ガラスのような半透明物体と、この半透明物体の背後にある物体と、を含むものである場合が挙げられる。この場合、半透明物体で反射した光パルスと、半透明物体を透過して背後の物体で反射した光パルスとが、撮像素子に到達し得る。
　このような場合であっても、反射光強度の時間変化ｘがスパースであれば（または、フーリエ変換などの線形変換によりスパースとなれば）、少ない制御パターンを用いた圧縮センシング技術により、反射光強度の時間変化ｘを復元することができる。
　図１０は、本実施形態における制御パターンの他の例を示す図である。この図でも、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンＶＴＸが示されている。
　この例では、光源から出力される光パルスは、制御パターンＶＴＸにおける単位時間より長いパルス幅を有する。出力光パルスのパルス幅は、制御パターンＶＴＸにおける単位時間の整数倍であってもよい。このような場合でも、反射光強度の時間変化ｘはスパースであり、或いは、反射光強度の時間変化ｘの時間微分はスパースであるので、圧縮センシング技術を適用することができ、空間的分解能が高い距離画像を取得することができる。また、各制御パターンを用いた測定の際に電荷蓄積部に蓄積される電荷の量が増えるので、ＳＮ比がよい距離画像を取得することができる。
　次に、図１１および図１２を用いてシミュレーション結果について説明する。
　図１１に示されるシミュレーション結果のグラフは、図４に示された制御パターンを用いた比較例、および、図５に示された制御パターンを用いた実施例それぞれの結果を示す。このグラフにおいて、横軸は、光源の光パルス出力タイミングを基準の時刻０としたときの時刻を表し、縦軸は、制御パターンにおける単位時間毎の反射光パルスの強度を表す。
　照射光パルスおよび反射光パルスそれぞれのパルス幅を１ｎｓとし、撮像素子に反射光パルスが到達する期間が時刻４.８ｎｓ～５.８ｎｓであるとした。各制御パターンにおける論理値Ｈおよび論理値Ｌそれぞれの期間の最小単位である単位時間を光パルスのパルス幅と同じ１ｎｓとした。比較例では、論理値Ｈの期間が１ｎｓずつ順にシフトした２０個の制御パターンが用いられた。実施例では、ランダムに設定された８個の制御パターンが用いられた。
　この図に示されるように、圧縮センシング技術を適用した実施例では、用いた制御パターンの個数（８個）が比較例の制御パターンの個数（２０個）より少ないにも拘わらず、求められた距離は比較例と同じであった。
　図１２に示されるシミュレーション結果のグラフは、図４に示された制御パターンを用いた比較例、および、図８に示された制御パターンを用いた実施例それぞれの結果を示す。このグラフにおいても、横軸は、光源の光パルス出力タイミングを基準の時刻０としたときの時刻を表し、縦軸は、制御パターンにおける単位時間毎の反射光パルスの強度を表す。
　照射光パルスおよび反射光パルスそれぞれのパルス幅を１ｎｓとし、撮像素子に反射光パルスが到達する期間が時刻２５.８ｎｓ～２６.８ｎｓであるとした。比較例では、各制御パターンにおける単位時間を光パルスのパルス幅と同じ１ｎｓとし、論理値Ｈの期間が１ｎｓずつ順にシフトした３０個の制御パターンが用いられた。実施例では、各制御パターンにおける単位時間を、時刻０から時刻１０ｎｓまでの期間では１ｎｓとし、時刻１０ｎｓから時刻３０ｎｓの期間では２ｎｓとして、ランダムに設定された８個の制御パターンが用いられた。
　この図に示されるように、圧縮センシング技術を適用した実施例では、用いた制御パターンの個数（８個）が比較例の制御パターンの個数（３０個）より大幅に少ないにも拘わらず、求められた距離は比較例と略同じであった。
　以上のとおり、本実施形態では、撮像素子の受光面上の全画素に対して共通の制御パターンを与えて、ＴＯＦ法および圧縮センシング技術により距離画像を取得する。したがって、少ない個数の制御パターンを用いて時間的分解能が高い距離画像を取得することができる。また、本実施形態では、光学系の構成が簡易となってコストの低減が可能であり、視差補正の為の処理が不要であり、また、制御パターンを用意するための構成も簡易なものとすることが可能である。
　距離画像取得装置および距離画像取得方法は、上述した実施形態および構成例に限定されるものではなく、種々の変形が可能である。
　上記実施形態による距離画像取得装置は、飛行時間法により対象物の距離画像を取得する装置であって、（１）対象物へ光パルスを照射する光源と、（２）光源から対象物へ照射されて対象物で反射された光パルスを入力して結像する結像光学系と、（３）結像光学系を経た光パルスを受光する受光面上に配列され各々フォトダイオードを含む複数の画素を有する撮像素子と、（４）光源の光パルス出力タイミングから第１論理値と第２論理値とが時間的に交互に登場する制御パターンを複数の画素へ共通に与えるとともに、複数の画素それぞれのフォトダイオードで発生した電荷に基づいて対象物の距離画像を求める処理部と、を備え、複数の画素それぞれは、制御パターンが第１論理値である期間にフォトダイオードで発生した電荷を蓄積する第１電荷蓄積部を有し、処理部は、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第１電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求める。
　上記の距離画像取得装置において、複数の画素それぞれは、制御パターンが第２論理値である期間にフォトダイオードで発生した電荷を蓄積する第２電荷蓄積部を有し、処理部は、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第１電荷蓄積部により蓄積された電荷の量および第２電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求める構成としてもよい。
　上記の距離画像取得装置において、処理部は、第１論理値および第２論理値それぞれの期間の長さが単位時間の整数倍である制御パターンを複数の画素へ共通に与える構成としてもよい。また、処理部は、光源の光パルス出力タイミングからの一定期間における単位時間より一定期間経過後における単位時間が長い制御パターンを複数の画素へ共通に与える構成としてもよい。また、光源は、単位時間より長いパルス幅を有する光パルスを対象物へ照射する構成としてもよい。
　上記の距離画像取得装置において、処理部は、複数の画素それぞれについて圧縮センシング技術により対象物までの距離を求める際に、背景光の強度に基づく補正を行う構成としてもよい。
　上記実施形態による距離画像取得方法は、飛行時間法により対象物の距離画像を取得する方法であって、（１）対象物へ光パルスを照射する光源と、（２）光源から対象物へ照射されて対象物で反射された光パルスを入力して結像する結像光学系と、（３）結像光学系を経た光パルスを受光する受光面上に配列され各々フォトダイオードを含む複数の画素を有する撮像素子と、を用い、光源の光パルス出力タイミングから第１論理値と第２論理値とが時間的に交互に登場する制御パターンを複数の画素へ共通に与え、複数の画素それぞれにおいて、制御パターンが第１論理値である期間にフォトダイオードで発生した電荷を第１電荷蓄積部に蓄積させ、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第１電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求めて、対象物の距離画像を求める。
　上記の距離画像取得方法において、複数の画素それぞれにおいて、制御パターンが第２論理値である期間にフォトダイオードで発生した電荷を第２電荷蓄積部に蓄積させ、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第１電荷蓄積部により蓄積された電荷の量および第２電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求めて、対象物の距離画像を求める構成としてもよい。
　上記の距離画像取得方法において、第１論理値および第２論理値それぞれの期間の長さが単位時間の整数倍である制御パターンを複数の画素へ共通に与える構成としてもよい。また、光源の光パルス出力タイミングからの一定期間における単位時間より一定期間経過後における単位時間が長い制御パターンを複数の画素へ共通に与える構成としてもよい。また、光源から、単位時間より長いパルス幅を有する光パルスを対象物へ照射する構成としてもよい。
　上記の距離画像取得方法において、複数の画素それぞれについて圧縮センシング技術により対象物までの距離を求める際に、背景光の強度に基づく補正を行う構成としてもよい。
　実施形態は、圧縮センシング技術により空間的分解能が高い距離画像の取得を容易に行うことができる距離画像取得装置および距離画像取得方法として利用可能である。
　１…距離画像取得装置、２…光源、３…照射光学系、４…結像光学系、５…撮像素子、６…処理部、１０…画素アレイ部、２１…行制御部、２３…行制御線、３１…列制御部、３２…列読出部、３４…列出力線、Ｐ1,1～ＰM,N…画素。

Claims (12)

  1. 　飛行時間法により対象物の距離画像を取得する装置であって、
    　前記対象物へ光パルスを照射する光源と、
    　前記光源から前記対象物へ照射されて前記対象物で反射された光パルスを入力して結像する結像光学系と、
    　前記結像光学系を経た光パルスを受光する受光面上に配列され各々フォトダイオードを含む複数の画素を有する撮像素子と、
    　前記光源の光パルス出力タイミングから第１論理値と第２論理値とが時間的に交互に登場する制御パターンを前記複数の画素へ共通に与えるとともに、前記複数の画素それぞれのフォトダイオードで発生した電荷に基づいて前記対象物の距離画像を求める処理部と、
    を備え、
    　前記複数の画素それぞれは、前記制御パターンが前記第１論理値である期間に前記フォトダイオードで発生した電荷を蓄積する第１電荷蓄積部を有し、
    　前記処理部は、前記複数の画素それぞれについて、複数の前記制御パターンそれぞれとした場合に前記第１電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求める、距離画像取得装置。
  2. 　前記複数の画素それぞれは、前記制御パターンが前記第２論理値である期間に前記フォトダイオードで発生した電荷を蓄積する第２電荷蓄積部を有し、
    　前記処理部は、前記複数の画素それぞれについて、複数の前記制御パターンそれぞれとした場合に前記第１電荷蓄積部により蓄積された電荷の量および前記第２電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求める、請求項１に記載の距離画像取得装置。
  3. 　前記処理部は、前記第１論理値および前記第２論理値それぞれの期間の長さが単位時間の整数倍である前記制御パターンを前記複数の画素へ共通に与える、請求項１または２に記載の距離画像取得装置。
  4. 　前記処理部は、前記光源の光パルス出力タイミングからの一定期間における前記単位時間より前記一定期間経過後における前記単位時間が長い前記制御パターンを前記複数の画素へ共通に与える、請求項３に記載の距離画像取得装置。
  5. 　前記光源は、前記単位時間より長いパルス幅を有する光パルスを前記対象物へ照射する、請求項３または４に記載の距離画像取得装置。
  6. 　前記処理部は、前記複数の画素それぞれについて圧縮センシング技術により前記対象物までの距離を求める際に、背景光の強度に基づく補正を行う、請求項１～５の何れか１項に記載の距離画像取得装置。
  7. 　飛行時間法により対象物の距離画像を取得する方法であって、
    　前記対象物へ光パルスを照射する光源と、
    　前記光源から前記対象物へ照射されて前記対象物で反射された光パルスを入力して結像する結像光学系と、
    　前記結像光学系を経た光パルスを受光する受光面上に配列され各々フォトダイオードを含む複数の画素を有する撮像素子と、
    を用い、
    　前記光源の光パルス出力タイミングから第１論理値と第２論理値とが時間的に交互に登場する制御パターンを前記複数の画素へ共通に与え、
    　前記複数の画素それぞれにおいて、前記制御パターンが前記第１論理値である期間に前記フォトダイオードで発生した電荷を第１電荷蓄積部に蓄積させ、
    　前記複数の画素それぞれについて、複数の前記制御パターンそれぞれとした場合に前記第１電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求めて、前記対象物の距離画像を求める、距離画像取得方法。
  8. 　前記複数の画素それぞれにおいて、前記制御パターンが前記第２論理値である期間に前記フォトダイオードで発生した電荷を第２電荷蓄積部に蓄積させ、
    　前記複数の画素それぞれについて、複数の前記制御パターンそれぞれとした場合に前記第１電荷蓄積部により蓄積された電荷の量および前記第２電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求めて、前記対象物の距離画像を求める、請求項７に記載の距離画像取得方法。
  9. 　前記第１論理値および前記第２論理値それぞれの期間の長さが単位時間の整数倍である前記制御パターンを前記複数の画素へ共通に与える、請求項７または８に記載の距離画像取得方法。
  10. 　前記光源の光パルス出力タイミングからの一定期間における前記単位時間より前記一定期間経過後における前記単位時間が長い前記制御パターンを前記複数の画素へ共通に与える、請求項９に記載の距離画像取得方法。
  11. 　前記光源から、前記単位時間より長いパルス幅を有する光パルスを前記対象物へ照射する、請求項９または１０に記載の距離画像取得方法。
  12. 　前記複数の画素それぞれについて圧縮センシング技術により前記対象物までの距離を求める際に、背景光の強度に基づく補正を行う、請求項７～１１の何れか１項に記載の距離画像取得方法。
PCT/JP2022/000951 2021-03-01 2022-01-13 距離画像取得装置および距離画像取得方法 Ceased WO2022185732A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280018234.1A CN116981962A (zh) 2021-03-01 2022-01-13 距离图像获取装置及距离图像获取方法
US18/272,611 US20240305907A1 (en) 2021-03-01 2022-01-13 Distance image acquisition device and distance image acquisition method
DE112022001323.0T DE112022001323T5 (de) 2021-03-01 2022-01-13 Entfernungsbilderfassungsvorrichtung und Entfernungsbilderfassungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021031803A JP7751977B2 (ja) 2021-03-01 2021-03-01 距離画像取得装置および距離画像取得方法
JP2021-031803 2021-03-01

Publications (1)

Publication Number Publication Date
WO2022185732A1 true WO2022185732A1 (ja) 2022-09-09

Family

ID=83153972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000951 Ceased WO2022185732A1 (ja) 2021-03-01 2022-01-13 距離画像取得装置および距離画像取得方法

Country Status (5)

Country Link
US (1) US20240305907A1 (ja)
JP (1) JP7751977B2 (ja)
CN (1) CN116981962A (ja)
DE (1) DE112022001323T5 (ja)
WO (1) WO2022185732A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230221436A1 (en) * 2022-01-13 2023-07-13 Stmicroelectronics (Research & Development) Limited Sparse under display lidar

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016027656A1 (ja) * 2014-08-22 2016-02-25 浜松ホトニクス株式会社 測距方法及び測距装置
WO2016133053A1 (ja) * 2015-02-20 2016-08-25 国立大学法人静岡大学 距離画像計測装置
CN108072878A (zh) * 2017-11-22 2018-05-25 北京理工大学 一种时域超分辨压缩感知全波形激光雷达测距方法及装置
US20200264285A1 (en) * 2019-02-15 2020-08-20 Sony Semiconductor Solutions Corporation Time-of-flight apparatus and method
US10863127B1 (en) * 2018-08-21 2020-12-08 Perceive Corporation Compressive sensing based image capture using multi-lens array

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6848364B2 (ja) * 2016-11-10 2021-03-24 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置、監視カメラ及び測距方法
US10645367B2 (en) 2017-04-20 2020-05-05 Wisconsin Alumni Research Foundation Systems, methods, and media for encoding and decoding signals used in time of flight imaging
US11741622B2 (en) 2019-12-13 2023-08-29 Sony Semiconductor Solutions Corporation Imaging devices and multiple camera interference rejection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016027656A1 (ja) * 2014-08-22 2016-02-25 浜松ホトニクス株式会社 測距方法及び測距装置
WO2016133053A1 (ja) * 2015-02-20 2016-08-25 国立大学法人静岡大学 距離画像計測装置
CN108072878A (zh) * 2017-11-22 2018-05-25 北京理工大学 一种时域超分辨压缩感知全波形激光雷达测距方法及装置
US10863127B1 (en) * 2018-08-21 2020-12-08 Perceive Corporation Compressive sensing based image capture using multi-lens array
US20200264285A1 (en) * 2019-02-15 2020-08-20 Sony Semiconductor Solutions Corporation Time-of-flight apparatus and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Distance Image Sensor S11961-01CR, S11962-01CR, S11963-01CR, S12973-01CT", HAMAMATSU, HAMAMATSU, JP, JP, pages 1 - 33, XP009539579, Retrieved from the Internet <URL:https://web.archive.org/web/20220307010126/https://www.hamamatsu.com/content/dam/hamamatsu-photonics/sites/documents/99_SALES_LIBRARY/ssd/distance_image_sensors_kmpd9011j.pdf> [retrieved on 20220307] *

Also Published As

Publication number Publication date
US20240305907A1 (en) 2024-09-12
CN116981962A (zh) 2023-10-31
JP2022133012A (ja) 2022-09-13
JP7751977B2 (ja) 2025-10-09
DE112022001323T5 (de) 2024-01-25

Similar Documents

Publication Publication Date Title
JP6981997B2 (ja) 距離測定装置
CN111727381B (zh) 用于多维感测对象的多脉冲激光雷达系统
US9083905B2 (en) Structured light imaging system
US20180120423A1 (en) Distance measuring device and distance image synthesizing method
JP6480712B2 (ja) 撮像装置及びその制御方法
JP2019091969A (ja) 放射線撮像装置
CN113272684A (zh) 具有信号相关有效读出率的高动态范围直接飞行时间传感器
US9923012B2 (en) Image pickup apparatus and radiation image pickup system
US11570424B2 (en) Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module
CN106791497B (zh) 一种脉冲增益调制式单像素三维成像系统及方法
WO2022185732A1 (ja) 距離画像取得装置および距離画像取得方法
Howland et al. Compressive sensing LIDAR for 3D imaging
EP4435469A1 (en) A continuous wave time of flight system
JP6763086B2 (ja) 赤外線センサシステムにおけるフレームレートを改善するための方法および装置
US10746886B2 (en) Radiation imaging apparatus, method of driving the same, and radiation imaging system
KR101168909B1 (ko) 방사선을 검출하는 이미지 센서의 구동 회로 및 방법
EP4435473A1 (en) A continuous wave time of flight system
JP7764411B2 (ja) 複数のメモリノードを有する距離測定センサ
EP4235219A1 (en) Depth scanning image sensor
JP2024005071A (ja) 測距装置、測距システム、および測距方法
JP2024030776A (ja) 距離計測装置
JP2022135347A (ja) 形状測定装置
JP2019042534A (ja) 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法およびプログラム
JP2022551193A (ja) マルチパルスｌｉｄａｒシステムおよび観察範囲内のオブジェクトの捕捉するための方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22762791

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18272611

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280018234.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112022001323

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22762791

Country of ref document: EP

Kind code of ref document: A1