[go: up one dir, main page]

WO2022004441A1 - 測距装置および測距方法 - Google Patents

測距装置および測距方法 Download PDF

Info

Publication number
WO2022004441A1
WO2022004441A1 PCT/JP2021/023287 JP2021023287W WO2022004441A1 WO 2022004441 A1 WO2022004441 A1 WO 2022004441A1 JP 2021023287 W JP2021023287 W JP 2021023287W WO 2022004441 A1 WO2022004441 A1 WO 2022004441A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
distance measuring
light source
irradiation
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/023287
Other languages
English (en)
French (fr)
Inventor
洋佑 今野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of WO2022004441A1 publication Critical patent/WO2022004441A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters

Definitions

  • This disclosure relates to a distance measuring device and a distance measuring method.
  • the distance measuring device is mounted on a mobile terminal such as a so-called smartphone, which is a small information processing device having a communication function.
  • an DirectToF (Time of Flight) method As a distance measuring method using a distance measuring device, for example, an DirectToF (Time of Flight) method is known.
  • the DirectToF method the irradiation light is emitted toward the object, the reflected light is reflected by the surface of the object and returned, and the time from the emission of the irradiation light to the reception of the reflected light is detected. Is detected as a phase difference, and the distance to the object is calculated based on the phase difference.
  • the light receiving sensor side receives the reflected light at the light receiving timings shifted by, for example, 0 °, 90 °, 180 °, and 270 °, based on the irradiation timing of the irradiation light. Then, the distance to the object is calculated using four images detected in four different phases with respect to the irradiation timing of the irradiation light.
  • the distance measuring device that calculates the distance to the object by the DirectToF method takes time to acquire the image used for calculating the distance.
  • a distance measuring device and a distance measuring method that can shorten the time required to acquire an image used for calculating the distance.
  • a ranging device includes a light source unit, an imaging unit, and a signal processing unit.
  • the light source unit irradiates the object to be distanced with irradiation light having a different wavelength.
  • the image pickup unit receives the reflected light of the irradiation light from the distance measuring object and captures a luminance image for each wavelength.
  • the signal processing unit calculates the distance to the distance measuring object based on the luminance image.
  • the present disclosure relates to a distance measuring device that measures a distance by the DirectToF method.
  • the light emitting source 1 emits light modulated at a predetermined frequency (for example, 100 MHz) as irradiation light.
  • a predetermined frequency for example, 100 MHz
  • infrared light is used as the irradiation light.
  • the light emission timing at which the light emission source 1 emits the irradiation light is instructed by the distance measuring sensor 2.
  • the irradiation light emitted from the light emitting source 1 is reflected on the surface of a predetermined object 3 as a subject, becomes reflected light, and is incident on the distance measuring sensor 2.
  • the distance measuring sensor 2 detects the reflected light, detects the time from the emission of the irradiation light to the reception of the reflected light as the phase difference, and calculates the distance to the object based on the phase difference.
  • the depth value d corresponding to the distance from the distance measuring sensor 2 to the predetermined object 3 as the subject can be calculated by the following equation (1).
  • ⁇ t in the equation (1) is the time until the irradiation light emitted from the light emitting source 1 is reflected by the object 3 and is incident on the distance measuring sensor 2, and c is the speed of light.
  • pulsed light having a light emission pattern that repeatedly turns on and off at a predetermined modulation frequency f as shown in FIG. 2 is adopted.
  • One cycle T of the light emission pattern is 1 / f.
  • the phase of the reflected light (light receiving pattern) is detected to be out of phase according to the time ⁇ t from the light emitting source 1 to the distance measuring sensor 2.
  • the time ⁇ t can be calculated by the following equation (2).
  • the depth value d corresponding to the distance from the distance measuring sensor 2 to the object 3 can be calculated from the equations (1) and (2) by the following equation (3).
  • Each pixel (light receiving pixel) of the pixel array formed in the distance measuring sensor 2 repeats ON / OFF at high speed, and accumulates the charge obtained by photoelectrically converting the incident light received during the ON period.
  • the distance measuring sensor 2 sequentially switches the ON / OFF execution timing of each pixel of the pixel array, accumulates electric charges at each execution timing, and outputs a detection signal according to the accumulated electric charge.
  • phase 0 degrees phase 90 degrees
  • phase 180 degrees phase 270 degrees.
  • the execution timing of the phase 0 degree is a timing in which the ON timing (light receiving timing) of each pixel of the pixel array is set to the phase of the pulsed light emitted by the light emitting source 1, that is, the same phase as the light emitting pattern.
  • the execution timing of the phase of 90 degrees is a timing in which the ON timing (light receiving timing) of each pixel of the pixel array is delayed by 90 degrees from the pulsed light (light emitting pattern) emitted by the light emitting source 1.
  • the execution timing of the phase 180 degrees is a timing in which the ON timing (light receiving timing) of each pixel of the pixel array is set to a phase 180 degrees behind the pulsed light (light emitting pattern) emitted by the light emitting source 1.
  • the execution timing of the phase 270 degrees is a timing in which the ON timing (light receiving timing) of each pixel of the pixel array is set to a phase 270 degrees behind the pulsed light (light emitting pattern) emitted by the light emitting source 1.
  • the distance measuring sensor 2 sequentially switches the light receiving timing in the order of phase 0 degree, phase 90 degree, phase 180 degree, and phase 270 degree, and acquires the brightness value (stored charge) of the reflected light at each light receiving timing.
  • the timing at which the reflected light is incident is shaded.
  • the luminance value (stored charge) is p 0 , p 90 , p, respectively.
  • the phase difference ⁇ can be calculated by the following equation (4) using the luminance values p 0 , p 90 , p 180 , and p 270.
  • IQ plane complex plane
  • the intensity of the light received by each pixel is called the reliability conf and can be calculated by the following equation (5).
  • This reliability conf corresponds to the amplitude A of the modulated wave of the irradiation light.
  • the magnitude B of the ambient light contained in the received reflected light can be estimated by the following equation (6).
  • the light receiving timing is set to 0 degree in phase, 90 degree in phase, and 180 degree in phase as described above.
  • the phase is switched in order of 270 degrees in each frame, and a detection signal corresponding to the accumulated charge (luminance value p 0 , luminance value p 90 , luminance value p 180 , and luminance value p 270) in each phase is generated. Therefore, a detection signal for 4 frames (hereinafter, also referred to as a luminance image) is required.
  • the distance measuring sensor 2 is configured to have two charge storage units in each pixel of the pixel array, the two charge storage units are alternately stored with charge, for example, phase 0 degree and phase 180. It is possible to acquire the detection signals of two light receiving timings whose phases are inverted, such as degrees, in one frame. In this case, in order to acquire a four-phase detection signal having a phase of 0 degrees, a phase of 90 degrees, a phase of 180 degrees, and a phase of 270 degrees, a brightness image for two frames is required.
  • the distance measuring sensor 2 calculates the depth value d, which is the distance from the distance measuring sensor 2 to the object 3, based on the four luminance images supplied for each pixel of the pixel array. Then, a depth map in which the depth value d is stored as the pixel value of each pixel and a reliability map in which the reliability conf is stored as the pixel value of each pixel are generated and output from the distance measuring sensor 2 to the outside. To.
  • the distance measuring device requires a luminance image for four frames, and in the case of a configuration in which each pixel is provided with two charge storage units. Since a luminance image for two frames is required, it takes time to acquire the luminance image.
  • the distance measuring device is provided with a configuration capable of shortening the time required for acquiring an image used for calculating the distance.
  • a configuration capable of shortening the time required for acquiring an image used for calculating the distance is provided with a configuration capable of shortening the time required for acquiring an image used for calculating the distance.
  • FIG. 3 is a diagram showing an outline of the configuration of the distance measuring device according to the present disclosure.
  • the distance measuring device 10 according to the present disclosure includes a light source unit 11 and an imaging unit 12.
  • the light source unit 11 includes a first light source 21 and a second light source 22.
  • the first light source 21 irradiates an infrared light having a first wavelength (for example, 850 nm) (hereinafter referred to as “first infrared light L1”) on an object to be distanced.
  • the second light source 22 irradiates, for example, infrared light having a second wavelength (for example, 940 nm) (hereinafter referred to as “second infrared light L2”) on the distance measuring object.
  • the light source unit 11 simultaneously irradiates the irradiation target with different wavelengths with the irradiation light having a predetermined emission pattern (irradiation timing) shown in FIG. 2, for example.
  • the imaging unit 12 includes an imaging lens 31, a microlens array 32, a filter array 33, and a pixel array 34.
  • the imaging lens 31 forms an image of the first infrared light L1 and the second infrared light L2 reflected and incident on the distance measuring object on the light receiving surface of the pixel array 34.
  • the microlens array 32 includes a plurality of microlenses arranged in a matrix. Each microlens guides the first infrared light L1 and the second infrared light L2 to the light receiving pixels arranged at opposite positions.
  • the filter array 33 includes a plurality of first filters 41 and a plurality of second filters 42.
  • the first filter 41 selectively transmits the first infrared light L1.
  • the second filter 42 selectively transmits the second infrared light L2.
  • the first filter 41 and the second filter 42 are arranged alternately in the row direction and the column direction, respectively.
  • the pixel array 34 includes a plurality of light receiving pixels arranged in a matrix. Each light receiving pixel is provided with a photoelectric conversion element, and converts incident light into a signal charge according to the amount of light.
  • the light receiving pixel (hereinafter, referred to as “first light receiving pixel”) provided at a position facing (facing) the first filter 41 selectively receives the first infrared light L1 which is the reflected light of the first wavelength. do.
  • the light receiving pixel (hereinafter, referred to as “second light receiving pixel”) provided at a position facing (facing) the second filter 42 selectively receives the second infrared light L2 which is the reflected light of the second wavelength. do.
  • the pixel array 34 can capture the luminance image of the distance measuring object irradiated with the first infrared light L1 by the first light receiving pixel group. Further, the pixel array 34 can capture a luminance image of the distance measuring object irradiated with the second infrared light L2 by the second light receiving pixel group.
  • the distance measuring device 10 can capture two luminance images during the period of capturing one frame image by the pixel array 34. Therefore, according to the distance measuring device 10, the time required for acquiring an image used for calculating the distance to the distance measuring object can be shortened to half the time as compared with the general DirectToF method.
  • FIGS. 4 and 5 are diagrams showing an example of the operation of the distance measuring device according to the present disclosure.
  • four luminance images are required to calculate the distance to the distance measuring object.
  • the luminance image in which the first infrared light L1 is irradiated to the ranging object and the second infrared light to the ranging object during the period of capturing the image of one frame is possible to capture two luminance images of the luminance image irradiated with L2.
  • the ranging device 10 obtains two luminance images 100 of the ranging object irradiated with the first infrared light L1 and the second red during the period of capturing the image of two frames.
  • Two luminance images 200 of the distance measuring object irradiated with the external light L2, a total of four luminance images are taken.
  • the luminance images 100 and 200 are in a mosaic shape because they are imaged by half of the light receiving pixels arranged every other pixel in the matrix direction among all the light receiving pixels included in the pixel array 34. Therefore, the distance measuring device 10 de-mosaicizes the two luminance images 100 to generate the two luminance images 101 after the demosaic, and the two luminance images 200 are demosaic-processed to perform the demosaiced 2 images. A sheet of luminance images 201 is generated.
  • the distance measuring device 10 calculates the distance from the four luminance images 101 and 201 after the demosaic to the distance measuring object, and generates one depth map 300.
  • the ranging device 10 can acquire four luminance images required for ranging in half the imaging time as compared with the general DirectToF method, so that the ranging object and the imaging unit It is highly robust against the movements of the twelve, and it is possible to increase the speed of distance measurement.
  • the ranging device 10 captures four luminance images 100 of the ranging object irradiated with the first infrared light L1 during the period of capturing an image of four frames, and the second red. It is also possible to capture four luminance images 200 of the distance measuring object irradiated with the external light L2.
  • the ranging device 10 generates the luminance image 101 after four demosaic images from the four luminance images 100, calculates the distance from the luminance image 101 after the four luminance images 101 to the object to be measured, and 1 Generates a number of depth maps 301.
  • the ranging device 10 generates the luminance image 201 after four demosaic images from the four luminance images 200, calculates the distance from the luminance image 201 after the four luminance images 201 to the object to be measured, and 1 Generates a number of depth maps 302.
  • the distance measuring device 10 combines the two depth maps 301 and 302 to calculate the distance to the final distance measuring object.
  • the distance measuring device 10 can acquire eight times as many luminance images within the time when the four luminances are captured by the general DirectToF method, so that the amount of information used for the luminance is measured. Is doubled, enabling more accurate distance measurement.
  • FIG. 6 is a block diagram showing the configuration of the distance measuring device according to the present disclosure.
  • the distance measuring device 10 shown in FIG. 6 is a system that performs distance measuring by the DirectToF method, and has a light source unit 11 and a distance measuring unit 50.
  • the distance measuring device 10 irradiates the object 3 (see FIG. 1) with light, and the light (irradiation light) receives the light (reflected light) reflected by the object 3 to reach the object 3. Generates and outputs a depth map as distance information.
  • the ranging unit 50 is composed of an imaging unit 12, a light emitting control unit 13, and a signal processing unit 14.
  • the light source unit 11 includes a first light source 21 and a second light source 22.
  • the first light source 21 and the second light source 22 include, for example, a VCSEL array in which a plurality of VCSELs (Vertical Cavity Surface Emitting Lasers) are arranged in a plane, and light emission control supplied from the light emission control unit 13. It emits light while being modulated at the irradiation timing according to the signal, and irradiates the object 3 with the irradiation light.
  • the first light source 21 irradiates the object 3 with the first infrared light L1.
  • the second light source 22 irradiates the object 3 with the second infrared light L2 within a period in which the first light source 21 emits light and an image of one frame is captured.
  • the light source unit 11 may include a light source that irradiates the object 3 with other irradiation light having a wavelength different from that of the first infrared light L1 and the second infrared light L2. That is, the light source unit 11 may be configured to include a plurality of light sources that irradiate the object 3 with three or more types of light having different wavelengths.
  • the light emission control unit 13 controls the light source unit 11 by generating a light emission control signal having a predetermined modulation frequency (for example, 100 MHz or the like) and supplying it to the light source unit 11. Further, the light emission control unit 13 also supplies a light emission control signal to the image pickup unit 12 in order to drive the image pickup unit 12 in accordance with the timing of light emission in the light source unit 11. The light emission control signal is generated based on the drive parameters supplied from the signal processing unit 14.
  • the image pickup unit 12 is a pixel array in which a plurality of light receiving pixels are two-dimensionally arranged, and receives the reflected light from the object 3. Then, the image pickup unit 12 supplies the pixel data of the luminance image composed of the detection signal according to the received amount of the received reflected light to the signal processing unit 14 in pixel units of the pixel array.
  • the signal processing unit 14 calculates the true distance to the object 3 based on four luminance images captured by four types of light receiving patterns (see FIG. 2) having different phases. At this time, as described above, the imaging unit 12 can capture the four luminance images at the time when the four luminance images are captured by the general DirectToF method. Therefore, the distance to the object can be calculated at a higher speed than the general DirectToF method.
  • the signal processing unit 14 calculates a depth value, which is the distance from the distance measuring device 10 to the object 3, based on the pixel data supplied from the image pickup unit 12 for each pixel of the pixel array, and the pixel value of each pixel value. A depth map in which the depth value is stored is generated and output to the outside of the distance measuring device 10. Further, the signal processing unit 14 also generates a reliability map in which the reliability conf is stored as the pixel value of each pixel, and outputs the map to the outside of the distance measuring device 10.
  • the distance measuring method using the two types of wavelength light according to the present disclosure can be applied to various related techniques for improving the distance measuring accuracy in the DirectToF method.
  • an application example in which the distance measuring method using the two types of wavelength light according to the present disclosure is applied to various distance measuring accuracy improving techniques will be described.
  • the ranging unit 50 is a sensor that executes the method of Dual-Frequency Modulation, a method of eliminating the indefiniteness of the cycle number N will be described.
  • the first frequency f ll 60 MHz, called the low frequency f l
  • the second frequency f h 100 MHz, in some cases will be referred to as the high frequency f h.
  • the depth value d to be obtained is shown.
  • the horizontal axis of FIG. 7 represents the actual distance D to the object (hereinafter referred to as the true distance D), and the vertical axis is the depth value d calculated from the phase difference ⁇ detected by the signal processing unit 14. Represents.
  • d max represents the maximum value that the depth value d can take
  • N corresponds to the number of cycles representing the number of laps of 2 ⁇ .
  • gcd (f h , f l ) is a function for calculating the greatest common divisor of f h and f l.
  • M l and M h are expressed by the equations using the depth value d l at the low frequency f l , the maximum value d l max , the depth value d h at the high frequency f h , and the maximum value d h max. It is represented by 9).
  • the distance where the subtraction value e is -3 is only the interval where the true distance D is 1.5 m to 2.5 m, and the distance where the subtraction value e is 2 is the true distance D from 2.5 m. Only the section of 3.0m.
  • the signal processing unit 14 determines k 0 that satisfies the following equation (10), and calculates the number of cycles N l by the equation (11).
  • % represents an operator for retrieving the remainder.
  • FIG. 10 shows the result of calculating the number of cycles N l by the equation (11).
  • the number of cycles N l calculated by the equation (11) represents the number of laps in the phase space.
  • the formula (11) is also referred to as a cycle number determination formula for determining the cycle number N l of 2 ⁇ .
  • the signal processing unit 14 solves the indefiniteness of the period number N by calculating the period number N l , determines the final depth value d, and determines the distance to the distance measuring object. Can be calculated.
  • the period number N is based on the low frequency f l of the equation (11). It is calculated by the period number N h of the following equation (11)'based on the high frequency f h , not by the period number N l.
  • the light source unit 11 If to eliminate the ambiguity of the periodic number N by Dual-Frequency Modulation, for example, if the light source unit 11 is provided with only one light source, first light source to emit light at a lower frequency f l and calculating the depth value d l After that, it is necessary to calculate the depth value d h by emitting light at a high frequency f h.
  • the light source unit 11 includes a first light source 21 that irradiates the first infrared light L1 and a second light source 22 that irradiates the second infrared light L2, so that the first light source 21 is provided. the simultaneously emit light at a low frequency f l, it is possible to emit the second light source 22 at a high frequency f h.
  • the distance measuring device 10 shortens the time required to calculate the two depth values d l and d h from the light emitted by the light source unit 11, thereby speeding up the elimination of the indefiniteness of the cycle number N. Can be done.
  • HDR depth map A process of generating a depth map (hereinafter referred to as HDR depth map) having an expanded dynamic range (measurement range) by synthesizing two depth maps having different exposure times is known.
  • FIG. 11 is a diagram showing an example of a depth map by short exposure.
  • FIG. 12 is a diagram showing an example of a depth map by long exposure.
  • FIG. 13 is a diagram showing an example of an HDR depth map. In the depth maps shown in FIGS. 11 to 13, the subject in the foreground is shown in the lower part of the depth map, and the subject in the distance is shown toward the upper part.
  • an HDR depth map is generated by HDR composition of the depth map by short exposure and the depth map by long exposure.
  • the HDR depth map can eliminate the front saturation region while suppressing the deterioration of the SN ratio of the distant subject.
  • the light source unit 11 has only one light source, the light source is first emitted for a short time to generate a depth map by short exposure, and then the light source is used for a long time. It is necessary to make it emit light to generate a depth map by long exposure.
  • the light source unit 11 includes a first light source 21 that irradiates the first infrared light L1 and a second light source 22 that irradiates the second infrared light L2, so that the light source unit 11 can be exposed for a short time.
  • a corresponding depth map and a depth map corresponding to a long exposure can be generated at the same time.
  • the light source unit 11 causes the first light source 21 to emit light for the first time (short time), and causes the second light source 22 to emit light with a higher emission intensity than the first light source 21 during the light emission period of the first light source 21.
  • the image pickup unit 12 simultaneously captures a luminance image of the subject irradiated with the first infrared light L1 from the first light source 21 and a luminance image of the subject irradiated with the second infrared light L2 from the second light source. Can be done.
  • the imaging unit 12 can simultaneously capture two images having a luminance value of each pixel equivalent to that of the short-exposure image and a luminance image having the luminance value of each pixel equivalent to that of the long-exposure image. .. Therefore, the signal processing unit 14 can generate a depth map corresponding to a short exposure and a depth map corresponding to a long exposure from the two luminance images captured at the same time. Therefore, according to the ranging device 10, the time required for HDR synthesis can be shortened.
  • FIG. 14 is an explanatory diagram of multipath interference.
  • 15 and 16 are explanatory views of Spot-FF fusion.
  • FIG. 17 is an explanatory diagram of the Spot-FF fusion according to the present disclosure.
  • the distance measuring sensor 2 receives the reflected light (direct light) L10 in which the irradiation light emitted from the light emitting source 1 is reflected only once by the distance measuring object 110.
  • the distance measuring sensor 2 is irradiated from the reflected light (indirect light) L11 in which the direct light once received is re-reflected internally and the light emitting source 1.
  • the light receives the reflected light (indirect light) L11 reflected multiple times by the distance measuring object 110.
  • multipath interference occurs in which the depth value of each pixel becomes larger than the actual value.
  • some VCSELs scattered sparsely among all VCSELs included in the light emitting source 1 are made to emit light. That is, the light emitting source 1 thins out the VCSEL to emit light and irradiates the subject with light.
  • Each light receiving pixel of the distance measuring sensor 2 receives the reflected light of the light emitted from the corresponding VCSEL. At this time, the light receiving pixel corresponding to the VCSEL that does not emit light does not receive the direct light L10, but receives the indirect light L11 and L12.
  • the distance measuring sensor 2 thins out the luminance value of each pixel of the luminance image captured by emitting light from all the VCSELs to obtain the luminance value of the pixel corresponding to the non-luminance image of the captured luminance image. Generate a depth map by making corrections to subtract. As a result, the ranging sensor 2 can suppress the occurrence of multipath interference.
  • the light source unit 11 emits all VCSELs included in the first light source 21 that irradiates the first infrared light L1, and at the same time, emits the second infrared light.
  • the VCSEL included in the second light source 22 that irradiates L2 can be thinned out to emit light.
  • the imaging unit 12 can simultaneously capture a luminance image obtained by emitting light from all the VCSELs of the first light source 21 and a luminance image captured by thinning out the VCSEL emitted by the second light source 22.
  • the signal processing unit 14 subtracts the luminance value of the pixel corresponding to the light emitting laser thinned out by the second light source 22 from the luminance value of the pixel in the image of the distance measuring object irradiated with the irradiation light by the first light source 21. Then, the luminance image is corrected.
  • the ranging device 10 can suppress the occurrence of multipath interference while shortening the time required to generate the final depth map.
  • the imaging unit 12 that performs IQ mosaic includes two charge storage units, a first tap and a second tap, in each pixel.
  • the image pickup unit 12 alternately distributes the received light charge to the first tap and the second tap in each pixel, so that the image pickup unit 12 captures two luminance images whose phases are inverted during the period of capturing the image of one frame. Can be done. As a result, the image pickup unit 12 can capture four luminance images out of phase required for distance measurement during the period of capturing the images of two frames.
  • the image pickup unit 12 takes a difference between the light-receiving charge stored in the first tap and the light-receiving charge stored in the second tap to obtain a fixed pattern of pixels (sensitivity difference between pixels) and an ambient light offset. Can be obtained.
  • the range-finding sensor 2 that performs IQ mosaic can improve the range-finding accuracy by removing the fixed pattern of pixels and the ambient light offset from the depth value.
  • the time required to acquire an image used for calculating the distance can be further shortened.
  • the distance measuring device 10 irradiates the first infrared light L1 with the first light source 21 of the light source unit 11, and simultaneously irradiates the second infrared light L2 with the second light source 22. Then, the ranging device 10 captures the luminance image of the ranging object irradiated with the first infrared light L1 and the luminance image of the ranging object captured by the second infrared light L2 by the image pickup unit 12. Have an image taken.
  • the image pickup unit 12 alternately distributes the light receiving charge to the first tap and the second tap in each light receiving pixel that receives the first infrared light L1, and each light receiving pixel that receives the second infrared light L2.
  • the received light charge is alternately distributed to the first tap and the second tap.
  • the image pickup unit 12 can capture four images used for calculating the distance to the distance measuring object during the period for capturing the image of one frame, so that the image used for calculating the distance can be captured.
  • the time required for acquisition can be significantly reduced.
  • the signal processing unit 14 acquires the fixed pattern of the pixel and the ambient light offset from the difference between the light-receiving charge stored in the first tap and the light-receiving charge stored in the second tap, and removes them from the depth value. This makes it possible to improve the distance measurement accuracy while performing double-speed imaging.
  • FIG. 18 is a flowchart showing an example of the process executed by the ranging device 10 according to the present disclosure.
  • the ranging device 10 irradiates an irradiation object having a different wavelength with irradiation light (step S101).
  • the distance measuring device 10 irradiates the first infrared light L1 with the first light source 21 and simultaneously irradiates the second infrared light L2 with the second light source 22.
  • the ranging device 10 receives the reflected light from the ranging object and captures a luminance image for each wavelength (step S102). For example, the ranging device 10 simultaneously captures a luminance image of the distance measuring object irradiated with the first infrared light L1 and a luminance image irradiated with the second infrared light L2. Then, the distance measuring device 10 calculates the distance to the distance measuring object based on the plurality of captured luminance images (step S103), and ends the process.
  • the above-mentioned distance measurement process by the distance measuring device 10 can be applied to, for example, a 3D modeling process for measuring a distance in the depth direction of an indoor space and generating a 3D model of the indoor space.
  • a 3D modeling process for measuring a distance in the depth direction of an indoor space and generating a 3D model of the indoor space.
  • the above-mentioned distance measurement process by the distance measuring device 10 is an environment mapping when an autonomous traveling robot, a moving carrier, a flight moving device such as a drone, or the like performs self-position estimation by SLAM (Simultaneous Localization And Mapping) or the like. It can be used to generate information.
  • SLAM Simultaneous Localization And Mapping
  • FIG. 19 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing a series of processes executed by the ranging device 10 is installed.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the CPU 401 loads the programs stored in the ROM 402 and the EEPROM 404 into the RAM 403 via the bus 405 and executes them, thereby performing the above-mentioned series of processes. Further, the program executed by the computer (CPU401) can be written in advance in the ROM 402, and can be installed or updated in the EEPROM 404 from the outside via the input / output interface 406.
  • the CPU 401 performs the processing according to the above-mentioned flowchart or the processing performed according to the above-mentioned block diagram configuration. Then, the CPU 401 can output the processing result to the outside, for example, via the input / output interface 406, if necessary.
  • the processes performed by the computer according to the program do not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, processing by parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 20 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 has a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle outside information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the out-of-vehicle information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the image pickup unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver has fallen asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (ADvanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
  • FIG. 21 is a diagram showing an example of the installation position of the image pickup unit 12031.
  • the vehicle 12100 has an imaging unit 12101, 12102, 12103, 12104, 12105 as an imaging unit 12031.
  • the image pickup units 12101, 12102, 12103, 12104, 12105 are provided, for example, at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the image pickup unit 12101 provided in the front nose and the image pickup section 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the image pickup units 12102 and 12103 provided in the side mirror mainly acquire images of the side of the vehicle 12100.
  • the image pickup unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the image pickup units 12101 and 12105 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 21 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging range of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 12101 to 12104, a bird's-eye view image of the vehicle 12100 can be obtained.
  • At least one of the image pickup units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera including a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the image pickup range 12111 to 12114 based on the distance information obtained from the image pickup unit 12101 to 12104, and a temporal change of this distance (relative speed with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • automatic braking control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the image pickup units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the image pickup units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging unit 12101 to 12104.
  • pedestrian recognition is, for example, a procedure for extracting feature points in an image captured by an image pickup unit 12101 to 12104 as an infrared camera, and pattern matching processing is performed on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 determines the square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the vehicle exterior information detection unit 12030 and the vehicle interior information detection unit 12040 among the configurations described above. Specifically, by using the distance measurement by the distance measuring device 10 as the outside information detection unit 12030 and the inside information detection unit 12040, processing for recognizing the driver's gesture is performed, and various types (for example, for example) according to the gesture are performed. It can perform operations on audio systems, navigation systems, air conditioning systems) and detect the driver's condition more accurately. Further, the distance measurement by the distance measuring device 10 can be used to recognize the unevenness of the road surface and reflect it in the control of the suspension.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the distance measuring device 10 includes a light source unit 11, an imaging unit 12, and a signal processing unit 14.
  • the light source unit 11 irradiates the object to be distanced with irradiation light having a different wavelength.
  • the image pickup unit 12 receives the reflected light of the irradiation light from the distance measuring object and captures a luminance image for each wavelength.
  • the signal processing unit 14 calculates the distance to the distance measuring object based on the luminance image.
  • the ranging device 10 can simultaneously capture the luminance images for each wavelength. Therefore, when the luminance images of the ranging objects irradiated with the irradiation light of a single wavelength are captured one by one in time series. Compared with the above, the time required to acquire the image used for calculating the distance can be shortened.
  • the light source unit 11 irradiates the irradiation light at a predetermined irradiation timing.
  • the image pickup unit 12 receives light at a plurality of light receiving timings shifted in predetermined phase based on the irradiation timing of the irradiation light, and captures a luminance image for each light receiving timing. As a result, the distance measuring device 10 can shorten the time required for capturing the luminance image for each light receiving timing.
  • the light source unit 11 has a first light source 21 and a second light source 22.
  • the first light source 21 irradiates the irradiation light of the first wavelength.
  • the second light source 22 irradiates the irradiation light of the second wavelength during the period in which the irradiation light of the first wavelength is irradiated.
  • the image pickup unit 12 has a pixel array 34 in which the first light receiving pixel and the second light receiving pixel are arranged in a matrix.
  • the first light receiving pixel selectively receives the reflected light of the first wavelength (first infrared light L1).
  • the second light receiving pixel selectively receives the reflected light of the second wavelength (second infrared light L2).
  • the imaging unit 12 can simultaneously capture the luminance image captured by the first light receiving pixel group and the luminance image captured by the second light receiving pixel during the period of capturing the image of one frame.
  • the first light source 21 irradiates the irradiation light at the first frequency.
  • the second light source 22 irradiates the irradiation light at a second frequency higher than the first frequency.
  • the signal processing unit 14 is based on the depth value calculated from the luminance image of the distance measuring object irradiated with the irradiation light at the first frequency and the luminance image of the ranging object irradiated with the irradiation light at the second frequency.
  • the distance to the object to be measured is calculated based on the difference from the calculated depth value. As a result, the distance measuring device 10 can speed up the elimination of the indefiniteness of the period number N.
  • the second light source 22 has a higher emission intensity than the first light source 21.
  • the signal processing unit 14 is irradiated with the luminance image of the distance measuring object irradiated with the irradiation light of the first wavelength (first infrared light L1) and the irradiation light of the second wavelength (second infrared light L2).
  • the distance to the distance-measured object is calculated based on the composite image obtained by combining the brightness image of the distance-measured object.
  • the ranging device 10 can reduce the time required for HDR synthesis to eliminate the saturated region in the foreground while suppressing the deterioration of the SN ratio of the distant subject.
  • the first light source 21 and the second light source 22 include light emitting lasers arranged in a plurality of two dimensions.
  • the first light source 21 emits all light emitting lasers to irradiate the irradiation light.
  • the second light source 22 irradiates the irradiation light by thinning out the light emitting laser to emit light.
  • the signal processing unit 14 subtracts the luminance value of the pixel corresponding to the light emitting laser thinned out by the second light source 22 from the luminance value of the pixel in the image of the distance measuring object irradiated with the irradiation light by the first light source 21. Then, the luminance image is corrected.
  • the ranging device 10 can suppress the occurrence of multipath interference while shortening the time required to generate the final depth map.
  • the first light receiving pixel and the second light receiving pixel each include two charge storage units.
  • the image pickup unit 12 distributes the received light charge to the two charge storage units during the period of capturing the luminance image of one frame.
  • the image pickup unit 12 can capture four images used for calculating the distance to the distance measuring object during the period for capturing the image of one frame, so that the image used for calculating the distance can be captured.
  • the time required for acquisition can be significantly reduced.
  • the processor irradiates the object to be measured with irradiation light having different wavelengths, receives the reflected light of the irradiation light from the object to be measured, and captures a luminance image for each wavelength, and the luminance image is taken. Includes calculating the distance to the object to be distanced based on.
  • the ranging device 10 can simultaneously capture the luminance images for each wavelength. Therefore, when the luminance images of the ranging objects irradiated with the irradiation light of a single wavelength are captured one by one in time series. Compared with the above, the time required to acquire the image used for calculating the distance can be shortened.
  • the present technology can also have the following configurations.
  • a light source unit that irradiates irradiation light with different wavelengths toward the object to be measured
  • An imaging unit that receives the reflected light of the irradiation light from the distance measuring object and captures a luminance image for each wavelength.
  • a distance measuring device including a signal processing unit that calculates the distance to the distance measuring object based on the luminance image.
  • the light source unit is The irradiation light is irradiated at a predetermined irradiation timing
  • the image pickup unit is The ranging device according to (1), wherein the light is received at a plurality of light receiving timings shifted in predetermined phase based on the irradiation timing of the irradiation light, and the luminance image is captured at each light receiving timing.
  • the light source unit is The first light source that irradiates the irradiation light of the first wavelength, It has a second light source that irradiates the irradiation light of the second wavelength during the period in which the irradiation light of the first wavelength is irradiated.
  • the image pickup unit is A first light receiving pixel that selectively receives the reflected light of the first wavelength
  • the distance measuring device according to (2) above which has a pixel array in which the second light receiving pixels that selectively receive the reflected light of the second wavelength are arranged in a matrix.
  • the first light source is Irradiate the irradiation light at the first frequency
  • the second light source is The irradiation light is irradiated at a second frequency higher than the first frequency, and the irradiation light is irradiated.
  • the signal processing unit Calculated from the depth value calculated from the brightness image of the distance measurement object irradiated with the irradiation light at the first frequency and the brightness image of the distance measurement object irradiated with the irradiation light at the second frequency.
  • the distance measuring device which calculates the distance to the distance measuring object based on the difference from the depth value.
  • the second light source is The emission intensity is higher than that of the first light source.
  • the signal processing unit Based on a composite image obtained by synthesizing the luminance image of the distance measuring object irradiated with the irradiation light of the first wavelength and the luminance image of the ranging object irradiated with the irradiation light of the second wavelength.
  • the distance measuring device which calculates the distance to the distance measuring object.
  • the first light source and the second light source are Equipped with multiple two-dimensionally arranged luminescent lasers
  • the first light source is All the emission lasers are made to emit light to irradiate the irradiation light
  • the second light source is The emission laser to be emitted is thinned out and irradiated with the irradiation light.
  • the signal processing unit The luminance value of the pixel corresponding to the light emitting laser thinned out by the second light source is subtracted from the luminance value of the pixel in the image of the distance measuring object irradiated with the irradiation light by the first light source.
  • the ranging device which corrects a luminance image.
  • the first light receiving pixel and the second light receiving pixel are Each has two charge storage units,
  • the image pickup unit is The distance measuring device according to (3) above, which distributes the received light charge to the two charge storage units during the period of capturing a one-frame luminance image.
  • the processor irradiates the object to be measured with irradiation light of different wavelengths, The reflected light of the irradiation light from the distance measuring object is received and a luminance image for each wavelength is taken. The distance to the distance measuring object is calculated based on the luminance image. Distance measurement method including that.
  • Distance measuring device 11
  • Image pickup unit 13
  • Light emission control unit 14
  • Signal processing unit 21
  • First light source 22
  • Second light source 34
  • Pixel array 50 Distance measuring unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

測距装置（１０）は、光源部（１１）と、撮像部（１２）と、信号処理部（１４）とを有する。光源部（１１）は、測距対象物に向けて波長が異なる照射光を照射する。撮像部（１２）は、測距対象物からの照射光の反射光を受光して波長毎の輝度画像を撮像する。信号処理部（１４）は、輝度画像に基づいて測距対象物までの距離を算出する。光源部（１１）は、照射光を所定の照射タイミングで照射する。撮像部（１２）は、照射光の照射タイミングを基準に、所定位相ずらした複数の受光タイミングで受光し、受光タイミング毎の輝度画像を撮像する。

Description

測距装置および測距方法
　本開示は、測距装置および測距方法に関する。
　近年、半導体技術の進歩により、物体までの距離を測定する測距装置の小型化が進んでいる。これにより、例えば、通信機能を備えた小型の情報処理装置である、いわゆるスマートフォンなどのモバイル端末に測距装置を搭載することが実現されている。
　測距装置による測距方法として、例えば、ＩｎｄｉｒｅｃｔＴｏＦ（Time　of　Flight）方式が知られている。ＩｎｄｉｒｅｃｔＴｏＦ方式は、物体に向かって照射光が発光され、その照射光が物体の表面で反射されて返ってくる反射光を検出し、照射光が発光されてから反射光が受光されるまでの時間を位相差として検出し、位相差に基づいて物体までの距離を算出する方式である。
　ＩｎｄｉｒｅｃｔＴｏＦ方式では、照射光の照射タイミングを基準に、受光センサ側は、例えば、位相を０°、９０°、１８０°、および、２７０°だけずらした受光タイミングで反射光を受光する。そして、照射光の照射タイミングに対して、４つの異なる位相で検出された４枚の画像を用いて、物体までの距離を算出する。
特表２０２０－５１３５５５号公報
　しかしながら、ＩｎｄｉｒｅｃｔＴｏＦ方式によって物体までの距離を算出する測距装置は、距離の算出に使用する画像の取得に時間が掛かる。
　そこで、本開示では、距離の算出に使用する画像の取得に要する時間を短縮することができる測距装置および測距方法を提案する。
　本開示によれば、測距装置が提供される。測距装置は、光源部と、撮像部と、信号処理部とを有する。光源部は、測距対象物に向けて波長が異なる照射光を照射する。撮像部は、前記測距対象物からの前記照射光の反射光を受光して前記波長毎の輝度画像を撮像する。信号処理部は、前記輝度画像に基づいて前記測距対象物までの距離を算出する。
ＩｎｄｉｒｅｃｔＴｏＦ方式の測距原理を説明する図である。 ＩｎｄｉｒｅｃｔＴｏＦ方式の測距原理を説明する図である。 本開示に係る測距装置の構成の概要を示す図である。 本開示に係る測距装置の動作の一例を示す図である。 本開示に係る測距装置の動作の一例を示す図である。 本開示に係る測距装置の構成の一例を示すブロック図である。 Ｄｕａｌ－Ｆｒｅｑｕｅｎｃｙ　Ｍｏｄｕｌａｔｉｏｎの説明図である。 Ｄｕａｌ－Ｆｒｅｑｕｅｎｃｙ　Ｍｏｄｕｌａｔｉｏｎの説明図である。 Ｄｕａｌ－Ｆｒｅｑｕｅｎｃｙ　Ｍｏｄｕｌａｔｉｏｎの説明図である。 Ｄｕａｌ－Ｆｒｅｑｕｅｎｃｙ　Ｍｏｄｕｌａｔｉｏｎの説明図である。 短時間露光によるデプスマップの一例を示す図である。 長時間露光によるデプスマップの一例を示す図である。 ＨＤＲデプスマップの一例を示す図である。 マルチパス干渉の説明図である。 Ｓｐｏｔ－ＦＦ　ｆｕｓｉｏｎの説明図である。 Ｓｐｏｔ－ＦＦ　ｆｕｓｉｏｎの説明図である。 本開示に係るＳｐｏｔ－ＦＦ　ｆｕｓｉｏｎの説明図である。 本開示に係る測距装置が実行する処理の一例を示すフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の構成要素には同一の符号を付することにより重複する説明を省略する。
＜１．Ｉｎｄｉｒｅｃｔ　ＴｏＦ方式による測距の原理＞
　本開示は、ＩｎｄｉｒｅｃｔＴｏＦ方式によって測距を行う測距装置に関する。
　そこで、初めに、図１および図２を参照して、一般的なＩｎｄｉｒｅｃｔＴｏＦ方式の測距原理について簡単に説明する。
　図１および図２は、ＩｎｄｉｒｅｃｔＴｏＦ方式の測距原理を説明する図である。図１に示されるように、発光源１は、所定の周波数（例えば、１００ＭＨｚなど）で変調された光を照射光として発光する。照射光には、例えば、赤外光が用いられる。発光源１が照射光を発光する発光タイミングは、測距センサ２から指示される。
　発光源１から照射された照射光は、被写体としての所定の物体３の表面で反射され、反射光となって、測距センサ２へ入射する。測距センサ２は、反射光を検出し、照射光が発光されてから反射光が受光されるまでの時間を位相差として検出し、位相差に基づいて物体までの距離を算出する。
　測距センサ２から被写体としての所定の物体３までの距離に相当するデプス値ｄは、以下の式（１）で計算することができる。
Figure JPOXMLDOC01-appb-M000001
　式（１）のΔｔは、発光源１から出射された照射光が物体３で反射して測距センサ２に入射するまでの時間であり、ｃは、光速を表す。
　発光源１から照射される照射光には、図２に示されるような、所定の変調周波数ｆで高速にオンオフを繰り返す発光パターンのパルス光が採用される。発光パターンの１周期Ｔは１／ｆとなる。測距センサ２では、発光源１から測距センサ２に到達するまでの時間Δｔに応じて、反射光（受光パターン）の位相がずれて検出される。この発光パターンと受光パターンとの位相のずれ量（位相差）をφとすると、時間Δｔは、下記の式（２）で算出することができる。
Figure JPOXMLDOC01-appb-M000002
　したがって、測距センサ２から物体３までの距離に対応するデプス値ｄは、式（１）と式（２）とから、下記の式（３）で算出することができる。
Figure JPOXMLDOC01-appb-M000003
　次に、上述の位相差φの算出手法について説明する。
　測距センサ２に形成された画素アレイの各画素（受光画素）は、高速にＯＮ／ＯＦＦを繰り返し、ＯＮ期間に受光する入射光を光電変換した電荷を蓄積する。
　測距センサ２は、画素アレイの各画素のＯＮ／ＯＦＦの実行タイミングを順次切り替えて、各実行タイミングにおける電荷を蓄積し、蓄積電荷に応じた検出信号を出力する。
　ＯＮ／ＯＦＦの実行タイミングには、例えば、位相０度、位相９０度、位相１８０度、および、位相２７０度の４種類がある。
　位相０度の実行タイミングは、画素アレイの各画素のＯＮタイミング（受光タイミング）を、発光源１が出射するパルス光の位相、すなわち発光パターンと同じ位相とするタイミングである。
　位相９０度の実行タイミングは、画素アレイの各画素のＯＮタイミング（受光タイミング）を、発光源１が出射するパルス光（発光パターン）から９０度遅れた位相とするタイミングである。
　位相１８０度の実行タイミングは、画素アレイの各画素のＯＮタイミング（受光タイミング）を、発光源１が出射するパルス光（発光パターン）から１８０度遅れた位相とするタイミングである。
　位相２７０度の実行タイミングは、画素アレイの各画素のＯＮタイミング（受光タイミング）を、発光源１が出射するパルス光（発光パターン）から２７０度遅れた位相とするタイミングである。
　測距センサ２は、例えば、位相０度、位相９０度、位相１８０度、位相２７０度の順番で受光タイミングを順次切り替え、各受光タイミングにおける反射光の輝度値（蓄積電荷）を取得する。図２では、各位相の受光タイミング（ＯＮタイミング）において、反射光が入射されるタイミングに斜線が付されている。
　図２に示されるように、受光タイミングを、位相０度、位相９０度、位相１８０度、および、位相２７０度としたときに輝度値（蓄積電荷）を、それぞれ、ｐ０、p９０、p１８０、および、p２７０とすると、位相差φは、輝度値p０、p９０、p１８０、および、p２７０を用いて、下記の式（４）で算出することができる。
Figure JPOXMLDOC01-appb-M000004
　式（４）のＩ＝p０－p１８０、Ｑ＝p９０－p２７０は、照射光の変調波の位相を複素平面（ＩＱ平面）上に変換した実部Ｉと虚部Ｑを表す。式（４）で算出された位相差φを上記の式（３）に入力することにより、測距センサ２から物体３までのデプス値ｄを算出することができる。
　また、各画素で受光される光の強度は、信頼度ｃｏｎｆと呼ばれ、以下の式（５）で計算することができる。この信頼度ｃｏｎｆは、照射光の変調波の振幅Ａに相当する。
Figure JPOXMLDOC01-appb-M000005
　また、受信した反射光に含まれる環境光の大きさＢは、次式（６）で推定することができる。
Figure JPOXMLDOC01-appb-M000006
　測距センサ２が、一般的なイメージセンサのように、画素アレイの各画素に１つの電荷蓄積部を備える構成では、以上のように受光タイミングを、位相０度、位相９０度、位相１８０度、および、位相２７０度と順番に各フレームで切り替え、各位相における蓄積電荷（輝度値p０、輝度値p９０、輝度値p１８０、および、輝度値p２７０）に応じた検出信号を生成するため、４フレーム分の検出信号（以下、輝度画像とも称する）が必要となる。
　一方、測距センサ２が、画素アレイの各画素に電荷蓄積部を２つ備える構成の場合には、２つの電荷蓄積部に交互に電荷を蓄積させることにより、例えば、位相０度と位相１８０度のように、位相が反転した２つの受光タイミングの検出信号を１フレームで取得することができる。この場合、位相０度、位相９０度、位相１８０度、および、位相２７０度の４位相の検出信号を取得するためには、２フレーム分の輝度画像が必要となる。
　測距センサ２は、画素アレイの画素ごとに供給される４枚の輝度画像に基づいて、測距センサ２から物体３までの距離であるデプス値ｄを算出する。そして、各画素の画素値としてデプス値ｄが格納されたデプスマップと、各画素の画素値として信頼度ｃｏｎｆが格納された信頼度マップとが生成されて、測距センサ２から外部へ出力される。
　このように、測距装置は、画素アレイの各画素に１つの電荷蓄積部を備える構成の場合、４フレーム分の輝度画像が必要であり、各画素に電荷蓄積部を２つ備える構成の場合には、２フレーム分の輝度画像が必要であるため、輝度画像の取得に時間が掛かる。
　そこで、本開示に係る測距装置は、距離の算出に使用する画像の取得に要する時間を短縮することができる構成を備える。次に、本開示に係る測距装置の構成の概要および動作の一例について説明する。
＜２．測距装置の構成の概要＞
　図３は、本開示に係る測距装置の構成の概要を示す図である。図３に示すように、本開示に係る測距装置１０は、光源部１１と撮像部１２とを備える。光源部１１は、第１光源２１と第２光源２２とを備える。
　第１光源２１は、第１波長（例えば、８５０ｎｍ）の赤外光（以下、「第１赤外光Ｌ１」と記載する）を測距対象物に対して照射する。第２光源２２は、例えば、第２波長（例えば、９４０ｎｍ）の赤外光（以下、「第２赤外光Ｌ２」と記載する）を測距対象物に対して照射する。このように、光源部１１は、測距対象に向けて波長が異なる照射光を、例えば、図２に示す所定の発光パターン（照射タイミング）で同時に照射する。
　撮像部１２は、結像レンズ３１と、マイクロレンズアレイ３２と、フィルタアレイ３３と、画素アレイ３４とを備える。結像レンズ３１は、測距対象物に反射して入射する第１赤外光Ｌ１および第２赤外光Ｌ２を画素アレイ３４の受光面に結像させる。
　マイクロレンズアレイ３２は、行列状に配列される複数のマイクロレンズを備える。各マイクロレンズは、第１赤外光Ｌ１および第２赤外光Ｌ２を対向する位置に配置される受光画素へ導光する。フィルタアレイ３３は、複数の第１フィルタ４１と、複数の第２フィルタ４２とを備える。
　第１フィルタ４１は、第１赤外光Ｌ１を選択的に透過させる。第２フィルタ４２は、第２赤外光Ｌ２を選択的に透過させる。第１フィルタ４１および第２フィルタ４２は、行方向および列方向に、それぞれ交互に配置される。画素アレイ３４は、行列状に配置される複数の受光画素を備える。各受光画素は、光電変換素子を備え、入射光を光量に応じた信号電荷に変換する。
　第１フィルタ４１と対向（対面）する位置に設けられる受光画素（以下、「第１受光画素」と記載する）は、第１波長の反射光である第１赤外光Ｌ１を選択的に受光する。第２フィルタ４２と対向（対面）する位置に設けられる受光画素（以下、「第２受光画素」と記載する）は、第２波長の反射光である第２赤外光Ｌ２を選択的に受光する。
　これにより、画素アレイ３４は、第１赤外光Ｌ１が照射された測距対象物の輝度画像を第１受光画素群によって撮像することができる。また、画素アレイ３４は、第２赤外光Ｌ２が照射された測距対象物の輝度画像を第２受光画素群によって撮像することができる。
　つまり、測距装置１０は、画素アレイ３４によって１フレームの画像を撮像する期間に、２枚の輝度画像を撮像することができる。したがって、測距装置１０によれば、測距対象物までの距離の算出に使用する画像の取得に要する時間を一般的なＩｎｄｉｒｅｃｔＴｏＦ方式に比べて半分の時間に短縮することができる。
＜３．測距装置の動作の一例＞
　次に、図４および図５を参照し、本開示に係る動作の一例について説明する。図４および図５は、本開示に係る測距装置の動作の一例を示す図である。上記したように、一般的なＩｎｄｉｒｅｃｔＴｏＦ方式では、測距対象物までの距離を算出するために、４枚の輝度画像が必要である。
　このため、一般的なＩｎｄｉｒｅｃｔＴｏＦ方式では、輝度画像の取得に４フレームの画像を撮像するための長い時間が必要であり、この期間に測距対象物または測距センサ２に動きがあると、測距精度が低下する。
　これに対して、測距装置１０は、１フレームの画像を撮像する期間に、測距対象物へ第１赤外光Ｌ１が照射された輝度画像、および測距対象物へ第２赤外光Ｌ２が照射された輝度画像の２枚の輝度画像を撮像することができる。
　そこで、図４に示すように、測距装置１０は、２フレームの画像を撮像する期間に、第１赤外光Ｌ１が照射された測距対象物の輝度画像１００を２枚、第２赤外光Ｌ２が照射された測距対象物の輝度画像２００を２枚、計４枚の輝度画像を撮像する。
　ここで、輝度画像１００，２００は、画素アレイ３４が備える全受光画素のうち、行列方向に１画素おきに配置される半数の受光画素によって撮像されるため、モザイク状になっている。このため、測距装置１０は、２枚の輝度画像１００をデモザイク処理して、デモザイク後の２枚の輝度画像１０１を生成し、２枚の輝度画像２００をデモザイク処理して、デモザイク後の２枚の輝度画像２０１を生成する。
　そして、測距装置１０は、デモザイク後の４枚の輝度画像１０１，２０１から測距対象物までの距離を算出して１枚のデプスマップ３００を生成する。このように、測距装置１０は、一般的なＩｎｄｉｒｅｃｔＴｏＦ方式に比べて、半分の撮像時間によって、測距に必要な４枚の輝度画像を取得することができるので、測距対象物および撮像部１２の動きに対して頑健性が高く、測距の高速化を図ることができる。
　また、図５に示すように、測距装置１０は、４フレームの画像を撮像する期間に、第１赤外光Ｌ１が照射された測距対象物の輝度画像１００を４枚、第２赤外光Ｌ２が照射された測距対象物の輝度画像２００を４枚、撮像することもできる。
　そこで、測距装置１０は、４枚の輝度画像１００から４枚のデモザイク後の輝度画像１０１を生成し、４枚のデモザイク後の輝度画像１０１から測距対象物までの距離を算出して１枚のデプスマップ３０１を生成する。
　また、測距装置１０は、４枚の輝度画像２００から４枚のデモザイク後の輝度画像２０１を生成し、４枚のデモザイク後の輝度画像２０１から測距対象物までの距離を算出して１枚のデプスマップ３０２を生成する。
　そして、測距装置１０は、２枚のデプスマップ３０１，３０２を組み合わせて、最終的な測距対象物までの距離を算出する。このように、測距装置１０は、一般的なＩｎｄｉｒｅｃｔＴｏＦ方式によって４枚の輝度が撮像される時間内に、倍の８枚の輝度画像を取得することができるので、測距に使用する情報量が倍になり、より高精度な測距が可能となる。
＜４．測距装置の構成＞
　次に、図６を参照し、本開示に係る測距装置の構成について説明する。図６は、本開示に係る測距装置の構成を示すブロック図である。図６に示す測距装置１０は、ＩｎｄｉｒｅｃｔＴｏＦ方式による測距を行うシステムであり、光源部１１、および、測距部５０を有する。測距装置１０は、物体３（図１参照）に対して光を照射し、その光（照射光）が物体３で反射されてきた光（反射光）を受光することにより、物体３までの距離情報としてのデプスマップを生成して出力する。
　測距部５０は、撮像部１２、発光制御部１３、および信号処理部１４で構成されている。
　光源部１１は、第１光源２１および第２光源２２を備える。第１光源２１および第２光源２２は、例えば、ＶＣＳＥＬ（Vertical　Cavity　Surface　Emitting　Laser：垂直共振器面発光レーザ)を平面状に複数配列したＶＣＳＥＬアレイを備え、発光制御部１３から供給される発光制御信号に応じた照射タイミングで変調しながら発光し、物体３に対して照射光を照射する。
　第１光源２１は、第１赤外光Ｌ１を物体３へ照射する。第２光源２２は、第１光源２１が発光して１フレームの画像が撮像される期間内に、第２赤外光Ｌ２を物体３へ照射する。なお、光源部１１は、第１赤外光Ｌ１および第２赤外光Ｌ２とは波長が異なる他の照射光を物体３へ照射する光源を備えていてもよい。つまり、光源部１１は、波長が異なる３種類以上の光を物体３へ照射する複数の光源を備える構成であってもよい。
　発光制御部１３は、所定の変調周波数（例えば、１００ＭＨｚなど）となる発光制御信号を生成し、光源部１１に供給することにより、光源部１１を制御する。また、発光制御部１３は、光源部１１における発光のタイミングに合わせて撮像部１２を駆動させるために、発光制御信号を撮像部１２にも供給する。発光制御信号は、信号処理部１４から供給される駆動パラメータに基づいて生成される。
　撮像部１２は、複数の受光画素が２次元配置された画素アレイで、物体３からの反射光を受光する。そして、撮像部１２は、受光した反射光の受光量に応じた検出信号で構成される輝度画像の画素データを、画素アレイの画素単位で信号処理部１４に供給する。
　信号処理部１４は、位相が異なる４種類の受光バターン（図２参照）で撮像された４枚の輝度画像に基づいて物体３までの真の距離を算出する。このとき、前述したように、撮像部１２は、一般的なＩｎｄｉｒｅｃｔＴｏＦ方式によって４枚の輝度画像が撮像される時間に、４枚の輝度画像を撮像することができる。このため、一般的なＩｎｄｉｒｅｃｔＴｏＦ方式に比べて、より高速に物体までの距離を算出することができる。
　さらに、信号処理部１４は、撮像部１２から画素アレイの画素ごとに供給される画素データに基づいて、測距装置１０から物体３までの距離であるデプス値を算出し、各画素の画素値としてデプス値が格納されたデプスマップを生成して、測距装置１０外へ出力する。また、信号処理部１４は、各画素の画素値として信頼度ｃｏｎｆが格納された信頼度マップも生成して、測距装置１０外へ出力する。
　本開示に係る２種類の波長光を用いた測距方法は、ＩｎｄｉｒｅｃｔＴｏＦ方式において測距精度を向上させる種々の関連技術に適用することが可能である。以下、本開示に係る２種類の波長光を用いた測距方法を種々の測距精度向上技術に適用する適用例について説明する。
＜５．Ｄｕａｌ－Ｆｒｅｑｕｅｎｃｙ　Ｍｏｄｕｌａｔｉｏｎへの適用＞
　前述したように、ＩｎｄｉｒｅｃｔＴｏＦ方式による測距では、照射光が発光されてから反射光が受光されるまでの時間が位相差φとして検出される。位相差φは、距離に応じて０≦φ＜２πを周期的に繰り返すため、２πの周期数Ｎ、すなわち、検出された位相差が２πの周期を何周（Ｎ周）した状態の位相差であるのかが不明となる。この位相差φが何周目（Ｎ周目）の状態かが不明であることを、周期数Ｎの不定性と呼ぶことにする。
　かかる周期数Ｎの不定性を解消する手法として、発光源１の変調周波数を第１の周波数ｆｌに設定して得られたデプスマップと、第２の周波数ｆｈ（ｆｌ＜ｆｈ）に設定して得られたデプスマップを解析することにより、周期数Ｎの不定性を解消する手法（Ｄｕａｌ－Ｆｒｅｑｕｅｎｃｙ　Ｍｏｄｕｌａｔｉｏｎ）がある。
　ここで、測距部５０が、Ｄｕａｌ－Ｆｒｅｑｕｅｎｃｙ　Ｍｏｄｕｌａｔｉｏｎの手法を実行するセンサであるとして、周期数Ｎの不定性を解消する手法について説明する。
　いま例として、第１光源２１の第１の周波数ｆｌを６０ＭＨｚ、第２光源２２の第２の周波数ｆｈ（ｆｌ＜ｆｈ）を１００ＭＨｚとする例について説明する。以下では、理解を簡単にするため、第１の周波数ｆｌl＝６０ＭＨｚを、低周波数ｆｌと称し、第２の周波数ｆｈ＝１００ＭＨｚを、高周波数ｆｈと称して説明する場合がある。
　図７は、第１光源２１の変調周波数を低周波数ｆｌ＝６０ＭＨｚとし、第２光源２２の変調周波数を高周波数ｆｈ＝１００ＭＨｚとした場合に、信号処理部１４において式（３）で算出されるデプス値ｄを示している。
　図７の横軸は、物体までの実際の距離Ｄ（以下、真の距離Ｄと称する。）を表し、縦軸は、信号処理部１４で検出される位相差φから算出されるデプス値ｄを表す。
　図７に示されるように、変調周波数が低周波数ｆｌ＝６０ＭＨｚである場合、１周期は、２．５ｍとなり、デプス値ｄは、真の距離Ｄが増大するにしたがい、０ｍから２．５ｍの範囲を繰り返す。一方、変調周波数が高周波数ｆｈ＝１００ＭＨｚである場合、１周期は、１．５ｍとなり、デプス値ｄは、真の距離Ｄが増大するにしたがい、０ｍから１．５ｍの範囲を繰り返す。
　真の距離Ｄと、デプス値ｄとには、以下の式（７）の関係が成り立つ。
Ｄ＝ｄ＋Ｎ・ｄｍａｘ　（Ｎ＝０，１．２．３，・・・）・・・・・・・（７）
　ここで、ｄｍａｘは、デプス値ｄが取り得る最大値を表し、低周波数ｆｌ＝６０ＭＨｚのとき、ｄｌ ｍａx＝２．５であり、高周波数ｆｈ＝１００ＭＨｚのとき、ｄｈ ｍａx＝１．５である。Ｎは、２πを何周したかを表す周期数に対応する。
　式（７）の真の距離Ｄとデプス値ｄの関係が、周期数Ｎの不定性を表している。
　信号処理部１４は、低周波数ｆｌ＝６０ＭＨｚのときのデプス値ｄｌの最大値ｄｌ ｍａx＝２．５と、高周波数ｆｈ＝１００ＭＨｚのときのデプス値ｄｈの最大値ｄｈ ｍａｘ＝１．５のそれぞれが整数となるように、２つの周波数の比で正規化する。
　図８は、低周波数ｆｌ＝６０ＭＨｚと高周波数ｆｈ＝１００ＭＨｚのそれぞれにおける、真の距離Ｄと、正規化後のデプス値ｄ’の関係を示している。
　正規化後の低周波数ｆｌ＝６０ＭＨｚによるデプス値ｄｌ’は、ｋｈ・Ｍｌと表すことができ、正規化後の高周波数ｆｈ＝１００ＭＨｚによるデプス値ｄｈ’は、ｋｌ・Ｍｈと表すことができ、ｋｈおよびｋｌは、以下の式（８）で表され、正規化後のデプス値ｄ’の最大値に対応する。
Figure JPOXMLDOC01-appb-M000007
 　ここで、ｇｃｄ（ｆｈ，ｆｌ）は、ｆｈとｆｌの最大公約数を演算する関数である。また、ＭｌとＭｈは、低周波数ｆｌにおけるデプス値ｄｌと、その最大値ｄｌ ｍａｘ、高周波数ｆｈにおけるデプス値ｄｈと、その最大値ｄｈ ｍａｘを用いて、式（９）で表される。
Figure JPOXMLDOC01-appb-M000008
　次に、信号処理部１４は、図９に示されるように、正規化後の高周波数ｆｈのデプス値ｄｈ‘＝ｋ’・Ｍｈから、正規化後の低周波数fｌのデプス値ｄｌ’＝ｋｈ・Ｍｌを減算した値ｅ＝｛ｋｌ・Ｍｈ－ｋｈ・Ｍｌ｝を算出する。
　図９の右側に示される減算値ｅを見て分かるように、正規化後の高周波数fｈのデプス値ｄｈ‘と、正規化後の低周波数ｆｌのデプス値ｄｌ’との関係性は、真の距離Ｄの区間内で一意に決定される。例えば、減算値ｅが－３となる距離は、真の距離Ｄが１．５ｍから２．５ｍの区間だけであり、減算値ｅが２となる距離は、真の距離Dが２．５ｍから３．０ｍの区間だけである。
　次に、信号処理部１４は、以下の式（１０）を満たすｋ０を決定し、式（１１）により周期数Ｎｌを算出する。式（１０）および式（１１）において、％は、剰余を取り出す演算子を表す。ｋ０は、例えば、低周波数ｆｌ＝６０ＭＨｚ、高周波数ｆｈ＝１００ＭＨｚのとき、２となる。
Figure JPOXMLDOC01-appb-M000009
　図１０は、式（１１）により周期数Ｎｌを算出した結果を示している。
　図１０を参照して分かるように、式（１１）により算出される周期数Ｎｌが、位相空間の何周目かを表す。式（１１）を、２πの周期数Ｎｌを判定する周期数判定式とも称する。
　以上のようにして、信号処理部１４は、周期数Ｎｌを算出することにより、周期数Ｎの不定性を解消し、最終的なデプス値ｄを決定して測距対象物までの距離を算出することができる。
　なお、図９に示した減算値ｅを、ｅ＝｛ｋｈ・Ｍｌ－ｋｌ・Ｍｈ｝、即ち、正規化後の低周波数ｆｌのデプス値ｄｌ’＝ｋｈ・Ｍｌから、正規化後の高周波数ｆｈのデプス値ｄｈ’＝ｋｌ・Ｍｈを減算して算出した場合には、周期数Ｎは、式（１１）の低周波数ｆｌを基準とする周期数Ｎｌではなく、高周波数ｆｈを基準とする次式（１１）’の周期数Ｎｈで算出される。
Figure JPOXMLDOC01-appb-M000010
　Ｄｕａｌ－Ｆｒｅｑｕｅｎｃｙ　Ｍｏｄｕｌａｔｉｏｎによって周期数Ｎの不定性を解消する場合、例えば、光源部１１が１つの光源しか備えていなければ、まず、光源を低周波数fｌで発光させてデプス値ｄｌを算出し、その後に高周波数fｈで発光させてデプス値ｄｈを算出する必要がある。
　これに対して、本開示に係る光源部１１は、第１赤外光Ｌ１を照射する第１光源２１と、第２赤外光Ｌ２を照射する第２光源２２を備えるため、第１光源２１を低周波数fｌで発光させると同時に、第２光源２２を高周波数fｈで発光させることができる。
　これにより、測距装置１０は、光源部１１の発光から２つのデプス値ｄｌ，ｄｈを算出するまでに要する時間を短縮することによって、周期数Ｎの不定性解消の高速化を図ることができる。
＜６．ＨＤＲ（High　dynamic　range）合成による測距への適用＞
　露光時間の異なる２枚のデプスマップを合成することにより、ダイナミックレンジ（測定範囲）が拡大されたデプスマップ（以下、ＨＤＲデプスマップという。）を生成する処理が知られている。
　図１１は、短時間露光によるデプスマップの一例を示す図である。図１２は、長時間露光によるデプスマップの一例を示す図である。図１３は、ＨＤＲデプスマップの一例を示す図である。図１１～図１３に示すデプスマップには、デプスマップの下部ほど手前の被写体が写り、上部に向かうほど、遠方の被写体が写っている。
　図１１に示すように、短時間露光によるデプスマップでは、露光時間が短いため、光が届きやすい手前の被写体については問題なく撮像されるが、光が届きにくい遠方の被写体になるほどＳＮ比（Signal　to　Noise　ratio）が悪化する。
　一方、図１２に示すように、長時間露光によるデプスマップでは、露光時間が長いため、遠方まで光が届き遠方の被写体については問題なく撮像されるが、手前の被写体については、画素の輝度が高すぎて飽和してしまう。
　そこで、短時間露光によるデプスマップと、長時間露光によるデプスマップとをＨＤＲ合成することによって、ＨＤＲデプスマップを生成する。これにより、図１３に示すように、ＨＤＲデプスマップは、遠方の被写体のＳＮ比の悪化を抑制しつつ、手前の飽和領域を解消することができる。
　ただし、一般的なＨＤＲ合成では、例えば、光源部１１が１つの光源しか備えていなければ、まず、光源を短時間発光させて、短時間露光によるデプスマップを生成し、その後、光源を長時間発光させて、長時間露光によるデプスマップを生成性する必要がある。
　これに対して、本開示に係る光源部１１は、第１赤外光Ｌ１を照射する第１光源２１と、第２赤外光Ｌ２を照射する第２光源２２を備えるため、短時間露光に相当するデプスマップと、長時間露光に相当するデプスマップとを同時に生成することができる。
　例えば、光源部１１は、第１光源２１を第１の時間（短時間）発光させ、第１光源２１の発光期間に、第２光源２２を第１光源２１よりも高い発光強度で発光させる。撮像部１２は、第１光源２１から第１赤外光Ｌ１が照射された被写体の輝度画像と、第２光源から第２赤外光Ｌ２が照射された被写体の輝度画像とを同時に撮像することができる。
　これにより、撮像部１２は、各画素の輝度値が短時間露光画像と同等の輝度画像と、各画素の輝度値が長時間露光画像と同等の輝度画像とを同時に２枚撮像することができる。このため、信号処理部１４は、こうして同時に撮像された２枚の輝度画像から短時間露光に相当するデプスマップと、長時間露光に相当するデプスマップとを生成することができる。したがって、測距装置１０によれば、ＨＤＲ合成に要する時間を短縮することができる。
＜７．Ｓｐｏｔ－ＦＦ（Full－Filed）ｆｕｓｉｏｎへの適用＞
　ＩｎｄｉｒｅｃｔＴｏＦ方式では、直接反射光に加えて間接反射光が観測される場合に、実際よりもデプス値が大きくなるマルチパス干渉が問題になることがある。図１４は、マルチパス干渉の説明図である。図１５および図１６は、Ｓｐｏｔ－ＦＦ　ｆｕｓｉｏｎの説明図である。図１７は、本開示に係るＳｐｏｔ－ＦＦ　ｆｕｓｉｏｎの説明図である。
　図１４の左図に示すように、測距センサ２は、発光源１から照射される照射光が測距対象物１１０によって一回だけ反射された反射光（直接光）Ｌ１０を受光する。これに加えて、測距センサ２は、図１４の右図に示すように、一度受光した直接光が内部で再反射された反射光（間接光）Ｌ１１、および発光源１から照射される照射光が測距対象物１１０によって複数回反射された反射光（間接光）Ｌ１１を受光する。これにより、測距センサ２では、各画素のデプス値が実際よりも大きくなるマルチパス干渉が発生する。
　そこで、図１５に示すように、一般的なＳｐｏｔ－ＦＦ　ｆｕｓｉｏｎでは、まず、発光源１が備える全てのＶＣＳＥＬを発光させて、測距対象物１１０（図１４参照）からの反射光を測距センサ２によって受光して輝度画像を生成する。
　その後、図１６に示すように、一般的なＳｐｏｔ－ＦＦ　ｆｕｓｉｏｎでは、発光源１が備える全てのＶＣＳＥＬうち、疎に点在する一部のＶＣＳＥＬを発光させる。つまり、発光源１は、発光させるＶＣＳＥＬを間引いて、被写体に光を照射する。測距センサ２の各受光画素は、対応するＶＣＳＥＬから照射された光の反射光を受光する。このとき、発光しないＶＣＳＥＬに対応する受光画素は、直接光Ｌ１０を受光することはないが、間接光Ｌ１１，Ｌ１２については受光する。
　このため、測距センサ２は、全てのＶＣＳＥＬを発光させて撮像した輝度画像の各画素の輝度値から、発光させるＶＣＳＥＬを間引いて撮像した輝度画像の発光しないＶＣＳＥＬに対応する画素の輝度値を減算する補正を行ってデプスマップを生成する。これにより、測距センサ２は、マルチパス干渉の発生を抑制することができる。
　ただし、一般的なＳｐｏｔ－ＦＦ　ｆｕｓｉｏｎでは、まず、全てのＶＣＳＥＬを発光させて輝度画像を撮像し、その後、発光させるＶＣＳＥＬを間引いて輝度画像を撮像する必要があるため、最終的なデプスマップを生成するまでに時間が掛かる。
　これに対して、図１７に示すように、本開示に係る光源部１１は、第１赤外光Ｌ１を照射する第１光源２１が備える全てのＶＣＳＥＬを発光させ、同時に、第２赤外光Ｌ２を照射する第２光源２２が備えるＶＣＳＥＬを間引いて発光させることができる。
　このため、撮像部１２は、第１光源２１の全てのＶＣＳＥＬを発光させて撮像する輝度画像と、第２光源２２の発光させるＶＣＳＥＬを間引いて撮像する輝度画像とを同時に撮像することができる。
　信号処理部１４は、第１光源２１によって照射光が照射された測距対象物の画像における画素の輝度値から、第２光源２２において間引かれた発光レーザに対応する画素の輝度値を減算して、輝度画像を補正する。これにより、測距装置１０は、最終的なデプスマップを生成するまでに要する時間を短縮しつつ、マルチパス干渉の発生を抑制することができる。
＜８．ＩＱモザイクの応用＞
　ＩＱモザイクを行う撮像部１２は、各画素に、第１タップおよび第２タップの２つの電荷蓄積部を備える。撮像部１２は、各画素において、第１タップと第２タップとに交互に受光電荷を振り分けることで、１フレームの画像を撮像する期間に、位相が反転した２枚の輝度画像を撮像することができる。これにより、撮像部１２は、２フレームの画像を撮像する期間に、測距に必要な位相がずれた４枚の輝度画像を撮像することができる。
　また、撮像部１２は、第１タップに蓄積される受光電荷と、第２タップに蓄積される受光電荷との差分をとることによって、画素の固定パターン（画素間の感度差）および環境光オフセットを取得することができる。
　これにより、ＩＱモザイクを行う測距センサ２は、デプス値から画素の固定パターンおよび環境光オフセットを除去することによって、測距精度を向上させることができる。かかるＩＱモザイク技術に、本開示の技術を応用することによって、距離の算出に使用する画像の取得に要する時間をさらに短縮することができる。
　例えば、測距装置１０は、光源部１１の第１光源２１によって第１赤外光Ｌ１を照射させ、同時に第２光源２２によって第２赤外光Ｌ２を照射させる。そして、測距装置１０は、第１赤外光Ｌ１が照射された測距対象物の輝度画像と、第２赤外光Ｌ２が撮像された測距対象物の輝度画像とを撮像部１２によって撮像させる。
　このとき、撮像部１２は、第１赤外光Ｌ１を受光する各受光画素において、第１タップと第２タップとに交互に受光電荷を振り分け、第２赤外光Ｌ２を受光する各受光画素において、第１タップと第２タップとに交互に受光電荷を振り分ける。
　これにより、撮像部１２は、１フレームの画像を撮像する期間に、測距対象物までの距離の算出に使用する４枚の画像を撮像することができるので、距離の算出に使用する画像の取得に要する時間を大幅に短縮することができる。
　また、信号処理部１４は、第１タップに蓄積される受光電荷と、第２タップに蓄積される受光電荷との差分から画素の固定パターンおよび環境光オフセットを取得し、デプス値から除去することによって、倍速撮像を行いつつ測距精度を向上させることができる。
＜９．測距装置が実行する処理＞
　次に、本開示に係る測距装置１０が実行する処理について説明する。図１８は、本開示に係る測距装置１０が実行する処理の一例を示すフローチャートである。
　図１８に示すように、測距装置１０は、測距対象物に向けて波長が異なる照射光を照射する（ステップＳ１０１）。例えば、測距装置１０は、第１光源２１によって第１赤外光Ｌ１を照射させ、同時に第２光源２２によって第２赤外光Ｌ２を照射させる。
　続いて、測距装置１０は、測距対象物からの反射光を受光して波長毎の輝度画像を撮像する（ステップＳ１０２）。例えば、測距装置１０は、第１赤外光Ｌ１が照射された測距対象物の輝度画像と、第２赤外光Ｌ２が照射された輝度画像とを同時に撮像する。そして、測距装置１０は、撮像した複数の輝度画像に基づいて、測距対象物までの距離を算出し（ステップＳ１０３）、処理を終了する。
＜１０．アプリケーション適用例＞
　測距装置１０による上述の距離測定処理は、例えば、室内空間の奥行き方向の距離を測定し、室内空間の３Ｄモデルを生成する３Ｄモデリング処理に適用することができる。ＨＤＲ合成による測定距離の拡大により、部屋に加えて部屋の中の物体も同時に測距が可能となる。室内空間の奥行き方向の距離の測定においては、環境光等の影響に応じて、ＳＮ比が良好となるような周波数の組合せも設定可能となる。
　また、測距装置１０による上述の距離測定処理は、自律走行のロボットや移動運搬装置、ドローン等の飛行移動装置などが、ＳＬＡＭ（Simultaneous　Localization　And　Mapping）等により自己位置推定を行う際の環境マッピング情報の生成に用いることができる。
＜１１．コンピュータの構成例＞
　次に、上述した測距装置１０が実行する一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図１９は、測距装置１０が実行する一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　コンピュータにおいて、ＣＰＵ（Central　Processing　Unit）４０１，ＲＯＭ（Read　Only　Memory）４０２，ＲＡＭ（Random　Access　Memory）４０３、およびＥＥＰＲＯＭ（Electronically　Erasable　and　Programmable　Read　Only　Memory）４０４は、バス４０５により相互に接続されている。バス４０５には、さらに、入出力インタフェース４０６が接続されており、入出力インタフェース４０６が外部に接続される。
　以上のように構成されるコンピュータでは、ＣＰＵ４０１が、例えば、ＲＯＭ４０２およびＥＥＰＲＯＭ４０４に記憶されているプログラムを、バス４０５を介してＲＡＭ４０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（ＣＰＵ４０１）が実行するプログラムは、ＲＯＭ４０２に予め書き込んでおく他、入出力インタフェース４０６を介して外部からＥＥＰＲＯＭ４０４にインストールしたり、更新したりすることができる。
　これにより、ＣＰＵ４０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース４０６を介して、外部へ出力することができる。
　本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
＜１２．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADＡＳ（ADｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２１は、撮像部１２０３１の設置位置の例を示す図である。
　図２１では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０に適用され得る。具体的には、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０として測距装置１０による測距を利用することで、運転者のジェスチャを認識する処理を行い、そのジェスチャに従った各種（例えば、オーディオシステム、ナビゲーションシステム、エアーコンディショニングシステム）の操作を実行したり、より正確に運転者の状態を検出することができる。また、測距装置１０による測距を利用して、路面の凹凸を認識して、サスペンションの制御に反映させたりすることができる。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　＜１３．効果＞
　測距装置１０は、光源部１１と、撮像部１２と、信号処理部１４とを有する。光源部１１は、測距対象物に向けて波長が異なる照射光を照射する。撮像部１２は、測距対象物からの照射光の反射光を受光して波長毎の輝度画像を撮像する。信号処理部１４は、輝度画像に基づいて測距対象物までの距離を算出する。
　これにより、測距装置１０は、波長毎の輝度画像を同時に撮像することができるため、単一波長の照射光が照射される測距対象物の輝度画像を一枚ずつ時系列に撮像する場合に比べて、距離の算出に使用する画像の取得に要する時間を短縮することができる。
　光源部１１は、照射光を所定の照射タイミングで照射する。撮像部１２は、照射光の照射タイミングを基準に、所定位相ずらした複数の受光タイミングで受光し、受光タイミング毎の輝度画像を撮像する。これにより、測距装置１０は、受光タイミング毎の輝度画像の撮像に要する時間を短縮することができる。
　光源部１１は、第１光源２１と、第２光源２２とを有する。第１光源２１は、第１波長の照射光を照射する。第２光源２２は、第１波長の照射光が照射される期間に、第２波長の照射光を照射する。撮像部１２は、第１受光画素と第２受光画素とが行列状に配置される画素アレイ３４を有する。第１受光画素は、第１波長の反射光（第１赤外光Ｌ１）を選択的に受光する。第２受光画素は、第２波長の反射光（第２赤外光Ｌ２）を選択的に受光する。
　これにより、撮像部１２は、１フレームの画像を撮像する期間に、第１受光画素群によって撮像される輝度画像と、第２受光画素によって撮像される輝度画像とを同時に撮像することができる。
　第１光源２１は、第１の周波数で照射光を照射する。第２光源２２は、第１の周波数より高い第２の周波数で照射光を照射する。信号処理部１４は、第１の周波数で照射光が照射された測距対象物の輝度画像から算出するデプス値と、第２の周波数で照射光が照射された測距対象物の輝度画像から算出するデプス値との差分に基づいて、測距対象物までの距離を算出する。これにより、測距装置１０は、周期数Ｎの不定性解消の高速化を図ることができる。
　第２光源２２は、第１光源２１よりも発光強度が高い。信号処理部１４は、第１波長の照射光（第１赤外光Ｌ１）が照射された測距対象物の輝度画像と、第２波長の照射光（第２赤外光Ｌ２）が照射された測距対象物の輝度画像とを合成した合成画像に基づいて、測距対象物までの距離を算出する。これにより、測距装置１０は、遠方の被写体のＳＮ比の悪化を抑制しつつ、手前の飽和領域を解消するＨＤＲ合成に要する時間を短縮することができる。
　第１光源２１および第２光源２２は、複数の２次元に配列される発光レーザを備える。第１光源２１は、全ての発光レーザを発光させて照射光を照射する。第２光源２２は、発光させる発光レーザを間引いて照射光を照射する。信号処理部１４は、第１光源２１によって照射光が照射された測距対象物の画像における画素の輝度値から、第２光源２２において間引かれた発光レーザに対応する画素の輝度値を減算して、輝度画像を補正する。これにより、測距装置１０は、最終的なデプスマップを生成するまでに要する時間を短縮しつつ、マルチパス干渉の発生を抑制することができる。
　第１受光画素および第２受光画素は、それぞれ２つの電荷蓄積部を備える。撮像部１２は、１フレームの輝度画像を撮像する期間に、２つの電荷蓄積部へ受光電荷を振り分ける。これにより、撮像部１２は、１フレームの画像を撮像する期間に、測距対象物までの距離の算出に使用する４枚の画像を撮像することができるので、距離の算出に使用する画像の取得に要する時間を大幅に短縮することができる。
　測距方法は、プロセッサが、測距対象物に向けて波長が異なる照射光を照射し、測距対象物からの照射光の反射光を受光して波長毎の輝度画像を撮像し、輝度画像に基づいて測距対象物までの距離を算出する、ことを含む。
　これにより、測距装置１０は、波長毎の輝度画像を同時に撮像することができるため、単一波長の照射光が照射される測距対象物の輝度画像を一枚ずつ時系列に撮像する場合に比べて、距離の算出に使用する画像の取得に要する時間を短縮することができる。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　測距対象物に向けて波長が異なる照射光を照射する光源部と、
　前記測距対象物からの前記照射光の反射光を受光して前記波長毎の輝度画像を撮像する撮像部と、
　前記輝度画像に基づいて前記測距対象物までの距離を算出する信号処理部と
　を有する測距装置。
（２）
　前記光源部は、
　前記照射光を所定の照射タイミングで照射し、
　前記撮像部は、
　前記照射光の照射タイミングを基準に、所定位相ずらした複数の受光タイミングで受光し、前記受光タイミング毎の前記輝度画像を撮像する
　前記（１）に記載の測距装置。
（３）
　前記光源部は、
　第１波長の照射光を照射する第１光源と、
　前記第１波長の照射光が照射される期間に、第２波長の照射光を照射する第２光源と
　を有し、
　前記撮像部は、
　前記第１波長の前記反射光を選択的に受光する第１受光画素と、
　前記第２波長の前記反射光を選択的に受光する第２受光画素と
　が行列状に配置される画素アレイ
　を有する前記（２）に記載の測距装置。
（４）
　前記第１光源は、
　第１の周波数で前記照射光を照射し、
　前記第２光源は、
　前記第１の周波数より高い第２の周波数で前記照射光を照射し、
　前記信号処理部は、
　前記第１の周波数で照射光が照射された前記測距対象物の輝度画像から算出するデプス値と、前記第２の周波数で照射光が照射された前記測距対象物の輝度画像から算出するデプス値との差分に基づいて、前記測距対象物までの距離を算出する
　前記（３）に記載の測距装置。
（５）
　前記第２光源は、
　前記第１光源よりも発光強度が高く、
　前記信号処理部は、
　前記第１波長の照射光が照射された前記測距対象物の輝度画像と、前記第２波長の照射光が照射された前記測距対象物の輝度画像とを合成した合成画像に基づいて、前記測距対象物までの距離を算出する
　前記（３）に記載の測距装置。
（６）
　前記第１光源および第２光源は、
　複数の２次元に配列される発光レーザを備え、
　前記第１光源は、
　全ての前記発光レーザを発光させて前記照射光を照射し、
　前記第２光源は、
　発光させる前記発光レーザを間引いて前記照射光を照射し、
　前記信号処理部は、
　前記第１光源によって前記照射光が照射された前記測距対象物の画像における画素の輝度値から、前記第２光源において間引かれた発光レーザに対応する画素の輝度値を減算して、前記輝度画像を補正する
　前記（３）に記載の測距装置。
（７）
　前記第１受光画素および前記第２受光画素は、
　それぞれ２つの電荷蓄積部を備え、
　前記撮像部は、
　１フレームの輝度画像を撮像する期間に、前記２つの電荷蓄積部へ受光電荷を振り分ける
　前記（３）に記載の測距装置。
（８）
　プロセッサが
　測距対象物に向けて波長が異なる照射光を照射し、
　前記測距対象物からの前記照射光の反射光を受光して前記波長毎の輝度画像を撮像し、
　前記輝度画像に基づいて前記測距対象物までの距離を算出する、
　ことを含む測距方法。
　１０　測距装置
　１１　光源部
　１２　撮像部
　１３　発光制御部
　１４　信号処理部
　２１　第１光源
　２２　第２光源
　３４　画素アレイ
　５０　測距部

Claims (8)

  1. 　測距対象物に向けて波長が異なる照射光を照射する光源部と、
    　前記測距対象物からの前記照射光の反射光を受光して前記波長毎の輝度画像を撮像する撮像部と、
    　前記輝度画像に基づいて前記測距対象物までの距離を算出する信号処理部と
    　を有する測距装置。
  2. 　前記光源部は、
    　前記照射光を所定の照射タイミングで照射し、
    　前記撮像部は、
    　前記照射光の照射タイミングを基準に、所定位相ずらした複数の受光タイミングで受光し、前記受光タイミング毎の前記輝度画像を撮像する
    　請求項１に記載の測距装置。
  3. 　前記光源部は、
    　第１波長の照射光を照射する第１光源と、
    　前記第１波長の照射光が照射される期間に、第２波長の照射光を照射する第２光源と
    　を有し、
    　前記撮像部は、
    　前記第１波長の前記反射光を選択的に受光する第１受光画素と、
    　前記第２波長の前記反射光を選択的に受光する第２受光画素と
    　が行列状に配置される画素アレイ
    　を有する請求項２に記載の測距装置。
  4. 　前記第１光源は、
    　第１の周波数で前記照射光を照射し、
    　前記第２光源は、
    　前記第１の周波数より高い第２の周波数で前記照射光を照射し、
    　前記信号処理部は、
    　前記第１の周波数で前記照射光が照射された前記測距対象物の輝度画像から算出するデプス値と、前記第２の周波数で前記照射光が照射された前記測距対象物の輝度画像から算出するデプス値との差分に基づいて、前記測距対象物までの距離を算出する
    　請求項３に記載の測距装置。
  5. 　前記第２光源は、
    　前記第１光源よりも発光強度が高く、
    　前記信号処理部は、
    　前記第１波長の照射光が照射された前記測距対象物の輝度画像と、前記第２波長の照射光が照射された前記測距対象物の輝度画像とを合成した合成画像に基づいて、前記測距対象物までの距離を算出する
    　請求項３に記載の測距装置。
  6. 　前記第１光源および前記第２光源は、
    　複数の２次元に配列される発光レーザを備え、
    　前記第１光源は、
    　全ての前記発光レーザを発光させて前記照射光を照射し、
    　前記第２光源は、
    　発光させる前記発光レーザを間引いて前記照射光を照射し、
    　前記信号処理部は、
    　前記第１光源によって前記照射光が照射された前記測距対象物の画像における画素の輝度値から、前記第２光源において間引かれた発光レーザに対応する画素の輝度値を減算して、前記輝度画像を補正する
    　請求項３に記載の測距装置。
  7. 　前記第１受光画素および前記第２受光画素は、
    　それぞれ２つの電荷蓄積部を備え、
    　前記撮像部は、
    　１フレームの輝度画像を撮像する期間に、前記２つの電荷蓄積部へ受光電荷を振り分ける
    　請求項３に記載の測距装置。
  8. 　プロセッサが、
    　測距対象物に向けて波長が異なる照射光を照射し、
    　前記測距対象物からの前記照射光の反射光を受光して前記波長毎の輝度画像を撮像し、
    　前記輝度画像に基づいて前記測距対象物までの距離を算出する
    　ことを含む測距方法。
PCT/JP2021/023287 2020-07-02 2021-06-21 測距装置および測距方法 Ceased WO2022004441A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-115003 2020-07-02
JP2020115003 2020-07-02

Publications (1)

Publication Number Publication Date
WO2022004441A1 true WO2022004441A1 (ja) 2022-01-06

Family

ID=79316172

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023287 Ceased WO2022004441A1 (ja) 2020-07-02 2021-06-21 測距装置および測距方法

Country Status (1)

Country Link
WO (1) WO2022004441A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023112763A (ja) * 2022-02-02 2023-08-15 富士フイルムビジネスイノベーション株式会社 光検出装置、光距離計測装置、及び、光検出プログラム
WO2024188715A1 (en) * 2023-03-10 2024-09-19 Sony Semiconductor Solutions Corporation Circuitry and method
WO2025192071A1 (ja) * 2024-03-12 2025-09-18 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
JP2011013138A (ja) * 2009-07-03 2011-01-20 Toyota Central R&D Labs Inc 画像センサとその画像センサに用いられる受光装置
JP2016183922A (ja) * 2015-03-26 2016-10-20 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
JP2019078748A (ja) * 2017-10-20 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 デプス画像取得装置、制御方法、およびデプス画像取得システム
US20200200881A1 (en) * 2018-12-21 2020-06-25 Robert Bosch Gmbh Optoelectronic sensor, method and vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
JP2011013138A (ja) * 2009-07-03 2011-01-20 Toyota Central R&D Labs Inc 画像センサとその画像センサに用いられる受光装置
JP2016183922A (ja) * 2015-03-26 2016-10-20 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
JP2019078748A (ja) * 2017-10-20 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 デプス画像取得装置、制御方法、およびデプス画像取得システム
US20200200881A1 (en) * 2018-12-21 2020-06-25 Robert Bosch Gmbh Optoelectronic sensor, method and vehicle

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023112763A (ja) * 2022-02-02 2023-08-15 富士フイルムビジネスイノベーション株式会社 光検出装置、光距離計測装置、及び、光検出プログラム
WO2024188715A1 (en) * 2023-03-10 2024-09-19 Sony Semiconductor Solutions Corporation Circuitry and method
WO2025192071A1 (ja) * 2024-03-12 2025-09-18 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距方法

Similar Documents

Publication Publication Date Title
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
JP7030607B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2020189339A1 (ja) 測距装置および測距方法
WO2022004441A1 (ja) 測距装置および測距方法
JP2020134463A (ja) 測距装置、測距方法、並びにプログラム
WO2020241294A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2018008426A1 (ja) 信号処理装置および方法、並びに撮像装置
WO2021106623A1 (ja) 測距センサ、測距システム、および、電子機器
CN113677955B (zh) 距离测量传感器、信号处理方法和距离测量模块
JP2020134464A (ja) 測距装置、測距方法、並びにプログラム
WO2017195459A1 (ja) 撮像装置、および撮像方法
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20220113410A1 (en) Distance measuring device, distance measuring method, and program
WO2021059682A1 (ja) 固体撮像素子、電子機器、および、固体撮像素子の制御方法
JP7517349B2 (ja) 信号処理装置、信号処理方法、および、測距装置
WO2021010174A1 (ja) 受光装置、および、受光装置の駆動方法
JP2020122774A (ja) 測距装置、測距方法、並びにプログラム
JP7476170B2 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2022269995A1 (ja) 測距装置および方法、並びにプログラム
WO2021131684A1 (ja) 測距装置およびその制御方法、並びに、電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21831897

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21831897

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP