[go: up one dir, main page]

WO2024185288A1 - 光検出装置および測距システム - Google Patents

光検出装置および測距システム Download PDF

Info

Publication number
WO2024185288A1
WO2024185288A1 PCT/JP2024/000440 JP2024000440W WO2024185288A1 WO 2024185288 A1 WO2024185288 A1 WO 2024185288A1 JP 2024000440 W JP2024000440 W JP 2024000440W WO 2024185288 A1 WO2024185288 A1 WO 2024185288A1
Authority
WO
WIPO (PCT)
Prior art keywords
histogram
tdc
period
ranging
distance measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/000440
Other languages
English (en)
French (fr)
Inventor
元気 永松
昇 崎村
雄志 稲垣
宣明 遠藤
彰人 関谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2024185288A1 publication Critical patent/WO2024185288A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Definitions

  • This technology relates to an optical detection device and a ranging system. More specifically, this technology relates to an optical detection device and a ranging system capable of detecting light based on multiple TDC (Time to Digital Converter) resolutions.
  • TDC Time to Digital Converter
  • ToF sensors are sometimes used for distance measurement.
  • the distance to an object is measured directly from the timing at which light is emitted to the object and the timing at which the light reflected from the object is received.
  • a distance measurement device has been proposed that calculates the distance to an object from a histogram generated based on count values obtained by counting the time from when light is emitted to when it is received at different TDC resolutions (see, for example, Patent Document 1).
  • the TDC may measure the time of reception of the photons having different emission intervals. This provides the effect of making it possible to set the emission interval of the distance measurement light according to the bin width of the histogram.
  • the emission interval of the distance measurement light in the first distance measurement period may be an integer multiple of the TDC code circulation period for the first histogram. This brings about the effect of increasing the number of photon emissions in the TDC code circulation period in the first distance measurement period.
  • the bin width of the histogram which is the TDC resolution of the second ranging period, may be equal to or smaller than the TDC code circulation period for the first histogram. This brings about the effect that, by setting a subrange in the shorter TDC code circulation period, the peaks of the histogram based on the reflection of light from objects at different distances can be uniquely distinguished by identifying the subranges in which each peak exists.
  • the TDC code of the TDC may circulate multiple times within the distance measurement range during the first distance measurement period. This provides the effect of generating a first histogram with fine TDC resolution based on the counting operation of the TDC.
  • the TDC resolutions of the two or more first histograms may be equal to each other. This provides the effect of optimizing the TDC resolutions of the two or more first histograms.
  • the upper limit of the bin width of the histogram which is the TDC resolution of the second ranging period, may be the minimum value of the TDC code circulation period for the first histogram. This has the effect of suppressing an increase in the load on the generation of the histogram, expanding the ranging range, and making it possible to identify the correspondence between multiple peaks of the histogram caused by multipath and multiple objects.
  • the lower limit of the bin width of the histogram which is the TDC resolution for the second ranging period, may be a value obtained by dividing the ranging range by the maximum number of bins of the second histogram. This has the effect of expanding the ranging range while suppressing an increase in the load on generating the histogram.
  • the first distance measurement period and the second distance measurement period may be set in a time-division manner. This provides the effect of calculating the distances to two or more objects while allocating the same circuit resources.
  • the same circuit resources may be allocated to generating the first histogram and generating the second histogram. This provides the effect of calculating the distances to two or more objects while suppressing an increase in circuit resources.
  • the first ranging period and the second ranging period may be set in parallel. This has the effect of increasing the number of possible distances while suppressing an increase in the frame rate.
  • separate circuit resources may be allocated to generating the first histogram and generating the second histogram. This provides the effect of making it possible to generate multiple histograms in parallel.
  • At least one of a frame rate priority mode that can increase the frame rate, a detectable peak number setting mode that can increase the number of detectable peaks, and a ranging range priority mode that can expand the ranging range may be provided. This provides the effect of enabling ranging while optimizing ranging conditions according to the ranging environment.
  • the emission interval of the ranging light may be changed for each subframe. This brings about the effect that the ranging range can be expanded based on the synthesis process of the subframes in which the emission interval of the ranging light has been changed.
  • the device may further include a distance calculation unit that calculates the distance to the object based on the histogram generated by the histogram generation unit. This provides the effect of measuring the time when the light reflected from the object is received and calculating the distance to the object.
  • the distance calculation unit may calculate the distance to at least one object based on the first histogram and the second histogram. This has the effect of expanding the distance measurement range while suppressing an increase in the load involved in generating the histogram, and making it possible to identify the correspondence between multiple peaks in the histogram caused by multipath and multiple objects.
  • the number of distances to objects that can be calculated by the distance calculation unit may be equal to or less than the number of the first histograms. This provides the effect of calculating distances to two or more objects.
  • the second aspect is a distance measurement system that includes a light emitting unit that emits photons to an object, and a photodetector that generates histograms with different TDC resolutions in different TDC code circulation periods of a TDC (Time to Digital Converter) that measures the time of reception of photons reflected from the object.
  • TDC Time to Digital Converter
  • FIG. 1 is a block diagram showing an example of the configuration of a distance measuring device according to a first embodiment
  • FIG. 2 is a block diagram showing a configuration example of a light detection unit according to the first embodiment
  • 1 is a block diagram showing an example of the configuration of a solid-state imaging device to which a photodetector according to a first embodiment is applied
  • 5 is a diagram showing an example of a sequence of TDC processing in the distance measuring device according to the first embodiment
  • FIG. 5A to 5C are diagrams illustrating an example of a histogram generation process of the distance measuring device according to the first embodiment.
  • FIG. 11 is a block diagram showing a configuration example of a light detection unit according to a second embodiment.
  • FIG. 11 is a diagram illustrating an example of a sequence of TDC processing in a distance measuring device according to a second embodiment.
  • FIG. 13 is a diagram illustrating an example of a sequence of TDC processing in a distance measuring device according to a third embodiment.
  • FIG. 13 is a diagram illustrating an example of a sequence of TDC processing in a distance measuring device according to a fourth embodiment.
  • FIG. 13 is a diagram illustrating an example of a sequence of TDC processing in a distance measuring device according to a fifth embodiment.
  • FIG. 23 is a diagram illustrating an example of a sequence of TDC processing in a distance measuring device according to a sixth embodiment.
  • 13A to 13C are diagrams illustrating an example of a distance measurement mode of a distance measuring device according to a seventh embodiment.
  • FIG. 13A to 13C are diagrams illustrating an example of a distance measurement mode of a distance measuring device according to an eighth embodiment.
  • FIG. 23 is a perspective view showing an example of a layered structure of a light detection unit according to a ninth embodiment.
  • FIG. 23 is a perspective view showing an example of a layered structure of a light detection unit according to a tenth embodiment;
  • 1 is a block diagram showing a schematic configuration example of a vehicle control system;
  • FIG. 4 is an explanatory diagram showing an example of an installation position of an imaging unit.
  • First embodiment an example in which three subframes are provided in a frame in a time-division manner, different first TDC code circulation periods are set in two subframes, and a second TDC code circulation period longer than the first TDC code circulation period is set in the remaining subframe
  • Second embodiment an example in which two subframes are provided in parallel in a frame, different first TDC code circulation periods are set in the two subframes, and a second TDC code circulation period longer than the first TDC code circulation period is set in the remaining parallel subframe
  • Second embodiment an example in which two subframes are provided in parallel in a frame, different first TDC code circulation periods are set in the two subframes, and a second TDC code circulation period longer than the first TDC code circulation period is set in the remaining parallel subframe
  • Seventh embodiment (example of distance measurement mode in which a plurality of subframes are provided in a frame in a time-division manner) 8. Eighth embodiment (example of distance measurement mode in which multiple subframes are arranged in parallel in a frame) 9.
  • Ninth embodiment (an example in which a pixel array section is provided on an upper chip and a circuit array section is provided on a lower chip) 10.
  • Tenth embodiment (an example in which a pixel array section in which pixels each having a plurality of SPADs are arranged is provided on an upper chip, and a circuit array section is provided on a lower chip) 11. Examples of applications to moving objects
  • FIG. 1 is a block diagram showing an example of the configuration of a distance measuring device according to a first embodiment.
  • the distance measuring device 100 performs distance measurement based on ToF, for example.
  • the distance measuring device 100 emits distance measuring light LML containing photons to each of the objects 101, 102.
  • the distance measuring device 100 can then calculate the distance to each of the objects 101, 102 based on the timing of receiving reflected light LRF1, LRF2 of the distance measuring light LML reflected by each of the objects 101, 102.
  • the ranging device 100 can calculate the distance to each of the objects 101, 102 from a histogram generated based on count values counted at different TDC resolutions.
  • the ranging device 100 can generate two or more first histograms with different TDC code circulation periods in the first ranging period, and generate a second histogram with a coarser TDC resolution than the first histogram in the second ranging period. This allows the ranging device 100 to expand the ranging range while suppressing an increase in the load on the generation of the histogram, and to identify the correspondence between the multiple peaks of the histogram caused by multipath and each of the objects 101, 102.
  • the distance measuring device 100 includes a drive unit 111, a light emitter 112, a light detector 123, a distance calculator 124, optical systems 113 and 121, and an optical filter 122.
  • the driving unit 111 drives the light emitting unit 112 according to instructions from the light detecting unit 123. At this time, the driving unit 111 sets the drive timing of the light emitting unit 112 according to the light emission trigger TRG from the light detecting unit 123.
  • the light-emitting unit 112 emits light in a predetermined wavelength range in accordance with the driving of the driving unit 111.
  • the predetermined wavelength range may be the visible range or the infrared range.
  • the light-emitting unit 112 can change the emission interval of the distance measurement light LML.
  • a laser diode can be used as the light-emitting unit 112.
  • the light-emitting unit 112 may change its light-emitting area. In this case, multiple laser diodes may be provided.
  • the optical system 113 focuses the distance measurement light LML onto the objects 101 and 102.
  • the optical system 113 may also include a lens and an optical filter.
  • the optical system 121 forms an image of each of the reflected lights LRF1 and LRF2 on the light receiving surface of the light detection unit 123.
  • the optical system 121 may also include a lens and an aperture.
  • the optical filter 122 removes light of unnecessary wavelength bands from each reflected light LRF1, LRF2.
  • the light detection unit 123 receives the reflected light LRF1, LRF2 reflected from each of the objects 101, 102.
  • the light detection unit 123 may be provided with a SPAD (Single Photon Avalanche Diode) to receive the reflected light LRF1, LRF2.
  • the light detection unit 123 may generate a histogram for each pixel based on a count value obtained by counting the time from when the light emitting unit 112 emits the distance measuring light LML in accordance with the light emission trigger TRG until the SPAD receives the light.
  • the histogram may show the relationship between the number of reactions of the SPAD (also called the light reception frequency) and the distance to each of the objects 101, 102.
  • the distance to each of the objects 101, 102 may be calculated based on a count value obtained by counting the time from when the light emitting unit 112 emits the distance measuring light LML until the SPAD receives the light, which is counted by the TDC.
  • the count value counted by the TDC is called a TDC code.
  • the light detection unit 123 can count the time in a time-division manner and generate the histogram in a time-division manner. At this time, the light detection unit 123 can set the first ranging period and the second ranging period in a time-division manner, and allocate the same circuit resources to counting the time and generating the histogram during the first ranging period and to counting the time and generating the histogram during the second ranging period.
  • the distance calculation unit 124 can obtain the distance from the peak of the histogram generated by the light detection unit 123 to each of the objects 101 and 102 for each pixel. At this time, the distance calculation unit 124 can calculate the distance to each of the objects 101 and 102 based on the peak position of the histogram.
  • the light detection unit 123 can generate histograms with different TDC resolutions during the TDC code circulation period. Note that the TDC code circulation period is the period during which the TDC code goes from 0 to the maximum value at a certain TDC resolution.
  • the TDC resolution is the time resolution based on the TDC code, and is synonymous with the bin width of the histogram.
  • the distance calculation unit 124 can prevent the distance calculation unit 124 from being unable to calculate the distance to one of the objects 101 and 102 or from calculating a non-existent intermediate distance.
  • the emission interval of the distance measurement light LML in the first distance measurement period may be shorter than the emission interval of the distance measurement light LML in the second distance measurement period. This makes it possible to set the emission interval according to the bin width of the first histogram with fine TDC resolution while relaxing the constraints on the emission interval set according to the bin width of the second histogram with coarse TDC resolution.
  • FIG. 2 is a block diagram showing an example of the configuration of the light detection unit according to the first embodiment.
  • the light detection unit 123 includes a light receiving unit 131, a readout circuit 132, a TDC 133, a histogram generation unit 134, and a control unit 135.
  • the light receiving section 131 is provided with a plurality of pixels.
  • the pixels are arranged in a matrix in the row and column directions.
  • a SPAD can be provided in each pixel.
  • Each pixel may be provided with a single SPAD or may be provided with multiple SPADs.
  • the readout circuit 132 reads out pixel data from each pixel in the pixel array section 140 and outputs it to the TDC 133.
  • the TDC133 measures the time difference between light emission and light reception, and converts the measured value into a digital value. At this time, the digital value can indicate the time difference between the output timing of the light emission trigger TRG and the output timing of the SPAD pulse.
  • the TDC133 may also be a multi-hit TDC that measures the time of reception of the reflected lights LRF1 and LRF2, which have different emission intervals of the distance measurement light LML. In this case, the TDC133 can determine the time difference between the multiple SPAD pulses that are detected in sequence after the output of the light emission trigger TRG.
  • the histogram generating unit 134 can generate a histogram showing the relationship between the time difference from light emission to light reception and the number of reactions of the light emitting unit 112. At this time, the histogram generating unit 134 can generate histograms with different TDC resolutions in different TDC code circulation periods. For example, the histogram generating unit 134 can generate two or more first histograms with different TDC code circulation periods in a first ranging period, and generate a second histogram with a coarser TDC resolution than the first histogram in a second ranging period. At this time, the histogram generating unit 134 can make the TDC resolutions of the two or more first histograms equal to each other. The number of distances to the object that the distance calculating unit 124 can calculate is equal to or less than the number of first histograms.
  • the control unit 135 controls the light receiving unit 131, the readout circuit 132, the TDC 133, and the histogram generating unit 134. For example, the control unit 135 controls the operation timing of the light receiving unit 1311, the readout circuit 132, the TDC 133, and the histogram generating unit 134 so that a histogram corresponding to the TDC code circulation period set for each subframe into which a frame is divided is generated.
  • the control unit 135 also outputs a light emission trigger TRG to the driving unit 111. At this time, the control unit 135 may output the light emission trigger TRG to the driving unit 111 so that the light emission interval of the distance measurement light LML in the first distance measurement period is shorter than the light emission interval of the distance measurement light LML in the second distance measurement period.
  • FIG. 3 is a block diagram showing an example of the configuration of a solid-state light receiving unit to which the light detection device according to the first embodiment is applied.
  • the light receiving section 131 and the readout circuit 132 include a pixel array section 140, a row scanning circuit 141, and a column processing circuit 142. These circuits may be arranged on a single semiconductor substrate or on a laminated substrate.
  • pixels 151 are arranged in a matrix in the row and column directions. Each pixel 151 is connected to a signal line SVL for each column via a switch 152, and is connected to a horizontal control line CHL for each row. Each pixel 151 outputs the count value of the pulses generated in response to the incidence of photons as pixel data.
  • the row scanning circuit 141 selects the rows in sequence in synchronization with the vertical synchronization signal. At this time, the row scanning circuit 141 can select the pixel 151 via the horizontal control line CHL.
  • the row scanning circuit 141 supplies selection signals SEL ⁇ 1>- ⁇ n> to the switch 152 for each row in order to select the pixel 151 for each row.
  • the row scanning circuit 141 also supplies count reset signals RST ⁇ 1>- ⁇ n> to the pixels 151 for each row in order to reset the count value of each pixel 151 for each row.
  • the row scanning circuit 141 may include a vertical arbiter that arbitrates the selection of a row that includes a pixel 151 in which a photon has been detected.
  • the column processing circuit 142 performs various signal processing on the pixel data transmitted via the signal line SVL.
  • the column processing circuit 142 may include a line scanner that scans the columns.
  • the column processing circuit 142 may include a horizontal arbiter that arbitrates the selection of the column that includes the pixel 151 in which a photon is detected.
  • FIG. 4 shows an example of a sequence of TDC processing in a distance measuring device according to the first embodiment.
  • frame FM is divided into three subframes SFM0 to SFM2.
  • Subframes SFM1 and SFM2 are assigned to the first ranging period, and subframe SFM0 is assigned to the second ranging period.
  • first ranging period multiple subframes SFM1 and SFM2 with different TDC code circulation periods are assigned.
  • the TDC code circulates multiple times.
  • the TDC code circulation period of subframe SFM1 can be shorter than the TDC code circulation period of subframe SFM2.
  • the TDC code circulation period of subframe SFM0 can be set to a period corresponding to the ranging range MRG.
  • the bin width of the histogram which is the TDC resolution of the second ranging period, can be equal to or smaller than the TDC code circulation period of the first ranging period.
  • the bin width of the histogram generated in subframe SFM0 can be equal to the TDC code circulation period of subframe SFM1.
  • the TDC resolutions of two or more first histograms generated in the first ranging period can be equal to each other.
  • the upper limit of the bin width of the histogram which is the TDC resolution for the second ranging period
  • the lower limit of the bin width of the histogram which is the TDC resolution for the second ranging period
  • the bin width of the coarse histogram can be set to satisfy the condition that the bin width of the coarse histogram is equal to or less than the distance corresponding to the shorter TDC code circulation period. This makes it possible to identify the correspondence between multiple peaks in the histogram caused by multipath and multiple objects 101, 102.
  • the bin width of the coarse histogram can be set to satisfy the condition: bin width of the coarse histogram ⁇ distance measurement range/maximum number of histogram bins. This makes it possible to expand the distance measurement range MRG while suppressing an increase in the load on the generation of the histogram.
  • the number of bins of the coarse histogram generated in subframe SFM0 can be set to 4, the number of bins of the fine histogram generated in subframe SFM1 can be set to 6, and the number of bins of the fine histogram generated in subframe SFM2 can be set to 8.
  • the TDC code circulation period of the fine histogram generated in subframe SFM1 can be set to subrange SR, and the bin width of the coarse histogram generated in subframe SFM0 can be set to subrange SR.
  • the bin width of the fine histograms generated in each of subframes SFM1 and SFM2 can be set to SR/6.
  • the number of TDC code circulations in subframe SFM0 can be set to 1
  • the number of TDC code circulations in subframe SFM1 can be set to 4
  • the number of TDC code circulations in subframe SFM2 can be set to 3.
  • the measurement range MRG can be given as a distance equivalent to the least common multiple (24) of the number of bins of the two Fine histograms generated in subframe SFM1 (6) and the number of bins of the two Fine histograms generated in subframe SFM2 (8).
  • the emission interval of the distance measurement light LML in the first distance measurement period can be shorter than the emission interval of the distance measurement light LML in the second distance measurement period.
  • the emission interval of the distance measurement light LML in each subframe SFM1, SFM2 in the first distance measurement period can be an integer multiple of the TDC code circulation period of each subframe SFM1, SFM2 in the first distance measurement period.
  • the number of times that the distance measurement light LML is emitted in each subframe SFM1, SFM2 in the first distance measurement period can be set to a value obtained by dividing the distance measurement range MRG by the number of bins in each subframe SFM1, SFM2.
  • the number of times that the distance measurement light LML is emitted in subframe SFM0 is set to 1.
  • the number of times that the distance measurement light LML is emitted in subframe SFM1 can be set to 4
  • the number of times that the distance measurement light LML is emitted in subframe SFM2 can be set to 3.
  • FIG. 5 shows an example of a histogram generation process of the distance measuring device according to the first embodiment.
  • the distance calculation unit 124 arranges Fine histograms HS1 for the distance measurement range MRG for each TDC code circulation period of subframe SFM1.
  • the distance calculation unit 124 also arranges Fine histograms HS2 for the distance measurement range MRG for each TDC code circulation period of subframe SFM2.
  • the distance calculation unit 124 generates a tiling histogram HS3 by overlapping the Fine histograms HS1 and HS2 arranged for the distance measurement range MRG for each bin.
  • the two peaks of the coarse histogram HS0 each include the two peaks of the fine histogram HS1. Since the TDC code circulation period of the fine histogram HS1 is shorter than the TDC code circulation period of the fine histogram HS2, in each subrange SR of the two peaks of HS0, the two peaks of the two fine histograms HS1 and HS2 do not overlap at the bin positions of the two peaks of HS0.
  • the distance to the object 101 corresponds to the position of bin 4 of the ranging range MRG
  • the distance to the object 102 corresponds to the position of bin 18 of the ranging range MRG.
  • peaks P0 to P3 where the peaks of the two Fine histograms HS1 and HS2 overlap, are generated in each of the sub-ranges SR0 to SR3 of the tiling histogram HS3.
  • a peak P0 occurs where the peaks of the two fine histograms HS1 and HS2 overlap at the 4 bin position, and a peak occurs in the coarse histogram HS0.
  • a peak P3 occurs where the peaks of the two fine histograms HS1 and HS2 overlap at the 18 bin position, and a peak occurs in the coarse histogram HS0. Therefore, by linking the 4 bin position of peak P0, where the peaks of the two fine histograms HS1 and HS2 in subrange SR0 overlap, with the 0 bin position of the peak in the coarse histogram HS0, the distance to the object 101 can be calculated.
  • the distance to the object 102 can be calculated.
  • peak P1 occurs when the peaks of the two fine histograms HS1 and HS2 overlap at the 10 bin position, and no peak occurs in the coarse histogram HS0.
  • peak P2 occurs when the peaks of the two fine histograms HS1 and HS2 overlap at the 12 bin position, and no peak occurs in the coarse histogram HS0. For this reason, peaks P1 and P2 in the tiling histogram HS3 can be determined to be false peaks.
  • histograms with different TDC resolutions are generated in different TDC code circulation periods.
  • the subrange SR is set in the shorter TDC code circulation period. This makes it possible to uniquely determine the peaks of the histograms based on the reflection of light from objects 101, 102 at different distances by identifying the subranges in which each peak exists. Therefore, even if objects 101, 102 at different distances are within the ranging range MRG, it is possible to prevent the inability to calculate the distance to one of the objects 101, 102 or the calculation of a non-existent intermediate distance.
  • a coarse histogram HS0 with a coarser TDC resolution than the fine histograms HS1 and HS2 is generated. This makes it possible to identify false peaks P1 and P2 while identifying true peaks P0 and P3 of the tiling histogram HS3, thereby improving the distance measurement accuracy of the objects 101 and 102 while suppressing an increase in the load on generating the histograms.
  • Second embodiment In the first embodiment described above, three subframes SFM0 to SFM2 are provided in a frame FM in a time-division manner, and different first TDC code circulation periods are set in two subframes SFM1 and SFM2. A second TDC code circulation period longer than the first TDC code circulation period is provided in the remaining subframe SFM0.
  • two subframes SFM1 and SFM2 are provided in parallel in the frame FM, and different first TDC code circulation periods are set in the two subframes SFM1 and SFM2.
  • a second TDC code circulation period longer than the first TDC code circulation period is provided in the remaining parallel subframes SFM1 and SFM2.
  • FIG. 6 is a block diagram showing an example of the configuration of a light detection unit according to the second embodiment.
  • the light detection unit 223 includes TDCs 133-1 and 133-2, histogram generation units 134-1 and 134-2, and a control unit 235, instead of the TDC 133, histogram generation unit 134, and control unit 135 of the first embodiment described above.
  • the rest of the configuration of the light detection unit 223 of the second embodiment is the same as the configuration of the light detection unit 123 of the first embodiment described above.
  • the light detection unit 223 receives the reflected light LRF1, LRF2 reflected from each of the objects 101, 102.
  • the light detection unit 223 can generate a histogram for each pixel based on a count value obtained by counting the time from when the light emission unit 112 emits the distance measurement light LML in accordance with the light emission trigger TRG until the SPAD receives the light.
  • the light detection unit 223 can perform time counting in parallel and generate histograms in parallel. At this time, the light detection unit 223 can set the first ranging period and the second ranging period in parallel, and allocate separate circuit resources to the time counting and histogram generation for the first ranging period and the time counting and histogram generation for the second ranging period.
  • Each histogram generator 134-1, 134-2 can generate a histogram showing the relationship between the time difference from light emission to light reception and the number of reactions of the light emitter 112. At this time, each histogram generator 134-1, 134-2 can generate histograms with different TDC resolutions in different TDC code circulation periods. For example, the histogram generator 134-1 can generate two or more fine histograms with different TDC code circulation periods in the first ranging period. The histogram generator 134-2 can generate a coarse histogram with a coarser TDC resolution than the fine histogram in the second ranging period.
  • the control unit 235 controls the light receiving unit 131, the readout circuit 132, the TDCs 133-1 and 133-2, and the histogram generating units 134-1 and 134-2. For example, the control unit 235 controls the operation timing of each of the TDCs 133-1 and 133-2 and each of the histogram generating units 134-1 and 134-2 so that the counting of the time of the first ranging period and the generation of the histogram and the counting of the time of the second ranging period and the generation of the histogram are performed in parallel.
  • FIG. 7 shows an example of a TDC processing sequence for a distance measuring device according to the second embodiment.
  • frame FM is divided into two subframes SFM1 and SFM2.
  • the first ranging period and the second ranging period are installed in parallel, and subframes SFM1 and SFM2 are assigned to the first ranging period and the second ranging period, respectively.
  • the first circuit resource is assigned to the first ranging period
  • the second circuit resource is assigned to the second ranging period.
  • TDC 133-1 and histogram generation unit 134-1 can be assigned to the first circuit resource
  • TDC 133-2 and histogram generation unit 134-2 can be assigned to the second circuit resource.
  • the TDC resolutions of two or more Fine histograms generated in the first ranging period can be made equal to each other.
  • the bin widths of the Fine histograms generated in each subframe SFM1, SFM2 of the first ranging period can be made equal to each other.
  • the measurement range MRG can be given as a distance equivalent to the least common multiple of the number of bins of the two Fine histograms generated in each subframe SFM1 and SFM2 in the first measurement period. In this case, the maximum number of objects that can be measured per measurement point is 2.
  • the bin width of the coarse histogram can be set to satisfy the condition that the bin width of the coarse histogram is equal to or less than the distance corresponding to the shorter TDC code circulation period. Also, the bin width of the coarse histogram can be set to satisfy the condition that the bin width of the coarse histogram is equal to or greater than the distance measurement range/maximum number of histogram bins.
  • two subframes SFM1 and SFM2 are provided in parallel in the frame FM, and a set of two subframes SFM1 and SFM2 is assigned to the first ranging period and the second ranging period. Then, different first TDC code circulation periods are set in the two subframes SFM1 and SFM2 of the first ranging period. In addition, a second TDC code circulation period longer than the first TDC code circulation period is provided in the subframes SFM1 and SFM2 of the second ranging period. This eliminates the need to provide three subframes SFM0 to SFM2 in the frame FM to generate two fine histograms HS1 and HS2 and one coarse histogram HS0. This makes it possible to improve the accuracy of ranging for the objects 101 and 102 while suppressing an increase in the load required for generating the histograms, and also improve the frame rate.
  • frame FM is divided into four subframes SFM0 to SFM3.
  • Subframes SFM1 to SFM3 are assigned to a first ranging period, and subframe SFM0 is assigned to a second ranging period.
  • first ranging period multiple subframes SFM1 to SFM3 with different TDC code circulation periods are assigned.
  • TDC code circulates multiple times.
  • the TDC code circulation period of subframe SFM1 can be shorter than the TDC code circulation period of subframe SFM2.
  • the TDC code circulation period of subframe SFM2 can be shorter than the TDC code circulation period of subframe SFM3.
  • the TDC code circulation period of subframe SFM0 can be set to a period corresponding to the ranging range MRG.
  • the bin width of the histogram which is the TDC resolution of the second ranging period, can be equal to or smaller than the TDC code circulation period of the first ranging period.
  • the bin width of the histogram generated in subframe SFM0 can be equal to the TDC code circulation period of subframe SFM1.
  • the TDC resolutions of two or more Fine histograms generated in the first ranging period can be equal to each other.
  • the bin widths of the Fine histograms generated in each of subframes SFM1 to SFM3 can be equal to each other.
  • the histograms generated in each of the subframes SFM1 to SFM3 in the first ranging period are called fine histograms
  • the histogram generated in the subframe SFM0 in the second ranging period is called coarse histogram.
  • the distance equivalent to the light flight time corresponding to all the bins of the fine histogram with the smallest number of bins is set to the subrange SR.
  • the bin width of the coarse histogram can be set to the subrange SR.
  • the ranging range MRG can be given as a distance equivalent to the minimum value of the least common multiple of the number of bins of two fine histograms generated from each set of two subframes out of the three subframes SFM1 to SFM3.
  • the maximum number of objects that can be measured per ranging point is three.
  • the bin width of the coarse histogram can be set to satisfy the condition that the bin width of the coarse histogram is equal to or less than the distance corresponding to the minimum TDC code circulation period of the fine histogram. Also, the bin width of the coarse histogram can be set to satisfy the condition that the bin width of the coarse histogram is equal to or greater than the distance measurement range/maximum number of histogram bins.
  • the number of bins of the coarse histogram generated in subframe SFM0 can be set to 4.
  • the number of bins of the fine histogram generated in subframe SFM1 can be set to 6, the number of bins of the fine histogram generated in subframe SFM2 can be set to 8, and the number of bins of the fine histogram generated in subframe SFM3 can be set to 10.
  • the TDC code circulation period of the fine histogram generated in subframe SFM1 can be set to subrange SR
  • the bin width of the coarse histogram generated in subframe SFM0 can be set to subrange SR.
  • the least common multiple lcm(6,8) of the number of bins of the two fine histograms generated from subframes SFM1 and SFM2 is 24 bins.
  • the least common multiple lcm(6,10) of the number of bins of the two fine histograms generated from subframes SFM1 and SFM3 is 30 bins.
  • the least common multiple lcm(8,10) of the number of bins of the two Fine histograms generated from subframes SFM2 and SFM3 is 40 bins. Therefore, the ranging range MRG is given by the minimum value of these three least common multiples lcm(6,8), lcm(6,10), and lcm(8,10), which is 24 bins.
  • the emission interval of the distance measurement light LML in the first distance measurement period can be shorter than the emission interval of the distance measurement light LML in the second distance measurement period.
  • the emission interval of the distance measurement light LML in each subframe SFM1 to SFM3 in the first distance measurement period may be an integer multiple of the TDC code circulation period of each subframe SFM1 to SFM3 in the first distance measurement period.
  • the number of times that the distance measurement light LML is emitted in each subframe SFM1 to SFM3 in the first distance measurement period can be set to a value obtained by dividing the distance measurement range MRG by the number of bins in each subframe SFM1 to SFM3.
  • fourth embodiment In the above-mentioned third embodiment, four subframes SFM0 to SFM3 are provided in the frame FM in a time-division manner, and different first TDC code circulation periods are set in three subframes SFM1 to SFM3. A second TDC code circulation period longer than the first TDC code circulation period is provided in the remaining one subframe SFM0.
  • four subframes SFM0 to SFM3 are provided in the frame FM in a time-division manner. Then, different first TDC code circulation periods are set in three subframes SFM1 to SFM3, and a second TDC code circulation period longer than the first TDC code circulation period is provided in the remaining one subframe SFM0, so that the distance measurement range MRG is expanded.
  • the maximum number of objects that can be measured per distance measurement point is two, but the distance measurement range MRG is expanded more than in the third embodiment.
  • FIG. 9 shows an example of a sequence of TDC processing in a distance measuring device according to the fourth embodiment.
  • the TDC code circulation period of subframe SFM1 can be shorter than the TDC code circulation period of subframe SFM2.
  • the TDC code circulation period of subframe SFM2 can be shorter than the TDC code circulation period of subframe SFM3.
  • the TDC code circulation period of subframe SFM0 can be set to a period corresponding to the ranging range MRG.
  • the bin width of the histogram which is the TDC resolution of the second ranging period, can be equal to or smaller than the TDC code circulation period of the first ranging period.
  • the bin width of the histogram generated in subframe SFM0 can be equal to the TDC code circulation period of subframe SFM1.
  • the TDC resolutions of two or more Fine histograms generated in the first ranging period can be equal to each other.
  • the bin widths of the Fine histograms generated in each of subframes SFM1 to SFM3 can be equal to each other.
  • the measurement range MRG can be given by the smaller of the least common multiple of the number of bins of the three fine histograms generated from the three subframes SFM1 to SFM3, and the number of bins of the coarse histogram multiplied by the number of bins of the smallest fine histogram. In this case, the maximum number of objects that can be measured per measurement point is 2.
  • the bin width of the coarse histogram can be set to satisfy the condition that the bin width of the coarse histogram is equal to or less than the distance corresponding to the minimum TDC code circulation period of the fine histogram. Also, the bin width of the coarse histogram can be set to satisfy the condition that the bin width of the coarse histogram is equal to or greater than the distance measurement range/maximum number of histogram bins.
  • the number of bins of the Fine histogram generated in subframe SFM1 can be set to 6, the number of bins of the Fine histogram generated in subframe SFM2 can be set to 8, and the number of bins of the Fine histogram generated in subframe SFM3 can be set to 10.
  • the TDC code circulation period of the Fine histogram generated in subframe SFM1 can be set to subrange SR, and the bin width of the Coarse histogram generated in subframe SFM0 can be set to subrange SR.
  • the ranging range MRG is given by 120 bins, which is the least common multiple of the numbers of bins of the three Fine histograms generated from the three subframes SFM1 to SFM3.
  • the number of bins of the Coarse histogram is set to 20 bins, which exceeds the maximum number of bins of the Fine histogram, and therefore the required circuit resources increase.
  • a constraint may be set such that the maximum number of bins of the Fine histogram is the number of bins of the histogram that can be set.
  • the number of bins in the coarse histogram generated in subframe SFM0 is set to 10.
  • the emission interval of the ranging light LML in the first ranging period can be shorter than the emission interval of the ranging light LML in the second ranging period.
  • the emission interval of the ranging light LML in each subframe SFM1 to SFM3 in the first ranging period may be an integer multiple of the TDC code circulation period of each subframe SFM1 to SFM3 in the first ranging period.
  • the number of times that the ranging light LML is emitted in each subframe SFM1 to SFM3 in the first ranging period can be set to a value obtained by dividing the ranging range MRG by the number of bins in each subframe SFM1 to SFM3.
  • the number of times that the ranging light LML is emitted in subframe SFM0 is set to 1.
  • the number of times the distance measurement light LML is emitted in subframe SFM1 can be set to 10
  • the number of times the distance measurement light LML is emitted in subframe SFM2 can be set to 8
  • the number of times the distance measurement light LML is emitted in subframe SFM3 can be set to 6.
  • first TDC code circulation periods are set in three subframes SFM1 to SFM3 of the first ranging period, in order to expand the ranging range MRG. Also, a second TDC code circulation period longer than the first TDC code circulation period is provided in the subframes SFM1 to SFM3 of the second ranging period.
  • FIG. 10 shows an example of a sequence of TDC processing in a distance measuring device according to the fifth embodiment.
  • frame FM is divided into three subframes SFM1 to SFM3.
  • the first ranging period and the second ranging period are installed in parallel, and subframes SFM1 to SFM3 are assigned to each of the first ranging period and the second ranging period.
  • the first circuit resource is assigned to the first ranging period
  • the second circuit resource is assigned to the second ranging period.
  • TDC 133-1 and histogram generation unit 134-1 can be assigned to the first circuit resource
  • TDC 133-2 and histogram generation unit 134-2 can be assigned to the second circuit resource.
  • the TDC code circulation period of subframe SFM1 can be shorter than the TDC code circulation period of subframe SFM2.
  • the TDC code circulation period of subframe SFM2 can be shorter than the TDC code circulation period of subframe SFM3.
  • the TDC code circulation period of subframe SFM1 can be set to a period corresponding to the ranging range MRG.
  • the bin width of the histogram which is the TDC resolution of the second ranging period, can be equal to or smaller than the TDC code circulation period of the first ranging period.
  • the bin width of the histogram generated in subframe SFM1 of the second ranging period can be equal to the TDC code circulation period of subframe SFM1 of the first ranging period.
  • the TDC resolutions of two or more Fine histograms generated in the first ranging period can be equal to each other.
  • the bin widths of the Fine histograms generated in each of the subframes SFM1 to SFM3 in the first ranging period can be made equal to each other.
  • the ranging range MRG can be given by the smaller of the least common multiple of the number of bins of the three Fine histograms generated from the three subframes SFM1 to SFM3, or the number of bins of the Coarse histogram multiplied by the number of bins of the smallest Fine histogram. In this case, the maximum number of objects that can be measured per ranging point is 2.
  • the bin width of the coarse histogram can be set to satisfy the condition that the bin width of the coarse histogram is equal to or less than the distance corresponding to the minimum TDC code circulation period of the fine histogram. Also, the bin width of the coarse histogram can be set to satisfy the condition that the bin width of the coarse histogram is equal to or greater than the distance measurement range/maximum number of histogram bins.
  • the number of bins of the fine histogram generated in subframe SFM1 can be set to 6, the number of bins of the fine histogram generated in subframe SFM2 can be set to 8, and the number of bins of the fine histogram generated in subframe SFM3 can be set to 10.
  • the number of bins of the coarse histogram generated in subframe SFM1 can be set to 10
  • the number of bins of the coarse histogram generated in subframe SFM2 can be set to 8
  • the number of bins of the coarse histogram generated in subframe SFM3 can be set to 6.
  • the TDC code circulation period of the fine histogram generated in subframe SFM1 in the first ranging period can be set to subrange SR
  • the bin width of the coarse histogram generated in subframe SFM1 in the second ranging period can be set to subrange SR
  • three subframes SFM1 to SFM3 are arranged in parallel in the frame FM, and a set of three subframes SFM1 to SFM3 are assigned to the first ranging period and the second ranging period. Then, different first TDC code circulation periods are set in the three subframes SFM1 to SFM3 of the first ranging period so that the ranging range MRG is expanded. In addition, a second TDC code circulation period longer than the first TDC code circulation period is provided in the subframes SFM1 to SFM3 of the second ranging period.
  • different first TDC code circulation periods are set in three subframes SFM1 to SFM3 of the first ranging period so that the ranging range MRG is expanded. Then, a second TDC code circulation period longer than the first TDC code circulation period is provided in the subframes SFM1 to SFM3 of the second ranging period.
  • two subframes SFM1 and SFM2 are provided in parallel in the frame FM, and a set of two subframes SFM1 and SFM2 is assigned to the first ranging period and the second ranging period.
  • first TDC code circulation periods of the three different first TDC code circulation periods are set in the subframes SFM1 and SFM2 of the first ranging period so that the ranging range MRG is expanded. Further, a second TDC code circulating period longer than the first TDC code circulating period and one remaining first TDC code circulating period are provided in the subframes SFM1 and SFM2 of the second ranging period.
  • FIG. 11 shows an example of a sequence of TDC processing in a distance measuring device according to the sixth embodiment.
  • frame FM is divided into two subframes SFM1 and SFM2.
  • the first ranging period and the second ranging period are installed in parallel, and subframes SFM1 and SFM2 are assigned to the first ranging period and the second ranging period, respectively.
  • the first circuit resource is assigned to the first ranging period
  • the second circuit resource is assigned to the second ranging period.
  • TDC 133-1 and histogram generation unit 134-1 can be assigned to the first circuit resource
  • TDC 133-2 and histogram generation unit 134-2 can be assigned to the second circuit resource.
  • the TDC code circulation period of subframe SFM1 can be shorter than the TDC code circulation period of subframe SFM2.
  • the TDC code circulation period of subframe SFM2 can be shorter than the TDC code circulation period of subframe SFM1 in the first ranging period.
  • the TDC code circulation period of subframe SFM1 in the second ranging period can be set to a period corresponding to the ranging range MRG.
  • the histogram bin width which is the TDC resolution of subframe SFM1 in the second ranging period, can be set to be equal to or smaller than the TDC code circulation period of the first ranging period.
  • the histogram bin width generated in subframe SFM1 in the second ranging period can be equal to the TDC code circulation period of subframe SFM1 in the first ranging period.
  • the TDC resolution of two or more fine histograms generated in the first ranging period and the TDC resolution of the fine histogram generated in the subframe SFM2 in the second ranging period can be made equal to each other.
  • the bin widths of the fine histograms generated in each subframe SFM1, SFM2 in the first ranging period and the subframe SFM2 in the second ranging period can be made equal to each other.
  • the ranging range MRG can be given by the least common multiple of the number of bins of the three fine histograms generated in each subframe SFM1, SFM2 in the first ranging period and the subframe SFM2 in the second ranging period, or the number of bins of the coarse histogram multiplied by the number of bins of the smallest fine histogram.
  • the maximum number of objects that can be measured per ranging point is 2.
  • the bin width of the coarse histogram can be set to satisfy the condition that the bin width of the coarse histogram is equal to or less than the distance corresponding to the minimum TDC code circulation period of the fine histogram. Also, the bin width of the coarse histogram can be set to satisfy the condition that the bin width of the coarse histogram is equal to or greater than the distance measurement range/maximum number of histogram bins.
  • the number of bins of the fine histogram generated in subframe SFM1 can be set to 6, and the number of bins of the fine histogram generated in subframe SFM2 can be set to 8.
  • the number of bins of the coarse histogram generated in subframe SFM1 can be set to 10
  • the number of bins of the fine histogram generated in subframe SFM2 can be set to 10.
  • the TDC code circulation period of the fine histogram generated in subframe SFM1 in the first ranging period can be set to subrange SR
  • the bin width of the coarse histogram generated in subframe SFM1 in the second ranging period can be set to subrange SR.
  • two subframes SFM1 and SFM2 are provided in parallel in the frame FM. Then, two of the three different first TDC code circulation periods are set in the two subframes SFM1 and SFM2 of the first ranging period so that the ranging range MRG is expanded. In addition, a second TDC code circulation period longer than the first TDC code circulation period and the remaining one first TDC code circulation period are provided in the two subframes SFM1 and SFM2 of the second ranging period.
  • a distance measurement mode can be selected in distance measurement in which a plurality of subframes are provided in the frame in a time-division manner.
  • FIG. 12 shows an example of a distance measurement mode of a distance measurement device according to the seventh embodiment.
  • the distance measuring device 100 is provided with distance measuring modes including a frame rate priority mode, a detectable peak number setting mode, and a distance measuring range priority mode.
  • the distance measuring device 100 can use the light detection unit 123 for light detection.
  • the frame rate priority mode is a mode that supports faster frame rates.
  • the detectable peak number setting mode is a mode that allows the number of objects that can be measured to be switched between two and three.
  • the distance measuring range priority mode is a mode that supports an expansion of the distance measuring range.
  • the ranging device 100 can switch the ranging range, the number of compatible peaks, the number of subframes, and the laser emission interval depending on the selection of the frame rate priority mode, the detectable peak number setting mode, and the ranging range priority mode. For example, in the frame rate priority mode, the ranging device 100 can execute the ranging process of the first embodiment described above. When the three-peak support is selected in the detectable peak number setting mode, the ranging device 100 can execute the ranging process of the third embodiment described above. When the ranging range priority mode is selected, the ranging device 100 can execute the ranging process of the fourth embodiment described above.
  • the distance measuring device 100 may change the laser emission interval for each subframe in each of the frame rate priority mode, the detectable peak number setting mode, and the distance measurement range priority mode.
  • the distance measuring device 100 is provided with the following distance measuring modes: a frame rate priority mode, a detectable peak number setting mode, and a distance measuring range priority mode. This allows the distance measuring device 100 to perform distance measuring while changing the distance measuring conditions, making it possible to realize distance measuring that is adapted to the distance measuring environment.
  • a ranging mode can be selected in ranging in which a plurality of subframes are provided in a frame in a time-division manner.
  • a ranging mode can be selected in ranging in which a plurality of subframes are provided in parallel in a frame.
  • FIG. 13 shows an example of a distance measurement mode of a distance measurement device according to the eighth embodiment.
  • the distance measuring device 100 is provided with a frame rate priority mode and a distance measuring range priority mode as distance measuring modes.
  • the distance measuring device 100 can use the light detection unit 223 for light detection.
  • the ranging device 100 can switch the ranging range, the number of corresponding peaks, the number of subframes, and the laser emission interval depending on the selection of the frame rate priority mode and the ranging range priority mode. For example, in the frame rate priority mode, the ranging device 100 can execute the ranging process of the second embodiment described above. When the ranging range priority mode is selected, the ranging device 100 can execute the ranging process of the fifth embodiment described above or the ranging process of the sixth embodiment described above.
  • the distance measuring device 100 is provided with a frame rate priority mode and a distance measuring range priority mode as distance measuring modes. This allows the distance measuring device 100 to perform distance measuring while changing the distance measuring conditions, making it possible to realize distance measuring adapted to the distance measuring environment.
  • a pixel array unit 140 in which pixels 151 are arranged is provided in an upper layer chip, and a circuit array unit in which circuit units are arranged is provided in a lower layer chip.
  • FIG. 14 is a perspective view showing an example of a stack of the light detection unit according to the ninth embodiment.
  • the light detection section includes a pixel array section 140 and a circuit array section 501.
  • the pixel array section 140 can be stacked on the circuit array section 501.
  • the pixel array section 140 includes pixels 151 and a readout circuit 132.
  • the pixels 151 are arranged in a matrix in the row and column directions. Each pixel 151 can be provided with a SPAD.
  • the circuit array section 501 includes circuit sections 511.
  • the circuit sections 511 are arranged in a matrix in the row and column directions.
  • a circuit section 511 can be provided for each pixel 151.
  • Each circuit section 511 can be provided with a TDC 133, a histogram generation section 134, and the like.
  • the lower chip on which the circuit array section 501 is formed and the upper chip on which the pixel array section 140 is formed may be directly bonded.
  • pad electrodes 521, 522 may be formed on the lower chip and the upper chip, respectively.
  • the pad electrode 521 is connected to the circuit section 511.
  • the pad electrode 522 is connected to the readout circuit 132.
  • the pad electrodes 521, 522 may be disposed opposite each other. Hybrid bonding may be used for the direct bonding of the lower chip and the upper chip. In this case, the pad electrodes 521, 522 may be connected by Cu-Cu connection.
  • the pixel array section 140 in which the pixels 151 are arranged is stacked on the circuit array section 501 in which the circuit section 511 is arranged. This makes it possible to increase the area of the pixels 151 while suppressing an increase in chip size, thereby enabling the solid-state imaging device to be miniaturized while improving sensitivity.
  • pixel array section 140 in which pixels 151 are arranged is stacked on circuit array section 501 in which circuit sections 511 are arranged.
  • a pixel array section in which pixels each having a plurality of SPADs are arranged is provided on an upper chip, and a circuit array section in which circuit sections are arranged is provided on a lower chip.
  • FIG. 15 is a perspective view showing an example of a stack of the light detection unit according to the tenth embodiment.
  • the light detection section includes a pixel array section 640 and a circuit array section 601.
  • the pixel array section 640 can be stacked on the circuit array section 601.
  • the pixel array section 640 includes pixels 651 and a readout circuit 132.
  • the pixels 651 are arranged in a matrix in the row and column directions.
  • Each pixel 651 can be provided with multiple SPADs 652.
  • the SPADs 652 may be arranged in a matrix in the row and column directions.
  • an example is shown in which the SPADs 652 are arranged in a matrix of two rows and two columns.
  • the multiple SPADs 652 can be connected in parallel.
  • the circuit array section 601 includes a circuit section 611.
  • the circuit sections 611 are arranged in a matrix in the row and column directions.
  • a circuit section 611 can be provided for each pixel 651.
  • Each circuit section 611 can be provided with a TDC 133, a histogram generation section 134, and the like.
  • the readout circuit 132 of each circuit section 611 can be connected to multiple SPADs 652 of each pixel 651.
  • the lower chip on which the circuit array section 601 is formed and the upper chip on which the pixel array section 640 is formed may be directly bonded.
  • pad electrodes 621, 622 can be formed on the lower chip and the upper chip, respectively.
  • the pad electrode 621 is connected to the circuit section 611.
  • the pad electrode 622 is connected to the readout circuit 132.
  • the pad electrodes 621, 622 can be disposed opposite each other. Hybrid bonding can be used to directly bond the lower chip and the upper chip. In this case, the pad electrodes 621, 622 can be connected by Cu-Cu connection.
  • the pixel array section 640 in which the pixels 651 each having a plurality of SPADs 652 are arranged is stacked on the circuit array section 601 in which the circuit sections 611 are arranged. This makes it possible to increase the area of each pixel 651 while suppressing an increase in chip size, and to increase the frequency of light reception. Therefore, it is possible to improve the sensitivity while miniaturizing the solid-state imaging device, and to improve the S/N ratio.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility device, an airplane, a drone, a ship, or a robot.
  • FIG. 16 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile object control system to which the technology disclosed herein can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
  • Also shown as functional components of the integrated control unit 12050 are a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 functions as a control device for a drive force generating device for generating the drive force of the vehicle, such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle of the vehicle, and a braking device for generating a braking force for the vehicle.
  • the outside-vehicle information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image capturing unit 12031 is connected to the outside-vehicle information detection unit 12030.
  • the outside-vehicle information detection unit 12030 causes the image capturing unit 12031 to capture images outside the vehicle, and receives the captured images.
  • the outside-vehicle information detection unit 12030 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, or characters on the road surface, based on the received images.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of light received.
  • the imaging unit 12031 can output the electrical signal as an image, or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light, or may be invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects information inside the vehicle.
  • a driver state detection unit 12041 that detects the state of the driver is connected.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 may calculate the driver's degree of fatigue or concentration based on the detection information input from the driver state detection unit 12041, or may determine whether the driver is dozing off.
  • the microcomputer 12051 can calculate control target values for the driving force generating device, steering mechanism, or braking device based on information inside and outside the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, and output control commands to the drive system control unit 12010.
  • the microcomputer 12051 can perform cooperative control aimed at realizing the functions of an Advanced Driver Assistance System (ADAS), including vehicle collision avoidance or impact mitigation, following driving based on the distance between vehicles, maintaining vehicle speed, vehicle collision warning, or vehicle lane departure warning.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 can also perform cooperative control for the purpose of autonomous driving, which allows the vehicle to travel autonomously without relying on the driver's operation, by controlling the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040.
  • the microcomputer 12051 can also output control commands to the body system control unit 12020 based on information outside the vehicle acquired by the outside-vehicle information detection unit 12030. For example, the microcomputer 12051 can control the headlamps according to the position of a preceding vehicle or an oncoming vehicle detected by the outside-vehicle information detection unit 12030, and perform cooperative control aimed at preventing glare, such as switching from high beams to low beams.
  • the audio/image output unit 12052 transmits at least one output signal of audio and image to an output device capable of visually or audibly notifying the occupants of the vehicle or the outside of the vehicle of information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 17 shows an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at the front nose, side mirrors, rear bumper, back door, and upper part of the windshield inside the vehicle cabin of the vehicle 12100.
  • the imaging unit 12101 provided at the front nose and the imaging unit 12105 provided at the upper part of the windshield inside the vehicle cabin mainly acquire images of the front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided at the side mirrors mainly acquire images of the sides of the vehicle 12100.
  • the imaging unit 12104 provided at the rear bumper or back door mainly acquires images of the rear of the vehicle 12100.
  • the imaging unit 12105 provided at the upper part of the windshield inside the vehicle cabin is mainly used to detect leading vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, etc.
  • FIG. 17 shows an example of the imaging ranges of the imaging units 12101 to 12104.
  • Imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • imaging range 12114 indicates the imaging range of the imaging unit 12104 provided on the rear bumper or back door.
  • an overhead image of the vehicle 12100 viewed from above is obtained by superimposing the image data captured by the imaging units 12101 to 12104.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera consisting of multiple imaging elements, or an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 can obtain the distance to each solid object within the imaging ranges 12111 to 12114 and the change in this distance over time (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104, and can extract as a preceding vehicle, in particular, the closest solid object on the path of the vehicle 12100 that is traveling in approximately the same direction as the vehicle 12100 at a predetermined speed (e.g., 0 km/h or faster). Furthermore, the microcomputer 12051 can set the inter-vehicle distance that should be maintained in advance in front of the preceding vehicle, and perform automatic braking control (including follow-up stop control) and automatic acceleration control (including follow-up start control). In this way, cooperative control can be performed for the purpose of automatic driving, which runs autonomously without relying on the driver's operation.
  • automatic braking control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 classifies and extracts three-dimensional object data on three-dimensional objects, such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects, based on the distance information obtained from the imaging units 12101 to 12104, and can use the data to automatically avoid obstacles.
  • the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk, which indicates the risk of collision with each obstacle, and when the collision risk is equal to or exceeds a set value and there is a possibility of a collision, it can provide driving assistance for collision avoidance by outputting an alarm to the driver via the audio speaker 12061 or the display unit 12062, or by forcibly decelerating or steering to avoid a collision via the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104. The recognition of such a pedestrian is performed, for example, by a procedure of extracting feature points in the captured image of the imaging units 12101 to 12104 as infrared cameras, and a procedure of performing pattern matching processing on a series of feature points that indicate the contour of an object to determine whether or not it is a pedestrian.
  • the audio/image output unit 12052 controls the display unit 12062 to superimpose a rectangular contour line for emphasis on the recognized pedestrian.
  • the audio/image output unit 12052 may also control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology disclosed herein can be applied to the imaging unit 12031 of the configuration described above.
  • the above-mentioned distance measuring device 100 can be applied to the imaging unit 12031.
  • the above-described embodiment shows an example for realizing the present technology, and there is a corresponding relationship between the matters in the embodiment and the matters specifying the invention in the claims. Similarly, there is a corresponding relationship between the matters specifying the invention in the claims and the matters in the embodiment of the present technology that have the same name.
  • the present technology is not limited to the embodiment, and can be realized by making various modifications to the embodiment without departing from the gist of the technology.
  • the effects described in this specification are merely examples and are not limiting, and other effects may also be present.
  • the present technology can also be configured as follows.
  • a time-to-digital converter (TDC) that measures the time when a photon is received; and a histogram generator for generating histograms having different TDC resolutions in different TDC code rotation periods of the TDC; a distance calculation unit that calculates a distance to an object based on the histogram generated by the histogram generation unit.
  • TDC time-to-digital converter
  • the histogram generation unit generating two or more first histograms having different TDC code rotation periods in a first ranging period;
  • the photodetector according to (3) or (4), wherein an interval between emission of the distance measurement light in the first distance measurement period is an integer multiple of the TDC code circulation period for the first histogram.
  • An optical detection device according to any one of (3) to (8), wherein the upper limit of the bin width of the histogram, which is the TDC resolution of the second ranging period, is the minimum value of the TDC code rotation period for the first histogram.
  • the photodetector according to any one of (3) to (10), wherein the first distance measurement period and the second distance measurement period are set in a time-division manner.
  • the optical detection device in at least one of the frame rate priority mode, the detectable peak number setting mode, and the ranging range priority mode, the emission interval of the ranging light is changed for each subframe.
  • the light detection device further comprising a distance calculation unit that calculates a distance to an object based on the histogram generated by the histogram generation unit.
  • the distance calculation unit calculates a distance to at least one object based on the first histogram and the second histogram.
  • the light detection device according to (17) or (18), wherein the number of distances to the object that can be calculated by the distance calculation unit is equal to or less than the number of the first histograms.
  • a light emitting unit that emits photons to an object; and a photodetector that generates histograms having different TDC resolutions in different TDC code circulation periods of a TDC (Time to Digital Converter) that measures the time of reception of photons reflected from the target.
  • TDC Time to Digital Converter
  • REFERENCE SIGNS LIST 100 Distance measuring device 101, 102 Object 111 Driving section 112 Light emitting section 113, 121 Optical system 122 Optical filter 123 Light detecting section 124 Distance calculating section 131 Pixel array section 132 Readout circuit 133 TDC 134 Histogram generating unit 135 Control unit 131 Pixel array unit 141 Row scanning circuit 142 Column processing circuit 151 Pixel 152 Switch

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

複数の対象物から光の反射に対応しつつ、測距精度の低下を抑制する。　光検出装置は、光子の受光タイミングの時刻を計測するＴＤＣ（Time to Digital Converter）と、ＴＤＣの互いに異なるＴＤＣコード循環期間において、互いに異なるＴＤＣ分解能を持つヒストグラムを生成するヒストグラム生成部とを備える。ヒストグラム生成部は、第１測距期間においてＴＤＣコード循環期間が互いに異なる２以上の第１ヒストグラムを生成し、第２測距期間において第１ヒストグラムよりもＴＤＣ分解能が粗い第２ヒストグラムを生成してもよい。

Description

光検出装置および測距システム
　本技術は、光検出装置および測距システムに関する。詳しくは、本技術は、複数のＴＤＣ（Time to Digital Converter）分解能に基づいて光検出可能な光検出装置および測距システムに関する。
　測距では、ＴｏＦ(Time of Flight)センサが用いられることがある。ＴｏＦセンサでは、対象物への光の発光タイミングと、対象物から反射された光の受光タイミングとから、対象物までの距離が直接測定される。例えば、光の発光タイミングから受光タイミングまでの時間を互いに異なるＴＤＣ分解能でカウントしたカウント値に基づいての生成したヒストグラムから対象物までの距離を算出する測距装置が提案されている（例えば、特許文献１参照）。
特開２０２１－１７６３号公報
　しかしながら、上述の従来技術では、複数の対象物から光が反射されると、測距対象の特定ができず、測距精度の低下を招くおそれがあった。
　本技術はこのような状況に鑑みて生み出されたものであり、複数の対象物から光の反射に対応しつつ、測距精度の低下を抑制することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、光子の受光タイミングの時刻を計測するＴＤＣ（Time to Digital Converter）と、前記ＴＤＣの互いに異なるＴＤＣコード循環期間において、互いに異なるＴＤＣ分解能を持つヒストグラムを生成するヒストグラム生成部とを備える光検出装置である。これにより、短い方のＴＤＣコード循環期間にサブレンジを設定すると、互いに距離が異なる対象物からの光の反射に基づくヒストグラムのピークが、各ピークの存在する各サブレンジを特定することで、一意に判別可能という作用をもたらす。
　また、第１の側面において、前記ＴＤＣは、発光間隔が互いに異なる前記光子の受光タイミングの時刻を計測してもよい。これにより、ヒストグラムのビン幅に応じて測距光の発光間隔が設定可能となるという作用をもたらす。
　また、第１の側面において、前記ヒストグラム生成部は、第１測距期間において前記ＴＤＣコード循環期間が互いに異なる２以上の第１ヒストグラムを生成し、第２測距期間において前記第１ヒストグラムよりも前記ＴＤＣ分解能が粗い第２ヒストグラムを生成してもよい。これにより、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジを拡大するとともに、マルチパスに起因するヒストグラムの複数のピークと複数の対象物との対応関係が識別可能となるという作用をもたらす。
　また、第１の側面において、前記第１測距期間の測距光の発光間隔は、前記第２測距期間の前記測距光の発光間隔より短くてもよい。これにより、ＴＤＣ分解能が粗い第２ヒストグラムのビン幅に応じて設定される発光間隔の制約を緩和しつつ、ＴＤＣ分解能が細かい第１ヒストグラムのビン幅に応じた発光間隔が設定されるという作用をもたらす。
　また、第１の側面において、前記第１測距期間における前記測距光の発光間隔は、前記第１ヒストグラムについての前記ＴＤＣコード循環期間の整数倍でもよい。これにより、第１測距期間におけるＴＤＣコード循環期間において光子の発光数が増大されるという作用をもたらす。
　また、第１の側面において、前記第２測距期間のＴＤＣ分解能であるヒストグラムのビン幅は、前記第１ヒストグラムについての前記ＴＤＣコード循環期間と同等以下でもよい。これにより、短い方のＴＤＣコード循環期間にサブレンジを設定すると、互いに距離が異なる対象物からの光の反射に基づくヒストグラムのピークが、各ピークの存在する各サブレンジを特定することで、一意に判別可能という作用をもたらす。
　また、第１の側面において、前記第１測距期間において前記ＴＤＣのＴＤＣコードが測距レンジ内で複数回循環してもよい。これにより、ＴＤＣのカウント動作に基づいて、ＴＤＣ分解能が細かい第１ヒストグラムが生成されるという作用をもたらす。
　また、第１の側面において、前記２以上の第１ヒストグラムの前記ＴＤＣ分解能は互いに等しくてもよい。これにより、２以上の第１ヒストグラムのＴＤＣ分解能が適正化されるという作用をもたらす。
　また、第１の側面において、前記第２測距期間の前記ＴＤＣ分解能であるヒストグラムのビン幅の上限は、前記第１ヒストグラムについての前記ＴＤＣコード循環期間の最小値でもよい。これにより、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジが拡大されるとともに、マルチパスに起因するヒストグラムの複数のピークと複数の対象物との対応関係が識別可能となるという作用をもたらす。
　また、第１の側面において、前記第２測距期間の前記ＴＤＣ分解能であるヒストグラムのビン幅の下限は、前記第２ヒストグラムのビン数の最大値で測距レンジを割った値でもよい。これにより、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジが拡大されるという作用をもたらす。
　また、第１の側面において、前記第１測距期間および前記第２測距期間は時分割的に設定されてもよい。これにより、同一の回路資源を割り当てつつ、２以上の対象物までの距離が算出されるという作用をもたらす。
　また、第１の側面において、前記第１ヒストグラムの生成および前記第２ヒストグラムの生成に同一の回路資源が割り当てられてもよい。これにより、回路資源の増大を抑制しつつ、２以上の対象物までの距離が算出されるという作用をもたらす。
　また、第１の側面において、前記第１測距期間および前記第２測距期間は並列に設定されてもよい。これにより、フレームレートの増大を抑制しつつ、距離可能な距離の個数が増大されるという作用をもたらす。
　また、第１の側面において、前記第１ヒストグラムの生成および前記第２ヒストグラムの生成に別個の回路資源が割り当てられてもよい。これにより、複数のヒストグラムの生成が並列に実施可能になるという作用をもたらす。
　また、第１の側面において、フレームレートを高速化可能なフレームレート優先モードと、検出可能ピーク数を増大可能な検出可能ピーク数設定モードと、測距レンジを拡大可能な測距レンジ優先モードとのいずれか少なくとも１つが設けられてもよい。これにより、測距環境に応じて測距条件を適正化しつつ、測距が可能となるという作用をもたらす。
　また、第１の側面において、前記フレームレート優先モードと、前記検出可能ピーク数設定モードと、前記測距レンジ優先モードとのいずれか少なくとも１つにおいて、前記測距光の発光間隔がサブフレームごとに変化されてもよい。これにより、測距光の発光間隔が変化されたサブフレームの合成処理に基づいて測距レンジが拡張可能となるという作用をもたらす。
　また、第１の側面において、前記ヒストグラム生成部で生成されたヒストグラムに基づいて、対象物までの距離を算出する距離算出部をさらに備えてもよい。これにより、対象物から反射された光の受光タイミングの時刻を計測して、対象物までの距離が算出されるという作用をもたらす。
　また、第１の側面において、前記距離算出部は、前記第１ヒストグラムおよび第２ヒストグラムに基づいて、少なくとも１つの対象物までの距離を算出してもよい。これにより、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジを拡大するとともに、マルチパスに起因するヒストグラムの複数のピークと複数の対象物との対応関係が識別可能となるという作用をもたらす。
　また、第１の側面において、前記距離算出部が算出可能な対象物までの距離の個数は、前記第１ヒストグラムの個数以下でもよい。これにより、２以上の対象物までの距離が算出されるという作用をもたらす。
　また、第２の側面は、光子を対象物に出射する発光部と、前記対象物から反射された光子の受光タイミングの時刻を計測するＴＤＣ（Time to Digital Converter）の互いに異なるＴＤＣコード循環期間において、互いに異なるＴＤＣ分解能を持つヒストグラムを生成する光検出装置とを備える測距システムである。これにより、短い方のＴＤＣコード循環期間にサブレンジを設定すると、互いに距離が異なる対象物からの光の反射に基づくヒストグラムのピークが、各ピークの存在する各サブレンジを特定することで、一意に判別可能という作用をもたらす。
第１の実施の形態に係る測距装置の構成例を示すブロック図である。 第１の実施の形態に係る光検出部の構成例を示すブロック図である。 第１の実施の形態に係る光検出装置が適用される固体撮像装置の構成例を示すブロック図である。 第１の実施の形態に係る測距装置のＴＤＣ処理のシーケンスの一例を示す図である。 第１の実施の形態に係る測距装置のヒストグラム生成処理の一例を示す図である。 第２の実施の形態に係る光検出部の構成例を示すブロック図である。 第２の実施の形態に係る測距装置のＴＤＣ処理のシーケンスの一例を示す図である。 第３の実施の形態に係る測距装置のＴＤＣ処理のシーケンスの一例を示す図である。 第４の実施の形態に係る測距装置のＴＤＣ処理のシーケンスの一例を示す図である。 第５の実施の形態に係る測距装置のＴＤＣ処理のシーケンスの一例を示す図である。 第６の実施の形態に係る測距装置のＴＤＣ処理のシーケンスの一例を示す図である。 第７の実施の形態に係る測距装置の測距モードの一例を示す図である。 第８の実施の形態に係る測距装置の測距モードの一例を示す図である。 第９の実施の形態に係る光検出部の積層例を示す斜視図である。 第１０の実施の形態に係る光検出部の積層例を示す斜視図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（３つのサブフレームをフレームに時分割的に設け、互いに異なる第１ＴＤＣコード循環期間を２つのサブフレームに設定し、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を残りの１つのサブフレームに設けた例）
　２．第２の実施の形態（２つのサブフレームをフレームに並列して設け、互いに異なる第１ＴＤＣコード循環期間を２つのサブフレームに設定し、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を残りの並列のサブフレームに設けた例）
　３．第３の実施の形態（４つのサブフレームをフレームに時分割的に設け、互いに異なる第１ＴＤＣコード循環期間を３つのサブフレームに設定し、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を残りの１つのサブフレームに設けた例）
　４．第４の実施の形態（４つのサブフレームをフレームに時分割的に設け、測距レンジが拡大されるように、互いに異なる第１ＴＤＣコード循環期間を３つのサブフレームに設定するとともに、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を残りの１つのサブフレームに設けた例）
　５．第５の実施の形態（３つのサブフレームをフレームに並列して設け、測距レンジが拡大されるように、互いに異なる第１ＴＤＣコード循環期間を３つのサブフレームに設定するとともに、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を残りの並列のサブフレームに設けた例）
　６．第６の実施の形態（２つのサブフレームをフレームに並列して設け、測距レンジが拡大されるように、互いに異なる３つの第１ＴＤＣコード循環期間のうちの２つの第１ＴＤＣコード循環期間を２つのサブフレームに設定するとともに、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間および残りの１つの第１ＴＤＣコード循環期間を残りの並列のサブフレームに設けた例）
　７．第７の実施の形態（複数のサブフレームがフレームに時分割的に設けられた測距における測距モードの例）
　８．第８の実施の形態（複数のサブフレームがフレームに並列して設けられた測距における測距モードの例）
　９．第９の実施の形態（画素アレイ部を上層チップに設け、回路アレイ部を下層チップに設けた例）
　１０．第１０の実施の形態（複数のＳＰＡＤが設けられた画素が配列された画素アレイ部を上層チップに設け、回路アレイ部を下層チップに設けた例）
　１１．移動体への応用例
　＜１．第１の実施の形態＞
　図１は、第１の実施の形態に係る測距装置の構成例を示すブロック図である。
　同図において、測距装置１００は、例えば、ＴｏＦに基づいて測距を実施する。ここで、測距装置１００は、光子を含む測距光ＬＭＬを各対象物１０１、１０２に出射する。そして、測距装置１００は、測距光ＬＭＬが各対象物１０１、１０２で反射された反射光ＬＲＦ１、ＬＲＦ２の受光タイミングに基づいて、各対象物１０１、１０２までの距離を算出することができる。
　このとき、測距装置１００は、互いに異なるＴＤＣ分解能でカウントしたカウント値に基づいて生成したヒストグラムから各対象物１０１、１０２までの距離を算出することができる。ここで、測距装置１００は、第１測距期間においてＴＤＣコード循環期間が互いに異なる２以上の第１ヒストグラムを生成し、第２測距期間において第１ヒストグラムよりもＴＤＣ分解能が粗い第２ヒストグラムを生成することができる。これにより、測距装置１００は、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジを拡大するとともに、マルチパスに起因するヒストグラムの複数のピークと各対象物１０１、１０２との対応関係を識別することができる。
　測距装置１００は、駆動部１１１、発光部１１２、光検出部１２３、距離算出部１２４、光学系１１３、１２１および光学フィルタ１２２を備える。
　駆動部１１１は、光検出部１２３からの指示に従って、発光部１１２を駆動する。このとき、駆動部１１１は、光検出部１２３からの発光トリガＴＲＧに従って、発光部１１２の駆動タイミングを設定する。
　発光部１１２は、駆動部１１１の駆動に従って、所定の波長域の光を出射する。所定の波長域は、可視域でもよいし、赤外域でもよい。発光部１１２は、測距光ＬＭＬの発光間隔を変化させることができる。発光部１１２には、レーザーダイオードを用いることができる。発光部１１２は、発光領域を変化させてもよい。このとき、レーザーダイオードは、複数設けてもよい。
　光学系１１３は、測距光ＬＭＬを対象物１０１、１０２に結像させる。なお、光学系１１３は、レンズおよび光学フィルタなどを備えてもよい。
　光学系１２１は、各反射光ＬＲＦ１、ＬＲＦ２を光検出部１２３の受光面に結像させる。なお、光学系１２１は、レンズおよび絞りなどを備えてもよい。
　光学フィルタ１２２は、各反射光ＬＲＦ１、ＬＲＦ２から不要な波長帯の光を除去する。
　光検出部１２３は、各対象物１０１、１０２から反射された反射光ＬＲＦ１、ＬＲＦ２を受光する。光検出部１２３には、反射光ＬＲＦ１、ＬＲＦ２を受光するために、ＳＰＡＤ（Single Photon Avalanche Diode）を設けることができる。光検出部１２３は、発光トリガＴＲＧに従って発光部１１２が測距光ＬＭＬを出射してから、ＳＰＡＤが受光するまでの時間をカウントしたカウント値に基づいて、ヒストグラムを画素ごとに生成することができる。ヒストグラムは、ＳＰＡＤの反応数（受光頻度とも言う）と各対象物１０１、１０２までの距離との関係を示すことができる。各対象物１０１、１０２までの距離は、発光部１１２が測距光ＬＭＬを出射してから、ＳＰＡＤが受光するまでの時間がＴＤＣでカウントされたカウント値に基づいて換算することができる。なお、以下の説明では、ＴＤＣでカウントされたカウント値をＴＤＣコードと呼ぶ。
　ここで、光検出部１２３は、時間のカウントを時分割的に実行するとともに、ヒストグラムの生成を時分割的に実行することができる。このとき、光検出部１２３は、第１測距期間および第２測距期間を時分割的に設定し、第１測距期間の時間のカウントおよびヒストグラムの生成と、第２測距期間の時間のカウントおよびヒストグラムの生成に同一の回路資源を割り当てることができる。
　距離算出部１２４は、光検出部１２３で生成されたヒストグラムのピークから各対象物１０１、１０２までの距離を画素ごとに求めることができる。このとき、距離算出部１２４は、ヒストグラムのピーク位置に基づいて、各対象物１０１、１０２までの距離を算出することができる。ここで、光検出部１２３は、ＴＤＣコード循環期間において、互いに異なるＴＤＣ分解能を持つヒストグラムを生成することができる。なお、ＴＤＣコード循環期間は、あるＴＤＣ分解能においてＴＤＣコードが０から最大値までの至る期間である。ＴＤＣ分解能は、ＴＤＣコードに基づく時間分解能であり、ヒストグラムのビン幅と同義である。これにより、短い方のＴＤＣコード循環期間にサブレンジが設定されると、互いに距離が異なる対象物１０１、１０２からの光の反射に基づくヒストグラムのピークが、各ピークの存在する各サブレンジを特定することで、一意に判別可能となる。このため、距離算出部１２４は、互いに距離が異なる対象物１０１、１０２で測距光ＬＭＬが反射される場合においても、一方の対象物１０１、１０２の距離の算出ができなくなったり、実在しない中間の距離を算出したりするのを防止することができる。
　ここで、第１測距期間の測距光ＬＭＬの発光間隔は、第２測距期間の測距光ＬＭＬの発光間隔より短くてもよい。これにより、ＴＤＣ分解能が粗い第２ヒストグラムのビン幅に応じて設定される発光間隔の制約を緩和しつつ、ＴＤＣ分解能が細かい第１ヒストグラムのビン幅に応じた発光間隔を設定することができる。
　図２は、第１の実施の形態に係る光検出部の構成例を示すブロック図である。
　同図において、光検出部１２３は、受光部１３１、読出し回路１３２、ＴＤＣ１３３、ヒストグラム生成部１３４および制御部１３５を備える。
　受光部１３１には、複数の画素が設けられる。画素は、ロウ方向およびカラム方向にマトリックス状に配置される。各画素には、ＳＰＡＤを設けることができる。各画素は、単一のＳＰＡＤを備えてもよいし、複数のＳＰＡＤを備えてもよい。
　読出し回路１３２は、画素アレイ部１４０の各画素から画素データを読出し、ＴＤＣ１３３に出力する。
　ＴＤＣ１３３は、発光から受光までの時間差を測定し、その値をデジタル値に変換する。このとき、デジタル値は、発光トリガＴＲＧの出力タイミングとＳＰＡＤパルスの出力タイミングの時間差を示すことができる。また、ＴＤＣ１３３は、測距光ＬＭＬの発光間隔が互いに異なる各反射光ＬＲＦ１、ＬＲＦ２の受光タイミングの時刻を計測するマルチヒットＴＤＣでもよい、このとき、ＴＤＣ１３３は、発光トリガＴＲＧの出力後に順次検出される複数のＳＰＡＤパルスについて、それぞれの時間差を求めることができる。
　ヒストグラム生成部１３４は、発光から受光までの時間差と発光部１１２の反応数との関係を示すヒストグラムを生成することができる。このとき、ヒストグラム生成部１３４は、互いに異なるＴＤＣコード循環期間において、互いに異なるＴＤＣ分解能を持つヒストグラムを生成することができる。例えば、ヒストグラム生成部１３４は、第１測距期間においてＴＤＣコード循環期間が互いに異なる２以上の第１ヒストグラムを生成し、第２測距期間において第１ヒストグラムよりもＴＤＣ分解能が粗い第２ヒストグラムを生成することができる。このとき、ヒストグラム生成部１３４は、２以上の第１ヒストグラムのＴＤＣ分解能は互いに等しくすることができる。距離算出部１２４が算出可能な対象物までの距離の個数は、第１ヒストグラムの個数以下である。
　制御部１３５は、受光部１３１、読出し回路１３２、ＴＤＣ１３３およびヒストグラム生成部１３４を制御する。例えば、制御部１３５は、フレームを分割したサブフレームごとに設定されたＴＤＣコード循環期間に対応したヒストグラムが生成されるように、受光部１３１１、読出し回路１３２、ＴＤＣ１３３およびヒストグラム生成部１３４の動作タイミングを制御する。また、制御部１３５は、発光トリガＴＲＧを駆動部１１１に出力する。このとき、制御部１３５は、第２測距期間の測距光ＬＭＬの発光間隔より第１測距期間の測距光ＬＭＬの発光間隔が短くなるように、発光トリガＴＲＧを駆動部１１１に出力してもよい。
　図３は、第１の実施の形態に係る光検出装置が適用される固体受光部の構成例を示すブロック図である。
　同図において、受光部１３１および読出し回路１３２は、画素アレイ部１４０、行走査回路１４１および列処理回路１４２を備える。これらの回路は、単一の半導体基板に配置してもよいし、積層基板に配置してもよい。
　画素アレイ部１４０には、画素１５１がロウ方向およびカラム方向にマトリックス状に配置される。各画素１５１は、スイッチ１５２を介してカラムごとに信号線ＳＶＬに接続され、ロウごとに水平制御線ＣＨＬに接続される。各画素１５１は、光子の入射に応じて生成されたパルスのカウント値を画素データとして出力する。
　行走査回路１４１は、垂直同期信号に同期してロウを順に選択する。このとき、行走査回路１４１は、水平制御線ＣＨＬを介して画素１５１を選択することができる。行走査回路１４１は、画素１５１をロウごとに選択するために、選択信号ＳＥＬ＜１＞－＜ｎ＞をロウごとにスイッチ１５２に供給する。また、行走査回路１４１は、各画素１５１のカウント値をロウごとにリセットするために、カウントリセット信号ＲＳＴ＜１＞－＜ｎ＞をロウごとに画素１５１に供給する。行走査回路１４１は、光子が検出された画素１５１を含むロウの選択を調停する垂直アービタを含んでもよい。
　列処理回路１４２は、信号線ＳＶＬを介して伝送された画素データに対して、各種の信号処理を実行する。列処理回路１４２は、カラムをスキャンするラインスキャナを含んでもよい。列処理回路１４２は、光子が検出された画素１５１を含むカラムの選択を調停する水平アービタを含んでもよい。
　図４は、第１の実施の形態に係る測距装置のＴＤＣ処理のシーケンスの一例を示す図である。
　同図において、フレームＦＭは、３つのサブフレームＳＦＭ０からＳＦＭ２に分割される。サブフレームＳＦＭ１、ＳＦＭ２は、第１測距期間に割り当てられ、サブフレームＳＦＭ０は、第２測距期間に割り当てられる。第１測距期間には、ＴＤＣコード循環期間が互いに異なる複数のサブフレームＳＦＭ１、ＳＦＭ２が割り当てられる。各サブフレームＳＦＭ１、ＳＦＭ２では、ＴＤＣコードが複数回循環する。
　このとき、サブフレームＳＦＭ１のＴＤＣコード循環期間は、サブフレームＳＦＭ２のＴＤＣコード循環期間より短くすることができる。サブフレームＳＦＭ０のＴＤＣコード循環期間は、測距レンジＭＲＧに相当する期間に設定することができる。第２測距期間のＴＤＣ分解能であるヒストグラのビン幅は、第１測距期間のＴＤＣコード循環期間と同等以下とすることができる。例えば、サブフレームＳＦＭ０で生成されるヒストグラムのビン幅は、サブフレームＳＦＭ１のＴＤＣコード循環期間と等しくすることができる。また、第１測距期間で生成される２以上の第１ヒストグラムのＴＤＣ分解能は互いに等しくすることができる。例えば、各サブフレームＳＦＭ１、ＳＦＭ２で生成されるヒストグラムのビン幅は、互いに等しくすることができる。ここで、第１測距期間の各サブフレームＳＦＭ１、ＳＦＭ２で生成されるヒストグラムをＦｉｎｅヒストグラムと呼び、第２測距期間のサブフレームＳＦＭ０で生成されるヒストグラムをＣｏａｒｓｅヒストグラムと呼ぶ。また、ビン数が最も少ないＦｉｎｅヒストグラムの全ビンに対応する光飛行時間に相当する距離をサブレンジＳＲとする。このとき、Ｃｏａｒｓｅヒストグラムのビン幅はサブレンジＳＲに設定することができる。また、測距レンジＭＲＧは、各サブフレームＳＦＭ１、ＳＦＭ２で生成される２つのＦｉｎｅヒストグラムのビン数の最小公倍数に相当する距離で与えることができる。このとき、測距点あたりに測距可能な対象物の最大個数は２となる。
　ここで、第２測距期間のＴＤＣ分解能であるヒストグラムのビン幅の上限は、第１測距期間のＴＤＣコード循環期間の最小値でもよい。また、第２測距期間のＴＤＣ分解能であるヒストグラムのビン幅の下限は、Ｃｏａｒｓｅヒストグラムのビン数の最大値で測距レンジを割った値でもよい。
　例えば、Ｃｏａｒｓｅヒストグラムのビン幅≦短い方のＴＤＣコード循環期間に対応する距離という条件を満たすようにＣｏａｒｓｅヒストグラムのビン幅を設定することができる。これにより、マルチパスに起因するヒストグラムの複数のピークと複数の対象物１０１、１０２との対応関係を識別することができる。
　また、Ｃｏａｒｓｅヒストグラムのビン幅≧測距レンジ／ヒストグラムビン数の最大値という条件を満たすようにＣｏａｒｓｅヒストグラムのビン幅を設定することができる。これにより、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジＭＲＧを拡大することができる。
　例えば、サブフレームＳＦＭ０で生成されるＣｏａｒｓｅヒストグラムのビン数は４、サブフレームＳＦＭ１で生成されるＦｉｎｅヒストグラムのビン数は６、サブフレームＳＦＭ２で生成されるＦｉｎｅヒストグラムのビン数は８に設定することができる。ここで、サブフレームＳＦＭ１で生成されるＦｉｎｅヒストグラムのＴＤＣコード循環期間をサブレンジＳＲに設定し、サブフレームＳＦＭ０で生成されるＣｏａｒｓｅヒストグラムのビン幅をサブレンジＳＲに設定することができる。このとき、各サブフレームＳＦＭ１、ＳＦＭ２で生成されるＦｉｎｅヒストグラムのビン幅はＳＲ／６に設定することができる。また、サブフレームＳＦＭ０におけるＴＤＣコード循環数を１、サブフレームＳＦＭ１におけるＴＤＣコード循環数を４、サブフレームＳＦＭ２におけるＴＤＣコード循環数を３に設定することができる。また、測距レンジＭＲＧは、サブフレームＳＦＭ１で生成される２つのＦｉｎｅヒストグラムのビン数＝６と、サブフレームＳＦＭ２で生成される２つのＦｉｎｅヒストグラムのビン数＝８の最小公倍数＝２４に相当する距離で与えることができる。
　また、第１測距期間の測距光ＬＭＬの発光間隔は、第２測距期間の測距光ＬＭＬの発光間隔より短くすることができる。また、第１測距期間の各サブフレームＳＦＭ１、ＳＦＭ２の測距光ＬＭＬの発光間隔は、第１測距期間の各サブフレームＳＦＭ１、ＳＦＭ２のＴＤＣコード循環期間の整数倍でもよい。このとき、第１測距期間の各サブフレームＳＦＭ１、ＳＦＭ２の測距光ＬＭＬの発光回数は、各サブフレームＳＦＭ１、ＳＦＭ２のビン数で測距レンジＭＲＧを割った値に設定することができる。例えば、サブフレームＳＦＭ０における測距光ＬＭＬの発光回数を１とする。このとき、サブフレームＳＦＭ１における測距光ＬＭＬの発光回数を４、サブフレームＳＦＭ２における測距光ＬＭＬの発光回数を３に設定することができる。
　図５は、第１の実施の形態に係る測距装置のヒストグラム生成処理の一例を示す図である。
　同図において、ヒストグラム生成部１３４は、サブフレームＳＦＭ０のＴＤＣコード循環期間ごとにＣｏａｒｓｅヒストグラムＨＳ０を生成する。また、ヒストグラム生成部１３４は、サブフレームＳＦＭ１のＴＤＣコード循環期間ごとにＦｉｎｅヒストグラムＨＳ１を生成する。また、ヒストグラム生成部１３４は、サブフレームＳＦＭ２のＴＤＣコード循環期間ごとにＦｉｎｅヒストグラムＨＳ２を生成する。このとき、距離が互いに異なる２つの対象物１０１、１０２が測距レンジＭＲＧ内にあるものとすると、ＣｏａｒｓｅヒストグラムＨＳ０および各ＦｉｎｅヒストグラムＨＳ１、ＨＳ２には２つのピークが発生する。
　距離算出部１２４は、サブフレームＳＦＭ１のＴＤＣコード循環期間ごとに測距レンジＭＲＧの分だけＦｉｎｅヒストグラムＨＳ１を並べる。また、距離算出部１２４は、サブフレームＳＦＭ２のＴＤＣコード循環期間ごとに測距レンジＭＲＧの分だけＦｉｎｅヒストグラムＨＳ２を並べる。そして、測距レンジＭＲＧの分だけ並べたＦｉｎｅヒストグラムＨＳ１、ＨＳ２をビンごとに重ねたタイリングヒストグラムＨＳ３を生成する。
　このとき、ＣｏａｒｓｅヒストグラムＨＳ０のビン幅はサブレンジＳＲに設定されているので、ＣｏａｒｓｅヒストグラムＨＳ０の２つのピークには、ＦｉｎｅヒストグラムＨＳ１の２つのピークがそれぞれ含まれる。ＦｉｎｅヒストグラムＨＳ１のＴＤＣコード循環期間は、ＦｉｎｅヒストグラムＨＳ２のＴＤＣコード循環期間よりも短いので、ＨＳ０の２つのピークの各サブレンジＳＲにおいて、２つのＦｉｎｅヒストグラムＨＳ１、ＨＳ２の２つのピークが、ＨＳ０の２つのピークのビンの位置で重なることはない。このため、各サブレンジＳＲの２つのＦｉｎｅヒストグラムＨＳ１、ＨＳ２のピークが重なるビンの位置と、ＣｏａｒｓｅヒストグラムＨＳ０のピークのビンの位置とを紐付けることにより、測距点あたり最大２つの対象物１０１、１０２までの距離を算出することができる。
　例えば、サブフレームＳＦＭ１では、ＴＤＣコード循環数が４に設定され、４つのＴＤＣコード循環期間が設けられる。このとき、サブフレームＳＦＭ１の各ＴＤＣコード循環期間にサブレンジＳＲ０からＳＲ３が設定される。サブフレームＳＦＭ１の各ＴＤＣコード循環期間のＦｉｎｅヒストグラムがサブレンジＳＲ０からＳＲ３ごとに配置されることにより、Ｆｉｎｅヒストグラムの２４ビン分の位置が距離に換算される。
　ここで、例えば、対象物１０１までの距離が測距レンジＭＲＧの４ビンの位置に相当し、対象物１０２までの距離が測距レンジＭＲＧの１８ビンの位置に相当するものとする。このとき、タイリングヒストグラムＨＳ３の各サブレンジＳＲ０からＳＲ３において、２つのＦｉｎｅヒストグラムＨＳ１、ＨＳ２のピークが重なったピークＰ０からＰ３がそれぞれ発生する。
　ここで、サブレンジＳＲ０では、２つのＦｉｎｅヒストグラムＨＳ１、ＨＳ２のピークが４ビンの位置で重なったピークＰ０が発生し、ＣｏａｒｓｅヒストグラムＨＳ０のピークが発生する。また、サブレンジＳＲ３では、２つのＦｉｎｅヒストグラムＨＳ１、ＨＳ２のピークが１８ビンの位置で重なったピークＰ３が発生し、ＣｏａｒｓｅヒストグラムＨＳ０のピークが発生する。このため、サブレンジＳＲ０の２つのＦｉｎｅヒストグラムＨＳ１、ＨＳ２のピークが重なったピークＰ０の４ビンの位置と、ＣｏａｒｓｅヒストグラムＨＳ０のピークの０ビンの位置とを紐付けることにより、対象物１０１までの距離を算出することができる。また、サブレンジＳＲ３の２つのＦｉｎｅヒストグラムＨＳ１、ＨＳ２のピークが重なったピークＰ３の１８ビンの位置と、ＣｏａｒｓｅヒストグラムＨＳ０のピークの３ビンの位置とを紐付けることにより、対象物１０２までの距離を算出することができる。
　一方、サブレンジＳＲ１では、２つのＦｉｎｅヒストグラムＨＳ１、ＨＳ２のピークが１０ビンの位置で重なったピークＰ１が発生し、ＣｏａｒｓｅヒストグラムＨＳ０のピークは発生しない。また、サブレンジＳＲ２では、２つのＦｉｎｅヒストグラムＨＳ１、ＨＳ２のピークが１２ビンの位置で重なったピークＰ２が発生し、ＣｏａｒｓｅヒストグラムＨＳ０のピークは発生しない。このため、タイリングヒストグラムＨＳ３のピークＰ１、Ｐ２は偽ピークと判定することができる。
　このように、上述の第１の実施の形態では、互いに異なるＴＤＣコード循環期間において、互いに異なるＴＤＣ分解能を持つヒストグラムを生成する。このとき、短い方のＴＤＣコード循環期間にサブレンジＳＲを設定する。これにより、互いに距離が異なる対象物１０１、１０２からの光の反射に基づくヒストグラムのピークを、各ピークの存在する各サブレンジを特定することで、一意に判別することができる。このため、互いに距離が異なる対象物１０１、１０２が測距レンジＭＲＧ内にある場合においても、一方の対象物１０１、１０２の距離の算出ができなくなったり、実在しない中間の距離を算出したりするのを防止することができる。
　また、ＴＤＣコード循環期間が互いに異なる２以上のＦｉｎｅヒストグラムＨＳ１、ＨＳ２とともに、ＦｉｎｅヒストグラムＨＳ１、ＨＳ２よりもＴＤＣ分解能が粗いＣｏａｒｓｅヒストグラムＨＳ０を生成する。これにより、タイリングヒストグラムＨＳ３の真のピークＰ０、Ｐ３を特定しつつ、偽のピークＰ１、Ｐ２を特定することができ、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、対象物１０１、１０２の測距精度を向上させることができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、３つのサブフレームＳＦＭ０からＳＦＭ２をフレームＦＭに時分割的に設け、互いに異なる第１ＴＤＣコード循環期間を２つのサブフレームＳＦＭ１、ＳＦＭ２に設定する。そして、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を残りの１つのサブフレームＳＦＭ０に設けた。この第２の実施の形態では、２つのサブフレームＳＦＭ１、ＳＦＭ２のそれぞれをフレームＦＭに並列して設け、互いに異なる第１ＴＤＣコード循環期間を２つのサブフレームＳＦＭ１、ＳＦＭ２に設定する。そして、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を残りの並列のサブフレームＳＦＭ１、ＳＦＭ２に設ける。
　図６は、第２の実施の形態に係る光検出部の構成例を示すブロック図である。
　同図において、光検出部２２３は、上述の第１の実施の形態のＴＤＣ１３３、ヒストグラム生成部１３４および制御部１３５に代えて、ＴＤＣ１３３－１、１３３－２、ヒストグラム生成部１３４－１、１３４－２および制御部２３５を備える。第２の実施の形態の光検出部２２３のそれ以外の構成は、上述の第１の実施の形態の光検出部１２３の構成と同様である。
　光検出部２２３は、各対象物１０１、１０２から反射された反射光ＬＲＦ１、ＬＲＦ２を受光する。光検出部２２３は、発光トリガＴＲＧに従って発光部１１２が測距光ＬＭＬを出射してから、ＳＰＡＤが受光するまでの時間をカウントしたカウント値に基づいて、ヒストグラムを画素ごとに生成することができる。
　ここで、光検出部２２３は、時間のカウントを並列に実行するとともに、ヒストグラムの生成を並列に実行することができる。このとき、光検出部２２３は、第１測距期間および第２測距期間を並列に設定し、第１測距期間の時間のカウントおよびヒストグラムの生成と、第２測距期間の時間のカウントおよびヒストグラムの生成に別個の回路資源を割り当てることができる。
　各ＴＤＣ１３３－１、１３３－２は、発光から受光までの時間差を測定し、その値をデジタル値に変換する。このとき、各ＴＤＣ１３３－１、１３３－２は、互いに異なるＴＤＣコード循環期間に基づいて時間のカウントを実施することができる。例えば、ＴＤＣ１３３－１は、第１測距期間で設定されたＴＤＣコード循環期間に基づいて時間のカウントを実施することができる。ＴＤＣ１３３－２は、第２測距期間で設定されたＴＤＣコード循環期間に基づいて時間のカウントを実施することができる。
　各ヒストグラム生成部１３４－１、１３４－２は、発光から受光までの時間差と発光部１１２の反応数との関係を示すヒストグラムを生成することができる。このとき、各ヒストグラム生成部１３４－１、１３４－２は、互いに異なるＴＤＣコード循環期間において、互いに異なるＴＤＣ分解能を持つヒストグラムを生成することができる。例えば、ヒストグラム生成部１３４－１は、第１測距期間においてＴＤＣコード循環期間が互いに異なる２以上のＦｉｎｅヒストグラムを生成することができる。ヒストグラム生成部１３４－２は、第２測距期間においてＦｉｎｅヒストグラムよりもＴＤＣ分解能が粗いＣｏａｒｓｅヒストグラムを生成することができる。
　制御部２３５は、受光部１３１、読出し回路１３２、ＴＤＣ１３３－１、１３３－２およびヒストグラム生成部１３４－１、１３４－２を制御する。例えば、制御部２３５は、第１測距期間の時間のカウントおよびヒストグラムの生成と、第２測距期間の時間のカウントおよびヒストグラムの生成が並列に実施されるように、各ＴＤＣ１３３－１、１３３－２および各ヒストグラム生成部１３４－１、１３４－２の動作タイミングを制御する。
　図７は、第２の実施の形態に係る測距装置のＴＤＣ処理のシーケンスの一例を示す図である。
　同図において、フレームＦＭは、２つのサブフレームＳＦＭ１、ＳＦＭ２に分割される。第１測距期間および第２測距期間は並列に設置され、第１測距期間および第２測距期間のそれぞれには、サブフレームＳＦＭ１、ＳＦＭ２が割り当てられる。第１測距期間には、第１回路資源が割り当てられ、第２測距期間には、第２回路資源が割り当てられる。第１回路資源には、ＴＤＣ１３３－１およびヒストグラム生成部１３４－１を割り当て、第２回路資源には、ＴＤＣ１３３－２およびヒストグラム生成部１３４－２を割り当てることができる。
　このとき、第１測距期間において、サブフレームＳＦＭ１のＴＤＣコード循環期間は、サブフレームＳＦＭ２のＴＤＣコード循環期間より短くすることができる。第２測距期間において、サブフレームＳＦＭ１のＴＤＣコード循環期間は、測距レンジＭＲＧに相当する期間に設定することができる。第２測距期間のＴＤＣ分解能であるヒストグラムのビン幅は、第１測距期間のＴＤＣコード循環期間と同等以下とすることができる。例えば、第２測距期間のサブフレームＳＦＭ１で生成されるヒストグラムのビン幅は、第１測距期間のサブフレームＳＦＭ１のＴＤＣコード循環期間と等しくすることができる。また、第１測距期間で生成される２以上のＦｉｎｅヒストグラムのＴＤＣ分解能は互いに等しくすることができる。例えば、第１測距期間の各サブフレームＳＦＭ１、ＳＦＭ２で生成されるＦｉｎｅヒストグラムのビン幅は、互いに等しくすることができる。測距レンジＭＲＧは、第１測距期間の各サブフレームＳＦＭ１、ＳＦＭ２で生成される２つのＦｉｎｅヒストグラムのビン数の最小公倍数に相当する距離で与えることができる。このとき、測距点あたりに測距可能な対象物の最大個数は２となる。
　ここで、Ｃｏａｒｓｅヒストグラムのビン幅≦短い方のＴＤＣコード循環期間に対応する距離という条件を満たすようにＣｏａｒｓｅヒストグラムのビン幅を設定することができる。また、Ｃｏａｒｓｅヒストグラムのビン幅≧測距レンジ／ヒストグラムビン数の最大値という条件を満たすようにＣｏａｒｓｅヒストグラムのビン幅を設定することができる。
　例えば、第１測距期間において、サブフレームＳＦＭ１で生成されるＦｉｎｅヒストグラムのビン数は６、サブフレームＳＦＭ２で生成されるＦｉｎｅヒストグラムのビン数は８に設定することができる。第２測距期間において、サブフレームＳＦＭ１で生成されるＣｏａｒｓｅヒストグラムのビン数は４、サブフレームＳＦＭ２で生成されるＣｏａｒｓｅヒストグラムのビン数は３に設定することができる。ここで、第１測距期間のサブフレームＳＦＭ１で生成されるＦｉｎｅヒストグラムのＴＤＣコード循環期間をサブレンジＳＲに設定し、第２測距期間のサブフレームＳＦＭ１で生成されるＣｏａｒｓｅヒストグラムのビン幅をサブレンジＳＲに設定することができる。
　このように、上述の第２の実施の形態では、２つのサブフレームＳＦＭ１、ＳＦＭ２のそれぞれをフレームＦＭに並列して設け、２つのサブフレームＳＦＭ１、ＳＦＭ２の組を第１測距期間および第２測距期間に割り当てる。そして、互いに異なる第１ＴＤＣコード循環期間を第１測距期間の２つのサブフレームＳＦＭ１、ＳＦＭ２に設定する。また、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を第２測距期間のサブフレームＳＦＭ１、ＳＦＭ２に設ける。これにより、２つのＦｉｎｅヒストグラムＨＳ１、ＨＳ２および１つのＣｏａｒｓｅヒストグラムＨＳ０を生成するために、３つのサブフレームＳＦＭ０からＳＦＭ２をフレームＦＭに設ける必要がなくなる。このため、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、対象物１０１、１０２の測距精度を向上させることが可能となるとともに、フレームレートを向上させることができる。
　なお、上述の第２の実施の形態において、２つの対象物１０１、１０２の測距を行うには、第１測距期間の各サブフレームＳＦＭ１、ＳＦＭ２で生成される２つのＦｉｎｅヒストグラムと、第２測距期間のサブフレームＳＦＭ１で生成される１つのＣｏａｒｓｅヒストグラムがあればよい。このため、第２測距期間のサブフレームＳＦＭ２で生成される１つのＣｏａｒｓｅヒストグラムは不要である。
　＜３．第３の実施の形態＞
　上述の第１の実施の形態では、３つのサブフレームＳＦＭ０からＳＦＭ２をフレームＦＭに時分割的に設け、互いに異なる第１ＴＤＣコード循環期間を２つのサブフレームＳＦＭ１、ＳＦＭ２に設定する。そして、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を残りの１つのサブフレームＳＦＭ０に設けた。この第３の実施の形態では、４つのサブフレームをフレームＦＭに時分割的に設け、互いに異なる第１ＴＤＣコード循環期間を３つのサブフレームに設定する。そして、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を残りの１つのサブフレームに設ける。
　図８は、第３の実施の形態に係る測距装置のＴＤＣ処理のシーケンスの一例を示す図である。
　同図において、フレームＦＭは、４つのサブフレームＳＦＭ０からＳＦＭ３に分割される。サブフレームＳＦＭ１からＳＦＭ３は、第１測距期間に割り当てられ、サブフレームＳＦＭ０は、第２測距期間に割り当てられる。第１測距期間には、ＴＤＣコード循環期間が互いに異なる複数のサブフレームＳＦＭ１からＳＦＭ３が割り当てられる。各サブフレームＳＦＭ１からＳＦＭ３では、ＴＤＣコードが複数回循環する。
　このとき、サブフレームＳＦＭ１のＴＤＣコード循環期間は、サブフレームＳＦＭ２のＴＤＣコード循環期間より短くすることができる。サブフレームＳＦＭ２のＴＤＣコード循環期間は、サブフレームＳＦＭ３のＴＤＣコード循環期間より短くすることができる。サブフレームＳＦＭ０のＴＤＣコード循環期間は、測距レンジＭＲＧに相当する期間に設定することができる。第２測距期間のＴＤＣ分解能であるヒストグラムのビン幅は、第１測距期間のＴＤＣコード循環期間と同等以下とすることができる。例えば、サブフレームＳＦＭ０で生成されるヒストグラムのビン幅は、サブフレームＳＦＭ１のＴＤＣコード循環期間と等しくすることができる。また、第１測距期間で生成される２以上のＦｉｎｅヒストグラムのＴＤＣ分解能は互いに等しくすることができる。例えば、各サブフレームＳＦＭ１からＳＦＭ３で生成されるＦｉｎｅヒストグラムのビン幅は、互いに等しくすることができる。ここで、第１測距期間の各サブフレームＳＦＭ１からＳＦＭ３で生成されるヒストグラムをＦｉｎｅヒストグラムと呼び、第２測距期間のサブフレームＳＦＭ０で生成されるヒストグラムをＣｏａｒｓｅヒストグラムと呼ぶ。また、ビン数が最も少ないＦｉｎｅヒストグラムの全ビンに対応する光飛行時間に相当する距離をサブレンジＳＲとする。このとき、Ｃｏａｒｓｅヒストグラムのビン幅はサブレンジＳＲに設定することができる。また、測距レンジＭＲＧは、３つのサブフレームＳＦＭ１からＳＦＭ３のうちの２つのサブフレームの各組から生成される２つのＦｉｎｅヒストグラムのビン数の最小公倍数の最小値に相当する距離で与えることができる。このとき、測距点あたりに測距可能な対象物の最大個数は３となる。
　ここで、Ｃｏａｒｓｅヒストグラムのビン幅≦Ｆｉｎｅヒストグラムの最小のＴＤＣコード循環期間に対応する距離という条件を満たすようにＣｏａｒｓｅヒストグラムのビン幅を設定することができる。また、Ｃｏａｒｓｅヒストグラムのビン幅≧測距レンジ／ヒストグラムビン数の最大値という条件を満たすようにＣｏａｒｓｅヒストグラムのビン幅を設定することができる。
　例えば、サブフレームＳＦＭ０で生成されるＣｏａｒｓｅヒストグラムのビン数は４に設定することができる。また、サブフレームＳＦＭ１で生成されるＦｉｎｅヒストグラムのビン数は６、サブフレームＳＦＭ２で生成されるＦｉｎｅヒストグラムのビン数は８、サブフレームＳＦＭ３で生成されるＦｉｎｅヒストグラムのビン数は１０に設定することができる。ここで、サブフレームＳＦＭ１で生成されるＦｉｎｅヒストグラムのＴＤＣコード循環期間をサブレンジＳＲに設定し、サブフレームＳＦＭ０で生成されるＣｏａｒｓｅヒストグラムのビン幅をサブレンジＳＲに設定することができる。このとき、サブフレームＳＦＭ１、ＳＦＭ２から生成される２つのＦｉｎｅヒストグラムのビン数の最小公倍数ｌｃｍ（６，８）は２４ビンである。サブフレームＳＦＭ１、ＳＦＭ３から生成される２つのＦｉｎｅヒストグラムのビン数の最小公倍数ｌｃｍ（６，１０）は３０ビンである。サブフレームＳＦＭ２、ＳＦＭ３から生成される２つのＦｉｎｅヒストグラムのビン数の最小公倍数ｌｃｍ（８，１０）は４０ビンである。このため、測距レンジＭＲＧは、これらの３つの最小公倍数ｌｃｍ（６，８）、ｌｃｍ（６，１０）、ｌｃｍ（８，１０）のうちの最小値＝２４ビンで与えられる。
　また、第１測距期間の測距光ＬＭＬの発光間隔は、第２測距期間の測距光ＬＭＬの発光間隔より短くすることができる。また、第１測距期間の各サブフレームＳＦＭ１からＳＦＭ３の測距光ＬＭＬの発光間隔は、第１測距期間の各サブフレームＳＦＭ１からＳＦＭ３のＴＤＣコード循環期間の整数倍でもよい。このとき、第１測距期間の各サブフレームＳＦＭ１からＳＦＭ３の測距光ＬＭＬの発光回数は、各サブフレームＳＦＭ１からＳＦＭ３のビン数で測距レンジＭＲＧを割った値に設定することができる。例えば、サブフレームＳＦＭ０における測距光ＬＭＬの発光回数を１とする。このとき、サブフレームＳＦＭ１における測距光ＬＭＬの発光回数を４、サブフレームＳＦＭ２における測距光ＬＭＬの発光回数を３、サブフレームＳＦＭ３における測距光ＬＭＬの発光回数を３に設定することができる。
　このように、上述の第３の実施の形態では、４つのサブフレームＳＦＭ０からＳＦＭ３をフレームＦＭに時分割的に設け、互いに異なる第１ＴＤＣコード循環期間を３つのサブフレームＳＦＭ１からＳＦＭ３に設定する。そして、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を残りの１つのサブフレームＳＦＭ０に設ける。これにより、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジＭＲＧを拡大することが可能となるとともに、測距精度の低下を抑制しつつ、測距点あたり最大３つの対象物の測距を実現することができる。
　＜４．第４の実施の形態＞
　上述の第３の実施の形態では、４つのサブフレームＳＦＭ０からＳＦＭ３をフレームＦＭに時分割的に設け、互いに異なる第１ＴＤＣコード循環期間を３つのサブフレームＳＦＭ１からＳＦＭ３に設定する。そして、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を残りの１つのサブフレームＳＦＭ０に設けた。この第４の実施の形態では、４つのサブフレームＳＦＭ０からＳＦＭ３をフレームＦＭに時分割的に設ける。そして、測距レンジＭＲＧが拡大されるように、互いに異なる第１ＴＤＣコード循環期間を３つのサブフレームＳＦＭ１からＳＦＭ３に設定するとともに、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を残りの１つのサブフレームＳＦＭ０に設ける。第４の実施の形態では、測距点あたりに測距可能な物体の最大個数が２となるが、第３の実施の形態と比較してより測距レンジＭＲＧが拡大される。
　図９は、第４の実施の形態に係る測距装置のＴＤＣ処理のシーケンスの一例を示す図である。
　同図において、フレームＦＭは、４つのサブフレームＳＦＭ０からＳＦＭ３に分割される。サブフレームＳＦＭ１からＳＦＭ３は、第１測距期間に割り当てられ、サブフレームＳＦＭ０は、第２測距期間に割り当てられる。第１測距期間には、ＴＤＣコード循環期間が互いに異なる複数のサブフレームＳＦＭ１からＳＦＭ３が割り当てられる。各サブフレームＳＦＭ１からＳＦＭでは、ＴＤＣコードが複数回循環する。
　このとき、サブフレームＳＦＭ１のＴＤＣコード循環期間は、サブフレームＳＦＭ２のＴＤＣコード循環期間より短くすることができる。サブフレームＳＦＭ２のＴＤＣコード循環期間は、サブフレームＳＦＭ３のＴＤＣコード循環期間より短くすることができる。サブフレームＳＦＭ０のＴＤＣコード循環期間は、測距レンジＭＲＧに相当する期間に設定することができる。第２測距期間のＴＤＣ分解能であるヒストグラムのビン幅は、第１測距期間のＴＤＣコード循環期間と同等以下とすることができる。例えば、サブフレームＳＦＭ０で生成されるヒストグラムのビン幅は、サブフレームＳＦＭ１のＴＤＣコード循環期間と等しくすることができる。また、第１測距期間で生成される２以上のＦｉｎｅヒストグラムのＴＤＣ分解能は互いに等しくすることができる。例えば、各サブフレームＳＦＭ１からＳＦＭ３で生成されるＦｉｎｅヒストグラムのビン幅は、互いに等しくすることができる。また、測距レンジＭＲＧは、３つのサブフレームＳＦＭ１からＳＦＭ３から生成される３つのＦｉｎｅヒストグラムのビン数の最小公倍数と、Ｃｏａｒｓｅヒストグラムのビン数×最小のＦｉｎｅヒストグラムのビン数のうちの小さい方の値で与えることができる。このとき、測距点あたりに測距可能な対象物の最大個数は２となる。
　ここで、Ｃｏａｒｓｅヒストグラムのビン幅≦Ｆｉｎｅヒストグラムの最小のＴＤＣコード循環期間に対応する距離という条件を満たすようにＣｏａｒｓｅヒストグラムのビン幅を設定することができる。また、Ｃｏａｒｓｅヒストグラムのビン幅≧測距レンジ／ヒストグラムビン数の最大値という条件を満たすようにＣｏａｒｓｅヒストグラムのビン幅を設定することができる。
　サブフレームＳＦＭ１で生成されるＦｉｎｅヒストグラムのビン数は６、サブフレームＳＦＭ２で生成されるＦｉｎｅヒストグラムのビン数は８、サブフレームＳＦＭ３で生成されるＦｉｎｅヒストグラムのビン数は１０に設定することができる。ここで、サブフレームＳＦＭ１で生成されるＦｉｎｅヒストグラムのＴＤＣコード循環期間をサブレンジＳＲに設定し、サブフレームＳＦＭ０で生成されるＣｏａｒｓｅヒストグラムのビン幅をサブレンジＳＲに設定することができる。このとき、測距レンジ測距レンジＭＲＧは, ３つのサブフレームＳＦＭ１からＳＦＭ３から生成される３つのＦｉｎｅヒストグラムのビン数の最小公倍数１２０ビンで与えられる。この場合、Ｃｏａｒｓｅヒストグラムのビン数は２０ビンと設定され、Ｆｉｎｅヒストグラムのビン数の最大値を上回るため、必要な回路資源が増加する。回路資源の観点から、Ｆｉｎｅヒストグラムのビン数の最大値を、設定可能なヒストグラムのビン数とする制約を設けてもよい。例えば、サブフレームＳＦＭ０で生成されるＣｏａｒｓｅヒストグラムのビン数は１０に設定する。このとき、測距レンジＭＲＧは、Ｃｏａｒｓｅヒストグラムのビン数×最小のＦｉｎｅヒストグラムのビン数＝１０ビン×６ビン＝６０ビンで与えられる。
　また、第１測距期間の測距光ＬＭＬの発光間隔は、第２測距期間の測距光ＬＭＬの発光間隔より短くすることができる。また、第１測距期間の各サブフレームＳＦＭ１からＳＦＭ３の測距光ＬＭＬの発光間隔は、第１測距期間の各サブフレームＳＦＭ１からＳＦＭ３のＴＤＣコード循環期間の整数倍でもよい。このとき、第１測距期間の各サブフレームＳＦＭ１からＳＦＭ３の測距光ＬＭＬの発光回数は、各サブフレームＳＦＭ１からＳＦＭ３のビン数で測距レンジＭＲＧを割った値に設定することができる。例えば、サブフレームＳＦＭ０における測距光ＬＭＬの発光回数を１とする。このとき、サブフレームＳＦＭ１における測距光ＬＭＬの発光回数を１０、サブフレームＳＦＭ２における測距光ＬＭＬの発光回数を８、サブフレームＳＦＭ３における測距光ＬＭＬの発光回数を６に設定することができる。
　このように、上述の第４の実施の形態では、４つのサブフレームＳＦＭ０からＳＦＭ３をフレームＦＭに時分割的に設ける。そして、測距レンジＭＲＧが拡大されるように、互いに異なる第１ＴＤＣコード循環期間を３つのサブフレームＳＦＭ１からＳＦＭ３に設定するとともに、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を残りの１つのサブフレームＳＦＭ０に設ける。これにより、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジＭＲＧを拡大することが可能となるとともに、測距精度の低下を抑制しつつ、測距点あたり最大２つの対象物の測距を実現することができる。
　＜５．第５の実施の形態＞
　上述の第４の実施の形態では、４つのサブフレームＳＦＭ０からＳＦＭ３をフレームＦＭに時分割的に設ける。そして、測距レンジＭＲＧが拡大されるように、互いに異なる第１ＴＤＣコード循環期間を３つのサブフレームＳＦＭ１からＳＦＭ３に設定するとともに、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を残りの１つのサブフレームＳＦＭ０に設けた。この第５の実施の形態では、３つのサブフレームＳＦＭ１からＳＦＭ３をフレームＦＭに並列して設け、３つのサブフレームＳＦＭ１からＳＦＭ３の各組を第１測距期間および第２測距期間に割り当てる。そして、測距レンジＭＲＧが拡大されるように、互いに異なる第１ＴＤＣコード循環期間を第１測距期間の３つのサブフレームＳＦＭ１からＳＦＭ３に設定する。また、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を第２測距期間のサブフレームＳＦＭ１からＳＦＭ３に設ける。
　図１０は、第５の実施の形態に係る測距装置のＴＤＣ処理のシーケンスの一例を示す図である。
　同図において、フレームＦＭは、３つのサブフレームＳＦＭ１からＳＦＭ３に分割される。第１測距期間および第２測距期間は並列に設置され、第１測距期間および第２測距期間のそれぞれには、サブフレームＳＦＭ１からＳＦＭ３が割り当てられる。第１測距期間には、第１回路資源が割り当てられ、第２測距期間には、第２回路資源が割り当てられる。第１回路資源には、ＴＤＣ１３３－１およびヒストグラム生成部１３４－１を割り当て、第２回路資源には、ＴＤＣ１３３－２およびヒストグラム生成部１３４－２を割り当てることができる。
　このとき、第１測距期間において、サブフレームＳＦＭ１のＴＤＣコード循環期間は、サブフレームＳＦＭ２のＴＤＣコード循環期間より短くすることができる。サブフレームＳＦＭ２のＴＤＣコード循環期間は、サブフレームＳＦＭ３のＴＤＣコード循環期間より短くすることができる。第２測距期間において、サブフレームＳＦＭ１のＴＤＣコード循環期間は、測距レンジＭＲＧに相当する期間に設定することができる。第２測距期間のＴＤＣ分解能であるヒストグラムのビン幅は、第１測距期間のＴＤＣコード循環期間と同等以下とすることができる。例えば、第２測距期間のサブフレームＳＦＭ１で生成されるヒストグラムのビン幅は、第１測距期間のサブフレームＳＦＭ１のＴＤＣコード循環期間と等しくすることができる。また、第１測距期間で生成される２以上のＦｉｎｅヒストグラムのＴＤＣ分解能は互いに等しくすることができる。例えば、第１測距期間の各サブフレームＳＦＭ１からＳＦＭ３で生成されるＦｉｎｅヒストグラムのビン幅は、互いに等しくすることができる。測距レンジＭＲＧは、３つのサブフレームＳＦＭ１からＳＦＭ３から生成される３つのＦｉｎｅヒストグラムのビン数の最小公倍数と、Ｃｏａｒｓｅヒストグラムのビン数×最小のＦｉｎｅヒストグラムのビン数のうちの小さい方の値で与えることができる。このとき、測距点あたり測距可能な対象物の最大個数は２となる。
　ここで、Ｃｏａｒｓｅヒストグラムのビン幅≦Ｆｉｎｅヒストグラムの最小のＴＤＣコード循環期間に対応する距離という条件を満たすようにＣｏａｒｓｅヒストグラムのビン幅を設定することができる。また、Ｃｏａｒｓｅヒストグラムのビン幅≧測距レンジ／ヒストグラムビン数の最大値という条件を満たすようにＣｏａｒｓｅヒストグラムのビン幅を設定することができる。
　例えば、第１測距期間において、サブフレームＳＦＭ１で生成されるＦｉｎｅヒストグラムのビン数は６、サブフレームＳＦＭ２で生成されるＦｉｎｅヒストグラムのビン数は８、サブフレームＳＦＭ３で生成されるＦｉｎｅヒストグラムのビン数は１０に設定することができる。また、第２測距期間において、サブフレームＳＦＭ１で生成されるＣｏａｒｓｅヒストグラムのビン数は１０、サブフレームＳＦＭ２で生成されるＣｏａｒｓｅヒストグラムのビン数は８、サブフレームＳＦＭ３で生成されるＣｏａｒｓｅヒストグラムのビン数は６に設定することができる。ここで、第１測距期間のサブフレームＳＦＭ１で生成されるＦｉｎｅヒストグラムのＴＤＣコード循環期間をサブレンジＳＲに設定し、第２測距期間のサブフレームＳＦＭ１で生成されるＣｏａｒｓｅヒストグラムのビン幅をサブレンジＳＲに設定することができる。
　このように、上述の第５の実施の形態では、３つのサブフレームＳＦＭ１からＳＦＭ３をフレームＦＭに並列して設け、３つのサブフレームＳＦＭ１からＳＦＭ３の組を第１測距期間および第２測距期間に割り当てる。そして、測距レンジＭＲＧが拡大されるように、互いに異なる第１ＴＤＣコード循環期間を第１測距期間の３つのサブフレームＳＦＭ１からＳＦＭ３に設定する。また、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を第２測距期間のサブフレームＳＦＭ１からＳＦＭ３に設ける。これにより、２つの対象物１０１、１０２の測距を可能としつつ、測距レンジＭＲＧを拡大するために、４つのサブフレームＳＦＭ０からＳＦＭ３をフレームＦＭに設ける必要がなくなる。このため、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、対象物１０１、１０２の測距精度を向上させることが可能となるとともに、フレームレートを向上させつつ、測距レンジＭＲＧを拡大することができる。
　なお、上述の第５の実施の形態において、２つの対象物１０１、１０２の測距を行うには、第１測距期間の各サブフレームＳＦＭ１からＳＦＭ３で生成される３つのＦｉｎｅヒストグラムと、第２測距期間のサブフレームＳＦＭ１で生成される１つのＣｏａｒｓｅヒストグラムがあればよい。このため、第２測距期間のサブフレームＳＦＭ２、ＳＦＭ３で生成される２つのＣｏａｒｓｅヒストグラムは不要である。
　＜６．第６の実施の形態＞
　上述の第５の実施の形態では、測距レンジＭＲＧが拡大されるように、互いに異なる第１ＴＤＣコード循環期間を第１測距期間の３つのサブフレームＳＦＭ１からＳＦＭ３に設定する。そして、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間を第２測距期間のサブフレームＳＦＭ１からＳＦＭ３に設けた。この第６の実施の形態では、２つのサブフレームＳＦＭ１、ＳＦＭ２をフレームＦＭに並列して設け、２つのサブフレームＳＦＭ１、ＳＦＭ２の組を第１測距期間および第２測距期間に割り当てる。そして、測距レンジＭＲＧが拡大されるように、互いに異なる３つの第１ＴＤＣコード循環期間のうちの２つの第１ＴＤＣコード循環期間を第１測距期間のサブフレームＳＦＭ１、ＳＦＭ２に設定する。また、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間および残りの１つの第１ＴＤＣコード循環期間を第２測距期間のサブフレームＳＦＭ１、ＳＦＭ２に設ける。
　図１１は、第６の実施の形態に係る測距装置のＴＤＣ処理のシーケンスの一例を示す図である。
　同図において、フレームＦＭは、２つのサブフレームＳＦＭ１、ＳＦＭ２に分割される。第１測距期間および第２測距期間は並列に設置され、第１測距期間および第２測距期間のそれぞれには、サブフレームＳＦＭ１、ＳＦＭ２が割り当てられる。第１測距期間には、第１回路資源が割り当てられ、第２測距期間には、第２回路資源が割り当てられる。第１回路資源には、ＴＤＣ１３３－１およびヒストグラム生成部１３４－１を割り当て、第２回路資源には、ＴＤＣ１３３－２およびヒストグラム生成部１３４－２を割り当てることができる。
　このとき、第１測距期間において、サブフレームＳＦＭ１のＴＤＣコード循環期間は、サブフレームＳＦＭ２のＴＤＣコード循環期間より短くすることができる。第２測距期間において、サブフレームＳＦＭ２のＴＤＣコード循環期間は、第１測距期間のサブフレームＳＦＭ１のＴＤＣコード循環期間より短くすることができる。第２測距期間のサブフレームＳＦＭ１のＴＤＣコード循環期間は、測距レンジＭＲＧに相当する期間に設定することができる。第２測距期間のサブフレームＳＦＭ１のＴＤＣ分解能であるヒストグラムのビン幅は、第１測距期間のＴＤＣコード循環期間と同等以下とすることができる。例えば、第２測距期間のサブフレームＳＦＭ１で生成されるヒストグラムのビン幅は、第１測距期間のサブフレームＳＦＭ１のＴＤＣコード循環期間と等しくすることができる。また、第１測距期間で生成される２以上のＦｉｎｅヒストグラムのＴＤＣ分解能および第２測距期間のサブフレームＳＦＭ２で生成されるＦｉｎｅヒストグラムのＴＤＣ分解は互いに等しくすることができる。例えば、第１測距期間の各サブフレームＳＦＭ１、ＳＦＭ２および第２測距期間のサブフレームＳＦＭ２で生成されるＦｉｎｅヒストグラムのビン幅は、互いに等しくすることができる。測距レンジＭＲＧは、第１測距期間の各サブフレームＳＦＭ１、ＳＦＭ２および第２測距期間のサブフレームＳＦＭ２で生成される３つのＦｉｎｅヒストグラムのビン数の最小公倍数と、Ｃｏａｒｓｅヒストグラムのビン数×最小のＦｉｎｅヒストグラムのビン数のうちの小さい方の値で与えることができる。このとき、測距点あたりに測距可能な対象物の最大個数は２となる。
　ここで、Ｃｏａｒｓｅヒストグラムのビン幅≦Ｆｉｎｅヒストグラムの最小のＴＤＣコード循環期間に対応する距離という条件を満たすようにＣｏａｒｓｅヒストグラムのビン幅を設定することができる。また、Ｃｏａｒｓｅヒストグラムのビン幅≧測距レンジ／ヒストグラムビン数の最大値という条件を満たすようにＣｏａｒｓｅヒストグラムのビン幅を設定することができる。
　例えば、第１測距期間において、サブフレームＳＦＭ１で生成されるＦｉｎｅヒストグラムのビン数は６、サブフレームＳＦＭ２で生成されるＦｉｎｅヒストグラムのビン数は８に設定することができる。第２測距期間において、サブフレームＳＦＭ１で生成されるＣｏａｒｓｅヒストグラムのビン数は１０、サブフレームＳＦＭ２で生成されるＦｉｎｅヒストグラムのビン数は１０に設定することができる。ここで、第１測距期間のサブフレームＳＦＭ１で生成されるＦｉｎｅヒストグラムのＴＤＣコード循環期間をサブレンジＳＲに設定し、第２測距期間のサブフレームＳＦＭ１で生成されるＣｏａｒｓｅヒストグラムのビン幅をサブレンジＳＲに設定することができる。
　このように、上述の第６の実施の形態では、２つのサブフレームＳＦＭ１、ＳＦＭ２をフレームＦＭに並列して設ける。そして、測距レンジＭＲＧが拡大されるように、互いに異なる３つの第１ＴＤＣコード循環期間のうちの２つの第１ＴＤＣコード循環期間を第１測距期間の２つのサブフレームＳＦＭ１、ＳＦＭ２に設定する。また、第１ＴＤＣコード循環期間よりも長い第２ＴＤＣコード循環期間および残りの１つの第１ＴＤＣコード循環期間を第２測距期間の２つのサブフレームＳＦＭ１、ＳＦＭ２に設ける。これにより、２つのサブフレームＳＦＭ１、ＳＦＭ２をフレームＦＭに設けることにより、２つの対象物１０１、１０２の測距を可能としつつ、測距レンジＭＲＧを拡大することができる。このため、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、対象物１０１、１０２の測距精度を向上させることが可能となるとともに、フレームレートを向上させつつ、測距レンジＭＲＧを拡大することができる。
　＜７．第７の実施の形態＞
　上述の第１の実施の形態では、３つのサブフレームＳＦＭ０からＳＦＭ２をフレームＦＭに時分割的に設け、測距可能な対象物を２つとした。この第７の実施の形態では、複数のサブフレームがフレームに時分割的に設けられた測距における測距モードを選択可能とする。
　図１２は、第７の実施の形態に係る測距装置の測距モードの一例を示す図である。
　同図において、測距装置１００には、測距モードとして、フレームレート優先モードと、検出可能ピーク数設定モードと、測距レンジ優先モードとが設けられる。このとき、測距装置１００は、光検出に光検出部１２３を用いることができる。フレームレート優先モードは、フレームレートの高速化に対応したモードである。検出可能ピーク数設定モードは、測距可能な対象物を２つまたは３つに切り替え可能なモードである。測距レンジ優先モードは、測距レンジの拡大に対応したモードである。
　測距装置１００は、フレームレート優先モード、検出可能ピーク数設定モードおよび測距レンジ優先モードの選択に応じて、測距レンジ、対応ピーク数、サブフレーム数およびレーザー発射間隔を切り替えることができる。例えば、測距装置１００は、フレームレート優先モードでは、上述の第１の実施の形態の測距処理を実行することができる。測距装置１００は、検出可能ピーク数設定モードで３ピーク対応が選択された場合、上述の第３の実施の形態の測距処理を実行することができる。測距装置１００は、測距レンジ優先モードが選択された場合、上述の第４の実施の形態の測距処理を実行することができる。
　このとき、測距装置１００は、フレームレート優先モードと、検出可能ピーク数設定モードと、測距レンジ優先モードのそれぞれにおいて、レーザー発射間隔をサブフレームごとに変化させてもよい。
　このように、上述の第７の実施の形態では、測距モードとして、フレームレート優先モードと、検出可能ピーク数設定モードと、測距レンジ優先モードとを測距装置１００に設ける。これにより、測距装置１００は、測距条件を変更しつつ測距を実施することができ、測距環境に適応した測距を実現することが可能となる。
　＜８．第８の実施の形態＞
　上述の第７の実施の形態では、複数のサブフレームがフレームに時分割的に設けられた測距における測距モードを選択可能とした。この第８の実施の形態では、複数のサブフレームがフレームに並列して設けられた測距における測距モードを選択可能とする。
　図１３は、第８の実施の形態に係る測距装置の測距モードの一例を示す図である。
　同図において、測距装置１００には、測距モードとして、フレームレート優先モードと、測距レンジ優先モードとが設けられる。このとき、測距装置１００は、光検出に光検出部２２３を用いることができる。
　測距装置１００は、フレームレート優先モードおよび測距レンジ優先モードの選択に応じて、測距レンジ、対応ピーク数、サブフレーム数およびレーザー発射間隔を切り替えることができる。例えば、測距装置１００は、フレームレート優先モードでは、上述の第２の実施の形態の測距処理を実行することができる。測距装置１００は、測距レンジ優先モードが選択された場合、上述の第５の実施の形態の測距処理または上述の第６の実施の形態の測距処理を実行することができる。
　このように、上述の第８の実施の形態では、測距モードとして、フレームレート優先モードと、測距レンジ優先モードとを測距装置１００に設ける。これにより、測距装置１００は、測距条件を変更しつつ測距を実施することができ、測距環境に適応した測距を実現することが可能となる。
　＜９．第９の実施の形態＞
　上述の第１の実施の形態では、３つのサブフレームＳＦＭ０からＳＦＭ２をフレームＦＭに時分割的に設け、互いに異なる第１ＴＤＣコード循環期間を２つのサブフレームＳＦＭ１、ＳＦＭ２に設定した。この第９の実施の形態では、画素１５１が配列された画素アレイ部１４０を上層チップに設け、回路部が配列された回路アレイ部を下層チップに設ける。
　図１４は、第９の実施の形態に係る光検出部の積層例を示す斜視図である。
　同図において、この光検出部は、画素アレイ部１４０および回路アレイ部５０１を備える。画素アレイ部１４０は、回路アレイ部５０１上に積層することができる。画素アレイ部１４０は、画素１５１および読出し回路１３２を備える。画素１５１は、ロウ方向およびカラム方向にマトリックス状に配置される。各画素１５１には、ＳＰＡＤを設けることができる。
　回路アレイ部５０１は、回路部５１１を備える。回路部５１１は、ロウ方向およびカラム方向にマトリックス状に配置される。回路部５１１は、画素１５１ごとに設けることができる。各回路部５１１には、ＴＤＣ１３３およびヒストグラム生成部１３４などを設けることができる。
　回路アレイ部５０１が形成される下層チップおよび画素アレイ部１４０が形成される上層チップは、直接接合してもよい。このとき、下層チップおよび上層チップには、パッド電極５２１、５２２をそれぞれ形成することができる。パッド電極５２１は、回路部５１１に接続される。パッド電極５２２は、読出し回路１３２に接続される。パッド電極５２１、５２２は、互いに対向配置することができる。下層チップおよび上層チップの直接接合では、ハイブリッドボンディングを用いることができる。このとき、パッド電極５２１、５２２は、Ｃｕ－Ｃｕ接続することができる。
　このように、上述の第９の実施の形態では、画素１５１が配列された画素アレイ部１４０を回路部５１１が配列された回路アレイ部５０１上に積層する。これにより、チップサイズの増大を抑制しつつ、画素１５１の面積を増大させることができ、固体撮像装置の小型化を図りつつ、感度を向上させることができる。
　＜１０．第１０の実施の形態＞
　上述の第９の実施の形態では、画素１５１が配列された画素アレイ部１４０を回路部５１１が配列された回路アレイ部５０１上に積層した。この第１０の実施の形態では、複数のＳＰＡＤが設けられた画素が配列された画素アレイ部を上層チップに設け、回路部が配列された回路アレイ部を下層チップに設ける。
　図１５は、第１０の実施の形態に係る光検出部の積層例を示す斜視図である。
　同図において、この光検出部は、画素アレイ部６４０および回路アレイ部６０１を備える。画素アレイ部６４０は、回路アレイ部６０１上に積層することができる。画素アレイ部６４０は、画素６５１および読出し回路１３２を備える。画素６５１は、ロウ方向およびカラム方向にマトリックス状に配置される。各画素６５１には、複数のＳＰＡＤ６５２を設けることができる。各画素６５１において、ＳＰＡＤ６５２は、ロウ方向およびカラム方向にマトリックス状に配置してもよい。同図では、ＳＰＡＤ６５２を２行２列にマトリックス状に配置した例を示した。各画素６５１において、複数のＳＰＡＤ６５２は並列に接続することができる。
　回路アレイ部６０１は、回路部６１１を備える。回路部６１１は、ロウ方向およびカラム方向にマトリックス状に配置される。回路部６１１は、画素６５１ごとに設けることができる。各回路部６１１には、ＴＤＣ１３３およびヒストグラム生成部１３４などを設けることができる。このとき、各回路部６１１の読出し回路１３２は、各画素６５１の複数のＳＰＡＤ６５２に接続することができる。
　回路アレイ部６０１が形成される下層チップおよび画素アレイ部６４０が形成される上層チップは、直接接合してもよい。このとき、下層チップおよび上層チップには、パッド電極６２１、６２２をそれぞれ形成することができる。パッド電極６２１は、回路部６１１に接続される。パッド電極６２２は、読出し回路１３２に接続される。パッド電極６２１、６２２は、互いに対向配置することができる。下層チップおよび上層チップの直接接合では、ハイブリッドボンディングを用いることができる。このとき、パッド電極６２１、６２２は、Ｃｕ－Ｃｕ接続することができる。
　このように、上述の第１０の実施の形態では、複数のＳＰＡＤ６５２が設けられた画素６５１が配列された画素アレイ部６４０を、回路部６１１が配列された回路アレイ部６０１上に積層する。これにより、チップサイズの増大を抑制しつつ、各画素６５１の面積を増大させることが可能となるとともに、受光頻度を増大させることができる。このため、固体撮像装置の小型化を図りつつ、感度を向上させることが可能となるとともに、Ｓ／Ｎ比を向上させることができる。
　＜１１．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であってもよいし、赤外線等の非可視光であってもよい。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１７は、撮像部１２０３１の設置位置の例を示す図である。
　図１７では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、例えば、上述の測距装置１００は、撮像部１２０３１に適用することができる。車両制御システム１２０００に本開示に係る技術を適用することにより、測距処理にかかる負荷の増大を抑制しつつ、測距レンジを拡大することが可能となるとともに、複数の対象物１０１、１０２の測距精度を向上させることができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。また、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）光子の受光タイミングの時刻を計測するＴＤＣ（Time to Digital Converter）と、
　前記ＴＤＣの互いに異なるＴＤＣコード循環期間において、互いに異なるＴＤＣ分解能を持つヒストグラムを生成するヒストグラム生成部と、
　前記ヒストグラム生成部で生成されたヒストグラムに基づいて、対象物までの距離を算出する距離算出部と
を備える光検出装置。
（２）前記ＴＤＣは、発光間隔が互いに異なる前記光子の受光タイミングの時刻を計測する
前記（１）に記載の光検出装置。
（３）前記ヒストグラム生成部は、
　第１測距期間において前記ＴＤＣコード循環期間が互いに異なる２以上の第１ヒストグラムを生成し、
　第２測距期間において前記第１ヒストグラムよりも前記ＴＤＣ分解能が粗い第２ヒストグラムを生成する
前記（１）または（２）に記載の光検出装置。
（４）前記第１測距期間の測距光の発光間隔は、前記第２測距期間の前記測距光の発光間隔より短い
前記（３）に記載の光検出装置。
（５）前記第１測距期間における前記測距光の発光間隔は、前記第１ヒストグラムについての前記ＴＤＣコード循環期間の整数倍である
前記（３）または（４）に記載の光検出装置。
（６）前記第２測距期間のＴＤＣ分解能であるヒストグラムのビン幅は、前記第１ヒストグラムについての前記ＴＤＣコード循環期間と同等以下である
前記（３）から（５）のいずれかに記載の光検出装置。
（７）前記第１測距期間において前記ＴＤＣのＴＤＣコードが測距レンジ内で複数回循環する
前記（３）から（６）のいずれかに記載の光検出装置。
（８）前記２以上の第１ヒストグラムの前記ＴＤＣ分解能は互いに等しい
前記（３）から（７）のいずれかに記載の光検出装置。
（９）前記第２測距期間の前記ＴＤＣ分解能であるヒストグラムのビン幅の上限は、前記第１ヒストグラムについての前記ＴＤＣコード循環期間の最小値である
前記（３）から（８）のいずれかに記載の光検出装置。
（１０）前記第２測距期間の前記ＴＤＣ分解能であるヒストグラムのビン幅の下限は、前記第２ヒストグラムのビン数の最大値で測距レンジを割った値である
前記（９）に記載の光検出装置。
（１１）前記第１測距期間および前記第２測距期間は時分割的に設定される
前記（３）から（１０）のいずれかに記載の光検出装置。
（１２）前記第１ヒストグラムの生成および前記第２ヒストグラムの生成に同一の回路資源が割り当てられる
前記（１１）に記載の光検出装置。
（１３）前記第１測距期間および前記第２測距期間は並列に設定される
前記（３）から（１０）のいずれかに記載の光検出装置。
（１４）前記第１ヒストグラムの生成および前記第２ヒストグラムの生成に別個の回路資源が割り当てられる
前記（１３）に記載の光検出装置。
（１５）フレームレートを高速化可能なフレームレート優先モードと、検出可能ピーク数を増大可能な検出可能ピーク数設定モードと、測距レンジを拡大可能な測距レンジ優先モードとのいずれか少なくとも１つが設けられる
前記（１）から（１４）のいずれかに記載の光検出装置。
（１６）前記フレームレート優先モードと、前記検出可能ピーク数設定モードと、前記測距レンジ優先モードとのいずれか少なくとも１つにおいて、前記測距光の発光間隔がサブフレームごとに変化される
前記（１５）に記載の光検出装置。
（１７）前記ヒストグラム生成部で生成されたヒストグラムに基づいて、対象物までの距離を算出する距離算出部
をさらに備える前記（３）に記載の光検出装置。
（１８）前記距離算出部は、前記第１ヒストグラムおよび第２ヒストグラムに基づいて、少なくとも１つの対象物までの距離を算出する
前記（１７）に記載の光検出装置。
（１９）前記距離算出部が算出可能な対象物までの距離の個数は、前記第１ヒストグラムの個数以下である
前記（１７）または（１８）に記載の光検出装置。
（２０）光子を対象物に出射する発光部と、
　前記対象物から反射された光子の受光タイミングの時刻を計測するＴＤＣ（Time to Digital Converter）の互いに異なるＴＤＣコード循環期間において、互いに異なるＴＤＣ分解能を持つヒストグラムを生成する光検出装置と
を備える測距システム。
　１００　測距装置
　１０１、１０２　対象物
　１１１　駆動部
　１１２　発光部
　１１３、１２１　光学系
　１２２　光学フィルタ
　１２３　光検出部
　１２４　距離算出部
　１３１　画素アレイ部
　１３２　読出し回路
　１３３　ＴＤＣ
　１３４　ヒストグラム生成部
　１３５　制御部
　１３１　画素アレイ部
　１４１　行走査回路
　１４２　列処理回路
　１５１　画素
　１５２　スイッチ

Claims (20)

  1. 　光子の受光タイミングの時刻を計測するＴＤＣ（Time to Digital Converter）と、
    　前記ＴＤＣの互いに異なるＴＤＣコード循環期間において、互いに異なるＴＤＣ分解能を持つヒストグラムを生成するヒストグラム生成部と
    を備える光検出装置。
  2. 　前記ＴＤＣは、発光間隔が互いに異なる前記光子の受光タイミングの時刻を計測する
    請求項１に記載の光検出装置。
  3. 　前記ヒストグラム生成部は、
    　第１測距期間において前記ＴＤＣコード循環期間が互いに異なる２以上の第１ヒストグラムを生成し、
    　第２測距期間において前記第１ヒストグラムよりも前記ＴＤＣ分解能が粗い第２ヒストグラムを生成する
    請求項１に記載の光検出装置。
  4. 　前記第１測距期間の測距光の発光間隔は、前記第２測距期間の前記測距光の発光間隔より短い
    請求項３に記載の光検出装置。
  5. 　前記第１測距期間における前記測距光の発光間隔は、前記第１ヒストグラムについての前記ＴＤＣコード循環期間の整数倍である
    請求項３に記載の光検出装置。
  6. 　前記第２測距期間のＴＤＣ分解能であるヒストグラムのビン幅は、前記第１ヒストグラムについての前記ＴＤＣコード循環期間と同等以下である
    請求項３に記載の光検出装置。
  7. 　前記第１測距期間において前記ＴＤＣのＴＤＣコードが測距レンジ内で複数回循環する
    請求項３に記載の光検出装置。
  8. 　前記２以上の第１ヒストグラムの前記ＴＤＣ分解能は互いに等しい
    請求項３に記載の光検出装置。
  9. 　前記第２測距期間の前記ＴＤＣ分解能であるヒストグラムのビン幅の上限は、前記第１ヒストグラムについての前記ＴＤＣコード循環期間の最小値である
    請求項３に記載の光検出装置。
  10. 　前記第２測距期間の前記ＴＤＣ分解能であるヒストグラムのビン幅の下限は、前記第２ヒストグラムのビン数の最大値で測距レンジを割った値である
    請求項９に記載の光検出装置。
  11. 　前記第１測距期間および前記第２測距期間は時分割的に設定される
    請求項３に記載の光検出装置。
  12. 　前記第１ヒストグラムの生成および前記第２ヒストグラムの生成に同一の回路資源が割り当てられる
    請求項１１に記載の光検出装置。
  13. 　前記第１測距期間および前記第２測距期間は並列に設定される
    請求項３に記載の光検出装置。
  14. 　前記第１ヒストグラムの生成および前記第２ヒストグラムの生成に別個の回路資源が割り当てられる
    請求項１３に記載の光検出装置。
  15. 　フレームレートを高速化可能なフレームレート優先モードと、検出可能ピーク数を増大可能な検出可能ピーク数設定モードと、測距レンジを拡大可能な測距レンジ優先モードとのいずれか少なくとも１つが設けられる
    請求項１に記載の光検出装置。
  16. 　前記フレームレート優先モードと、前記検出可能ピーク数設定モードと、前記測距レンジ優先モードとのいずれか少なくとも１つにおいて、前記測距光の発光間隔がサブフレームごとに変化される
    請求項１５に記載の光検出装置。
  17. 　前記ヒストグラム生成部で生成されたヒストグラムに基づいて、対象物までの距離を算出する距離算出部
    をさらに備える請求項３に記載の光検出装置。
  18. 　前記距離算出部は、前記第１ヒストグラムおよび第２ヒストグラムに基づいて、少なくとも１つの対象物までの距離を算出する
    請求項１７に記載の光検出装置。
  19. 　前記距離算出部が算出可能な対象物までの距離の個数は、前記第１ヒストグラムの個数以下である
    請求項１７に記載の光検出装置。
  20. 　光子を対象物に出射する発光部と、
    　前記対象物から反射された光子の受光タイミングの時刻を計測するＴＤＣ（Time to Digital Converter）の互いに異なるＴＤＣコード循環期間において、互いに異なるＴＤＣ分解能を持つヒストグラムを生成する光検出装置と
    を備える測距システム。
PCT/JP2024/000440 2023-03-06 2024-01-11 光検出装置および測距システム Pending WO2024185288A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-033864 2023-03-06
JP2023033864A JP2024125795A (ja) 2023-03-06 2023-03-06 光検出装置および測距システム

Publications (1)

Publication Number Publication Date
WO2024185288A1 true WO2024185288A1 (ja) 2024-09-12

Family

ID=92674741

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/000440 Pending WO2024185288A1 (ja) 2023-03-06 2024-01-11 光検出装置および測距システム

Country Status (2)

Country Link
JP (1) JP2024125795A (ja)
WO (1) WO2024185288A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013011558A (ja) * 2011-06-30 2013-01-17 Topcon Corp 光波距離測定方法及び光波距離装置
JP2021001763A (ja) * 2019-06-20 2021-01-07 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、および、測距システム
JP2021018231A (ja) * 2019-07-16 2021-02-15 ソニーセミコンダクタソリューションズ株式会社 測定装置および測定方法、並びにプログラム
JP2022064310A (ja) * 2020-10-13 2022-04-25 ジック アーゲー 光伝播時間法を用いた距離測定
US20220221562A1 (en) * 2021-03-23 2022-07-14 Shenzhen Adaps Photonics Technology Co., Ltd. Methods and systems for spad optimizaiton
WO2023276222A1 (ja) * 2021-06-29 2023-01-05 ソニーセミコンダクタソリューションズ株式会社 光検出装置、光検出システム、および光検出方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013011558A (ja) * 2011-06-30 2013-01-17 Topcon Corp 光波距離測定方法及び光波距離装置
JP2021001763A (ja) * 2019-06-20 2021-01-07 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、および、測距システム
JP2021018231A (ja) * 2019-07-16 2021-02-15 ソニーセミコンダクタソリューションズ株式会社 測定装置および測定方法、並びにプログラム
JP2022064310A (ja) * 2020-10-13 2022-04-25 ジック アーゲー 光伝播時間法を用いた距離測定
US20220221562A1 (en) * 2021-03-23 2022-07-14 Shenzhen Adaps Photonics Technology Co., Ltd. Methods and systems for spad optimizaiton
WO2023276222A1 (ja) * 2021-06-29 2023-01-05 ソニーセミコンダクタソリューションズ株式会社 光検出装置、光検出システム、および光検出方法

Also Published As

Publication number Publication date
JP2024125795A (ja) 2024-09-19

Similar Documents

Publication Publication Date Title
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
US11330202B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
US11513200B2 (en) Distance measuring device and distance measuring method
JP7414440B2 (ja) 測距センサ
US10996320B2 (en) Electronic device and control method of electronic device
US12498479B2 (en) Distance measuring device and distance measuring method
JP7490653B2 (ja) 測定装置および測定方法、並びにプログラム
US20250003746A1 (en) Photodetection device and photodetection system
WO2021241360A1 (ja) 検出装置、検出システム及び検出方法
JP7645226B2 (ja) センシングシステム、および、測距システム
WO2024185288A1 (ja) 光検出装置および測距システム
JP7609162B2 (ja) センシングシステム
US20250040269A1 (en) Photodetection device and distance measuring system
US20230228875A1 (en) Solid-state imaging element, sensing system, and control method of solid-state imaging element
WO2020129474A1 (ja) 測距装置および計測装置
WO2025120830A1 (ja) 光検出素子
WO2024154429A1 (ja) 測距装置
WO2025243663A1 (ja) 光検出装置および測距装置
WO2022239459A1 (ja) 測距装置及び測距システム
WO2024042668A1 (ja) 光検出素子
WO2025121217A1 (ja) 測距装置
JP2025135117A (ja) 光検出装置および電子機器
KR20240168357A (ko) 측거 장치 및 측거 방법
JP2022007152A (ja) 光検出装置および測距システム
WO2025013429A1 (ja) 測距システム、発光装置および受光装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24766663

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE