[go: up one dir, main page]

WO2024135094A1 - 光検出装置、および、光検出装置の制御方法 - Google Patents

光検出装置、および、光検出装置の制御方法 Download PDF

Info

Publication number
WO2024135094A1
WO2024135094A1 PCT/JP2023/038835 JP2023038835W WO2024135094A1 WO 2024135094 A1 WO2024135094 A1 WO 2024135094A1 JP 2023038835 W JP2023038835 W JP 2023038835W WO 2024135094 A1 WO2024135094 A1 WO 2024135094A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
sensor
line data
unit
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/038835
Other languages
English (en)
French (fr)
Inventor
晋 宝玉
武仕 親川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2024565637A priority Critical patent/JPWO2024135094A1/ja
Priority to KR1020257022985A priority patent/KR20250126027A/ko
Priority to EP23906467.8A priority patent/EP4642045A1/en
Priority to CN202380086589.9A priority patent/CN120380773A/zh
Publication of WO2024135094A1 publication Critical patent/WO2024135094A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]

Definitions

  • This technology relates to a photodetection device. More specifically, it relates to a photodetection device that uses a neural network model and a method for controlling the photodetection device.
  • pixel information for each image group is input into a corresponding neural network circuit group to speed up processing.
  • the higher the pixel output rate the greater the power consumption and processing delay of the downstream circuit. This causes the output rate to become a bottleneck, making it difficult to further improve performance.
  • This technology was developed in light of these circumstances, and aims to improve the performance of photodetection devices that use neural network circuits.
  • This technology has been made to solve the problems mentioned above, and its first aspect is a photodetection device and its control method that include a sensor that reads out sensor data in which multiple pixel data are arranged from a pixel array section, a neural network circuit that processes the sensor data based on a neural network model and outputs line data in which multiple processing results are arranged, and a read control section that generates a read control signal that indicates a pixel group to be read in the pixel array section based on the line data.
  • This has the effect of suppressing processing delays and increases in power consumption of the photodetection device.
  • the line data may include first line data and second line data
  • the neural network circuit may output the first line data and the second line data in parallel
  • the read control unit may compare the first line data with the second line data and generate the read control signal based on the comparison result.
  • the neural network model may be a spiking neural network model, and each of the first line data and the second line data may include a plurality of bit strings, each of which may include a plurality of bits indicating spike detection results in chronological order. This provides the effect of controlling readout based on the spike detection results.
  • the neural network model may be a spiking neural network model, and each of the first line data and the second line data may include a plurality of bit strings indicating the state values of the membrane potential in chronological order. This provides the effect of controlling the readout based on the state values of the membrane potential.
  • a conversion unit may be further provided that converts at least one of the identification information and the sensor data and supplies the converted data to the neural network circuit, and the sensor may output the identification information together with the sensor data. This provides the effect of controlling readout based on the identification information and the sensor data.
  • a first FIFO (First In, First Out) memory that holds the sensor data in a first-in, first-out manner and a second FIFO memory that holds the read control signal in a first-in, first-out manner may be provided, and the neural network circuit may read the sensor data from the first FIFO memory, and the sensor may read the read control signal from the second FIFO memory. This provides the effect of buffering the read control signal and the sensor data.
  • First FIFO First In, First Out
  • the device may further include a first FIFO memory that holds the sensor data in a first-in, first-out manner, and a second FIFO memory that holds the line data in a first-in, first-out manner, and the neural network circuit may read the sensor data from the first FIFO memory, and the read control unit may read the line data from the second FIFO memory. This provides the effect of buffering the sensor data and the line data.
  • the device may further include a digital processing unit that reads and processes the sensor data from the first FIFO memory, and a first format processing unit that generates a communication frame that stores the sensor data. This provides the effect of outputting the sensor data to the outside.
  • a second format processing unit may be further provided that generates a communication frame in which the line data is stored, and the read control unit may output the line data to the second format processing unit. This provides the effect of outputting the line data to the outside.
  • the senor may be an EVS (Event-based Vision Sensor). This provides the effect of controlling the reading of the EVS.
  • EVS Event-based Vision Sensor
  • the senor may be a photon measurement circuit that counts photons. This provides the effect of controlling the readout of the photon counting circuit.
  • the senor may be a CIS (CMOS Image Sensor). This provides the effect of controlling the readout of the CIS.
  • CIS CMOS Image Sensor
  • the senor, the neural network circuit, and the readout control unit may be distributed among multiple stacked chips. This reduces the circuit scale of each chip.
  • FIG. 1 is a block diagram showing a configuration example of a light detection device according to a first embodiment of the present technology
  • 1 is a block diagram showing a configuration example of a sensor chip according to a first embodiment of the present technology
  • 2 is a block diagram showing a configuration example of an EVS according to a first embodiment of the present technology.
  • FIG. 1 is a circuit diagram showing a configuration example of a pixel according to a first embodiment of the present technology
  • FIG. 2 is a diagram illustrating an implementation example of an SNN circuit according to the first embodiment of the present technology.
  • FIG. 2 is a block diagram showing a configuration example of a core according to the first embodiment of the present technology
  • FIG. 4A to 4C are diagrams for explaining a method of generating a read control signal in the first embodiment of the present technology.
  • 2 is a block diagram showing a configuration example of a test pattern generating unit according to the first embodiment of the present technology
  • FIG. 4 is a flowchart showing an example of an operation of the photodetector according to the first embodiment of the present technology.
  • FIG. 1 is a block diagram showing a configuration example of an SNN processor according to a first modified example of the first embodiment of the present technology.
  • FIG. 13 is a diagram illustrating an example of a state line in a second modified example of the first embodiment of the present technology.
  • FIG. 13 is a diagram showing an example of a stacked structure of a sensor chip according to a third modified example of the first embodiment of the present technology
  • FIG. FIG. 13 is a circuit diagram showing a configuration example of a pixel according to a third modified example of the first embodiment of the present technology
  • 13 is a diagram showing an example of a stacked structure of a sensor chip in a fourth modified example of the first embodiment of the present technology
  • FIG. FIG. 11 is a block diagram showing a configuration example of a sensor chip according to a second embodiment of the present technology.
  • FIG. 13 is a block diagram showing a configuration example of a sensor chip according to a modified example of the second embodiment of the present technology.
  • FIG. 13 is a block diagram showing a configuration example of a sensor chip according to a third embodiment of the present technology.
  • FIG. 13 is a block diagram showing a configuration example of a photon measurement circuit according to a third embodiment of the present technology.
  • FIG. 13 is a circuit diagram showing a configuration example of a pixel according to a third embodiment of the present technology.
  • FIG. 13 is a block diagram showing a configuration example of a sensor chip according to a fourth embodiment of the present technology.
  • FIG. 13 is a block diagram showing a configuration example of a CIS according to a fourth embodiment of the present technology.
  • FIG. 13 is a circuit diagram showing a configuration example of a pixel according to a fourth embodiment of the present technology.
  • 1 is a block diagram showing a schematic configuration example of a vehicle control system;
  • FIG. 4 is an explanatory diagram showing an example of an installation position of an imaging unit.
  • First embodiment (example of read control based on output of SNN circuit) 2.
  • Second embodiment (example in which a digital processing unit performs read control based on the output of an SNN circuit) 3.
  • Third embodiment (example of controlling readout of a photon counting circuit based on the output of an SNN circuit) 4.
  • Fourth embodiment (example of CIS read control based on output of SNN circuit) 5. Examples of applications to moving objects
  • First embodiment [Configuration example of a light detection device] 1 is a block diagram showing a configuration example of a light detection device 100 according to a first embodiment of the present technology.
  • the light detection device 100 includes an optical unit 110, a sensor chip 200, and a DSP (Digital Signal Processing) circuit 120.
  • the light detection device 100 further includes a display unit 130, an operation unit 140, a bus 150, a frame memory 160, a storage unit 170, and a power supply unit 180.
  • a digital camera such as a digital still camera, a smartphone, a personal computer, an in-vehicle camera, and the like are assumed.
  • the optical unit 110 collects light from the subject and guides it to the sensor chip 200.
  • the sensor chip 200 generates and processes multiple pixel data through photoelectric conversion.
  • the sensor chip 200 supplies the processed data to the DSP circuit 120.
  • the DSP circuit 120 performs a predetermined signal processing on the data from the sensor chip 200. This DSP circuit 120 outputs the processed data to the frame memory 160 etc. via the bus 150.
  • the display unit 130 displays image data and the like.
  • the display unit 130 may be, for example, a liquid crystal panel or an organic EL (Electro Luminescence) panel.
  • the operation unit 140 generates an operation signal in accordance with a user's operation.
  • the bus 150 is a common path for the optical unit 110, the sensor chip 200, the DSP circuit 120, the display unit 130, the operation unit 140, the frame memory 160, the storage unit 170, and the power supply unit 180 to exchange data with each other.
  • the memory unit 170 stores various data such as image data.
  • the power supply unit 180 supplies power to the sensor chip 200, the DSP circuit 120, the display unit 130, etc.
  • Example of sensor chip configuration 2 is a block diagram showing a configuration example of the sensor chip 200 according to the first embodiment of the present technology.
  • the sensor chip 200 is a single semiconductor chip, and includes an EVS 300 and an SNN processor 500.
  • the sensor chip 200 further includes FIFO memories 211 and 212, a test pattern generation unit 220, a digital processing unit 241, a format processing unit 251, and an external communication interface 261.
  • EVS300 detects changes in luminance for each pixel. This EVS300 sequentially selects multiple lines in a pixel array section (not shown), and reads out data in which pixel data for each pixel in that line is arranged as a PL (Pixel Line). EVS300 then outputs each PL to FIFO memory 211. Each piece of pixel data includes, for example, a bit that indicates the detection result of the luminance change of that pixel. Note that EVS300 is an example of a sensor as recited in the claims. Also, PL is an example of sensor data as recited in the claims.
  • the FIFO memory 211 holds the PL from the EVS 300 in a first-in, first-out manner.
  • the PL is read by the test pattern generation unit 220 and the SNN processor 500.
  • the FIFO memory 211 is an example of the first FIFO memory described in the claims.
  • the SNN processor 500 processes the PL based on the SNN model, and generates a read control signal Ctrl based on the processing result.
  • This read control signal Ctrl is a control signal that indicates the pixel group to be read within the pixel array section of the EVS 300.
  • the SNN processor 500 outputs the read control signal Ctrl to the FIFO memory 212.
  • the FIFO memory 212 holds the read control signal Ctrl from the SNN processor 500 in a first-in, first-out manner.
  • the read control signal Ctrl is read by the EVS 300.
  • the FIFO memory 212 is an example of the second FIFO memory described in the claims.
  • the test pattern generating unit 220 generates a predetermined test pattern in the test mode. This test pattern generating unit 220 supplies the test pattern to the digital processing unit 241 in the test mode, and supplies the PL to the digital processing unit 241 when not in the test mode.
  • the test pattern generation unit 220 is arranged as necessary. If the test pattern generation unit 220 is not required, the PL from the FIFO memory 211 is input directly to the digital processing unit 241.
  • the digital processing unit 241 performs various digital processing on the PL.
  • the digital processing unit 241 supplies the processed PL to the format processing unit 251.
  • the format processing unit 251 generates a communication frame that stores the PL. This format processing unit 251 supplies the generated communication frame to the external communication interface 261.
  • the external communication interface 261 transmits communication frames from the format processing unit 251 to the DSP circuit 120, etc.
  • a communication standard for the external communication interface 261 for example, MIPI (Mobile Industry Processor Interface) is used.
  • [EVS configuration example] 3 is a block diagram showing a configuration example of an EVS 300 according to the first embodiment of the present technology.
  • the EVS 300 includes a drive unit 310, a pixel array unit 320, a timing control circuit 330, and a line scanner 340.
  • a pixel array unit 320 In the pixel array unit 320, a plurality of pixels 400 are arranged in a two-dimensional lattice pattern.
  • the driving unit 310 drives each of the pixels 400.
  • the pixels 400 detect whether there is a change in luminance and generate pixel data that indicates the detection result.
  • the timing control circuit 330 controls the timing for driving the drive unit 310 and the line scanner 340.
  • a vertical synchronization signal is input to the timing control circuit 330.
  • the timing control circuit 330 generates a horizontal synchronization signal from the vertical synchronization signal and supplies it to the line scanner 340.
  • the line scanner 340 sequentially selects lines (rows, columns, etc.) in synchronization with the horizontal synchronization signal, and reads out the pixel data of each pixel within that line.
  • This line scanner 340 arranges the pixel data read from the line in one dimension, and outputs the data to the FIFO memory 211 as PL.
  • the read unit is the line, it can also be the area unit instead. In this case, the line scanner 340 arranges the pixel data read from the selected area in one dimension in a specified order, and outputs it as PL.
  • the driver 310 and line scanner 340 also select the rows and columns to read out according to a read control signal Ctrl from the FIFO memory 212.
  • the read control signal Ctrl indicates, for example, the pixel groups to be read out row by row or column by column.
  • the read control signal Ctrl can also indicate the pixel groups to be read out area by area. In the initial state, all pixels are read out.
  • EVS300 can also use an arbiter method that reads pixel data without synchronizing with a synchronization signal.
  • FIG. 4 is a circuit diagram showing an example of a configuration of a pixel 400 according to the first embodiment of the present technology.
  • the pixel 400 includes a pixel circuit 410, a buffer 420, a differentiation circuit 430, and a quantizer 440.
  • the pixel circuit 410 includes a photodiode 411, nMOS (negative channel MOS) transistors 412 and 413, and a pMOS (positive channel MOS) transistor 414.
  • the photodiode 411 generates a photocurrent by photoelectric conversion of incident light.
  • the nMOS transistor 412 is inserted between the power supply and the photodiode 411.
  • the pMOS transistor 414 and the nMOS transistor 413 are connected in series between the power supply and a ground terminal.
  • the gate of the nMOS transistor 413 is connected to the connection point of the nMOS transistor 412 and the photodiode 411, and a bias voltage Vblog is applied to the gate of the pMOS transistor 414.
  • the buffer 420 includes pMOS transistors 421 and 422 connected in series between the power supply and the ground terminal.
  • the gate of the pMOS transistor 422 on the ground side is connected to the connection point of the pMOS transistor 414 and the nMOS transistor 413.
  • a bias voltage Vbsf is applied to the gate of the pMOS transistor 421 on the power supply side.
  • the connection point of the pMOS transistors 421 and 422 is connected to the differentiation circuit 430.
  • the above circuit generates a voltage signal corresponding to the photocurrent, which is output from the buffer 420.
  • Differential circuit 430 includes capacitors 431 and 433, pMOS transistors 432 and 434, and nMOS transistor 435.
  • One end of the capacitance 431 is connected to the buffer 420, and the other end is connected to one end of the capacitance 433 and the gate of the pMOS transistor 434.
  • a reset signal xrst is input to the gate of the pMOS transistor 432, and the source and drain are connected to both ends of the capacitance 433.
  • the pMOS transistor 434 and the nMOS transistor 435 are connected in series between the power supply and the ground terminal.
  • the other end of the capacitance 433 is connected to the connection point of the pMOS transistor 434 and the nMOS transistor 435.
  • a bias voltage Vba is applied to the gate of the nMOS transistor 435 on the ground side, and the connection point of the pMOS transistor 434 and the nMOS transistor 435 is also connected to the quantizer 440. With this connection, a differential signal indicating the amount of change in the voltage signal is generated and output to the quantizer 440. The differential signal is also initialized by the reset signal xrst.
  • the quantizer 440 includes a pMOS transistor 441 and an nMOS transistor 442 connected in series between a power supply and a ground terminal.
  • the gate of the pMOS transistor 441 is connected to the differentiation circuit 430, and a predetermined upper threshold Vbon is applied to the gate of the nMOS transistor 442.
  • the voltage signal at the connection point between the pMOS transistor 441 and the nMOS transistor 442 is read by the line scanner 340 as a detection signal of a change in luminance.
  • an on-event is detected when the differentiated signal indicating a change in luminance exceeds an upper threshold Vbon.
  • the pixel 400 can also detect an off-event when the differentiated signal falls below a lower threshold Vboff.
  • a pMOS transistor 443 and an nMOS transistor 444 are added, which are connected in series between the power supply and the ground terminal.
  • the gate of the pMOS transistor 443 is connected to the differentiation circuit 430, and the lower threshold Vboff is applied to the gate of the nMOS transistor 444.
  • the pixel 400 may detect both an on-event and an off-event, or may detect only one of them.
  • Example of SNN processor configuration is a block diagram showing an example of a configuration of an SNN processor 500 according to the first embodiment of the present technology.
  • the SNN processor 500 includes an SNN circuit 510 and a read control unit 550.
  • the EVS 300 reads out the PL from the pixel array section.
  • the PL is input to the SNN circuit 510 via the FIFO memory 211.
  • the SNN circuit 510 processes the PL based on an SNN model and generates line data in which multiple processing results are arranged as an SL (Spike Line).
  • the SL is data in which spike signals output by a row of neurons in the SNN circuit 510 at a certain time are arranged.
  • the SNN circuit 510 reads out the SL and outputs it to the control section 550.
  • the read control unit 550 generates a read control signal Ctrl based on the SL.
  • the EVS 300 reads the next PL according to this read control signal Ctrl.
  • the configuration illustrated in the figure makes it possible to realize an application in which, for example, the SNN processor 500 recognizes a specific object in an image, reads out an ROI (Region of Interest) that includes the object, and specifies it using a control signal Ctrl.
  • ROI Region of Interest
  • the bandwidth between the EVS300 and the FIFO memory 211 may be insufficient, which may cause processing delays after the test pattern generation unit 220.
  • the power consumption of the circuits after the test pattern generation unit 220 may increase.
  • the SNN processor 500 uses the read control signal Ctrl to specify the next group of pixels to be read, it is possible to reduce the output rate compared to when all pixels are read, thereby suppressing processing delays and increases in power consumption. This makes it possible to improve the performance of the photodetection device 100.
  • the SNN circuit 510 also has an input layer 520, an intermediate layer 530, and an output layer 540.
  • the input layer 520 receives the PL as input.
  • the intermediate layer 530 has one or more layers. Neurons in the previous layer are connected to neurons in the next layer, and the results of calculations in the previous layer are passed to the next layer.
  • the output layer 540 generates spike signals asynchronously.
  • a pair of neuron rows are arranged.
  • the SL output by one neuron row at each time is designated as SLa
  • the SL output by the other neuron row at each time is designated as SLb.
  • the read control unit 550 compares the output data of each neuron row, and generates a read control signal Ctrl based on the comparison result.
  • SLa is an example of the first line data described in the claims
  • SLb is an example of the second line data described in the claims.
  • FIG. 6 is a diagram showing an example implementation of an SNN circuit 510 in the first embodiment of the present technology.
  • the SNN circuit 510 in FIG. 5 is realized, for example, by the circuit in FIG. 6.
  • the SNN circuit 510 includes, for example, an input/output interface 560 and a multi-core array 570.
  • the input/output interface 560 transmits and receives data between the outside and the multi-core array 570.
  • This input/output interface 560 supplies the PL input from the FIFO memory 211 to the multi-core array 570, and reads the SL from the multi-core array 570 and supplies it to the control unit 550.
  • multi-core array 570 multiple cores 590 are arranged in a two-dimensional lattice.
  • a router 580 is placed adjacent to each core 590.
  • the router 580 controls the data path.
  • This router 580 includes, for example, FIFO memories 581 to 585 and an arbiter 586.
  • E indicates the east direction of the router 580 in question
  • S indicates the south direction
  • W indicates the west direction
  • N indicates the north direction
  • L indicates the direction toward the core 590 adjacent to the router 580.
  • FIFO memory 581 holds data from the east direction in a first-in-first-out manner and outputs a request to arbiter 586.
  • FIFO memory 582 holds data from the south direction in a first-in-first-out manner and outputs a request to arbiter 586.
  • FIFO memory 583 holds data from the west direction in a first-in-first-out manner and outputs a request to arbiter 586.
  • FIFO memory 584 holds data from the north direction in a first-in-first-out manner and outputs a request to arbiter 586.
  • FIFO memory 585 holds data from the adjacent core 590 in a first-in-first-out manner and outputs a request to arbiter 586.
  • the external FIFO memory 211 can be eliminated and replaced with a FIFO memory 581 in the SNN circuit 510.
  • the arbiter 586 arbitrates requests from each of the FIFO memories 581 to 585 and returns a response. When a response is received, the FIFO memory outputs data to either the east, west, north, or south adjacent core 590 via the arbiter 586.
  • FIG. 7 is a block diagram showing an example of the configuration of a core 590 in the first embodiment of the present technology.
  • the core 590 includes a core router 591, a neuron I/O (Input/Output) 592, a multiply-accumulate unit 593, a work memory 594, a membrane potential memory 595, and an LIF (Leaky Integrate and Fire) unit 596.
  • the core router 591 supplies data from adjacent routers 580 to the neuron I/O 592 and supplies data from the LIF unit 596 to the adjacent routers 580.
  • the multiply-and-accumulate unit 593 uses the work memory 594 to accumulate data from the neuron I/O 592.
  • the membrane potential memory 595 holds the membrane potential obtained by integration.
  • the LIF unit 596 determines whether the membrane potential has exceeded a predetermined threshold and fired (in other words, a spike has occurred), and supplies the result to the core router 591.
  • FIG. 8 is a diagram for explaining a method for generating a read control signal in the first embodiment of this technology.
  • Each PL includes multiple pixel data.
  • Each pixel data is, for example, one bit of information indicating whether an on-event has been detected.
  • x0 to xj indicate the x-coordinate of each pixel in the line.
  • b shows an example of the configuration of the output layer 540.
  • the output layer 540 a pair of neurons is arranged for each line. If the number of lines is k, then a neuron row Ra in which neurons 541-1 to 541-k are arranged, and a neuron row Rb in which neurons 542-1 to 542-k are arranged are arranged.
  • the data output by neurons 541-1 to 541-k are denoted as 1a to ka, and the data output by neurons 542-1 to 542-k are denoted as 1b to kb.
  • the data output by each neuron includes, for example, spike groups C1a to Cja that were generated within different time periods.
  • Spike groups C1a to Cja are data that correspond to each pixel of x-coordinates x1 to xj.
  • Each spike group also includes multiple spike signals that were generated within the corresponding time period.
  • t1 to tm indicate the times when the spike signals were generated.
  • white rectangles indicate that a spike was present, and black rectangles indicate that a spike was not present.
  • the data obtained by arranging the spike signals output by each neuron in neuron row Ra corresponds to the aforementioned SLa.
  • the data obtained by arranging the spike signals output by each neuron in neuron row Rb corresponds to the aforementioned SLb.
  • the read control unit 550 compares the data output by each of the neuron pairs corresponding to the line and generates a read control signal Ctrl.
  • the read control unit 550 counts the number of spikes for each spike group of the neuron pair and compares them. For example, when a pattern to be recognized occurs on a certain line, the count value of the spike group of one of the neuron pairs corresponding to that line (e.g., 541-1) is set to be larger than the count value of the spike group of the other (e.g., 542-1). In this case, for example, when the count value of C1a in a certain line is larger than the count value of C1b, the pixel at x-coordinate x1 on that line is specified as the read target.
  • the read control unit 550 compares the count values of spike groups, it can instead input the spike groups to be compared into a softmax function and compare the output values. Also, each spike group has a one-to-one correspondence with a pixel, but a one-to-many correspondence is also possible. Furthermore, the read control unit 550 can adjust the frequency of reading out rows and columns based on the comparison results.
  • the read control unit 550 generates and outputs a read control signal Ctrl for each line of y coordinates y1 to yk. This allows the read control unit 550 to specify the pixels to be read on a row or column basis.
  • Example of configuration of test pattern generation unit 9 is a block diagram showing an example of a configuration of the test pattern generating unit 220 according to the first embodiment of the present technology.
  • the test pattern generating unit 220 includes a test pattern supplying unit 221 and a switch 222.
  • test pattern supply unit 221 When the test mode is set by the control signal MODE, the test pattern supply unit 221 generates a specific test pattern and supplies it to the switch 222.
  • the switch 222 supplies a test pattern to the digital processing unit 241 when the test mode is set, and supplies the PL from the FIFO memory 211 to the digital processing unit 241 when a mode other than the test mode is set.
  • Example of operation of the photodetector] 10 is a flowchart showing an example of the operation of the light detection device 100 according to the first embodiment of the present technology. This operation is started, for example, when a predetermined application for capturing image data is executed.
  • the EVS 300 sequentially reads out the PLs in accordance with the read control signal (step S901). In the initial state, all pixels are read out.
  • the SNN processor 500 generates the SL (step S902) and generates a read control signal (step S903).
  • the digital processing unit 241 performs digital processing on each of the PLs (step S904).
  • the format processing unit 251 generates a communication frame by formatting (step S905), and the external communication interface 261 transmits the communication frame to the outside (step S906). After step S906, steps S901 and onwards are repeatedly executed.
  • the read control unit 550 generates a read control signal based on the SL, so that the output rate can be lowered and processing delays and increases in power consumption can be suppressed. This can improve the performance of the photodetector 100.
  • the line identification information (such as the line number) can also be input so that the SNN processor 500 can identify the line corresponding to the PL.
  • the photodetector 100 in the first modified example of the first embodiment differs from the first embodiment in that the EVS 300 inputs the line identification information and the PL to the SNN processor 500.
  • FIG. 11 is a block diagram showing an example configuration of an SNN processor 500 in a first modified example of the first embodiment of the present technology.
  • the EVS 300 reads the PLs using an arbiter method or a scan method. The EVS 300 then adds identification information (such as a line number) of the corresponding line to each PL, and inputs the information to the SNN processor 500 via the FIFO memory 211.
  • identification information such as a line number
  • the SNN processor 500 further includes a conversion unit 505.
  • the conversion unit 505 converts at least one of the identification information Id and the corresponding PL, and supplies them to the SNN circuit 510.
  • the conversion unit 505 inputs PL directly to the SNN circuit 510, while converting the identification information Id into vector data or the like and inputting it.
  • the conversion unit 505 inputs the identification information Id directly to the SNN circuit 510, while converting PL into frequency information (such as a phase value or a scalar value) using a Fourier transform or the like, and inputs the information.
  • frequency information such as a phase value or a scalar value
  • the conversion unit 505 can also convert both the identification information Id and PL.
  • the conversion unit 505 converts at least one of the identification information and the PL and inputs it to the SNN circuit 510, so that the subsequent read control unit 550 can identify the line corresponding to the SL from the identification information. This allows the read control unit 550 to generate a read control signal.
  • the conversion unit 505 converts at least one of the identification information and the PL and inputs it to the SNN circuit 510, so that the read control unit 550 can generate a read control signal based on these data.
  • the SNN circuit 510 outputs SL, but instead of SL, it is also possible to output the state value of the membrane potential in chronological order.
  • the photodetector 100 in the second modification of the first embodiment differs from the first embodiment in that the SNN circuit 510 outputs the state value of the membrane potential in chronological order.
  • FIG. 12 is a diagram showing an example of a state line in the second modified example of the first embodiment of the present technology.
  • a pair of neurons such as 541-1 and 542-1 in the second modified example of the first embodiment outputs output data Da and Db.
  • Each output data includes a number of bit strings that indicate the state value of the membrane potential in chronological order.
  • t1 to tj indicate the time when the bit strings were output.
  • the rectangle below the time is a bit string of two or more bits that indicates the state value at that time. Also, the darker the color of the rectangle, the larger the state value.
  • each state value at time t1 to tj corresponds to each pixel at x-coordinates x1 to xj.
  • the read control unit 550 compares the state values of each neuron at the same time, and based on the comparison result, determines whether or not to read out the pixel corresponding to that time.
  • the first variant can be applied to the second variant of the first embodiment.
  • the SNN circuit 510 outputs the state values of the membrane potential in chronological order, so that the read control unit 550 can generate a read control signal based on these state values.
  • circuits such as the EVS 300 are arranged on a single semiconductor chip, but this configuration can make it difficult to increase the number of pixels.
  • the photodetector 100 in the third modified example of the first embodiment differs from the first embodiment in that circuits are distributed and arranged on two stacked semiconductor chips.
  • FIG. 13 is a diagram showing an example of a stacked structure of a sensor chip 200 in a third modified example of the first embodiment of the present technology.
  • the sensor chip 200 in the third modified example of the first embodiment includes a pixel chip 201 and a circuit chip 202. These chips are stacked and electrically connected by, for example, Cu-Cu bonding. Note that in addition to Cu-Cu bonding, they can also be connected by vias or bumps.
  • FIG. 14 is a circuit diagram showing an example of a configuration of a pixel 400 in a third modified example of the first embodiment of the present technology.
  • the pixel circuit 410 is disposed on the pixel chip 201, and the subsequent circuits after the buffer 420 are disposed on the circuit chip 202.
  • the circuits arranged on each chip are not limited to those illustrated in the figure.
  • the photodiode 411 and the nMOS transistors 412 and 413 can be arranged on the pixel chip 201, and the remaining circuits can be arranged on the circuit chip 202.
  • the photodiode 411 can be arranged on the pixel chip 201, and the remaining circuits can be arranged on the circuit chip 202.
  • first and second variants can be applied to the third variant of the first embodiment.
  • the circuits are distributed across two stacked chips, so the circuit scale per chip can be reduced. This makes it easier to achieve a high pixel count.
  • circuits such as the EVS 300 are arranged on a single semiconductor chip, but this configuration can make it difficult to increase the number of pixels.
  • the photodetector 100 in the fourth modification of the first embodiment differs from the first embodiment in that circuits are distributed across three stacked semiconductor chips.
  • FIG. 15 is a diagram showing an example of a stacked structure of a sensor chip 200 in a fourth modified example of the first embodiment of the present technology.
  • the sensor chip 200 includes a stacked pixel chip 201, a circuit chip 202, and a circuit chip 203.
  • a part of the pixels of the EVS300 (such as the pixel circuit 410) is disposed on the pixel chip 201, and the remaining circuits of the EVS300 are disposed on the circuit chip 202.
  • the circuits subsequent to the FIFO memory 211 are disposed on the circuit chip 203. Note that the circuits disposed on each chip are not limited to those exemplified in the figure. Furthermore, the number of stacked chips is not limited to three, and may be four or more.
  • first and second variants can be applied to the fourth variant of the first embodiment.
  • the circuits are distributed among the three stacked chips, so the circuit scale per chip can be reduced. This makes it easier to achieve a high pixel count.
  • the SNN processor 500 generates the read control signal, but in this configuration, it is necessary to add a read control unit 550 in the SNN processor 500.
  • the photodetector 100 in this second embodiment differs from the first embodiment in that a digital processing unit in the subsequent stage generates the read control signal.
  • FIG. 16 is a block diagram showing an example of the configuration of a sensor chip 200 in a second embodiment of the present technology.
  • the sensor chip 200 in the second embodiment differs from the first embodiment in that it further includes a test pattern generating unit 230 and a digital processing unit 242.
  • the SNN processor 500 does not generate the read control signal Ctrl, but outputs SL to the FIFO memory 212.
  • the test pattern generation unit 220 supplies the test pattern to the digital processing unit 241 when in test mode, and reads the SL from the FIFO memory 212 and supplies it to the digital processing unit 242 when not in test mode.
  • the digital processing unit 242 generates a read control signal Ctrl based on SL and outputs it to the EVS 300.
  • the digital processing unit 242 is an example of the read control unit described in the claims.
  • FIG. 17 is a block diagram showing an example of the configuration of an SNN processor 500 in the second embodiment of the present technology. As shown in the figure, the SNN processor 500 in the second embodiment differs from the first embodiment in that a read control unit 550 is not provided.
  • the digital processing unit 242 generates the read control signal, thereby reducing the read control unit 550 in the SNN processor 500.
  • each of the first to fourth variations of the first embodiment can be applied to the second embodiment.
  • the digital processing unit 242 generates the read control signal instead of the SNN processor 500, so the circuit size of the SNN processor 500 can be reduced.
  • the sensor chip 200 does not output SL or the processing result to the outside, but it can output them to the outside.
  • the sensor chip 200 in the modified example of the second embodiment differs from the first embodiment in that it outputs SL and the like to the outside.
  • FIG. 18 is a block diagram showing an example of the configuration of a sensor chip 200 in a modified example of the second embodiment of the present technology.
  • the sensor chip 200 in this modified example of the second embodiment differs from the second embodiment in that it further includes a format processing unit 252 and an external communication interface 262.
  • the digital processing unit 242 generates a read control signal and performs various digital processes on the SL as necessary.
  • the digital processing unit 242 outputs the processed SL to the format processing unit 252.
  • the format processing unit 252 generates a communication frame that stores the SL and the like. This format processing unit 252 supplies the generated communication frame to the external communication interface 262.
  • the external communication interface 262 transmits communication frames from the format processing unit 252 to the DSP circuit 120, etc.
  • each of the first to fourth modifications of the first embodiment can be applied to the modification of the second embodiment.
  • the sensor chip 200 further outputs SL to the outside, so that a circuit external to the sensor chip 200 can use the data.
  • the EVS 300 is used as a sensor that generates PL, but a photon measurement circuit that counts photons can be used instead of the EVS 300.
  • the light detection device 100 in this third embodiment differs from the first embodiment in that a photon measurement circuit is used instead of the EVS 300.
  • FIG. 19 is a block diagram showing an example of the configuration of a sensor chip 200 in a third embodiment of the present technology.
  • the sensor chip 200 in this third embodiment differs from the first embodiment in that a photon measurement circuit 600 is provided instead of the EVS 300.
  • the photon measurement circuit 600 is an example of a sensor described in the claims.
  • FIG. 20 is a block diagram showing an example of the configuration of a photon measurement circuit 600 in the third embodiment of the present technology.
  • This photon measurement circuit 600 includes a drive unit 610, a pixel array unit 620, a timing control circuit 640, and a readout processing unit 650.
  • a pixel array unit 620 In the pixel array unit 620, a plurality of pixels 630 are arranged in a two-dimensional lattice.
  • the functions of the drive unit 610, pixel array unit 620, timing control circuit 640, and readout processing unit 650 are similar to those of the drive unit 310, pixel array unit 320, timing control circuit 330, and line scanner 340.
  • FIG. 21 is a circuit diagram showing an example of a configuration of a pixel 630 in the third embodiment of the present technology.
  • This pixel 630 includes a quench resistor 631, a SPAD (Single-Photon Avalanche Diode) 632, an inverter 633, and a photon counter 634.
  • SPAD Single-Photon Avalanche Diode
  • the quench resistor 631 and the SPAD 632 are connected in series.
  • the inverter 633 inverts the voltage signal at the connection point of the quench resistor 631 and the SPAD 632, and supplies it to the photon counter 634 as a pulse signal.
  • the photon counter 634 counts the number of pulses in the pulse signal, reads out pixel data indicating the count value, and supplies it to the processing unit 650.
  • each pixel data in the PL is a bit string of 2 or more bits indicating the count value.
  • a conversion circuit that converts the bit string for each pixel into 1 bit is inserted before the SNN circuit 510.
  • circuit configuration of pixel 630 is not limited to the example shown in the figure, as long as it is capable of counting photons.
  • the photon measurement circuit 600 is placed in place of the EVS 300, so that processing delays and increases in power consumption can be suppressed downstream of the photon measurement circuit 600.
  • the EVS 300 is used as a sensor that generates PL, but a CIS can be used instead of the EVS 300.
  • the photodetector 100 in the fourth embodiment differs from the first embodiment in that a CIS is used instead of the EVS 300.
  • FIG. 22 is a block diagram showing an example of the configuration of a sensor chip 200 in a fourth embodiment of the present technology.
  • the sensor chip 200 in this fourth embodiment differs from the first embodiment in that a CIS 700 is provided instead of an EVS 300.
  • the CIS 700 is an example of a sensor described in the claims.
  • FIG. 23 is a block diagram showing an example of the configuration of a CIS 700 in the first embodiment of the present technology.
  • This CIS 700 includes a vertical scanning circuit 710, a timing control circuit 720, a DAC (Digital to Analog Converter) 730, a pixel array section 740, a column ADC 760, and a horizontal transfer scanning circuit 770.
  • Pixels 750 are arranged in a two-dimensional grid in the pixel array section 740.
  • the vertical scanning circuit 710 sequentially selects and drives the rows, outputting analog pixel signals to the column ADC 760.
  • the timing control circuit 720 generates a horizontal synchronization signal from the vertical synchronization signal and supplies it to the horizontal transfer scanning circuit 770.
  • DAC730 generates a predetermined reference signal and supplies it to column ADC760.
  • a sawtooth ramp signal is used as the reference signal.
  • the column ADC 760 has an ADC for each column and performs AD (Analog to Digital) conversion on the pixel signals of each column.
  • the column ADC 760 generates a PL under the control of the horizontal transfer scanning circuit 770 and outputs it to the FIFO memory 211.
  • the horizontal transfer scanning circuit 770 controls the column ADC 760 to output pixel data in sequence.
  • each pixel data in the PL is a bit string of 2 or more bits that indicates the gradation value of that pixel.
  • a conversion circuit that converts the bit string for each pixel to 1 bit is inserted before the SNN circuit 510.
  • This pixel 750 includes a photodiode 751, a transfer transistor 752, a reset transistor 753, a floating diffusion layer 754, an amplifier transistor 755, and a selection transistor 756.
  • the photodiode 751 converts incident light into electricity to generate an electric charge.
  • the transfer transistor 752 transfers the electric charge from the photodiode 751 to the floating diffusion layer 754 in accordance with a transfer signal TRG from the vertical scanning circuit 710.
  • the reset transistor 753 extracts charge from the floating diffusion layer 754 to initialize it in accordance with a reset signal RST from the vertical scanning circuit 710.
  • the floating diffusion layer 754 accumulates charge and generates a voltage according to the amount of charge.
  • the amplification transistor 755 amplifies the voltage of the floating diffusion layer 754.
  • the selection transistor 756 outputs the amplified voltage signal as a pixel signal according to the selection signal SEL from the vertical scanning circuit 710.
  • vertical signal lines 759 are wired for each column in the pixel array section 740, and the pixel signals of the pixels 750 in a column are output to the column ADC 760 via the vertical signal line 759 of that column.
  • circuit configuration of pixel 750 is not limited to the configuration illustrated in the figure, as long as it is capable of generating an analog pixel signal.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility device, an airplane, a drone, a ship, or a robot.
  • FIG. 25 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile object control system to which the technology disclosed herein can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
  • Also shown as functional components of the integrated control unit 12050 are a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 functions as a control device for a drive force generating device for generating the drive force of the vehicle, such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle of the vehicle, and a braking device for generating a braking force for the vehicle.
  • the body system control unit 12020 controls the operation of various devices installed in the vehicle body according to various programs.
  • the body system control unit 12020 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, tail lamps, brake lamps, turn signals, and fog lamps.
  • radio waves or signals from various switches transmitted from a portable device that replaces a key can be input to the body system control unit 12020.
  • the body system control unit 12020 accepts the input of these radio waves or signals and controls the vehicle's door lock device, power window device, lamps, etc.
  • the outside-vehicle information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image capturing unit 12031 is connected to the outside-vehicle information detection unit 12030.
  • the outside-vehicle information detection unit 12030 causes the image capturing unit 12031 to capture images outside the vehicle and receives the captured images.
  • the outside-vehicle information detection unit 12030 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, or characters on the road surface based on the received images.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of light received.
  • the imaging unit 12031 can output the electrical signal as an image, or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light, or may be invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects information inside the vehicle.
  • a driver state detection unit 12041 that detects the state of the driver is connected.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 may calculate the driver's degree of fatigue or concentration based on the detection information input from the driver state detection unit 12041, or may determine whether the driver is dozing off.
  • the microcomputer 12051 can calculate control target values for the driving force generating device, steering mechanism, or braking device based on information inside and outside the vehicle acquired by the outside-vehicle information detection unit 12030 or the inside-vehicle information detection unit 12040, and output control commands to the drive system control unit 12010.
  • the microcomputer 12051 can perform cooperative control aimed at realizing the functions of an Advanced Driver Assistance System (ADAS), including vehicle collision avoidance or impact mitigation, following driving based on the distance between vehicles, maintaining vehicle speed, vehicle collision warning, or vehicle lane departure warning.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 can also control the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, thereby performing cooperative control aimed at automatic driving, which allows the vehicle to travel autonomously without relying on the driver's operation.
  • the microcomputer 12051 can also output control commands to the body system control unit 12020 based on information outside the vehicle acquired by the outside-vehicle information detection unit 12030. For example, the microcomputer 12051 can control the headlamps according to the position of a preceding vehicle or an oncoming vehicle detected by the outside-vehicle information detection unit 12030, and perform cooperative control aimed at preventing glare, such as switching high beams to low beams.
  • the audio/image output unit 12052 transmits at least one output signal of audio and image to an output device capable of visually or audibly notifying the occupants of the vehicle or the outside of the vehicle of information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 26 shows an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at the front nose, side mirrors, rear bumper, back door, and upper part of the windshield inside the vehicle cabin of the vehicle 12100.
  • the imaging unit 12101 provided at the front nose and the imaging unit 12105 provided at the upper part of the windshield inside the vehicle cabin mainly acquire images of the front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided at the side mirrors mainly acquire images of the sides of the vehicle 12100.
  • the imaging unit 12104 provided at the rear bumper or back door mainly acquires images of the rear of the vehicle 12100.
  • the imaging unit 12105 provided at the upper part of the windshield inside the vehicle cabin is mainly used to detect leading vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, etc.
  • FIG. 26 shows an example of the imaging ranges of the imaging units 12101 to 12104.
  • Imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • imaging range 12114 indicates the imaging range of the imaging unit 12104 provided on the rear bumper or back door.
  • an overhead image of the vehicle 12100 viewed from above is obtained by superimposing the image data captured by the imaging units 12101 to 12104.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera consisting of multiple imaging elements, or an imaging element having pixels for detecting phase differences.
  • the microcomputer 12051 can obtain the distance to each solid object within the imaging ranges 12111 to 12114 and the change in this distance over time (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104, and can extract as a preceding vehicle, in particular, the closest solid object on the path of the vehicle 12100 that is traveling in approximately the same direction as the vehicle 12100 at a predetermined speed (e.g., 0 km/h or faster). Furthermore, the microcomputer 12051 can set the inter-vehicle distance that should be maintained in advance in front of the preceding vehicle, and perform automatic braking control (including follow-up stop control) and automatic acceleration control (including follow-up start control). In this way, cooperative control can be performed for the purpose of automatic driving, which runs autonomously without relying on the driver's operation.
  • automatic braking control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 classifies and extracts three-dimensional object data on three-dimensional objects, such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects, based on the distance information obtained from the imaging units 12101 to 12104, and can use the data to automatically avoid obstacles.
  • the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk, which indicates the risk of collision with each obstacle, and when the collision risk is equal to or exceeds a set value and there is a possibility of a collision, it can provide driving assistance for collision avoidance by outputting an alarm to the driver via the audio speaker 12061 or the display unit 12062, or by forcibly decelerating or steering to avoid a collision via the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104. The recognition of such a pedestrian is performed, for example, by a procedure of extracting feature points in the captured image of the imaging units 12101 to 12104 as infrared cameras, and a procedure of performing pattern matching processing on a series of feature points that indicate the contour of an object to determine whether or not it is a pedestrian.
  • the audio/image output unit 12052 controls the display unit 12062 to superimpose a rectangular contour line for emphasis on the recognized pedestrian.
  • the audio/image output unit 12052 may also control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology disclosed herein can be applied to, for example, the imaging unit 12031.
  • the light detection device 100 in FIG. 1 can be applied to the imaging unit 12031.
  • the present technology can also be configured as follows. (1) a sensor that reads out sensor data in which a plurality of pixel data are arranged from a pixel array unit; a neural network circuit that processes the sensor data based on a neural network model and outputs line data in which a plurality of processing results are arranged; a read control unit that generates a read control signal that indicates a pixel group to be read out in the pixel array unit based on the line data. (2) the line data includes first line data and second line data; the neural network circuit outputs the first line data and the second line data in parallel; The light detection device according to (1), wherein the read control unit compares the first line data with the second line data and generates the read control signal based on a result of the comparison.
  • the neural network model is a spiking neural network model, each of the first line data and the second line data includes a plurality of bit strings;
  • the photodetection device according to (2) wherein each of the plurality of bit strings includes a plurality of bits that indicate spike detection results in chronological order.
  • the neural network model is a spiking neural network model, The photodetection device according to (2), wherein each of the first line data and the second line data includes a plurality of bit strings indicating state values of membrane potential in chronological order.
  • (5) further comprising a conversion unit that converts at least one of the identification information and the sensor data and supplies the converted data to the neural network circuit;
  • the optical detection device according to any one of (1) to (4), wherein the sensor outputs the identification information together with the sensor data.
  • (6) a first FIFO (First In, First Out) memory that stores the sensor data in a first-in, first-out manner; a second FIFO memory for holding the read control signal in a first-in, first-out manner;
  • the neural network circuit reads the sensor data from the first FIFO memory;
  • the photodetection device according to any one of (1) to (5), wherein the sensor reads out the read control signal from the second FIFO memory.
  • a first FIFO memory that holds the sensor data in a first-in, first-out manner; a second FIFO memory for holding the line data in a first-in, first-out manner;
  • the neural network circuit reads the sensor data from the first FIFO memory;
  • the light detection device according to any one of (1) to (5), wherein the read control unit reads the line data from the second FIFO memory.
  • a digital processing unit that reads the sensor data from the first FIFO memory and processes the sensor data;
  • the light detection device according to (7) above, further comprising: a first format processing unit that generates a communication frame in which the sensor data is stored.
  • (9) further comprising a second format processing unit that generates a communication frame storing the line data;
  • EVS event-based vision sensor
  • (13) The photodetector according to any one of (1) to (12), wherein the sensor, the neural network circuit, and the readout control unit are distributed across multiple stacked chips.
  • (14) a step of reading out sensor data, which is an array of data on a plurality of pixels, from a pixel array unit by the sensor; a step of processing the sensor data based on a neural network model and outputting line data in which a plurality of processing results are arranged; and a read control procedure for generating a read control signal for designating a pixel group to be read out in the pixel array portion based on the line data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

ニューラルネットワーク回路を用いる光検出装置において、装置の性能を向上させる。　センサーは、複数の画素データを配列したセンサデータを画素アレイ部から読み出す。ニューラルネットワーク回路は、ニューラルネットワークモデルに基づいてセンサデータを処理して複数の処理結果を配列したラインデータを出力する。読出し制御部は、ラインデータに基づいて画素アレイ部内の読出し対象の画素群を指示する読出し制御信号を生成する。

Description

光検出装置、および、光検出装置の制御方法
　本技術は、光検出装置に関する。詳しくは、ニューラルネットワークモデルを用いる光検出装置、および、光検出装置の制御方法に関する。
　近年、ニューラルネットワークモデルを用いた信号処理は、ますます機能性と適用先とを拡げている。例えば、複数の画素とニューラルネットワーク回路とのそれぞれを複数のグループに分けておき、それぞれの画像グループの画素情報を、対応するニューラルネットワーク回路グループに入力する装置が提案されている（例えば、特許文献１参照。）。
特表２０２２－５２５７９４号公報
　上述の従来技術では、それぞれの画像グループの画素情報を、対応するニューラルネットワーク回路グループに入力することにより、処理の高速化を図っている。しかしながら、上述の装置では、画素の出力レートが高いほど、後段の回路の消費電力や処理遅延が大きくなる。このため、出力レートがボトルネックとなり、さらなる性能向上が困難になってしまう。
　本技術はこのような状況に鑑みて生み出されたものであり、ニューラルネットワーク回路を用いる光検出装置において、装置の性能を向上させることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、複数の画素データを配列したセンサデータを画素アレイ部から読み出すセンサーと、ニューラルネットワークモデルに基づいて上記センサデータを処理して複数の処理結果を配列したラインデータを出力するニューラルネットワーク回路と、上記ラインデータに基づいて上記画素アレイ部内の読出し対象の画素群を指示する読出し制御信号を生成する読出し制御部とを具備する光検出装置、および、その制御方法である。これにより、光検出装置の処理遅延や消費電力の増大が抑制されるという作用をもたらす。
　また、この第１の側面において、上記ラインデータは、第１ラインデータおよび第２ラインデータを含み、上記ニューラルネットワーク回路は、上記第１ラインデータおよび上記第２ラインデータを並列に出力し、上記読出し制御部は、上記第１ラインデータと上記第２ラインデータとを比較して当該比較結果に基づいて上記読出し制御信号を生成してもよい。これにより、行単位や列単位で読出しが制御されるという作用をもたらす。
　また、この第１の側面において、上記ニューラルネットワークモデルは、スパイキングニューラルネットワークモデルであり、上記第１ラインデータおよび上記第２ラインデータのそれぞれは、複数のビット列を含み、上記複数のビット列のそれぞれは、スパイクの検出結果を時系列順に示す複数のビットを含むものであってもよい。これにより、スパイクの検出結果に基づいて読出しが制御されるという作用をもたらす。
　また、この第１の側面において、上記ニューラルネットワークモデルは、スパイキングニューラルネットワークモデルであり、上記第１ラインデータおよび上記第２ラインデータのそれぞれは、膜電位の状態値を時系列順に示す複数のビット列を含むものであってもよい。これにより、膜電位の状態値に基づいて読出しが制御されるという作用をもたらす。
　また、この第１の側面において、識別情報および上記センサデータの少なくとも一方を変換して上記ニューラルネットワーク回路に供給する変換部をさらに具備し、上記センサーは、上記センサデータとともに上記識別情報を出力してもよい。これにより、識別情報やセンサデータに基づいて読出しが制御されるという作用をもたらす。
　また、この第１の側面において、上記センサデータを先入れ先出し方式で保持する第１のＦＩＦＯ（First In, First Out）メモリと、上記読出し制御信号を先入れ先出し方式で保持する第２のＦＩＦＯメモリとをさらに具備し、上記ニューラルネットワーク回路は、上記第１のＦＩＦＯメモリから上記センサデータを読み出し、上記センサーは、上記第２のＦＩＦＯメモリから上記読出し制御信号を読み出してもよい。これにより、読出し制御信号およびセンサデータがバッファリングされるという作用をもたらす。
　また、この第１の側面において、上記センサデータを先入れ先出し方式で保持する第１のＦＩＦＯメモリと、上記ラインデータを先入れ先出し方式で保持する第２のＦＩＦＯメモリとをさらに具備し、上記ニューラルネットワーク回路は、上記第１のＦＩＦＯメモリから上記センサデータを読み出し、上記読出し制御部は、上記第２のＦＩＦＯメモリから上記ラインデータを読み出してもよい。これにより、センサデータおよびラインデータがバッファリングされるという作用をもたらす。
　また、この第１の側面において、上記第１のＦＩＦＯメモリから上記センサデータを読み出して処理するデジタル処理部と、上記センサデータを格納した通信フレームを生成する第１のフォーマット処理部とをさらに具備してもよい。これにより、センサデータが外部出力されるという作用をもたらす。
　また、この第１の側面において、上記ラインデータを格納した通信フレームを生成する第２のフォーマット処理部をさらに具備し、上記読出し制御部は、上記ラインデータを上記第２のフォーマット処理部に出力してもよい。これにより、ラインデータが外部出力されるという作用をもたらす。
　また、この第１の側面において、上記センサーは、ＥＶＳ（Event-based Vision Sensor）であってもよい。これにより、ＥＶＳの読出しが制御されるという作用をもたらす。
　また、この第１の側面において、上記センサーは、光子を計数する光子計測回路であってもよい。これにより、光子計数回路の読出しが制御されるという作用をもたらす。
　また、この第１の側面において、上記センサーは、ＣＩＳ（CMOS Image Sensors）であってもよい。これにより、CISの読出しが制御されるという作用をもたらす。
　また、この第１の側面において、上記センサーと上記ニューラルネットワーク回路と上記読出し制御部とは、積層された複数のチップに分散して配置されてもよい。これにより、チップごとの回路規模が削減されるという作用をもたらす。
本技術の第１の実施の形態における光検出装置の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるセンサーチップの一構成例を示すブロック図である。 本技術の第１の実施の形態におけるＥＶＳの一構成例を示すブロック図である。 本技術の第１の実施の形態における画素の一構成例を示す回路図である。 本技術の第１の実施の形態におけるＳＮＮ（Spiking Neural Network）プロセッサの一構成例を示すブロック図である。 本技術の第１の実施の形態におけるＳＮＮ回路の実装例を示す図である。 本技術の第１の実施の形態におけるコアの一構成例を示すブロック図である。 本技術の第１の実施の形態における読出し制御信号の生成方法を説明するための図である。 本技術の第１の実施の形態におけるテストパターン生成部の一構成例を示すブロック図である。 本技術の第１の実施の形態における光検出装置の動作の一例を示すフローチャートである。 本技術の第１の実施の形態の第１の変形例におけるＳＮＮプロセッサの一構成例を示すブロック図である。 本技術の第１の実施の形態の第２の変形例におけるステートラインの一例を示す図である。 本技術の第１の実施の形態の第３の変形例におけるセンサーチップの積層構造の一例を示す図である。 本技術の第１の実施の形態の第３の変形例における画素の一構成例を示す回路図である。 本技術の第１の実施の形態の第４の変形例におけるセンサーチップの積層構造の一例を示す図である。 本技術の第２の実施の形態におけるセンサーチップの一構成例を示すブロック図である。 本技術の第２の実施の形態におけるＳＮＮプロセッサの一構成例を示すブロック図である。 本技術の第２の実施の形態の変形例におけるセンサーチップの一構成例を示すブロック図である。 本技術の第３の実施におけるセンサーチップの一構成例を示すブロック図である。 本技術の第３の実施の形態における光子計測回路の一構成例を示すブロック図である。 本技術の第３の実施の形態における画素の一構成例を示す回路図である。 本技術の第４の実施の形態におけるセンサーチップの一構成例を示すブロック図である。 本技術の第４の実施の形態におけるＣＩＳの一構成例を示すブロック図である。 本技術の第４の実施の形態における画素の一構成例を示す回路図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（ＳＮＮ回路の出力に基づいて読出し制御を行う例）
　２．第２の実施の形態（ＳＮＮ回路の出力に基づいてデジタル処理部が読出し制御を行う例）
　３．第３の実施の形態（ＳＮＮ回路の出力に基づいて光子計数回路の読出し制御を行う例）
　４．第４の実施の形態（ＳＮＮ回路の出力に基づいてＣＩＳの読出し制御を行う例）
　５．移動体への応用例
　＜１．第１の実施の形態＞
　［光検出装置の構成例］
　図１は、本技術の第１の実施の形態における光検出装置１００の一構成例を示すブロック図である。この光検出装置１００は、光学部１１０、センサーチップ２００およびＤＳＰ（Digital Signal Processing）回路１２０を備える。さらに光検出装置１００は、表示部１３０、操作部１４０、バス１５０、フレームメモリ１６０、記憶部１７０および電源部１８０を備える。光検出装置１００としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、スマートフォンやパーソナルコンピュータ、車載カメラ等が想定される。
　光学部１１０は、被写体からの光を集光してセンサーチップ２００に導くものである。センサーチップ２００は、光電変換により複数の画素データを生成して処理するものである。このセンサーチップ２００は、処理後のデータをＤＳＰ回路１２０に供給する。
　ＤＳＰ回路１２０は、センサーチップ２００からのデータに対して所定の信号処理を実行するものである。このＤＳＰ回路１２０は、処理後のデータを、バス１５０を介してフレームメモリ１６０などに出力する。
　表示部１３０は、画像データなどを表示するものである。表示部１３０としては、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルが想定される。操作部１４０は、ユーザの操作に従って操作信号を生成するものである。
　バス１５０は、光学部１１０、センサーチップ２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、フレームメモリ１６０、記憶部１７０および電源部１８０が互いにデータをやりとりするための共通の経路である。
　記憶部１７０は、画像データなどの様々なデータを記憶するものである。電源部１８０は、センサーチップ２００、ＤＳＰ回路１２０や表示部１３０などに電源を供給するものである。
　［センサーチップの構成例］
　図２は、本技術の第１の実施の形態におけるセンサーチップ２００の一構成例を示すブロック図である。このセンサーチップ２００は、単一の半導体チップであり、ＥＶＳ３００およびＳＮＮプロセッサ５００を備える。さらに、センサーチップ２００は、ＦＩＦＯメモリ２１１および２１２と、テストパターン生成部２２０と、デジタル処理部２４１と、フォーマット処理部２５１と、外部通信インターフェース２６１とを備える。
　ＥＶＳ３００は、画素ごとに輝度の変化を検出するものである。このＥＶＳ３００は、画素アレイ部（不図示）内の複数のラインを順に選択し、そのライン内の画素のそれぞれの画素データを配列したデータをＰＬ（Pixel Line）として読み出す。そして、ＥＶＳ３００は、ＰＬのそれぞれをＦＩＦＯメモリ２１１に出力する。画素データのそれぞれは、例えば、その画素の輝度変化の検出結果を示すビットを含む。なお、ＥＶＳ３００は、特許請求の範囲に記載のセンサーの一例である。また、ＰＬは、特許請求の範囲に記載のセンサデータの一例である。
　ＦＩＦＯメモリ２１１は、ＥＶＳ３００からのＰＬを先入れ先出し方式で保持するものである。ＰＬは、テストパターン生成部２２０およびＳＮＮプロセッサ５００により読み出される。なお、ＦＩＦＯメモリ２１１は、特許請求の範囲に記載の第１のＦＩＦＯメモリの一例である。
　ＳＮＮプロセッサ５００は、ＳＮＮモデルに基づいてＰＬを処理し、その処理結果に基づいて読出し制御信号Ｃｔｒｌを生成するものである。この読出し制御信号Ｃｔｒｌは、ＥＶＳ３００の画素アレイ部内の読出し対象の画素群を指示する制御信号である。ＳＮＮプロセッサ５００は、読出し制御信号ＣｔｒｌをＦＩＦＯメモリ２１２に出力する。
　ＦＩＦＯメモリ２１２は、ＳＮＮプロセッサ５００からの読出し制御信号Ｃｔｒｌを先入れ先出し方式で保持するものである。読出し制御信号Ｃｔｒｌは、ＥＶＳ３００により読み出される。なお、ＦＩＦＯメモリ２１２は、特許請求の範囲に記載の第２のＦＩＦＯメモリの一例である。
　テストパターン生成部２２０は、テストモードの際に所定のテストパターンを生成するものである。このテストパターン生成部２２０は、テストモードの場合に、テストパターンをデジタル処理部２４１に供給し、テストモードでない場合にＰＬをデジタル処理部２４１に供給する。
　なお、テストパターン生成部２２０は、必要に応じて配置される。テストパターン生成部２２０が不要である場合は、ＦＩＦＯメモリ２１１からのＰＬが、直接デジタル処理部２４１に入力される。
　デジタル処理部２４１は、ＰＬに対して、各種のデジタル処理を行うものである。デジタル処理部２４１は、処理後のＰＬをフォーマット処理部２５１に供給する。
　フォーマット処理部２５１は、ＰＬを格納した通信フレームを生成するものである。このフォーマット処理部２５１は、生成した通信フレームを外部通信インターフェース２６１に供給する。
　外部通信インターフェース２６１は、フォーマット処理部２５１からの通信フレームをＤＳＰ回路１２０などに送信するものである。外部通信インターフェース２６１の通信規格として、例えば、ＭＩＰＩ（Mobile Industry Processor Interface）が用いられる。
　［ＥＶＳの構成例］
　図３は、本技術の第１の実施の形態におけるＥＶＳ３００の一構成例を示すブロック図である。このＥＶＳ３００は、駆動部３１０、画素アレイ部３２０、タイミング制御回路３３０およびラインスキャナ３４０を備える。画素アレイ部３２０内には、複数の画素４００が二次元格子状に配列される。
　駆動部３１０は、画素４００のそれぞれを駆動するものである。画素４００は、輝度の変化の有無を検出し、検出結果を示す画素データを生成するものである。
　タイミング制御回路３３０は、駆動部３１０およびラインスキャナ３４０を駆動するタイミングを制御するものである。タイミング制御回路３３０には、垂直同期信号が入力される。タイミング制御回路３３０は、垂直同期信号から水平同期信号を生成し、ラインスキャナ３４０に供給する。
　ラインスキャナ３４０は、水平同期信号に同期してライン（行や列など）を順に選択し、そのライン内の各画素の画素データを読み出すものである。このラインスキャナ３４０は、ラインから読み出した画素データを１次元に配列し、そのデータをＰＬとしてＦＩＦＯメモリ２１１に出力する。なお、読出し単位をライン単位としているが、その代わりにエリア単位とすることもできる。この場合、ラインスキャナ３４０は、選択したエリアから読み出した各画素データを所定の順序で１次元に配列し、ＰＬとして出力する。
　また、駆動部３１０およびラインスキャナ３４０は、ＦＩＦＯメモリ２１２からの読出し制御信号Ｃｔｒｌに従って、読み出す行や列を選択する。読出し制御信号Ｃｔｒｌは、例えば、行単位や列単位で読み出す画素群を指示する。なお、読出し制御信号Ｃｔｒｌは、エリア単位で読み出す画素群を指示することもできる。初期状態においては、全画素が読み出される。
　同図に例示したように、水平同期信号などの同期信号に同期して、ラインやエリアの単位で順に画素データを読み出す制御はスキャン方式と呼ばれる。なお、ＥＶＳ３００は、後述するように、同期信号に同期せずに画素データを読み出すアービタ方式を用いることもできる。
　［画素の構成例］
　図４は、本技術の第１の実施の形態における画素４００の一構成例を示す回路図である。この画素４００は、画素回路４１０、バッファ４２０、微分回路４３０および量子化器４４０を備える。
　画素回路４１０は、フォトダイオード４１１と、ｎＭＯＳ（negative channel MOS）トランジスタ４１２および４１３と、ｐＭＯＳ（positive channel MOS）トランジスタ４１４とを備える。
　フォトダイオード４１１は、入射光に対する光電変換により光電流を生成するものである。ｎＭＯＳトランジスタ４１２は、電源とフォトダイオード４１１との間に挿入される。ｐＭＯＳトランジスタ４１４およびｎＭＯＳトランジスタ４１３は、電源と接地端子との間において直列に接続される。また、ｎＭＯＳトランジスタ４１３のゲートは、ｎＭＯＳトランジスタ４１２およびフォトダイオード４１１の接続点に接続され、ｐＭＯＳトランジスタ４１４のゲートには、バイアス電圧Ｖｂｌｏｇが印加される。
　バッファ４２０は、電源および接地端子の間において直列に接続されたｐＭＯＳトランジスタ４２１および４２２を備える。接地側のｐＭＯＳトランジスタ４２２のゲートは、ｐＭＯＳトランジスタ４１４およびｎＭＯＳトランジスタ４１３の接続点に接続される。電源側のｐＭＯＳトランジスタ４２１のゲートには、バイアス電圧Ｖｂｓｆが印加される。また、ｐＭＯＳトランジスタ４２１および４２２の接続点は、微分回路４３０に接続される。
　上述の回路により、光電流に応じた電圧信号が生成され、バッファ４２０から出力される。
　微分回路４３０は、容量４３１および４３３と、ｐＭＯＳトランジスタ４３２および４３４と、ｎＭＯＳトランジスタ４３５とを備える。
　容量４３１の一端は、バッファ４２０に接続され、他端は、容量４３３の一端とｐＭＯＳトランジスタ４３４のゲートとに接続される。ｐＭＯＳトランジスタ４３２のゲートにはリセット信号ｘｒｓｔが入力され、ソースおよびドレインは容量４３３の両端に接続される。ｐＭＯＳトランジスタ４３４およびｎＭＯＳトランジスタ４３５は電源と接地端子との間において直列に接続される。また、容量４３３の他端は、ｐＭＯＳトランジスタ４３４およびｎＭＯＳトランジスタ４３５の接続点に接続される。接地側のｎＭＯＳトランジスタ４３５のゲートには、バイアス電圧Ｖｂａが印加され、ｐＭＯＳトランジスタ４３４およびｎＭＯＳトランジスタ４３５の接続点は量子化器４４０にも接続される。このような接続により、電圧信号の変化量を示す微分信号が生成されて量子化器４４０に出力される。また、微分信号は、リセット信号ｘｒｓｔにより初期化される。
　量子化器４４０は、電源と接地端子との間において直列に接続されたｐＭＯＳトランジスタ４４１およびｎＭＯＳトランジスタ４４２を備える。ｐＭＯＳトランジスタ４４１のゲートは、微分回路４３０に接続され、ｎＭＯＳトランジスタ４４２のゲートには、所定の上限閾値Ｖｂｏｎが印加される。これらのｐＭＯＳトランジスタ４４１およびｎＭＯＳトランジスタ４４２の接続点の電圧信号が、輝度の変化の検出信号としてラインスキャナ３４０により読み出される。
　同図では、輝度の変化を示す微分信号が上限閾値Ｖｂｏｎを越えた際にオンイベントが検出される。なお、画素４００は、微分信号が下限閾値Ｖｂｏｆｆを下回った際にオフイベントを検出することもできる。この場合には、電源と接地端子との間において直列に接続されたｐＭＯＳトランジスタ４４３およびｎＭＯＳトランジスタ４４４が追加される。ｐＭＯＳトランジスタ４４３のゲートは、微分回路４３０に接続され、ｎＭＯＳトランジスタ４４４のゲートには、下限閾値Ｖｂｏｆｆが印加される。画素４００は、オンイベントおよびオフイベントの両方を検出してもよいし、いずれか一方のみを検出してもよい。
　［ＳＮＮプロセッサの構成例］
　図５は、本技術の第１の実施の形態におけるＳＮＮプロセッサ５００の一構成例を示すブロック図である。このＳＮＮプロセッサ５００は、ＳＮＮ回路５１０および読出し制御部５５０を備える。
　前述したように、ＥＶＳ３００は、ＰＬを画素アレイ部から読み出す。そのＰＬは、ＦＩＦＯメモリ２１１を介してＳＮＮ回路５１０に入力される。ＳＮＮ回路５１０は、ＳＮＮモデルに基づいてＰＬを処理して複数の処理結果を配列したラインデータをＳＬ（Spike Line）として生成するものである。ＳＬは、ある時刻において、ＳＮＮ回路５１０内のニューロンの行が出力するスパイク信号を配列したデータである。ＳＮＮ回路５１０は、ＳＬを読出し制御部５５０に出力する。
　読出し制御部５５０は、ＳＬに基づいて読出し制御信号Ｃｔｒｌを生成するものである。この読出し制御信号Ｃｔｒｌに従って、ＥＶＳ３００は次のＰＬを読み出す。
　同図に例示した構成により、例えば、画像内の所定の物体をＳＮＮプロセッサ５００が認識し、その物体を含むＲＯＩ（Region Of Interest)を読出し制御信号Ｃｔｒｌにより指定するアプリケーションを実現することができる。
　ＰＬの出力レートが高い場合、ＥＶＳ３００のＦＩＦＯメモリ２１１との間の帯域が不足し、テストパターン生成部２２０以降において処理遅延が生じるおそれがある。また、テストパターン生成部２２０以降の回路の消費電力が大きくなるおそれがある。
　しかし、ＳＮＮプロセッサ５００は、読出し制御信号Ｃｔｒｌにより、次に読み出す画素群を指定するため、全画素を読み出す場合と比較して出力レートを低下させ、処理遅延や消費電力の増大を抑制することができる。これにより、光検出装置１００の性能を向上させることができる。
　また、ＳＮＮ回路５１０は、入力層５２０、中間層５３０および出力層５４０を備える。
　入力層５２０には、ＰＬが入力される。中間層５３０には、１段以上の層が配置される。前の層のニューロンは、次の層のニューロンと接続され、前の層の演算結果が次の層に渡される。出力層５４０は、スパイク信号を非同期に生成する。
　出力層５４０には、例えば、一対のニューロン行が配置される。一方のニューロン行が、各時刻に出力するＳＬをＳＬａとし、他方のニューロン行が各時刻に出力するＳＬをＳＬｂとする。読出し制御部５５０は、各ニューロン行の出力データを比較し、その比較結果に基づいて読出し制御信号Ｃｔｒｌを生成する。なお、ＳＬａは、特許請求の範囲に記載の第１ラインデータの一例であり、ＳＬｂは、特許請求の範囲に記載の第２ラインデータの一例である。
　図６は、本技術の第１の実施の形態におけるＳＮＮ回路５１０の実装例を示す図である。図５のＳＮＮ回路５１０は、例えば、図６の回路により実現される。図６に例示するように、ＳＮＮ回路５１０は、例えば、入出力インターフェース５６０およびマルチコアアレイ５７０を備える。
　入出力インターフェース５６０は、外部とマルチコアアレイ５７０との間でデータを送受信するものである。この入出力インターフェース５６０は、ＦＩＦＯメモリ２１１から入力されたＰＬをマルチコアアレイ５７０に供給し、マルチコアアレイ５７０からのＳＬを読出し制御部５５０に供給する。
　マルチコアアレイ５７０には、複数のコア５９０が二次元格子状に配列される。それぞれのコア５９０に隣接してルーター５８０が配置される。
　ルーター５８０は、データの経路を制御するものである。このルーター５８０は、例えば、ＦＩＦＯメモリ５８１乃至５８５と、アービタ５８６とを備える。同図における「Ｅ」は、着目したルーター５８０の東方向を示し、「Ｓ」は、南方向を示す。「Ｗ」は西方向を示し、「Ｎ」は、北方向を示す。「Ｌ」は、ルーター５８０に隣接するコア５９０への方向を示す。
　ＦＩＦＯメモリ５８１は、東方向からのデータを先入れ先出し方式で保持し、アービタ５８６にリクエストを出力する。ＦＩＦＯメモリ５８２は、南方向からのデータを先入れ先出し方式で保持し、アービタ５８６にリクエストを出力する。ＦＩＦＯメモリ５８３は、西方向からのデータを先入れ先出し方式で保持し、アービタ５８６にリクエストを出力する。ＦＩＦＯメモリ５８４は、北方向からのデータを先入れ先出し方式で保持し、アービタ５８６にリクエストを出力する。ＦＩＦＯメモリ５８５は、隣接するコア５９０からのデータを先入れ先出し方式で保持し、アービタ５８６にリクエストを出力する。
　なお、外部のＦＩＦＯメモリ２１１を削減し、ＳＮＮ回路５１０内のＦＩＦＯメモリ５８１などに代替させることもできる。
　アービタ５８６は、ＦＩＦＯメモリ５８１乃至５８５のそれぞれからのリクエストを調停し、応答を返す。応答のあった際にＦＩＦＯメモリは、アービタ５８６を介して、東西南北と隣接するコア５９０とのいずれかにデータを出力する。
　図７は、本技術の第１の実施の形態におけるコア５９０の一構成例を示すブロック図である。コア５９０は、コアルーター５９１、ニューロンＩ／Ｏ（Input/Output）５９２、積和ユニット５９３、ワークメモリ５９４、膜電位メモリ５９５およびＬＩＦ（Leaky Integrate and Fire）ユニット５９６を備える。
　コアルーター５９１は、隣接するルーター５８０からのデータをニューロンＩ／Ｏ５９２に供給し、ＬＩＦユニット５９６からのデータを隣接するルーター５８０に供給する。
　積和ユニット５９３は、ワークメモリ５９４を用いて、ニューロンＩ／Ｏ５９２からのデータを積算する。膜電位メモリ５９５は、積分により得られた膜電位を保持する。ＬＩＦユニット５９６は、膜電位が所定の閾値を超えて発火した（言い換えれば、スパイクが生じた）か否かを判断し、その結果をコアルーター５９１に供給する。
　図８は、本技術の第１の実施の形態における読出し制御信号の生成方法を説明するための図である。
　同図におけるａに例示するように、入力層５２０には、複数のＰＬが順に入力される。ＰＬのそれぞれは、複数の画素データを含む。画素データのそれぞれは、例えば、オンイベントが検出されたか否かを示す１ビットの情報である。同図におけるｘ０からｘｊは、ライン内の各画素のｘ座標を示す。
　同図におけるｂは、出力層５４０の構成例を示す。出力層５４０には、ラインごとにニューロンのペアが配置される。ライン数をｋとすると、ニューロン５４１－１から５４１－ｋを配列したニューロン行Ｒａと、ニューロン５４２－１から５４２－ｋを配列したニューロン行Ｒｂとが配置される。ニューロン５４１－１乃至５４１－ｋの出力するデータを１ａ乃至ｋａとし、ニューロン５４２－１乃至５４２－ｋが出力するデータを１ｂ乃至ｋｂとする。
　個々のニューロンが出力するデータは、例えば、互いに異なる期間内に生成されたスパイク群Ｃ１ａ乃至Ｃｊａを含む。スパイク群Ｃ１ａからＣｊａは、ｘ座標ｘ１からｘｊの各画素に対応するデータである。またスパイク群のそれぞれは、対応する期間内に生成された複数のスパイク信号を含む。同図におけるｔ１からｔｍは、スパイク信号が生成された時刻を示す。また、白色の矩形は、スパイクがあったことを示し、黒色の矩形は、スパイクが無かったことを示す。
　ある時刻において、ニューロン行Ｒａ内の各ニューロンの出力するスパイク信号を配列したデータが前述のＳＬａに該当する。ある時刻において、ニューロン行Ｒｂ内の各ニューロンの出力するスパイク信号を配列したデータが前述のＳＬｂに該当する。
　読出し制御部５５０は、ラインに対応するニューロン対のそれぞれの出力するデータを比較し、読出し制御信号Ｃｔｒｌを生成する。読出し制御部５５０は、ニューロン対のそれぞれのスパイク群ごとに、スパイクの回数を計数し、それらを比較する。例えば、あるラインで認識対象のパターンが生じる際に、そのラインに対応するニューロン対の一方（５４１－１など）のスパイク群の計数値の方が他方（５４２－１など）のスパイク群の計数値よりも大きくなるように設定されているものとする。この場合、例えば、あるライン内のＣ１ａの計数値がＣ１ｂの計数値より大きいときに、そのラインのｘ座標ｘ１の画素が読出し対象として指定される。
　なお、読出し制御部５５０は、スパイク群のカウント値を比較しているが、その代わりに、比較対象のスパイク群をソフトマックス関数に入力し、その出力値同士を比較することもできる。また、スパイク群のそれぞれは、画素と１対１で対応しているが、１対多の対応関係であってもよい。さらに、読出し制御部５５０は、比較結果に基づいて、行や列を読み出す頻度を調整することもできる。
　読出し制御部５５０は、ｙ座標ｙ１からｙｋのそれぞれのラインについて、読出し制御信号Ｃｔｒｌを生成して出力する。これにより、読出し制御部５５０は、行単位や列単位で読出し対象の画素を指示することができる。
　［テストパターン生成部の構成例］
　図９は、本技術の第１の実施の形態におけるテストパターン生成部２２０の一構成例を示すブロック図である。このテストパターン生成部２２０は、テストパターン供給部２２１およびスイッチ２２２を備える。
　テストパターン供給部２２１は、制御信号ＭＯＤＥにより、テストモードが設定された場合に、所定のテストパターンを生成してスイッチ２２２に供給するものである。
　スイッチ２２２は、テストモードが設定された場合にテストパターンをデジタル処理部２４１に供給し、テストモード以外のモードが設定された場合にＦＩＦＯメモリ２１１からのＰＬをデジタル処理部２４１に供給するものである。
　［光検出装置の動作例］
　図１０は、本技術の第１の実施の形態における光検出装置１００の動作の一例を示すフローチャートである。この動作は、例えば、画像データを撮像するための所定のアプリケーションが実行されたときに開始される。
　ＥＶＳ３００は、読出し制御信号に従ってＰＬを順に読み出す（ステップＳ９０１）。なお、初期状態においては、全画素が読み出される。また、ＳＮＮプロセッサ５００は、ＳＬを生成し（ステップＳ９０２）、読出し制御信号を生成する（ステップＳ９０３）。また、デジタル処理部２４１は、ＰＬのそれぞれに対してデジタル処理を行う（ステップＳ９０４）。また、フォーマット処理部２５１は、フォーマット処理により通信フレームを生成し（ステップＳ９０５）、外部通信インターフェース２６１は、通信フレームを外部送信する（ステップＳ９０６）。ステップＳ９０６の後に、ステップＳ９０１以降が繰り返し実行される。
　このように、本技術の第１の実施の形態によれば、読出し制御部５５０が、ＳＬに基づいて読出し制御信号を生成するため、出力レートを低下させ、処理遅延や消費電力の増大を抑制することができる。これにより、光検出装置１００の性能を向上させることができる。
　［第１の変形例］
　上述の第１の実施の形態では、ＰＬのみをＳＮＮプロセッサ５００に入力していたがＳＮＮプロセッサ５００がＰＬに対応するラインを特定するために、ラインの識別情報（ライン番号など）を入力することもできる。この第１の実施の形態の第１の変形例における光検出装置１００は、ＥＶＳ３００がラインの識別情報およびＰＬをＳＮＮプロセッサ５００に入力する点において第１の実施の形態と異なる。
　図１１は、本技術の第１の実施の形態の第１の変形例におけるＳＮＮプロセッサ５００の一構成例を示すブロック図である。
　第１の実施の形態の第１の変形例において、ＥＶＳ３００は、アービタ方式やスキャン方式によりＰＬを読み出す。そして、ＥＶＳ３００は、ＰＬごとに、対応するラインの識別情報（ライン番号など）を付加し、ＦＩＦＯメモリ２１１を介してＳＮＮプロセッサ５００に入力する。
　また、ＳＮＮプロセッサ５００は、変換部５０５をさらに備える。変換部５０５は、識別情報Ｉｄと、対応するＰＬとの少なくとも一方を変換し、それらをＳＮＮ回路５１０に供給するものである。
　例えば、変換部５０５は、ＰＬをそのままＳＮＮ回路５１０に入力する一方で、識別情報Ｉｄをベクトルデータなどに変換して入力する。
　あるいは、変換部５０５は、識別情報ＩｄをそのままＳＮＮ回路５１０に入力する一方で、フーリエ変換などにより、ＰＬを周波数情報（位相値やスカラ値など）に変換して入力する。
　なお、変換部５０５は、識別情報ＩｄおよびＰＬの両方を変換することもできる。
　同図に例示するように、変換部５０５が、識別情報とＰＬとの少なくとも一方を変換してＳＮＮ回路５１０に入力することにより、後段の読出し制御部５５０は、識別情報からＳＬに対応するラインを特定することができる。これにより、読出し制御部５５０は、読出し制御信号を生成することができる。
　このように、本技術の第１の実施の形態の第１の変形例によれば、変換部５０５が識別情報とＰＬとの少なくとも一方を変換してＳＮＮ回路５１０に入力するため、読出し制御部５５０は、それらのデータに基づいて読出し制御信号を生成することができる。
　［第２の変形例］
　上述の第１の実施の形態では、ＳＮＮ回路５１０は、ＳＬを出力していたが、ＳＬの代わりに、膜電位の状態値を時系列順に出力することもできる。この第１の実施の形態の第２の変形例における光検出装置１００は、ＳＮＮ回路５１０が膜電位の状態値を時系列順に出力する点において第１の実施の形態と異なる。
　図１２は、本技術の第１の実施の形態の第２の変形例におけるステートラインの一例を示す図である。第１の実施の形態の第２の変形例におけるニューロン５４１―１および５４２―１などのペアは、出力データＤａおよびＤｂを出力する。それぞれの出力データは、膜電位の状態値を時系列順に示す複数のビット列を含む。同図におけるｔ１からｔｊは、ビット列が出力された時刻を示す。時刻の下部の矩形は、その時刻の状態値を示す、２ビット以上のビット列である。また、矩形の色が濃いほど、状態値が大きいことを表す。
　また、時刻ｔ１からｔｊのそれぞれの状態値は、ｘ座標ｘ１からｘｊのそれぞれの画素に対応する値である。読出し制御部５５０は、各ニューロンのそれぞれの同じ時刻の状態値を比較し、その比較結果に基づいて、その時刻に対応する画素を読み出すか否かを判断する。
　なお、第１の実施の形態の第２の変形例に、第１の変形例を適用することができる。
　このように、本技術の第１の実施の形態の第２の変形例によれば、ＳＮＮ回路５１０が膜電位の状態値を時系列順に出力するため、読出し制御部５５０は、それらの状態値に基づいて読出し制御信号を生成することができる。
　［第３の変形例］
　上述の第１の実施の形態では、単一の半導体チップに、ＥＶＳ３００などの回路を配置していたが、この構成では、多画素化が困難になることがある。この第１の実施の形態の第３の変形例における光検出装置１００は、積層した２つの半導体チップに、回路を分散して配置した点において第１の実施の形態と異なる。
　図１３は、本技術の第１の実施の形態の第３の変形例におけるセンサーチップ２００の積層構造の一例を示す図である。第１の実施の形態の第３の変形例のセンサーチップ２００は、画素チップ２０１および回路チップ２０２を備える。これらのチップは積層され、例えば、Ｃｕ－Ｃｕ接合により電気的に接続される。なお、Ｃｕ－Ｃｕ接合の他、ビアやバンプにより接続することもできる。
　図１４は、本技術の第１の実施の形態の第３の変形例における画素４００の一構成例を示す回路図である。画素４００のうち、例えば、画素回路４１０が画素チップ２０１に配置され、バッファ４２０以降の後段の回路が回路チップ２０２に配置される。
　なお、各チップに配置する回路は、同図に例示したものに限定されない。例えば、フォトダイオード４１１とｎＭＯＳトランジスタ４１２および４１３とを画素チップ２０１に配置し、残りの回路を回路チップ２０２に配置することもできる。あるいは、フォトダイオード４１１のみを画素チップ２０１に配置し、残りの回路を回路チップ２０２に配置することもできる。
　なお、第１の実施の形態の第３の変形例に、第１、第２の変形例のそれぞれを適用することができる。
　このように、本技術の第１の実施の形態の第３の変形例によれば、積層した２つのチップに回路を分散して配置したため、チップ当たりの回路規模を削減することができる。これにより、多画素化が容易になる。
　［第４の変形例］
　上述の第１の実施の形態では、単一の半導体チップに、ＥＶＳ３００などの回路を配置していたが、この構成では、多画素化が困難になることがある。この第１の実施の形態の第４の変形例における光検出装置１００は、積層した３つの半導体チップに、回路を分散して配置した点において第１の実施の形態と異なる。
　図１５は、本技術の第１の実施の形態の第４の変形例におけるセンサーチップ２００の積層構造の一例を示す図である。この第１の実施の形態の第４の変形例において、センサーチップ２００は、積層された画素チップ２０１、回路チップ２０２および回路チップ２０３を備える。ＥＶＳ３００の画素の一部（画素回路４１０など）が画素チップ２０１に配置され、ＥＶＳ３００の残りの回路が回路チップ２０２に配置される。また、ＦＩＦＯメモリ２１１以降の後段の回路が、回路チップ２０３に配置される。なお、各チップに配置する回路は、同図に例示したものに限定されない。また、積層するチップ数は３つに限定されず、４つ以上であってもよい。
　なお、第１の実施の形態の第４の変形例に、第１、第２の変形例のそれぞれを適用することができる。
　このように、本技術の第１の実施の形態の第４の変形例によれば、積層した３つのチップに回路を分散して配置したため、チップ当たりの回路規模を削減することができる。これにより、多画素化が容易になる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、ＳＮＮプロセッサ５００が読出し制御信号を生成していたが、この構成ではＳＮＮプロセッサ５００内に、読出し制御部５５０を追加する必要がある。この第２の実施の形態における光検出装置１００は、後段のデジタル処理部が読出し制御信号を生成する点において第１の実施の形態と異なる。
　図１６は、本技術の第２の実施の形態におけるセンサーチップ２００の一構成例を示すブロック図である。この第２の実施の形態におけるセンサーチップ２００は、テストパターン生成部２３０およびデジタル処理部２４２をさらに備える点において第１の実施の形態と異なる。
　第２の実施の形態において、ＳＮＮプロセッサ５００は、読出し制御信号Ｃｔｒｌを生成せず、ＳＬをＦＩＦＯメモリ２１２に出力する。
　テストパターン生成部２２０は、テストモードの場合に、テストパターンをデジタル処理部２４１に供給し、テストモードでない場合に、ＦＩＦＯメモリ２１２からＳＬを読み出してデジタル処理部２４２に供給する。
　デジタル処理部２４２は、ＳＬに基づいて読出し制御信号Ｃｔｒｌを生成し、ＥＶＳ３００に出力するものである。なお、デジタル処理部２４２は、特許請求の範囲に記載の読出し制御部の一例である。
　図１７は、本技術の第２の実施の形態におけるＳＮＮプロセッサ５００の一構成例を示すブロック図である。同図に例示するように、第２の実施の形態におけるＳＮＮプロセッサ５００は、読出し制御部５５０が配置されない点において第１の実施の形態と異なる。
　図１６および図１７に例示したように、デジタル処理部２４２が読出し制御信号を生成することにより、ＳＮＮプロセッサ５００内の読出し制御部５５０を削減することができる。
　なお、第２の実施の形態に、第１の実施の形態の第１から第４の変形例のそれぞれを適用することができる。
　このように、本技術の第２の実施の形態によれば、ＳＮＮプロセッサ５００の代わりにデジタル処理部２４２が読出し制御信号を生成するため、ＳＮＮプロセッサ５００の回路規模を削減することができる。
　［変形例］
　上述の第２の実施の形態では、センサーチップ２００が、ＳＬや、その処理結果を外部出力していなかったが、それらを外部出力することもできる。この第２の実施の形態の変形例におけるセンサーチップ２００は、ＳＬ等を外部出力する点において第１の実施の形態と異なる。
　図１８は、本技術の第２の実施の形態の変形例におけるセンサーチップ２００の一構成例を示すブロック図である。この第２の実施の形態の変形例におけるセンサーチップ２００は、フォーマット処理部２５２および外部通信インターフェース２６２をさらに備える点において第２の実施の形態と異なる。
　また、第２の実施の形態においてデジタル処理部２４２は、読出し制御信号を生成する他、ＳＬに対して各種のデジタル処理を必要に応じて行う。デジタル処理部２４２は、処理後のＳＬをフォーマット処理部２５２に出力する。
　フォーマット処理部２５２は、ＳＬ等を格納した通信フレームを生成するものである。このフォーマット処理部２５２は、生成した通信フレームを外部通信インターフェース２６２に供給する。
　外部通信インターフェース２６２は、フォーマット処理部２５２からの通信フレームをＤＳＰ回路１２０などに送信するものである。
　なお、第２の実施の形態の変形例に、第１の実施の形態の第１から第４の変形例のそれぞれを適用することができる。
　このように、本技術の第２の実施の形態の変形例によれば、センサーチップ２００がＳＬをさらに外部出力するため、センサーチップ２００の外部の回路が、それらのデータを利用することができる。
　＜３．第３の実施の形態＞
　上述の第１の実施の形態では、ＰＬを生成するセンサーとしてＥＶＳ３００を用いていたが、ＥＶＳ３００の代わりに光子を計数する光子計測回路を用いることもできる。この第３の実施の形態における光検出装置１００は、ＥＶＳ３００の代わりに光子計測回路を用いる点において第１の実施の形態と異なる。
　図１９は、本技術の第３の実施の形態におけるセンサーチップ２００の一構成例を示すブロック図である。この第３の実施の形態におけるセンサーチップ２００は、ＥＶＳ３００の代わりに光子計測回路６００を配置した点において第１の実施の形態と異なる。なお、光子計測回路６００は、特許請求の範囲に記載のセンサーの一例である。
　図２０は、本技術の第３の実施の形態における光子計測回路６００の一構成例を示すブロック図である。この光子計測回路６００は、駆動部６１０、画素アレイ部６２０、タイミング制御回路６４０および読出し処理部６５０を備える。画素アレイ部６２０には、複数の画素６３０が二次元格子状に配列される。
　駆動部６１０、画素アレイ部６２０、タイミング制御回路６４０および読出し処理部６５０のそれぞれの機能は、駆動部３１０、画素アレイ部３２０、タイミング制御回路３３０およびラインスキャナ３４０と同様である。
　図２１は、本技術の第３の実施の形態における画素６３０の一構成例を示す回路図である。この画素６３０は、クウェンチ抵抗６３１、ＳＰＡＤ（Single-Photon Avalanche Diode）６３２、インバータ６３３およびフォトンカウンタ６３４を備える。
　クウェンチ抵抗６３１およびＳＰＡＤ６３２は、直列に接続される。インバータ６３３は、クウェンチ抵抗６３１およびＳＰＡＤ６３２の接続点の電圧信号を反転し、パルス信号としてフォトンカウンタ６３４に供給するものである。フォトンカウンタ６３４は、パルス信号のパルス数を計数し、計数値を示す画素データを読出し処理部６５０に供給するものである。
　光子を計数する場合、ＰＬ内の画素データのそれぞれは、計数値を示す２ビット以上のビット列となる。しかし、第１の実施の形態のように、画素データのそれぞれを１ビットの情報に変換することが好ましい。変換を行う場合は、例えば、ＳＮＮ回路５１０の前段に、画素ごとにビット列を１ビットに変換する変換回路が挿入される。
　なお、画素６３０の回路構成は、光子を計数することができるものであれば、同図に例示したものに限定されない。
　また、第３の実施の形態に、第１の実施の形態の第１、第２、第３および第４の変形例
と、第２の実施の形態と、第２の実施の形態の変形例とのそれぞれを適用することができる。
　このように、本技術の第３の実施の形態によれば、ＥＶＳ３００の代わりに光子計測回路６００を配置したため、光子計測回路６００の後段において、処理遅延や消費電力の増大を抑制することができる。
　＜４．第４の実施の形態＞
　上述の第１の実施の形態では、ＰＬを生成するセンサーとしてＥＶＳ３００を用いていたが、ＥＶＳ３００の代わりに、ＣＩＳを用いることもできる。この第４の実施の形態における光検出装置１００は、ＥＶＳ３００の代わりにＣＩＳを用いる点において第１の実施の形態と異なる。
　図２２は、本技術の第４の実施の形態におけるセンサーチップ２００の一構成例を示すブロック図である。この第４の実施の形態におけるセンサーチップ２００は、ＥＶＳ３００の代わりにＣＩＳ７００を配置した点において第１の実施の形態と異なる。なお、ＣＩＳ７００は、特許請求の範囲に記載のセンサーの一例である。
　図２３は、本技術の第１の実施の形態におけるＣＩＳ７００の一構成例を示すブロック図である。このＣＩＳ７００は、垂直走査回路７１０、タイミング制御回路７２０、ＤＡＣ（Digital to Analog Converter）７３０、画素アレイ部７４０、カラムＡＤＣ７６０、および、水平転送走査回路７７０を備える。画素アレイ部７４０には、二次元格子状に画素７５０が配列される。
　垂直走査回路７１０は、行を順に選択して駆動し、アナログの画素信号をカラムＡＤＣ７６０へ出力させるものである。タイミング制御回路７２０は、垂直同期信号から、水平同期信号を生成し、水平転送走査回路７７０に供給する。
　ＤＡＣ７３０は、所定の参照信号を生成してカラムＡＤＣ７６０に供給するものである。参照信号として、例えば、のこぎり波状のランプ信号が用いられる。
　カラムＡＤＣ７６０は、列ごとにＡＤＣを備え、列のそれぞれの画素信号に対してＡＤ（Analog to Digital）変換を行うものである。カラムＡＤＣ７６０は、水平転送走査回路７７０の制御に従ってＰＬを生成し、ＦＩＦＯメモリ２１１へ出力する。
　水平転送走査回路７７０は、カラムＡＤＣ７６０を制御して画素データを順に出力させるものである。
　上述のようにＣＩＳでは、ＰＬ内の画素データのそれぞれは、その画素の階調値を示す２ビット以上のビット列となる。しかし、第１の実施の形態のように、画素データのそれぞれを１ビットの情報に変換することが好ましい。変換を行う場合は、例えば、ＳＮＮ回路５１０の前段に、画素ごとにビット列を１ビットに変換する変換回路が挿入される。
　図２４は、本技術の第４の実施の形態における画素７５０の一構成例を示す回路図である。この画素７５０は、フォトダイオード７５１、転送トランジスタ７５２、リセットトランジスタ７５３、浮遊拡散層７５４、増幅トランジスタ７５５および選択トランジスタ７５６を備える。
　フォトダイオード７５１は、入射光を光電変換して電荷を生成するものである。転送トランジスタ７５２は、垂直走査回路７１０からの転送信号ＴＲＧに従って、フォトダイオード７５１から浮遊拡散層７５４へ電荷を転送するものである。
　リセットトランジスタ７５３は、垂直走査回路７１０からのリセット信号ＲＳＴに従って、浮遊拡散層７５４から電荷を引き抜いて初期化するものである。浮遊拡散層７５４は、電荷を蓄積し、電荷量に応じた電圧を生成するものである。
　増幅トランジスタ７５５は、浮遊拡散層７５４の電圧を増幅するものである。選択トランジスタ７５６は、垂直走査回路７１０からの選択信号ＳＥＬに従って、増幅後の電圧の信号を画素信号として出力するものである。
　また、画素アレイ部７４０には、列ごとに垂直信号線７５９が配線され、列内の画素７５０のそれぞれの画素信号は、その列の垂直信号線７５９を介してカラムＡＤＣ７６０へ出力される。
　なお、画素７５０の回路構成は、アナログの画素信号を生成することができるものであれば、同図に例示した構成に限定されない。
　また、第４の実施の形態に、第１の実施の形態の第１、第２、第３および第４の変形例
と、第２の実施の形態と、第２の実施の形態の変形例とのそれぞれを適用することができる。
　このように、本技術の第４の実施の形態によれば、ＥＶＳ３００の代わりにＣＩＳ７００を配置したため、ＣＩＳ７００の後段において、処理遅延や消費電力の増大を抑制することができる。
　＜５．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２６は、撮像部１２０３１の設置位置の例を示す図である。
　図２６では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１の光検出装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、処理遅延や消費電力の増大を抑制してシステムの性能を向上させることができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）複数の画素データを配列したセンサデータを画素アレイ部から読み出すセンサーと、
　ニューラルネットワークモデルに基づいて前記センサデータを処理して複数の処理結果を配列したラインデータを出力するニューラルネットワーク回路と、
　前記ラインデータに基づいて前記画素アレイ部内の読出し対象の画素群を指示する読出し制御信号を生成する読出し制御部と
を具備する光検出装置。
（２）前記ラインデータは、第１ラインデータおよび第２ラインデータを含み、
　前記ニューラルネットワーク回路は、前記第１ラインデータおよび前記第２ラインデータを並列に出力し、
　前記読出し制御部は、前記第１ラインデータと前記第２ラインデータとを比較して当該比較結果に基づいて前記読出し制御信号を生成する
前記（１）記載の光検出装置。
（３）前記ニューラルネットワークモデルは、スパイキングニューラルネットワークモデルであり、
　前記第１ラインデータおよび前記第２ラインデータのそれぞれは、複数のビット列を含み、
　前記複数のビット列のそれぞれは、スパイクの検出結果を時系列順に示す複数のビットを含む
前記（２）記載の光検出装置。
（４）前記ニューラルネットワークモデルは、スパイキングニューラルネットワークモデルであり、
　前記第１ラインデータおよび前記第２ラインデータのそれぞれは、膜電位の状態値を時系列順に示す複数のビット列を含む
前記（２）記載の光検出装置。
（５）識別情報および前記センサデータの少なくとも一方を変換して前記ニューラルネットワーク回路に供給する変換部をさらに具備し、
　前記センサーは、前記センサデータとともに前記識別情報を出力する
前記（１）から（４）のいずれかに記載の光検出装置。
（６）前記センサデータを先入れ先出し方式で保持する第１のＦＩＦＯ（First In, First Out）メモリと、
　前記読出し制御信号を先入れ先出し方式で保持する第２のＦＩＦＯメモリと
をさらに具備し、
　前記ニューラルネットワーク回路は、前記第１のＦＩＦＯメモリから前記センサデータを読み出し、
　前記センサーは、前記第２のＦＩＦＯメモリから前記読出し制御信号を読み出す
前記（１）から（５）のいずれかに記載の光検出装置。
（７）前記センサデータを先入れ先出し方式で保持する第１のＦＩＦＯメモリと、
　前記ラインデータを先入れ先出し方式で保持する第２のＦＩＦＯメモリと
をさらに具備し、
　前記ニューラルネットワーク回路は、前記第１のＦＩＦＯメモリから前記センサデータを読み出し、
　前記読出し制御部は、前記第２のＦＩＦＯメモリから前記ラインデータを読み出す
前記（１）から（５）のいずれかに記載の光検出装置。
（８）前記第１のＦＩＦＯメモリから前記センサデータを読み出して処理するデジタル処理部と、
　前記センサデータを格納した通信フレームを生成する第１のフォーマット処理部と
をさらに具備する
前記（７）記載の光検出装置。
（９）前記ラインデータを格納した通信フレームを生成する第２のフォーマット処理部をさらに具備し、
　前記読出し制御部は、前記ラインデータを前記第２のフォーマット処理部に出力する
前記（８）に記載の光検出装置。
（１０）前記センサーは、ＥＶＳ（Event-based Vision Sensor）である
前記（１）から（９）のいずれかに記載の光検出装置。
（１１）前記センサーは、光子を計数する光子計測回路である
前記（１）から（９）のいずれかに記載の光検出装置。
（１２）前記センサーは、ＣＩＳ（CMOS Image Sensors）である
前記（１）から（９）のいずれかに記載の光検出装置。
（１３）前記センサーと前記ニューラルネットワーク回路と前記読出し制御部とは、積層された複数のチップに分散して配置される
前記（１）から（１２）のいずれかに記載の光検出装置。
（１４）センサーが、複数の画素データを配列したセンサデータを画素アレイ部から読み出す手順と、
　ニューラルネットワークモデルに基づいて前記センサデータを処理して複数の処理結果を配列したラインデータを出力する手順と、
　前記ラインデータに基づいて前記画素アレイ部内の読出し対象の画素群を指示する読出し制御信号を生成する読出し制御手順と
を具備する光検出装置の制御方法。
　１００　光検出装置
　１１０　光学部
　１２０　ＤＳＰ回路
　１３０　表示部
　１４０　操作部
　１５０　バス
　１６０　フレームメモリ
　１７０　記憶部
　１８０　電源部
　２００　センサーチップ
　２０１　画素チップ
　２０２、２０３　回路チップ
　２１１、２１２、５８１～５８５　ＦＩＦＯメモリ
　２２０、２３０　テストパターン生成部
　２２１　テストパターン供給部
　２２２　スイッチ
　２４１、２４２　デジタル処理部
　２５１、２５２　フォーマット処理部
　２６１、２６２　外部通信インターフェース
　３００　ＥＶＳ
　３１０、６１０　駆動部
　３２０、６２０、７４０　画素アレイ部
　３３０、６４０、７２０　タイミング制御回路
　３４０　ラインスキャナ
　４００、６３０、７５０　画素
　４１０　画素回路
　４１１、７５１　フォトダイオード
　４１２、４１３、４３５、４４２、４４４　ｎＭＯＳトランジスタ
　４１４、４２１、４２２、４３２、４３４、４４１、４４３　ｐＭＯＳトランジスタ
　４２０　バッファ
　４３０　微分回路
　４３１、４３３　容量
　４４０　量子化器
　５００　ＳＮＮプロセッサ
　５０５　変換部
　５１０　ＳＮＮ回路
　５２０　入力層
　５３０　中間層
　５４０　出力層
　５４１－１～５４１－ｋ、５４２－１～５４２－ｋ　ニューロン
　５５０　読出し制御部
　５６０　入出力インターフェース
　５７０　マルチコアアレイ
　５８０　ルーター
　５８６　アービタ
　５９０　コア
　５９１　コアルーター
　５９２　ニューロンＩ／Ｏ
　５９３　積和ユニット
　５９４　ワークメモリ
　５９５　膜電位メモリ
　５９６　ＬＩＦユニット
　６００　光子計測回路
　６３１　クウェンチ抵抗
　６３２　ＳＰＡＤ
　６３３　インバータ
　６３４　フォトンカウンタ
　６５０　読出し処理部
　７００　ＣＩＳ
　７１０　垂直走査回路
　７３０　ＤＡＣ
　７５２　転送トランジスタ
　７５３　リセットトランジスタ
　７５４　浮遊拡散層
　７５５　増幅トランジスタ
　７５６　選択トランジスタ
　７６０　カラムＡＤＣ
　７７０　水平転送走査回路
　１２０３１　撮像部

Claims (14)

  1. 　複数の画素データを配列したセンサデータを画素アレイ部から読み出すセンサーと、
    　ニューラルネットワークモデルに基づいて前記センサデータを処理して複数の処理結果を配列したラインデータを出力するニューラルネットワーク回路と、
    　前記ラインデータに基づいて前記画素アレイ部内の読出し対象の画素群を指示する読出し制御信号を生成する読出し制御部と
    を具備する光検出装置。
  2. 　前記ラインデータは、第１ラインデータおよび第２ラインデータを含み、
    　前記ニューラルネットワーク回路は、前記第１ラインデータおよび前記第２ラインデータを並列に出力し、
    　前記読出し制御部は、前記第１ラインデータと前記第２ラインデータとを比較して当該比較結果に基づいて前記読出し制御信号を生成する
    請求項１記載の光検出装置。
  3. 　前記ニューラルネットワークモデルは、スパイキングニューラルネットワークモデルであり、
    　前記第１ラインデータおよび前記第２ラインデータのそれぞれは、複数のビット列を含み、
    　前記複数のビット列のそれぞれは、スパイクの検出結果を時系列順に示す複数のビットを含む
    請求項２記載の光検出装置。
  4. 　前記ニューラルネットワークモデルは、スパイキングニューラルネットワークモデルであり、
    　前記第１ラインデータおよび前記第２ラインデータのそれぞれは、膜電位の状態値を時系列順に示す複数のビット列を含む
    請求項２記載の光検出装置。
  5. 　識別情報および前記センサデータの少なくとも一方を変換して前記ニューラルネットワーク回路に供給する変換部をさらに具備し、
    　前記センサーは、前記センサデータとともに前記識別情報を出力する
    請求項１記載の光検出装置。
  6. 　前記センサデータを先入れ先出し方式で保持する第１のＦＩＦＯ（First In, First Out）メモリと、
    　前記読出し制御信号を先入れ先出し方式で保持する第２のＦＩＦＯメモリと
    をさらに具備し、
    　前記ニューラルネットワーク回路は、前記第１のＦＩＦＯメモリから前記センサデータを読み出し、
    　前記センサーは、前記第２のＦＩＦＯメモリから前記読出し制御信号を読み出す
    請求項１記載の光検出装置。
  7. 　前記センサデータを先入れ先出し方式で保持する第１のＦＩＦＯメモリと、
    　前記ラインデータを先入れ先出し方式で保持する第２のＦＩＦＯメモリと
    をさらに具備し、
    　前記ニューラルネットワーク回路は、前記第１のＦＩＦＯメモリから前記センサデータを読み出し、
    　前記読出し制御部は、前記第２のＦＩＦＯメモリから前記ラインデータを読み出す
    請求項１記載の光検出装置。
  8. 　前記第１のＦＩＦＯメモリから前記センサデータを読み出して処理するデジタル処理部と、
    　前記センサデータを格納した通信フレームを生成する第１のフォーマット処理部と
    をさらに具備する
    請求項７記載の光検出装置。
  9. 　前記ラインデータを格納した通信フレームを生成する第２のフォーマット処理部をさらに具備し、
    　前記読出し制御部は、前記ラインデータを前記第２のフォーマット処理部に出力する
    請求項８記載の光検出装置。
  10. 　前記センサーは、ＥＶＳ（Event-based Vision Sensor）である
    請求項１記載の光検出装置。
  11. 　前記センサーは、光子を計数する光子計測回路である
    請求項１記載の光検出装置。
  12. 　前記センサーは、ＣＩＳ（CMOS Image Sensors）である
    請求項１記載の光検出装置。
  13. 　前記センサーと前記ニューラルネットワーク回路と前記読出し制御部とは、積層された複数のチップに分散して配置される
    請求項１記載の光検出装置。
  14. 　センサーが、複数の画素データを配列したセンサデータを画素アレイ部から読み出す手順と、
    　ニューラルネットワークモデルに基づいて前記センサデータを処理して複数の処理結果を配列したラインデータを出力する手順と、
    　前記ラインデータに基づいて前記画素アレイ部内の読出し対象の画素群を指示する読出し制御信号を生成する読出し制御手順と
    を具備する光検出装置の制御方法。
PCT/JP2023/038835 2022-12-23 2023-10-27 光検出装置、および、光検出装置の制御方法 Ceased WO2024135094A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2024565637A JPWO2024135094A1 (ja) 2022-12-23 2023-10-27
KR1020257022985A KR20250126027A (ko) 2022-12-23 2023-10-27 광 검출 장치, 및 광 검출 장치의 제어 방법
EP23906467.8A EP4642045A1 (en) 2022-12-23 2023-10-27 Photodetector device and photodetector device control method
CN202380086589.9A CN120380773A (zh) 2022-12-23 2023-10-27 光检测装置及光检测装置的控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-206201 2022-12-23
JP2022206201 2022-12-23

Publications (1)

Publication Number Publication Date
WO2024135094A1 true WO2024135094A1 (ja) 2024-06-27

Family

ID=91588498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/038835 Ceased WO2024135094A1 (ja) 2022-12-23 2023-10-27 光検出装置、および、光検出装置の制御方法

Country Status (6)

Country Link
EP (1) EP4642045A1 (ja)
JP (1) JPWO2024135094A1 (ja)
KR (1) KR20250126027A (ja)
CN (1) CN120380773A (ja)
TW (1) TW202433738A (ja)
WO (1) WO2024135094A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021064882A (ja) * 2019-10-15 2021-04-22 キヤノン株式会社 認識装置、認識方法
WO2021210389A1 (ja) * 2020-04-14 2021-10-21 ソニーグループ株式会社 物体認識システム及び電子機器
WO2022209253A1 (ja) * 2021-04-02 2022-10-06 ソニーセミコンダクタソリューションズ株式会社 センサ装置および半導体装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037968B2 (en) 2019-04-05 2021-06-15 Waymo Llc Image sensor architecture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021064882A (ja) * 2019-10-15 2021-04-22 キヤノン株式会社 認識装置、認識方法
WO2021210389A1 (ja) * 2020-04-14 2021-10-21 ソニーグループ株式会社 物体認識システム及び電子機器
WO2022209253A1 (ja) * 2021-04-02 2022-10-06 ソニーセミコンダクタソリューションズ株式会社 センサ装置および半導体装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4642045A1

Also Published As

Publication number Publication date
EP4642045A1 (en) 2025-10-29
TW202433738A (zh) 2024-08-16
CN120380773A (zh) 2025-07-25
KR20250126027A (ko) 2025-08-22
JPWO2024135094A1 (ja) 2024-06-27

Similar Documents

Publication Publication Date Title
CN111615823B (zh) 固态成像元件、成像装置以及固态成像元件的控制方法
US11582406B2 (en) Solid-state image sensor and imaging device
JP2020072317A (ja) センサ及び制御方法
US11523079B2 (en) Solid-state imaging element and imaging device
WO2020170861A1 (ja) イベント信号検出センサ及び制御方法
WO2020116185A1 (ja) 固体撮像装置、信号処理チップ、および、電子機器
US11937001B2 (en) Sensor and control method
US20240236519A1 (en) Imaging device, electronic device, and light detecting method
WO2021117350A1 (ja) 固体撮像素子、および、撮像装置
CN116057950A (zh) 成像装置和成像方法
WO2020105301A1 (ja) 固体撮像素子、および、撮像装置
WO2024135094A1 (ja) 光検出装置、および、光検出装置の制御方法
WO2024135095A1 (ja) 光検出装置、および、光検出装置の制御方法
JP2024090345A (ja) 光検出装置、および、光検出装置の制御方法
WO2025062888A1 (ja) 光検出素子及びシステム
WO2024262161A1 (ja) 固体撮像素子、および、撮像装置
WO2024199692A1 (en) Sensor device and method for operating a sensor device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23906467

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024565637

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202380086589.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 1020257022985

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2023906467

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380086589.9

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020257022985

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2023906467

Country of ref document: EP