[go: up one dir, main page]

WO2025074741A1 - 撮像装置、撮像方法、及び撮像システム - Google Patents

撮像装置、撮像方法、及び撮像システム Download PDF

Info

Publication number
WO2025074741A1
WO2025074741A1 PCT/JP2024/029011 JP2024029011W WO2025074741A1 WO 2025074741 A1 WO2025074741 A1 WO 2025074741A1 JP 2024029011 W JP2024029011 W JP 2024029011W WO 2025074741 A1 WO2025074741 A1 WO 2025074741A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
light source
imaging
light
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/029011
Other languages
English (en)
French (fr)
Inventor
光二 依田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2025074741A1 publication Critical patent/WO2025074741A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection

Definitions

  • This disclosure relates to an imaging device, an imaging method, and an imaging system.
  • an asynchronous imaging device called DVS (Dynamic Vision Sensor) has been proposed (see, for example, Patent Document 1).
  • DVS Dynamic Vision Sensor
  • an asynchronous imaging device only when some event (for example, movement) occurs in the scene is data acquired for the part where the brightness level has changed due to the event. Therefore, an asynchronous imaging device can acquire image data faster than a typical synchronous imaging device that unnecessarily acquires all image data at a fixed frame rate.
  • an imaging optical system that causes light to be incident on the imaging surface; Further, it may be provided.
  • an image generating unit that generates image data in which values related to the number of times of the detection signal detected by the first detection unit are arranged in two-dimensional coordinates; Further, it may be provided.
  • the device may further include a light source driver that controls the light source unit.
  • the light source driving unit may monotonically increase the amount of light irradiated onto the imaging surface from a first irradiation amount to a second irradiation amount.
  • the light source driving unit After generating the first image data, the light source driving unit monotonically increases an amount of irradiation light emitted from the second light source onto the imaging surface from a first irradiation amount to a second irradiation amount;
  • the image generating section may generate the image data as second image data.
  • the light source unit further includes a third light source having a third wavelength different from the first wavelength and the second wavelength, After generating the second image data, the light source driving unit monotonically increases an amount of irradiation light emitted from the third light source onto the imaging surface from a first irradiation amount to a second irradiation amount;
  • the image generating section may generate the image data as third image data.
  • the first to third light sources may be any of a red LED, a blue LED, and a green LED.
  • an imaging device a display unit that displays an image generated by the imaging device
  • the imaging device includes: a photoelectric conversion unit having a plurality of photoelectric conversion elements each of which photoelectrically converts light irradiated at different positions on a two-dimensional imaging surface to generate an electrical signal; A light source unit that irradiates the imaging surface with irradiation light; a first detection unit that detects a detection signal when a change amount of the electrical signal generated by the plurality of photoelectric conversion elements exceeds a predetermined value; having An imaging system is provided.
  • FIG. 4 is a diagram illustrating the number of times a detection signal is generated for each pixel.
  • 5A to 5C are diagrams for explaining an example of gradation processing by an image generating unit.
  • 3A and 3B are diagrams showing examples of images formed on an imaging surface via an imaging optical system.
  • FIG. 11 is a diagram showing an example of an event image at a predetermined timing.
  • FIG. 13 is a diagram showing an example in which the number of detections is converted into the reciprocal.
  • 5A and 5B are diagrams showing examples of gradation images generated by an image generating unit.
  • 1A to 1C are diagrams illustrating the characteristics of an example of gradation processing.
  • FIG. 4 is a plan view showing an example of the configuration of a plurality of light source units.
  • the four light source units 12 irradiate light onto the imaging surface 21a from four directions.
  • the light source units 12 have an LED light source 120w and a light source driving unit 125.
  • the LED light source 120w is, for example, a white LED.
  • the light source driving unit 125 changes the amount of irradiation, including turning on and off the LED light source 120w, under the control of the control unit 14.
  • the light source driving unit 125 can also independently control the amount of irradiation light from the four light source units 12.
  • the imaging unit 20 of the present disclosure is an asynchronous imaging unit called DVS, and is configured to include a pixel array unit 21, a drive unit 22, an arbiter unit (arbitration unit) 23, a column processing unit 24, and a signal processing unit 25.
  • the imaging surface 21a described above is the imaging surface of the pixel array unit 21.
  • the pixel array unit 21 according to this embodiment corresponds to a photoelectric conversion unit.
  • the driving unit 22 drives each of the multiple pixels 30 arranged on the imaging surface 21a to output the electrical signal generated by each pixel 30 to the column processing unit 24.
  • the arbiter unit 23 arbitrates requests from each of the multiple pixels 30 and transmits a response based on the arbitration result to the pixel 30.
  • the pixel 30 Upon receiving the response from the arbiter unit 23, the pixel 30 supplies a detection signal indicating the detection result (address event detection signal) to the drive unit 22 and the signal processing unit 25.
  • the detection signal from the pixel 30 can also be read out from multiple rows.
  • the signal processing unit 25 performs predetermined signal processing, such as CDS (Correlated Double Sampling) processing and image recognition processing, on the digital signal supplied from the column processing unit 24.
  • the signal processing unit 25 then supplies data indicating the processing results and the detection signal supplied from the arbiter unit 23 to the recording unit 13 (see FIG. 1) via a signal line.
  • An address event is, for example, an on-event indicating that the amount of change in the electrical signal has exceeded a first upper threshold, and an off-event indicating that the amount of change has fallen below a second lower threshold.
  • An address event detection signal is, for example, one bit indicating the detection result of an on-event, and one bit indicating the detection result of an off-event.
  • the address event detection unit 33 can also be configured to detect only on-events or only off-events. For example, to detect only off-events, a detection signal indicating an on-event is generated when the amount of change in the current electrical signal becomes 1.25. That is, when the amount of light irradiation on the imaging surface 21a increases by 25 percent, a detection signal indicating an on-event is generated.
  • the address event detection unit 33 corresponds to the first detection unit.
  • FIG. 6 is a circuit diagram showing an example of a circuit configuration of the pixel 30.
  • each of the pixels 30 includes a light receiving unit 31, an electric signal generating unit 32, and an address event detecting unit 33.
  • the reset transistor 321 is connected between a power supply line of a power supply voltage V DD and the floating diffusion layer 324.
  • a reset signal RST is supplied to a gate electrode of the reset transistor 321 from the driving unit 22.
  • the reset transistor 321 initializes (resets) the amount of charge in the floating diffusion layer 324 in response to the reset signal RST.
  • a selection signal SEL is supplied from the driving unit 22 to the gate electrode of the selection transistor 323.
  • the selection transistor 323 outputs the voltage signal amplified by the amplification transistor 322 as an electrical signal SIG via the vertical signal line VSL to the column processing unit 24 (see FIG. 4).
  • the light source control unit 131 controls the light intensity of the multiple light source units 12 according to the control of the mode control unit 130. That is, in the first mode, the light source control unit 131 maintains a constant light intensity of the multiple light source units 12. Preferably, the multiple light source units 12 are turned off. In the second and third modes, the light source control unit 131 monotonically increases or decreases the amount of light irradiated onto the imaging surface 21a while light is incident on the imaging surface 21a via the imaging optical system 11 (see FIG. 2).
  • Fig. 8 is a diagram showing an example of generation of a detection signal of an address event by the address event detection unit 33 (see Fig. 6) of the pixel 30.
  • the horizontal axis indicates time, and the vertical axis indicates the amount of irradiation on the imaging surface 21a.
  • the detection signal as indicates the generation timing of a detection signal at the pixel 30a where the amount of irradiation is high and light is incident on the imaging surface 21a via the imaging optical system 11 (see Fig. 2).
  • the detection signal bs indicates the generation timing of a detection signal at the pixel 30b where the amount of irradiation is low and light is incident on the imaging surface 21a via the imaging optical system 11 (see Fig. 2).
  • the address event detection unit 33 when the light amount of the multiple light source units 12 reaches the light amount La, the address event detection unit 33 generates a detection signal as in time series every time the electrical signal proportional to the photocurrent increases by 25 percent.
  • the detection signal as is recorded in the recording unit 13.
  • the driving in mode 1 is also maintained. That is, when an address event is detected in a pixel 30 in the light receiving region, the driving unit 22 turns off the OFG transistor 313 of that pixel 30 to stop the supply of photocurrent to the address event detection unit 33. Next, the driving unit 22 drives the transfer transistor 312 by supplying a transfer signal TRG to the transfer transistor 312, causing the charge photoelectrically converted by the light receiving element 311 to be transferred to the floating diffusion layer 324.
  • the mode control unit 130 constantly keeps the OFG transistor 313 of the pixel 30 in an off state.
  • the mode control unit 130 constantly supplies a control signal OFG to the OFG transistor 313 of the light receiving unit 31.
  • the OFG transistor 313 is driven to constantly supply a photocurrent to the address event detection unit 33.
  • the illuminance difference LW1 which is the difference between the second irradiation amount L2 and the irradiation amount La of pixel 30a, corresponds to the number of times the detection signal as occurs.
  • the illuminance difference LW1 which is the difference between the second irradiation amount L2 and the irradiation amount Lb of pixel 30b, corresponds to the number of times the detection signal bs occurs.
  • the image generating unit 132 calculates the illuminance difference LW1 by raising the number of occurrences of the detection signal as to 1.25 and further multiplying it by the coefficient k1 to obtain D1. Similarly, the image generating unit 132 calculates the illuminance difference LW1 by raising the number of occurrences of the detection signal as to 1.25 and further multiplying it by the coefficient k1 to obtain D2.
  • the coefficient k1 is a normalization coefficient for converting the illuminance difference to a pixel value.
  • FIG. 11 to 14 are examples of image generation in mode 2.
  • FIG. 11 is a diagram showing an example of an image formed on the imaging surface 21a via the imaging optical system 11 (see FIG. 2).
  • FIG. 12 is a diagram showing an example of an event image at a predetermined timing.
  • FIG. 13 is a diagram showing an example of the inverse of the number of detections. The whiter the color, the higher the value.
  • FIG. 14 is a diagram showing an example of a gradation image generated by the image generation unit 132.
  • the event image shown in FIG. 12 it is not possible to obtain image information in which no event has occurred from the incident light incident via the imaging optical system 11. For this reason, it is difficult to distinguish, for example, an intruder who is stationary or hiding in the shadows. In addition, it is difficult to grasp the detailed information of the example image shown in FIG. 11.
  • the grayscale image shown in FIG. 14 makes it possible to grasp detailed information at the same level as the example image shown in FIG. 11. For example, the shading of clouds is also reproduced. This makes it possible to obtain image information even when no event has occurred, making it possible to obtain detailed information during monitoring.
  • FIG. 15 is a diagram showing a schematic diagram of the characteristics of an example of gradation processing.
  • FIG. 15(a) is a diagram similar to FIG. 8.
  • the horizontal axis indicates time, and the vertical axis indicates the amount of irradiation on the imaging surface 21a.
  • the detection signal as indicates the generation timing of the detection signal at pixel 30a where the amount of irradiation is high and light is incident on the imaging surface 21a via the imaging optical system 11 (see FIG. 2).
  • the detection signal bs indicates the generation timing of the detection signal at pixel 30b where the amount of irradiation is low and light is incident on the imaging surface 21a via the imaging optical system 11 (see FIG. 2).
  • FIG. 15(b) shows a case where the time for monotonically increasing from the first irradiation amount L1 to the second irradiation amount L2 is longer than that of FIG. 15(a).
  • FIG. 15(c) shows a case where the time for monotonically increasing from the first irradiation amount L1 to the second irradiation amount L2 is longer than that of FIG. 15(b).
  • the detection threshold in the address event detection unit 33 is set to 25 percent, which is a ratio to the current irradiation amount. Therefore, the detection signals as and bs are generated every time the irradiation amount becomes 1.25 times.
  • the decrease in accuracy is suppressed even if the time for monotonically increasing from the first irradiation amount L1 to the second irradiation amount L2 becomes longer. Also, when the time for monotonically increasing from the first irradiation amount L1 to the second irradiation amount L2 can be maintained longer, the decrease in accuracy of the detection signals as and bs is suppressed even if the irradiation amount increases nonlinearly.
  • FIG. 15 is a diagram showing a schematic diagram of the characteristics of an example of gradation processing.
  • FIG. 15(a) is a diagram similar to FIG. 8.
  • the horizontal axis indicates time, and the vertical axis indicates the amount of irradiation on the imaging surface 21a.
  • the detection signal as indicates the generation timing of the detection signal at pixel 30a where the amount of irradiation is high and light is incident on the imaging surface 21a via the imaging optical system 11 (see FIG. 2).
  • the detection signal bs indicates the generation timing of the detection signal at pixel 30b where the amount of irradiation is low and light is incident on the imaging surface 21a via the imaging optical system 11 (see FIG. 2).
  • the decrease in accuracy is suppressed even if the time for monotonically increasing from the first irradiation amount L1 to the second irradiation amount L2 becomes longer. Also, when the time for monotonically increasing from the first irradiation amount L1 to the second irradiation amount L2 can be maintained longer, the decrease in accuracy of the detection signals as and bs is suppressed even if the irradiation amount increases nonlinearly.
  • the imaging device 2 has a light source drive mode in which the light sources 121 to 124 are turned on in sequence.
  • the occurrence frequency of the address event detection unit 33 first increases in the irradiation range of the light source unit 121, then increases in the irradiation range of the light source unit 122, then increases in the irradiation range of the light source unit 123, and then increases in the irradiation range of the light source unit 124.
  • the mode control unit 130 of the control unit 14 causes the recording unit 13 to record the detection signals output from each pixel 30 (step S102). Then, the image generation unit 132 of the control unit 14 generates a gradation image based on the number of detection signals of each pixel 30 recorded in the recording unit 13 (step S104), and ends the gradation generation process.
  • the imaging device 2 when light is incident on the imaging surface 21a via the imaging optical system 11, causes the light irradiated from the multiple light source units 12 onto the imaging surface 21a to monotonically increase or decrease, photoelectrically converts the irradiated light in the photoelectric conversion elements of the pixels 30 to generate electrical signals, and generates a gradation image based on the number of detection signals when the absolute value of the amount of change in the electrical signal exceeds a threshold value.
  • the number of detection signals changes according to the amount of radiation incident on the imaging surface 21a via the imaging optical system 11, making it possible to convert the number of detection signals into a luminance signal according to the number of detection signals.
  • the imaging device 2 according to the second embodiment differs from the imaging device 2 according to the first embodiment in that the light source unit can irradiate the imaging surface 21 a with light of multiple wavelengths.
  • the differences from the imaging device 2 according to the first embodiment will be described below.
  • FIG. 19 is a diagram showing an example of generation of an address event detection signal by the address event detection unit 33 (see FIG. 6) of the pixel 30.
  • the horizontal axis indicates time, and the vertical axis indicates the amount of irradiation on the imaging surface 21a.
  • the detection signal rs indicates the generation timing of the detection signal when the amount of irradiation of the red LED light source 120r is simply increased in a state where light is incident on the imaging surface 11a via the imaging optical system 11 (see FIG. 2).
  • FIG. 19 is a diagram showing an example of generation of an address event detection signal by the address event detection unit 33 (see FIG. 6) of the pixel 30.
  • the horizontal axis indicates time, and the vertical axis indicates the amount of irradiation on the imaging surface 21a.
  • the detection signal rs indicates the generation timing of the detection signal when the amount of irradiation of the red LED light source 120r is simply increased in a state where light is incident on the imaging surface 11a via the
  • the detection signal gs indicates the generation timing of the detection signal when the amount of irradiation of the green LED light source 120g is simply increased in a state where light is incident on the imaging surface 11a via the imaging optical system 11 (see FIG. 2).
  • the detection signal bs indicates the generation timing of the detection signal when the amount of irradiation of the blue LED light source 120b is simply increased in a state where light is incident on the imaging surface 11a via the imaging optical system 11 (see FIG. 2).
  • the red LED light source 120r, green LED light source 120g, and blue LED light source 120b of the light source unit 12 when light is incident on the imaging surface 11a via the imaging optical system 11 (see FIG. 2), the red LED light source 120r, green LED light source 120g, and blue LED light source 120b of the light source unit 12 also monotonically increase or decrease the irradiation amount in that order, and the image generating unit 132 generates image data based on the detection number of each detection signal rs, detection signal gs, and detection signal bs.
  • detection number of detection signals rs, detection signals gs, and detection signals bs changes depending on the irradiation amount of the color components irradiated on the imaging surface 11a, it is possible to obtain a luminance value according to the irradiation amount of red light, green light, and blue light incident on the imaging surface 11a.
  • the drive system control unit 7100 is connected to a vehicle state detection unit 7110.
  • the vehicle state detection unit 7110 includes at least one of a gyro sensor that detects the angular velocity of the axial rotational motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or a sensor for detecting the amount of operation of the accelerator pedal, the amount of operation of the brake pedal, the steering angle of the steering wheel, the engine speed, or the rotation speed of the wheels, etc.
  • the drive system control unit 7100 performs arithmetic processing using the signal input from the vehicle state detection unit 7110, and controls the internal combustion engine, the drive motor, the electric power steering device, the brake device, etc.
  • the body system control unit 7200 controls the operation of various devices installed in the vehicle body according to various programs.
  • the body system control unit 7200 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, tail lamps, brake lamps, turn signals, and fog lamps.
  • radio waves or signals from various switches transmitted from a portable device that replaces a key can be input to the body system control unit 7200.
  • the body system control unit 7200 accepts the input of these radio waves or signals and controls the vehicle's door lock device, power window device, lamps, etc.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rain, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside vehicle information detection unit 7420 may each be provided as an independent sensor or device, or may be provided as a device in which multiple sensors or devices are integrated.
  • the integrated control unit 7600 controls the overall operation of the vehicle control system 7000 according to various programs.
  • the integrated control unit 7600 is connected to an input unit 7800.
  • the input unit 7800 is realized by a device that can be operated by the passenger, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by voice recognition of a voice input by a microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000.
  • PDA Personal Digital Assistant
  • the dedicated communication I/F 7630 is a communication I/F that supports a communication protocol developed for use in vehicles.
  • the dedicated communication I/F 7630 may implement a standard protocol such as WAVE (Wireless Access in Vehicle Environment), which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609, DSRC (Dedicated Short Range Communications), or a cellular communication protocol.
  • WAVE Wireless Access in Vehicle Environment
  • DSRC Dedicated Short Range Communications
  • the dedicated communication I/F 7630 typically performs V2X communication, a concept that includes one or more of vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
  • the in-vehicle device I/F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 may also establish a wired connection such as USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable, if necessary) not shown.
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Mobile High-definition Link
  • the in-vehicle devices 7760 may include, for example, at least one of a mobile device or a wearable device owned by a passenger, or an information device carried into or attached to the vehicle.
  • the in-vehicle devices 7760 may also include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I/F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the microcomputer 7610 may perform cooperative control for the purpose of realizing the functions of an ADAS (Advanced Driver Assistance System), including vehicle collision avoidance or impact mitigation, following driving based on the distance between vehicles, vehicle speed maintenance driving, vehicle collision warning, vehicle lane departure warning, etc.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 may control the driving force generating device, steering mechanism, braking device, etc. based on the acquired information about the surroundings of the vehicle, thereby performing cooperative control for the purpose of autonomous driving, which allows the vehicle to travel autonomously without relying on the driver's operation.
  • At least two control units connected via the communication network 7010 may be integrated into one control unit.
  • each control unit may be composed of multiple control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions performed by any control unit may be provided by another control unit.
  • a predetermined calculation process may be performed by any control unit.
  • a sensor or device connected to any control unit may be connected to another control unit, and multiple control units may transmit and receive detection information to each other via the communication network 7010.
  • the technology according to the present disclosure can be applied to, for example, the imaging units 7910, 7912, 7914, 7916, and 7918, the outside vehicle information detection units 7920, 7922, 7924, 7926, 7928, and 7930, and the driver state detection unit 7510, among the configurations described above.
  • the imaging system 1 of FIG. 1 having the imaging device according to the present disclosure can be applied to these imaging units and detection units.
  • This technology can be configured as follows:
  • the imaging device further comprises:
  • the light source unit includes a first light source having a first wavelength and a second light source having a second wavelength different from the first wavelength, the light source driving unit monotonically increases an amount of irradiation light emitted from the first light source onto the imaging surface from a first irradiation amount to a second irradiation amount;
  • the imaging device according to claim 10, wherein the image generating unit generates the image data as first image data.
  • the first detection unit detects the detection signal when an absolute value of an amount of change in a direction in which the signal level of the electrical signal increases exceeds a first threshold, and detects the detection signal when an absolute value of an amount of change in a direction in which the signal level of the electrical signal decreases exceeds a second threshold.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

［課題］開示では、イベントの発生していない領域の輝度情報も画素値に変換可能な非同期型の撮像装置、撮像方法、及び撮像システムを提供する。 ［解決手段］本開示によれば、２次元の撮像面の異なる位置に照射される光を、それぞれが光電変換して、電気信号を生成する複数の光電変換素子を有する光電変換部と、撮像面へ照射光を照射する光源部と、複数の光電変換素子で生成された電気信号の変化量が所定値を超えた場合に検出信号を検出する第１検出部と、を備える、撮像装置が提供される。

Description

撮像装置、撮像方法、及び撮像システム
　本開示は、撮像装置、撮像方法、及び撮像システムに関する。
　イベントドリブン方式の撮像装置の一つとして、ＤＶＳ（Ｄｙｎａｍｉｃ　Ｖｉｓｉｏｎ　Ｓｅｎｓｏｒ）と呼ばれる非同期型の撮像装置が提案されている（例えば、特許文献１参照）。非同期型の撮像装置では、シーンの中で何らかのイベント（例えば、動き）が発生したときだけ、当該イベントによって生じる輝度レベルの変化した部分のデータの取得が行われる。従って、非同期型の撮像装置は、固定フレームレートで不必要に画像の全てのデータを取得する一般的な同期型の撮像装置よりも高速に画像データを取得することができる。
特表２０１７－５３５９９９号公報
　しかしながら、イベントが発生しない場合に、画像情報が更新されず、その被写体が動いてないだけなのか、その被写体が画角内に居ないのか等の状況把握が困難となる恐れがある。
　そこで、本開示では、イベントの発生していない領域の輝度情報も画素値に変換可能な非同期型の撮像装置、撮像方法、及び撮像システムを提供するものである。
　上記の課題を解決するために、本開示によれば、２次元の撮像面の異なる位置に照射される光を、それぞれが光電変換して、電気信号を生成する複数の光電変換素子を有する光電変換部と、
　前記撮像面へ照射光を照射する光源部と、
　前記複数の光電変換素子で生成された前記電気信号の変化量が所定値を超えた場合に検出信号を検出する第１検出部と、
　を備える、撮像装置が提供される。
　前記撮像面に光を入射する撮像光学系を、
　更に備えてもよい。
　前記光源部は、前記撮像光学系を介して前記撮像面に光が入射している状態で、前記撮像面へ照射する照射光を単調増加、又は単調減少させてもよい。
　前記第１検出部で検出された検出信号の回数に関する値を２次元座標に配列した画像データとして生成する画像生成部を、
　更に備えてもよい。
　前記光源部を制御する光源駆動部を更に備えてもよい。
　前記光源駆動部は、前記撮像面へ照射する照射光を第１照射量から第２照射量に単調増加させてもよい。
　前記光源駆動部は、前記撮像面へ照射する照射光を第２照射量から第１照射量に単調減少させてもよい。
　前記第１検出部は、前記電気信号の変化量が所定の比率を超えた場合に前記検出信号を検出してもよい。
　前記画像生成部は、前記第１検出部で検出された前記検出信号の回数を、前記比率に基づく数値にべき乗した値に応じた画素値を、前記画像データとして生成してもよい。
　前記光源部は、複数の光源を有し、
　前記光源駆動部は、前記複数の光源を異なる時間範囲出で単調増加、又は単調減少させてもよい。
　前記光源部は、第１波長の第１光源と、前記第１波長と異なる第２波長の第２光源とを有し、
　前記光源駆動部は、前記第１光源の照射光を用いて前記撮像面へ照射する照射光を第１照射量から第２照射量に単調増加させ、
　前記画像生成部は、前記画像データを第１画像データとして生成してもよい。
　前記第１画像データを生成した後に、
　前記光源駆動部は、前記第２光源の照射光を用いて前記撮像面へ照射する照射光を第１照射量から第２照射量に単調増加させ、
　前記画像生成部は、前記画像データを第２画像データとして生成してもよい。
　前記光源部は、前記第１波長、及び前記第２波長と異なる第３波長の第３光源を更に有し、
　前記第２画像データを生成した後に、
　前記光源駆動部は、前記第３光源の照射光を用いて前記撮像面へ照射する照射光を第１照射量から第２照射量に単調増加させ、
　前記画像生成部は、前記画像データを第３画像データとして生成してもよい。
　前記画像生成部は、前記第１画像データと、前記第２画像データと、前記第３画像データと、に基づくカラー画像データを生成してもよい。
　前記第１乃至第３光源は、赤色ＬＥＤ、青色ＬＥＤ、及び緑色ＬＥＤのいずれかであってもよい。
　前記第１検出部は、前記電気信号の信号レベルが増大する方向の変化量の絶対値が第１閾値を超えたときに前記検出信号を検出するとともに、前記電気信号の信号レベルが減少する方向の変化量の絶対値が第２閾値を超えたときに前記検出信号を検出してもよい。
　前記光源部の光源を消灯、或いは、光量を定量に維持し、前記検出信号に基づく画像を生成する第１モードと、
　前記光源部の光源を点灯し、前記撮像光学系を介して前記撮像面に光が入射している状態で、前記撮像面へ照射する照射光を単調増加、又は単調減少させ、前記検出信号の回数に基づく画像を生成する第２モードと、
　を切り替える制御部を更に備えてもよい。
　前記第２モードで、前記検出信号に基づく画像を生成しない第３モードを、更に有してもよい。
　上記の課題を解決するために、本開示によれば、撮像光学系を介して撮像面に光が入射している状態で、前記撮像面へ照射する照射光を単調増加、又は単調減少させ、
　複数の光電変換素子で前記照射光を光電変換して電気信号を生成し、
　前記電気信号の変化量の絶対値が、所定の閾値を超えた場合の検出信号の回数を検出する、撮像方法が提供される。
　上記の課題を解決するために、本開示によれば、撮像装置と、
　前記撮像装置で生成された画像を表示する表示部と、を備え、
　前記撮像装置は、
　２次元の撮像面の異なる位置に照射される光を、それぞれが光電変換して、電気信号を生成する複数の光電変換素子を有する光電変換部と、
　前記撮像面へ照射光を照射する光源部と、
　前記複数の光電変換素子で生成された前記電気信号の変化量が所定値を超えた場合に検出信号を検出する第１検出部と、
　を有する、
　撮像システムが提供される。
本開示に係る技術が適用される撮像システムのシステム構成の一例を示すブロック図。 撮像装置の構成例を示す模式図。 撮像部の撮像面と光源部との配置例を示す平面図。 撮像部の構成の一例を示すブロック図。 画素アレイ部２１の構成の一例を示すブロック図。 画素の回路構成の一例を示す回路図。 制御部の構成例を示すブロック図。 アドレスイベント検出部のアドレスイベントの検出信号の生成例を示す図。 画素毎の検出信号の発生回数を模式的に示す図。 画像生成部の階調処理例を説明する図。 撮像光学系を介して撮像面に結像される画像例を示す図。 所定のタイミングでのイベント画像例を示す図。 検出回数の数を逆数にした例を示す図。 画像生成部で生成した階調画像例を示す図。 階調処理例の特徴を模式的に示す図。 複数の光源部の構成例を示す平面図。 撮像装置の階調画像の生成例を示すフロチャート。 第２実施形態に係る光源部の構成例を示すブロック図。 第２実施形態に係るアドレスイベントの検出信号の生成例を示す図。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。 撮像部の設置位置の例を示す図。
　以下、図面を参照して、撮像装置、撮像方法、及び撮像システムの実施形態について説明する。以下では、撮像装置、撮像方法、及び撮像システムの主要な構成部分を中心に説明するが、撮像装置、撮像方法、及び撮像システムには、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
　（第１実施形態）
　図１は、本開示に係る技術が適用される撮像システム１のシステム構成の一例を示すブロック図である。
　図１に示すように、本開示に係る技術が適用される撮像システム１は、撮像装置２と、操作部１５と、表示部１６とを備える。本実施形態に係る撮像システム１は、例えば監視システムの例である。本実施形態に係る撮像装置２は、例えばＤＶＳ（Ｄｙｎａｍｉｃ　Ｖｉｓｉｏｎ　Ｓｅｎｓｏｒ）と呼ばれる非同期型の撮像装置であり、例えば監視領域におけるイベント画像と、静止画画像の生成が可能である。この撮像装置２は、本開示の電子機器の一例であり、当該電子機器としては、監視システム、産業用ロボットに搭載されるカメラシステム、車載カメラシステムなどに用いることが可能である。
　この撮像装置２は、撮像光学系１１、複数の光源部１２、記録部１３、制御部１４及び、撮像部２０、を備える構成となっている。
　操作部１５は、例えばネットワークｎｗを介して、撮像装置２を操作する。例えば、操作部１５は、撮像モードの切り替え信号を入力する。表示部１６は、例えばモニタであり、ネットワークｎｗを介して、イベント画像と、静止画画像と、の表示が可能である。つまり、監視者は、ネットワークｎｗを介して、監視領域の監視が可能である。
　図２は、撮像装置２の構成例を示す模式図である。図３は、撮像部２０の撮像面２１ａと光源部１２との配置例を示す平面図である。なお、実施形態においては、Ｘ方向と、Ｘ方向に対して垂直に交差するＹ方向と、Ｘ方向及びＹ方向に垂直に交差するＺ方向を定義する。図２に示すように、撮像装置２において、撮像光学系１１は、例えば単数、又は複数のレンズであり、被写体からの入射光を取り込んで撮像部２０の撮像面２１ａ上に結像する。
　図２、及び図３に示すように、４つの光源部１２は、４方向から撮像面２１ａへ照射光を照射する。光源部１２は、ＬＥＤ光源１２０ｗと、光源駆動部１２５とを有する。ＬＥＤ光源１２０ｗは、例えば白色ＬＥＤである。光源駆動部１２５は、制御部１４の制御に従い、ＬＥＤ光源１２０ｗの消灯、点灯を含め、照射量を変更する。また、光源駆動部１２５は、４つの光源部１２の照射光量を独立に制御可能である。
　４つの光源部１２は、撮像光学系１１を介して撮像面２１ａに光が入射している状態で、撮像面２１ａへ照射する照射光を単調増加、又は単調減少させる。すなわち、光源駆動部１２５は、撮像面２１ａへ照射する照射光を第１照射量から第２照射量に単調増加させる。或いは、光源駆動部１２５は、撮像面２１ａへ照射する照射光を第２照射量から第１照射量に単調減少させる。
　撮像部２０は、撮像した画像データに対して、画像認識処理等の所定の信号処理を実行し、その処理結果と、後述するアドレスイベントの検出信号（以下、単に「検出信号」と記述する場合がある）とを示すデータを記録部１３に出力する。アドレスイベントの検出信号の生成方法については後述する。記録部１３は、信号線を介して撮像部２０から供給されるデータを記憶する。制御部１４は、例えば、マイクロコンピュータによって構成され、撮像部２０における撮像動作の制御、画像生成の制御を実行する。なお、制御部１４の詳細は、後述する。
［撮像部（アービタ方式）］
　図４は、本開示に係る技術が適用される撮像システム１における撮像部２０の構成の一例を示すブロック図である。
　図４に示すように、本開示の撮像部２０は、ＤＶＳと呼ばれる非同期型の撮像部であり、画素アレイ部２１、駆動部２２、アービタ部（調停部）２３、カラム処理部２４、及び信号処理部２５を備える構成となっている。上述の撮像面２１ａは、画素アレイ部２１の撮像面である。また、本実施形態に係る画素アレイ部２１が、光電変換部に対応する。
　上記の構成の撮像部２０において、画素アレイ部２１には、複数の画素３０が行列状（アレイ状）に２次元配列されている。この行列状の画素配列に対して、画素列毎に、垂直信号線ＶＳＬ（図５参照）が配線される。
　複数の画素３０のそれぞれは、光電流に応じた電圧のアナログ信号を電気信号として生成する。また、複数の画素３０のそれぞれは、電気信号の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。そして、アドレスイベントが生じた際に画素３０は、リクエストをアービタ部２３に出力する。
　駆動部２２は、撮像面２１ａに配置される複数の画素３０のそれぞれを駆動して、各画素３０で生成された電気信号をカラム処理部２４に出力させる。
　アービタ部２３は、複数の画素３０のそれぞれからのリクエストを調停し、調停結果に基づく応答を画素３０に送信する。アービタ部２３からの応答を受け取った画素３０は、検出結果を示す検出信号（アドレスイベントの検出信号）を駆動部２２及び信号処理部２５に供給する。画素３０からの検出信号の読出しについては、複数行読出しとすることも可能である。
　カラム処理部２４は、例えば、アナログ－デジタル変換器から成り、画素アレイ部２１の画素列毎に、その列の画素３０から出力されるアナログの電気信号をデジタル信号に変換する処理を行う。そして、カラム処理部２４は、アナログ－デジタル変換後のデジタル信号を信号処理部２５に供給する。
　信号処理部２５は、カラム処理部２４から供給されるデジタル信号に対して、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）処理や画像認識処理などの所定の信号処理を実行する。そして、信号処理部２５は、処理結果を示すデータと、アービタ部２３から供給される検出信号とを信号線を介して記録部１３（図１参照）に供給する。
［画素アレイ部の構成例］
　図５は、画素アレイ部２１の構成の一例を示すブロック図である。
　複数の画素３０が行列状に２次元配列されて成る画素アレイ部２１において、複数の画素３０のそれぞれは、受光部３１、電気信号生成部３２、及び、アドレスイベント検出部３３を有する構成となっている。
　上記の構成の画素３０において、受光領域の受光部３１は、入射光を光電変換して光電流を生成する。そして、受光部３１は、駆動部２２（図２参照）の制御に従って、電気信号生成部３２及びアドレスイベント検出部３３のいずれかに、光電変換して生成した光電流を供給する。
　電気信号生成部３２は、受光領域の受光部３１から供給される光電流に応じた電圧の信号を電気信号ＳＩＧとして生成し、この生成した電気信号ＳＩＧを垂直信号線ＶＳＬを介してカラム処理部２４（図２参照）に供給する。
　アドレスイベント検出部３３は、受光領域の受光部３１のそれぞれからの光電流を電気信号として、電気信号の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。光電流は、撮像面２１ａにおける光の照射量に比例する。
　アドレスイベントは、例えば、電気信号の変化量が上限の第１閾値を超えた旨を示すオンイベント、及び、その変化量が下限の第２閾値を下回った旨を示すオフイベントから成る。また、アドレスイベントの検出信号は、例えば、オンイベントの検出結果を示す１ビット、及び、オフイベントの検出結果を示す１ビットから成る。なお、アドレスイベント検出部３３については、オンイベントのみ、或いはオフイベントのみを検出する構成とすることもできる。例えば、オフイベントのみを検出は、現在の電気信号の変化量が１．２５になった場合に、オンイベントを示す検出信号を生成する。すなわち、撮像面２１ａにおける光の照射量が、２５パーセント増加すると、オンイベントを示す検出信号を生成する。なお、本実施形態に係るアドレスイベント検出部３３が、第１検出部に対応する。
　アドレスイベントが発生した際に、受光領域のアドレスイベント検出部３３は、アドレスイベントの検出信号の送信を要求するリクエストをアービタ部２３（図２参照）に供給する。そして、アドレスイベント検出部３３は、リクエストに対する応答をアービタ部２３から受け取ると、アドレスイベントの検出信号を駆動部２２及び信号処理部２５に供給する。
［画素の回路構成例］
　図６は、画素３０の回路構成の一例を示す回路図である。上述したように、複数の画素３０のそれぞれは、受光部３１、電気信号生成部３２、及び、アドレスイベント検出部３３を有する構成となっている。
　上記の構成の画素３０において、受光部３１は、受光素子（光電変換素子）３１１、転送トランジスタ３１２、及び、ＯＦＧ（Ｏｖｅｒ　Ｆｌｏｗ　Ｇａｔｅ）トランジスタ３１３を有する構成となっている。転送トランジスタ３１２及びＯＦＧトランジスタ３１３としては、例えば、Ｎ型のＭＯＳ（Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタが用いられる。転送トランジスタ３１２及びＯＦＧトランジスタ３１３は、互いに直列に接続されている。
　受光領域の受光素子３１１は、転送トランジスタ３１２とＯＦＧトランジスタ３１３との共通接続ノードＮ１とグランドとの間に接続されており、入射光を光電変換して入射光の光量に応じた電荷量の電荷を生成する。
　受光領域の転送トランジスタ３１２のゲート電極には、図４に示す駆動部２２から転送信号ＴＲＧが供給される。転送トランジスタ３１２は、転送信号ＴＲＧに応答して、受光素子３１１で光電変換された電荷を電気信号生成部３２に供給する。
　ＯＦＧトランジスタ３１３のゲート電極には、駆動部２２から制御信号ＯＦＧが供給される。ＯＦＧトランジスタ３１３は、制御信号ＯＦＧに応答して、受光素子３１１で生成された電気信号をアドレスイベント検出部３３に供給する。アドレスイベント検出部３３に供給される電気信号は、電荷からなる光電流である。
　電気信号生成部３２は、リセットトランジスタ３２１、増幅トランジスタ３２２、選択トランジスタ３２３、及び、浮遊拡散層３２４を有する構成となっている。リセットトランジスタ３２１、増幅トランジスタ３２２、及び、選択トランジスタ３２３としては、例えば、Ｎ型のＭＯＳトランジスタが用いられる。
　電気信号生成部３２には、受光部３１から転送トランジスタ３１２によって、受光素子３１１で光電変換された電荷が供給される。受光部３１から供給される電荷は、浮遊拡散層３２４に蓄積される。浮遊拡散層３２４は、蓄積した電荷の量に応じた電圧値の電圧信号を生成する。すなわち、浮遊拡散層３２４は、電荷を電圧に変換する。
　リセットトランジスタ３２１は、電源電圧ＶＤＤの電源ラインと浮遊拡散層３２４との間に接続されている。リセットトランジスタ３２１のゲート電極には、駆動部２２からリセット信号ＲＳＴが供給される。リセットトランジスタ３２１は、リセット信号ＲＳＴに応答して、浮遊拡散層３２４の電荷量を初期化（リセット）する。
　増幅トランジスタ３２２は、電源電圧ＶＤＤの電源ラインと垂直信号線ＶＳＬとの間に、選択トランジスタ３２３と直列に接続されている。増幅トランジスタ３２２は、浮遊拡散層３２４で電荷電圧変換された電圧信号を増幅する。
　選択トランジスタ３２３のゲート電極には、駆動部２２から選択信号ＳＥＬが供給される。選択トランジスタ３２３は、選択信号ＳＥＬに応答して、増幅トランジスタ３２２によって増幅された電圧信号を電気信号ＳＩＧとして垂直信号線ＶＳＬを介してカラム処理部２４（図４参照）へ出力する。
　［制御部の構成］
　図７は、制御部１４の構成例を示すブロック図である。図７に示すように、制御部１４は、モード制御部１３０と、光源制御部１３１と、画像生成部１３２と、入出力部１３３とを有する。
　モード制御部１３０は、撮像装置２における複数の撮像モードを変更する。第１モードは、複数の光源部１２（図２参照）を消灯、或いは、光量を定量に維持し、アドレスイベント検出部３３（図６参照）のアドレスイベントの検出信号に基づくイベント画像を生成するモードである。
　第２モードは、撮像光学系１１（図２参照）を介して撮像面２１ａに光が入射している状態で、撮像面２１ａへ照射する照射光を単調増加、又は単調減少させ、アドレスイベント検出部３３（図６参照）のアドレスイベントの検出信号の発生回数に基づく階調画像も生成するモードである。第３モードは、第２モードの状態で、イベント画像を生成しないモードである。これにより、第１モードでは、イベント画像が生成され、第２モードでは、イベント画像と、階調画像とが生成され、第３モードでは、階調画像が生成される。例えば、モード１からモード２、又はモード３への切り替えは、操作部１５（図１参照）からの切り替え信号により、切り替えることが可能である。或いは、制御部４は、通常はモード１での監視を継続し、インベントの検出数が所定数を超えた場合に、モード２、又はモード３への切り替えを所定の確認時間において継続実行してもよい。これにより、イベントの発生状況を継続監視可能となる。
　光源制御部１３１は、モード制御部１３０の制御にしたがい、複数の光源部１２の光量を制御する。すなわち、光源制御部１３１は、第１モードでは、複数の光源部１２の光量を定量に維持する。好ましくは、複数の光源部１２を消灯する。光源制御部１３１は、第２モード、及び第３モードでは、撮像光学系１１（図２参照）を介して撮像面２１ａに光が入射している状態で、撮像面２１ａへ照射する照射光を単調増加、又は単調減少させる。
　画像生成部１３２は、第２モード、及び第３モードにおいて、アドレスイベントの検出信号の発生回数に基づく階調画像を生成する。画像生成部１３２の詳細は後述する。入出力部１３３は、インターフェースであり、ネットワークを介して、画像信号、操作信号を入出力する。
　［第１モード］
　図６を参照し、モード制御部１３０は、第１モードでは、受光部３１のＯＦＧトランジスタ３１３に制御信号ＯＦＧを供給することによって当該ＯＦＧトランジスタ３１３を駆動してアドレスイベント検出部３３に光電流を供給させる。
　そして、受光領域の画素３０においてアドレスイベントが検出されると、駆動部２２は、その画素３０のＯＦＧトランジスタ３１３をオフ状態にしてアドレスイベント検出部３３への光電流の供給を停止させる。次いで、駆動部２２は、転送トランジスタ３１２に転送信号ＴＲＧを供給することによって当該転送トランジスタ３１２を駆動して、受光素子３１１で光電変換された電荷を浮遊拡散層３２４に転送させる。
　このようにして、上記の構成の画素３０が２次元配置されて成る画素アレイ部２１を有する撮像部２０は、アドレスイベントが検出された受光領域の画素３０の電気信号のみをカラム処理部２４に出力し、イベント画像が生成される。
　［第２モード］
　図６を参照しつつ、図８を用いて第２モードを説明する。図８は、画素３０のアドレスイベント検出部３３（図６参照）のアドレスイベントの検出信号の生成例を示す図である。横軸は時間を示し、縦軸は撮像面２１ａへの照射量を示す。検出信号ａｓは、撮像光学系１１（図２参照）を介して撮像面２１ａに光が入射している照射量が高い画素３０ａでの、検出信号の発生タイミングを示す。検出信号ｂｓは、撮像光学系１１（図２参照）を介して撮像面２１ａに光が入射している照射量が低い画素３０ｂでの、検出信号の発生タイミングを示す。
　モード制御部１３０は、第２モードでは、まず、受光部３１のＯＦＧトランジスタ３１３に制御信号ＯＦＧを供給することによって当該ＯＦＧトランジスタ３１３を駆動してアドレスイベント検出部３３に光電流を供給させる。このとき、図８に示すように、モード制御部１３０は、撮像光学系１１を介した入射光を撮像面２１ａへ結像させつつ、光源制御部１３１に、第１照射量Ｌ１から第２照射量Ｌ２まで単調増加するように、複数の光源部１２の光量を制御する。
　アドレスイベント検出部３３は、例えば、光電流に比例する電気信号が２５パーセント増加すると、検出信号を出力する。アドレスイベント検出部３３の、比率は２５パーセントに限定されず、目的に応じて、任意の比率に設定可能である。例えば、モード制御部１３０は、操作部１５からの操作信号に応じて、比率を設定可能である。
　撮像面２１ａへの入射光量が低い画素３０ｂでは、複数の光源部１２の光量が、光量Ｌｂに達すると、アドレスイベント検出部３３は、光電流に比例する電気信号が２５パーセント増加する度に検出信号ｂｓを時系列に生成する。検出信号ｂｓは、記録部１３（図１参照）に記録される。
　一方で、入射光量が高い画素３０ａでは、複数の光源部１２の光量が、光量Ｌａに達すると、アドレスイベント検出部３３は、光電流に比例する電気信号が２５パーセント増加する度に検出信号ａｓを時系列に生成する。検出信号ａｓは、記録部１３に記録される。これらから分かるように、撮像光学系１１（図２参照）を介して撮像面２１ａに光が入射している照射量が低くなるにしたがい、検出信号の発生回数が多くなる。
　図９は、第２モードでの画素アレイ部２１の画素３０毎の検出信号の発生回数を模式的に示す図である。このように、撮像面２１ａへの入射光量が低い画素３０ほど、検出信号の発生回数が増加する。
　一方で、モード２では、モード１の駆動も維持される。つまり、受光領域の画素３０においてアドレスイベントが検出されると、駆動部２２は、その画素３０のＯＦＧトランジスタ３１３をオフ状態にしてアドレスイベント検出部３３への光電流の供給を停止させる。次いで、駆動部２２は、転送トランジスタ３１２に転送信号ＴＲＧを供給することによって転送トランジスタ３１２を駆動して、受光素子３１１で光電変換された電荷を浮遊拡散層３２４に転送させる。
　次に、駆動部２２は、転送トランジスタ３１２をオフ状態にして、受光部３１のＯＦＧトランジスタ３１３に制御信号ＯＦＧを供給することによって当該ＯＦＧトランジスタ３１３を駆動してアドレスイベント検出部３３に光電流を供給させる。このため、モード２では、検出信号ａｓ、ｂｓの検出信号の検出数が減少しないように、第１照射量Ｌ１から第２照射量Ｌ２まで単調増加する時間の短縮化に制限が生じてしまう。
　このようにして、上記の構成の画素３０が２次元配置されて成る画素アレイ部２１を有する撮像部２０は、アドレスイベントが検出された受光領域の画素３０の電気信号のみをカラム処理部２４に出力し、イベント画像が生成される。更に、第２モードでは、検出信号の発生回数に基づく階調画像を生成する。
　［第３モード］
　再び図６を参照し、モード制御部１３０は、第３モードでは、画素３０のＯＦＧトランジスタ３１３を常にオフ状態に維持する。また、モード制御部１３０は、受光部３１のＯＦＧトランジスタ３１３に制御信号ＯＦＧを常に供給する。これにより、第３モードでは、ＯＦＧトランジスタ３１３を駆動してアドレスイベント検出部３３に光電流を常に供給させる。
　また、モード制御部１３０は、第３モードでは、光源制御部１３１に、第１照射量Ｌ１から第１照射量Ｌ２まで単調増加するように、複数の光源部１２の光量を制御する。アドレスイベント検出部３３は、例えば、光電流に比例する電気信号が２５パーセント増加すると、検出信号を出力する。アドレスイベント検出部３３の、比率は２５パーセントに限定されず、目的に応じて、任意の比率に設定可能である。例えば、モード制御部１３０は、操作部１５からの操作信号に応じて、比率を設定可能である。
　照射量が低い画素３０ｂでは、複数の光源部１２の光量が、光量Ｌｂに達すると、アドレスイベント検出部３３は、光電流に比例する電気信号が２５パーセント増加する度に検出信号ｂｓを時系列に生成する。検出信号ｂｓは、記録部１３（図１参照）に記録される。
　第２モードでは、ＯＦＧトランジスタ３１３をオフ状態にしてアドレスイベント検出部３３への光電流の供給を停止させ期間が生じるため、検出信号ａｓ、ｂｓは、第１照射量Ｌ１から第２照射量Ｌ２まで単調増加する時間が短くなるにしたがい、発生回数が低下する傾向をしめすが、第３モードでは、画素３０のＯＦＧトランジスタ３１３をオフ状態に維持し、受光部３１のＯＦＧトランジスタ３１３に制御信号ＯＦＧを常に供給するため、第２モードよりも検出信号ａｓ、ｂｓの検出精度の低下を抑制できる。
　図１０は、画像生成部１３２の階調処理例を説明する図である。図８、及び図９で示す特性に基づき、画像生成部１３２は、アドレスイベントの検出信号の発生回数に基づく階調画像を生成する。
　第２照射量Ｌ２と、画素３０ａの照射量Ｌａとの差である照度差ＬＷ１は、検出信号ａｓの発生回数に対応する。同様に、第２照射量Ｌ２と、画素３０ｂの照射量Ｌｂとの差である照度差ＬＷ１は、検出信号ｂｓの発生回数に対応する。
　そこで、画像生成部１３２は、照度差ＬＷ１の演算として、１．２５に対して検出信号ａｓの発生回数をべき乗し、更に係数ｋ１を乗算してＤ１とする。同様に、照度差ＬＷ１の演算として、１．２５に対して検出信号ａｓの発生回数をべき乗し、更に係数ｋ１を乗算してＤ２とする。係数ｋ１は、照度差を画素値に変換するための正規化係数である。そして、画像生成部１３２は、第２照射量Ｌ２に対応する画素値ＤｍａｘからＤ１を減じて画素３０ａの画素値とし、画素値ＤｍａｘからＤ２を減じて画素３０ｂの画素値とする。なお、１．２５は、アドレスイベント検出部３３の検出閾値の設定値としての比率２５パーセンに基づく値である。また、図１０から分かるように、第２照射量Ｌ２から第１照射量Ｌ１に単調減少させる場合にも、アドレスイベント検出部３３での、オフイベントでの閾値の設定により、同数の検出信号を生成できる。このように、画像生成部１３２は、アドレスイベント検出部３３で検出された検出信号の回数を、比率（２５パーセント）に基づく数値１．２５にべき乗した値に応じた画素値を有する画像データを生成する。
　図１１乃至図１４は、モード２での画像生成例である。図１１は、撮像光学系１１（図２参照）を介して撮像面２１ａに結像される画像例を示す図である。図１２は、所定のタイミングでのイベント画像例を示す図である。図１３は、検出回数の数を逆数にした例を示す図である。白になるほど高い値を示す。図１４は、画像生成部１３２で生成した階調画像例を示す図である。図１２で示すイベント画像では、撮像光学系１１を介して入射される入射光においては、イベントの発生していない画像情報は、得ることはできないものである。このため、例えば侵入者などが、静止していたり、もの影に潜んでいたりしても判別が困難となる。また、図１１で示す画像例の細部の情報の把握は困難となる。
　これに対して、図１４で示す階調画像では、図１１で示す画像例と同等レベルの細部の情報も把握可能となる。例えば、雲の濃淡も再現されている。このため、イベントの発生していない画像情報も得ることができ、監視時に細部情報も得ることが可能となる。
　図１５は、階調処理例の特徴を模式的に示す図である。図１５（ａ）は、図８と同様の図である。横軸は時間を示し、縦軸は撮像面２１ａへの照射量を示す。検出信号ａｓは、撮像光学系１１（図２参照）を介して撮像面２１ａに光が入射している照射量が高い画素３０ａでの、検出信号の発生タイミングを示す。検出信号ｂｓは、撮像光学系１１（図２参照）を介して撮像面２１ａに光が入射している照射量が低い画素３０ｂでの、検出信号の発生タイミングを示す。
　図１５（ｂ）は、第１照射量Ｌ１から第２照射量Ｌ２まで単調増加する時間を図１５（ａ）よりも長くした場合である。図１５（ｃ）は、第１照射量Ｌ１から第２照射量Ｌ２まで単調増加する時間を図１５（ｂ）よりも長くした場合である。アドレスイベント検出部３３での検出閾値を現在の照射量に対する比率である２５パーセントとしている。このため、照射量が、１．２５倍になる度に検出信号ａｓ、ｂｓは、生成される。これらからわかるように、検出信号ａｓ、ｂｓは、第１照射量Ｌ１から第２照射量Ｌ２まで単調増加する場合には、第１照射量Ｌ１から第２照射量Ｌ２まで単調増加する時間がより長くなっても精度の低下は抑制される。また、第１照射量Ｌ１から第２照射量Ｌ２まで単調増加する時間がより長く維持できる場合には、照射量が非線形的に増加しても検出信号ａｓ、ｂｓは、精度の低下は抑制される。
　図１５は、階調処理例の特徴を模式的に示す図である。図１５（ａ）は、図８と同様の図である。横軸は時間を示し、縦軸は撮像面２１ａへの照射量を示す。検出信号ａｓは、撮像光学系１１（図２参照）を介して撮像面２１ａに光が入射している照射量が高い画素３０ａでの、検出信号の発生タイミングを示す。検出信号ｂｓは、撮像光学系１１（図２参照）を介して撮像面２１ａに光が入射している照射量が低い画素３０ｂでの、検出信号の発生タイミングを示す。
　図１５（ｂ）は、第１照射量Ｌ１から第２照射量Ｌ２まで単調増加する時間を図１５（ａ）よりも長くした場合である。図１５（ｃ）は、第１照射量Ｌ１から第２照射量Ｌ２まで単調増加する時間を図１５（ｂ）よりも長くした場合である。アドレスイベント検出部３３での検出閾値を現在の照射量に対する比率である２５パーセントとしている。このため、照射量が、１．２５倍になる度に検出信号ａｓ、ｂｓは、生成される。これらからわかるように、検出信号ａｓ、ｂｓは、第１照射量Ｌ１から第２照射量Ｌ２まで単調増加する場合には、第１照射量Ｌ１から第２照射量Ｌ２まで単調増加する時間がより長くなっても精度の低下は抑制される。また、第１照射量Ｌ１から第２照射量Ｌ２まで単調増加する時間がより長く維持できる場合には、照射量が非線形的に増加しても検出信号ａｓ、ｂｓは、精度の低下は抑制される。
　（調停時間の短縮駆動）
　アドレスイベント検出部３３の発生頻度が高くなるとアービタ部２３（図４参照）での、調停に時間が取られる恐れがある。このため、本実施形態に係る撮像装置２では、複数の光源部１２１～１２４の点灯を、順番に行う光源駆動モードを有する。
　図１６は、複数の光源部１２１～１２４の構成例を示す平面図である。撮像装置２は、複数の光源部１２１～１２４を有する。光源駆動モードでは、光源部１２１を点灯し、最大光量まで照射量を増加させる。次に、光源部１２２を点灯し、最大光量まで照射量を増加させる。次に、光源部１２３を点灯し、最大光量まで照射量を増加させる。次に、光源部１２４を点灯し、最大光量まで照射量を増加させる。これにより、撮像面２１ａの照射量は、画素３０毎の照射量の変化かを異ならせつつ、全体としては第１照射量Ｌ１から第２照射量Ｌ２まで単調増加する。
　このとき、アドレスイベント検出部３３の発生頻度は、まず、光源部１２１の照射範囲で増加し、次に、光源部１２２の照射範囲で増加し、次に、光源部１２３の照射範囲で増加し、次に、光源部１２４の照射範囲で増加する。これにより、１照射量Ｌ１から第２照射量Ｌ２まで単調増加する際の、アービタ部２３（図４参照）での調停発生領域が分散される。このため、アービタ部２３（図４参照）での、調停時間が短縮化され、第１照射量Ｌ１から第２照射量Ｌ２まで単調増加する時間をより短縮化しても、検出信号ａｓ、ｂｓの検出精度の低下が抑制される。
　図１７は、撮像装置２の階調画像の生成例を示すフロチャートである。図１６に示すように、制御部１４の光源制御部１３１は、撮像光学系１１を介して撮像面２１ａに光が入射している状態で、撮像面２１ａへ照射する複数の光源部１２の照射光を単調増加、又は単調減少させる（ステップＳ１００）。
　次に、制御部１４のモード制御部１３０は、各画素３０から出力される検出信号を記録部１３に記録させる（ステップＳ１０２）。そして、制御部１４の画像生成部１３２は、記録部１３に記録される各画素３０の検出信号の回数に基づき、階調画像を生成し（ステップＳ１０４）、階調生成処理を終了する。
　以上説明したように、本実施形態に係る撮像装置２は、撮像光学系１１を介して撮像面２１ａに光が入射している状態で、撮像面２１ａへ照射する複数の光源部１２からの照射光を単調増加、又は単調減少させ、画素３０の光電変換素子で照射光を光電変換して電気信号を生成し、電気信号の変化量の絶対値が、閾値を超えた場合の検出信号の回数に基づき、階調画像を生成することとした。これにより、検出信号の回数が、撮像光学系１１を介して撮像面２１ａに入射している照射量に応じて変化し、検出信号の回数に応じた輝度信号への変換が可能となる。
　（第２実施形態）
　第２実施形態に係る撮像装置２は、光源部が複数の波長の光を撮像面２１ａへ照射可能である点で、第１実施形態に係る撮像装置２と相違する。以下では、第１実施形態に係る撮像装置２と相違する点を説明する。
　図１８は、第２実施形態に係る光源部１２の構成例を示すブロック図である。光源部１２は、赤色ＬＥＤ光源１２０ｒと、緑色ＬＥＤ光源１２０ｇと、青色ＬＥＤ光源１２０ｂと、光源駆動部１２５とを有する。赤色ＬＥＤ光源１２０ｒは、第１波長である赤色光を撮像面２１ａへ照射する。緑色ＬＥＤ光源１２０ｇは、第２波長である緑色光を撮像面２１ａへ照射する。青色ＬＥＤ光源１２０ｂは、第３波長である青色光を撮像面２１ａへ照射する。光源駆動部１２５は、緑色ＬＥＤ光源１２０ｇと、青色ＬＥＤ光源１２０ｂと、光源駆動部１２５との照射量を独立に制御可能である。
　図１９は、画素３０のアドレスイベント検出部３３（図６参照）のアドレスイベントの検出信号の生成例を示す図である。横軸は時間を示し、縦軸は撮像面２１ａへの照射量を示す。図１９（ａ）は、検出信号ｒｓは、撮像光学系１１（図２参照）を介して撮像面１１ａに光が入射している状態で、赤色ＬＥＤ光源１２０ｒの照射量を単純増加した場合の検出信号の発生タイミングを示す。図１９（ｂ）は、検出信号ｇｓは、撮像光学系１１（図２参照）を介して撮像面１１ａに光が入射している状態で、緑色ＬＥＤ光源１２０ｇの照射量を単純増加した場合の検出信号の発生タイミングを示す。図１９（ｃ）は、検出信号ｂｓは、撮像光学系１１（図２参照）を介して撮像面１１ａに光が入射している状態で、青色ＬＥＤ光源１２０ｂの照射量を単純増加した場合の検出信号の発生タイミングを示す。
　図１９に示すように、画素３０への赤色光、緑色光、青色光の照射量は異なる。このため、図１９（ａ）～（ｃ）に示すように、撮像面２１ａへ照射光を赤色光、緑色光、青色光に変えることにより、検出信号ｒｓ、検出信号ｇｓ、検出信号ｂｓの検出数が異なる。これから分かるように、画像生成部１３２（図７参照）では、検出信号ｒｓ、検出信号ｇｓ、検出信号ｂｓの検出数に基づき、Ｒ、Ｇ、Ｂに対応する画像データの生成が可能となる。そして、表示部１６（図１参照）は、Ｒ、Ｇ、Ｂに対応する画像データを用いて、カラー画像の表示が可能となる。
　以上説明したように、本実施形態に係る撮像装置２は、撮像光学系１１（図２参照）を介して撮像面１１ａに光が入射している状態で、光源部１２の赤色ＬＥＤ光源１２０ｒ、緑色ＬＥＤ光源１２０ｇ、青色ＬＥＤ光源１２０ｂも照射量を順に単調増加、又は単調減少させ、画像生成部１３２は、それぞれの検出信号ｒｓ、検出信号ｇｓ、検出信号ｂｓの検出数に基づく画像データを生成することした。撮像面１１ａに照射される色成分の照射量に応じて、検出信号ｒｓ、検出信号ｇｓ、検出信号ｂｓの検出数が変わるため、撮像面１１ａに入射する赤色光、緑色光、青色光の照射量に応じた輝度値を得ることが可能となる。
＜本開示に係る技術の適用例＞
　本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
［移動体］
　図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２０では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）又はＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２１は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０、７９１２、７９１４、７９１６、７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２、７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　尚、図２１には、それぞれの撮像部７９１０、７９１２、７９１４、７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ、ｃは、それぞれサイドミラーに設けられた撮像部７９１２、７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０、７９１２、７９１４、７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２２、７９２４、７９２６、７９２８、７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２６、７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２０に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｏｆ　Ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＷｉＭＡＸ、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）若しくはＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Ｗｉｒｅｌｅｓｓ　Ａｃｃｅｓｓ　ｉｎ　Ｖｅｈｉｃｌｅ　Ｅｎｖｉｒｏｎｍｅｎｔ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ　Ｓｈｏｒｔ　Ｒａｎｇｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、車両と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信及び歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、又はＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。　
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　尚、図２０に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部７９１０、７９１２、７９１４、７９１６、７９１８や、車外情報検出部７９２０、７９２２、７９２４、７９２６、７９２８、７９３０や、運転者状態検出部７５１０等に適用され得る。具体的には、これらの撮像部や検出部に対して、本開示の撮像装置を有する図１の撮像システム１を適用することができる。そして、本開示に係る技術を適用することにより、センサノイズ等のノイズイベントの影響を緩和し、真イベントの発生を確実に、かつ、迅速に感知することができるため、安全な車両走行を実現することが可能となる。
　なお、本技術は以下のような構成を取ることができる。
（１）
　２次元の撮像面の異なる位置に照射される光を、それぞれが光電変換して、電気信号を生成する複数の光電変換素子を有する光電変換部と、
　前記撮像面へ照射光を照射する光源部と、
　前記複数の光電変換素子で生成された前記電気信号の変化量が所定値を超えた場合に検出信号を検出する第１検出部と、
　を備える、撮像装置。
（２）
　前記撮像面に光を入射する撮像光学系を、
　更に備える、（１）に記載の撮像装置。
（３）
　前記光源部は、前記撮像光学系を介して前記撮像面に光が入射している状態で、前記撮像面へ照射する照射光を単調増加、又は単調減少させる、（２）に記載の撮像装置。
（４）
　前記第１検出部で検出された検出信号の回数に関する値を２次元座標に配列した画像データとして生成する画像生成部を、
　更に備える、（２）又は（３）に記載の撮像装置。
（５）
　前記光源部を制御する光源駆動部を更に備える、（４）に記載の撮像装置。
（６）
　前記光源駆動部は、前記撮像面へ照射する照射光を第１照射量から第２照射量に単調増加させる、（５）に記載の撮像装置。
（７）
　前記光源駆動部は、前記撮像面へ照射する照射光を第２照射量から第１照射量に単調減少させる、（６）に記載の撮像装置。
（８）
　前記第１検出部は、前記電気信号の変化量が所定の比率を超えた場合に前記検出信号を検出する、（７）に記載の撮像装置。
（９）
　前記画像生成部は、前記第１検出部で検出された前記検出信号の回数を、前記比率に基づく数値にべき乗した値に応じた画素値を、前記画像データとして生成する、（８）に記載の撮像装置。
（１０）
　前記光源部は、複数の光源を有し、
　前記光源駆動部は、前記複数の光源を異なる時間範囲出で単調増加、又は単調減少させる、（１）乃至（９）のいずれか一項に記載の撮像装置。
（１１）
　前記光源部は、第１波長の第１光源と、前記第１波長と異なる第２波長の第２光源とを有し、
　前記光源駆動部は、前記第１光源の照射光を用いて前記撮像面へ照射する照射光を第１照射量から第２照射量に単調増加させ、
　前記画像生成部は、前記画像データを第１画像データとして生成する（１０）に記載の撮像装置。
（１２）
　前記第１画像データを生成した後に、
　前記光源駆動部は、前記第２光源の照射光を用いて前記撮像面へ照射する照射光を第１照射量から第２照射量に単調増加させ、
　前記画像生成部は、前記画像データを第２画像データとして生成する、（１１）に記載の撮像装置。
（１３）
　前記光源部は、前記第１波長、及び前記第２波長と異なる第３波長の第３光源を更に有し、
　前記第２画像データを生成した後に、
　前記光源駆動部は、前記第３光源の照射光を用いて前記撮像面へ照射する照射光を第１照射量から第２照射量に単調増加させ、
　前記画像生成部は、前記画像データを第３画像データとして生成する、（１２）に記載の撮像装置。
（１４）
　前記画像生成部は、前記第１画像データと、前記第２画像データと、前記第３画像データと、に基づくカラー画像データを生成する、（１３）に記載の撮像装置。
（１５）
　前記第１乃至第３光源は、赤色ＬＥＤ、青色ＬＥＤ、及び緑色ＬＥＤのいずれかである、（１４）に記載の撮像装置。
（１６）
　前記第１検出部は、前記電気信号の信号レベルが増大する方向の変化量の絶対値が第１閾値を超えたときに前記検出信号を検出するとともに、前記電気信号の信号レベルが減少する方向の変化量の絶対値が第２閾値を超えたときに前記検出信号を検出する、（１）乃至（１５）のいずれか一項に記載の撮像装置。
（１７）
　前記光源部の光源を消灯、或いは、光量を定量に維持し、前記検出信号に基づく画像を生成する第１モードと、
　前記光源部の光源を点灯し、前記撮像光学系を介して前記撮像面に光が入射している状態で、前記撮像面へ照射する照射光を単調増加、又は単調減少させ、前記検出信号の回数に基づく画像を生成する第２モードと、
　を切り替える制御部を更に備える、
　（２）乃至（１５）のいずれか一項に記載の撮像装置。
（１８）
　前記第２モードで、前記検出信号に基づく画像を生成しない第３モードを、更に有する、（１７）に記載の撮像装置。
（１９）
　撮像光学系を介して撮像面に光が入射している状態で、前記撮像面へ照射する照射光を単調増加、又は単調減少させ、
　複数の光電変換素子で前記照射光を光電変換して電気信号を生成し、
　前記電気信号の変化量の絶対値が、所定の閾値を超えた場合の検出信号の回数を検出する、撮像方法。　
（２０）
　撮像装置と、
　前記撮像装置で生成された画像を表示する表示部と、を備え、
　前記撮像装置は、
　２次元の撮像面の異なる位置に照射される光を、それぞれが光電変換して、電気信号を生成する複数の光電変換素子を有する光電変換部と、
　前記撮像面へ照射光を照射する光源部と、
　前記複数の光電変換素子で生成された前記電気信号の変化量が所定値を超えた場合に検出信号を検出する第１検出部と、
　を有する、
　撮像システム。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　１：撮像システム、２：撮像装置、１０：第２光源部、１１：撮像光学系、１２光源部部、１４：制御部、１５：操作部、１６：表示部、２０：撮像部、２１ａ：撮像面、３３：アドレスイベント検出部（第１検出部）、４０　制御部、１００：第２光源駆動部、１２０ｂ：青色ＬＥＤ光源、１２０ｇ：緑色ＬＥＤ光源、１２０ｒ：赤色ＬＥＤ光源、１２０ｗ：ＬＥＤ光源、１２５：光源駆動部、１３０：モード制御部、１３１：光源制御部、１３２：画像生成部、３１１：光電変換素子。

Claims (20)

  1. 　２次元の撮像面の異なる位置に照射される光を、それぞれが光電変換して、電気信号を生成する複数の光電変換素子を有する光電変換部と、
    　前記撮像面へ照射光を照射する光源部と、
    　前記複数の光電変換素子で生成された前記電気信号の変化量が所定値を超えた場合に検出信号を検出する第１検出部と、
    　を備える、撮像装置。
  2. 　前記撮像面に光を入射する撮像光学系を、
    　更に備える、請求項１に記載の撮像装置。
  3. 　前記光源部は、前記撮像光学系を介して前記撮像面に光が入射している状態で、前記撮像面へ照射する照射光を単調増加、又は単調減少させる、請求項２に記載の撮像装置。
  4. 　前記第１検出部で検出された検出信号の回数に関する値を２次元座標に配列した画像データとして生成する画像生成部を、
    　更に備える、請求項２に記載の撮像装置。
  5. 　前記光源部を制御する光源駆動部を更に備える、請求項４に記載の撮像装置。
  6. 　前記光源駆動部は、前記撮像面へ照射する照射光を第１照射量から第２照射量に単調増加させる、請求項５に記載の撮像装置。
  7. 　前記光源駆動部は、前記撮像面へ照射する照射光を第２照射量から第１照射量に単調減少させる、請求項６に記載の撮像装置。
  8. 　前記第１検出部は、前記電気信号の変化量が所定の比率を超えた場合に前記検出信号を検出する、請求項７に記載の撮像装置。
  9. 　前記画像生成部は、前記第１検出部で検出された前記検出信号の回数を、前記比率に基づく数値にべき乗した値に応じた画素値を、前記画像データとして生成する、請求項８に記載の撮像装置。
  10. 　前記光源部は、複数の光源を有し、
    　前記光源駆動部は、前記複数の光源を異なる時間範囲出で単調増加、又は単調減少させる、請求項９に記載の撮像装置。
  11. 　前記光源部は、第１波長の第１光源と、前記第１波長と異なる第２波長の第２光源とを有し、
    　前記光源駆動部は、前記第１光源の照射光を用いて前記撮像面へ照射する照射光を第１照射量から第２照射量に単調増加させ、
    　前記画像生成部は、前記画像データを第１画像データとして生成する、請求項１０に記載の撮像装置。
  12. 　前記第１画像データを生成した後に、
    　前記光源駆動部は、前記第２光源の照射光を用いて前記撮像面へ照射する照射光を第１照射量から第２照射量に単調増加させ、
    　前記画像生成部は、前記画像データを第２画像データとして生成する、請求項１１に記載の撮像装置。
  13. 　前記光源部は、前記第１波長、及び前記第２波長と異なる第３波長の第３光源を更に有し、
    　前記第２画像データを生成した後に、
    　前記光源駆動部は、前記第３光源の照射光を用いて前記撮像面へ照射する照射光を第１照射量から第２照射量に単調増加させ、
    　前記画像生成部は、前記画像データを第３画像データとして生成する、請求項１２に記載の撮像装置。
  14. 　前記画像生成部は、前記第１画像データと、前記第２画像データと、前記第３画像データと、に基づくカラー画像データを生成する、請求項１３に記載の撮像装置。
  15. 　前記第１乃至第３光源は、赤色ＬＥＤ，青色ＬＥＤ，及び緑色ＬＥＤのいずれかである、請求項１４に記載の撮像装置。
  16. 　前記第１検出部は、前記電気信号の信号レベルが増大する方向の変化量の絶対値が第１閾値を超えたときに前記検出信号を検出するとともに、前記電気信号の信号レベルが減少する方向の変化量の絶対値が第２閾値を超えたときに前記検出信号を検出する、請求項１に記載の撮像装置。
  17. 　前記光源部の光源を消灯、或いは、光量を定量に維持し、前記検出信号に基づく画像を生成する第１モードと、
    　前記光源部の光源を点灯し、前記撮像光学系を介して前記撮像面に光が入射している状態で、前記撮像面へ照射する照射光を単調増加、又は単調減少させ、前記検出信号の回数に基づく画像を生成する第２モードと、
    　を切り替える制御部を更に備える、
    　請求項２に記載の撮像装置。
  18. 　前記第２モードで、前記検出信号に基づく画像を生成しない第３モードを、更に有する、請求項１７に記載の撮像装置。
  19. 　撮像光学系を介して撮像面に光が入射している状態で、前記撮像面へ照射する照射光を単調増加、又は単調減少させ、
    　複数の光電変換素子で前記照射光を光電変換して電気信号を生成し、
    　前記電気信号の変化量の絶対値が、所定の閾値を超えた場合の検出信号の回数を検出する、撮像方法。
  20. 　撮像装置と、
    　前記撮像装置で生成された画像を表示する表示部と、を備え、
    　前記撮像装置は、
    　２次元の撮像面の異なる位置に照射される光を、それぞれが光電変換して、電気信号を生成する複数の光電変換素子を有する光電変換部と、
    　前記撮像面へ照射光を照射する光源部と、
    　前記複数の光電変換素子で生成された前記電気信号の変化量が所定値を超えた場合に検出信号を検出する第１検出部と、
    　を有する、
    　撮像システム。
PCT/JP2024/029011 2023-10-04 2024-08-14 撮像装置、撮像方法、及び撮像システム Pending WO2025074741A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023173133 2023-10-04
JP2023-173133 2023-10-04

Publications (1)

Publication Number Publication Date
WO2025074741A1 true WO2025074741A1 (ja) 2025-04-10

Family

ID=95282997

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/029011 Pending WO2025074741A1 (ja) 2023-10-04 2024-08-14 撮像装置、撮像方法、及び撮像システム

Country Status (1)

Country Link
WO (1) WO2025074741A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020057988A (ja) * 2018-10-04 2020-04-09 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法およびプログラム
WO2021038750A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
JP2021197710A (ja) * 2020-06-18 2021-12-27 ソニーセミコンダクタソリューションズ株式会社 センサ装置、制御方法、プログラム
WO2023026880A1 (ja) * 2021-08-26 2023-03-02 ソニーグループ株式会社 測定装置、測定方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020057988A (ja) * 2018-10-04 2020-04-09 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法およびプログラム
WO2021038750A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
JP2021197710A (ja) * 2020-06-18 2021-12-27 ソニーセミコンダクタソリューションズ株式会社 センサ装置、制御方法、プログラム
WO2023026880A1 (ja) * 2021-08-26 2023-03-02 ソニーグループ株式会社 測定装置、測定方法、プログラム

Similar Documents

Publication Publication Date Title
US11863911B2 (en) Imaging system, method of controlling imaging system, and object recognition system
US11895398B2 (en) Imaging device and imaging system
US11683606B2 (en) Imaging device and electronic equipment
US12184995B2 (en) Imaging device and imaging method for preventing an unnecessary event
JP7638985B2 (ja) 撮像装置及び撮像方法
US12136345B2 (en) Motion vector imaging alert system
JPWO2017217177A1 (ja) 画像処理装置、および撮像装置、ならびに画像処理システム
JP2025092599A (ja) 撮像装置、電子機器及び撮像方法
JP2023093778A (ja) 撮像装置及び撮像方法
WO2025047518A1 (ja) 光検出装置
WO2025074741A1 (ja) 撮像装置、撮像方法、及び撮像システム
WO2024106169A1 (ja) 光検出素子及び電子機器
WO2025013515A1 (ja) 光検出装置、撮像装置及び電子機器
JP2024073899A (ja) 撮像素子
WO2024057471A1 (ja) 光電変換素子、固体撮像素子、測距システム
WO2023032298A1 (ja) 固体撮像装置
WO2022065032A1 (ja) 撮像装置及び撮像方法
WO2025253973A1 (ja) 情報処理装置、撮像装置および情報処理方法
WO2025105333A1 (ja) 固体撮像装置
WO2024048292A1 (ja) 光検出素子、撮像装置、及び車両制御システム
WO2022181265A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
WO2021229983A1 (ja) 撮像装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24874355

Country of ref document: EP

Kind code of ref document: A1