[go: up one dir, main page]

WO2021010339A1 - イメージング装置およびその照明装置、車両、車両用灯具 - Google Patents

イメージング装置およびその照明装置、車両、車両用灯具 Download PDF

Info

Publication number
WO2021010339A1
WO2021010339A1 PCT/JP2020/027092 JP2020027092W WO2021010339A1 WO 2021010339 A1 WO2021010339 A1 WO 2021010339A1 JP 2020027092 W JP2020027092 W JP 2020027092W WO 2021010339 A1 WO2021010339 A1 WO 2021010339A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
imaging device
mode
image
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/027092
Other languages
English (en)
French (fr)
Inventor
輝明 鳥居
祐太 春瀬
真太郎 杉本
健人 新田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Priority to CN202080050563.5A priority Critical patent/CN114128245B/zh
Priority to EP20841270.0A priority patent/EP3998767B1/en
Priority to JP2021533048A priority patent/JP7472136B2/ja
Publication of WO2021010339A1 publication Critical patent/WO2021010339A1/ja
Priority to US17/570,501 priority patent/US12047667B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • the present invention relates to an imaging device.
  • An object identification system that senses the position and type of objects existing around the vehicle is used for automatic driving and automatic control of the light distribution of headlamps.
  • the object identification system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
  • the sensor is selected from cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc. in consideration of application, required accuracy, and cost.
  • one using the principle of ghost imaging (hereinafter referred to as quantum radar) is known.
  • ghost imaging an object is irradiated while randomly switching the intensity distribution (pattern) of the reference light, and the light detection intensity of the reflected light is measured for each pattern.
  • the photodetection intensity is an integral value of energy or intensity over a plane, not an intensity distribution. Then, the restored image of the object is reconstructed by correlating the corresponding pattern with the light detection intensity.
  • Quantum radar can take pictures of objects that cannot be taken with a normal two-dimensional image sensor (camera) in an environment with poor visibility such as in fog, but in order to restore one image, the reference light is emitted multiple times. , It is necessary to irradiate, and the frame rate is lower than that of a general camera. Therefore, in an environment with good visibility, a situation may occur in which a two-dimensional image sensor is preferable to a quantum radar.
  • a certain aspect of the present invention has been made in such a situation, and one of its exemplary purposes is to provide an imaging device and its lighting device that achieve both high image quality and a high frame rate.
  • one of the objects of an aspect of the present invention is to provide an imaging apparatus having the advantages of a quantum radar and a two-dimensional image sensor.
  • the imaging device includes a light source that generates a light beam having a uniform intensity distribution, a patterning device that modulates the intensity distribution of the light beam according to the first image data of two gradations, and light that measures the reflected light from an object. It is provided with a detector, a calculation processing device that performs correlation calculation between the detection intensity based on the output of the light detector and the second image data of m gradation (m ⁇ 2), and reconstructs the restored image of the object. ..
  • the number of pixels of the first image data is larger than the number of pixels of the second image data.
  • One pixel of the second image data is associated with a pixel group including a plurality of L pixels of the first image data.
  • the lighting device includes a light source that generates a light beam having a uniform intensity distribution and an array of pixels having a first pixel number, has a first pixel number, and has a light beam according to the first image data of two gradations.
  • a patterning device that modulates the intensity distribution of the above, a second image data having a second pixel number less than the first pixel number, and a random m gradation (m ⁇ 2) is generated and provided for correlation calculation.
  • a controller that converts the second image data into the first image data and supplies the second image data to the patterning device.
  • the imaging device is a lighting device that irradiates an object with infrared reference light whose intensity distribution can be controlled, a two-dimensional image sensor that has sensitivity in the infrared region, and an arithmetic processing device that processes images taken by the two-dimensional image sensor.
  • the illuminator changes the intensity distribution of the reference light based on a sequence of a plurality of M patterning data.
  • the two-dimensional image sensor captures a plurality of (M images) of images.
  • the arithmetic processing unit calculates the light detection intensity according to the integrated value of a plurality of pixels for each of the plurality of images.
  • the arithmetic processing unit performs correlation calculation between the plurality of light detection intensities corresponding to the plurality of images and the plurality of patterning data, and outputs the first output image.
  • the arithmetic processing unit outputs a second output image based on the image captured by the two-dimensional image sensor.
  • both high image quality and high frame rate can be achieved.
  • FIG. 2 (a) to 2 (c) are diagrams illustrating pixels of a DMD which is a patterning device. It is a figure explaining the relationship between the 2nd image data and the 1st image data. It is a figure which shows the specific example of the 1st image data and the 2nd image data.
  • 5 (a) and 5 (b) are diagrams showing an example of placement rules. It is a time chart which shows the sensing of one frame of the imaging apparatus which concerns on a comparative technique. It is a time chart which shows the sensing of 1 frame of the imaging apparatus of FIG. It is a figure which shows an example of the 2nd image data and 1st image data.
  • 10 (a) to 10 (c) are diagrams showing the second image data according to the modified example 1.1. It is a figure which shows the 1st image data and 2nd image data which concerns on modification 1.2. It is a figure which shows the imaging apparatus which concerns on Embodiment 2. It is a flowchart of the operation of the imaging apparatus of FIG. It is a figure which shows the state and processing of the lighting device, the two-dimensional image sensor, and the arithmetic processing unit in the 1st mode, the 2nd mode, and the 3rd mode.
  • 15 (a) to 15 (c) are diagrams for explaining the hybrid mode. It is a block diagram of an object identification system. It is a figure which shows the automobile equipped with the object identification system. It is a block diagram which shows the lighting equipment for a vehicle provided with an object detection system.
  • the imaging device includes a light source that generates a light beam having a uniform intensity distribution, a patterning device that modulates the intensity distribution of the light beam according to the first image data of two gradations, and light that measures the reflected light from an object. It is provided with a detector, a calculation processing device that performs correlation calculation between the detection intensity based on the output of the light detector and the second image data of m gradation (m ⁇ 2), and reconstructs the restored image of the object. ..
  • the number of pixels of the first image data is larger than the number of pixels of the second image data.
  • One pixel of the second image data is associated with a pixel group including a plurality of L pixels of the first image data.
  • a high frame rate can be realized by using a patterning device having a larger number of pixels than the second image data used for the correlation calculation and operating the patterning device by 1 bit. Since the intensity distribution of the reference light generated by the patterning device is expressed in multiple gradations when viewed in terms of the number of pixels (resolution) of the second image data, high image quality can be realized.
  • the imaging device may further include a controller that generates the second image data.
  • the controller may convert the second image data to generate the first image data.
  • the controller may assign a value of 1,0 to the pixel group according to a predetermined arrangement rule.
  • the placement rule may be set so that the value 1 is preferentially filled from the center pixel of the pixel group. In this case, it is possible to reduce the interference between adjacent pixel groups of the patterning device.
  • the placement rule may be set so that the value 1 is evenly placed in the pixel group.
  • the values 1 and 0 may be randomly arranged.
  • the size of the pixels that make up the second image data may differ depending on the position. As a result, the resolution can be controlled locally.
  • the patterning device may be a DMD (Digital Micromirror Device).
  • the lighting device can be used as an imaging device that uses correlation calculation.
  • the imaging device reconstructs the restored image of the object by performing correlation calculation between the photodetector that measures the reflected light from the object and the detection intensity and the second image data based on the output of the photodetector. It is provided with an arithmetic processing device for processing.
  • the imaging apparatus includes an illumination apparatus that irradiates an object with infrared reference light whose intensity distribution can be controlled, a two-dimensional image sensor having sensitivity in the infrared region, and an image taken by the two-dimensional image sensor. It is provided with an arithmetic processing device for processing. The imaging device can switch between the first mode and the second mode.
  • the illuminating device changes the intensity distribution of the reference light based on a sequence of a plurality of patterning data.
  • the two-dimensional image sensor captures a plurality of images.
  • the arithmetic processing device calculates the photodetection intensity according to the integrated value of a plurality of pixels for each of the plurality of images, performs the correlation calculation between the plurality of light detection intensities corresponding to the plurality of images and the plurality of patterning data, and obtains the first 1 Output Outputs an image.
  • the second mode arithmetic processing unit is configured to output a second output image based on the image captured by the two-dimensional image sensor.
  • this imaging device operates as a quantum radar in the first mode and operates as a camera (two-dimensional image sensor) in the second mode, it can have the advantages of the quantum radar and the two-dimensional image sensor.
  • the two-dimensional image sensor and the optical system can be shared between the first mode and the second mode, an image having the same angle of view can be obtained in the first mode and the second mode, and the two modes can be used with each other. There is no parallax.
  • the illuminator may irradiate reference light having a uniform intensity distribution.
  • the two-dimensional image sensor may operate as an active sensor that detects the reflected light of the reference light from the object.
  • the imaging device can be used as a night-vision camera.
  • the arithmetic processing unit is configured to be able to determine whether the visibility is good or bad, and when it is determined that the visibility is poor, the first mode may be selected, and when it is determined that the visibility is good, the second mode may be selected.
  • the imaging device may operate as a passive sensor.
  • the illuminator may stop emitting light.
  • the arithmetic processing unit may output a third output image based on the image captured by the two-dimensional image sensor.
  • the two-dimensional image sensor may have sensitivity in the visible light region in addition to the infrared region.
  • the third output image may be a visible light image.
  • the arithmetic processing unit is configured to be able to determine whether the visibility is good or bad and the brightness of the surroundings. When (i) it is determined that the visibility is poor, the first mode is selected, and (ii) the visibility is good and the surroundings are good. The second mode may be selected when it is determined that is dark, and (iii) the third mode may be selected when it is determined that the visibility is good and the surroundings are bright.
  • the third output image may be an infrared light image.
  • the imaging device may support hybrid mode.
  • the illuminator changes the intensity distribution of the first part of the reference light to make the intensity distribution of the second part of the reference light uniform
  • the arithmetic processing device changes the irradiation range of the first part of the reference light.
  • the first output image is generated by the correlation calculation
  • the second output image based on the image taken by the two-dimensional image sensor is generated for the irradiation range of the second portion of the reference light.
  • the imaging device may operate as a passive sensor.
  • the illuminator may stop emitting light.
  • FIG. 1 is a diagram showing an imaging device 100 according to the first embodiment.
  • the imaging device 100 is a correlation function image sensor using the principle of ghost imaging, and includes a lighting device 110, a photodetector 120, and an arithmetic processing unit 130.
  • the imaging device 100 is also referred to as a quantum radar camera.
  • the lighting device 110 is a pseudo-heat light source, generates reference light S1 having an intensity distribution I (x, y) that can be regarded as substantially random, and irradiates the object OBJ.
  • the irradiation of the reference light S1 to the object OBJ is performed while changing its intensity distribution according to a plurality of M patterns.
  • the lighting device 110 includes a light source 112, a patterning device 114, and a controller 116.
  • the light source 112 produces a light beam S0 having a uniform intensity distribution.
  • a laser, a light emitting diode, or the like may be used as the light source 112 .
  • the light beam S0 is preferably infrared light, but its wavelength and spectrum are not particularly limited, and may be white light having a plurality of or continuous spectra, or monochromatic light containing a predetermined wavelength. Good.
  • the patterning device 114 includes an array of pixels having a first pixel count (X ⁇ Y).
  • the patterning device 114 has a first pixel number (X ⁇ Y), receives the first image data IMG1 having two gradations, controls the array of pixels according to the first image data IMG1, and controls the array of pixels of the light beam S0. Modulate the intensity distribution.
  • a DMD Digital Micromirror Device
  • a liquid crystal device can be used as the patterning device 114. In this embodiment, the patterning device 114 is assumed to be a DMD.
  • FIG. 2A to 2 (c) are diagrams for explaining the pixels of the DMD which is the patterning device 114.
  • the DMD is an array of a plurality of micromirrors (pixels PIX) arranged in a matrix of Y rows and X columns.
  • each pixel PIX is a square mirror, and can be tilted in the ON direction and the OFF direction with a hinge provided diagonally as an axis.
  • the patterning device 114 is configured so that all pixels can be independently turned on and off.
  • the shape of the matrix is shown in a simplified manner as shown in FIG. 2 (c).
  • each micromirror constituting the DMD is associated with the corresponding pixel of the first image data IMG1. That is, when the value of a certain pixel P B (i, j) of the first image data IMG1 is 1, the micromirror corresponding to the pixel P B (i, j) is tilted to the on side, and a certain pixel P B ( When the values of i and j) are 0, the micromirror corresponding to the pixel is tilted to the off side.
  • the light beam S0 is patterned in accordance with the first image data IMG1, the reference light S1 having an intensity distribution I r (X, Y) is generated and irradiated forward of the object.
  • the controller 116 generates the second image data IMG2 used for the correlation calculation in addition to the first image data IMG1 for controlling the patterning device 114.
  • the second image data IMG2 has a second number of pixels (xxy), and each pixel has m gradation (m ⁇ 3).
  • the number of second pixels XXy is smaller than the number of first pixels XXY.
  • X satisfies the relationship of an integral multiple of x and Y satisfies the relationship of an integral multiple of y.
  • the controller 116 generates the second image data IMG2 and generates the first image data IMG1 based on the second image data IMG2.
  • the second image data IMG2 is supplied to the reconstruction processing unit 134 and is used for the correlation calculation for generating the restored image G (x, y).
  • the photodetector 120 measures the reflected light from the object OBJ and outputs the detection signal Dr.
  • Detection signal D r is the reference beam having an intensity distribution I r when irradiating the object OBJ, a spatial integral value of light energy (or intensity) that is incident on the light detector 120. Therefore, the photodetector 120 can use a single pixel device (photodetector). From the photodetector 120, a plurality of detection signals D 1 to DM corresponding to each of the plurality of M intensity distributions I 1 to IM are output.
  • the arithmetic processing unit 130 includes a reconstruction processing unit 134.
  • Reconstruction processor 134 performs a plurality of intensity distributions I 1 ⁇ I M in which a plurality of second image data IMG2 defines a correlation calculation of a plurality of detected intensity b 1 ⁇ b M, the object OBJ of the restored image G ( x, y) is reconstructed.
  • the number of pixels of the final restored image G (x, y) matches the number of pixels of the second image data IMG2, and is smaller than the number of pixels of the patterning device 114.
  • Detection intensity b 1 ⁇ b M is based on the detection signal D 1 ⁇ D M. Relationship detected intensity b r and the detection signal D r is the type and mode of the optical detector 120 may be determined in consideration.
  • the detection signal D r is the received light amount at a certain time (or small time), that is, representing the instantaneous value.
  • a plurality of times sampling a detection signal D r in the irradiation period, the detected intensity b r, the integral value of all sampled values of the detection signal D r it may be an average value or a maximum value. Alternatively, some of the total sampling values may be selected, and the integrated value, average value, or maximum value of the selected sampling values may be used.
  • the ath to bth ranks may be extracted counting from the maximum value, sampling values lower than an arbitrary threshold value may be excluded, and the magnitude of signal fluctuation may be excluded. Sampling values in a small range may be extracted.
  • the output D r of the optical detector 120 as it is can be detected intensity b r.
  • Conversion from the detection signal D r to the detected intensity b r is to the processing unit 130 may execute, may be performed outside the processor 130.
  • I r is a distribution of the pixel values of r th second image data IMG2, b r is the value of r th detected intensity.
  • the arithmetic processing unit 130 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • the arithmetic processing unit 130 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 130 may be configured only by hardware.
  • the controller 116 may be mounted inside the arithmetic processing unit 130.
  • the above is the overall basic configuration of the imaging device 100. Subsequently, the first image data IMG1 and the second image data IMG2 will be described.
  • k be the normalized gradation value of any pixel P m (i, j) of the second image data IMG2.
  • the normalized gradation value k can take 4 values of 0,1 / 3,2 / 3,1.
  • the normalized gradation value k can take 6 values of 0,1 / 5,2 / 5,3 / 5,4 / 5,5 / 5.
  • the normalized gradation value k is 0,1 / (m-1), 2 / (m-1), ... , (M-2) / (m-1), 1 can be taken.
  • One pixel P m (i, j) of the second image data IMG2 is associated with a pixel group PG (i, j) including a plurality of L pixels of the first image data IMG1.
  • any pixel P m of the second image data IMG2 In i and j
  • pixels P B of a plurality of L of the first image data IMG 1 overlap.
  • the set of L pixels P B that overlap with the pixels P m (i, j) is the pixel group PG (i, j).
  • (L ⁇ k) is a non-integer
  • l is (i) an integer closest to L ⁇ k, (ii) an integer with the decimal point of L ⁇ k truncated, or (iii) a decimal point of L ⁇ k. It may be either an integer rounded up to the following, or an integer rounded to the first decimal place of (iv) L ⁇ k.
  • FIG. 4 is a diagram showing specific examples of the first image data IMG1 and the second image data IMG2.
  • B is included.
  • the actual number of pixels x and y are on the order of tens to hundreds, respectively.
  • the value of is 1.
  • the gradation value k of the pixels P m (3, 2) of the second image data IMG 2 is 1/3
  • the pixel group PG (3, 2) of the corresponding first image data IMG 1 is of L pixels.
  • the gradation value k of the pixel P m (2, 1) of the second image data IMG 2 is 0, and the pixel group PG (2, 1) of the corresponding first image data IMG 1 has a value of 1.
  • the number l is 0, and all L are 0.
  • the pixel group PG is effective.
  • values are mean of the values of a plurality of pixels contained therein, thus depending on the value of the pixel P m of the corresponding second image data IMG2 are multi-gradation control.
  • the controller 116 may arrange the values 1, 0 in the pixel group PG according to a predetermined arrangement rule.
  • 5 (a) and 5 (b) are diagrams showing an example of placement rules.
  • the first arrangement rule shown in FIG. 5A is set so that 1 is preferentially filled from the center pixel of the pixel group.
  • the light beam S0 generated by the light source 112 has a large spread angle, the luminous flux reflected by each pixel group PG spreads, and there is a possibility that adjacent pixel groups may interfere with each other. In this case, by concentrating the pixels having a value of 1 in the center, the interference of adjacent pixel groups can be reduced.
  • the second placement rule of FIG. 5B is defined so that 1s are uniformly placed in the pixel group PG.
  • 1s and 0s may be randomly arranged without defining an arrangement rule.
  • the above is the configuration of the imaging device 100. Subsequently, the operation of the imaging device 100 will be described. The advantages of the imaging apparatus 100 are clarified by comparison with comparative techniques. Therefore, sensing in the comparative technique will be described.
  • the patterning device is controlled based on the image data of m gradation with the number of pixels of xxy. Correlation calculation is also controlled based on the same image data of m gradation with the number of pixels of xxy.
  • FIG. 6 is a time chart showing the sensing of one frame of the imaging apparatus according to the comparative technique. Pattern irradiation is performed M times in order to generate one restored image G (x, y).
  • multi-gradation image data is used for the correlation calculation, and the effective number of pixels of the patterning device is equal to the number of pixels of the image data.
  • the patterning device operates in a multi-gradation mode (multi-bit mode).
  • Each pixel (micromirror) of the DMD can take two states, an on state and an off state, as shown in FIG. Therefore, the multi-gradation DMD realizes multi-gradation by switching the on state and the off state at high speed and changing the time ratio (duty ratio) between the on state and the off state. For this reason, the DMD in the multi-gradation mode has a longer frame period than the DMD in the 1-bit mode.
  • the irradiation time of the reference light S1 based on one image data becomes long.
  • the detection intensity b 1 is obtained
  • the process proceeds to the irradiation of the second reference beam S1.
  • M times of irradiation is completed, the detection intensity b 1 ⁇ b M can be obtained, is carried out correlation calculation, restored image G (x, y) is obtained.
  • the time required to generate one restored image G (x, y) becomes longer as the irradiation time of the reference light S1 becomes longer.
  • FIG. 7 is a time chart showing the sensing of one frame of the imaging device 100 of FIG.
  • the second image data IMG2 with multiple gradations and a low number of pixels is used for the correlation calculation, while the first image data IMG1 with two gradations and a high number of pixels is used for the patterning device 114.
  • the patterning device 114 since the patterning device 114 operates in the 1-bit mode, the duty ratio control as in the multi-gradation mode is unnecessary. Therefore, the irradiation time of one reference light S1 by the DMD is shorter than that of the comparative technique. As a result, the time required to generate one restored image G (x, y) can be shortened as compared with the comparison technique, and the frame rate can be increased.
  • FIG. 8 is a diagram showing an example of the second image data IMG2 and the first image data IMG1.
  • FIG. 9 is a diagram showing the simulation results.
  • the upper part of FIG. 9 shows the results obtained for the comparative technique.
  • the middle part of FIG. 9 shows the result when the method according to the first embodiment and the first arrangement rule is used.
  • the lower part of FIG. 9 shows the result when the method according to the first embodiment and the second arrangement rule is used. According to this embodiment, it can be seen that the image quality equivalent to that of the comparative technique can be obtained.
  • both high image quality and high frame rate can be achieved.
  • the size and shape of the pixels constituting the second image data IMG2 are made uniform, but they may be made non-uniform. That is, the pixel size may be locally increased or decreased.
  • 10 (a) to 10 (c) are diagrams showing the second image data IMG2 according to the modified example 1.1.
  • the size of the pixel in the center of the second image data IMG2 may be reduced as shown in FIG. 10 (a), and a high resolution is required below the restored image.
  • the size of the lower pixel of the second image data IMG2 may be reduced.
  • the second image data IMG2 may include rectangular pixels.
  • the second image data IMG2 is generated, it is converted into the first image data IMG1, but the order may be changed. That is, after generating a random first image data IMG1 having a first pixel number (X ⁇ Y) with one bit and two gradations, it may be converted into the second image data IMG2.
  • the number of pixels of a certain pixel group PG (i, j) of the first image data IMG1 is L and the number of pixels having a value of 1 is l, the pixels of the corresponding second image data IMG1.
  • the value (normalized value) of P m (i, j) may be l / L.
  • FIG. 11 is a diagram showing the first image data IMG1 and the second image data IMG2 according to the modified example 1.2.
  • a plurality of second image data IMG2s having different combinations of the number of pixels and the number of gradations can be generated from the first image data IMG1 having the number of pixels (X ⁇ Y) and two gradations.
  • the resolution of the restored image G (x, y) can also be flexibly changed after obtaining the detected intensity b 1 ⁇ b M.
  • FIG. 12 is a diagram showing an imaging device 100 according to the second embodiment.
  • the imaging device 100 includes a lighting device 110, a two-dimensional image sensor 120, and an arithmetic processing unit 130.
  • the imaging device 100 is configured so that three modes (first mode to third mode) can be switched.
  • the lighting device 110 irradiates the object with infrared reference light S1 whose intensity distribution can be controlled.
  • the illuminator 110 includes a light source 112, a patterning device 114, and a pattern generator 116.
  • the light source 112 produces a light beam S0 having a uniform intensity distribution.
  • a laser, a light emitting diode, or the like may be used.
  • the wavelength and spectrum of the reference light S1 are not particularly limited, but are infrared in the present embodiment.
  • the patterning device 114 has a plurality of pixels arranged in a matrix, and is configured so that the light intensity distribution I can be spatially modulated based on a combination of on and off of the plurality of pixels.
  • the pixel in the on state is referred to as an on pixel
  • the pixel in the off state is referred to as an off pixel.
  • each pixel is assumed to have only two values (1,0) of on and off, but it is not limited to this, and an intermediate gradation may be taken.
  • the patterning device 114 As the patterning device 114, a reflective DMD (Digital Micromirror Device) or a transmissive liquid crystal device can be used.
  • the patterning device 114 is provided with patterning data PTN (image data) generated by the pattern generator 116.
  • the pattern generator 116 generates a pattern data PTN r specifying the intensity distribution I r of the reference beam S1.
  • the operation of the pattern generator 116 and the patterning data PTN r differ depending on the mode.
  • the pattern generator 116 may be mounted inside the arithmetic processing unit 130.
  • the two-dimensional image sensor 120 has sensitivity in the infrared region and the visible light region.
  • the two-dimensional image sensor 120 is a CMOS (Complementary Metal Oxide Semiconductor) sensor or a CCD (Charge Coupled Device).
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the arithmetic processing unit 130 processes the image IMG0 captured by the two-dimensional image sensor 120.
  • the arithmetic processing unit 130 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • the arithmetic processing unit 130 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 130 may be configured only by hardware.
  • the imaging device 100 operates as a quantum radar.
  • the illuminating device 110 operates as a pseudo-heat light source, generates reference light S1 having an intensity distribution I (x, y) that can be regarded as substantially random, and irradiates the object OBJ.
  • the pattern generator 116 generates a sequence of M substantially random patterning data PTNs 1 to PTN M. Therefore, the irradiation of the reference light S1 to the object OBJ is performed while changing its intensity distribution according to the sequence of a plurality of M patterning data PTNs 1 to PTN M.
  • the two-dimensional image sensor 120 captures a plurality of images IMG 0 1 to IMG M corresponding to M times of irradiation of the reference light S1 based on the plurality of patterning data PTN 1 to PTN M.
  • the first mode only infrared light is incident on the two-dimensional image sensor 120, and visible light is removed by the filter.
  • the imaging device 100 includes a visible light filter and an infrared filter provided on the incident light path of the two-dimensional image sensor 120, and the visible light filter and the infrared filter may be mechanically replaced depending on the mode.
  • the imaging device 100 includes an optical path that passes through the visible light filter and is incident on the two-dimensional image sensor 120, and an optical path that is transmitted through the infrared filter and is incident on the two-dimensional image sensor 120, and provides an optical path depending on the mode. It may be configured to be selectable. Alternatively, a tunable wavelength filter may be used to control the transmission wavelength according to the mode.
  • the arithmetic processing unit 130 calculates the light detection intensities b 1 to b M corresponding to the integrated values of the plurality of pixels for each of the plurality of images IMG 0 1 to IMG 0 M. Most typically, the processing unit 130 can the value of all pixels of each image IMG0 r integrated (or average) to calculate the light detection intensity b r.
  • the processing unit 130 performs correlation calculation between the plurality of light detection intensity b 1 ⁇ b M and a plurality of patterning data PTN 1 ⁇ PTN M corresponding to the plurality of image IMG0 1 ⁇ IMG0 M, the restored image G (x , Y) is generated.
  • I r is the r th intensity distribution
  • b r is the value of r th detected intensity
  • the arithmetic processing unit 130 outputs the first output image IMG1 based on the restored image G (x, y).
  • the second mode arithmetic processing unit 130 is configured to output the second output image IMG2 based on the image IMG0 captured by the two-dimensional image sensor 120. More specifically, the illumination device 110 irradiates the reference light S1 of infrared light having a uniform intensity distribution.
  • the two-dimensional image sensor 120 operates as an active sensor that detects the reflected light S2 of the reference light S1 from the object OBJ. Even in the second mode, only infrared light is incident on the two-dimensional image sensor 120, and visible light is removed by the filter. In the second mode, the imaging device 100 operates as a night-vision camera.
  • the third mode arithmetic processing unit 130 is configured to output the third output image IMG3 based on the image IMG0 captured by the two-dimensional image sensor 120.
  • the operation of the lighting device 110 is different between the third mode and the second mode, and the lighting device 110 stops emitting light in the third mode. Further, in the third mode, only visible light is incident on the two-dimensional image sensor 120, and infrared light is removed by the filter. That is, in the third mode, the imaging device 100 operates as a passive sensor of visible light, in other words, a general camera.
  • the arithmetic processing unit 130 is configured to be able to determine whether the field of view is good or bad.
  • the method for determining the quality of the field of view is not particularly limited, but the arithmetic processing unit 130 may determine the quality of the field of view based on external information.
  • fog generation information may be acquired from a sensor installed in a traffic infrastructure such as a traffic light, or quasi-dynamic information (narrow area weather information) of a dynamic map may be acquired.
  • the arithmetic processing unit 130 may determine the quality of the field of view by performing image processing on the image IMG0 of the two-dimensional image sensor 120.
  • the visibility may be determined based on (i) classification based on machine learning, (ii) the recognizable distance of the white line, and (iii) the relationship between the distance information of the preceding vehicle and the brightness.
  • the determination may be made based on the uniformity and size of the water droplet.
  • the same scene may be shot by switching between the first mode and the second mode, and the quality of the field of view may be determined based on the difference between the images IMG1 and IMG2 obtained in each mode.
  • the arithmetic processing unit 130 may determine whether the visibility is good or bad based on the instruction input from the driver.
  • the imaging device 100 may include a sensor that can provide a material for determining the quality of the field of view, and the arithmetic processing unit 130 may determine the quality of the field of view based on the output of this sensor.
  • a sensor that irradiates pulsed light and detects the intensity of reflected light may be used, or a transmissometer may be used.
  • the arithmetic processing unit 130 is configured to be able to determine the brightness of the surroundings in addition to the quality of the field of view.
  • the arithmetic processing unit 130 is connected to an illuminance sensor (not shown), and the brightness may be determined based on the output of the illuminance sensor.
  • the ambient brightness may be estimated based on the time zone and GPS information.
  • FIG. 13 is a flowchart of the operation of the imaging device 100 of FIG.
  • the quality of visibility is judged (S100). Then, when the field of view is poor (N in S100), the first mode is selected (S102), and the imaging device 100 operates as a quantum radar.
  • the ambient brightness is determined (S104). Then, when the surroundings are dark (N in S104), the second mode is selected (S106), and the imaging device 100 operates as a night-vision camera. When the surroundings are bright (Y in S104), the third mode (S108) is selected, and the imaging device 100 operates as a normal visible light camera.
  • FIG. 14 is a diagram showing the states and processes of the lighting device 110, the two-dimensional image sensor 120, and the arithmetic processing unit 130 in the first mode, the second mode, and the third mode.
  • the illuminator 110 irradiates reference light with a random intensity distribution.
  • the detection wavelength of the two-dimensional image sensor 120 is the same infrared as the reference light, and all the pixels are combined to virtually operate as a single pixel photodetector.
  • the arithmetic processing unit 130 restores the image by correlation calculation.
  • the illuminating device 110 irradiates the reference light with a uniform intensity distribution.
  • the detection wavelength of the two-dimensional image sensor 120 is the same infrared as the reference light.
  • the two-dimensional image sensor 120 captures infrared reflected light from an object.
  • the lighting device 110 is turned off.
  • the detection wavelength of the two-dimensional image sensor 120 is in the visible light region, and an object captures light reflected from ambient light (mainly sunlight).
  • the above is the operation of the imaging device 100.
  • the imaging device 100 can detect an object that is difficult to detect with a normal camera by selecting the first mode and operating it as a quantum radar when the field of view is poor. Further, in a state where the field of view is good, an image can be generated at a high frame rate by selecting the second mode or the third mode. That is, the imaging device 100 can have the advantages of a quantum radar and a two-dimensional image sensor.
  • the two-dimensional image sensor 120 and the optical system can be shared in the first mode to the third mode, the cost of hardware can be reduced, and an image having the same angle of view can be obtained in the three modes. it can. It also has the advantage that there is no parallax between the three modes.
  • the imaging device 100 can support a hybrid mode, which is a combination of the first mode and the second mode.
  • FIG. 15A shows an example of a driving scene to which the hybrid mode is applied.
  • a thick fog is generated in the center and the visibility is partially deteriorated, and the visibility of other parts is good.
  • the imaging device 100 operates in the first mode for a range of poor visibility and in a second mode for a range of good visibility.
  • the lighting device 110 randomly changes the intensity distribution of the first portion X of the reference light S1, fixes the intensity distribution of the second portion Y of the reference light S1, and uniformly irradiates the light.
  • FIG. 15 (b) the diagrams showing an image IMG0 r two-dimensional image sensor 120 captures.
  • the reference light S1 having a random intensity distribution is reflected the light object OBJ3 is reflected.
  • the process moves the light reflected by the uniform reference beam S0. That is, the region Ry is a normal night-vision camera.
  • FIG. 15 (c) shows the image IMG4 finally obtained in the hybrid mode.
  • the image IMG4 includes the first output image G (x, y) in the central portion and the second output image IMG2 in the periphery.
  • the first output image G (x, y) shows the shape of the object OBJ3 existing on the other side of the fog.
  • the hybrid mode in a situation where the visibility of a part in front is poor, only the region with poor visibility can be operated as a quantum radar, and the portion with good visibility can be operated as a night-vision camera.
  • the hybrid mode can also operate in a combination of the first mode and the third mode.
  • the intensity of the reference light S1 is zero for the second portion Y.
  • the lighting device 110 is composed of a combination of the light source 112 and the patterning device 114, but this is not the case.
  • the lighting device 110 is composed of an array of a plurality of semiconductor light sources (LED (light emitting diode) and LD (laser diode)) arranged in a matrix, and can control on / off (or brightness) of each semiconductor light source. It may be configured as.
  • the imaging apparatus 100 may support only the first mode and the second mode, or only the first mode and the third mode.
  • the imaging device 100 When the imaging device 100 operates in the first mode (or hybrid mode), when the pixel value of a part of the image IMG0 captured by the two-dimensional image sensor 120 is saturated, the saturated pixels are excluded and the correlation calculation is performed. It may be. In ghost imaging using a conventional single-pixel photodetector, when the output of the photodetector is saturated, the image cannot be restored. On the other hand, in the quantum radar using the two-dimensional image sensor 120, it is possible to restore the image for other parts by excluding the saturated pixels.
  • the two-dimensional image sensor 120 captures a visible light image in the third mode, but the two-dimensional image sensor 120 may capture an infrared image. That is, the imaging device 100 may be operated as an infrared passive sensor.
  • Switching between the plurality of modes may be manually operated by the driver.
  • a plurality of modes may be automatically switched periodically regardless of the ambient brightness, the presence or absence of fog, and the like.
  • FIG. 16 is a block diagram of the object identification system 10.
  • This object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle, and determines the type (category) of the object OBJ existing around the vehicle.
  • the object identification system 10 includes an imaging device 100 and an arithmetic processing unit 40. As described above, the imaging device 100 irradiates the object OBJ with the reference light S1 and measures the reflected light S2 to generate a restored image G of the object OBJ.
  • the arithmetic processing unit 40 processes the output image G of the imaging device 100 and determines the position and type (category) of the object OBJ.
  • the classifier 42 of the arithmetic processing unit 40 receives the image G as an input and determines the position and type of the object OBJ included in the image G.
  • the classifier 42 is implemented based on the model generated by machine learning.
  • the algorithm of the classifier 42 is not particularly limited, but YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN. , DSSD (Deconvolution-SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
  • the noise immunity is significantly improved. For example, when it is raining, snowing, or traveling in fog, it is difficult to recognize the object OBJ with the naked eye, but by using the imaging device 100, the object OBJ is not affected by rain, snow, or fog.
  • the restored image G can be obtained.
  • FIG. 17 is a diagram showing an automobile equipped with the object identification system 10.
  • the automobile 300 includes headlights 302L and 302R.
  • the imaging device 100 is built in at least one of the headlights 302L and 302R.
  • the headlight 302 is located at the tip of the vehicle body, and is the most advantageous as an installation location of the imaging device 100 in detecting surrounding objects.
  • FIG. 18 is a block diagram showing a vehicle lamp 200 including an object detection system 210.
  • the vehicle lamp 200 constitutes the lamp system 310 together with the vehicle side ECU 304.
  • the vehicle lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicle lamp 200 is provided with an object detection system 210.
  • the object detection system 210 corresponds to the above-mentioned object identification system 10, and includes an imaging device 100 and an arithmetic processing unit 40.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be used for the light distribution control of the vehicle lamp 200.
  • the lamp side ECU 208 generates an appropriate light distribution pattern based on the information regarding the type of the object OBJ generated by the arithmetic processing unit 40 and its position.
  • the lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp side ECU 208.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be transmitted to the vehicle side ECU 304.
  • the vehicle-side ECU may perform automatic driving based on this information.
  • the application of the imaging device 100 is not limited to in-vehicle use, and can be applied to other applications.
  • the present invention relates to an imaging device.
  • OBJ Object 10 Object Identification System 40 Arithmetic Processing Device 42 Classifier 100 Imaging Device 110 Lighting Device 112 Light Source 114 Patterning Device 116 Controller 120 Light Detector 130 Arithmetic Processing Device 134 Reconstruction Processing Unit 200 Vehicle Lighting Equipment 202 Light Source 204 Lighting Circuit 206 Optical System 300 Automobile 302 Headlight 310 Lighting system 304 Vehicle side ECU IMG1 1st image data IMG2 2nd image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

パターニングデバイス１１４は、第１画素数を有し、かつ二階調の第１画像データＩＭＧ１に応じて、光ビームの強度分布を変調する。演算処理装置１３０は、光検出器１２０の出力にもとづく検出強度ｂと、第１画素数より少ない第２画素数を有し、かつランダムなｍ階調（ｍ≧２）の第２画像データＩＭＧ２との相関計算を行い、物体の復元画像Ｇ（ｘ，ｙ）を再構成する。第１画像データＩＭＧ１と第２画像データＩＭＧ２を同じサイズにスケーリングして重ねたときに、第２画像データＩＭＧ２の任意の画素と、それとオーバーラップする第１画像データＩＭＧ１の複数の画素を含むピクセル群が対応付けられる。任意の画素の正規化された階調値をｋ、ピクセル群に含まれる画素の個数をＬ、ピクセル群に含まれる値が１である画素の個数をｌとするとき、ｌ＝Ｌ×ｋが成り立つ。

Description

イメージング装置およびその照明装置、車両、車両用灯具
　本発明は、イメージング装置に関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
　イメージング装置（センサ）のひとつとして、ゴーストイメージングの原理を利用したもの（以下、量子レーダと称する）が知られている。ゴーストイメージングは、参照光の強度分布（パターン）をランダムに切り替えながら物体に照射し、パターンごとに反射光の光検出強度を測定する。光検出強度はある平面にわたるエネルギーあるいは強度の積分値であり、強度分布ではない。そして、対応するパターンと光検出強度との相関をとることにより、物体の復元画像を再構成（reconstruct）する。
特許第６４１２６７３号公報
　量子レーダは、霧中などの視界不良な環境下において、通常の二次元イメージセンサ（カメラ）では撮影できない物体を撮影することができるが、１枚の画像を復元するために、参照光を複数回、照射する必要があり、一般的なカメラに比べてフレームレートが低くなる。したがって、視界が良好な環境下では、量子レーダよりも二次元イメージセンサの方が好ましい状況が生じうる。
１．　本発明のある態様は係る状況においてなされたものであり、その例示的な目的のひとつは、高画質と高フレームレートを両立したイメージング装置およびその照明装置の提供にある。
２．　また本発明のある態様の目的のひとつは、量子レーダと二次元イメージセンサの利点を併せ持つイメージング装置の提供にある。
１．　本発明のある態様は相関計算を利用したイメージング装置に関する。イメージング装置は、均一な強度分布を有する光ビームを生成する光源と、二階調の第１画像データに応じて、光ビームの強度分布を変調するパターニングデバイスと、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と、ｍ階調（ｍ≧２）の第２画像データとの相関計算を行い、物体の復元画像を再構成する演算処理装置と、を備える。第１画像データの画素数は第２画像データの画素数より多い。第２画像データの１画素は、第１画像データの複数Ｌ個の画素を含むピクセル群に対応付けられる。第２画像データのある画素の正規化された階調値をｋ、それと対応するピクセル群に含まれる値が１である画素の個数をｌとするとき、ｌ＝Ｌ×ｋが成り立つ。
　本発明の別の態様は、相関計算を利用したイメージング装置に用いられる照明装置に関する。照明装置は、均一な強度分布を有する光ビームを生成する光源と、第１画素数の画素のアレイを含み、第１画素数を有し、かつ二階調の第１画像データに応じて光ビームの強度分布を変調するパターニングデバイスと、第１画素数より少ない第２画素数を有し、かつランダムなｍ階調（ｍ≧２）の第２画像データを生成して相関計算に提供するとともに、第２画像データを第１画像データに変換し、パターニングデバイスに供給するコントローラと、を備える。
２．　本発明の別の態様は、イメージング装置に関する。イメージング装置は、強度分布を制御可能な赤外の参照光を物体に照射する照明装置と、赤外線領域に感度を有する二次元イメージセンサと、二次元イメージセンサが撮影した画像を処理する演算処理装置と、を備える。（i）第１モードにおいて、照明装置は、複数Ｍ個のパターニングデータのシーケンスにもとづいて参照光の強度分布を変化させる。それと並行して、二次元イメージセンサは複数（Ｍ枚）の画像を撮影する。演算処理装置は、複数の画像それぞれについて複数の画素の積算値に応じた光検出強度を計算する。そして演算処理装置は、複数の画像に対応する複数の光検出強度と複数のパターニングデータとの相関計算を行い、第１出力画像を出力する。（ii）第２モードにおいて、演算処理装置は、二次元イメージセンサが撮影した画像にもとづく第２出力画像を出力する。
　本発明のある態様によれば、高画質と高フレームレートを両立できる。また別の態様によれば、量子レーダと二次元イメージセンサの利点を併せ持つイメージング装置を提供できる。
実施形態１に係るイメージング装置を示す図である。 図２（ａ）～（ｃ）は、パターニングデバイスであるＤＭＤの画素を説明する図である。 第２画像データと第１画像データの関係を説明する図である。 第１画像データと第２画像データの具体例を示す図である。 図５（ａ）、（ｂ）は、配置規則の例を示す図である。 比較技術に係るイメージング装置の１フレームのセンシングを示すタイムチャートである。 図１のイメージング装置の１フレームのセンシングを示すタイムチャートである。 第２画像データと第１画像データの一例を示す図である。 シミュレーション結果を示す図である。 図１０（ａ）～（ｃ）は、変形例１．１に係る第２画像データを示す図である。 変形例１．２に係る第１画像データと第２画像データを示す図である。 実施形態２に係るイメージング装置を示す図である。 図１２のイメージング装置の動作のフローチャートである。 第１モード、第２モード、第３モードにおける照明装置、二次元イメージセンサ、演算処理装置の状態および処理を示す図である。 図１５（ａ）～（ｃ）は、ハイブリッドモードを説明する図である。 物体識別システムのブロック図である。 物体識別システムを備える自動車を示す図である。 物体検出システムを備える車両用灯具を示すブロック図である。
（実施形態の概要）
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。
１．　一実施形態は、相関計算を利用したイメージング装置に関する。イメージング装置は、均一な強度分布を有する光ビームを生成する光源と、二階調の第１画像データに応じて、光ビームの強度分布を変調するパターニングデバイスと、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と、ｍ階調（ｍ≧２）の第２画像データとの相関計算を行い、物体の復元画像を再構成する演算処理装置と、を備える。第１画像データの画素数は第２画像データの画素数より多い。第２画像データの１画素は、第１画像データの複数Ｌ個の画素を含むピクセル群に対応付けられる。第２画像データのある画素の正規化された階調値をｋ、それと対応するピクセル群に含まれる値が１である画素の個数をｌとするとき、ｌ＝Ｌ×ｋが成り立つ。
　一般的に、パターニングデバイスを多階調で動作させる場合、フレームレートが低下する。この実施形態によれば、相関計算に用いる第２画像データよりも、画素数が多いパターニングデバイスを用い、パターニングデバイスを１ビット動作させることで、高フレームレートを実現できる。パターニングデバイスが生成する参照光の強度分布は、第２画像データの画素数（解像度）でみたときには多階調表現されているため、高画質も実現できる。
　イメージング装置は、第２画像データを生成するコントローラをさらに備えてもよい。コントローラは、第２画像データを変換して、第１画像データを生成してもよい。
　コントローラは、所定の配置規則にしたがって、ピクセル群に値１，０を割り当ててもよい。
　配置規則は、ピクセル群の中央の画素から優先的に値１が埋まるように定められてもよい。この場合、パターニングデバイスの隣接するピクセル群同士の干渉を低減できる。
　配置規則は、ピクセル群において、値１が均一に配置されるように定められてもよい。
　ピクセル群において、値１と０はランダムに配置されてもよい。
　第２画像データを構成する画素のサイズは、位置に応じて異なってもよい。これにより、局所的に分解能を制御することができる。
　パターニングデバイスはＤＭＤ（Digital Micromirror Device）であってもよい。
　照明装置は、相関計算を利用したイメージング装置に利用できる。イメージング装置は、照明装置に加えて、物体からの反射光を測定する光検出器と、光検出器の出力にもとづく検出強度と第２画像データの相関計算を行い、物体の復元画像を再構成する演算処理装置と、を備える。
２．　一実施の形態に係るイメージング装置は、強度分布を制御可能な赤外の参照光を物体に照射する照明装置と、赤外線領域に感度を有する二次元イメージセンサと、二次元イメージセンサが撮影した画像を処理する演算処理装置と、を備える。イメージング装置は、第１モードと第２モードが切り替え可能である。
　（i）第１モード
　照明装置は、複数のパターニングデータのシーケンスにもとづいて参照光の強度分布を変化させる。この間に、二次元イメージセンサは複数の画像を撮影する。演算処理装置は、複数の画像それぞれについて複数の画素の積算値に応じた光検出強度を計算し、複数の画像に対応する複数の光検出強度と複数のパターニングデータとの相関計算を行い、第１出力画像を出力する。
　（ii）第２モード
　演算処理装置は、二次元イメージセンサが撮影した画像にもとづく第２出力画像を出力するように構成される。
　このイメージング装置は、第１モードにおいて量子レーダとして動作し、第２モードにおいてカメラ（二次元イメージセンサ）として動作するため、量子レーダと二次元イメージセンサの利点を併せ持つことができる。
　また、第１モードと第２モードとで、二次元イメージセンサおよび光学系を共有できるため、第１モードと第２モードとで、同じ画角の画像を得ることができ、２つのモード間の視差も存在しない。
　第２モードにおいて、照明装置は均一な強度分布を有する参照光を照射してもよい。二次元イメージセンサは、物体からの参照光の反射光を検出するアクティブセンサとして動作してもよい。イメージング装置を、暗視カメラとして使用することができる。
　演算処理部は、視界の良・不良を判定可能に構成され、視界不良と判定されたとき、第１モードが選択され、視界良好と判定されたとき、第２モードが選択されてもよい。
　第３モードにおいてイメージング装置は、パッシブセンサとして動作してもよい。第３モードにおいて、照明装置は発光を停止してもよい。演算処理装置は、二次元イメージセンサが撮影した画像にもとづく第３出力画像を出力してもよい。
　二次元イメージセンサは、赤外線領域に加えて可視光領域に感度を有してもよい。第３出力画像は可視光画像であってもよい。
　演算処理部は、視界の良・不良および周囲の明るさを判定可能に構成され、（i）視界不良と判定されたとき、第１モードが選択され、（ii）視界良好であり、かつ周囲が暗いと判定されたとき、第２モードが選択され、（iii）視界良好であり、かつ周囲が明るいと判定されたとき、第３モードが選択されてもよい。
　第３出力画像は赤外光画像であってもよい。
　イメージング装置は、ハイブリッドモードをサポートしてもよい。
　ハイブリッドモードにおいて、照明装置は、参照光の第１部分の強度分布を変化させ、参照光の第２部分の強度分布を均一とし、演算処理装置は、参照光の第１部分の照射範囲について、相関計算により第１出力画像を生成し、参照光の第２部分の照射範囲については、二次元イメージセンサが撮影した画像にもとづく第２出力画像を生成する。
　これにより、局所的に視界が悪いような状況において、視界が悪い領域のみ、量子レーダとして動作させることができる。
　第２モードにおいてイメージング装置は、パッシブセンサとして動作してもよい。第２モードにおいて、照明装置は発光を停止してもよい。
　以下、本発明を好適な実施形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度に、ランダムであればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、完全に予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。
（実施形態１）
　図１は、実施形態１に係るイメージング装置１００を示す図である。イメージング装置１００はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明装置１１０、光検出器１２０、演算処理装置１３０を備える。イメージング装置１００を、量子レーダカメラとも称する。
　照明装置１１０は、疑似熱光源であり、実質的にランダムとみなしうる強度分布Ｉ（ｘ，ｙ）を有する参照光Ｓ１を生成し、物体ＯＢＪに照射する。物体ＯＢＪへの参照光Ｓ１の照射は、その強度分布を、複数のＭ通りのパターンに応じて変化させながら行われる。
　照明装置１１０は、光源１１２、パターニングデバイス１１４、コントローラ１１６を含む。光源１１２は、均一な強度分布を有する光ビームＳ０を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。好ましくは光ビームＳ０は赤外光であるが、その波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。
　パターニングデバイス１１４は、第１画素数（Ｘ×Ｙ）の画素のアレイを含む。パターニングデバイス１１４は、第１画素数（Ｘ×Ｙ）を有し、かつ二階調の第１画像データＩＭＧ１を受け、第１画像データＩＭＧ１に応じて、画素のアレイを制御し、光ビームＳ０の強度分布を変調する。パターニングデバイス１１４としては、ＤＭＤ（Digital Micromirror Device）や液晶デバイスを用いることができる。本実施形態においてパターニングデバイス１１４はＤＭＤであるもとする。
　図２（ａ）～（ｃ）は、パターニングデバイス１１４であるＤＭＤの画素を説明する図である。図２（ａ）に示すように、ＤＭＤは、Ｙ行Ｘ列のマトリクス状に配置される複数のマイクロミラー（画素ＰＩＸ）のアレイである。図２（ｂ）に示すように、各画素ＰＩＸは、正方形のミラーであり、対角に設けられたヒンジを軸として、ＯＮ方向とＯＦＦ方向に傾動可能となっている。パターニングデバイス１１４は、全画素を独立してオン、オフ制御可能に構成される。以下の説明では、マトリクスの形状を図２（ｃ）のように簡略化して示す。
　図１に戻る。ＤＭＤを構成する各マイクロミラーの状態は、第１画像データＩＭＧ１の対応する画素と対応付けられる。すなわち、第１画像データＩＭＧ１のある画素ＰＢ（ｉ，ｊ）の値が１のとき、その画素ＰＢ（ｉ，ｊ）に対応するマイクロミラーはオン側に傾動し、ある画素ＰＢ（ｉ，ｊ）の値が０のとき、その画素に対応するマイクロミラーはオフ側に傾動する。かくして、光ビームＳ０が第１画像データＩＭＧ１に応じてパターニングされ、強度分布Ｉｒ（Ｘ，Ｙ）を有する参照光Ｓ１が生成され、前方の物体に照射される。
　コントローラ１１６は、パターニングデバイス１１４を制御するための第１画像データＩＭＧ１に加えて、相関計算に用いる第２画像データＩＭＧ２を生成する。第２画像データＩＭＧ２は第２画素数（ｘ×ｙ）を有しており、各画素はｍ階調（ｍ≧３）である。第２画素数ｘ×ｙは、第１画素数Ｘ×Ｙよりも少ない。Ｘはｘの整数倍、Ｙはｙの整数倍の関係を満たす。
　Ｘ＝ａｘ
　Ｙ＝ｂｙ
　（ａ，ｂは自然数であり、少なくとも一方は二以上）
　本実施形態において、コントローラ１１６は、第２画像データＩＭＧ２を生成し、第２画像データＩＭＧ２にもとづいて第１画像データＩＭＧ１を生成する。第２画像データＩＭＧ２は、再構成処理部１３４に供給され、復元画像Ｇ（ｘ，ｙ）の生成のための相関計算に利用される。
　光検出器１２０は、物体ＯＢＪからの反射光を測定し、検出信号Ｄｒを出力する。検出信号Ｄｒは、強度分布Ｉｒを有する参照光を物体ＯＢＪに照射したときに、光検出器１２０に入射する光エネルギー（あるいは強度）の空間的な積分値である。したがって光検出器１２０は、シングルピクセルのデバイス（フォトディテクタ）を用いることができる。光検出器１２０からは、複数Ｍ通りの強度分布Ｉ１～ＩＭそれぞれに対応する複数の検出信号Ｄ１～ＤＭが出力される。
　演算処理装置１３０は、再構成処理部１３４を含む。再構成処理部１３４は、複数の第２画像データＩＭＧ２が規定する複数の強度分布Ｉ１～ＩＭと、複数の検出強度ｂ１～ｂＭの相関計算を行い、物体ＯＢＪの復元画像Ｇ（ｘ，ｙ）を再構成する。最終的な復元画像Ｇ（ｘ，ｙ）の画素数は、第２画像データＩＭＧ２の画素数と一致しており、パターニングデバイス１１４の画素数より少ない。
　検出強度ｂ１～ｂＭは、検出信号Ｄ１～ＤＭにもとづいている。検出強度ｂｒと検出信号Ｄｒの関係は、光検出器１２０の種類や方式などを考慮して定めればよい。
　ある強度分布Ｉｒの参照光Ｓ１を、ある照射期間にわたり照射するとする。また検出信号Ｄｒは、ある時刻（あるいは微小時間）の受光量、すなわち瞬時値を表すとする。この場合、照射期間において検出信号Ｄｒを複数回サンプリングし、検出強度ｂｒを、検出信号Ｄｒの全サンプリング値の積分値、平均値あるいは最大値としてもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を用いてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列ａ番目からｂ番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
　光検出器１２０として、カメラのように露光時間を設定可能なデバイスを用いる場合には、光検出器１２０の出力Ｄｒをそのまま、検出強度ｂｒとすることができる。
　検出信号Ｄｒから検出強度ｂｒへの変換は、演算処理装置１３０が実行してもよいし、演算処理装置１３０の外部で行ってもよい。
　相関には、式（１）の相関関数が用いられる。Ｉｒは、ｒ番目の第２画像データＩＭＧ２の画素値の分布であり、ｂｒはｒ番目の検出強度の値である。
Figure JPOXMLDOC01-appb-M000001
　演算処理装置１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１３０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１３０はハードウェアのみで構成してもよい。コントローラ１１６は、演算処理装置１３０の内部に実装してもよい。
　以上がイメージング装置１００の全体の基本構成である。続いて、第１画像データＩＭＧ１と第２画像データＩＭＧ２について説明する。
　図３は、第２画像データＩＭＧ２と第１画像データＩＭＧ１の関係を説明する図である。第２画像データＩＭＧ２のｉ行ｊ列目（ｉ＝１～ｘ、ｊ＝１～ｙ）の画素をＰｍ（ｉ，ｊ）と表すものとする。同様に第１画像データＩＭＧ１のＩ行Ｊ列目（Ｉ＝１～Ｘ、Ｊ＝１～Ｙ）の画素をＰＢ（Ｉ，Ｊ）と表すものとする。
　第２画像データＩＭＧ２の任意の画素Ｐｍ（ｉ，ｊ）について、その正規化された階調値をｋとする。たとえば第２画像データＩＭＧ２が２ビット４階調である場合、正規化された階調値ｋは０，１／３，２／３，１の４値を取り得る。第２画像データＩＭＧ２が６階調である場合、正規化された階調値ｋは０，１／５，２／５，３／５，４／５，５／５の６値を取り得る。一般化すると、第２画像データＩＭＧ２がｍ階調（ｍ≧３）である場合、正規化された階調値ｋは０，１／（ｍ－１），２／（ｍ－１），…，（ｍ－２）／（ｍ－１），１のｍ値を取り得る。
　第２画像データＩＭＧ２の１画素Ｐｍ（ｉ，ｊ）は、第１画像データＩＭＧ１の複数Ｌ個の画素を含むピクセル群ＰＧ（ｉ，ｊ）に対応付けられる。具体的には図３に示すように、第１画像データＩＭＧ１と第２画像データＩＭＧ２を同じサイズにスケーリングした状態で、それらを重ねたときに、第２画像データＩＭＧ２の任意の画素Ｐｍ（ｉ，ｊ）には、第１画像データＩＭＧ１のうち複数Ｌの画素ＰＢがオーバーラップする。この画素Ｐｍ（ｉ，ｊ）とオーバーラップするＬ個の画素ＰＢの集合が、ピクセル群ＰＧ（ｉ，ｊ）である。
　第２画像データＩＭＧ２のある画素Ｐｍ（ｉ，ｊ）の正規化された階調値をｋとする。またその画素Ｐｍ（ｉ，ｊ）に対応するピクセル群ＰＧ（ｉ，ｊ）に含まれるＬ個の画素のうち、値が１である画素の個数をｌとする。このとき、ｌ＝Ｌ×ｋが成り立つ。なお、（Ｌ×ｋ）が非整数の場合、ｌは、（i）Ｌ×ｋと最近接する整数、（ii）Ｌ×ｋの小数点以下を切り捨てた整数、あるいは（iii）Ｌ×ｋの小数点以下を切り上げた整数、あるいは（iv）Ｌ×ｋの小数点第１位を四捨五入した整数のいずれかとすればよい。
　図４は、第１画像データＩＭＧ１と第２画像データＩＭＧ２の具体例を示す図である。この例では、ｘ＝５，ｙ＝４，Ｘ＝１５，Ｙ＝１２であって、ａ＝ｂ＝３であり、１つのピクセル群ＰＧには、Ｌ（＝ａ×ｂ）個の画素ＰＢが含まれる。なお、実際の画素数ｘ、ｙはそれぞれ、数十～数百のオーダーである。
　図４において、第２画像データＩＭＧ２の階調数は４であり、正規化された階調値ｋは０，１／３，２／３，１のいずれかをとるとする。
　第２画像データＩＭＧ２の画素Ｐｍ（１，１）の階調値はｋ＝１であり、対応する第１画像データＩＭＧ１のピクセル群ＰＧ（１，１）は、Ｌ個のうちＬ個すべての値が１である。
　たとえば第２画像データＩＭＧ２の画素Ｐｍ（３，２）の階調値ｋは１／３であり、対応する第１画像データＩＭＧ１のピクセル群ＰＧ（３，２）は、Ｌ個の画素のうちｌ＝３個が１であり、６個が０である。
　また第２画像データＩＭＧ２の画素Ｐｍ（２，１）の階調値ｋは０であり、対応する第１画像データＩＭＧ１のピクセル群ＰＧ（２，１）のうち、値が１の画素の数ｌは０であり、Ｌ個すべてが０となる。
　第１画像データＩＭＧ１を、第２画像データＩＭＧ２の画素数の画像としてみたときには、言い換えると第１画像データＩＭＧ１を、ピクセル群ＰＧを１画素とする画像としてみたときには、ピクセル群ＰＧの実効的な値は、それに含まれる複数の画素の値の平均であり、したがって対応する第２画像データＩＭＧ２の画素Ｐｍの値に応じて多階調制御されている。
　このような第１画像データＩＭＧ１にもとづいてパターニングされた参照光Ｓ１を物体に照射し、反射光から得られる検出強度ｂと、第２画像データＩＭＧ２との相関計算を行うことで、高画質を得ることができる。
　ピクセル群ＰＧ内の値１と０の配置を説明する。コントローラ１１６は、所定の配置規則にしたがって、ピクセル群ＰＧ内の値１，０を配置してもよい。図５（ａ）、（ｂ）は、配置規則の例を示す図である。これらの例ではピクセル群ＰＧは５×５＝２５画素を含む。図５（ａ）に示す第１配置規則は、ピクセル群の中央の画素から優先的に１が埋まるように定められる。光源１１２が生成する光ビームＳ０が大きな広がり角を有する場合、各ピクセル群ＰＧで反射された光束が広がり、隣接するピクセル群同士で干渉するおそれがある。この場合に、中央に値１の画素を集中させることで、隣接するピクセル群の干渉を低減できる。
　図５（ｂ）の第２配置規則は、ピクセル群ＰＧ内において、１が均一に配置されるように定められる。
　あるいは、配置規則を定めずに、１と０をランダムに配置してもよい。
　以上がイメージング装置１００の構成である。続いてイメージング装置１００の動作を説明する。イメージング装置１００の利点は、比較技術との対比によって明確となる。そこで比較技術におけるセンシングを説明する。
　比較技術では、パターニングデバイスを、ｘ×ｙの画素数の、ｍ階調の画像データにもとづいて制御する。また相関計算も、ｘ×ｙの画素数でｍ階調の同じ画像データにもとづいて制御する。
　図６は、比較技術に係るイメージング装置の１フレームのセンシングを示すタイムチャートである。１枚の復元画像Ｇ（ｘ，ｙ）を生成するためにＭ回のパターン照射が行われる。比較技術では、相関計算に、多階調の画像データが使用され、パターニングデバイスの実効的な画素数は、画像データの画素数と等しい。パターニングデバイスは、多階調モード（マルチビットモード）で動作する。
　ＤＭＤの各画素（マイクロミラー）は、図２に示すようにオン状態とオフ状態の２状態を取り得る。したがって、多階調のＤＭＤは、オン状態とオフ状態を高速にスイッチングし、オン状態とオフ状態の時間比率（デューティ比）を変化させることにより多階調を実現する。かかる理由から、多階調モードのＤＭＤは、１ビットモードのＤＭＤよりもフレーム周期が長くなる。
　したがって比較技術では、１つの画像データにもとづく参照光Ｓ１の照射時間が長くなる。１回目の参照光Ｓ１の照射が完了すると、検出強度ｂ１が得られ、２回目の参照光Ｓ１の照射に移行する。Ｍ回の照射が完了し、検出強度ｂ１～ｂＭが得られると、相関計算が行われ、復元画像Ｇ（ｘ，ｙ）が得られる。１枚の復元画像Ｇ（ｘ、ｙ）の生成に要する時間は、参照光Ｓ１の照射時間が長いほど、長くなる。
　続いて図１のイメージング装置１００の動作を説明する。図７は、図１のイメージング装置１００の１フレームのセンシングを示すタイムチャートである。本実施形態では、相関計算には、多階調・低画素数の第２画像データＩＭＧ２が使用される一方、パターニングデバイス１１４には、二階調・高画素数の第１画像データＩＭＧ１が使用される。
　本実施形態では、パターニングデバイス１１４は１ビットモードで動作するため、多階調モードのようなデューティ比制御が不要である。したがって、ＤＭＤによる１回の参照光Ｓ１の照射時間が、比較技術に比べて短くなる。その結果、１枚の復元画像Ｇ（ｘ、ｙ）の生成に要する時間を、比較技術に比べて短縮でき、フレームレートを高めることができる。
　また実施形態１によれば、参照光Ｓ１の強度分布は、ピクセル群ＰＧ単位で多階調制御されているため、比較技術と同等の画質を得ることができる。このことを確認するために行ったシミュレーションについて説明する。シミュレーションでは、ｘ＝ｙ＝３２，Ｘ＝Ｙ＝６４０とした。また第２画像データＩＭＧ２の階調数をｍ＝６階調としている。図８は、第２画像データＩＭＧ２と第１画像データＩＭＧ１の一例を示す図である。
　図９は、シミュレーション結果を示す図である。シミュレーションは、Ｍ＝１０００，５０００，１００００，５００００の４通りについて行った。図９の上段には、比較技術について得られた結果が示される。図９の中段は、実施形態１に係る方法であって第１配置規則を用いた場合の結果が示される。図９の下段は、実施形態１に係る方法であって第２配置規則を用いた場合の結果が示される。本実施形態によれば、比較技術と同等の画質を得ることができることが分かる。
　すなわち、実施形態１に係るイメージング装置１００によれば、高画質と高フレームレートを両立することができる。
　続いて実施形態１に関連する変形例について説明する。
（変形例１．１）
　実施形態では、第２画像データＩＭＧ２を構成する画素の大きさおよび形状を均一としたが、不均一としてもよい。すなわち局所的に画素サイズを大きくしてもよいし、小さくしてもよい。図１０（ａ）～（ｃ）は、変形例１．１に係る第２画像データＩＭＧ２を示す図である。たとえば復元画像の中央において高い解像度が必要な場合、図１０（ａ）に示すように、第２画像データＩＭＧ２の中央の画素の大きさを小さくすればよく、復元画像の下方において高い解像度が必要な場合、図１０（ｂ）に示すように、第２画像データＩＭＧ２の下方の画素の大きさを小さくすればよく。また図１０（ｃ）に示すように、第２画像データＩＭＧ２は、長方形の画素を含んでもよい。
（変形例１．２）
　実施形態では、第２画像データＩＭＧ２を生成した後に、それを第１画像データＩＭＧ１に変換したが、順序を入れ替えてもよい。すなわち、１ビット二階調で第１画素数（Ｘ×Ｙ）のランダムな第１画像データＩＭＧ１を生成した後に、それを第２画像データＩＭＧ２に変換してもよい。この場合、第１画像データＩＭＧ１の、あるピクセル群ＰＧ（ｉ，ｊ）の画素数がＬであり、値が１である画素の個数がｌであるとき、対応する第２画像データＩＭＧ１の画素Ｐｍ（ｉ，ｊ）の値（正規化値）を、ｌ／Ｌとすればよい。
　図１１は、変形例１．２に係る第１画像データＩＭＧ１と第２画像データＩＭＧ２を示す図である。図１１に示すように、画素数（Ｘ×Ｙ）、二階調の第１画像データＩＭＧ１から、画素数と階調数の組み合わせの異なる複数の第２画像データＩＭＧ２を生成することができる。言い換えれば、復元画像Ｇ（ｘ，ｙ）の解像度を、検出強度ｂ１～ｂＭの取得後においても柔軟に変更することができる。
（実施形態２）
　図１２は、実施形態２に係るイメージング装置１００を示す図である。イメージング装置１００は、照明装置１１０、二次元イメージセンサ１２０、演算処理装置１３０を備える。
　イメージング装置１００は、３つのモード（第１モード～第３モード）が切り替え可能に構成される。
　照明装置１１０は、強度分布を制御可能な赤外の参照光Ｓ１を物体に照射する。たとえば照明装置１１０は、光源１１２、パターニングデバイス１１４およびパターン発生器１１６を含む。光源１１２は、均一な強度分布を有する光ビームＳ０を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。参照光Ｓ１の波長やスペクトルは特に限定されないが、本実施形態において赤外である。
　パターニングデバイス１１４は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布Ｉを空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの２値（１，０）のみをとるものとするがその限りでなく、中間的な階調をとってもよい。
　パターニングデバイス１１４としては、反射型のＤＭＤ（Digital Micromirror Device）や透過型の液晶デバイスを用いることができる。パターニングデバイス１１４には、パターン発生器１１６が発生するパターニングデータＰＴＮ（画像データ）が与えられている。
　パターン発生器１１６は、参照光Ｓ１の強度分布Ｉｒを指定するパターニングデータＰＴＮｒを発生する。パターン発生器１１６の動作およびパターニングデータＰＴＮｒは、モードに応じて異なる。パターン発生器１１６は、演算処理装置１３０の内部に実装してもよい。
　二次元イメージセンサ１２０は、赤外線領域および可視光領域に感度を有している。二次元イメージセンサ１２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）である。
　演算処理装置１３０は、二次元イメージセンサ１２０が撮影した画像ＩＭＧ０を処理する。演算処理装置１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１３０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１３０はハードウェアのみで構成してもよい。
　続いて、第１モードから第３モードについて説明する。
（第１モード）
　第１モードにおいてイメージング装置１００は、量子レーダとして動作する。照明装置１１０は、疑似熱光源として動作し、実質的にランダムとみなしうる強度分布Ｉ（ｘ，ｙ）を有する参照光Ｓ１を生成し、物体ＯＢＪに照射する。第１モードにおいてパターン発生器１１６は、実質的にランダムなＭ個のパターニングデータＰＴＮ１～ＰＴＮＭのシーケンスを生成する。したがって物体ＯＢＪへの参照光Ｓ１の照射は、その強度分布を、複数のＭ個のパターニングデータＰＴＮ１～ＰＴＮＭのシーケンスに応じて変化させながら行われる。
　二次元イメージセンサ１２０は、複数のパターニングデータＰＴＮ１～ＰＴＮＭにもとづくＭ回の参照光Ｓ１の照射に対応して、複数の画像ＩＭＧ０１～ＩＭＧＭを撮影する。第１モードにおいて二次元イメージセンサ１２０には赤外光のみが入射し、可視光はフィルタによって除去される。
　たとえばイメージング装置１００は、二次元イメージセンサ１２０の入射光路上に設けられた可視光フィルタと赤外線フィルタを備え、モードに応じて、可視光フィルタと赤外線フィルタを機械的に入れ替えるようにしてもよい。
　あるいはイメージング装置１００は、可視光フィルタを透過して二次元イメージセンサ１２０に入射する光路と、赤外線フィルタを透過して二次元イメージセンサ１２０に入射する光路と、を含み、モードに応じて光路を選択可能に構成されてもよい。あるいは、波長可変フィルタを用い、モードに応じて透過波長を制御してもよい。
　演算処理装置１３０は、複数の画像ＩＭＧ０１～ＩＭＧ０Ｍそれぞれについて、複数の画素の積算値に応じた光検出強度ｂ１～ｂＭを計算する。もっとも典型的には、演算処理装置１３０は、各画像ＩＭＧ０ｒの全画素の値を積算（あるいは平均）し、光検出強度ｂｒを計算することができる。
　そして演算処理装置１３０は、複数の画像ＩＭＧ０１～ＩＭＧ０Ｍに対応する複数の光検出強度ｂ１～ｂＭと複数のパターニングデータＰＴＮ１～ＰＴＮＭとの相関計算を行い、復元画像Ｇ（ｘ，ｙ）を生成する。
　相関には、式（１）の相関関数が用いられる。Ｉｒは、ｒ番目の強度分布であり、ｂｒはｒ番目の検出強度の値である。
Figure JPOXMLDOC01-appb-M000002
　演算処理装置１３０は、復元画像Ｇ（ｘ，ｙ）にもとづく第１出力画像ＩＭＧ１を出力する。
　（ii）第２モード
　演算処理装置１３０は、二次元イメージセンサ１２０が撮影した画像ＩＭＧ０にもとづく第２出力画像ＩＭＧ２を出力するように構成される。より具体的には照明装置１１０は均一な強度分布を有する赤外光の参照光Ｓ１を照射する。二次元イメージセンサ１２０は、物体ＯＢＪからの参照光Ｓ１の反射光Ｓ２を検出するアクティブセンサとして動作する。第２モードにおいても二次元イメージセンサ１２０には赤外光のみが入射し、可視光はフィルタによって除去される。第２モードにおいて、イメージング装置１００は暗視カメラとして動作する。
　（ii）第３モード
　演算処理装置１３０は、二次元イメージセンサ１２０が撮影した画像ＩＭＧ０にもとづく第３出力画像ＩＭＧ３を出力するように構成される。第３モードと第２モードとでは、照明装置１１０の動作が異なっており、第３モードにおいて照明装置１１０は発光を停止する。また第３モードにおいて二次元イメージセンサ１２０には可視光のみが入射し、赤外光はフィルタによって除去される。すなわち、第３モードにおいてイメージング装置１００は可視光のパッシブセンサ、言い換えれば一般的なカメラとして動作する。
　演算処理装置１３０は、視界の良・不良を判定可能に構成される。視界の良否の判定手法は特に限定されないが、演算処理装置１３０は、外部情報にもとづいて、視界の良否を判定してもよい。たとえば信号機等の交通インフラに設置したセンサから、霧発生情報を取得してもよいし、ダイナミックマップの準動的情報（狭域気象情報）を取得してもよい。
　あるいは演算処理装置１３０は、二次元イメージセンサ１２０の画像ＩＭＧ０を画像処理することにより、視界の良否を判定してもよい。一例として、（i）機械学習にもとづくクラス分類や（ii）白線の認知可能距離、（iii）先行車の距離情報と輝度の関係にもとづいて、視認性を判定してもよい。あるいは水滴の均一性と大きさにもとづいて判定してもよい。
　あるいは、同じシーンで第１モードと第２モードを切り替えて撮影し、各モードで得られる画像ＩＭＧ１，ＩＭＧ２の差分にもとづいて視界の良否を判定してもよい。
　あるいは、演算処理装置１３０は、運転者からの指示入力にもとづいて、視界の良否を判定してもよい。
　あるいはイメージング装置１００は、視界の良否の判断材料を提供しうるセンサを備え、演算処理装置１３０は、このセンサの出力にもとづいて視界の良否を判定してもよい。たとえば、パルス光を照射し、反射光強度を検出するセンサを用いてもよいし、視程計を用いてもよい。
　演算処理装置１３０は、視界の良否に加えて、周囲の明るさを判定可能に構成される。たとえば演算処理装置１３０は図示しない照度センサと接続されており、照度センサの出力にもとづいて明るさを判定してもよい。あるいは時間帯やＧＰＳ情報に基づいて周囲の明るさを推定してもよい。
　上述の第１モードから第３モードは、視界の良否および周囲の明るさにもとづいて選択される。図１３は、図１２のイメージング装置１００の動作のフローチャートである。
　視界の良否が判定される（Ｓ１００）。そして視界が悪いときには（Ｓ１００のＮ）、第１モードが選択され（Ｓ１０２）、イメージング装置１００は量子レーダとして動作する。
　視界が良好なときには（Ｓ１００のＹ）、周囲の明るさが判定される（Ｓ１０４）。そして周囲が暗いときには（Ｓ１０４のＮ）、第２モードが選択され（Ｓ１０６）、イメージング装置１００は暗視カメラとして動作する。周囲が明るいときには（Ｓ１０４のＹ）、第３モード（Ｓ１０８）が選択され、イメージング装置１００は通常の可視光カメラとして動作する。
　図１４は、第１モード、第２モード、第３モードにおける照明装置１１０、二次元イメージセンサ１２０、演算処理装置１３０の状態および処理を示す図である。第１モードでは、照明装置１１０はランダムな強度分布の参照光を照射する。また二次元イメージセンサ１２０の検出波長は参照光と同じ赤外であり、全画素が合成され、仮想的にシングルピクセルの光検出器として動作する。演算処理装置１３０は、相関計算により画像を復元する。
　第２モードでは、照明装置１１０は均一な強度分布の参照光を照射する。また二次元イメージセンサ１２０の検出波長は参照光と同じ赤外である。二次元イメージセンサ１２０は、物体からの赤外の反射光を撮影する。
　第３モードでは、照明装置１１０はオフとなる。二次元イメージセンサ１２０の検出波長は可視光領域であり、物体が、環境光（主として太陽光）を反射した光を撮影する。
　以上がイメージング装置１００の動作である。このイメージング装置１００は、視界が悪い状態では第１モードを選択して、量子レーダとして動作させることで、通常のカメラでは検出しにくい物体を検出することができる。また視界が良い状態では、第２モードあるいは第３モードを選択することで、高いフレームレートで画像を生成することができる。すなわちイメージング装置１００は、量子レーダと二次元イメージセンサの利点を併せ持つことができる。
　また、第１モード～第３モードで、二次元イメージセンサ１２０および図示しない光学系を共有できるため、ハードウェアのコストを下げることができ、さらに３つのモードで同じ画角の画像を得ることができる。また３つのモード間の視差も存在しないという利点がある。
　続いて、ハイブリッドモードを説明する。イメージング装置１００は、第１モードと第２モードの組み合わせであるハイブリッドモードをサポートできる。
　図１５（ａ）～（ｃ）は、ハイブリッドモードを説明する図である。図１５（ａ）は、ハイブリッドモードが適用される走行シーンの一例を示す。この例では、中央に濃い霧が発生しており部分的に視界が悪くなっており、その他の部分の視界は良好である。イメージング装置１００は、視界が悪い範囲について、第１モードで動作し、視界が良好な範囲について第２モードで動作する。
　ハイブリッドモードにおいて照明装置１１０は、参照光Ｓ１の第１部分Ｘの強度分布をランダムに変化させ、参照光Ｓ１の第２部分Ｙの強度分布を固定して均一照射する。
　図１５（ｂ）には、二次元イメージセンサ１２０が撮影する画像ＩＭＧ０ｒを示す図である。一枚の画像ＩＭＧ０ｒにおいて、第１部分Ｘに対応する領域Ｒｘには、ランダムな強度分布を有する参照光Ｓ１を、物体ＯＢＪ３が反射した光が写っている。
　一方で、画像ＩＭＧ０ｒの第２部分Ｙに対応する領域Ｒｙに注目すると、イメージング装置１００の前方に存在する物体ＯＢＪ１，ＯＢＪ２が、均一な参照光Ｓ０を反射した光が写る。つまり領域Ｒｙは通常の暗視カメラである。
　演算処理装置１３０は、画像ＩＭＧ０ｒの参照光Ｓ１の第１部分Ｘの照射範囲Ｒｘについて、複数の画像ＩＭＧ０１～ＩＭＧＭについて、第１モードで説明した相関計算を行い、第１出力画像ＩＭＧ１＝Ｇ（ｘ，ｙ）を復元する。すなわち、各画像ＩＭＧ０ｒについて、照射範囲Ｒｘの画素値を積算し、光検出強度ｂｒを計算する。そして式（１）にもとづく相関計算により第１出力画像Ｇ（ｘ，ｙ）を復元する。
　図１５（ｃ）には、ハイブリッドモードにおいて最終的にえられる画像ＩＭＧ４が示される。この画像ＩＭＧ４は、中央部分に、第１出力画像Ｇ（ｘ，ｙ）を含み、周囲に第２出力画像ＩＭＧ２を含む。第１出力画像Ｇ（ｘ，ｙ）には、霧の向こう側に存在する物体ＯＢＪ３の形状が写っている。
　このようにハイブリッドモードによれば、前方の一部分の視界が悪いような状況において、視界が悪い領域のみ、量子レーダとして動作させ、視界が良好な部分は、暗視カメラとして動作させることができる。
　なおハイブリッドモードは、第１モードと第３モードの組み合わせでも動作しうる。この場合、第２部分Ｙについては、参照光Ｓ１の強度はゼロとなる。
　続いて実施形態２に関連する変形例を説明する。
（変形例２．１）
　実施形態２では、照明装置１１０を、光源１１２とパターニングデバイス１１４の組み合わせで構成したがその限りでない。たとえば照明装置１１０は、マトリクス状に配置される複数の半導体光源（ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード））のアレイで構成し、個々の半導体光源のオン、オフ（あるいは輝度）を制御可能に構成してもよい。
（変形例２．２）
　実施形態では、第１～第３モードをサポートしたが、イメージング装置１００は、第１モードと第２モードのみ、あるいは第１モードと第３モードのみをサポートしてもよい。
（変形例２．３）
　イメージング装置１００が第１モード（あるいはハイブリッドモード）で動作する際に、二次元イメージセンサ１２０が撮影した画像ＩＭＧ０の一部分の画素値が飽和した場合、飽和した画素を除外して相関計算を行うようにしてもよい。従来のシングルピクセルの光検出器を用いたゴーストイメージングでは、光検出器の出力が飽和すると、画像を復元できなくなる。これに対して二次元イメージセンサ１２０を用いた量子レーダでは、飽和した画素を除外することにより、その他の部分については、画像を復元することが可能となる。
（変形例２．４）
　実施形態では、第３モードにおいて、二次元イメージセンサ１２０によって可視光画像を撮影したがその限りでなく、二次元イメージセンサ１２０は赤外線画像を撮影してもよい。すなわちイメージング装置１００を、赤外線のパッシブセンサとして動作させてもよい。
（変形例２．５）
　複数のモードの切りかえは、運転者がマニュアルで操作するようにしてもよい。
（変形例６）
　あるいは、周囲の明るさや霧の有無等にかかわらず、複数のモード（第１モード～第３モード）を周期的に自動で切り替えてもよい。
（用途）
　続いてイメージング装置１００の用途を説明する。図１６は、物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
　物体識別システム１０は、イメージング装置１００と、演算処理装置４０を備える。イメージング装置１００は、上述のように、物体ＯＢＪに参照光Ｓ１を照射し、反射光Ｓ２を測定することにより、物体ＯＢＪの復元画像Ｇを生成する。
　演算処理装置４０は、イメージング装置１００の出力画像Ｇを処理し、物体ＯＢＪの位置および種類（カテゴリ）を判定する。
　演算処理装置４０の分類器４２は、画像Ｇを入力として受け、それに含まれる物体ＯＢＪの位置および種類を判定する。分類器４２は、機械学習によって生成されたモデルにもとづいて実装される。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
　以上が物体識別システム１０の構成である。物体識別システム１０のセンサとして、イメージング装置１００を用いることで、以下の利点を得ることができる。
　イメージング装置１００すなわち量子レーダカメラを用いることで、ノイズ耐性が格段に高まる。たとえば、降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体ＯＢＪを認識しにくいが、イメージング装置１００を用いることで、雨、雪、霧の影響を受けずに、物体ＯＢＪの復元画像Ｇを得ることができる。
　図１７は、物体識別システム１０を備える自動車を示す図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。イメージング装置１００は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、イメージング装置１００の設置箇所として最も有利である。
　図１８は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、イメージング装置１００および演算処理装置４０を含む。
　演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
　また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　なおイメージング装置１００の用途は車載に限定されず、その他の用途にも適用できる。
　実施形態にもとづき、具体的な語句を用いて本発明を説明したが、実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本発明は、イメージング装置に関する。
　ＯＢＪ　物体
　１０　物体識別システム
　４０　演算処理装置
　４２　分類器
　１００　イメージング装置
　１１０　照明装置
　１１２　光源
　１１４　パターニングデバイス
　１１６　コントローラ
　１２０　光検出器
　１３０　演算処理装置
　１３４　再構成処理部
　２００　車両用灯具
　２０２　光源
　２０４　点灯回路
　２０６　光学系
　３００　自動車
　３０２　前照灯
　３１０　灯具システム
　３０４　車両側ＥＣＵ
　ＩＭＧ１　第１画像データ
　ＩＭＧ２　第２画像データ

Claims (22)

  1. 　相関計算を利用したイメージング装置であって、
    　均一な強度分布を有する光ビームを生成する光源と、
    　二階調の第１画像データに応じて、前記光ビームの強度分布を変調するパターニングデバイスと、
    　物体からの反射光を測定する光検出器と、
    　前記光検出器の出力にもとづく検出強度と、ｍ階調（ｍ≧２）の第２画像データとの相関計算を行い、前記物体の復元画像を再構成する演算処理装置と、
    　を備え、
    　前記第１画像データの画素数は前記第２画像データの画素数より多く、
    　前記第２画像データの１画素は、前記第１画像データの複数Ｌ個の画素を含むピクセル群に対応付けられ、
    　前記第２画像データのある画素の正規化された階調値をｋ、それと対応する前記ピクセル群に含まれる値が１である画素の個数をｌとするとき、ｌ＝Ｌ×ｋが成り立つことを特徴とするイメージング装置。
  2. 　前記第２画像データを生成するコントローラをさらに備え、
    　前記コントローラは、前記第２画像データを変換して、前記第１画像データを生成することを特徴とする請求項１に記載のイメージング装置。
  3. 　前記コントローラは、所定の配置規則にしたがって、前記ピクセル群に値１，０を割り当てることを特徴とする請求項２に記載のイメージング装置。
  4. 　前記配置規則は、前記ピクセル群の中央の画素から優先的に値１が埋まるように定められることを特徴とする請求項３に記載のイメージング装置。
  5. 　前記配置規則は、前記ピクセル群において、値１が均一に配置されるように定められることを特徴とする請求項３に記載のイメージング装置。
  6. 　前記ピクセル群において、値１と０はランダムに配置されることを特徴とする請求項２に記載のイメージング装置。
  7. 　前記第２画像データを構成する画素のサイズは、位置に応じて異なることを特徴とする請求項１から６のいずれかに記載のイメージング装置。
  8. 　前記パターニングデバイスはＤＭＤ（Digital Micromirror Device）であることを特徴とする請求項１から７のいずれかに記載のイメージング装置。
  9. 　請求項１から８のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
  10. 　請求項１から８のいずれかに記載のイメージング装置を備えることを特徴とする車両。
  11. 　相関計算を利用したイメージング装置に用いられる照明装置であって、
    　均一な強度分布を有する光ビームを生成する光源と、
    　第１画素数の画素のアレイを含み、前記第１画素数を有し、かつ二階調の第１画像データに応じて前記光ビームの強度分布を変調するパターニングデバイスと、
    　前記第１画素数より少ない第２画素数を有し、ランダムなｍ階調（ｍ≧２）の第２画像データを生成して相関計算に提供するとともに、前記第２画像データを前記第１画像データに変換し、前記パターニングデバイスに供給するコントローラと、
    　を備えることを特徴とする照明装置。

  12. 　強度分布を制御可能な赤外の参照光を物体に照射可能に構成される照明装置と、
    　赤外線領域に感度を有する二次元イメージセンサと、
    　前記二次元イメージセンサが撮影した画像を処理する演算処理装置と、
    　を備え、
    　（i）第１モードにおいて、前記照明装置が、複数のパターニングデータのシーケンスにもとづいて前記参照光の強度分布を変化させる間に、前記二次元イメージセンサは複数の画像を撮影し、前記演算処理装置が、複数の画像それぞれについて複数の画素の積算値に応じた光検出強度を計算し、前記複数の画像に対応する複数の光検出強度と前記複数のパターニングデータとの相関計算を行い、第１出力画像を出力するように構成され、（ii）第２モードにおいて、前記演算処理装置は、前記二次元イメージセンサが撮影した画像にもとづく第２出力画像を出力するように構成されることを特徴とするイメージング装置。
  13. 　前記第２モードにおいて、前記照明装置は均一な強度分布を有する前記参照光を照射し、アクティブセンサとして動作することを特徴とする請求項１２に記載のイメージング装置。
  14. 　視界の良・不良を判定する判定部をさらに備え、
    　視界不良と判定されたとき、前記第１モードが選択され、視界良好と判定されたとき、前記第２モードが選択されることを特徴とする請求項１２または１３に記載のイメージング装置。
  15. 　第３モードにおいて、前記イメージング装置はパッシブセンサとして動作し、
    　前記第３モードにおいて、前記照明装置は発光を停止し、前記演算処理装置は、前記二次元イメージセンサが撮影した画像にもとづく第３出力画像を出力することを特徴とする請求項１３に記載のイメージング装置。
  16. 　前記二次元イメージセンサは、前記赤外線領域に加えて可視光領域に感度を有し、
    　前記第３出力画像は可視光画像であることを特徴とする請求項１５に記載のイメージング装置。
  17. 　視界の良・不良および周囲の明るさを判定する判定部をさらに備え、
    　（i）視界不良と判定されたとき、前記第１モードが選択され、（ii）視界良好であり、かつ周囲が暗いと判定されたとき、前記第２モードが選択され、（iii）視界良好であり、かつ周囲が明るいと判定されたとき、前記第３モードが選択されることを特徴とする請求項１６に記載のイメージング装置。
  18. 　前記第３出力画像は赤外光画像であることを特徴とする請求項１５に記載のイメージング装置。
  19. 　ハイブリッドモードにおいて、前記照明装置は、前記参照光の第１部分の強度分布を変化させ、前記参照光の第２部分の強度分布を均一とし、
    　前記演算処理装置は、前記参照光の前記第１部分の照射範囲について、相関計算により
    演算処理装置は、参照光の第１部分の照射範囲について、相関計算により前記第１出力画像を生成し、参照光の第２部分の照射範囲については、二次元イメージセンサが撮影した画像にもとづく前記第２出力画像を生成することを特徴とする請求項１２から１８のいずれかに記載のイメージング装置。
  20. 　前記第２モードにおいて、前記イメージング装置はパッシブセンサとして動作し、前記照明装置は発光を停止することを特徴とする請求項１に記載のイメージング装置。
  21. 　請求項１２から２０のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
  22. 　請求項１２から２０のいずれかに記載のイメージング装置を備えることを特徴とする車両。
PCT/JP2020/027092 2019-07-12 2020-07-10 イメージング装置およびその照明装置、車両、車両用灯具 Ceased WO2021010339A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080050563.5A CN114128245B (zh) 2019-07-12 2020-07-10 成像装置及其照明装置、车辆、车辆用灯具
EP20841270.0A EP3998767B1 (en) 2019-07-12 2020-07-10 Imaging device, lighting device for same, vehicle, and lamp fitting for vehicle
JP2021533048A JP7472136B2 (ja) 2019-07-12 2020-07-10 イメージング装置およびその照明装置、車両、車両用灯具
US17/570,501 US12047667B2 (en) 2019-07-12 2022-01-07 Imaging device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-130478 2019-07-12
JP2019130478 2019-07-12
JP2019-131347 2019-07-16
JP2019131347 2019-07-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/570,501 Continuation US12047667B2 (en) 2019-07-12 2022-01-07 Imaging device

Publications (1)

Publication Number Publication Date
WO2021010339A1 true WO2021010339A1 (ja) 2021-01-21

Family

ID=74210943

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027092 Ceased WO2021010339A1 (ja) 2019-07-12 2020-07-10 イメージング装置およびその照明装置、車両、車両用灯具

Country Status (5)

Country Link
US (1) US12047667B2 (ja)
EP (1) EP3998767B1 (ja)
JP (1) JP7472136B2 (ja)
CN (1) CN114128245B (ja)
WO (1) WO2021010339A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085329A1 (ja) * 2021-11-12 2023-05-19 株式会社小糸製作所 イメージングシステム、センサユニット、車両用灯具、車両

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020149140A1 (ja) * 2019-01-17 2020-07-23 株式会社小糸製作所 車載用イメージング装置、車両用灯具、自動車
JP7600129B2 (ja) * 2019-09-24 2024-12-16 ソニーセミコンダクタソリューションズ株式会社 撮像装置
US12136249B2 (en) * 2021-12-13 2024-11-05 Nvidia Corporation Glare mitigation using image contrast analysis for autonomous systems and applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104570000A (zh) * 2015-01-07 2015-04-29 太原理工大学 一种基于混沌压缩编码的光学综合孔径成像系统及方法
JP2017525952A (ja) * 2014-07-31 2017-09-07 レイセオン カンパニー 線形モード計算センシングレーザーレーダー
WO2017187484A1 (ja) * 2016-04-25 2017-11-02 株式会社日立製作所 物体撮像装置
CN108363069A (zh) * 2018-01-18 2018-08-03 中国科学院理化技术研究所 基于分布式半导体激光阵列的关联成像装置及方法
JP6412673B1 (ja) 2017-07-21 2018-10-24 学校法人玉川学園 画像処理装置及び方法、並びに、プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4198114B2 (ja) * 2002-07-26 2008-12-17 オリンパス株式会社 撮影装置、画像処理システム
US20050133879A1 (en) * 2003-04-07 2005-06-23 Takumi Yamaguti Solid-state imaging device, signal processing device, camera, and spectral device
JP5092613B2 (ja) * 2007-08-06 2012-12-05 日産自動車株式会社 距離計測方法および装置、ならびに距離計測装置を備えた車両
JP2013117575A (ja) * 2011-12-01 2013-06-13 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP6019621B2 (ja) * 2012-03-01 2016-11-02 日産自動車株式会社 距離計測装置
CN103363924B (zh) * 2013-07-15 2016-02-03 中国科学院空间科学与应用研究中心 一种压缩的三维计算鬼成像系统及方法
JP2015045587A (ja) * 2013-08-28 2015-03-12 株式会社キーエンス 三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN106455974B (zh) * 2014-06-20 2018-12-14 拉姆伯斯公司 用于有透镜和无透镜的光学感测的系统和方法
JP6528264B2 (ja) * 2015-01-27 2019-06-12 国立研究開発法人理化学研究所 イメージング装置及び方法
CN107229056A (zh) * 2016-03-23 2017-10-03 松下知识产权经营株式会社 图像处理装置、图像处理方法以及记录介质
JP6741467B2 (ja) * 2016-05-12 2020-08-19 株式会社小糸製作所 車両用灯具
JP6685887B2 (ja) * 2016-12-13 2020-04-22 株式会社日立製作所 撮像装置
WO2018124285A1 (ja) * 2016-12-29 2018-07-05 国立大学法人東京大学 イメージング装置及び方法
CN110325402B (zh) * 2017-03-28 2022-09-09 麦克赛尔株式会社 车载用前照灯以及光的投射方法
JP6826972B2 (ja) * 2017-11-16 2021-02-10 株式会社日立製作所 撮像装置
CN109343078A (zh) * 2018-11-27 2019-02-15 北京理工大学 一种具有目标导向性切片三维鬼成像实现方法
CN114503172A (zh) * 2019-08-09 2022-05-13 克利尔维尤人工智能股份有限公司 基于人脸识别来提供关于人的信息的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017525952A (ja) * 2014-07-31 2017-09-07 レイセオン カンパニー 線形モード計算センシングレーザーレーダー
CN104570000A (zh) * 2015-01-07 2015-04-29 太原理工大学 一种基于混沌压缩编码的光学综合孔径成像系统及方法
WO2017187484A1 (ja) * 2016-04-25 2017-11-02 株式会社日立製作所 物体撮像装置
JP6412673B1 (ja) 2017-07-21 2018-10-24 学校法人玉川学園 画像処理装置及び方法、並びに、プログラム
CN108363069A (zh) * 2018-01-18 2018-08-03 中国科学院理化技术研究所 基于分布式半导体激光阵列的关联成像装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEI, XIAODONG ET AL.: "Experimental demonstration of Vehicle-borne Near Infrared Three-Dimensional Ghost Imaging LiDAR", 2019 CONFERENCE ON LASERS AND ELECTRO-OPTICS (CLEO, 1 July 2019 (2019-07-01), XP055788155, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/document/8749837> DOI: 10.1364/CLEO_ AT .2019.JW2A.7 *
OSAMU HIROTA; MASANORI SOMA: "ROMBUNNO.6.3.4 Quantum & Classic radar cameras, and Effect of Fog for Self Driving Car", INFORMATION THEORY AND ITS APPLICATIONS SYMPOSIUM PROCEEDINGS (CD-ROM) (SITA); NOVEMBER 28 - DECEMBER 1, 2017, vol. 40th, November 2017 (2017-11-01), JP, pages 353 - 358, XP009532825 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085329A1 (ja) * 2021-11-12 2023-05-19 株式会社小糸製作所 イメージングシステム、センサユニット、車両用灯具、車両

Also Published As

Publication number Publication date
US12047667B2 (en) 2024-07-23
JPWO2021010339A1 (ja) 2021-01-21
EP3998767A1 (en) 2022-05-18
EP3998767B1 (en) 2023-10-11
CN114128245A (zh) 2022-03-01
CN114128245B (zh) 2024-08-20
EP3998767A4 (en) 2022-08-31
JP7472136B2 (ja) 2024-04-22
US20220132022A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
US12047667B2 (en) Imaging device
JP7408572B2 (ja) 車両用灯具および車両
CN105253058B (zh) 一种车灯控制系统及方法
US20220400240A1 (en) Imaging system, control method of imaging system, and program
CN113557172B (zh) 选通照相机、汽车、车辆用灯具、物体识别系统、运算处理装置、物体识别方法、图像显示系统、检查方法、摄像装置、图像处理装置
JP7463297B2 (ja) 車載用イメージング装置、車両用灯具、自動車
JPWO2019194256A1 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
CN113767304B (zh) 成像装置、车辆用灯具、汽车、成像方法
US12108164B2 (en) Imaging apparatus
JP2021512817A (ja) 自動車投光器用のライトモジュール
CN115428431A (zh) 门控照相机、车辆用感测系统、车辆用灯具
WO2022270476A1 (ja) イメージング装置および車両用灯具、車両
JP7298562B2 (ja) 車両の周辺検知装置
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
WO2021079810A1 (ja) イメージング装置、車両用灯具、車両、イメージング方法
JP7395511B2 (ja) イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
WO2022091972A1 (ja) イメージング装置および車両用灯具、車両
CN111965664B (zh) 光发射装置、成像系统和发射光调制方法
JP7524207B2 (ja) イメージング装置、車両用灯具、車両、イメージング方法
RU2746614C1 (ru) Способ подавления встречной засветки при формировании изображений дорожного окружения перед транспортным средством и устройство для осуществления способа
WO2023074759A1 (ja) イメージング装置、車両用灯具、車両
WO2023085329A1 (ja) イメージングシステム、センサユニット、車両用灯具、車両
CN117795377A (zh) 门控照相机、车辆用传感系统、车辆用灯具
WO2022044961A1 (ja) イメージング装置、イメージング方法および車両用灯具、車両
WO2022102775A1 (ja) センシング装置、車両用灯具、車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20841270

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021533048

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020841270

Country of ref document: EP

Effective date: 20220214