[go: up one dir, main page]

CN117795377A - 门控照相机、车辆用传感系统、车辆用灯具 - Google Patents

门控照相机、车辆用传感系统、车辆用灯具 Download PDF

Info

Publication number
CN117795377A
CN117795377A CN202280054150.3A CN202280054150A CN117795377A CN 117795377 A CN117795377 A CN 117795377A CN 202280054150 A CN202280054150 A CN 202280054150A CN 117795377 A CN117795377 A CN 117795377A
Authority
CN
China
Prior art keywords
exposure
image
pulse
areas
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280054150.3A
Other languages
English (en)
Inventor
星健一
中村安男
伊多波晃志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Publication of CN117795377A publication Critical patent/CN117795377A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)

Abstract

照明装置(110)向视野照射脉冲照明光(L1)。在多抽头型的图像传感器(120)中，1个像素具有多个FD(Floating Diffusion：浮动扩散)区域。照相机控制器(130)对照明装置(110)的发光定时和图像传感器(120)的曝光定时进行控制。多个FD区域中的一个即脉冲曝光区域(fdp)被分配给切片图像(SIMG)的生成，多个FD区域中的另一个即连续曝光区域(fdc)被分配给通常图像(NIMG)的生成。图像传感器(120)利用脉冲曝光区域(fdp)对来自视野的脉冲照明光(L1)的反射光进行多重曝光而生成切片图像(SIMG)，在不使用脉冲曝光区域(fdp)的区间中进行利用连续曝光区域(fdc)的曝光，生成通常图像(NIMG)。

Description

门控照相机、车辆用传感系统、车辆用灯具
技术领域
本发明涉及门控照相机。
背景技术
为了进行自动驾驶或前照灯的配光的自动控制，使用对存在于车辆的周围的物体的位置及种类进行感测的物体识别系统。物体识别系统包括传感器和对传感器的输出进行解析的运算处理装置。考虑用途、要求精度、成本地，从照相机、LiDAR(Light Detectionand Ranging：光检测和测距、Laser Imaging Detection and Ranging：激光成像检测和测距)、毫米波雷达、超声波声纳等中选择传感器。
通过一般的单眼照相机，无法得到深度的信息。因此，在位于不同距离的多个物体重叠的情况下，难以将它们分离。
作为能够得到深度信息的照相机，已知有TOF照相机。TOF(Time Of Flight：飞行时间)照相机通过发光设备投射红外光，测定反射光返回图像传感器为止的飞行时间，得到将飞行时间转换为距离信息的TOF图像。
作为替代TOF照相机的有源传感器，提出了门控照相机(Gating Camera或GatedCamera)(专利文献1、2)。门控照相机将拍摄范围划分为多个范围，针对每个范围使曝光定时和曝光时间变化地进行拍摄。由此，针对每个对象的范围得到切片图像，各切片图像仅包含对应的范围中包含的物体。
[在先技术文献]
[专利文献]
专利文献1：日本特开2009-257981号公报
专利文献2：国际公开WO2017/110417A1
发明内容
[发明要解决的课题]
为了通过门控照相机得到与通常的照相机同样的未被分割为范围的图像(称为通常图像)，需要在拍摄了多个范围的切片图像后将它们合成。
在门控照相机中，为了提高进深方向的分辨率，换言之为了缩短范围的进深方向的长度(深度)，需要缩短照明光的脉冲宽度和曝光时间。在该情况下，为了得到充分明亮的切片图像，需要增加照射/曝光的组的次数，生成1个切片图像的时间变长。另外，由于若缩短1个范围的深度则范围的个数增加，因此全部范围的拍摄时间变得更长。
本公开的一个方案在该状况下完成，其例示性的目的之一在于提供一种能够缩短通常图像的生成时间的门控照相机。
[用于解决技术课题的技术方案]
本公开的一个方案涉及将视野在进深方向上划分为多个范围，并生成与多个范围对应的多个切片图像的门控照相机。门控照相机包括：向视野照射脉冲照明光的照明装置；1个像素具有多个FD(Floating Diffusion：浮动扩散)区域的多抽头型的图像传感器；以及对照明装置的发光定时和图像传感器的曝光定时进行控制的照相机控制器。多个FD区域中的一个被分配为用于生成切片图像的脉冲曝光区域，多个FD区域中的另一个被分配为用于生成通常图像的连续曝光区域。图像传感器利用脉冲曝光区域对来自视野的脉冲照明光的反射光进行多重曝光而生成切片图像，在不使用脉冲曝光区域的区间中进行利用连续曝光区域的曝光，生成通常图像。
[发明效果]
根据本公开的一个方案，能够缩短通常图像的生成时间。
附图说明
图1是实施方式1的传感系统的框图。
图2是说明门控照相机的基本动作的图。
图3的(a)、(b)是说明通过门控照相机得到的切片图像的图。
图4是说明由门控照相机进行的切片图像SIMG和通常图像NIMG的生成的时序图。
图5是变形例1的感测的时序图。
图6是变形例2的感测的时序图。
图7是包括实施方式2的门控照相机的传感系统的框图。
图8是说明图7的门控照相机的动作的时序图。
图9是说明实施方式3的门控照相机的动作的图。
图10是实施方式4的门控照相机中使用的图像传感器的电路图。
图11是传感系统的框图。
图12的(a)、(b)是表示包括门控照相机的汽车的图。
图13是表示包括传感系统的车辆用灯具的框图。
具体实施方式
(实施方式的概要)
说明本公开的几个例示性的实施方式的概要。本概要作为之后说明的详细说明的前置，以实施方式的基本理解为目的，对一个或多个实施方式的几个概念进行简化说明，并非限定发明或者公开的广度。另外，本概要并非考虑的所有实施方式的总括的概要，并非限定实施方式的不可缺少的构成要素。为了方便，“一实施方式”有时作为指示本说明书中公开的一个实施方式(实施例、变形例)或多个实施方式(实施例、变形例)而使用。
一实施方式的门控照相机将视野在进深方向上划分为多个范围，并生成与多个范围对应的多个切片图像。门控照相机包括：向视野照射脉冲照明光的照明装置；1个像素具有多个FD(Floating Diffusion：浮动扩散)区域的多抽头型的图像传感器；以及对照明装置的发光定时和图像传感器的曝光定时进行控制的照相机控制器。被分配为用于生成切片图像的脉冲曝光区域，多个FD区域中的另一个被分配为用于生成通常图像的连续曝光区域。图像传感器利用脉冲曝光区域对来自视野的脉冲照明光的反射光进行多重曝光而生成切片图像，在不使用脉冲曝光区域的区间中进行利用连续曝光区域的曝光，生成通常图像。
为了生成切片图像，需要反复进行脉冲照明光的照射以及与其同步的短时间的曝光。在未进行切片图像的曝光的期间，通过在连续曝光区域累积电荷，进行连续的曝光，而能够在短时间内拍摄未被划分为多个范围的通常图像。
在一实施方式中，图像传感器也可以构成为能够针对每个FD区域按独立的定时进行读取。由此，能够进一步缩短通常图像的拍摄时间。
在一实施方式中，照明装置也可以除了脉冲照明光之外，还能够向视野照射连续照明光。通过利用连续曝光区域对连续照明光进行曝光，能够在更短时间内拍摄遍及多个范围的通常图像。
在一实施方式中，照明装置也可以在夜间的拍摄中向视野照射连续照明光。在存在阳光的白天，通过关闭连续照明光，能够削减消耗功率。
在一实施方式中，连续曝光区域也可以为多个。图像传感器也可以在不使用脉冲曝光区域的连续曝光期间，进行时分割地利用多个连续曝光区域的曝光，生成通常图像。多个连续曝光区域的曝光时间也可以不同。由此，在视野的明暗差大的情况下，通过利用基于多个连续曝光区域的拍摄图像，能够拍摄动态范围广的图像。
在一实施方式中，图像传感器也可以通过像素合并来生成切片图像，也可以通过点对点(dot by dot)来生成通常图像。由此，作为分辨率降低的交换，能够提高切片图像的生成率。关于通常图像，通过点对点读取，能够得到高分辨率的图像。
在一实施方式中，图像传感器也可以能够将2行2列的像素作为虚拟像素进行合并。各像素也可以包含m个(m≧1)脉冲曝光区域和n个(n≧1)连续曝光区域。图像传感器也可以包括m个第1读取电路和n个第2读取电路。m个第1读取电路也可以与m个脉冲曝光区域相对应，n个第2读取电路也可以与n个连续曝光区域相对应。第i个(1≦i≦m)第1读取电路也可以能够将虚拟像素中包含的4个像素各自的第i个脉冲曝光区域的信号相加而读取，第j个(1≦j≦n)第2读取电路也可以能够将对应的像素中包含的第j个连续曝光区域的信号读取。根据该构成，能够通过像素合并生成切片图像，通过点对点生成通常图像。
(实施方式)
以下，参照附图对优选的实施方式进行说明。对各附图所示的相同或同等的构成要素、构件、处理标注相同的附图标记，适当省略重复的说明。另外，实施方式不限定发明而是例示，并非实施方式所述的所有特征及其组合都是公开及发明的本质性内容。
图1是实施方式1的传感系统10的框图。该传感系统10被搭载于汽车、摩托车等车辆，对存在于车辆的周围(传感器的视野内)的物体OBJ进行检测。
传感系统10主要包括门控照相机100。门控照相机100包括照明装置110、图像传感器120、照相机控制器130以及运算处理装置140。由门控照相机100进行的拍摄将视野在进深方向上划分为复数N个(N≧2)范围RNG1～RNGN而进行。相邻的范围彼此也可以在它们的边界处在进深方向上重叠。
照明装置110与从照相机控制器130提供的发光定时信号S1同步地，向车辆前方照射脉冲照明光L1。脉冲照明光L1优选为红外光，但不限于此，也可以是具有规定的波长的可见光、紫外光。
图像传感器120包括多个像素px，能够进行与从照相机控制器130提供的曝光定时信号S2同步的曝光控制，生成由多个像素构成的图像。图像传感器120对与脉冲照明光L1相同的波长具有灵敏度，拍摄物体OBJ反射的反射光(返回光)L2。
照相机控制器130对照明装置110的脉冲照明光L1的照射定时(发光定时)和图像传感器120的曝光的定时进行控制。照相机控制器130的功能可以通过软件处理实现，也可以通过硬件处理实现，也可以通过软件处理和硬件处理的组合实现。软件处理具体而言通过CPU(Central Processing Unit：中央处理单元)或MPU(Micro Processing Unit：微处理单元)、微型计算机等处理器(硬件)，以及处理器(硬件)所执行的软件程序的组合来实现。此外，照相机控制器130也可以是多个处理器和软件程序的组合。硬件处理具体而言通过ASIC(Application Specific Integrated Circuit：专用集成电路)或控制器IC、FPGA(Field Programmable Gate Array：现场可编程门阵列)等硬件来实现。
由图像传感器120生成的图像(切片图像)SIMGi被输入到运算处理装置140。运算处理装置140对针对多个范围RNG1～RNGN得到的多个切片图像SIMG1～SIMGN进行处理，生成最终的输出数据CAMERAOUT。例如，输出数据CAMERAOUT包含多个切片图像SIMG1～SIMGN的组。进而，在本实施方式中，输出数据CAMERAOUT包含通常图像NIMG。
运算处理装置140可以安装于与照相机控制器130相同的硬件，也可以由不同的硬件构成。或者，运算处理装置140的功能的一部分或全部也可以作为内置于与图像传感器120相同的模块的处理器或数字电路来实现。
以上是门控照相机100的基本构成。接下来说明其动作。
图2是说明门控照相机100的基本动作的图。在图2中示出对第i个范围RNGi进行感测时的状态。照明装置110与发光定时信号S1同步地，在时刻t0～t1之间的发光期间τ1的期间发光。在最上方，示出横轴表示时间、纵轴表示距离的光线的图表。将从门控照相机100到范围RNGi的近前的边界的距离设为dMINi，将到范围RNGi的深侧的边界的距离设为dMAXi。
在某一时刻从照明装置110发出的光到达距离dMINi而其反射光返回图像传感器120为止的往返时间TMINi为TMINi＝2×dMINi/c。c为光速。
同样，在某一时刻从照明装置110发出的光到达距离dMAXi而其反射光返回图像传感器120为止的往返时间TMAXi为TMAXi＝2×dMAXi/c。
在仅要对范围RNGi中包含的物体OBJ进行拍摄时，照相机控制器130以在时刻t2＝t0+TMINi时开始曝光，在时刻t3＝t1+TMAXi时结束曝光的方式生成曝光定时信号S2。这是1次感测动作。
第i个范围RNGi的感测也可以包含多个发光和曝光的组。照相机控制器130以规定的周期τ2反复进行多次上述感测动作。
详细情况之后说明，传感器120能够进行多重曝光，在每个像素px的FD区域(电荷累积区域)，使多次脉冲发光的结果所得到的多次的反射光进行多重曝光，生成1张切片图像SIMG。
图3的(a)、(b)是说明通过门控照相机100得到的切片图像的图。在图3(a)的示例中，在范围RNG2中存在物体(行人)OBJ2，在范围RNG3中存在物体(车辆)OBJ3。在图3(b)中，示出在图3(a)的状况下得到的多个切片图像SIMG1～SIMG3。在拍摄切片图像SIMG1时，由于图像传感器仅通过来自范围RNG1的反射光进行曝光，因此在切片图像SIMG1中没有拍摄到任何物体像。
在拍摄切片图像SIMG2时，由于图像传感器仅通过来自范围RNG2的反射光进行曝光，因此在切片图像SIMG2中仅拍摄到物体像OBJ2。同样，在拍摄切片图像SIMG3时，由于图像传感器仅通过来自范围RNG3的反射光进行曝光，因此在切片图像SIMG3中仅拍摄到物体像OBJ3。像这样，根据门控照相机100，能够针对每个范围将物体分离地进行拍摄。
在全部范围RNG1～RNGN的感测结束后，通过合成多个切片图像SIMG1～SIMGN，能够生成与通过通常的照相机拍摄的图像同样的图像(通常图像)。但是，在这种情况下，生成1张通常图像需要非常长的时间。
本实施方式的门控照相机100被构成为能够与切片图像SIMG1～SIMGN的生成并行地生成未被分割为多个范围的通常图像NIMG。以下，对通常图像的生成进行说明。
返回图1。图像传感器120是多抽头型，1个像素具有多个FD区域。图像传感器120的各像素px包含多个FD区域，其中至少一个被分配为用于生成切片图像SIMG的脉冲曝光区域fdp，其他至少一个被分配为用于生成通常图像NIMG的连续曝光区域fdc。
通过照相机控制器130的控制，照明装置110向视野反复照射脉冲照明光L1，图像传感器120利用脉冲曝光区域fdp对来自视野的反射光L2进行多重曝光，生成切片图像SIMG。将利用脉冲曝光区域fdp的曝光期间称为脉冲曝光期间Tp。对第i个范围RNGi进行感测时，来自第i个范围RNGi中存在的物体OBJx的反射光L2x通过脉冲曝光区域fdp被检测到，来自除此之外的范围RNG中存在的物体OBJy的反射光L2y在脉冲曝光期间Tp的期间不会入射到图像传感器120，因此不会通过脉冲曝光区域fdp被检测到。
另外，通过照相机控制器130的控制，图像传感器120在不使用脉冲曝光区域fdp的区间中进行利用连续曝光区域fdc的曝光，生成通常图像NIMG。将利用连续曝光区域fdc的曝光期间称为连续曝光期间Tc。通过连续曝光区域fdc，检测到来自全部范围的物体OBJx、OBJy的反射光L3x、L3y。反射光L3可以包含脉冲照明光L1的反射光和阳光的反射光。但是，由于来自检测对象的范围RNGi的脉冲照明光L1的反射光在连续曝光期间Tc的期间不会入射到图像传感器120，因此不会通过连续曝光区域fdc被检测到。换言之，关于通常图像NIMG的拍摄，检测对象的范围RNGi内的物体OBJ利用阳光的反射光进行拍摄，而不是利用脉冲照明光L1的反射光。
以上是门控照相机100的构成。接下来说明其动作。
图4是说明由门控照相机100进行的切片图像SIMG和通常图像NIMG的生成的时序图。在该示例中，像素包含3个FD区域fd，其中2个为脉冲曝光区域fdp1、fdp2，被分配给相邻的2个范围RNGi、RNGi+1的切片图像SIMG的生成。将2个范围RNGi、RNGi+1的组称为区(zoom)。t0表示1个区的曝光开始时刻，t1表示曝光时刻。
在该时序图中，L1的高电平表示脉冲照明光的发光，fdp1、fdp2、fdc的高电平表示各FD区域的曝光。将利用脉冲曝光区域fdp1、fdp2的曝光期间称为脉冲曝光期间Tp1、Tp2，将利用连续曝光区域fdc的曝光期间称为连续曝光期间Tc。像素除了多个FD区域之外，还包括光电二极管等受光元件。各FD区域在其曝光期间中排他地与受光元件连接。另外，Qp1、Qp2、Qc分别表示FD区域fdp1、fdp2、fdc各自的电荷量。
脉冲曝光区域fdp1、fdp2的曝光定时根据拍摄的范围的位置来确定。运算处理装置140也可以利用2个脉冲曝光区域fdp1、fdp2的像素值，通过间接ToF法取得范围内的细微的距离信息。
对于范围RNGi、RNGi+1，为了得到足够明亮的切片图像，即、为了在脉冲曝光区域fdp1、fdp2累积足够的电荷量，需要以数百次～数十万次的数量级反复进行脉冲照明光L1的发光以及利用脉冲曝光区域fdp1、fdp2的曝光。
3个FD区域fd中的剩余的1个是连续曝光区域fdc，被分配给通常图像NIMG的生成。连续曝光区域fdc在脉冲曝光区域fdp1、fdp2双方不使用的期间(连续曝光期间)使用。
在连续曝光期间，视野的全部范围的物体对脉冲照明光L1的反射光L2入射到像素。另外，视野的全部范围的物体对阳光的反射光入射到像素。由此，在连续曝光期间中，连续曝光区域fdc中累积的电荷量构成拍摄视野的全部范围的通常图像NIMG。
在本示例中，图像传感器120只能在相同定时读取多个FD区域。即，进行一次读取时，多个FD区域的电荷被复位。在这种情况下，若在时刻t1完成1个区的感测，则脉冲曝光区域fdp1、fdp2以及连续曝光区域fdc被读取，能够得到2张切片图像SIMG和1张通常图像NIMG。
以上是门控照相机100的动作。
根据该门控照相机100，通过使用在切片图像的生成中不使用的FD区域，对不依赖于脉冲照明光L1的恒定光进行连续曝光，能够与切片图像SIMG的生成并行地生成通常图像NIMG。由于能够不等待所有范围RNG1～RNGN的拍摄完成而得到通常图像NIMG，因此能够缩短通常图像NIMG的生成时间。
此外，在白天使用门控照相机100的情况下，关于图像的生成，阳光成为噪音。因此，需要从阳光的光谱强度弱的区域选择脉冲照明光L1的波长及图像传感器120的灵敏度波长。换言之，图像传感器120在通常图像NIMG的拍摄中对于支配性的恒定光的灵敏度低。在此，在图4中，脉冲曝光期间Tp1、Tp2为脉冲照明光L1的发光间隔的大致1/100～1/1000左右的数量级。因此，连续曝光期间Tc比脉冲曝光期间Tp1、Tp2大数十倍～数百倍的数量级。因此，在图像传感器120对阳光的灵敏度低的情况下，也能够生成足够明亮的通常图像。
以下，说明门控照相机100的构成及感测的变形例。
图5是变形例1的感测的时序图。在不等待1个区的感测完成就能够得到所需亮度的通常图像的电荷量被累积于连续曝光区域fdc的情况下，也可以在该时刻停止连续曝光区域fdc的曝光。由此，能够防止像素饱和而通常图像曝光过度。
图6是变形例2的感测的时序图。在图4中，图像传感器120的多个FD区域只能在相同定时读取，但不限于此。在变形例2中，图像传感器120构成为能够针对每个FD区域按独立的定时读取。在变形例2中，每次连续曝光区域fdc的曝光完成时，不等待脉冲曝光区域fdp的曝光完成就读取脉冲曝光区域fdp而生成通常图像，并开始用于生成下一个通常图像NIMG的新的连续曝光。
根据变形例2，与图4或图5的情况相比，能够提高通常图像NIMG的帧率。
(实施方式2)
如实施方式1中说明的那样，来自检测对象的范围RNGi的脉冲照明光L1的反射光在连续曝光期间Tc的期间不会入射到图像传感器120，因此不会通过连续曝光区域fdc被检测到。关于通常图像NIMG的拍摄，检测对象的范围RNGi内的物体OBJ被利用阳光的反射光进行拍摄，而不是利用脉冲照明光L1的反射光。
在图1的构成中，在不存在阳光的夜间，为了得到通常图像NIMG，需要遍及2个区的感测，通常图像NIMG的感测时间变长。在实施方式2中，说明解决该问题的技术。
图7是包括实施方式2的门控照相机100A的传感系统10A的框图。关于门控照相机100A，对与实施方式1的门控照相机100的不同点进行说明。
除了脉冲照明光L1之外，照明装置110A还向视野照射连续照明光L4。其他与实施方式1相同。接着，说明门控照相机100A的动作。
图8是说明图7的门控照相机100A的动作的时序图。
通过照相机控制器130的控制，照明装置110A向视野反复照射脉冲照明光L1，图像传感器120利用脉冲曝光区域fdp对来自视野的反射光L2进行多重曝光，生成切片图像SIMG。关于切片图像SIMG的生成与实施方式1相同。
另外，通过照相机控制器130的控制，照明装置110A向视野照射连续照明光L4。连续照明光L4的强度比脉冲照明光L1的峰值强度低。
通过照相机控制器130的控制，图像传感器120在不使用脉冲曝光区域fdp的连续曝光期间Tc中进行利用连续曝光区域fdc的曝光，生成通常图像NIMG。通过连续曝光区域fdc，检测到来自全部范围的物体OBJx、OBJy的反射光L3x、L3y。反射光L3可以包含脉冲照明光L1的反射光和连续照明光L4的反射光。但是，由于来自检测对象的范围RNGi的脉冲照明光L1的反射光在连续曝光期间Tc的期间不会入射到图像传感器120，因此不会通过连续曝光区域fdc被检测到。换言之，关于通常图像NIMG的拍摄，检测对象的范围RNGi内的物体OBJ被利用连续照明光L4的反射光进行拍摄，而不是利用脉冲照明光L1的反射光。
根据实施方式2的门控照相机100A，在不存在阳光的夜间，也能够在短时间内生成通常图像NIMG。
此外，在存在阳光的白天，能够利用阳光的反射光拍摄通常图像。因此，在白天能够关闭连续照明光L4的照射，由此能够抑制消耗功率的增加。
(实施方式3)
在至此为止的说明中，各像素px具有1个连续曝光区域fdc，但不限于此，也可以具有2个以上的连续曝光区域fdc。
图9是说明实施方式3的门控照相机的动作的图。通过照相机控制器130的控制，图像传感器120在不使用脉冲曝光区域fdp的连续曝光期间Tc，进行时分割地利用2个连续曝光区域fdc1、fdc2的曝光，生成通常图像NIMG。2个连续曝光区域fdc1、fdc2的曝光时间不同，以不同的曝光拍摄2张通常图像NIMG。
根据实施方式3，在视野的明暗差大的情况下，通过利用基于多个连续曝光区域fdc1、fdc2的拍摄图像，容易检测到亮的物体(反射率高的物体)和暗的物体(反射率低的物体)。或者，通过合成基于2个连续曝光区域fdc1、fdc2的拍摄图像，能够拍摄抑制了过度曝光、曝光不足动态范围广的HDR(High Dynamic Range：高动态范围)图像。
(实施方式4)
图10是实施方式4的门控照相机中使用的图像传感器120C的电路图。在本示例中，各像素px包含m个(m≧1)脉冲曝光区域fdp和n个(n≧1)连续曝光区域fdc，合计包含m+n个FD区域。在本示例中，m＝4，n＝2。在各FD区域设有抽头，能够读取信号。
即，6个FD区域中的4个FD区域是脉冲曝光区域fdp1～fdp4，设有4个抽头TP1～TP4。剩余的2个FD区域是连续曝光区域fdc1、fdc2，设有2个抽头TP5、TP6由于各像素包含4个脉冲曝光区域fdp1～fdp4，因此同时生成与4个范围对应的4张切片图像。另外，如实施方式3中说明的那样，利用2个连续曝光区域fdc1、fdc2，以不同的曝光拍摄2张通常图像NIMG。
在本实施方式中，4张切片图像通过像素合并而生成。具体而言，相邻的多个像素(在本示例中为4个像素)结合，生成虚拟像素pxbin。即，切片图像的分辨率比通常图像的分辨率更低。
图10中示出第i列和第(i+1)列以及第j行和第(j+1)行，通过像素合并将2行2列中的4个像素pxi、j，pxi+1、j，pxi、j+1，pxi+1、j+1整合。
图像传感器包括每2列m个(m＝4)第1读取电路RO_BIN1～RO_BIN4以及每1列n个(n＝2)第2读取电路RO_DBD1～RO_DBD2。4个第1读取电路RO_BIN1～RO_BIN4与所对应的2列像素各自的4个脉冲曝光区域fdp1～fdp4相对应。另外，2个第2读取电路RO_DBD1～RO_DBD2与所对应的列的2个连续曝光区域fdc1～fdc2相对应。相邻的读取电路RO_DBD与ROBIN能够兼用，能够一边切换一边使用。
第i个(1≦i≦m)第1读取电路RO_BINi能够将虚拟像素pxbin中包含的4个像素各自的第i个脉冲曝光区域fdpi的信号相加而读取。
第j个(1≦j≦n)第2读取电路RO_DBDj能够将对应的列的像素中包含的第j个连续曝光区域fdcj的信号读取。
另外，根据该图像传感器120，能够通过点对点读取而生成高分辨率的通常图像NIMG。另一方面，根据图像传感器120，通过像素合并处理而生成切片图像SIMG，由此作为分辨率降低的交换，能够缩短生成时间。
(用途)
图11是传感系统10的框图。传感系统10除上述的门控照相机100之外还包括运算处理装置40。该传感系统10被搭载于汽车、摩托车等车辆，是对存在于车辆的周围的物体OBJ的种类(也称为类别或分类)进行判定的物体检测系统。
通过门控照相机100，生成与多个范围RNG1～RNGN对应的多个切片图像SIMG1～SIMGN。门控照相机100的输出数据CAMERAOUT包含多个切片图像SIMG1～SIMGN和通常图像NIMG。
运算处理装置40被构成为能够基于门控照相机100的输出数据CAMERAOUT来识别物体的种类。运算处理装置40包括基于通过机器学习而生成的学习完成模型来实现的分类器42。运算处理装置40也可以包括针对每个范围进行优化的多个分类器42。分类器42的算法没有特别限定，可以采用YOLO(You Only Look Once：仅查看一次)、SSD(Single ShotMultiBox Detector：单击多框检测器)、R-CNN(Region-based Convolutional NeuralNetwork：基于区域的卷积神经网络)、SPPnet(Spatial Pyramid Pooling：空间金字塔池化)、Faster R-CNN、DSSD(Deconvolution–SSD：去卷积–SSD)、Mask R-CNN等，或者可以采用将来开发的算法。
运算处理装置40的功能可以通过软件处理实现，也可以通过硬件处理实现，也可以通过软件处理和硬件处理的组合实现。软件处理具体而言通过CPU(Central ProcessingUnit：中央处理单元)或MPU(Micro Processing Unit：微处理单元)、微型计算机等处理器(硬件)，以及处理器(硬件)所执行的软件程序的组合来实现。此外，运算处理装置40也可以是多个处理器和软件程序的组合。硬件处理具体而言通过ASIC(Application SpecificIntegrated Circuit：专用集成电路)或控制器IC、FPGA(Field Programmable GateArray：现场可编程门阵列)等硬件来实现。也可以将运算处理装置40的功能和图像处理装置140的功能安装于相同的处理器。
图12的(a)、(b)是表示具备门控照相机100的汽车300的图。参照图12(a)。汽车300具备前照灯(灯具)302L、302R。
如图12(a)所示，门控照相机100的照明装置110可以内置于左右的前照灯302L、302R的至少一者。图像传感器120可以安装于车辆的一部分，例如室内镜的背侧。或者，图像传感器120也可以设于前格栅或前保险杠。照相机控制器130可以设于车厢内，也可以设于引擎室，也可以内置于前照灯302L、302R。
如图12(b)所示，图像传感器120也可以与照明装置110一起内置于左右的前照灯302L、302R的任意一者。
也可以将照明装置110设于车辆的一部分，例如室内镜的背侧、前格栅、前保险杠。
图13是表示具备传感系统10的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU310一起构成灯具系统304。车辆用灯具200具备灯具侧ECU210和灯单元220。灯单元220为近光或远光，包括光源222、点亮电路224、光学系统226。进而，在车辆用灯具200设有传感系统10。
与传感系统10检测出的物体OBJ相关的信息也可以用于车辆用灯具200的配光控制。具体而言，灯具侧ECU210基于传感系统10生成的与物体OBJ的种类及其位置相关的信息，生成适当的配光图案。点亮电路224和光学系统226以得到灯具侧ECU210生成的配光图案的方式进行动作。传感系统10的运算处理装置40也可以设于车辆用灯具200的外部、即车辆侧。
另外，与传感系统10检测出的物体OBJ相关的信息也可以发送到车辆侧ECU310。车辆侧ECU310也可以将该信息用于自动驾驶或驾驶辅助。
本领域技术人员应该理解，实施方式仅是例示，其各构成要素及各处理过程的组合存在各种变形例，并且这样的变形例也包含在本公开或本发明的范围内。
[工业可利用性]
本发明涉及门控照相机。
[附图标记说明]
L1…脉冲照明光，L2、L3…反射光，L4…连续照明光，S1…发光定时信号，S2…曝光定时信号，10…传感系统，40…运算处理装置，42…分类器，100…门控照相机，110…照明装置，120…图像传感器，130…照相机控制器，140…运算处理装置，200…车辆用灯具，210…灯具侧ECU，220…灯单元，222…光源，224…点亮电路，226…光学系统，300…汽车，302L…前照灯，304…灯具系统，310…车辆侧ECU，fdp…脉冲曝光区域，fdc…连续曝光区域。

Claims (11)

1.一种门控照相机，是将视野在进深方向上划分为多个范围，并生成与所述多个范围对应的多个切片图像的门控照相机，其特征在于，包括：
向所述视野照射脉冲照明光的照明装置，
1个像素具有多个FD(Floating Diffusion：浮动扩散)区域的多抽头型的图像传感器，以及
对所述照明装置的发光定时和所述图像传感器的曝光定时进行控制的照相机控制器；
所述多个FD区域中的一个被分配为用于生成所述切片图像的脉冲曝光区域，所述多个FD区域中的另一个被分配为用于生成通常图像的连续曝光区域，
所述图像传感器利用所述脉冲曝光区域对来自所述视野的所述脉冲照明光的反射光进行多重曝光而生成切片图像，在不使用所述脉冲曝光区域的区间中进行利用所述连续曝光区域的曝光，生成所述通常图像。
2.如权利要求1所述的门控照相机，其特征在于，
所述图像传感器被构成为能够针对所述每个FD区域按独立的定时进行读取。
3.如权利要求1或2所述的门控照相机，其特征在于，
所述照明装置除了所述脉冲照明光之外，还能够向所述视野照射连续照明光。
4.如权利要求3所述的门控照相机，其特征在于，
所述照明装置在夜间的拍摄中向所述视野照射所述连续照明光。
5.如权利要求1或2所述的门控照相机，其特征在于，
所述连续曝光区域为多个，所述图像传感器在不使用所述脉冲曝光区域的区间中，进行时分割地利用所述多个连续曝光区域的曝光，生成所述通常图像，所述多个连续曝光区域的曝光时间不同。
6.如权利要求1或2所述的门控照相机，其特征在于，
所述图像传感器通过像素合并生成所述切片图像，
通过点对点生成所述通常图像。
7.如权利要求6所述的门控照相机，其特征在于，
所述图像传感器能够将2行2列的像素作为虚拟像素进行合并；
各像素包含m个脉冲曝光区域和n个连续曝光区域，其中m≧1，n≧1；
所述图像传感器包括m个第1读取电路和n个第2读取电路；
所述m个第1读取电路与所述m个脉冲曝光区域相对应；
所述n个第2读取电路与所述n个连续曝光区域相对应；
第i个第1读取电路能够将所述虚拟像素中包含的4个像素各自的第i个脉冲曝光区域的信号相加而读取，其中1≦i≦m；
第j个第2读取电路能够将对应的像素中包含的第j个连续曝光区域的信号读取，其中1≦j≦n。
8.如权利要求7所述的门控照相机，其特征在于，
m＝4，n＝2。
9.如权利要求1或2所述的门控照相机，其特征在于，
被搭载于车辆。
10.一种车辆用传感系统，其特征在于，包括：
如权利要求1或2所述的门控照相机，以及
对所述门控照相机拍摄的所述多个切片图像进行处理的运算处理装置。
11.一种车辆用灯具，其特征在于，
包括如权利要求1或2所述的门控照相机。
CN202280054150.3A 2021-08-05 2022-08-05 门控照相机、车辆用传感系统、车辆用灯具 Pending CN117795377A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021129014 2021-08-05
JP2021-129014 2021-08-05
PCT/JP2022/030166 WO2023013777A1 (ja) 2021-08-05 2022-08-05 ゲーティングカメラ、車両用センシングシステム、車両用灯具

Publications (1)

Publication Number Publication Date
CN117795377A true CN117795377A (zh) 2024-03-29

Family

ID=85154581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280054150.3A Pending CN117795377A (zh) 2021-08-05 2022-08-05 门控照相机、车辆用传感系统、车辆用灯具

Country Status (5)

Country Link
US (1) US12375819B2 (zh)
EP (1) EP4382969A4 (zh)
JP (1) JPWO2023013777A1 (zh)
CN (1) CN117795377A (zh)
WO (1) WO2023013777A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009257981A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2010164440A (ja) * 2009-01-16 2010-07-29 Stanley Electric Co Ltd 距離画像処理装置および撮影装置
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP6416085B2 (ja) * 2012-05-29 2018-10-31 ブライトウェイ ビジョン リミテッド 適用可能な被写界深度を使用するゲーテッド撮像
JP6312420B2 (ja) * 2013-12-20 2018-04-18 スタンレー電気株式会社 距離画像生成装置
JP6374690B2 (ja) * 2014-04-01 2018-08-15 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
WO2017110417A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
US10445896B1 (en) * 2016-09-23 2019-10-15 Apple Inc. Systems and methods for determining object range
KR102606240B1 (ko) * 2018-07-09 2023-11-24 삼성전자주식회사 멀티탭 픽셀을 포함하는 이미지 센서

Also Published As

Publication number Publication date
EP4382969A4 (en) 2024-12-25
EP4382969A1 (en) 2024-06-12
WO2023013777A1 (ja) 2023-02-09
JPWO2023013777A1 (zh) 2023-02-09
US12375819B2 (en) 2025-07-29
US20240430578A1 (en) 2024-12-26

Similar Documents

Publication Publication Date Title
CN113557172B (zh) 选通照相机、汽车、车辆用灯具、物体识别系统、运算处理装置、物体识别方法、图像显示系统、检查方法、摄像装置、图像处理装置
JP7594539B2 (ja) ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
US12047667B2 (en) Imaging device
JP7695230B2 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2020149140A1 (ja) 車載用イメージング装置、車両用灯具、自動車
CN111398975B (zh) 主动传感器、物体识别系统、车辆、车辆用灯具
WO2021193646A1 (ja) イメージング装置および車両用灯具、車両
US12375819B2 (en) Gating camera, sensing system for vehicle, vehicle lamp
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
JP7746300B2 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP7395511B2 (ja) イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
EP4286895A1 (en) Gated camera, vehicular sensing system, and vehicular lamp
US20250328994A1 (en) ToF IMAGING CAMERA, VEHICLE SENSING SYSTEM, AND VEHICLE LAMP
US20250095106A1 (en) Gating camera, sensing system for vehicle, vehicle lamp
CN116964486A (zh) 门控照相机、车辆用感测系统、车辆用灯具
JP7524207B2 (ja) イメージング装置、車両用灯具、車両、イメージング方法
CN112153252B (zh) 车辆用灯具
WO2022102775A1 (ja) センシング装置、車両用灯具、車両
CN118284825A (zh) 有源传感器、物体识别系统、车辆用灯具

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination