CN120303600A - 具有同时tof和rgb图像采集的环绕视图成像系统 - Google Patents

Abstract

本发明涉及一种用于对系统的周围环境进行三维(3D)成像的环绕视图成像系统，并且特别是涉及一种用于此种环绕视图成像系统的成像器，其使得能够用全传感器分辨率进行同时的飞行时间(TOF)和光学(RGB)图像采集。根据本发明的成像器(10)包括第一图像检测器(12)和圆柱形反射折射透镜系统，该透镜系统形成具有入口孔径(32)、顶表面(34)和底表面(36)的内部体积(30)；其中在该成像器的视场(FOV10)中，来自该成像器(10)的周围环境的成像光(B)通过该入口孔径(32)进入该内部体积(30)，首先通过该底表面(36)朝向该顶表面(34)反射，其次通过该顶表面(34)反射回该底表面(36)，并且通过该底表面(36)中的底部孔径离开该内部体积(30)朝向该第一图像检测器(12)，以用于检测该成像光(B)，其中该成像光(B)的光谱包括第一光谱范围和不同于该第一光谱范围的第二光谱范围，其中该顶表面(34)包括光谱滤波元件(38)，其将仅该第一光谱范围的成像光(B)反射回该底表面(36)，但使该第二光谱范围的成像光(B)透射。

Description

具有同时TOF和RGB图像采集的环绕视图成像系统

技术领域

本发明涉及一种用于对系统的周围环境进行三维(3D)成像的环绕视图成像系统，并且特别是涉及一种用于此种环绕视图成像系统的成像器，其使得能够用全传感器分辨率进行同时的飞行时间(TOF)和光学(RGB)图像采集。

背景技术

对于能够在系统的3D周围环境中定位物体的3D成像系统或传感器，存在基于多种技术的可用的不同方法，如光检测和测距(激光雷达，LiDAR)、飞行时间(ToF，直接和间接版本)、调幅或调频照明、结构光等。这样的系统通常存在于自动移动机器人(AMR)，工业移动机器人(IMR)，和诸如起重车、叉车、汽车、无人机的自动导引车辆(AGV)中，用于避免碰撞、检测障碍物、乘客监控以及观察机器和机器人的禁区。环绕视图成像系统还可以用于协作机器人、安全和监控摄像机应用。

如果系统是基于光学的，并且使用阵列检测器(例如，CMOS传感器、CCD传感器、光电二极管阵列)来避免部件在系统中的移动，那么将周围环境成像到相关图像检测器上的接收透镜是高度关键的元件。透镜必须允许在水平和垂直方向的宽视场上具有高分辨率。与此同时，它应该在没有渐晕的情况下具有均匀成像特性和高光通量，以实现大检测范围。

对于宽的、例如大于120度的水平视场(HFOV)，鱼眼透镜可以在直立位置使用。然而，常规的鱼眼透镜具有几个缺点，如高入射角和相关的涂层问题。另外的问题是非常宽的视场结合了低分辨率、低f值和由偏移照明引起的渐晕。这些缺点可以通过使用反射折射透镜系统来避免，在反射折射透镜系统中，反射镜和透镜组合以形成图像。

通过在相应成像系统中使用广角透镜(例如鱼眼透镜或直线透镜)作为透镜系统的第一透镜，可以生成环绕视图图像。广角透镜可以具有超过180°的视角(AOV)，例如在透镜可以提供图像的垂直方向的最大天顶角范围。具有超过180°的AOV的透镜被称为超广角透镜。可以实现最高达约300°的视角。在典型的轴对称成像系统中，可成像的方位角范围，例如在水平方向上，通常为360°，从而允许在方位方向实现环绕视图。因此，使用超广角透镜可以成像高达约3π球面度的立体角Ω。广角透镜通常显示出强烈的曲线桶形畸变，而直线透镜可以在一定程度上进行光学校正。光学桶形畸变校正也可以被包括在相关透镜系统的设计中。因此，AOV大于180°的透镜系统被称为超广角透镜系统。

为了进一步改善3D成像的精度以及可靠性，可以将多种技术组合在单个环绕视图成像系统中。特别地，先进的TOF技术和RGB图像采集的组合已证明是尤其有益的。在此类组合成像系统中，用不同技术捕获的图像必须具有明显的重叠，以允许快速且高效的图像处理，以对组合图像数据进行后续分析。

因此，此类环绕视图成像系统通常采用单个图像检测器，该检测器能够检测由公共光束路径接收的成像光的两个信号。采集的图像然后进入共同的FOV。在此类双模检测器中，每个像素通常具有一组四个独立的子像素，即对红光、绿光、蓝光和红外光敏感的子像素。然而，此类检测器只可以提供降低的TOF和RGB数据分辨率，因为像素的TOF和RGB子像素并排定位，这限制了光学系统的分辨率(参见图1)。

可以使用检测器的全部分辨率的替代方法是所谓的并排布置各检测系统。然而，这些检测系统必须布置成使得它们还属于共同的FOV，这意味着它们必须在共同的平面、例如水平面依次对齐。然而，这种并排布置专用TOF和RGB检测器的方式无法实现完整的360°水平FOV，因为后部检测器的FOV会被前部检测器部分地遮挡。此外，由于系统的周围环境中的场景的视角略微不同(见图2)，图像信息仍然需要后期在软件中对齐和预处理。

本发明的目标问题涉及在完整的360°HFOV上以全检测器分辨率同时获取TOF和RGB数据的问题。因此，应提供一种避免或至少减少现有技术中的组合TOF/RGB成像系统的问题的环绕视图成像系统。

发明内容

本发明通过提供如权利要求1所定义的用于环绕视图成像系统的成像器来解决该客观问题。进一步提供了一种包括根据本发明的成像器的环绕视图成像系统。

根据本发明的用于环绕视图成像系统的成像器包括第一图像检测器和圆柱形反射折射透镜系统，该透镜系统形成具有入口孔径、顶表面和底表面的内部体积。在成像器的视场中，来自成像器的周围环境的成像光通过入口孔径进入内部体积，首先通过底表面朝向顶表面反射，其次通过顶表面反射回底表面，并且通过底表面中的底部孔径离开内部体积朝向第一图像检测器，以用于检测成像光。成像光的光谱包括第一光谱范围和不同于第一光谱范围的第二光谱范围。顶表面包括光谱滤波元件，其将仅第一光谱范围的成像光反射回底表面，但使第二光谱范围的成像光透射。

优选地，成像器进一步包括用于检测透射的成像光的第二检测器。优选地，成像器进一步包括第一光学系统，用于将第一光谱范围内的环境的图像投射到第一图像检测器上。优选地，成像器进一步包括第二光学系统，用于将第二光谱范围内的环境的图像投射到第二图像检测器上。在特别优选的实施例中，第一图像检测器是用于可见光谱范围的检测器(RGB检测器)并且第二检测器是TOF检测器，或者第一图像检测器是TOF检测器并且第二检测器是用于可见光谱范围的检测器(RGB检测器)。

成像器应被理解为能够接收、聚焦和检测从该成像器的周围环境进入该成像器的成像光的装置。成像器因此通常包括与周围环境相邻的至少一个(优选为环形圆周360度的)入口孔径，用于生成周围环境的图像的透镜或其他光学元件，以及检测所生成的周围环境的图像以用于进一步处理的相关图像检测器。由于图像的生成是确保良好图像品质的最重要的方面，代替使用单个透镜或光学元件，可以在成像器中使用用于校正出现的像差的透镜系统(或一般的光学部件系统)。成像器可以是使用环境光(例如，3D可见光或红外光)进行成像的装置或者可以是特别适于将来自照明光源或照明器的反射光(照明光)成像为成像光(例如，闪光LIDAR)。

在组合的ToF/RGB成像系统中，成像光的光谱通常包含第一和第二光谱范围。特别地，第一光谱范围可以是指可见光(VIS)光谱(或所述光谱范围的至少一部分)，并且第二光谱范围可以是指红外光(IR/SWIR)光谱(或所述光谱范围的至少一部分)，反之亦然。特别地，第一光谱范围可以属于RGB成像并且第二光谱范围可以属于TOF成像。这两个光谱范围必须分离以避免这两个系统之间的任何信号干扰。

反射折射透镜系统的顶表面包括光谱滤波元件，其将仅来自第一光谱范围的成像光反射回底表面，但使第二光谱范围的成像光透射。因此，光束路径中包括一种分光片，其允许在不同的检测器上生成具有各自光谱的环境图像。因此，两个图像可以属于共同的FOV，并且两个检测器不会相互遮挡。

本发明的主要思想是使用定制透镜同时采集RGB和TOF数据。来自主动或被动照明场景的反射光可以在360°HFOV上收集。光线可以在第一反射镜上反射至第二光学元件。该光学元件可以是用于VIS光谱(RGB)的透射器和用于NIR/SWIR光谱(TOF)的反射器。例如，专用RGB检测器可以在第一反射镜上方收集VIS光子。专用TOF检测器可以在第一反射镜下方的区域收集NIR/SWIR光子。可以通过考虑分辨率、传感器尺寸、像素大小和接口、以及性能来单独地优化检测器。TOF和RGB检测器的FOV和其他参数可以最佳地适配于特定应用的相应要求。两个检测器共享光束路径并属于相同的360°HFOV，可以在没有任何盲点的情况下进行观察，并且可以在360°HFoV和完全可调节的垂直FOV(VFoV)上捕捉系统周围的完整场景。由于信息已经由于相同的FOV而匹配，因此不需要对数据进行预处理。

优选地，圆柱形反射折射透镜系统由圆柱形单片反射折射透镜形成，该透镜具有填充内部体积的主体，并具有包括入口孔径、顶表面和底表面的套筒。可选地，圆柱形反射折射透镜系统可以基于单独的光学部件如反射镜、分光片和偏转器的布置。在这种情况下，内部空间可以保持空闲。

对于圆柱形单片反射折射透镜的优选实施例，成像光首先被围绕底表面的中心布置的周向第一非球面透镜区域反射，其次被布置在顶表面的中心处的第二非球面透镜区域反射，并且通过位于底表面的中心处的第三非球面透镜区域离开内部体积朝向图像检测器。

成像光因此可以经由单片反射折射透镜的圆柱形侧面进入单片反射折射透镜，并且可以然后依次被两个非球面镜(或镜面)反射。与所述光相互作用的第一非球面镜面可以是福布斯(Forbes)非球面(G.W.Forbes,“Shape specification for axially symmetricoptical surfaces(轴对称光学表面的形状规格)”,Opt.Express(光学快报)15(8),5218-5226(2007))，而另一个镜面可以展现标准的非球面描述。作为使用福布斯非球面的结果，对于上述表面，可以获得改善的光学性能。

成像光可以经由第三非球面(例如，标准非球面)离开单片反射折射透镜的内部空间，这为校正光学像差的能力增加了额外的自由度。与典型的鱼眼透镜相比，单片设计的另外的益处是实现了适度的表面切线斜率和入射角，以及更小的元件直径。与具有单个反射镜元件的解决方案相比，单片透镜设计提供了简单的系统组装，并且可以更精确地且以更低的公差制造。

与标准鱼眼透镜相反，反射折射透镜设计限制了成像器在垂直方向的视场，以避免相关图像检测器的饱和及过度曝光。特别地，系统可以具有360度×60度的水平和垂直视场。在反射折射透镜处于竖直位置的情况下，例如可以将60度划分为从水平面向上45度和向下15度。然而，通过这样的透镜也可以实现高达360度×120度的甚至更宽的水平和垂直视场。通过将视场限制在所需的角度范围内，只有来自周围环境的相关区域的成像光可以分别进入透镜和成像器。较小的垂直视场因此降低了由于偶然捕获的环境和分散光导致检测器饱和的可能性。特别地，对于在平坦入射角下反射的环境光(例如，潮湿道路上傍晚阳光的明亮反射)，可以避免环境光进入成像器。

例如，单片反射折射透镜可以被设计为在整个视场上具有1.5的f值而没有渐晕。优选的f值在1.2与1.8之间的范围内，更优选在1.4与1.6之间的范围内。由于透镜的紧凑单片设计，在透镜的生产期间就已经可以有效地校正像差，并且不需要复杂且容易出错的后期组装过程。这还确保了成像器的良好的长期稳定性，并使透镜相对地独立于外部环境参数(如温度或湿度)的变化。

由于单片已经包括三个非球面，因此光学系统的其余部分可以仅用简单球面透镜来实现，同时仍以适中的成本确保良好的光学性能(例如，MTF、失真等)。可以选择失真，使得在具有二次像素的图像检测器处的垂直和水平分辨率(至少大约)相同。此外，可以具体地产生失真以获得在特定ROI中所要求的分辨率。然而，为了进一步改善透镜的光学特性，套筒的区域还可以包括额外的非球面形状，来自成像器的周围环境的成像光在该套筒的区域进入主体。在这种情况下，透镜上可以存在四个非球面，以获得更高的性能和/或更低或改善的失真特性。

优选地，成像器的入口孔径包括被配置为使成像光的全光谱透射的抗反射涂层。优选地，光谱滤波元件包括介电层或光栅。

优选地，第一检测器和第二检测器彼此相对布置，其有效表面沿成像器的垂直轴线平行地对齐。

在优选的实施例中，图像检测器可以具有适配于图像尺寸的主动检测区域或特定定义的感兴趣区域(ROI)。由于图像的中心区域可能与成像无关，该中心区域可能对应于成像器的有效FOV之外的天顶角，因此可以从图像读出中或通过与有效的主动检测器表面的选择性映射来完全省略或忽略图像检测器的这些区域。这具有的优点是，图像检测器的被动区域不会由于偶然捕获的环境光和散射光饱和。此外，由于不需要读出不重要的检测器区域，对于特定的检测器配置，可以提高特定类型检测器的有效帧速率。通过更高的帧速率，可以减少光致电荷载流子在检测器的各个像素中的累积，使得在不使用高动态范围(HDR)技术的情况下可以优化检测器的信噪比(SNR)，以用于宽动态范围上的图像检测。

本发明的进一步优选实施例由从属权利要求中提及的特征产生。

除非在特定情况下另有规定，本申请中提及的本发明的各种实施例和方面可以相互组合以获得优势。

附图说明

在下文中，将通过附图进一步详细地描述本发明。所给出的示例适于描述本发明。附图示出：

图1是用于同时TOF和RGB成像的现有技术双模式检测器中的像素阵列的示意图；

图2是用于同时TOF和RGB成像的两个独立检测器的现有技术并排配置的示意图；

图3是本发明的成像器的示例性实施例的示意图；以及

图4是使用检测器上图像的不同对齐来优化环绕视图成像系统的成像器的图像分辨率和FOV的示意图。

具体实施方式

图1示出了用于同时TOF和RGB成像的现有技术双模式检测器中的像素阵列的示意图。传感器级别的TOF和RGB像素的组合降低分辨率并损害图像品质。640×480像素的传感器(例如，松下公司(Panasonic)GC1N)提供仅320×240的TOF分辨率，这对于要求明显更高分辨率的360°HFOV成像是远远不够的。

图2示出了用于同时TOF和RGB成像的两个独立检测器的现有技术并排配置的示意图。然而，这种并排布置专用TOF和RGB检测器的方式无法实现完整的360°水平FOV，因为后部检测器的FOV会被前部检测器部分地遮挡。此外，由于系统的周围环境中的场景的视角略微不同，图像信息仍然需要后期在软件中对齐和预处理。

图3示出了本发明的成像器10的示例性实施例的示意图。成像器10包括第一图像检测器12和圆柱形反射折射透镜系统，该透镜系统形成具有入口孔径32、顶表面34和底表面36的内部体积30。在成像器的视场FOV10中，来自成像器10的周围环境的成像光B通过入口孔径32进入内部体积30，首先通过底表面36朝向顶表面34反射，其次通过顶表面34反射回底表面36，并且通过底表面36中的底部孔径离开内部体积30朝向第一图像检测器12，以用于检测成像光B。成像光B的光谱包括第一光谱范围和不同于第一光谱范围的第二光谱范围。顶表面34包括光谱滤波元件28，其将仅第一光谱范围的成像光B反射回底表面36，但使第二光谱范围的成像光B透射。

圆柱形反射折射透镜系统可以优选地由圆柱形单片反射折射透镜20形成，该透镜具有填充内部体积30的主体，并具有包括入口孔径32、顶表面34和底表面36的套筒。在这种情况下，成像光B可以首先被围绕底表面36的中心C1布置的周向第一非球面透镜区域22反射，可以其次被布置在顶表面34的中心C2处的第二非球面透镜区域24反射，并且通过位于底表面36的中心C1处的第三非球面透镜区域26离开内部体积30朝向图像检测器12。

对应的反射折射透镜20可以因此包含四个光学有效表面，在这些表面上成像光B在传播通过单片的主体30的同时被重定向。套筒32和第三非球面透镜区域26对于成像光B应当是高度透明的。在这些表面上，当反射折射透镜20的折射率与周围环境的折射率不同时，成像光通过衍射而重定向。优选地，反射折射透镜20由具有高折射率(在成像光B的相关光谱范围内透明)的塑料材料制成，如丙烯酸、聚苯乙烯、聚碳酸酯、环烯烃聚合物(COP)或由这些材料制成的复合材料。然而，可以使用在成像光B的相关光谱范围内透明的任何材料。

在第一非球面透镜区域22和第二非球面透镜区域24，成像光B可以通过反射而重定向。这意味着在这些区域，主体30的各个表面可以用作用于入射成像光B的反射镜。优选地，可以通过将金属或介电层(镜面)涂覆在相应的表面来制造反射镜。介电层可以是被设计为在成像光B的相关光谱范围内提供高反射的介电堆叠体。反射表面的使用通常防止在反射折射透镜20中出现散射光，该散射光可能偶然地进入成像器10的后续区段。换言之，反射折射透镜20是稳定且紧凑的光学部件，其价格低廉且易于生产，并且通过避免反射折射透镜20内部杂散光的出现来降低相关图像检测器12的饱和及过度曝光的风险。

所示的成像器10进一步包括第一光学系统14，用于将第一光谱范围内的环境的图像投射到第一图像检测器12上。该成像器进一步包括用于检测透射的成像光B的第二检测器42和用于将第二光谱范围内的环境的图像投射到第二图像检测器12上的第二光学系统44。第一检测器12和第二检测器42彼此相对布置，其有效表面沿成像器10的垂直轴线平行地对齐。

第一光学系统示例性地显示为位于反射折射透镜20与图像检测器12之间的透镜堆叠体。特别地，所示的透镜堆叠体包括用于进一步图像投影的八个球面透镜。由于所示的单片透镜20包括三个非球面，因此光学系统的其余部分可以仅用标准球面透镜来实现，同时仍以适中的成本确保良好的光学性能(例如，MTF、失真等)。成像器10可以进一步包括附加的带通滤波器，其可以优选地布置在光学系统14、44与相应图像检测器12、42之间。附加的带通滤波器可以切断照明光的光谱分量，这些光谱分量与图像生成无关，或者会导致图像检测器12的饱和及过度曝光。第二光学系统44可以与第一光学系统14相同或至少相当。由于两个光路非常相似，因此成像的光学要求可能也相似。然而，由于涉及不同的光谱范围，可能需要进行调整。第一图像检测器12可以是用于可见光谱范围(RGB)的检测器，并且第二检测器42可以是飞行时间(ToF)检测器，反之亦然。优选地，入口孔径32包括被配置为使成像光B的全光谱透射的抗反射涂层。在另一个优选实施例中，光谱滤波元件28包括介电层或光栅。

图4示出了使用检测器上图像的不同对齐来优化环绕视图成像系统的成像器的图像分辨率和FOV的示意图。可以调整场景在检测器上的投影以获得更小但分辨率更高的水平/垂直FOV。虽然在实例a)中，成像器的FOV完全成像在检测器的有效表面上，但是实例b)示出了在具有相同尺寸的有效表面的检测器处，水平FOV略微减小到θ＝270°的对齐。在c)示出了另一个具有较小检测器和不同纵横比的实例。在该特定检测器上，水平FOV甚至进一步减小到θ＝180°。然而，完整的垂直FOV仍然可以由检测器覆盖。

附图标记列表

10 成像器

12 第一图像检测器

14 第一光学系统

20 反射折射透镜

22 第一非球面透镜区域

24 第二非球面透镜区域

26 第三非球面透镜区域

28 光学滤波元件

30 内部体积(主体)

32 入口孔径(套筒)

34 顶表面

36 底表面

42 第二图像检测器

44 第二光学系统

B 成像光

C1 中心(底表面36)

C2 中心(顶表面34)

FOV10 成像器的视场

RGB 红、绿、蓝

Claims (10)

1.一种用于环绕视图成像系统的成像器(10)，包括第一图像检测器(12)和圆柱形反射折射透镜系统，所述透镜系统形成具有入口孔径(32)、顶表面(34)和底表面(36)的内部体积(30)；其中在所述成像器的视场(FOV10)中，来自所述成像器(10)的周围环境的成像光(B)通过所述入口孔径(32)进入所述内部体积(30)，首先通过所述底表面(36)朝向所述顶表面(34)反射，其次通过所述顶表面(34)反射回所述底表面(36)，并且通过所述底表面(36)中的底部孔径离开所述内部体积(30)朝向所述第一图像检测器(12)，以用于检测所述成像光(B)，

其特征在于，

所述成像光(B)的光谱包括第一光谱范围和不同于所述第一光谱范围的第二光谱范围，其中所述顶表面(34)包括光谱滤波元件(38)，其将仅所述第一光谱范围的成像光(B)反射回所述底表面(36)，但使所述第二光谱范围的成像光(B)透射。

2.如权利要求1所述的成像器(10)，其中，所述圆柱形反射折射透镜系统由圆柱形单片反射折射透镜(20)形成，其具有填充所述内部体积(30)的主体，并具有包括所述入口孔径(32)、所述顶表面(34)和所述底表面(36)的套筒。

3.如权利要求1或2所述的成像器(10)，其中，所述成像光(B)首先被围绕所述底表面(36)的中心(C1)布置的周向第一非球面透镜区域(22)反射，其次被布置在所述顶表面(34)的中心(C2)处的第二非球面透镜区域(24)反射，并且通过位于所述底表面(36)的中心(C1)处的第三非球面透镜区域(26)离开所述内部体积(30)朝向所述图像检测器(12)。

4.如前述权利要求中任一项所述的成像器(10)，其中，所述成像器(10)进一步包括第一光学系统(14)，用于将所述第一光谱范围内的环境的图像投射到所述第一图像检测器(12)上。

5.如前述权利要求中任一项所述的成像器(10)，进一步包括用于检测透射的成像光(B)的第二检测器(42)。

6.如权利要求5所述的成像器(10)，其中，所述成像器(10)进一步包括第二光学系统(44)，用于将所述第二光谱范围内的环境的图像投射到所述第二图像检测器(42)上。

7.如权利要求5或6所述的成像器(10)，其中，所述第一图像检测器(12)是用于可见光谱范围的检测器并且所述第二检测器(42)是飞行时间检测器，或者其中，所述第一图像检测器(12)是飞行时间检测器并且所述第二检测器(42)是用于可见光谱范围的检测器。

8.如前述权利要求中任一项所述的成像器(10)，其中，所述入口孔径(32)包括被配置为使所述成像光(B)的全光谱透射的抗反射涂层。

9.如权利要求5至8中任一项所述的成像器(10)，其中，所述第一检测器(12)和所述第二检测器(42)彼此相对布置，其有效表面沿所述成像器(10)的垂直轴线平行地对齐。

10.如前述权利要求中任一项所述的成像器(10)，其中，所述光谱滤波元件(28)包括介电层或光栅。