CN116847059A - 深度摄像头、深度图像采集装置和多传感器融合系统 - Google Patents

Abstract

本公开是关于一种深度摄像头、深度图像采集装置和多传感器融合系统。深度摄像头包括：深度镜头，所述深度镜头用于生成触发信号，所述触发信号用于指示所述深度镜头执行第一曝光操作，以获取第一图像信息；RGB镜头，所述RGB镜头与所述深度镜头通信连接以接收所述触发信号，所述触发信号用于指示所述RGB镜头执行第二曝光操作，以获取第二图像信息；处理器，所述处理器与所述深度镜头和所述RGB镜头分别通信连接，以接收所述触发信号、所述第一图像信息和所述第二图像信息，所述处理器根据所述接收到所述触发信号的本地时间，记录所述第一图像信息和所述第二图像信息的时间戳。

Description

深度摄像头、深度图像采集装置和多传感器融合系统

技术领域

本公开涉及终端技术领域，尤其涉及一种深度摄像头、深度图像采集装置和多传感器融合系统。

背景技术

针对目前市场上推行的一些RGB-D相机而言，其可以分别获取图像信息和深度信息，而对于RGB-D相机的成像质量而言，需要记录同一时刻的图像信息和深度信息，方可处理得到质量较高的数据信息，图像信息无法与同一时刻的深度信息结合，导致图片失真，用户体验差。

发明内容

本公开提供一种深度摄像头、深度图像采集装置和多传感器融合系统，以解决相关技术中的不足。

根据本公开实施例的第一方面，提供一种深度摄像头，包括：

深度镜头，所述深度镜头用于生成触发信号，所述触发信号用于指示所述深度镜头执行第一曝光操作，以获取第一图像信息；

RGB镜头，所述RGB镜头与所述深度镜头通信连接以接收所述触发信号，所述触发信号用于指示所述RGB镜头执行第二曝光操作，以获取第二图像信息；

处理器，所述处理器与所述深度镜头和所述RGB镜头分别通信连接，以接收所述触发信号、所述第一图像信息和所述第二图像信息，所述处理器根据所述接收到所述触发信号的本地时间，记录所述第一图像信息和所述第二图像信息的时间戳。

可选的，所述深度镜头包括触发信号生成模块、触发信号输出端和第一图像信息输出端，触发信号生成模块连接至所述触发信号输出端，所述触发信号生成模块用于生成所述触发信号；

所述RGB镜头包括第一触发信号输入端和第二图像信息输出端，所述第一触发信号输入端与所述触发信号输出端通信连接，以通过所述触发信号输出端获取所述触发信号；

处理器，所述处理器包括第一输入端和第二输入端，所述第一输入端与所述触发信号输出端通信连接，以通过所述触发信号输出端获取所述触发信号，所述第二输入端与所述第一图像信息输出端和所述第二图像信息输出端分别连接，以获取所述第一图像信息和所述第二图像信息。

可选的，所述处理器还包括：

第三输入端，所述第三输入端用于与GPS定位模块的PPS信号输出端连接，以接收所述PPS信号输出端输出的PPS脉冲信号；

串口输入端，所述串口输入端用于与GPS定位模块的串口输出端连接，以接收所述串口输出端输出的串口信号；

所述处理器用于记录接收到所述PPS脉冲信号的目标边沿时的第一本地时刻、根据所述串口信号解析接收到所述目标边沿时的UTC时刻并记录获取到所述UTC时刻的第二本地时刻，以根据所述第一本地时刻、所述第二本地时刻和所述UTC时刻，确定所述第二本地时刻对应的当前UTC时刻，根据所述当前UTC时刻更新所述处理器的本地时间。

可选的，所述处理器包括计算模块，所述计算模块基于所述第二本地时刻与所述第一本地时刻的差值与所述UTC时刻的和，计算所述当前UTC时刻。

可选的，所述处理器用于在所述述第二本地时刻与所述当前UTC时刻的差值大于预设阈值时，更新本地时间。

根据本公开实施例的第二方面，提供一种深度图像采集装置，包括：

如上述实施例中任一项所述的深度摄像头；

GPS定位模块，所述GPS定位模块与所述深度摄像头通信连接，所述GPS定位模块用于更新所述深度摄像头的处理器的本地时间。

根据本公开实施例的第三方面，提供一种多传感器融合系统，包括：

主传感器，所述主传感器包括如上述实施例中任一项所述的深度摄像头；

从传感器，每一所述从传感器包括第二触发信号输入端，所述第二触发信号输入端用于接收所述深度摄像头输出的触发信号，所述从传感器根据所述触发信号执行第三曝光操作。

可选的，还包括：

GPS定位模块，所述GPS定位模块用于更新所述主传感器和所述从传感器的本地时间，所述主传感器和所述从传感器根据更新后的本地时间记录获取到的图像信息的时间戳；

主机，所述主机与所述主传感器和所述从传感器分别通信连接，所述主机用于接收所述主传感器和所述从传感器获取到的图像信息，并根据所述时间戳融合处理所述图像信息。

可选的，所述GPS定位模块与所述主机通信连接，所述GPS定位模块还用于定位所属自主移动设备的绝对定位信息；

所述主机用于获取所述绝对定位信息并根据所述图像信息获取所述自主移动设备的相对定位信息，所述绝对定位信息和所述相对定位信息均用于规划所述自主移动设备的移动路径。

根据本公开实施例的第四方面，提供一种自主移动设备，包括：

如上述实施例中任一项所述的多传感器融合系统。

本公开的实施例提供的技术方案可以包括以下有益效果：

由上述实施例可知，在深度镜头生成触发信号以触发该深度镜头的同时，还可以传输该触发信息以通过该触发信号触发RGB镜头，实现深度镜头和RGB镜头的同时触发，有利于在同一时刻获取该第一图像信息和第二图像信息，以提升第一图像信息和第二图像信息之间的融合精度，而且处理器可以基于同一本地时间记录第一图像信息和第二图像信息的时间戳，同样有利于同一时刻第一图像信息和第二图像信息之间的融合精度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种深度摄像头的结构框图。

图2是根据一示例性实施例示出的一种深度图像采集装置的架构框图。

图3是根据一示例性实施例示出的一种多传感器融合系统的架构框图。

图4是根据一示例性实施例示出的另一种多传感器融合系统的架构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1是根据一示例性实施例示出的一种深度摄像头100的结构框图，图2是根据一示例性实施例示出的一种深度图像采集装置的架构框图。如图1和图2所示，该深度摄像头100可以包括深度镜头1、RGB镜头2和处理器3，该处理器3可以与深度镜头1和RGB镜头2分别通信连接，以获取该深度镜头1检测到的第一图像信息和RGB镜头2检测到的第二图像信息，其中深度镜头1和处理器3之间可以采用数据导线连接或者是无线连接，相类似地，RGB镜头2和处理器3之间也可以采用数据导线连接或者无线连接，本公开对此并不进行限制。

具体地，该深度镜头1可以用于生成触发信号，该触发信号可以用于指示深度镜头1执行第一曝光操作，从而获取第一图像信息；深度镜头1还可以与RGB镜头2通信连接，该RGB镜头2可以接收深度镜头1发送的触发信号，该触发信号还可以用于指示RGB镜头2执行第二曝光操作，从而获取第二图像信息。该处理器3可以通过与深度镜头1之间的通信连接接收触发信号和第一图像信息，并通过与RGB镜头2之间的通信连接接收第二图像信息；该处理器3可以根据接收到的触发信号的本地时间，将该本地时间记录为深度镜头1和RGB镜头2被触发的时间，因此可以基于该本地时间记录该第一图像信息和第二图像信息的时间戳。

基于本公开的技术方案，在深度镜头1通过触发信号被触发的同时RGB镜头2也可以基于接收到的触发信号被触发，实现深度镜头1和RGB镜头2的同时触发，有利于在同一时刻获取该第一图像信息和第二图像信息，以提升第一图像信息和第二图像信息之间的融合精度，而且处理器3可以基于同一本地时间记录第一图像信息和第二图像信息的时间戳，同样有利于同一时刻第一图像信息和第二图像信息之间的融合精度。其中，该触发信号可以包括高频脉冲信号，比如可以为20Hz或者30Hz的高频脉冲信号。

在该实施例中，该深度镜头1可以包括触发信号生成模块11、触发信号输出端12和第一图像信息输出端13，该触发信号生成模块11与触发信号输出端12连接，以通过触发信号输出端12输出触发信号生成模块11生成的触发信号；RGB镜头2可以包括第一触发信号输入端21和第二图像信息输出端22，该第一触发信号输入端21可以与触发信号输出端12通信连接，从而可以通过该第一触发信号输入端21获取触发信号生成模块11生成的触发信号。处理器3可以包括第一输入端31和第二输入端32，该第一输入端31可以与触发信号输出端12通信连接，以通过该第一输入端31接收触发信号输出端12输出的触发信号，第二输入端32可以与第一图像信息输出端13和第二图像信息输出端22分别连接，以通过该第二输入端32接收第一图像信息和第二图像信息。其中，如图2所示，该处理器3可以包括多个第二输入端32，其中一个第二输入端32用于接收第一图像信息，另一第二输入端32可以用于接收第二图像信息，在其他实施例中，该处理器3也可以是包括单个第二输入端32，通过该单个第二输入端32接收第一图像信息和第二图像信息，本公开对此并不进行限制。其中，该高频脉冲信号接入处理器3的第一输入端31，在接收到该高频脉冲信号的触发沿(上升沿或者下降沿)时，生成第二中断信号，并读取到该第二中断信号对应的本地时刻，将该第二中断信号对应的本地时刻记录为第一图像信息和第二图像信息基于本地时间的时间戳。

进一步地，为了提升该深度摄像头100与其他传感器数据之间的融合精度，如图2所示，该处理器3还可以包括第三输入端33和串口输入端34，该深度图像采集装置还可以包括GPS(Global Positioning System，全球定位系统)定位模块200，该GPS定位模块可以与深度摄像头100进行通信连接，以通过GPS定位模块更新处理器3的本地时间。具体地，该GPS定位模块200可以包括PPS(Pulse Per Second，秒脉冲)信号输出端201和串口输出端202，PPS信号输出端201可以与处理器3的第三输入端33连接，串口输出端202可以与处理器3的串口输入端34连接；以此，处理器3可以通过该第三输入端33接收PPS信号输出端201发出的PPS脉冲信号，通过串口输入端34接收串口输出端202输出的串口信号。

处理器3可以记录接收到PPS脉冲信号的目标边沿时的第一本地时刻，根据接收到的串口信号可以解析出接收到PPS脉冲信号的目标边沿的UTC(Universal TimeCoordinated，协调世界时)时刻，同时还可以记录获取到该UTC时刻的第二本地时刻，根据该第一本地时刻、第二本地时刻和UTC时刻，可以确定第二本地时刻对应的当前UTC时刻，进而可以根据该当前UTC时刻更新处理器3的本地时间，具体即将当前UTC时刻定义为新的第二本地时刻，以此可以使得处理器3的本地时间与UTC时间对齐，可以理解的是，GPS定位模块200可以从GPS卫星上获取标准的时间信号，进一步通过GPS定位模块200与处理器3之间的交互，根据该标准的时间信号更新处理器的本地时间，减小或者消除了本地时间与标准的时间信号的偏差，有利于通过标准的时间信号实现深度摄像头100与其他传感器之间的时间对齐，便于深度摄像头100数据与其他传感器数据之间的融合，相对于通过处理器3的本地时钟计时的方案，减小或者消除了处理器3的本地时间与UTC时间之间的偏差。其中，处理器3可以通过第三输入端33在接收到PPS脉冲信号的目标边沿生成第一中断信号，处理器3可以通过记录该第一中断信号的时间，得到目标边沿发生时准确的本地时间，即得到该第一本地时刻，能够有效保证该第一本地时刻的可靠性

其中，该串口信号可以包括GPS定位模块200输出的GPRMC数据或者GPGGA数据，该GPS定位模块200可以在每输出一个PPS脉冲信号后，输出一个GPRMC数据或者GPGGA数据，处理器3通过解析该GPRMC数据或者GPGGA数据可以得到目标边沿的UTC时刻。其中，该目标边沿可以包括PPS脉冲信号上升沿或者下降沿，当目标边沿为上升沿时，该处理器3通过解析该GPRMC数据或者GPGGA数据可以得到上升沿对应的UTC时刻，当目标边沿为下降沿时，该处理器3通过解析该GPRMC数据或者GPGGA数据可以得到下降沿对应的UTC时刻。该GPGGA数据为GPS数据输出格式语句，通常包括17个字段：语句标识头，世界时间，纬度，纬度半球，经度，经度半球，定位质量指示，使用卫星数量，水平精度因子，椭球高，高度单位，大地水准面高度异常差值，高度单位，差分GPS数据期限，差分参考基站标号，校验和结束标记，分别用逗号进行分隔。

在上述实施例中，处理器3还可以包括计算模块，假定第一本地时刻为T1、UTC时刻为T2、第二本地时刻为T3，处理器3需要确定的第二本地时刻T3对应的当前UTC时刻为T4。在一些实施例中，可以将基于处理器3更新前的本地时间记录的第一本地时刻T1和第二本地时刻T3的差值，定义为UTC时刻T2和第二本地时刻T3对应的当前UTC时刻为T4的差值。因此，计算模块可以基于第二本地时刻T3与第一本地时刻T1的差值与UTC时刻T2的和，计算当前UTC时刻T4，即T4＝T2+(T3-T1)。在另一些实施例中，由于更新前处理器3的本地时间与UTC时间可能存在一定的误差，因此可以将第一本地时刻T1和第二本地时刻T3的差值进行校准后，再与UTC时刻T3做和计算当前UTC时刻T4。其中，校准方式可以是第一本地时刻T1和第二本地时刻T3的差值乘以权重，或者也可以是第一本地时刻T1和第二本地时刻T3的差值减去或者加上一个校准值，该校准值可以基于试验所得，本公开对此并不进行限制。

进一步地，由于GPS定位模块200以一定的频率持续的向处理器3发送PPS脉冲信号，而实际上，在一些情况下，在处理器3的本地时间的误差在允许范围内时，可以不进行本地时间更新，以此可以减少处理器3的资源浪费。因此，该处理器3还可以在第二本地时刻T3和当前UTC时刻T4的差值大于预设阈值时，认为处理器3当前使用的本地时间的误差超过允许范围，因此根据UTC时刻T4更新本地时间。

基于本公开的技术方案，如图3所示，本公开还提供一种多传感器融合系统，多传感器融合系统包括主传感器和从传感器301，该主传感器可以包括上述任一项实施例中所述的深度摄像头100，该从传感器301可以包括第二触发信号输入端3011，该第二触发信号输入端3011可以与深度摄像头100的触发信号输出端12连接，以此可以通过该第二触发信号输入端3011接收深度镜头1输出的触发信号，该从传感器301可以根据接收到的触发信号执行第三曝光操作。

其中，每一从传感器301可以包括一个或者多个镜头，至少一个镜头可以设置第二触发信号输入端3011，深度镜头1的触发信号输出端12可以与其中至少一个镜头的第二触发信号输入端3011，以触发相应的镜头执行第三曝光操作。举例而言，每一从传感器301均可以包括深度镜头1和RGB镜头，或者还可以包括其他长焦镜头或者广角镜头，本公开对此并不进行限制。在本公开提供的和实施例中，以该融合系统包括单个从传感器301为例进行说明，在其他实施例中，该融合系统也可以包括多个从传感器300，该多个从传感器300中的至少一个可以通过主传感器的深度镜头1进行触发。

基于此，在该融合系统中，可以通过主传感器的深度镜头1同时触发主传感器所包括的其他镜头，同时还可以触发从传感器301，实现主传感器和从传感器301之间的同步触发，有利于获取同一时刻的目标图像，减少后续图像信息之间的融合误差，提升融合精度。

如图4所示，该融合系统还可以包括GPS定位模块200和主机302，该GPS定位模块200可以用于更行主传感器和从传感器301的本地时间，使得主传感器和从传感器可以根据更新后的本地时间记录获取到的图像信息的时间戳；主机302可以与主传感器和从传感器301分别通信连接，比如在本公开提供的实施例中，可以通过USB数据线进行通信连接，在其他实施例中，也可以通过无线通信的方式实现主机302与主传感器和从传感器301之间的通信连接；该主机302用于接收主传感器和从传感器获取到的图像信息，并根据时间戳融合处理所述图像信息。基于此，通过GPS定位模块200进行时间更新，可以将主传感器和从传感器的本地时间与世界时间对齐，减少由于主传感器和从传感器自身的时间误差导致融合误差。其中，GPS定位模块200更新主传感器和从传感器的本地时间的具体实施方式可以参考前述实施例，此处不再一一赘述。

仍以图4所示，GPS定位模块200还可以与主机302通信连接，利用GPS定位模块200的自身的定位功能，该GPS定位模块200还可以用于定位所属自主移动设备的绝对定位信息，该绝对定位信息是相对于地球坐标系；主机用于获取所述绝对定位信息并根据图像信息获取自主移动设备的相对定位信息，该相对定位信息可以是基于自主移动设备行进过程中的任意参考点而言，具体可以采用Slam融合算法获取该相对定位信息。

其中，该绝对定位信息和所述相对定位信息均用于规划所述自主移动设备的移动路径，比如，在一些GPS信号较弱的地方或者区域，可以通过相对定位信息来规划移动路径，而在一些GPS信号较好的地方或者区域，可以通过绝对定位信息来规划移动路径，从而提升移动精度，同时通过绝对定位信息还可以用于修正相对定位信息的误差，比如可以比较参考点的的绝对定位信息和当前位置点的绝对定位信息，获取参考点和当前位置点之间的距离，以此来修正相对定位信息。GPS定位模块200获取到的定位信息可以以通过串口输出端202输出，然后通过融合系统的串口转USB模块输送至主机302。

需要说明的是，在图3和图4所示实施例中仅作为示例性说明，在其他一些实施例中，该多传感器融合系统还可以包括其他传感器，比如麦克风模组或者IMU传感器等，本公开对此并不进行限制。如图3所示，该多传感器融合系统可以包括单个从传感器，或者如图4所示，该多传感器融合系统可以包括两个从传感器，或者在其他实施例中，该多传感器融合系统也可以包括三个及三个以上的从传感器，本公开对此并不限制。

基于本公开的技术方案，还提供一种自主移动设备，该自主移动设备可以包括上述任一实施例中所述的多传感器融合系统，该自主移动设备可以包括自动驾驶车辆或者无人机等，本公开对此并不进行限制

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种深度摄像头，其特征在于，包括：

深度镜头，所述深度镜头用于生成触发信号，所述触发信号用于指示所述深度镜头执行第一曝光操作，以获取第一图像信息；

RGB镜头，所述RGB镜头与所述深度镜头通信连接以接收所述触发信号，所述触发信号用于指示所述RGB镜头执行第二曝光操作，以获取第二图像信息；

处理器，所述处理器与所述深度镜头和所述RGB镜头分别通信连接，以接收所述触发信号、所述第一图像信息和所述第二图像信息，所述处理器根据所述接收到所述触发信号的本地时间，记录所述第一图像信息和所述第二图像信息的时间戳。

2.根据权利要求1所述的深度摄像头，其特征在于，所述深度镜头包括触发信号生成模块、触发信号输出端和第一图像信息输出端，触发信号生成模块连接至所述触发信号输出端，所述触发信号生成模块用于生成所述触发信号；

所述RGB镜头包括第一触发信号输入端和第二图像信息输出端，所述第一触发信号输入端与所述触发信号输出端通信连接，以通过所述触发信号输出端获取所述触发信号；

处理器，所述处理器包括第一输入端和第二输入端，所述第一输入端与所述触发信号输出端通信连接，以通过所述触发信号输出端获取所述触发信号，所述第二输入端与所述第一图像信息输出端和所述第二图像信息输出端分别连接，以获取所述第一图像信息和所述第二图像信息。

3.根据权利要求1所述的深度摄像头，其特征在于，所述处理器还包括：

第三输入端，所述第三输入端用于与GPS定位模块的PPS信号输出端连接，以接收所述PPS信号输出端输出的PPS脉冲信号；

串口输入端，所述串口输入端用于与GPS定位模块的串口输出端连接，以接收所述串口输出端输出的串口信号；

所述处理器用于记录接收到所述PPS脉冲信号的目标边沿时的第一本地时刻、根据所述串口信号解析接收到所述目标边沿时的UTC时刻并记录获取到所述UTC时刻的第二本地时刻，以根据所述第一本地时刻、所述第二本地时刻和所述UTC时刻，确定所述第二本地时刻对应的当前UTC时刻，根据所述当前UTC时刻更新所述处理器的本地时间。

4.根据权利要求3所述的深度摄像头，其特征在于，所述处理器包括计算模块，所述计算模块基于所述第二本地时刻与所述第一本地时刻的差值与所述UTC时刻的和，计算所述当前UTC时刻。

5.根据权利要求4所述的深度摄像头，其特征在于，所述处理器用于在所述述第二本地时刻与所述当前UTC时刻的差值大于预设阈值时，更新本地时间。

6.一种深度图像采集装置，其特征在于，包括：

如权利要求1-5中任一项所述的深度摄像头；

GPS定位模块，所述GPS定位模块与所述深度摄像头通信连接，所述GPS定位模块用于更新所述深度摄像头的处理器的本地时间。

7.一种多传感器融合系统，其特征在于，包括：

主传感器，所述主传感器包括如权利要求1-5中任一项所述的深度摄像头；

从传感器，每一所述从传感器包括第二触发信号输入端，所述第二触发信号输入端用于接收所述深度摄像头输出的触发信号，所述从传感器根据所述触发信号执行第三曝光操作。

8.根据权利要求7所述的多传感器融合系统，其特征在于，还包括：

GPS定位模块，所述GPS定位模块用于更新所述主传感器和所述从传感器的本地时间，所述主传感器和所述从传感器根据更新后的本地时间记录获取到的图像信息的时间戳；

主机，所述主机与所述主传感器和所述从传感器分别通信连接，所述主机用于接收所述主传感器和所述从传感器获取到的图像信息，并根据所述时间戳融合处理所述图像信息。

9.根据权利要求8所述的多传感器融合系统，其特征在于，所述GPS定位模块与所述主机通信连接，所述GPS定位模块还用于定位所属自主移动设备的绝对定位信息；

所述主机用于获取所述绝对定位信息并根据所述图像信息获取所述自主移动设备的相对定位信息，所述绝对定位信息和所述相对定位信息均用于规划所述自主移动设备的移动路径。

10.一种自主移动设备，其特征在于，包括：

如权利要求7-9中任一项所述的多传感器融合系统。