CN105357511B - 深度数据检测系统 - Google Patents

Abstract

本发明公开了一种深度数据检测系统，包括：红外编码投影系统，具有多种工作模式，在每一种工作模式下以不同的投射角度和/或从不同的位置向被测空间投射带有纹理的红外光束；两个具有预定相对空间位置关系的红外光图像传感器，对于每一种工作模式，两个红外光图像传感器分别对被测空间成像；处理器，用于获取不同工作模式下使用两个红外光图像传感器得到的两个红外纹理图像，处理器可以确定不种工作模式下待检测物体上的红外纹理相对于两个红外光图像传感器的深度数据，然后将多个工作模式下确定的深度数据融合，将融合后的深度数据作为待检测物体的最终深度数据。由此，最终得到的深度数据可以更加全面地反映待检测物体的深度信息。

Description

深度数据检测系统

技术领域

本发明涉及三维检测技术领域，具体地说，涉及一种深度数据检测系统。

背景技术

三维信息亦可称深度信息或景深信息，其在现代图像信息采集技术中的重要性日益显现，尤其在监控安防、体感操作及机械自动化等应用中。

现有的深度检测设备一般采用辅助离散光源进行照明，如结构光等，通过检测结构光的相位移动从而计算得到所测物体表面的深度信息.简单地说，该测量方法首先向待测体表面投射带有编码信息的二维激光纹理图案，例如离散化的散斑图，另一处位置相对固定的图像采集装置对激光纹理进行连续采集，处理单元将采集的激光纹理序列与预先存储在寄存器内的已知纵深距离的参考面纹理序列进行比较，计算出投射在自然体表面的各个激光纹理序列片段的纵深距离，并进一步测量得出待测物表面的三维数据。基于这种结构光检测的三维测量技术采用并行图像处理的方法，能够一定程度上检测到待检测物体的深度信息。

但是这种深度检测方式只能对待检测物体上存在纹理片段的位置处的深度数据进行检测，而对于待检测物体上没有投射到纹理片段的位置处的深度数据则无法准确地得出。

因此，需要一种可以更加全面地获取待检测物体的深度数据的深度数据检测系统。

发明内容

本发明要解决的一个技术问题是提供一种可以更加全面地获取待检测物体的深度数据的深度数据检测系统。

根据本发明的一个方面，提供了一种深度数据检测系统，该系统包括：红外编码投影系统，具有多种工作模式，在每一种工作模式下以不同的投射角度和/或从不同的位置或向被测空间投射带有纹理的红外光束，以在被测空间中的待检测物体上形成随机分布的红外纹理；两个红外光图像传感器，两个红外光图像传感器之间具有预定相对空间位置关系，对于每一种工作模式，两个红外光图像传感器分别对被测空间成像，从而形成两个红外纹理图像；处理器，用于获取不同工作模式下使用两个红外光图像传感器得到的两个红外纹理图像，对于每一种工作模式，根据两个红外光图像传感器之间的预定相对空间位置关系、基于红外纹理中同一个纹理片段在两个红外纹理图像中相对应地形成的纹理片段图像的位置差异，确定该工作模式下红外纹理相对于两个红外光图像传感器的深度数据，将多个工作模式下确定的深度数据融合，得到新的深度数据，作为待检测物体的最终深度数据。

由此，多种工作模式下确定的待检测物体上的红外纹理的深度数据包括了待检测物体上较多位置的深度信息，因此，将融合多种工作模式下所确定的深度数据后得到的新的深度数据作为待检测物体的深度数据，可以更加准确地反映待检测物体的深度信息。

优选地，该系统还可以包括：控制器，分别与红外编码投影系统和两个红外光图像传感器连接，用于控制两个红外光图像传感器同步拍摄，并在两个红外光图像传感器每一帧曝光结束后，将红外编码投影系统切换到下一工作模式。

由此，使得两个红外光图像传感器可以采集到不同工作模式下的待检测物体的图像。

优选地，该系统中控制器可以通过向两个红外光图像传感器发送触发信号来触发两个红外图像传感器进行成像，控制器可以通过向红外编码投影系统发送切换信号来切换红外编码投影系统的工作模式，其中，触发信号与切换信号同步。

由此，通过控制器使得切换红外编码投影系统的工作模式时，可以同步控制两个红外光图像传感器开始再次捕获待检测物体的图像。

优选地，该系统中红外编码投影系统可以包括多个编码投影装置，多个编码投影装置位于两个红外光图像传感器中间的不同位置，在不同的工作模式下，控制器切换不同的红外编码投影装置投入工作。

由此，使得多个红外编码投影装置的投射区域能够完全覆盖两个红外光图像传感器的公共有效区域。

优选地，该系统还可以包括设置在红外编码投影系统的投射方向上的红外光检测装置，基于该红外光检测装置能够确定哪一个红外编码投影装置处于工作状态。

由此，可以确定处于工作状态的红外光检测装置。

优选地，该系统中的多个红外编码投影装置所投射的红外光束可以被以不同的方式调制，使得通过分析红外光检测装置接收到的红外光信号，能够确定哪一个红外编码投影装置处于工作状态。

优选地，该系统中的两个图像传感器的光学成像中心的连线可以设定为基线方向，此时，同一个纹理片段在两个红外纹理图像中相对应地形成的纹理片段图像的位置差异在基线方向上。

优选地，在该系统中，红外编码投影装置可以包括：红外光发生器，用于产生红外光；光学系统，用于将红外光发生器产生的红外光变成带有纹理的红外光束。

其中，根据需要，光学系统可以被配置为不同的光学结构，以产生带有不同纹理的红外光。

优选地，在该系统中，红外光发生器的发光频率可以是红外图像传感器的帧频的整数倍。

由此，为红外光发生器和红外图像传感器同步工作提供了基础

综上，本发明的深度数据检测系统能够获取待检测物体上较多位置处的深度数据，使得最终得到的深度数据可以更加全面地反映待检测物体的深度信息。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本发明一实施例的深度数据检测系统的示意性方框图。

图2示出了根据本发明另一实施例的深度数据检测系统的示意性方框图。

图3示出了根据本发明另一实施例的深度数据检测系统的示意性方框图。

图4示出了根据本发明另一实施例的深度数据检测系统的示意性方框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

如前所述，现有的深度数据检测方法不能获取待检测物体上较多位置处的深度数据，使得基于现有的深度数据检测方法得到的待检测物体的深度数据不能准确地反映待检测物体表面细节位置的深度信息。为此，本发明提供了一种能够获取待检测物体上较多位置处的深度数据的深度数据检测系统，使得基于本发明得到的深度数据可以更加全面地反映待检测物体的深度信息。

图1示出了根据本发明一实施例的深度数据检测系统的示意性方框图。

如图1所示，本发明的深度数据检测系统包括红外编码投影系统1、第一红外图像传感器2、第二红外图像传感器3以及处理器4。

本发明实施例中的红外编码投影系统1用于向被测空间投射带有纹理的红外光束，以在被测空间中的待检测物体上形成随机分布的红外光纹理。其中，红外编码投影系统3投射的红外光束所携带的纹理可以是随机散斑纹理，也可以是采用De ruijn(德布鲁因序列)序列的条纹编码纹理，当然还可以是其它形状的纹理。

红外编码投影系统1具有多种工作模式，在不种工作模式下红外编码投影系统1可以以不同的投射角度或从不同的位置或同时在不同的位置以不同的投射角度向被测空间投射带有纹理的红外光束，以使得在不同的工作模式下，被测空间中的待检测物体上可以形成具有不同分布的纹理图案，即不同工作模式下，投射在待检测物体上的多个纹理片段分布在待检测物体上不同的位置。其中，红外编码投影系统1在不同工作模式下所投射的红外光束所携带的纹理信息可以是相同的，也可以不同的。

第一红外图像传感器2和第二红外图像传感器3之间具有预定相对空间位置关系，对于红外编码投影系统1所处的每一种工作模式，第一红外图像传感器2和第二红外图像传感器3都可以对被测空间进行拍摄，以获取不同工作模式下被测空间中待检测物体的图像。其中，第一红外图像传感器2和第二红外图像传感器3所获取的图像是由带有纹理的红外光束投射到待检测物体上而形成的红外纹理图像。

由于不同工作模式下，被测空间中的待检测物体上具有不同分布的纹理图案，因此，不同工作模式下，第一红外图像传感器2和第二红外图像传感器3获取的待检测物体的红外纹理图像中的纹理片段的分布不同。

处理器4分别与第一红外图像传感器2和第二红外图像传感器3连接，可以获取第一红外图像传感器2和第二红外图像传感器3拍摄得到的多种工作模式下的红外纹理图像，通过处理得出不同工作模式下的红外纹理图像中各个纹理片段的深度数据。

在对数据进行处理的过程中，可以将两个图像传感器的光学成像中心的连线作为基线方向，此时，每种工作模式下，待检测物体上同一个纹理片段在两个红外纹理图像中相对应地形成的纹理片段图像的位置差异在基线方向上。这样，对于每一种工作模式来说，处理器4根据两个红外光图像传感器之间的预定相对空间位置关系、基于待检测物体上红外纹理中同一个纹理片段在两个红外纹理图像中相对应地形成的纹理片段图像的位置差异，可以确定该纹理片段的深度数据。由此，处理器4可以确定待检测物体上多个纹理片段的深度数据，即确定待检测物体上的红外纹理相对于两个红外光图像传感器的深度数据。由此，处理器可以得到不种工作模式下待检测物体上各个纹理片段的深度数据。由于不同工作模式下待检测物体上的纹理片段的分布不同，因此处理器4可以融合不种工作模式下所确定的待检测物体上的各个纹理片段的深度数据，将融合后的深度数据作为待检测物体的深度数据。

其中，将多种工作模式下所确定的深度数据融合的方法可以有多种。例如，在对待检测物体的深度数据的精确度要求不高的情况下，可以取多种工作模式下所确定的深度数据的平均值作为待检测物体的深度数据；再例如，在融合多种工作模式下所确定的待检测物体上的纹理片段的深度数据的过程中，对于多个处于待检测物体上同一位置的纹理片段来说，可以取其平均值作为该位置处的深度数据，而对于不存在重叠的纹理片段，可以取该纹理片段的深度数据作为其所对应位置的深度数据，由此，融合后包含了待检测物体较多位置处的深度数据，更能准确地反映待检测物体的深度信息。

图2示出了根据本发明另一实施例的深度数据检测系统的示意性方框图。如图2所示，本发明的深度数据检测系统除了包括图1中全部结构外，还可以可选地包括控制器5。

控制器5分别与红外编码投影系统1和两个红外光图像传感器(第一红外光图像传感器2、第二红外光图像传感器3)连接，可以控制两个红外光图像传感器同步拍摄，并且控制器5可以切换红外编码投影系统1的工作模式，使得两个红外光图像传感器每一帧曝光(拍摄)完成后，可以将红外编码投影系统1切换到下一工作模式。

具体地说，控制器5可以通过向两个红外光图像传感器发送触发信号来触发两个红外图像传感器同步成像，并通过向红外编码投影系统1发送切换信号来切换红外编码投影系统1的工作模式，其中，触发信号与切换信号可以同步发送。

这样，红外编码投影系统1可以响应于切换信号切换到下一个工作模式，而第一红外光图像传感器2和第二红外光图像传感器3可以同时响应于接收到触发器5发出的触发信号，对下一个工作模式下的被测空间进行成像。

图3示出了根据本发明另一实施例的深度数据检测系统的示意性方框图。如图3所示，在本发明的深度数据检测系统中，红外编码投影系统1可以由多个处于不同位置的红外编码投影装置(图中1-1、1-2、1-3、……1-N)组成。

其中，多个红外编码投影装置可以优选地设置在两个红外光图像传感器中间，以便多个红外编码投影装置的投射区域能够完全覆盖两个红外光图像传感器的公共有效区域。每个红外编码投影装置都可以向被测空间投射带有纹理的红外光束，不同的红外编码投影装置所投射的红外纹理可以相同，也可以不同。

进一步地，红外编码投影装置可以由红外光发生器和光学系统组成。红外光发生器可以产生红外光，光学系统可以将红外光发生器产生的红外光进行处理，将其变成带有纹理的红外光束。其中，根据实际需要，光学系统可以有多种结构。当光学系统采用不同的结构时，红外光发生器发出的红外光经过光学系统后，可以变成带有不同纹理的红外光束。例如，光学系统可以由光学分束器和光学扩散片组成，红外光发生器发出的单束红外激光经过光学分束器后，可以变成多束红外激光，然后多束红外激光入射到光学扩散片后就可以产生多个条状光束或多个离散光斑(纹理片段的具体的结构与光学扩散片的光学性质有关)。再例如，光学系统也可以采用诸如全息式微透镜阵列、光学掩膜以及/或者其它类型的光栅，由此，可以产生其它的结构光图样。

另外，作为优选，红外光发生器的发光频率(发射红外光的脉冲频率)可以是红外图像传感器的帧频的整数倍，这样，为红外光发生器和红外图像传感器同步工作提供了基础。进一步地，红外光发生器的发光频率可以设置成较高的一个数值(如可以大于100HZ)，这样，红外光生器发出的光相对于图像传感器来说基本是恒定的。

在每个红外编码投影装置的工作期间内，第一红外光图像传感器2和第二红外光图像传感器3都可以对被测空间至少进行一次成像。其中，第一红外光图像传感器2和第二红外光图像传感器3所成的像是带有多个纹理片段的红外纹理图像。

由于多个红外编码投影装置分别位于不同的位置，因此，通过控制不同的红外编码投影装置投入工作就可以在待检测物体上形成具有不同分布的纹理片段的纹理图案。

例如，可以通过控制器5控制多个红外编码投影装置按照预定的顺序轮流投入工作，以使得被测空间中的待检测物体上可以形成具有不同分布的纹理图案。

具体地说，在第一红外光图像传感器2和第二红外光图像传感器3以此曝光完成后，控制器5发出切换信号，控制投入工作的红外编码投影装置停止工作，并按照预定顺序切换下一个红外编码投影装置开始工作。在发出切换信号的同时，控制器5还可以同时向第一红外光图像传感器2和第二红外光图像传感器3发送触发信号，触发第一红外光图像传感器2和第二红外光图像传感器3对被测空间成像。

当然，对于控制器5的上述功能还可以通过其它现有的设备实现，此处不再赘述。

图4示出了根据本发明另一实施例的深度数据检测系统的示意性方框图。如图4所示，本发明的深度数据检测系统除了包括了图3中全部结构外，还可以可选地包括红外光检测装置6。

红外光检测装置6可以设置在红外编码投影系统的投射方向上。红外光检测装置6可以用来确定多个红外编码投影装置中处于工作状态的红外编码投影装置，即可以用来确定处于工作状态的红外编码投影装置的编号。这样，在系统工作过程中，可以方便地确定处于工作状态的红外编码投影装置。

具体地说，可以在每个红外编码投影装置的投射方向上分别设置有红外光检测装置来检测处于工作状态的红外编码投影装置(如图4所示，可以在每个激光器前端一角放置一个红外光检测装置)。另外，也可以通过设置一个红外光检测装置来确定哪一个红外编码投影装置处于工作状态。

对于通过设置一个红外光检测装置检测处于工作状态的红外编码投影装置来说，可以预先将多个红外编码投影装置所投射的红外光束以不同的方式进行调制。例如，可以预先对多个红外编码投影装置所投射的红外光束以不同的参数进行调幅、调相、调频或者强度调制，并保存各个红外编码投影装置所对应的调制信息。然后对红外光检测装置检测到的红外光信号进行解调等处理，将处理得到的红外光信号与保存的调制信息进行比对，就可以确定出处于工作状态的红外编码投影装置。另外，多个红外编码投影装置还可以以不同的频率发射红外光，此时，可以通过分析红外光检测装置检测到红外光信号的频率，确定哪一个红外编码投影装置处于工作状态。

对于通过在每个红外编码投影装置的投射方向上分别设置有红外光检测装置来检测处于工作状态的红外编码投影装置来说，可以根据接收到红外光信号的红外光检测装置，确定与该红外光检测装置所对应的红外编码投影装置处于工作状态。

上文中已经参考附图详细描述了根据本发明的深度数据检测系统。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种深度数据检测系统，包括：

红外编码投影系统，具有多种工作模式，在每一种工作模式下以不同的投射角度和/或从不同的位置向被测空间投射带有纹理的红外光束，以在被测空间中的待检测物体上形成随机分布的红外纹理；

位于所述红外编码投影系统两侧的两个红外光图像传感器，所述两个红外光图像传感器之间具有预定相对空间位置关系，对于每一种工作模式，所述两个红外光图像传感器分别对所述被测空间成像，从而形成两个红外纹理图像；

处理器，用于获取不同工作模式下使用所述两个红外光图像传感器得到的两个红外纹理图像，对于每一种工作模式，根据所述两个红外光图像传感器之间的预定相对空间位置关系、基于所述红外纹理中同一个纹理片段在所述两个红外纹理图像中相对应地形成的纹理片段图像的位置差异，确定该工作模式下所述红外纹理相对于所述两个红外光图像传感器的深度数据，将多个工作模式下确定的深度数据融合，得到新的深度数据，作为待检测物体的最终深度数据，

其中，所述红外编码投影系统在每一种工作模式下投射的红外光束能够完全覆盖所述两个红外光图像传感器的公共有效区域。

2.根据权利要求1所述的深度数据检测系统，还包括：

控制器，分别与所述红外编码投影系统和所述两个红外光图像传感器连接，用于控制所述两个红外光图像传感器同步拍摄，并在所述两个红外光图像传感器每一帧曝光结束后，将所述红外编码投影系统切换到下一工作模式。

3.根据权利要求2所述的深度数据检测系统，其中，

所述控制器通过向所述两个红外光图像传感器发送触发信号来触发所述两个红外图像传感器进行成像，

所述控制器通过向所述红外编码投影系统发送切换信号来切换所述红外编码投影系统的工作模式，

其中，所述触发信号与所述切换信号同步。

4.根据权利要求2所述的深度数据检测系统，其中，所述红外编码投影系统包括多个编码投影装置，所述多个编码投影装置位于所述两个红外光图像传感器中间的不同位置，

在不同的工作模式下，所述控制器切换不同的红外编码投影装置投入工作。

5.根据权利要求4所述的深度数据检测系统，还包括设置在所述红外编码投影系统的投射方向上的红外光检测装置，基于所述红外光检测装置能够确定哪一个红外编码投影装置处于工作状态。

6.根据权利要求5所述的深度数据检测系统，其中，

所述多个红外编码投影装置所投射的红外光束被以不同的方式调制，使得通过分析所述红外光检测装置接收到的红外光信号，能够确定哪一个红外编码投影装置处于工作状态。

7.根据权利要求5所述的深度数据检测系统，其中，

在每个所述红外编码投影装置的投射方向上分别设置有红外光检测装置，

响应于接收到红外光信号的红外光检测装置，确定与该红外光检测装置所对应的红外编码投影装置处于工作状态。

8.根据权利要求4至7中任一项所述的深度数据检测系统，其中，所述红外编码投影装置包括：

红外光发生器，用于产生红外光；

光学系统，用于将所述红外发生器产生的红外光变成带有纹理的红外光束。

9.根据权利要求8所述的深度数据检测系统，其中，

所述红外光发生器的发光频率是所述红外图像传感器的帧频的整数倍。