CN104903680A

CN104903680A - 控制三维物体的线性尺寸的方法

Info

Publication number: CN104903680A
Application number: CN201280078106.2A
Authority: CN
Inventors: A·V·克利莫夫; A·G·洛马金; S·V·苏克霍维; G·A·古谢夫; A·L·尤欣
Original assignee: Artec Europe SARL
Current assignee: Artec Europe SARL
Priority date: 2012-11-07
Filing date: 2012-11-07
Publication date: 2015-09-09
Anticipated expiration: 2032-11-07
Also published as: PL2918967T3; HK1215968A1; ES2683364T3; EP2918967A1; TR201811449T4; JP6161714B2; US10648789B2; JP2015534091A; CN104903680B; EP2918967B1; WO2014074003A1; US20190234725A1; EP2918967A4

Abstract

本发明涉及测量技术领域并涉及测量三维物体的外形的方法。借助投影仪，包括非相交线的先前已知图像被投影到物体上。借助两台摄像机记录反射信号，其中两台摄像机布置在远离投影仪不同距离的位置处并且在投影仪的中心光束和摄像机的中心光束之间形成不同的三角测量角度。投影仪和最近的摄像机之间的距离以该摄像机的中心光束和投影仪的中心光束的三角测量角度等于投影的光带之间的距离和摄像机镜头的景深的比率的反正切的方式被选择。借助第一摄像机生成的图像，确定投影线的纵坐标和竖直坐标，接着借助第二摄像机生成的图像，更精确地设定光线的竖直坐标。技术效果包括简化并加快测量过程。

Description

控制三维物体的线性尺寸的方法

技术领域

本发明涉及测量仪器，并且能够通过以不同三角测量角度观测已知投影图案进行足够精确度的3D测量并显示三维物体轮廓。

背景技术

基于三个坐标控制三维物体的线性尺寸的先前已知方法包括，通过在受控物体表面上投影光束，在受控物体表面上形成探测结构化背光，其中光束由调制空间强度表征；配准由受控物体表面的形貌失真的探测背光图案的图像；以及基于探测背光图案的失真值，利用测量形貌高度的数字电子计算机，确定受控物体表面形貌的高度，并基于配准图像中背光图案失真的位置计算另外两个坐标(WO 99/58930)。

已知方法的缺点是，通过具有不变规则结构的透明滤波器沿着其中一个坐标调制的光辐射被引导到受控物体表面时的情况造成的高误差率，不可能预见或预先考虑表面和深度凹陷的不同反射性质造成的图像失真，这在没有与受控物体表面的宏观结构相关的任何现有消息的情况下不能被识别。

先前的技术包括一种基于三个笛卡尔坐标控制三维物体的线性尺寸的方法和实施该方法的设备。该方法包括沿着其中一个坐标向系统投影通过探测光辐射强度的空间调制产生的多色光带。

该系统的特征在于交替光带并产生结构化背光。其结果是，光电探测器的视场内的受控物体表面的整个部分和“叠加”在表面上的结构化背光的失真图像被记录在一帧中。基于光带集合的图像失真的程度和光带在笛卡尔系中的位置评估受控尺寸(WO 00/70303)。

先前使用的方法和使用该方法的设备的局限性是精度差，其与光带图像中的间隙的明确解释的不可能性有关，其中的光带图像因受控物体表面的轮廓，或通孔或取决于受控物体表面的一些区域的颜色的低光谱反射率值而失真。如果受控物体全部是局部组件，例如一组涡轮叶片，使用上述方法重建此种物体的拓扑结构以及随后控制其线性尺寸是不可能的。

先前使用以用于表面形状的光学测量的方法包括：将该表面放置在光学投影系统的照明场中并同时放置在用于记录上述表面的图像的设备的视场中；使用上述投影光学系统、利用已知结构的光通量，将一组图像投影到被测表面；记录以不同于图像集合投影角度的角度观察到的表面的相应图像集合，以及基于记录的图像确定被测表面的形状。在这种情况下，光强度的至少三个周期分布交替投影到上述表面，这些分布是其强度跟随正弦原理横向变化的光带集合，而且不同之处在于该光带集合在垂直于光带的方向上由光带内的受控值改变，并且记录的图像被处理以接收包含对应于表面上的点的相位的初步相位分布。此外，光强度的互补分布被瞬时投影在上述表面上，使得根据上述表面的每个点的上述光带集合来确定光带数目成为可能，上述表面的附加图像被记录；基于初步相位分布照亮的物体的上述图像和互补相位分布照亮的物体的上述图像，获得上述表面的每个可见点的最终相位分布。并且基于上述最终相位分布，使用初步校准数据，获得上述表面点的绝对坐标。当使用上述方法执行测量时，假设该表面的每个点的图像在仅利用投影单元发射的直接光束照亮该图像的条件下记录，并且根据记录，该物体点图像的照亮被认为与聚焦在该点上、直接来自投影单元的光束的亮度成比例(RU No.2148793)。

该方法的局限性包括使用该方法的设备的复杂性和需要大量时间测量的过程持续时间，以及在设备(投影单元和摄影机)位置的机械振荡的情况下留下误差的可能。

先前的技术包括使用结构化背光方法远程控制和识别三维物体的方法和设备，涉及光辐射源和跟随辐射源顺序安装的透明滤波器，其提供形成光带的非周期光线结构的可能性；将透明滤波器图像投影在受控表面的远焦光学系统；形成因受控物体表面的轮廓而失真、受控物体表面上出现的光线结构图片的图像的接收镜头；数字化由接收镜头形成的图像的摄影记录器和将摄影记录器记录的数字图像转变成受控表面上的坐标值的电子数字计算单元。该设备具有附加的N-1个辐射源，在辐射光谱范围内每个附加辐射源都与其它的不同；N-1个透明滤波器，每个透明滤波器的至少一个光带与其它的不同；安装在透明滤波器后面的N-1个镜头；N-1个反光镜，其以和N-1个镜头的每个的光轴线呈45度的角安装到远焦光学系统的第二组件之前；第二N-1个反光镜，其以和接收镜头光轴线呈45度的角安装在接收镜头的后面；N-1个辅助接收镜头，每个辅助接收镜头安装在每个第二N-1个反光镜后面并与接收镜头共同形成因受控物体表面的轮廓而失真、出现在受控物体表面上的光线结构的图片的图像；N-1台摄影记录器，每台摄影记录器具有光谱灵敏度范围，其与N-1个辐射源中的一个的光谱辐射范围一致；N-1个数字电子计算单元，电子图像附加单元被实施为其输入的数目等于数字电子计算单元的数目，其中每个电子图像附加单元的输入连接到每个数字电子计算单元的输出，并且根据公式N＝Log₂(L)确定数字N，其中L是摄影记录器采样分辨单元的成对的数目(RU No.2199718)。

该方法的局限性还包括使用该方法的设备的复杂性和需要大量时间测量的过程持续时间，以及在设备(投影单元和摄影机)位置的机械振荡的情况下留下误差的可能。

先前的技术包括基于三个笛卡尔坐标控制三维物体的线性尺寸的方法和使用该方法的设备，其中两台摄影机位于投影单元的右边和左边，因此形成类似于人类视觉的立体对。

投影单元将光带图像投影到物体上。从右边和左边两台摄影机接收图像，并且然后使用相关方法比较两个图像，即通过搜遍左边图像中的所有光带以将来自右边图像的每条光带与左边图像中的类似光带配对(US 6377700，原型)。

该方法的局限性是需要长时间搜遍光带的所有可能的对，并且相关算法的运行时间长。

发明内容

因此，本发明的目的是建立一种控制三维物体的线性尺寸的有效和高效方法，以及扩大控制三维物体的线性尺寸的方法的范围。

确保所述目的实现的技术成果包括：简化并自动完成控制三维物体的线性尺寸的过程、减少测量过程持续时间，以及在投影单元和摄影机在单个外壳中作为便携式工具来执行时，几乎完全消除在相对于测量物体的设备(投影单元和摄影机)的位置中出现机械振动的情况下的误差。

本发明的实质是使用结构化背光执行物体的3D测量的方法，投影单元用于沿着纵轴线中的一条将具有至少两条非交叉光线的已知图像投影到受控物体上，接着使用距离投影单元不同距离的位置处的至少两台摄像机，记录从物体反射的投影光，该至少两台摄像机在中心投影光束和摄影机的中心光束之间形成不同的三角测量角度，通过比较摄影机接收的光线的坐标，识别投影单元投影以及通过每台摄影机接收的反射光形成的每条光线，其中投影单元的中心光束和位于距离投影单元最小距离的位置处的第一摄影机的中心光束之间的三角测量角度等于投影光带之间的距离和该摄影机的镜头的焦点深度之间的比率的反正切，在来自第一摄影机的图像中，将竖直坐标和光线中心的纵坐标确定为纵坐标除以投影单元的中心光束和第一摄影机的中心光束之间的三角测量角度的正切的商，以及使用位于比第一摄影机的三角测量角度较大的三角测量角度的位置处的第二摄影机获得的竖直坐标值，调整竖直坐标，由此，在第二摄影机图像中，相同光线的位置被识别为最接近于被计算为使用第一摄影机确定的上述竖直坐标和第二摄影机三角测量角度的正切的乘积的纵坐标，之后，针对这些光线，确定调整后的纵坐标和竖直坐标的值。

用于确定第一摄影机图像中光线中心的纵坐标的优选方法是获得像素宽度上的最亮像素。假设摄影机和投影单元之间的距离为从投影单元到投影单元和摄影机的中心光束的交点的距离与投影单元的中心光束和摄影机的心光束之间的三角测量角度的正切的乘积。使用第三、第四和随后的摄影机获得的竖直坐标值用于进一步调整竖直坐标。

在某些设备中，该方法使用的摄影机位于投影单元的一侧或两侧。优选使用计算机处理器测量和确定坐标，并且3D图像被输出到计算机显示器。

附图说明

图1示出当光束被投影时投影单元和摄影机的布局，

图2示出投射到三维物体上的一条光线的示图，

图3示出投射到三维物体上的两条光线的示图，

图4示出当两束光被投影时投影单元和摄影机的布局，

图5示出投影单元投影以及摄影机接收的可能光带图像(5a-投影单元上的光带的图像，5c-投影单元上的光带图像的轮廓，5b-摄影机上的光带的图像，5d-摄影机上的光带图像的轮廓)，

图6-对应于作为平行直线从投影单元发射的光带的光线，

图7-对应于从投影单元发射的光带的附加光线，

图8-对应于投影到两台摄影机的光带的光线，

图9示出一种投影系统(单元)示图，

图10-一种替换设备，其中，具有位于投影单元两侧上的摄影机并且摄影机的视场相应重叠，

图11-一种替换布局，其中，具有在投影单元的一侧上的三台摄影机并且摄影机的视场相应重叠。

具体实施例

图1示出一种装置，包括以特定三角测量角度α(投影单元3的中心光束和摄影机1的中心光束4之间的角度)将预定图像投影到物体上的投影单元1和记录投影单元1发射以及物体反射的光并将记录传送到计算机(未示出)的摄影机2。

摄影机和投影单元之间的距离L被称为基线。所述基线能够选择如下。

L＝s×tgα，其中s是从投影单元到投影单元和摄影机的中心光束的交点的距离(m)。

在最简单的情况下，投影单元1投影与图1中的投影单元的中心光束一致的一个水平光带3。图2是摄影机2的视图。图2示出由于物体的弯曲(如平面5和6所示的)造成光带3失真的方式和在摄影机2的图像中看到的反射光带3的轨迹7。图1示出与图2具有相同设置、而且光带3跨越距离摄影机不同距离Z1和Z2处的平面5和平面6以及交点8和9具有不同坐标Y1和Y2的侧视图。在一般情况下，根据以下式子Z＝y/tgα比率，以使用Y坐标获得Z坐标。然后该光带通常用于沿着图2中的Y轴线扫描表面以在摄影机视场中以尽可能最大详细程度获得物体的3D测量。

如果摄影机2每帧仅看见投影单元1投影的一条光带，那么为了获得此种测量，则必须以可能的最小距离移位该光带，并且将必须从摄影机2接收尽可能多的图像。这往往需要大量时间。常见的实惠摄影机2具有25fps的帧速率，并具有沿着Y坐标轴线为1MP(即1000像素)而沿着X坐标轴线为1000像素的分辨率。在光带上沿着X坐标轴线具有1000像素，即1000个测量值。为了沿着两个轴线都获得相同数目的测量值，为此必须沿着Y坐标轴线投影该光带1000次，移位一个像素，从摄像机2接收1000帧，这花费40秒。根据该方法，如果减少图像的数目并且从一台摄影机2的图像中获得更多测量值，那么应该投影两条光带，如图3，或更多，而不是仅一条光带，但在光带标识中出现歧义。在图3中，对于一台摄影机(2)，点12处光带7与光带11合并。该歧义导致在确定Z坐标时产生误差。在摄影机图像上，一个Y坐标可以对应于两个Z1和Z2坐标。在图4上，表示光带的两束光从投影单元1发出。图4中的点13和点14是歧义点。

当投影若干光带时，必须解决所述歧义。为此，引入下列术语和算法：T-光带之间的间隔，Tz-一般由投影单元和摄影机2中使用的镜头的焦点深度定义的测量容量。焦点深度Tz是沿着Z轴线的距离，在其中我们能够观察到由我们投影的光带的充分对比图像，即我们能够看见光带开始和结束的地方。焦点深度Tz能够是摄影机镜头的参考值。

对于每种具体情况，可以确定摄影机镜头的焦点深度Tz，例如，如下：Tz＝2DC/(f/s)²

其中：D是摄影机镜头孔径(m²)，C是摄影机像素大小(μm)，f是摄影机镜头焦距(m)，s是从投影单元到投影单元和摄影机的中心光束的交点的距离(m)。

在摄影机2的图像中，投影光带通常具有(占据)摄影机2的CCD阵列的若干像素宽度，由于光带能够通过镜头散焦或物体可以通过反射消散光的事实，光带没有明确定义的Y坐标。

子像素确定算法用于确定Y坐标。子像素确定算法包括下列过程：

在图5中，投影单元1投影具有最小亮度级和最大亮度级15的平行光带的图像。在摄影机2处，我们观察到，由于镜头的散焦、摄影机2的像素噪声和其它失真造成光带17具有轻微模糊的不同亮度的像素。我们能够假设最亮的像素为光线中心或使用例如抛物线或正弦曲线18获得像素值的(软件)近似值，以便确定摄影机2的图像中的光线中心的Y坐标精度为像素的分数。

当同时投影几条光线时，用于解决歧义的可用选项：

基于图3和图4能够得出结论：点13和点14之间沿着Z坐标的区域是其中摄影机2的图像中保留的投影光带的定义中无歧义的区域。因此，应该尝试使测量区域Tz小于或等于该距离。

图6和图7示出对应于作为平行于投影单元1的中心光束3的平行直线从投影单元1发射的光带的光线。

从这些附图能够理解，角度α、间隔T和测量区域Tz之间存在关系tgα＝T/Tz，以及ΔY和角度α之间存在关系tgα＝ΔY/Z。

显然，角度α越大，摄影机2的图像中观测的光带ΔY的移位越大，其中投影光带如摄影机的图像中的光线19，这使我们能够以更高精度确定Z坐标，即我们的系统沿着Z轴线具有更大的测量灵敏度。此外，角度越大，确定性Tz的域越小。如果将图6中的Tz值与图7中的Tz值进行比较，这是显然的。

利用三角测量角度的最小值，摄影机清楚地感知投影光线和纵坐标Y，但竖直坐标Z的感知精度处于其最小值。对于光带三角测量角度的最大值，图像中的光带开始合并，并且难以确定纵坐标Y，但竖直坐标Z的感知精度处于其最大值。这规定使用安装在不同三角测量角度处的至少两台摄影机。

图9中的设备包括投影系统(单元)1，其包含光源-灯29、聚光透镜30、包含水平平行光带的图画的滑动装置31以及镜头32。该设备还包括三台摄影机22、23、33。为了确保摄影机尽可能接近投影单元1，第一摄影机22必须设置得足够接近投影单元，并且摄影机尺寸可以超过对应于所选择的角度α的基线(基距)L的尺寸。

为了解决该问题，建议在摄影机22和投影系统的光束路径中使用半透明反光镜34或棱镜，这使得将摄影机和投影单元进一步分隔成为可能。

将摄像机设置为尽可能接近投影单元的第二种解决方案：

将摄影机22和23设置在投影单元1的右边和左边。图10示出位于投影单元的一侧上的基距L1和L2，这对应于三角测量角度。在这种情况下，摄影机35的视场的最终重叠将不完全，这将减小物体的测量区域，但该解决方案比需要安装和调整半透明反光镜或棱镜的解决方案，在技术上更易实施。

图11中示出第三种方法。摄影机位于投影单元1的一侧。这使得实现摄影机35的视场的较大重叠成为可能。

通常情况下，利用结构化背光进行物体的3D测量的方法被实施如下。使用投影单元1，沿着投影单元1的其中一条纵轴线，将具有至少两条非相交线的预定图像投影到受控物体上。利用至少两台摄像机，记录从物体反射的投影单元1的光，其中两台摄像机位于距离投影单元不同距离的位置处并且在投影单元的中心光束和摄像机的中心光束之间形成不同的三角测量角度。在来自第一摄影机2的图像中，光线中心的纵坐标被确定为最亮像素。

然后通过比较摄影机感知的光线的坐标，识别投影单元1投影并且通过每台摄影机接收的反射光形成的每条光线。为此，投影单元1的中心光束和第一摄影机22的中心光束之间的三角测量角度被选择并被设定为等于投影光带和该摄影机的镜头的焦点深度Tz之间的距离的比率的反正切，所述第一摄影机22被设置距离投影单元1最小距离和最小角度α1的位置处。

施加在投影单元1和摄影机22的相对位置上的此种条件在识别每条投影光带时提供最大无歧义性。在图8中，基于α1＝arctg(T/Tz)的比率，选择投影光带20和21之间的间隔T以及第一摄影机22和投影单元1之间的角度α1。这使得在来自第一摄影机的图像中区分所有投影光带成为可能。投影到来自摄影机22的图像上的光带被表示为24和25。

在第一摄影机的图像中，光线中心的纵坐标和竖直坐标被确定为纵坐标Y1与投影单元的中心光束和第一摄影机的中心光束之间的三角测量角度的正切的商。

使用光线中心搜索算法-子像素确定算法-以及基于关系Z＝Y1/tgα1(Y1-来自第一摄影机的图像中的坐标)，计算具有特定误差σ的所有投影光带的Z坐标，所述误差σ主要取决于三角测量角度α1、摄影机的CCD阵列中的像素数目以及选定摄影机的像素噪声。

光线图像宽度误差σ(从第二摄影机开始)不得超过Т/Cosα₂。

为了调整竖直坐标Z，使用利用位于比第一摄影机的三角测量角度较大的三角测量角度α₂处的第二摄影机获得的竖直坐标Z的值，因此，在第二摄影机的图像中，相同光线的位置被识别为最接近于纵坐标的光线，该纵坐标被计算为使用第一摄影机确定的上述竖直坐标Z和第二摄影机三角测量角度的正切的乘积。因此，为了调整投影光带的Z坐标，使用位于到投影单元具有较大三角测量角度α₂处(α₂>α₁)的第二摄影机23。投影单元1投影到来自第二摄影机23的图像上的光带20和21看作26和27。为清楚起见，光带26和27被表示为具有轻微移位，然而事实上它们合并在来自第二摄影机的图像中，并且难以识别。但如果先前根据用于光带20的公式Z＝Y1/tgα1获得的Z坐标被根据公式Y2＝Z×tgα₂投影到来自摄影机23的图像上，那么噪声曲线28变得可见，这将帮助我们识别光带20在来自摄影机23的图像上的位置。应当针对每条光带执行该步骤以将其与其它光带区分。必须基于来自摄影机23的图像重新确定具有调整的每条光线的中心，以及计算新的更加精确的Z坐标。选择角度α₂使得σ不超过Т/Cosα₂。

然后，类似于所描述的使用第一摄影机确定坐标的步骤，第二摄影机用于确定这些光线调整后的纵坐标和竖直坐标的值。

使用第三、第四和随后的摄影机获得的竖直坐标值被用于进一步调整竖直坐标。为了进一步调整投影光带的Z坐标，具有大的三角测量角度的附加摄影机能够用于实现光带的Z坐标定义所需的精度。每台随后的具有大的三角测量角度的摄影机应满足上述针对具有小的三角测量角度的摄影机而提供的条件。在一些情况下，至少两台摄影机位于投影单元的不同侧，但所有摄影机的图像和三角测量角度必须位于投影单元的的中心光束的一侧，这能够使用跨投影单元的中心光束以及优选图9中第一摄影机的中心光束定位的半透明反光镜来确保。

使用计算机处理器测量并确定坐标，并且3D图像被输出到计算机显示器。

上述技术成果包括，简化并自动完成控制三维物体的线性尺寸的过程、减少测量过程持续时间，以及在投影单元和摄影机在单个外壳中作为便携式工具来执行时，几乎完全消除在相对于测量物体的设备(投影单元和摄影机)的位置中出现机械振动的情况下的误差。

工业实用性

本发明利用广泛应用于工业中的通用设备来实现。

Claims

1.一种使用结构化背光进行物体的3D测量的方法，包括：

沿着纵轴线中的一条将具有至少两条非交叉光线的预定图像投影到受控物体上，

使用安装在距离投影单元不同距离的位置处的至少两台摄像机，记录所述投影单元发出的光和所述物体反射的光，所述至少两台摄像机在所述投影单元的中心光束和所述摄影机的中心光束之间形成不同的三角测量角度，

随后通过比较所述摄影机接收的光线的坐标，识别所述投影单元投影的每条光线以及通过每台摄影机接收的反射光形成的每条光线，其中所述投影单元的所述中心光束和位于距离所述投影单元最小距离的位置处的第一摄影机的中心光束之间的所述三角测量角度假设等于投影光带之间的距离和该摄影机的镜头的焦点深度之间的比率的反正切，

在来自所述第一摄影机的所述图像中，将竖直坐标和光线中心的纵坐标确定为纵坐标除以所述投影单元的所述中心光束和所述第一摄影机的所述中心光束之间的所述三角测量角度的正切的商，以及

使用位于比所述第一摄影机的三角测量角度较大的三角测量角度的位置处的第二摄影机获得的竖直坐标值，调整所述竖直坐标，由此，在所述第二摄影机的所述图像中，相同光线的位置被识别为最接近于被计算为使用所述第一摄影机确定的上述竖直坐标和所述第二摄影机三角测量角度的正切的乘积的纵坐标，之后，针对这些光线，确定调整后的所述纵坐标和竖直坐标的值。

2.根据权利要求1所述的方法，不同之处在于，通过获得像素宽度上最亮的像素来确定所述第一摄影机的图像上的所述光线中心的所述纵坐标。

3.根据权利要求1或2所述的方法，不同之处在于，假设所述摄影机和所述投影单元之间的所述距离为从所述投影单元到所述投影单元的中心光束和所述摄影机的所述中心光束的相交点的距离与所述投影单元的所述中心光束和所述摄影机的所述中心光束之间的所述三角测量角度的所述正切的乘积。

4.根据权利要求1、2、4中的任一项所述的方法，不同之处在于，使用第三、第四和随后的摄影机获得的所述竖直坐标值来进一步调整所述竖直坐标。

5.根据权利要求1、2、4中的任一项权利要求所述的方法，不同之处在于，将所述摄影机设置在所述投影单元的一侧上。

6.根据权利要求1、2、4中的任一项权利要求所述的方法，不同之处在于，将所述摄影机设置在所述投影单元的两侧上。

7.根据权利要求1、2、4中的任一项权利要求所述的方法，不同之处在于，使用计算机处理器测量和确定所述坐标，其中所述3D图像被输出到计算机显示器。