CN116758160A - 基于正交视觉系统的光学元件装配过程位姿检测方法及装配方法 - Google Patents

Abstract

基于正交视觉系统的光学元件装配过程位姿检测方法及装配方法，属于工业装配视觉检测领域，本发明为解决现有光学元件装配中光学元件边缘与装配框容易发生碰撞，导致装配失误的问题。本发明方法包括：S1、构建视觉检测系统步骤；所述视觉检测系统包括一台全局相机和两台侧视角相机，S2、视觉检测系统中三台相机的联合标定步骤；其中，以全局相机的相机坐标系作为统一的全局坐标系；S3、光学元件位姿解算步骤；三台相机同步获取光学元件的俯视图和两个侧视图，从三台相机的图像中提取光学元件边缘在各自像素坐标系下的解析式，结合联合标定数据，将不同相机的像素坐标系下的边缘对齐到统一的全局坐标系下；通过这些边缘的解析式确定光学元件的位姿。

Description

基于正交视觉系统的光学元件装配过程位姿检测方法及装配 方法

技术领域

本发明涉及工业装配视觉检测领域，具体为在工业自动化光学元件装配中对光学元件六自由度位姿解算的方法。

背景技术

在光学元件自动化装配过程中，利用机械手加持光学元件，并放置到机械框内，实现光学元件自动化装配。装配过程中，对光学元件、机械手、装配框之间的相对位置姿态检测的精度要求较高。现有直接视觉检测方法对透明光学元件的定位可靠性不佳，精度有限，加之光学元件、装配框都存在不可忽略的制造公差，因此在FOA装配平台(final opticsassembl，终端光学系统)光学元件装配中光学元件边缘与装配框容易发生碰撞，导致装配失误。

发明内容

针对现有光学元件装配中光学元件边缘与装配框容易发生碰撞，导致装配失误的问题，本发明提供一种基于正交视觉检测系统的光学元件装配视觉检测方法及装配方法，在正交的位置部署视觉对光学元件检测边缘位置，结合联合标定数据，解算出光学元件部分几何尺寸、空间位置、姿态，实现光学元件可靠和精确定位，指导机械手进行位姿调整。

本发明所述基于正交视觉系统的光学元件装配过程位姿检测方法，该方法包括以下步骤：

S1、构建视觉检测系统步骤；

所述视觉检测系统包括一台全局相机和两台侧视角相机，其中两台侧视角相机前方使用条形光源对光学元件掠射照明；

S2、视觉检测系统中三台相机的联合标定步骤；

其中，以全局相机的相机坐标系作为统一的全局坐标系；标定出三台相机内参、外参，建立各相机的像素坐标系到统一的全局坐标系的空间映射关系；

S3、光学元件位姿解算步骤；

三台相机同步获取光学元件的俯视图和两个侧视图，从三台相机的图像中提取光学元件边缘在各自像素坐标系下的解析式，结合联合标定数据，将不同相机的像素坐标系下的边缘对齐到统一的全局坐标系下；通过这些边缘的解析式确定光学元件的位姿。

优选地，待检测的光学元件水平方向置于FOA装配平台上，全局相机设置于FOA装配平台上方，检测时位于光学元件侧方的两台相机为1号侧视角相机和2号侧视角相机，

三台相机的姿态相互正交，三台相机的光轴相交于光学元件上表面的一点，建立如下坐标系：

全局相机的全局坐标系为O_G-X_GY_GZ_G，全局相机的光轴方向与水平面垂直；

1号侧视角相机坐标系为O_C1-X_C1Y_C1Z_C1，2号侧视角相机坐标系为O_C2-X_C2Y_C2Z_C2，两个相机的光轴方向与水平面平行；

全局相机坐标系O_G的X轴正方向与2号侧视角相机坐标系O_C2的Z_C2轴正方向相同；

光学元件的模型坐标系O_M为O_M-X_MY_MZ_M，且原点定义在光学元件上表面左上角的顶点A上，Z_M轴与光学元件上表面垂直，Z_M轴正方向向上，X_M轴正方向为光学元件上表面左上角的顶点指向光学元件上表面左下角的顶点方向。

优选地，步骤S2的联合标定过程为：

首先采用张正友标定方法分别标定三台相机的内参矩阵，建立各自二维像素坐标系到三维相机坐标系的映射关系；

再以全局相机的相机坐标系作为统一的全局坐标系，分别标定两台侧视角相机的相机坐标系到全局坐标系的坐标系变换，获取两台侧视角相机的外参矩阵；

所述外参矩阵包括：1号侧视角相机坐标系O_C1到全局坐标系O_G的转换关系T_C1＝(R_C1,t_C1)，R_C1为1号侧视角相机坐标系O_C1到全局坐标系O_G的旋转矩阵，t_C1为1号侧视角相机坐标系O_C1到全局坐标系O_G的平移向量；

及2号侧视角相机坐标系O_C2到全局坐标系O_G的转换关系为T_C2＝(R_C2,t_C2)，R_C2为2号侧视角相机坐标系O_C2到全局坐标系O_G的旋转矩阵，t_C2为2号侧视角相机坐标系O_C2到全局坐标系O_G的平移向量。

优选地，采用立体标定块并结合AprilTag算法标定两个侧视角相机的外参矩阵，所述立体标定块为长方体，四个侧面及顶面依次定义为立方体的表面0-表面4，表面0-表面4依次采用id为0-4的36H11 AprilTag图案，立体标定块的坐标系O_B原点定义在表面0上的AprilTag图案(id＝0)中心，X轴、Y轴平行于该表面，正方向分别为图案左上顶点到右上顶点方向、图案左上顶点到左下顶点方向，Z轴方向指向模型内侧；

采用AprilTag算法标定外参矩阵的过程为：

立体标定块表面4保持水平，从立体标定块的表面0-3中任意选择一面，令被选择面AprilTag图案到1号侧视角相机光心沿光轴方向的距离为280mm，表面4的AprilTag图案到全局相机光心沿光轴方向的距离为1200mm，并保证上述两相机视场中完整出现对应的AprilTag图案；

当立体标定块与全局相机、1号侧视角相机满足上述要求时，使用外部触发方式控制两台相机在不大于15ms的时间差下捕捉图像，使用AprilTag算法计算视场内标定图形到各自相机的位置姿态；立体标定块上所有的图形的坐标系与标定块的坐标系O_B的变换关系由CAD数据已知，推导出拍照时刻标定块相对于全局相机和1号侧视角相机的位姿，解算这两个位姿之间的变换T_C1＝(R_C1,t_C1)，即为O_C1到O_G的转换关系，获取1号侧视角相机在O_G下的外参矩阵；

2号侧视角相机在O_G下的外参矩阵的获取方式与上述过程相同。

优选地，S3步骤中光学元件位姿解算过程为：

S31、利用夹具将光学元件放于FOA平台预定位置，令三台相机同步采集光学元件的俯视图像I_M和两个侧视图像I_SL、I_SF，将三幅图像进行预处理生成灰度图像；

S32、采用LSD算法(Line Segment Detector，线段检测器算法)从三幅灰度图像中提取线段，对这些线段进行处理，获取三幅灰度图像在各自相机像素坐标系下的光学元件边缘；

S33、获取光学元件边缘在三个相机坐标系下的解析式，具体的，根据步骤S32匹配结果，当俯视图像I_M中的某一条边缘与侧视图像I_SL或侧视图像I_SF中的某一条边缘同时对应CAD模型中同一条边缘，则认为上述两张图像中的边缘对应光学元件的同一边缘；根据该原则获取三幅灰度图像在各自相机坐标系下的解析式；

S34、根据相机内参矩阵、外参矩阵，及三个相机坐标系下解析式，获取光学元件边缘在全局坐标系下的解析式；

S35、根据光学元件边缘在全局坐标系下的解析式，利用PnP算法根据对应关系解算光学元件的位置姿态及上表面的尺寸。

优选地，步骤S32中光学元件边缘的获取过程为：

采用LSD算法从三幅灰度图像中提取出所有线段，并作如下处理：

步骤一、剔除L<25像素的过短线段，线段长度L按下式获取：

(x₁,y₁),(x₂,y₂)分别是线段两端点的像素坐标；

步骤二、将还未融合的线段集合记为l_Ori，融合的线段集合记为l_meg，经步骤一剔除过短线段后的剩余线段首先放在集合l_Ori中；

步骤三、融合线段：

在集合l_Ori中搜索L最大的线段，记为l₀，在集合l_Ori中搜索满足条件的线段：线段中点到l₀所在直线欧式距离dis小于3像素的，同时线段与l₀夹角ang小于0.5°；将l₀及符合条件线段从集合l_Ori中移出；

两条线段的欧式距离dis和夹角ang按下式计算：

其中：

(a₁,b₁),(a₂,b₂)为l₀端点坐标，

k为l₀斜率，

x＝(x₁+x₂)/2

y＝(y₁+y₂)/2

Δx＝x₂-x₁

Δy＝y₂-y₁

Δa＝a₂-a₁

Δb＝b₂-b1

步骤四、对于l₀及符合条件线段，使用SMBR算法计算这些线段端点的最小外接矩形，将该外接矩形两条短边的中点像素坐标作为新的融合的线段的两个端点的像素坐标，将这条融合处理的线段放入到融合的线段集合l_meg中；

重复执行步骤三、四，直到集合l_Ori为空集，然后执行步骤五；

步骤五、删除集合l_meg中错误线段：

首先，删除L<1200像素的线段；

其次，使用光学元件CAD模型的先验知识识别属于光学元件边缘的线段，具体的，将被夹具夹持的光学元件复位至预定位置，将此时的光学元件的CAD投影至采集的图像中。由于提取的线段来自光学元件边缘，则按下列条件来筛选代表光学元件边缘的线段：该线段中点到与由CAD提取的某条模型边缘线段欧式距离dis小于15像素，夹角ang小于2°；将集合l_meg中不满足上述条件的线段删除，集合l_meg中剩余的线段作为光学元件边缘。

优选地，S34获取光学元件边缘在全局坐标系下的解析式的过程为：

根据已知的相机内参矩阵和外参矩阵，将两张图像中对应光学元件的同一边缘的直线使用反投影转换到相机坐标系下的平面，得到直线所在平面的三维参数，该平面过相机光心O；所述两张图像为一张俯视图和一张侧视图；

假设来自全局相机的边缘线段l₁和一台侧视角相机的边缘线段l₂对应空间中同一条直线，l₁和全局相机的光心确定平面P₁，l₂和侧视角相机的光心确定平面P₂，根据内参矩阵和外参矩阵将平面P₁、P₂变换到全局坐标系下，得到P₁、P₂在全局坐标系下的解析式为：

P₁:a₁X+b₁Y+c₁Z+d₁＝0

P₂:a₂X+b₂Y+c₂Z+d₂＝0

其中向量(a₁,b₁,c₁)是平面P₁的法向量，d₁是满足所有点在平面P₁上后缀；向量(a₂,b₂,c₂)是平面P₂的法向量，d₂是满足所有点在平面P₂上后缀；c₁＝c₂＝1；

由于在两台相机成像中，匹配的直线对应三维空间同一条直线，平面P₁和P₂必然相交，交线即为目标直线，即光学元件边缘所在直线解析式为：

P＝p₀+tV

其中p₀＝(X₀,Y₀,Z₀)，是目标直线上的一个已知点，t是目标直线的单位方向向量，形式为t＝iX+jY+kZ，系数i,j,k满足关系式：i²+j²+k²＝1；

重复此方法可得到光学元件上表面靠近两台侧视角相机的相邻两边缘所在直线在全局坐标系下的解析式：

L₁：P＝p₁+₁V

L₂：P＝p₂+₂V

其中，p₁是直线L₁上的一个已知点，t₁是直线L₁的单位方向向量，p₂是直线L₂上的一个已知点，t₂是直线L₂的单位方向向量；

解算到L₁和L₂距离之和最小的点A＝(X^M,Y^M,Z^M)，为光学元件上表面左上角顶点，即，在L₁和L₂上各取一个到A距离为410mm的点B和C，由A、B、C共同确定一个平面：

P₀:a₀X+b₀Y+Z+c₀＝0

即为光学元件上表面在全局坐标系下的解析式，按上述方法求解上表面与其他两个边缘所在平面的交线，即为剩下两个边缘所在直线在全局坐标系下的空间解析式：

L₃：P＝p₃+₃V

L₄：P＝p₄+₄V

其中，p₃是直线L₃上的一个已知点，t₃是直线L₃的单位方向向量，p₄是直线L₄上的一个已知点，t_t是直线L₄的单位方向向量。

优选地，S35解算光学元件的位置姿态及上表面的尺寸的过程为：

光学元件模型坐标系O_M到全局坐标系O_G的姿态Z轴正方向定义为t₂×t₁，X轴正方向定义为t₂。构建PnP对应关系：

二维点(0,0)，对应三维点A＝(X_M,Y_M,Z_M)；

二维点(1,0)，对应三维点A+t₂；

二维点(0,1)，对应三维点A+Norm(t₂×t₁)×t₂；

二维点(1,1)，对应三维点A+Norm(t₂×t₁)×t₂+t₂；

其中Norm(t)为对t归一化的操作；

通过建立上述四组点的PnP关系，即可求解出光学元件的模型坐标系O_M到全局坐标系O_G的转换关系(R,t)，(R,t)作为光学元件的6自由度位姿，R为光学元件的模型坐标系O_M到全局坐标系O_G的旋转矩阵，t为光学元件的模型坐标系O_M到全局坐标系O_G的平移向量；

位置矩阵t＝A^T＝(X_M,Y_M,Z_M)^T；

按照A点在全局坐标系下坐标的求解方法获取光学元件上表面剩余顶点在全局坐标系下坐标，剩余顶点按顺时针依次为B、C、D，

光学元件的长为L＝||((A+B)-(D+C))/2||₂，宽为W＝||((A+D)-(B+C))/2||₂。

本发明还提供另一种技术方案：基于正交视觉系统的光学元件装配方法，在装配时，利用权利要求1-8所述的基于正交视觉系统的光学元件装配过程位姿检测方法实时获取光学元件的位姿，计算出当前光学元件的位姿与理想位姿的偏差，指导机械手进行位姿调整。

本发明的有益效果：

(1)、高精度定位：通过三台相机组成的视觉检测系统，利用掠射光源照明，通过针对性的对光学元件边缘清晰成像，有效提高了对透明光学元件的定位精度。

(2)、减小制造公差影响：通过重新测算光学元件上表面的长宽，降低制造公差对装配过程的影响。

(3)、精确测量六自由度位姿：利用计算机视觉算法，基于三台相机获得的图像，精确测量光学元件的六自由度位姿，为后续装配过程提供路径指导。

附图说明

图1是本发明所述基于正交视觉系统的光学元件装配过程位姿检测方法的结构示意图；

图2是立体标定块示意图，其中图2(a)为表面4示意图，图2(b)为立体标定块的立体结构示意图，图2(c)为立体标定块表面3示意图，图2(d)为立体标定块表面0示意图，图2(e)为立体标定块表面1示意图，图2(f)为立体标定块表面2示意图，；

图3是线段在三维空间中反投影原理图。

附图中各部件说明：1、全局相机，2、1号侧视角相机，3、2号侧视角相机，4、FOA装配平台，5、光学元件，6、俯视图，7、1号侧视角相机所拍侧视图，8、2号侧视角相机所拍侧视图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

具体实施方式一：下面结合图1至图3说明本实施方式，本实施方式所述基于正交视觉系统的光学元件装配过程位姿检测方法包括以下步骤：

S1、构建视觉检测系统步骤；

所述视觉检测系统包括一台全局相机和两台侧视角相机，其中两台侧视角相机前方使用条形光源对光学元件掠射照明；

S2、视觉检测系统中三台相机的联合标定步骤；

其中，以全局相机的相机坐标系作为统一的全局坐标系；标定出三台相机内参、外参，建立各相机的像素坐标系到统一的全局坐标系的空间映射关系；

S3、光学元件位姿解算步骤；

三台相机同步获取光学元件的俯视图和两个侧视图，从三台相机的图像中提取光学元件边缘在各自像素坐标系下的解析式，结合联合标定数据，将不同相机的像素坐标系下的边缘对齐到统一的全局坐标系下；通过这些边缘的解析式确定光学元件的位姿。

关于步骤S1，参见图1，本实施方式方法基于正交视觉系统实现，为了对光学元件从不同角度同时清晰成像，为后续光学元件位姿检测提供图像信息，设计视觉检测系统由三台相机组成，包括一台全局相机和两台侧视角相机，其中两台侧视角相机前方使用条形光源对光学元件掠射照明。

待检测的光学元件水平方向置于FOA装配平台上，全局相机设置于FOA装配平台上方，检测时位于光学元件侧方的两台相机为1号侧视角相机和2号侧视角相机，配置全局相机的工作距离为1200mm，1号侧视角相机和2号侧视角相机的工作距离为280mm。

三台相机的姿态相互正交，三台相机的光轴相交于光学元件上表面的一点，建立如下坐标系：

全局相机的全局坐标系为O_G-X_GY_GZ_G，全局相机的光轴方向与水平面垂直；

1号侧视角相机坐标系为O_C1-X_C1Y_C1Z_C1，2号侧视角相机坐标系为O_C2-X_C2Y_C2Z_C2，两个相机的光轴方向与水平面平行；

全局相机坐标系O_G的X轴正方向与2号侧视角相机坐标系O_C2的Z_C2轴正方向相同；

光学元件的模型坐标系O_M为O_M-X_MY_MZ_M，且原点定义在光学元件上表面左上角的顶点A上，Z_M轴与光学元件上表面垂直，Z_M轴正方向向上，X_M轴正方向为光学元件上表面左上角的顶点指向光学元件上表面左下角的顶点方向。

关于步骤S2的联合标定，为了对视觉检测系统的三台相机标定内参、外参，建立各自像素坐标系到统一的全局三维坐标系的空间映射关系，首先分别标定三台相机的内部参数，建立像素坐标系到各自的相机坐标系的空间映射关系，再将全局相机的相机坐标系定义为统一的全局坐标系，分别标定两台侧视角相机的相机坐标系到全局坐标系的坐标系变换，即两台相机的外参。

其中内参矩阵采用张正友标定方法，标定三台相机的内参矩阵，建立各自二维像素坐标系到三维相机坐标系的映射关系；

其中外参矩阵标定，以全局相机的相机坐标系作为统一的全局坐标系，分别标定两台侧视角相机的相机坐标系到全局坐标系的坐标系变换，获取两台侧视角相机的外参矩阵；

所述外参矩阵包括：1号侧视角相机坐标系O_C1到全局坐标系O_G的转换关系T_C1＝(R_C1,t_C1)，R_C1为1号侧视角相机坐标系O_C1到全局坐标系O_G的旋转矩阵，t_C1为1号侧视角相机坐标系O_C1到全局坐标系O_G的平移向量；

及2号侧视角相机坐标系O_C2到全局坐标系O_G的转换关系为T_C2＝(R_C2,t_C2)，R_C2为2号侧视角相机坐标系O_C2到全局坐标系O_G的旋转矩阵，t_C2为2号侧视角相机坐标系O_C2到全局坐标系O_G的平移向量。

外参矩阵标定参见图2，在外参标定中，由于定义了全局相机的相机坐标系为统一的全局坐标系，因此只需要标定两台侧视角相机的外部参数，为正交的视觉检测系统的外部参数的标定，针对性的设计了立体标定块，结合AprilTag算法标定。设计的标定块采用树脂材料3D打印，外形为长方体，其尺寸规格如图2所示，加工精度为±0.05mm。所述立体标定块为长方体，四个侧面及顶面依次定义为立方体的表面0-表面4，表面0-表面4依次采用id为0-4的36H11 AprilTag图案，立体标定块的坐标系O_B原点定义在表面0上的AprilTag图案(id＝0)中心，X轴、Y轴平行于该表面，正方向分别为图案左上顶点到右上顶点方向、图案左上顶点到左下顶点方向，Z轴方向指向模型内侧；

采用AprilTag算法标定外参矩阵的过程为：

标定侧视角相机外参时，长方体标定块的布置和摆放，满足相机检测光学元件时的工作距离需求。立体标定块表面4保持水平，从立体标定块的表面0-3中任意选择一面，令被选择面AprilTag图案到1号侧视角相机光心沿光轴方向的距离为280mm，表面4的AprilTag图案到全局相机光心沿光轴方向的距离为1200mm，并保证上述两相机视场中完整出现对应的AprilTag图案；

当立体标定块与全局相机、1号侧视角相机满足上述要求时，使用外部触发方式控制两台相机在不大于15ms的时间差下捕捉图像，使用AprilTag算法计算视场内标定图形到各自相机的位置姿态；立体标定块上所有的图形的坐标系与标定块的坐标系O_B的变换关系由CAD数据已知，推导出拍照时刻标定块相对于全局相机和1号侧视角相机的位姿，解算这两个位姿之间的变换T_C1＝(R_C1,t_C1)，即为O_C1到O_G的转换关系，获取1号侧视角相机在O_G下的外参矩阵；

2号侧视角相机在O_G下的外参矩阵的获取方式与上述过程相同。2号侧视角相机坐标系O_C2到全局坐标系O_G的转换关系为T_C2＝(R_C2,t_C2)。

关于步骤S3，光学元件位姿解算过程为：

S31、利用夹具将光学元件放于FOA平台预定位置，令三台相机同步采集光学元件的俯视图像I_M和两个侧视图像I_SL、I_SF，将三幅图像进行预处理生成灰度图像；

具体的，首先机械手将光学元件夹持至预定位置，打开掠射光源，调节照明角度令光学元件边缘在相机视场中被照亮，根据预先设定好的RoI区域的平均像素灰度值调节相机曝光时间，令光学元件边缘对应像素灰度(取值范围为0-255)在220-240之间；通过外部触发方式控制三台相机在150ms内同步采集图像，采集的图像分别为全局相机图像I_M，分辨率为5120×5120；侧视角相机图像I_SL、I_SF，分辨率均为4200×2160。

S32、采用LSD算法从三幅灰度图像中提取线段，对这些线段进行处理，获取三幅灰度图像在各自相机像素坐标系下的光学元件边缘；

光学元件边缘的获取过程为：

采用LSD算法从三幅灰度图像中提取出所有线段，并作如下处理：

步骤一、剔除L<25像素的过短线段，线段长度L按下式获取：

(x₁,y₁),(x₂,y₂)分别是线段两端点的像素坐标；

步骤二、将还未融合的线段集合记为l_Ori，融合的线段集合记为l_meg，经步骤一剔除过短线段后的剩余线段首先放在集合l_Ori中；

步骤三、融合线段：

在集合l_Ori中搜索L最大的线段，记为l₀，在集合l_Ori中搜索满足条件的线段：线段中点到l₀所在直线欧式距离dis小于3像素的，同时线段与l₀夹角ang小于0.5°；将l₀及符合条件线段从集合l_Ori中移出；

两条线段的欧式距离dis和夹角ang按下式计算：

其中：

(a₁,b₁),(a₂,b₂)为l₀端点坐标，

k为l₀斜率，

x＝(x₁+x₂)/2

y＝(y₁+y₂)/2

Δx＝x₂-x₁

Δy＝y₂-y₁

Δa＝a₂-a₁

Δb＝b₂-b₁

步骤四、对于l₀及符合条件线段，使用SMBR算法计算这些线段端点的最小外接矩形，将该外接矩形两条短边的中点像素坐标作为新的融合的线段的两个端点的像素坐标，将这条融合处理的线段放入到融合的线段集合l_meg中；

重复执行步骤三、四，直到集合l_Ori为空集，然后执行步骤五；

步骤五、删除集合l_meg中错误线段：

首先，删除L<1200像素的线段；由于在实拍图中光学元件边缘的线段普遍长度都高于1200像素，所以剔除L<1200像素的线段，即删除过短线段。

其次，使用光学元件CAD模型的先验知识识别属于光学元件边缘的线段，具体的，将被夹具夹持的光学元件复位至预定位置，将此时的光学元件的CAD投影至采集的图像中。由于提取的线段来自光学元件边缘，所以正确代表边缘的线段需要同时满足下列两个条件(即按下列条件来筛选代表光学元件边缘的线段)：该线段中点到与由CAD提取的某条模型边缘线段欧式距离dis小于15像素，夹角ang小于2°；将集合l_meg中不满足上述条件的线段删除，集合l_meg中剩余的线段作为光学元件边缘。

S33、获取光学元件边缘在三个相机坐标系下的解析式，具体的，根据步骤S32匹配结果，当俯视图像I_M中的某一条边缘与侧视图像I_SL或侧视图像I_SF中的某一条边缘同时对应CAD模型中同一条边缘，则认为上述两张图像中的边缘对应光学元件的同一边缘；根据该原则获取三幅灰度图像在各自相机坐标系下的解析式；

S34、根据相机内参矩阵、外参矩阵，及三个相机坐标系下解析式，获取光学元件边缘在全局坐标系下的解析式；

获取光学元件边缘在全局坐标系下的解析式的过程为：

参见图3，首先给出在像素坐标系的边缘投影在三维空间下的原理说明，根据已知的相机内参矩阵和外参矩阵，将两张图像中对应光学元件的同一边缘的直线使用反投影转换到相机坐标系下的平面，得到直线所在平面的三维参数，该平面过相机光心O；所述两张图像为一张俯视图和一张侧视图；将两张图像中对应待测光学元件的同一边缘的直线使用反投影转换到相机坐标系下的平面，得到直线所在平面的三维参数，该平面过相机光心O。如图3所示，x₁、x₂为图像中一条直线上的两点，为已知量；X₁、X₂为这两点在三维空间中对应的点，X₁、X₂的空间坐标未知，而且即使使用了相机的标定数据也无法得知，但能够根据相机的内参，通过投影确定空间点X₁、X₂在过点O、x₁、x₂的平面上，即相机像素平面上的线段(直线)对应三维空间中的一个面。

假设来自全局相机的边缘线段l₁和一台侧视角相机的边缘线段l₂对应空间中同一条直线，l₁和全局相机的光心确定平面P₁，l₂和侧视角相机的光心确定平面P₂，根据内参矩阵和外参矩阵将平面P₁、P₂变换到全局坐标系下，得到P₁、P₂在全局坐标系下的解析式为：

P₁:a₁X+b₁Y+c₁Z+d₁＝0

P₂:a₂X+b₂Y+c₂Z+d₂＝0

其中向量(a₁,b₁,c₁)是平面P₁的法向量，d₁是满足所有点在平面P₁上后缀；向量(a₂,b₂,c₂)是平面P₂的法向量，d₂是满足所有点在平面P₂上后缀；c₁＝c₂＝1；

由于在两台相机成像中，匹配的直线对应三维空间同一条直线，平面P₁和P₂必然相交，交线即为目标直线，即光学元件边缘所在直线解析式为：

P＝p₀+tV

其中p₀＝(X₀,Y₀,Z₀)，是目标直线上的一个已知点，t是目标直线的单位方向向量，形式为t＝iX+jY+kZ，系数i,j,k满足关系式：i²+j²+k²＝1；

根据上述原理就可以获取光学元件上表面靠近两台侧视角相机的相邻两边缘所在直线在全局坐标系下的解析式：

L₁：P＝p₁+₁V

L₂：P＝p₂+₂V

其中，p₁是直线L₁上的一个已知点，t₁是直线L₁的单位方向向量，p₂是直线L₂上的一个已知点，t₂是直线L₂的单位方向向量；

解算到L₁和L₂距离之和最小的点A＝(X^M,Y^M,Z^M)，为光学元件上表面左上角顶点，即，在L₁和L₂上各取一个到A距离为410mm的点B和C，由A、B、C共同确定一个平面：

P₀:a₀X+b₀Y+Z+c₀＝0

即为光学元件上表面在全局坐标系下的解析式，按上述方法求解上表面与其他两个边缘所在平面的交线，即为剩下两个边缘所在直线在全局坐标系下的空间解析式：

L₃：P＝p₃+₃V

L₄：P＝p₄+₄V

其中，p₃是直线L₃上的一个已知点，t₃是直线L₃的单位方向向量，p₄是直线L₄上的一个已知点，t₄是直线L₄的单位方向向量。

S35、根据光学元件边缘在全局坐标系下的解析式，利用PnP算法(Perspective-n-Point，求解3D到2D点对运动的算法)根据对应关系解算光学元件的位置姿态及上表面的尺寸。

解算光学元件的位置姿态及上表面的尺寸的过程为：

光学元件模型坐标系O_M到全局坐标系O_G的姿态Z轴正方向定义为t₂×t₁，X轴正方向定义为t₂。构建PnP对应关系：

二维点(0,0)，对应三维点A＝(X_M,Y_M,Z_M)；

二维点(1,0)，对应三维点A+t₂；

二维点(0,1)，对应三维点A+Norm(t₂×t₁)×t₂；

二维点(1,1)，对应三维点A+Norm(t₂×t₁)×t₂+t₂；

其中Norm(t)为对t归一化的操作；

通过建立上述四组点的PnP关系，即可求解出光学元件的模型坐标系O_M到全局坐标系O_G的转换关系(R,t)，(R,t)作为光学元件的6自由度位姿，R为光学元件的模型坐标系O_M到全局坐标系O_G的旋转矩阵，t为光学元件的模型坐标系O_M到全局坐标系O_G的平移向量；

位置矩阵t＝A^T＝(X_M,Y_M,Z_M)^T；

按照A点在全局坐标系下坐标的求解方法获取光学元件上表面剩余顶点在全局坐标系下坐标，剩余顶点按顺时针依次为B、C、D，

光学元件的长为L＝||((A+B)-(D+C))/2||₂，宽为W＝||((A+D)-(B+C))/2||₂。

具体实施方式二：下面结合图1说明本实施方式，本实施方式所述基于正交视觉系统的光学元件装配方法是基于实施方式一检测方法实现的，将实施方式一解算出的光学元件六自由度位姿应用于后续的装配过程中，在装配时，利用实施方式一所述的基于正交视觉系统的光学元件装配过程位姿检测方法实时获取光学元件的位姿，结合机械手手眼标定信息和光学元件应该到达的理想位姿，计算出当前光学元件的位姿与理想位姿的偏差，利用这个偏差指导机械手进行位姿调整。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (9)

1.基于正交视觉系统的光学元件装配过程位姿检测方法，其特征在于，该方法包括以下步骤：

S1、构建视觉检测系统步骤；

所述视觉检测系统包括一台全局相机和两台侧视角相机，其中两台侧视角相机前方使用条形光源对光学元件掠射照明；

S2、视觉检测系统中三台相机的联合标定步骤；

其中，以全局相机的相机坐标系作为统一的全局坐标系；标定出三台相机内参、外参，建立各相机的像素坐标系到统一的全局坐标系的空间映射关系；

S3、光学元件位姿解算步骤；

三台相机同步获取光学元件的俯视图和两个侧视图，从三台相机的图像中提取光学元件边缘在各自像素坐标系下的解析式，结合联合标定数据，将不同相机的像素坐标系下的边缘对齐到统一的全局坐标系下；通过这些边缘的解析式确定光学元件的位姿。

2.根据权利要求1所述基于正交视觉系统的光学元件装配过程位姿检测方法，其特征在于，待检测的光学元件水平方向置于FOA装配平台上，全局相机设置于FOA装配平台上方，检测时位于光学元件侧方的两台相机为1号侧视角相机和2号侧视角相机，

三台相机的姿态相互正交，三台相机的光轴相交于光学元件上表面的一点，建立如下坐标系：

全局相机的全局坐标系为O_G-X_GY_GZ_G，全局相机的光轴方向与水平面垂直；

1号侧视角相机坐标系为O_C1-X_C1Y_C1Z_C1，2号侧视角相机坐标系为O_C2-X_C2Y_C2Z_C2，两个相机的光轴方向与水平面平行；

全局相机坐标系O_G的X轴正方向与2号侧视角相机坐标系O_C2的Z_C2轴正方向相同；

光学元件的模型坐标系O_M为O_M-X_MY_MZ_M，且原点定义在光学元件上表面左上角的顶点A上，Z_M轴与光学元件上表面垂直，Z_M轴正方向向上，X_M轴正方向为光学元件上表面左上角的顶点指向光学元件上表面左下角的顶点方向。

3.根据权利要求2所述基于正交视觉系统的光学元件装配过程位姿检测方法，其特征在于，步骤S2的联合标定过程为：

首先采用张正友标定方法分别标定三台相机的内参矩阵，建立各自二维像素坐标系到三维相机坐标系的映射关系；

再以全局相机的相机坐标系作为统一的全局坐标系，分别标定两台侧视角相机的相机坐标系到全局坐标系的坐标系变换，获取两台侧视角相机的外参矩阵；

所述外参矩阵包括：1号侧视角相机坐标系O_C1到全局坐标系O_G的转换关系T_C1＝(R_C1,t_C1)，R_C1为1号侧视角相机坐标系O_C1到全局坐标系O_G的旋转矩阵，t_C1为1号侧视角相机坐标系O_C1到全局坐标系O_G的平移向量；

及2号侧视角相机坐标系O_C2到全局坐标系O_G的转换关系为T_C2＝(R_C2,t_C2)，R_C2为2号侧视角相机坐标系O_C2到全局坐标系O_G的旋转矩阵，t_C2为2号侧视角相机坐标系O_C2到全局坐标系O_G的平移向量。

4.根据权利要求2或3所述基于正交视觉系统的光学元件装配过程位姿检测方法，其特征在于，采用立体标定块并结合AprilTag算法标定两个侧视角相机的外参矩阵，所述立体标定块为长方体，四个侧面及顶面依次定义为立方体的表面0-表面4，表面0-表面4依次采用id为0-4的36H11 AprilTag图案，立体标定块的坐标系O_B原点定义在表面0上的AprilTag图案(id＝0)中心，X轴、Y轴平行于该表面，正方向分别为图案左上顶点到右上顶点方向、图案左上顶点到左下顶点方向，Z轴方向指向模型内侧；

采用AprilTag算法标定外参矩阵的过程为：

立体标定块表面4保持水平，从立体标定块的表面0-3中任意选择一面，令被选择面AprilTag图案到1号侧视角相机光心沿光轴方向的距离为280mm，表面4的AprilTag图案到全局相机光心沿光轴方向的距离为1200mm，并保证上述两相机视场中完整出现对应的AprilTag图案；

当立体标定块与全局相机、1号侧视角相机满足上述要求时，使用外部触发方式控制两台相机在不大于15ms的时间差下捕捉图像，使用AprilTag算法计算视场内标定图形到各自相机的位置姿态；立体标定块上所有的图形的坐标系与标定块的坐标系O_B的变换关系由CAD数据已知，推导出拍照时刻标定块相对于全局相机和1号侧视角相机的位姿，解算这两个位姿之间的变换T_C1＝(R_C1,t_C1)，即为O_C1到O_G的转换关系，获取1号侧视角相机在O_G下的外参矩阵；

2号侧视角相机在O_G下的外参矩阵的获取方式与上述过程相同。

5.根据权利要求3所述基于正交视觉系统的光学元件装配过程位姿检测方法，其特征在于，S3步骤中光学元件位姿解算过程为：

S31、利用夹具将光学元件放于FOA装配平台预定位置，令三台相机同步采集光学元件的俯视图像I_M和两个侧视图像I_SL、I_SF，将三幅图像进行预处理生成灰度图像；

S32、采用LSD算法从三幅灰度图像中提取线段，对这些线段进行处理，获取三幅灰度图像在各自相机像素坐标系下的光学元件边缘；

S33、获取光学元件边缘在三个相机坐标系下的解析式，具体的，根据步骤S32匹配结果，当俯视图像I_M中的某一条边缘与侧视图像I_SL或侧视图像I_SF中的某一条边缘同时对应CAD模型中同一条边缘，则认为上述两张图像中的边缘对应光学元件的同一边缘；根据该原则获取三幅灰度图像在各自相机坐标系下的解析式；

S34、根据相机内参矩阵、外参矩阵，及三个相机坐标系下解析式，获取光学元件边缘在全局坐标系下的解析式；

S35、根据光学元件边缘在全局坐标系下的解析式，利用PnP算法根据对应关系解算光学元件的位置姿态及上表面的尺寸。

6.根据权利要求5所述基于正交视觉系统的光学元件装配过程位姿检测方法，其特征在于，步骤S32中光学元件边缘的获取过程为：

采用LSD算法从三幅灰度图像中提取出所有线段，并作如下处理：

步骤一、剔除L<25像素的过短线段，线段长度L按下式获取：

(x₁,y₁),(x₂,y₂)分别是线段两端点的像素坐标；

步骤二、将还未融合的线段集合记为l_Ori，融合的线段集合记为l_meg，经步骤一剔除过短线段后的剩余线段首先放在集合l_Ori中；

步骤三、融合线段：

在集合l_Ori中搜索L最大的线段，记为l₀，在集合l_Ori中搜索满足条件的线段：线段中点到l₀所在直线欧式距离dis小于3像素的，同时线段与l₀夹角ang小于0.5°；将l₀及符合条件线段从集合l_Ori中移出；

两条线段的欧式距离dis和夹角ang按下式计算：

其中：

(a₁,b₁),(a₂,b₂)为l₀端点坐标，

k为l₀斜率，

x＝(x₁+x₂)/2

y＝(y₁+y₂)/2

Δx＝x₂-x₁

Δy＝y₂-y₁

Δa＝a₂-a₁

Δb＝b₂-b₁

步骤四、对于l₀及符合条件线段，使用SMBR算法计算这些线段端点的最小外接矩形，将该外接矩形两条短边的中点像素坐标作为新的融合的线段的两个端点的像素坐标，将这条融合处理的线段放入到融合的线段集合l_meg中；

重复执行步骤三、四，直到集合l_Ori为空集，然后执行步骤五；

步骤五、删除集合l_meg中错误线段：

首先，删除L<1200像素的线段；

其次，使用光学元件CAD模型的先验知识识别属于光学元件边缘的线段，具体的，将被夹具夹持的光学元件复位至预定位置，将此时的光学元件的CAD投影至采集的图像中。由于提取的线段来自光学元件边缘，则按下列条件来筛选代表光学元件边缘的线段：该线段中点到与由CAD提取的某条模型边缘线段欧式距离dis小于15像素，夹角ang小于2°；将集合l_meg中不满足上述条件的线段删除，集合l_meg中剩余的线段作为光学元件边缘。

7.根据权利要求6所述基于正交视觉系统的光学元件装配过程位姿检测方法，其特征在于，S34获取光学元件边缘在全局坐标系下的解析式的过程为：

根据已知的相机内参矩阵和外参矩阵，将两张图像中对应光学元件的同一边缘的直线使用反投影转换到相机坐标系下的平面，得到直线所在平面的三维参数，该平面过相机光心O；所述两张图像为一张俯视图和一张侧视图；

假设来自全局相机的边缘线段l₁和一台侧视角相机的边缘线段l₂对应空间中同一条直线，l₁和全局相机的光心确定平面P₁，l₂和侧视角相机的光心确定平面P₂，根据内参矩阵和外参矩阵将平面P₁、P₂变换到全局坐标系下，得到P₁、P₂在全局坐标系下的解析式为：

P₁:a₁X+b₁Y+c₁Z+d₁＝0

P₂:a₂X+b₂Y+c₂Z+d₂＝0

其中向量(a₁,b₁,c₁)是平面P₁的法向量，d₁是满足所有点在平面P₁上后缀；向量(a₂,b₂,c₂)是平面P₂的法向量，d₂是满足所有点在平面P₂上后缀；c₁＝c₂＝1；

由于在两台相机成像中，匹配的直线对应三维空间同一条直线，平面P₁和P₂必然相交，交线即为目标直线，即光学元件边缘所在直线解析式为：

P＝p₀+tV

其中p₀＝(X₀，Y₀，Z₀)，是目标直线上的一个已知点，t是目标直线的单位方向向量，形式为t＝iX+jY+kZ，系数i，j，k满足关系式：i²+j²+k²＝1；

重复此方法可得到光学元件上表面靠近两台侧视角相机的相邻两边缘所在直线在全局坐标系下的解析式：

L₁：P＝p₁+t₁V

L₂：P＝β₂+t₂V

其中，p₁是直线L₁上的一个已知点，t₁是直线L₁的单位方向向量，p₂是直线L₂上的一个已知点，t₂是直线L₂的单位方向向量；

解算到L₁和L₂距离之和最小的点A＝(X^M，Y^M，Z^M)，为光学元件上表面左上角顶点，即，在L₁和L₂上各取一个到A距离为410mm的点B和C，由A、B、C共同确定一个平面：

P₀：a₀X+b₀Y+Z+c₀＝0

即为光学元件上表面在全局坐标系下的解析式，按上述方法求解上表面与其他两个边缘所在平面的交线，即为剩下两个边缘所在直线在全局坐标系下的空间解析式：

L₃：P＝p₃+t₃V

L₄：P＝p₄+t₄V

其中，p₃是直线L₃上的一个已知点，t₃是直线L₃的单位方向向量，p₄是直线L₄上的一个已知点，t₄是直线L₄的单位方向向量。

8.根据权利要求7所述基于正交视觉系统的光学元件装配过程位姿检测方法，其特征在于，S35解算光学元件的位置姿态及上表面的尺寸的过程为：

光学元件模型坐标系O_M到全局坐标系O_G的姿态Z轴正方向定义为t₂×t₁，X轴正方向定义为t₂。构建PnP对应关系：

二维点(0，0)，对应三维点A＝(X_M，Y_M，Z_M)；

二维点(1，0)，对应三维点A+t₂：

二维点(0，1)，对应三维点A+Norm(t₂×t₁)×t₂；

二维点(1，1)，对应三维点A+Norm(t₂×t₁)×t₂+t₂；

其中Norm(t)为对t归一化的操作；

通过建立上述四组点的PnP对应关系，即可求解出光学元件的模型坐标系O_M到全局坐标系O_G的转换关系(R,t)，(R,t)作为光学元件的6自由度位姿，R为光学元件的模型坐标系O_M到全局坐标系O_G的旋转矩阵，t为光学元件的模型坐标系O_M到全局坐标系O_G的平移向量；

位置矩阵t＝A^T＝(X_M,Y_M,Z_M)^T；

按照A点在全局坐标系下坐标的求解方法获取光学元件上表面剩余顶点在全局坐标系下坐标，剩余顶点按顺时针依次为B、C、D，

光学元件的长为L＝||((A+B)-(D+C))/2||₂，宽为W＝||((A+D)-(B+C))/2||₂。

9.基于正交视觉系统的光学元件装配方法，其特征在于，在装配时，利用权利要求1-8所述的基于正交视觉系统的光学元件装配过程位姿检测方法实时获取光学元件的位姿，计算出当前光学元件的位姿与理想位姿的偏差，指导机械手进行位姿调整。