[go: up one dir, main page]

CN111801198B - 一种手眼标定方法、系统及计算机存储介质 - Google Patents

一种手眼标定方法、系统及计算机存储介质 Download PDF

Info

Publication number
CN111801198B
CN111801198B CN201880088580.0A CN201880088580A CN111801198B CN 111801198 B CN111801198 B CN 111801198B CN 201880088580 A CN201880088580 A CN 201880088580A CN 111801198 B CN111801198 B CN 111801198B
Authority
CN
China
Prior art keywords
coordinate system
origin
view
hand
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880088580.0A
Other languages
English (en)
Other versions
CN111801198A (zh
Inventor
王少飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen A&E Intelligent Technology Institute Co Ltd
Original Assignee
Shenzhen A&E Intelligent Technology Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen A&E Intelligent Technology Institute Co Ltd filed Critical Shenzhen A&E Intelligent Technology Institute Co Ltd
Publication of CN111801198A publication Critical patent/CN111801198A/zh
Application granted granted Critical
Publication of CN111801198B publication Critical patent/CN111801198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本申请提供一种手眼标定方法、系统及计算机存储介质,该方法包括如下步骤:确定参照物坐标系、机器人旋转轴坐标系原点和摄像设备坐标系原点;通过摄像设备沿第一方向获取多幅参照物的第一视图;第一方向是平行于机器人旋转轴坐标系原点到摄像设备坐标系原点连线的方向;通过摄像设备沿第二方向获取多幅参照物的第二视图;第二方向是与机器人旋转轴坐标系原点到摄像设备坐标系原点的连线非平行的方向;基于第一视图、第二视图和摄像设备的运动信息,得到手眼标定的结果。通过上述方式,本申请只需控制摄像设备围绕参照物运动获取参照物的多幅第一视图和第二视图,减少了工作量和标定工序,标定效率高,并且保证了手眼标定的准确性。

Description

一种手眼标定方法、系统及计算机存储介质
技术领域
本申请涉及机器人技术领域,特别是涉及手眼标定方法、系统及计算机存储介质。
背景技术
随着人工智能技术的发展和社会需求的变化,机器人已经在多个行业中得到了广泛应用。在工业应用领域中,机器人能够通过自身动力和控制能力来实现各种功能,而支撑这种技术重要一环是机器人的视觉系统,利用视觉系统获取图像,机器人可以控制执行器执行机械加工及安装等动作。
手眼标定是所有机器人配合机器视觉应用的第一步,只有机器人和视觉系统均能够将自己的坐标系转换到同一世界坐标系时,机器人才能够和视觉系统协同作业。
现有的做法一般是让机器人和视觉系统分别标定自身坐标系相对于世界坐标系的转换关系,这种方式需要操作人员手动将机械臂精确移至至少三个特定位置进行标定,准确度不稳定,为精确达到特定位置,标定操作复杂。
发明内容
本申请解决的技术问题是,提供一种手眼标定方法、系统及计算机存储介质,通过搭载在机器人上的摄像设备沿不同方向获取参照物图片来进行手眼标定,大幅简化标定的工序,提高标定准确度。
为解决上述问题,本申请提供了一种手眼标定方法,包括如下步骤:确定参照物坐标系、机器人旋转轴坐标系原点和摄像设备坐标系原点;通过摄像设备沿第一方向获取多幅参照物的第一视图;其中,摄像设备安装于机器人旋转轴上,由机器人旋转轴控制摄像设备的运动,摄像设备沿第一方向平移运动,第一方向是平行于机器人旋转轴坐标系原点到摄像设备坐标系原点连线的方向,且至多有3幅第一视图的拍摄平面在同一平面内;通过摄像设备沿第二方向获取多幅参照物的第二视图;其中,摄像设备沿第二方向平移运动,第二方向是与机器人旋转轴坐标系原点到摄像设备坐标系原点的连线非平行的方向;基于第一视图、第二视图和摄像设备的运动信息,得到手眼标定的结果。
为解决上述问题,本申请还提供了一种手眼标定系统,包括:摄像设备,摄像设备具有摄像设备坐标系;机器人,机器人上装有机械前臂,机械前臂上装有旋转轴,摄像设备与旋转轴连接,旋转轴控制摄像设备进行刚性运动,机器人具有机器人旋转轴坐标系;参照物,参照物具有参照物坐标系;处理单元,用于通过摄像设备沿第一方向获取多幅参照物的第一视图;其中,摄像设备沿第一方向平移运动并拍摄参照物图像,第一方向是平行于机器人旋转轴坐标系原点到摄像设备坐标系原点连线的方向,且至多有3幅第一视图的拍摄平面在同一平面内;通过摄像设备沿第二方向获取多幅参照物的第二视图;其中,摄像设备沿第二方向平移运动并拍摄参照物图像,第二方向是与机器人旋转轴坐标系原点到摄像设备坐标系原点的连线非平行的方向;基于第一视图、第二视图和摄像设备的运动信息,得到手眼标定的结果。
为解决上述问题,本申请还提供了一种计算机存储介质,其中,计算机存储介质上存储有程序数据,在程序数据被处理器执行时,执行如下步骤:确定参照物坐标系、机器人旋转轴坐标系原点和摄像设备坐标系原点;通过摄像设备沿第一方向获取多幅参照物的第一视图;其中,摄像设备安装于机器人旋转轴上,由机器人旋转轴控制摄像设备的运动,摄像设备沿第一方向平移运动,第一方向是平行于机器人旋转轴坐标系原点到摄像设备坐标系原点连线的方向,且至多有3幅第一视图的拍摄平面在同一平面内;通过摄像设备沿第二方向获取多幅参照物的第二视图;其中,摄像设备沿第二方向平移运动,第二方向是与机器人旋转轴坐标系原点到摄像设备坐标系原点的连线非平行的方向;基于第一视图、第二视图和摄像设备的运动信息,得到手眼标定的结果。
本申请的有益效果是:区别于现有技术,本申请不需要预先设定标定点和控制摄像设备精确移动到预设位置,只需控制摄像设备围绕参照物运动获取参照物的多幅第一视图和第二视图,根据该第一视图和第二视图获取摄像设备坐标系、参照物坐标系以及旋转轴坐标系之间的转换关系,减少了工作量和标定工序,标定效率高,并且保证了手眼标定的准确性。
附图说明
图1是本申请手眼标定方法一实施例的流程示意图;
图2是图1所示的手眼标定方法一实施例中各坐标系的示意图;
图3是图1所示的手眼标定方法中摄像设备平移示意图;
图4是图1所示的手眼标定方法中摄像设备平移和旋转示意图;
图5是本申请手眼标定系统一实施例的结构示意图;
图6是本申请计算机存储介质一实施例的结构示意图。
具体实施方式
请参阅图1,图1是本申请机器人手眼标定方法一实施例的流程示意图,本实施例的机器人手眼标定方法包括如下步骤:
101:确定参照物坐标系、机器人旋转轴坐标系原点和摄像设备坐标系原点。
图2是图1所示的手眼标定方法一实施例中各坐标系的示意图,本实施例中,机器人上装有机械前臂,机械前臂上装有旋转轴203,摄像设备202安装在旋转轴203上,旋转轴203用于控制摄像设备202刚性运动,例如平移和旋转。参照物为包含标定坐标系的平面201,也就是参照物坐标系为标定坐标系,所述标定坐标系可以为世界坐标系。在平面201上,包含参照物坐标系的X1轴与Y1轴,Z1轴优选垂直于平面201。可以以摄像设备202的光心为摄像设备坐标系原点,并将旋转轴203的其中一个关节点定义为机器人旋转轴坐标系原点。例如,X2轴、Y2轴以及Z2轴的交汇处为摄像设备坐标系原点,X3轴、Y3轴以及Z3轴的交汇处为机器人旋转轴坐标系原点。
本申请中由机器人的旋转轴203带动摄像设备202运动,摄像设备202在运动过程中获取参照物的图像,该图像在摄像设备坐标系中的坐标U与在参照物坐标系的坐标P之间的投影关系为:
U≈K[R t]·P
其中,R为摄像设备坐标系与参照物坐标系之间的旋转关系矩阵;t为运动向量(本申请中主要为平移向量);K为摄像设备内参数矩阵,
Figure BDA0002617874550000041
其中,fx和fy为参照物在摄像设备坐标系X2轴和Y2轴上的比例因子,x0和y0是摄像设备拍摄平面与摄像设备光轴的交点,s为预设的畸变因子。
102:通过摄像设备沿第一方向获取多幅参照物的第一视图;其中,第一方向是平行于机器人旋转轴坐标系原点到摄像设备坐标系原点连线的方向,平移为刚体运动,且至多有3幅第一视图的拍摄平面在同一平面内。
具体的,如图3所示,图3是图1所示的手眼标定方法中摄像设备平移示意图,摄像设备沿第一方向的5个拍照点(301、302、303、304和305)依次获取5幅参照物306的第一视图;其中,第一方向是平行于机器人旋转轴坐标系原点到摄像设备坐标系原点连线的方向。其中,各拍照点不必如现有技术中一样预先设定,只需使5幅第一视图中至多有3幅第一视图的拍摄平面在同一平面内,以能够通过获取到的第一视图来表述各拍照点坐标,且至多有3个拍照点具有重复的x轴坐标或y轴坐标,从而使第一视图能够更全面地指示参照物的空间位置,提高标定的准确性。在上述实施例中,为了确保能够通过第一视图准确表述参照物坐标,本申请通过摄像设备拍摄的第一视图的数量为至少5幅,且为了提高结果的准确性,在平移过程中通过摄像设备获取的第一视图至多只能有3幅第一视图的拍摄平面位于同一个平面内。
103:通过摄像设备沿第二方向获取多幅参照物的第二视图;其中,第二方向是与机器人旋转轴坐标系原点到摄像设备坐标系原点的连线相交的方向,也就是与机器人旋转轴坐标系原点到摄像设备坐标系原点的连线非平行的方向。
在本实施例中,为了准确获取机器人旋转轴坐标系与摄像设备坐标系之间的手眼关系,需要通过摄像设备获取参照物的至少两幅第二视图。下面以摄像设备获取参照物的的两幅第二视图为例进行说明。
具体的,如图4所示,图4是图1所示的手眼标定方法中摄像设备平移和旋转示意图。通过旋转轴带动摄像设备平移和旋转,摄像设备沿第二方向的2个拍照点(401、402)依次获取2幅参照物403的第二视图,为减小计算误差,旋转角度可以控制在30°至35°之间,即第二方向与机器人旋转轴坐标系原点到摄像设备坐标系原点连线的夹角为30°至35°,其中,第二方向是与机器人旋转轴坐标系原点到摄像设备坐标系原点连线的相交的方向。
三维空间的坐标变换过程中,首先需要确定的是机器人旋转轴坐标系与摄像设备坐标系之间的变换关系,本实施例中为简化计算,确定机器人的旋转轴的其中一个关节点为机器人旋转轴坐标系原点,假设机器人旋转轴坐标系与摄像设备坐标系的手眼关系为G,A为相邻两次运动机器人的旋转轴坐标系之间的变换关系,B为相邻两次运动摄像设备坐标系之间的变换关系,可以得到:
A·G=B·G
在满足上述获取多幅第一视图和第二视图的基础拍照位置的要求后,可以追加更多的拍照位置以增加手眼标定结果的鲁棒性和准确性。
104:基于第一视图、第二视图和摄像设备的运动信息,得到手眼标定的结果。
本实施例中,通过第一视图获取单应矩阵;通过第二视图获取参照物上的空间点在摄像设备坐标系中的X2轴和Y2轴上的比例因子以及摄像设备内参数矩阵,来构造测量矩阵;结合摄像设备的移动量和旋转量,得到手眼标定的结果。
具体的,选取一幅第一视图,随机选取该第一视图中参照物上的空间点S,将该空间点在摄像设备坐标系中的坐标U通过第一视图中任意3个不共线的空间点表示:
Figure BDA0002617874550000071
其中,a、b、c为3个不共线的空间点在摄像设备坐标系中的坐标,
Figure BDA0002617874550000072
表示空间点S在摄像设备二维图像平面上的位置。再次参阅图2,对应地,该空间点S在参照物坐标系中的坐标P为:/>
Figure BDA0002617874550000073
其中x1、y1为参照物上的空间点S在参照物坐标系的X1轴与Y1轴上的单位向量。
在根据投影关系可以得到:
Figure BDA0002617874550000074
通过对上述公式进行变换可以得到单应矩阵H:
Figure BDA0002617874550000075
假设拍摄第二视图时的摄像设备的运动常微分方程为m×n阶,那么空间点S在第二视图中的坐标(x0,y0)可以表示为:x0=m/2,y0=n/2。假设摄像设备光心到参照物的距离为D1,参照物上坐标线段长度为D2,摄像设备图像的像素坐标长度为D3,由摄像设备光学几何关系得到:
Figure BDA0002617874550000076
其中,f为摄像设备的焦距,L为像素在图像中的长度,从而可以得到空间点S在摄像设备坐标系中的X2轴和Y2轴上的比例因子fx=SxD1D2/D3和fy=SyD1D2/D3,其中/>
Figure BDA0002617874550000077
通过上述方法求得摄像设备内参数矩阵K1和K2
Figure BDA0002617874550000081
其中,i为第i个摄像设备拍摄点;j为机器人旋转轴运动的第j个位置;
Figure BDA0002617874550000082
为比例因子,H为单应矩阵、Rir1j Rir2j Rir3j+t为摄像设备的运动公式。
再对上述公式进行奇异值分解(Singular Value Decomposition,SVD),即可得到
Figure BDA0002617874550000083
比例因子,通过计算即可得到测量矩阵M。最后,结合计算得到的比例因子、测量矩阵以及机器人的移动量和旋转量,根据常规坐标转换公式,可以得到机器人旋转轴坐标系、摄像设备坐标系以及参照物坐标系(作为世界坐标系)之间的转换关系,完成手眼标定。
相比于现有技术中进行手眼标定时需要特别设定标定点、需要将摄像设备精确移动到该标定点的位置的情况,本申请不需要预先设定标定点和控制摄像设备精确移动到预设位置,只需控制摄像设备围绕参照物运动获取参照物的多幅第一视图和第二视图,根据该第一视图和第二视图获取摄像设备坐标系、参照物坐标系以及旋转轴坐标系之间的转换关系,减少了工作量和标定工序,标定效率和准确度高。
另外,一般情况下,机器人运行过程中的噪声、移动精度和视觉标定精度都会使标定产生误差,特别是噪声对手眼定位过程中摄像设备参数K、平移关系向量t等会造成较大误差,但这些误差对图像信息中的摄像设备参数K、平移关系向量t影响较小,本申请实施例所提供的方法主要基于图像信息处理,因此具有更好的鲁棒性,并且可以将这些误差因素都作为噪声源,通过修正参数将这些影响降至最低。
上述实施例中,摄像设备可以包括:取景器、图像分析器及图像处理器。取景器用于获取参照物的图像。图像分析器获取参照物的摄像设备坐标信息。图像处理器可以用于根据参照物的图像,完成机器人旋转轴坐标系、摄像设备坐标系以及参照物坐标系之间的转换计算。
请参阅图5,图5是本申请手眼标定系统一实施例的结构示意图。本实施例中,手眼标定系统包括:摄像设备501,参照物504、处理单元505和机器人(图中未标注)。
机器人上装有机械前臂502,机械前臂502上装有旋转轴503,摄像设备501安装在旋转轴503上。摄像设备501与机器人电连接,旋转轴503用于控制摄像设备501进行刚性运动,例如平移和旋转。或者,由机械前臂502配合旋转轴503控制摄像设备501进行刚性运动。其中,摄像设备501具有摄像设备坐标系,可以以摄像设备501的光心为摄像设备坐标系原点。机器人具有机器人旋转轴坐标系,可以将旋转轴503中的一个关节点定义为机器人旋转轴坐标系原点。参照物504为包含标定坐标系的平面,也就是参照物坐标系为标定坐标系,所述标定坐标系可以为世界坐标系。机器人与摄像设备501配合对参照物504进行拍照以实现手眼标定的方法。具体步骤如下:
本申请中由机器人的旋转轴503带动摄像设备501运动,摄像设备501在运动过程中获取参照物504的图像,该图像在摄像设备坐标系中的坐标U与在参照物坐标系的坐标P之间的投影关系为:
U≈K[R t]·P
其中,R为摄像设备坐标系与参照物坐标系之间的旋转关系矩阵;t为运动向量(本申请中主要为平移向量);K为摄像设备的内参数矩阵,
Figure BDA0002617874550000101
其中,fx和fy为参照物在摄像设备坐标系X2轴和Y2轴上的比例因子,x0和y0是摄像设备拍摄平面与摄像设备光轴的交点,s为预设的畸变因子。
处理单元505与摄像设备501通信连接,在本实施例中,处理单元505与摄像设备501为一体。在其他实施例中,也可以将处理单元505与机器人一体,或独立于摄像设备505与机器人,只需要保证处理单元505与摄像设备501能够进行数据互通即可,对其位置并无具体的限定。当处理单元505与摄像设备501为一体时,具体的可以是与摄像设备501的处理器一体;当处理单元505与机器人一体时,具体的可以是与机器人的处理器一体。所述处理单元可以同时作为机器人旋转轴和摄像设备的控制单元,与机器人和摄像设备通信链接,来控制旋转轴带动摄像设备运动,并控制摄像设备进行拍摄。处理单元页可以不作为机器人旋转轴和摄像设备的控制单元,而由机器人自身的控制单元根据预先设定的程序控制旋转轴运动,从而带动摄像设备运动;由摄像设备的自身控制单元根据预先设定的程序控制摄像设备拍摄,处理单元只获取摄像设备拍摄得到的第一视图和第二视图,以及摄像设备的运动信息,来完成手眼标定计算。
机器人可以带动摄像设备501在参照物504的参照物坐标系内做平移,处理单元505通过摄像设备501沿第一方向获取多幅参照物504的第一视图;其中,摄像设备501沿第一方向平移运动并拍摄参照物图像,第一方向是平行于机器人旋转轴坐标系原点到摄像设备坐标系原点连线的方向,平移为刚体运动,且至多有3幅第一视图的拍摄平面在同一平面内。
具体的,处理单元505通过摄像设备501沿第一方向的5个拍照点依次获取5幅参照物504的第一视图;其中,第一方向是平行于机器人旋转轴坐标系原点到摄像设备坐标系原点连线的方向。其中,各拍照点不必如现有技术中一样预先设定,只需使5幅第一视图中至多有3幅第一视图的拍摄平面在同一平面内,以能够通过获取到的第一视图来表述各拍照点坐标,且至多有3个拍照点具有重复的x轴坐标或y轴坐标,从而使第一视图能够更全面地指示参照物的空间位置,提高标定的准确性。在上述实施例中,为了确保能够通过第一视图准确表述参照物坐标,本申请中处理单元505通过摄像设备501获取的第一视图的数量为至少5幅,且为了提结果的准确性,在平移过程中通过摄像设备501获取的第一视图至多只能有3幅的拍摄平面位于同一个平面内。
为了准确获取机器人旋转轴坐标系与摄像设备坐标系之间的手眼关系,还需要处理单元505通过摄像设备501沿第二方向获取多幅参照物504的第二视图。其中,摄像设备501沿第二方向平移运动并拍摄参照物图像,第二方向是与机器人旋转轴坐标系原点到摄像设备坐标系原点的连线相交的方向,也就是与机器人旋转轴坐标系原点到摄像设备坐标系原点的连线非平行的方向。在本实施例中,为了准确获取机器人旋转轴坐标系与摄像设备坐标系之间的手眼关系,需要通过摄像设备501获取参照物的至少两幅第二视图。下面以摄像设备501获取参照物504两幅第二视图为例进行说明。
机器人通过旋转轴503带动摄像设备501平移和旋转,摄像设备501沿第二方向的2个拍照点依次获取2幅参照物504的第二视图。为减小计算误差,旋转角度控制在30°-35°之间,即第二方向与机器人旋转轴坐标系原点到摄像设备坐标系原点连线的夹角为30°-35°,其中,第二方向是与机器人旋转轴坐标系原点到摄像设备坐标系原点连线的相交的方向。
三维空间的坐标变换过程中,首先需要确定的是机器人旋转轴坐标系与摄像设备坐标系之间的变换关系,本实施例中为简化计算,确定机器人的旋转轴503的其中一个关节点为机器人旋转轴坐标系原点,假设机器人旋转轴坐标系与摄像设备坐标系的手眼关系为G,A为相邻两次运动机器人的旋转轴坐标系之间的变换关系,B为相邻两次运动摄像设备坐标系之间的变换关系,可以得到:
A·G=B·G
在满足上述获取多幅第一视图和第二视图的基础拍照位置的要求后,可以追加更多的拍照位置以增加手眼标定结果的鲁棒性和准确性。
处理单元505基于第一视图、第二视图和摄像设备501的运动信息,能够得到手眼标定的结果。
在一个具体的实施方式中,处理单元505根据第一视图获取单应矩阵;根据第二视图获取参照物504上的空间点在摄像设备坐标系中的X轴和Y轴上的比例因子以及摄像设备内参数矩阵,构造测量矩阵;再结合摄像设备501的移动量和旋转量,得到手眼标定的结果。更详细的计算方法参阅上述方法实施例的描述,在此不再赘述。
本实施例中,处理单元505与摄像设备501一体,摄像设备501可以包括:取景器和图像分析器。取景器和图像分析器通信连接,图像分析器与处理单元通信连接。取景器用于获取包含参照物的图像,此图像包括上述的第一视图与第二视图。图像分析器用于获取参照物的摄像设备坐标信息。图像处理器与取景器和图像分析器通信链接,获取取景器采集的图像可和图像分析器获取的信息,以完成机器人旋转轴坐标系、摄像设备坐标系以及参照物坐标系之间的转换计算
相比于现有技术中进行手眼标定时需要特别设定标定点和将以摄像设备移动到该标定点的准确位置的情况,本申请不需要预先设定标定点和控制摄像设备精确移动到预设位置,只需控制摄像设备围绕参照物运动获取参照物的多幅第一视图和第二视图,根据该第一视图和第二视图获取摄像设备坐标系、参照物坐标系以及旋转轴坐标系之间的转换关系,减少了工作量和标定工序,标定效率高,并且保证了手眼标定的准确性。
另外,一般情况下,机器人运行过程中的噪声、移动精度和视觉标定精度都会使标定产生误差,特别是噪声对手眼定位过程中摄像设备的内参数矩阵K、平移关系向量t等会造成较大误差,但这些误差对图像信息中的摄像设备的内参数矩阵K、平移关系向量t影响较小,本申请实施例所提供的方法主要基于图像信息处理,因此具有更好的鲁棒性,并且可以将这些误差因素都作为噪声源,通过修正参数将这些影响降至最低。
请参阅图6,图6是本申请计算机存储介质一实施例的结构示意图。在本实施例中,计算机存储介质60包括程序数据61,在该程序数据61被执行时实现如上述实施例所述的手眼标定方法。
本申请的手眼标定方法、系统及计算机存储介质,仅需要摄像设备在拍照位置时,参照物处于摄像设备视野中即可,不需要摄像设备精确定位移动到指定的标定点,大幅简化了标定的工序,并且具有稳定的准确度。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (17)

1.一种手眼标定方法,其特征在于,包括:
确定参照物坐标系、机器人旋转轴坐标系原点和摄像设备坐标系原点;
通过摄像设备沿第一方向获取多幅参照物的第一视图;其中,所述摄像设备安装于机器人旋转轴上,由所述机器人旋转轴控制所述摄像设备的运动,所述摄像设备沿所述第一方向运动,所述第一方向是平行于所述机器人旋转轴坐标系原点到所述摄像设备坐标系原点连线的方向,且至多有3幅所述第一视图的拍摄平面在同一平面内;
通过所述摄像设备沿第二方向获取多幅所述参照物的第二视图;其中,所述摄像设备沿所述第二方向运动,所述第二方向是与所述机器人旋转轴坐标系原点到所述摄像设备坐标系原点的连线相交的方向;
基于所述第一视图、所述第二视图和所述摄像设备的运动信息,得到手眼标定的结果。
2.根据权利要求1所述的手眼标定方法,其特征在于,所述第一视图的数量至少为5幅。
3.根据权利要求1所述的手眼标定方法,其特征在于,所述第二视图的数量至少为2幅。
4.根据权利要求1所述的手眼标定方法,其特征在于,所述基于所述第一视图、所述第二视图和所述摄像设备的运动信息,得到手眼标定的结果,包括:
根据所述第一视图获取单应矩阵;
根据所述第二视图获取所述参照物上的空间点在所述摄像设备坐标系中的X轴和Y轴上的比例因子以及所述摄像设备的内参数矩阵,构造测量矩阵;
结合所述摄像设备的运动信息,得到手眼标定的结果,所述摄像设备的运动信息包括所述摄像设备的移动量和旋转量。
5.根据权利要求1-4中任意一项所述的手眼标定方法,其特征在于,所述第二方向与所述机器人旋转轴坐标系原点到所述摄像设备坐标系原点连线的夹角为30°-35°。
6.一种手眼标定系统,其特征在于,包括:
摄像设备,所述摄像设备具有摄像设备坐标系;
机器人,所述机器人上安装有机械前臂,所述机械前臂上安装有旋转轴,所述摄像设备与所述旋转轴连接,所述旋转轴控制所述摄像设备进行刚性运动,所述机器人具有机器人旋转轴坐标系;
参照物,所述参照物具有参照物坐标系;
处理单元,用于通过摄像设备沿第一方向获取多幅所述参照物的第一视图;其中,所述摄像设备沿所述第一方向运动并拍摄参照物图像,所述第一方向是平行于所述机器人旋转轴坐标系原点到所述摄像设备坐标系原点连线的方向,且至多有3幅所述第一视图的拍摄平面在同一平面内;
通过所述摄像设备沿第二方向获取多幅所述参照物的第二视图;其中,所述摄像设备沿所述第二方向运动并拍摄参照物图像,所述第二方向是与所述机器人旋转轴坐标系原点到所述摄像设备坐标系原点的连线相交的方向;
基于所述第一视图、所述第二视图和所述摄像设备的运动信息,得到手眼标定的结果。
7.根据权利要求6所述的手眼标定系统,其特征在于,所述第一视图的数量至少为5幅。
8.根据权利要求6所述的手眼标定系统,其特征在于,所述第二视图的数量至少为2幅。
9.根据权利要求6所述的手眼标定系统,其特征在于,
所述处理单元在基于所述第一视图、所述第二视图和所述摄像设备的运动信息,得到手眼标定的结果时,具体用于:
根据所述第一视图获取单应矩阵;
根据所述第二视图获取所述参照物上的空间点在所述摄像设备坐标系中的X轴和Y轴上的比例因子以及所述摄像设备的内参数矩阵,构造测量矩阵;
结合所述摄像设备的运动信息,得到手眼标定的结果,所述摄像设备的运动信息包括所述摄像设备的移动量和旋转量。
10.根据权利要求6-9中任意一项所述的手眼标定系统,其特征在于,所述第二方向与所述机器人旋转轴坐标系原点到所述摄像设备坐标系原点连线的夹角为30°-35°。
11.根据权利要求10所述的手眼标定系统,其特征在于,所述处理单元与所述摄像设备一体,或者与所述机器人一体,或者独立于所述摄像设备与所述机器人。
12.根据权利要求11所述的手眼标定系统,其特征在与,所述处理单元与所述摄像设备一体,所述摄像设备包括取景器和图像分析器,所述取景器与所述图像分析器和所述处理单元通信连接,所述图像分析器与所述处理单元通信连接;所述取景器用于获取包含所述参照物的图像,所述图像包括所述第一视图与所述第二视图;所述图像分析器用于获取所述参照物的摄像设备坐标信息。
13.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有程序数据,在所述程序数据被处理器执行时,执行如下步骤:
确定参照物坐标系、机器人旋转轴坐标系原点和摄像设备坐标系原点;
通过摄像设备沿第一方向获取多幅参照物的第一视图;其中,所述摄像设备安装于所述机器人旋转轴上,由所述机器人旋转轴控制所述摄像设备的运动,所述摄像设备沿所述第一方向运动,所述第一方向是平行于所述机器人旋转轴坐标系原点到所述摄像设备坐标系原点连线的方向,且至多有3幅所述第一视图的拍摄平面在同一平面内;
通过所述摄像设备沿第二方向获取多幅所述参照物的第二视图;其中,所述摄像设备沿所述第二方向运动,所述第二方向是与所述机器人旋转轴坐标系原点到所述摄像设备坐标系原点的连线相交的方向;
基于所述第一视图、所述第二视图和所述摄像设备的运动信息,得到手眼标定的结果。
14.根据权利要求13所述的计算机存储介质,其特征在于,所述第一视图的数量至少为5幅。
15.根据权利要求13所述的计算机存储介质,其特征在于,所述第二视图的数量至少为2幅。
16.根据权利要求13所述的计算机存储介质,其特征在于,所述基于所述第一视图、所述第二视图和所述摄像设备的运动信息,得到手眼标定的结果,包括:
根据所述第一视图获取单应矩阵;
根据所述第二视图获取所述参照物上的空间点在所述摄像设备坐标系中的X轴和Y轴上的比例因子以及所述摄像设备的内参数矩阵,构造测量矩阵;
结合所述摄像设备的运动信息,得到手眼标定的结果,所述摄像设备的运动信息包括所述摄像设备的移动量和旋转量。
17.根据权利要求13-16中任意一项所述的计算机存储介质,其特征在于,所述第二方向与所述机器人旋转轴坐标系原点到所述摄像设备坐标系原点连线的夹角为30°-35°。
CN201880088580.0A 2018-08-01 2018-08-01 一种手眼标定方法、系统及计算机存储介质 Active CN111801198B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/098119 WO2020024178A1 (zh) 2018-08-01 2018-08-01 一种手眼标定方法、系统及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111801198A CN111801198A (zh) 2020-10-20
CN111801198B true CN111801198B (zh) 2023-07-04

Family

ID=69232288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880088580.0A Active CN111801198B (zh) 2018-08-01 2018-08-01 一种手眼标定方法、系统及计算机存储介质

Country Status (2)

Country Link
CN (1) CN111801198B (zh)
WO (1) WO2020024178A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113252066B (zh) * 2020-02-13 2024-04-09 纳恩博(北京)科技有限公司 里程计设备参数的标定方法及装置、存储介质、电子装置
WO2021159489A1 (zh) * 2020-02-14 2021-08-19 西门子(中国)有限公司 一种坐标系校准方法、示教板和突出部
CN113676696B (zh) * 2020-05-14 2024-08-30 杭州萤石软件有限公司 一种目标区域的监控方法、系统
CN112001967B (zh) * 2020-08-14 2024-08-06 苏州华兴源创科技股份有限公司 相机指导机械手搬运物体的方法和装置
CN112102419B (zh) * 2020-09-24 2024-01-26 烟台艾睿光电科技有限公司 双光成像设备标定方法及系统、图像配准方法
CN112802122B (zh) * 2021-01-21 2023-08-29 珠海市运泰利自动化设备有限公司 机器人视觉引导组装方法
CN113146633B (zh) * 2021-04-23 2023-12-19 无锡信捷电气股份有限公司 一种基于自动贴盒系统的高精度手眼标定方法
CN113103238B (zh) * 2021-04-26 2024-10-25 福建(泉州)先进制造技术研究院 一种基于数据优化的手眼标定方法
CN113362396B (zh) * 2021-06-21 2024-03-26 上海仙工智能科技有限公司 一种移动机器人3d手眼标定方法及装置
CN113843792B (zh) * 2021-09-23 2024-02-06 四川锋准机器人科技有限公司 一种手术机器人的手眼标定方法
CN116061162B (zh) * 2021-10-29 2024-12-17 北京理工大学 一种避免奇异性的手眼标定数据采集与处理方法
CN114952910B (zh) * 2022-05-26 2025-10-31 杭州海康机器人股份有限公司 一种运动机构的定位方法及装置
CN114872048B (zh) * 2022-05-27 2024-01-05 河南职业技术学院 一种机器人舵机角度校准方法
CN115049744B (zh) * 2022-07-11 2025-07-22 深圳市易尚展示股份有限公司 机器人手眼坐标转换方法、装置、计算机设备和存储介质
CN115741666A (zh) * 2022-08-31 2023-03-07 深圳前海瑞集科技有限公司 机器人手眼标定方法、机器人及机器人作业方法
CN115625709B (zh) * 2022-10-31 2025-07-11 深圳市凌云视迅科技有限责任公司 一种手眼标定方法、装置和计算机设备
CN116945195B (zh) * 2023-09-19 2024-01-12 成都飞机工业(集团)有限责任公司 全向测量设备系统装置、配准方法、电子设备和存储介质
CN117103286B (zh) * 2023-10-25 2024-03-19 杭州汇萃智能科技有限公司 一种机械手手眼标定方法、系统和可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3733364B2 (ja) * 2003-11-18 2006-01-11 ファナック株式会社 教示位置修正方法
JP2006289531A (ja) * 2005-04-07 2006-10-26 Seiko Epson Corp ロボット位置教示のための移動制御装置、ロボットの位置教示装置、ロボット位置教示のための移動制御方法、ロボットの位置教示方法及びロボット位置教示のための移動制御プログラム
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
CN105021139B (zh) * 2015-07-16 2017-09-12 北京理工大学 一种机器人线结构光视觉测量系统的手眼标定方法
CN105451461B (zh) * 2015-11-25 2018-08-14 四川长虹电器股份有限公司 基于scara机器人的pcb板定位方法
CN107995885B (zh) * 2016-11-18 2021-02-26 深圳配天智能技术研究院有限公司 一种坐标系标定方法 、系统及装置
CN106920261B (zh) * 2017-03-02 2019-09-03 江南大学 一种机器人手眼静态标定方法
CN106940894A (zh) * 2017-04-12 2017-07-11 无锡职业技术学院 一种基于主动视觉的手眼系统自标定方法
CN107808400B (zh) * 2017-10-24 2021-11-26 上海交通大学 一种摄像机标定系统及其标定方法

Also Published As

Publication number Publication date
CN111801198A (zh) 2020-10-20
WO2020024178A1 (zh) 2020-02-06

Similar Documents

Publication Publication Date Title
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
CN115546289B (zh) 一种基于机器人的复杂结构件三维形貌测量方法
CN104354167B (zh) 一种机器人手眼标定方法及装置
KR20200093464A (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN110717943A (zh) 用于二维平面的眼在手上机械手手眼标定方法及系统
CN110919658B (zh) 一种基于视觉和多坐标系闭环转换的机器人标定方法
CN109658460A (zh) 一种机械臂末端相机手眼标定方法和系统
CN108344360A (zh) 一种视觉测量系统的激光扫描式全局校准装置及方法
CN113751981B (zh) 基于双目视觉伺服的空间高精度装配方法和系统
CN109360243B (zh) 一种多自由度可动视觉系统的标定方法
CN106408612A (zh) 机器视觉系统校准
CN106097300A (zh) 一种基于高精度运动平台的多相机标定方法
CN110465946B (zh) 一种像素坐标与机器人坐标关系标定方法
CN116026252A (zh) 一种点云测量方法及系统
JP2016000442A (ja) ロボット、ロボットシステム及び制御装置
CN111360821A (zh) 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN107808400A (zh) 一种摄像机标定系统及其标定方法
US12128571B2 (en) 3D computer-vision system with variable spatial resolution
CN106335061A (zh) 一种基于四自由度机器人的手眼关系标定方法
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取系统和方法
JP2015005093A (ja) パターンマッチング装置及びパターンマッチング方法
JP2015132523A (ja) 位置姿勢計測装置、位置姿勢計測方法及びプログラム
CN111823222A (zh) 单目相机多视场视觉引导装置及引导方法
CN115294065A (zh) 基于tph-yolov5深度学习的FPC-BTB接口检测定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant