[go: up one dir, main page]

CN108436909A - 一种基于ros的相机和机器人的手眼标定方法 - Google Patents

一种基于ros的相机和机器人的手眼标定方法 Download PDF

Info

Publication number
CN108436909A
CN108436909A CN201810203675.4A CN201810203675A CN108436909A CN 108436909 A CN108436909 A CN 108436909A CN 201810203675 A CN201810203675 A CN 201810203675A CN 108436909 A CN108436909 A CN 108436909A
Authority
CN
China
Prior art keywords
camera
mechanical arm
hand
ros
grab2b
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810203675.4A
Other languages
English (en)
Inventor
郭毓
陈宝存
吴巍
苏鹏飞
饶志强
吴禹均
郭健
吴益飞
郭飞
肖潇
蔡梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201810203675.4A priority Critical patent/CN108436909A/zh
Publication of CN108436909A publication Critical patent/CN108436909A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于ROS的相机和机器人的手眼标定方法，通过搭建视觉系统，使机械臂及其操作对象在相机视野范围内，然后分别建立相机和机械臂与ROS的通信机制，一方面实现机械臂的运动控制，一方面获取相机图像和机械臂状态，进行数据的采集，然后进行相机的内参和外参标定，获得相机参数，最后根据相机安装方式的不同自动进行相机和机械臂的手眼标定，获得手眼标定矩阵。本发明实现了相机和机械臂的自动手眼标定，减小了人工干预，整个标定过程只需要调用两次终端命令，自主程度高，不限制相机类型以及数量，不限制机械臂类型，可扩展性强，标定过程只需要打印一张A4的棋盘格纸，不需要作任何标记，方便实用。

Description

一种基于ROS的相机和机器人的手眼标定方法
技术领域
本发明涉及一种机器人视觉方法，尤其涉及一种基于ROS的相机和机器人的手眼标定方法。
背景技术
随着计算机技术的发展，计算机视觉作为人工智能的一个重要研究领域，已经广泛 地应用于各行各业。将计算机视觉技术与机器人技术相结合，也使得智能机器人领域得到大力发展。对于机械臂抓取，传统地采用人工示教的方式，如手掰机械臂，使机械臂 到某个固定位置进行抓取，这种方式比较低效并且由于机械臂对周围环境毫无感知能力， 如果机械臂位置或是物体位置发生变化，机械臂则抓不到物体。
将计算机视觉应用到机器人领域，通常是结合模式识别和图像处理的方法分析处理 图像数据，获得目标物体的空间位置和姿态，有了目标物体的位姿，机器人便可以自主地进行路径规划。
而将物体在相机坐标系下的坐标转换到机械臂坐标系下，就称作相机和机器人的手 眼标定，这是利用计算机视觉进行机械臂抓取的重要前提和基础。根据相机安装位置的不同，一般分为两种：安装在机械臂上，相机随机械臂而动，称作眼在手上(eye in hand)，安装在机械臂外，相机不随着机械臂运动，称作眼在手外(eye to hand)。而一般手眼标定过程繁杂，需要人工干预，或取标志点，或人工记录数据，不方便使用，而视觉实验中 用到手眼标定的时候很多，无论是相机位置或机械臂位置发生变化，相机类型或机械臂 类型发生变化时，都要重新进行手眼标定，而传统的手眼标定耗时较长，大大拉长了视 觉实验的周期。
发明内容
本发明的目的在于提供一种基于ROS的相机和机器人的手眼标定方法。
实现本发明目的的技术方案为：一种基于ROS的相机和机器人的手眼标定方法，包括以下步骤：
步骤1、搭建视觉系统，使机械臂及其操作对象在相机视野范围内；
步骤2、分别建立相机与ROS、机械臂与ROS的通信机制；
步骤3、实现机械臂的运动控制，同时获取相机图像和机械臂状态；
步骤4、重复步骤3，当获取m次相机图像和机械臂状态时，执行步骤5，否则执 行步骤3；
步骤5、根据获得的相机图像进行相机的内参和外参标定，获得相机参数；
步骤6、根据相机安装方式进行相机和机械臂的手眼标定，获得手眼标定矩阵。
本发明提供的基于ROS的相机和机器人的手眼标定方法，显著优点为：不限制相机类型以及数量，不限制机械臂类型，扩展性强，标定过程只需要打印一张A4的棋盘 格纸，不需要作任何标记，方便实用，整个标定过程只需要调用两次终端命令，不需要 其他人工干预，自主程度高。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明基于ROS的相机和机器人的手眼标定方法流程图。
图2为搭建的视觉系统示意图。
图3为坐标系之间的关系示意图。
图4为应用手眼矩阵转换相机坐标系下的点云到机械臂坐标系下点云的示意图。
具体实施方式
以下结合附图对本发明基于ROS的相机和机器人的手眼标定方法的具体实施方式进行说明：
基于ROS的相机和机器人的手眼标定方法流程图如图1所示，包括以下步骤：
步骤1、搭建视觉系统，使机械臂及其操作对象在相机视野范围内；具体步骤如下：
步骤1-1、一般用于辅助机器人运动的相机为双目相机和深度相机，若是相机安装在机械臂外，可根据相机本身的参数，尤其是水平视角、垂直视角以及测距范围选择安 装相机的位置；
步骤1-2、打印一张标定板(棋盘格或是圆点图)，贴在一块平坦的硬纸板上。如果进 行眼在手上的手眼标定，则将硬纸板固定在离机械臂一定距离外的位置；如果进行眼在手外的手眼标定，则将硬纸板固定在机械臂末端；
步骤2、分别建立相机与ROS、机械臂与ROS的通信机制；具体步骤如下：
步骤2-1、安装相机在ROS下的驱动包，建立相机与ROS的通信，将图像数据发 布到ROS的话题topic1上；
步骤2-2、安装机械臂在ROS下的驱动包，建立机械臂与ROS的通信，将机械臂 末端姿态发布到话题topic2上，机械臂关节状态发布到话题topic3上，并提供机械臂的 控制接口topic4；
步骤3、实现机械臂的运动控制，同时获取相机图像和机械臂状态；具体步骤如下：
步骤3-1、订阅topic3获取机械臂当前的关节状态joint_states，将当前的关节状态 叠加小范围内产生的随机增量Δjoint_states作为目标关节位置，即joint_states_target， 发送关节指令到topic4，控制机械臂运动；涉及到的变量具体为：
joint_states＝[joint1,joint2,…,jointn]
Δjoint_states＝[Δjoint1,Δjoint2,…,Δjointn]
joint_states_target＝joint_states+Δjoint_states
其中，jointi(i＝1,2,...n)表示第i个关节当前的状态，Δjointi(i＝1,2,...n)表示第i个 关节需要叠加的随机增量，n表示机械臂的关节数；
步骤3-2、当机械臂运动到指定位置后，保存当前相机发布在topic1上的RGB图像，保存当前发布在topic2上的机械臂末端在机械臂基座坐标系下的位姿信息
其中，表示机械臂末端相对于基座坐标系的旋转变换矩阵，表示机械臂末端相对于基座坐标系的平移变换矩阵；
步骤4、当获取m次相机图像和机械臂状态时，执行步骤5，否则执行步骤3；
步骤5、根据获得的相机图像进行相机的内参和外参标定，获得相机参数；具体步骤如下：
步骤5-1、对m张由步骤3-2保存的RGB图像分别进行角点检测；
步骤5-2、进行相机的内参和外参标定；得到内参矩阵cameraMatrix，畸变系数
distCoeffs，以及每一张RGB图像中标定板相对于相机坐标系的位姿[Rc|tc]；
其中，内参矩阵畸变系数为distCoeffs＝[k1,k2,p1,p2,k3]， fx和fy为焦距，cx和cy为成像平面的中心点坐标，k1、k2和k3表示径向畸变系数，p1和p2表示切向畸变系数，Rc和tc分别表示为表示标定板相对于相机的RGB摄像头的旋 转变换和平移变换；
步骤6、根据相机安装方式进行相机和机械臂的手眼标定，获得手眼标定矩阵；具体步骤如下：
步骤6-1、整理机械臂末端的m次位姿信息以及标定板相对于相机的m次位姿信息，具体为：
grab2b＝[[Rc|tc]1,[Rc|tc]2,...[Rc|tc]m]
其中，grab2b表示的是机械臂末端的一系列位姿信息，grid2c表示的是标定板相对于相机的一系列位姿信息；
步骤6-2、采用两步法进行手眼标定获得手眼标定矩阵X，即解AX＝XB的问题；
其中，X是最后要求解的手眼矩阵，A和B取决于相机的安装方式，具体表示如下：
相机安装在机械臂上：
A＝[grab2b[1]-1·grab2b[0],grab2b[2]-1·grab2b[1],...,grab2b[m-1]-1·grab2b[m-2]]
B＝[grid2c[1]·grid2c[0]-1,grid2c[2]·grid2c[1]-1,...,grid2c[m-1]·grid2c[m-2]-1]
相机安装在机械臂外：
A＝[grab2b[1]·grab2b[0]-1,grab2b[2]·grab2b[1]-1,...,grab2b[m-1]·grab2b[m-2]-1]
B＝[grid2c[1]·grid2c[0]-1,grid2c[2]·grid2c[1]-1,...,grid2c[m-1]·grid2c[m-2]-1]
下面结合实施例对本发明做进一步详细的描述。
实施例
采用ur3机械臂和kinect2深度相机构建视觉系统，其中ur3有6个自由度(关节)，kinect2集成了RGB摄像头和Depth摄像头，kinect2安装在机械臂外的固定位置，考虑 到kinect2的视野范围及测距范围，kinect2和ur3机械臂的安装位置示意图如图2所示， 并且标记出了kinect2的RGB摄像头坐标系Oc、ur3机械臂底座坐标系Or，其中红绿蓝 分别表示x、y、z轴。
用A4纸打印标定板，标定板的规格选择chess5x7x0.03，如图2所示。
整个标定过程中用到的坐标系之间的关系如图3所示，一共涉及4个坐标系：机械臂底座坐标系Obase、机械臂末端坐标系Ograbber、标定板坐标系Ogrid以及相机坐标系Oc， 图4中的表示机械臂末端坐标系Ograbber到基座坐标系Obase的变换，表示标 定板坐标系Ogrid到相机坐标系Oc的变换，都是可测的；而X表示相机坐标系Oc到机械 臂基座坐标系Obase的变换，即所要标定的手眼矩阵。
安装kinect2在ROS下的驱动包，将图像数据发送到话题/kinect2/hd/image_color； 安装ur3在ROS下的驱动包，将ur3机械臂末端坐标系到基座坐标系的坐标系变换矩阵 数据实时发布到/ur3/grabber_states，将6个关节角度状态发布到话题/ur3/joint_states，设 置ur3的运动控制接口/ur_script。
假设机械臂关节初始状态为：[1.9515,-1.0125,-1.8513,-0.1229,1.6139,0.0290]，每 个关节角度叠加一个[-0.2,0.2]范围内的随机增量作为下一次机械臂目标关节角度，将6 个目标关节角度发送到话题/ur_script控制机械臂末端到达指定位姿。假设标定过程中控 制机械臂末端运动到8个不同的位姿，每一次末端到达指定位姿后，通过订阅话题 /ur3/grabber_states获取当前ur3机械臂末端相对于基座坐标系的位姿，订阅话题 /ur3/joint_states获取当前ur3当前各个关节状态，订阅话题/kinect2/hd/image_color获取 当前RGB图像。
上述过程为标定数据的采集过程，机械臂8次运动后，保存的数据包括：8张RGB 图像和8次机械臂末端位姿(相对于机械臂基座坐标系)。
对8张RGB图像采用张正友棋盘格标定法，包括角点检测和内外参标定，得到内 参矩阵和畸变系数如下：
distCoeffs＝[5.627e-02-7.420e-021.425e-03-1.695e-032.411e-02]
外参为[Rc|tc]i(i＝1,2,...8)，其中Rc表示标定板相对于kinect2的RGB摄像头的旋转变换，tc表示标定板相对于kinect2的RGB摄像头的平移变换。
通过/ur3/grabber_states获取的机械臂末端相对于机械臂基座的位姿为
其中表示机械臂末端相对于基座坐标系的旋转变换矩阵，表 示机械臂末端相对于基座坐标系的平移变换矩阵。
因此，整理数据得到grab2b和grid2c分别如下：
grab2b＝[[Rc|tc]1,[Rc|tc]2,...[Rc|tc]8]
可以看出，grab2b和grid2c表示的是1x8的矩阵.
由于kinect2安装在ur3机械臂外的固定位置，所以A和B分别表示为：
A＝[grab2b[1]·grab2b[0]-1,grab2b[2]·grab2b[1]-1,...,grab2b[7]·grab2b[6]-1]
B＝[grid2c[1]·grid2c[0]-1,grid2c[2]·grid2c[1]-1,...,grid2c[7]·grid2c[6]-1]
采用Tasi两步法解方程AX＝XB，结果X如下：
应用手眼矩阵将kinect2视角下的点云转换到机械臂坐标系，显示结果如图4所示。
需要说明的是只要确定好相机安装方式，设置好表1中列出的话题，程序自动进行以上实施例.
表1
由上述实施例，可以表明本发明所提的手眼标定方法可扩展行强，不同类型的机械 臂以及不同类型的视觉设备都可以使用，并且标定过程自主程度高，不需要人工干预，降低了传统手眼标定的繁杂性，大大加快了视觉实验的进展。

Claims (7)

1.一种基于ROS的相机和机器人的手眼标定方法，其特征在于，包括以下步骤：
步骤1、搭建视觉系统，使机械臂及其操作对象在相机视野范围内；
步骤2、分别建立相机与ROS、机械臂与ROS的通信机制；
步骤3、实现机械臂的运动控制，同时获取相机图像和机械臂状态；
步骤4、重复步骤3，当获取m次相机图像和机械臂状态时，执行步骤5，否则执行步骤3；
步骤5、根据获得的相机图像进行相机的内参和外参标定，获得相机参数；
步骤6、根据相机安装方式进行相机和机械臂的手眼标定，获得手眼标定矩阵。
2.根据权利要求1所述的基于ROS的相机和机器人的手眼标定方法，其特征在于，步骤2中分别建立相机与ROS、机械臂与ROS的通信机制的具体步骤为：
步骤2-1、安装相机在ROS下的驱动包，建立相机与ROS的通信，将图像数据发布到ROS的话题topic1上；
步骤2-2、安装机械臂在ROS下的驱动包，建立机械臂与ROS的通信，将机械臂末端姿态发布到话题topic2上，机械臂关节状态发布到话题topic3上，并提供机械臂的控制接口topic4。
3.根据权利要求1所述的基于ROS的相机和机器人的手眼标定方法，其特征在于，步骤3中实现机械臂的运动控制，同时获取相机图像和机械臂状态的具体步骤为：
步骤3-1、订阅topic3获取机械臂当前的关节状态joint_states，将当前的关节状态叠加小范围内产生的随机增量Δjoint_states作为目标关节位置joint_states_target，发送关节指令到topic4，控制机械臂运动，其中，涉及到的变量具体为：
joint_states＝[joint1,joint2,…,jointn]
Δjoint_states＝[Δjoint1,Δjoint2,…,Δjointn]
joint_states_target＝joint_states+Δjoint_states
其中，jointi(i＝1,2,...n)表示第i个关节当前的状态，Δjointi(i＝1,2,...n)表示第i个关节需要叠加的随机增量，n表示机械臂的关节数；
步骤3-2、当机械臂运动到指定位置后，保存当前相机发布在topic1上的RGB图像，保存当前发布在topic2上的机械臂末端在机械臂基座坐标系下的位姿信息
其中，表示机械臂末端相对于基座坐标系的旋转变换矩阵，表示机械臂末端相对于基座坐标系的平移变换矩阵。
4.根据权利要求1所述的基于ROS的相机和机器人的手眼标定方法，其特征在于，步骤4中m≥8。
5.根据权利要求1所述的基于ROS的相机和机器人的手眼标定方法，其特征在于，步骤5中根据获得的相机图像进行相机的内参和外参标定，获得相机参数，具体步骤为：
步骤5-1、对m张由步骤3-2保存的RGB图像分别进行角点检测；
步骤5-2、进行相机的内参和外参标定，得到内参矩阵cameraMatrix，畸变系数distCoeffs，以及每一张RGB图像中标定板相对于相机坐标系的位姿[Rc|tc]；
其中，内参矩阵畸变系数为distCoeffs＝[k1,k2,p1,p2,k3]，fx和fy为焦距，cx和cy为成像平面的中心点坐标，k1、k2和k3表示径向畸变系数，p1和p2表示切向畸变系数，Rc和tc分别表示为表示标定板相对于相机的RGB摄像头的旋转变换和平移变换。
6.根据权利要求1所述的基于ROS的相机和机器人的手眼标定方法，其特征在于，步骤6中根据相机安装方式进行相机和机械臂的手眼标定，获得手眼标定矩阵；具体步骤为：
步骤6-1、整理机械臂末端的m次位姿信息以及标定板相对于相机的m次位姿信息，具体为：
grab2b＝[[Rc |tc]1,[Rc |tc]2,...[Rc |tc]m]
其中，grab2b表示的是机械臂末端的m次位姿信息，grid2c表示的是标定板相对于相机的m次位姿信息；
步骤6-2、采用两步法进行手眼标定获得手眼标定矩阵X。
7.根据权利要求6所述的基于ROS的相机和机器人的手眼标定方法，其特征在于，步骤6-2中采用两步法进行手眼标定获得手眼标定矩阵X，即解决AX＝XB的问题，其中，X是最后要求解的手眼矩阵，A和B取决于相机的安装方式，具体表示如下：
相机安装在机械臂上：
A＝[grab2b[1]-1·grab2b[0],grab2b[2]-1·grab2b[1],...,grab2b[m-1]-1·grab2b[m-2]]
B＝[grid2c[1]·grid2c[0]-1,grid2c[2]·grid2c[1]-1,...,grid2c[m-1]·grid2c[m-2]-1]
相机安装在机械臂外：
A＝[grab2b[1]·grab2b[0]-1,grab2b[2]·grab2b[1]-1,...,grab2b[m-1]·grab2b[m-2]-1]
B＝[grid2c[1]·grid2c[0]-1,grid2c[2]·grid2c[1]-1,...,grid2c[m-1]·grid2c[m-2]-1]。
CN201810203675.4A 2018-03-13 2018-03-13 一种基于ros的相机和机器人的手眼标定方法 Pending CN108436909A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810203675.4A CN108436909A (zh) 2018-03-13 2018-03-13 一种基于ros的相机和机器人的手眼标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810203675.4A CN108436909A (zh) 2018-03-13 2018-03-13 一种基于ros的相机和机器人的手眼标定方法

Publications (1)

Publication Number Publication Date
CN108436909A true CN108436909A (zh) 2018-08-24

Family

ID=63194925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810203675.4A Pending CN108436909A (zh) 2018-03-13 2018-03-13 一种基于ros的相机和机器人的手眼标定方法

Country Status (1)

Country Link
CN (1) CN108436909A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109015651A (zh) * 2018-08-27 2018-12-18 佛山华数机器人有限公司 一种基于示教器的视觉处理一体化系统及其应用方法
CN109129445A (zh) * 2018-09-29 2019-01-04 先临三维科技股份有限公司 机械臂的手眼标定方法、标定板、装置、设备和存储介质
CN109859275A (zh) * 2019-01-17 2019-06-07 南京邮电大学 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN110148187A (zh) * 2019-06-04 2019-08-20 郑州大学 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统
CN110193832A (zh) * 2019-03-29 2019-09-03 牧今科技 验证和更新机器人控制用相机校准的方法和控制系统
CN110202581A (zh) * 2019-06-28 2019-09-06 南京博蓝奇智能科技有限公司 机器人末端执行器工作误差的补偿方法、装置及电子设备
CN110202573A (zh) * 2019-06-04 2019-09-06 上海知津信息科技有限公司 全自动手眼标定、工作平面标定方法及装置
CN110328666A (zh) * 2019-07-16 2019-10-15 汕头大学 识别系统及物料拾取机构
CN110497386A (zh) * 2019-08-26 2019-11-26 中科新松有限公司 一种协作机器人手眼关系自动标定装置及方法
CN110977980A (zh) * 2019-12-17 2020-04-10 上海嘉奥信息科技发展有限公司 基于光学定位仪的机械臂实时手眼标定方法及系统
CN110977987A (zh) * 2019-12-25 2020-04-10 浙江省北大信息技术高等研究院 机械臂手眼标定方法、装置及系统
CN111152223A (zh) * 2020-01-09 2020-05-15 埃夫特智能装备股份有限公司 一种全自动机器人手眼标定方法
CN111452043A (zh) * 2020-03-27 2020-07-28 陕西丝路机器人智能制造研究院有限公司 机器人与工业相机手眼标定的方法
CN111482964A (zh) * 2020-04-17 2020-08-04 上海智殷自动化科技有限公司 一种新的机器人手眼标定方法
CN111660290A (zh) * 2019-03-05 2020-09-15 波音公司 用于机器人光学传感器的自动校准
CN111736137A (zh) * 2020-08-06 2020-10-02 广州汽车集团股份有限公司 LiDAR外部参数标定方法、系统、计算机设备及可读存储介质
CN111872922A (zh) * 2020-07-29 2020-11-03 江南大学 一种基于3d视觉传感器的三自由度并联机器人手眼标定方法
CN112107363A (zh) * 2020-08-31 2020-12-22 上海交通大学 一种基于深度相机的超声溶脂机器人系统及辅助操作方法
CN112489133A (zh) * 2020-11-17 2021-03-12 北京京东乾石科技有限公司 手眼系统的标定方法、装置及设备
CN112809668A (zh) * 2020-12-30 2021-05-18 上海媒智科技有限公司 一种机械臂自动手眼标定的方法及系统、终端
US11590656B2 (en) 2019-03-29 2023-02-28 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN118456458A (zh) * 2024-07-15 2024-08-09 长沙矿冶研究院有限责任公司 表面清理机械手的工作程序自动生成方法与系统
CN119748093A (zh) * 2024-09-26 2025-04-04 上海寰宇物流科技有限公司 一种螺丝锁付系统及其锁付方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110280472A1 (en) * 2010-05-14 2011-11-17 Wallack Aaron S System and method for robust calibration between a machine vision system and a robot
CN104180753A (zh) * 2014-07-31 2014-12-03 东莞市奥普特自动化科技有限公司 机器人视觉系统的快速标定方法
CN104864807A (zh) * 2015-04-10 2015-08-26 深圳大学 一种基于主动双目视觉的机械手手眼标定方法
CN106021000A (zh) * 2016-06-02 2016-10-12 北京百度网讯科技有限公司 用于机器人操作系统的共享内存管理方法和装置
DE102016114337A1 (de) * 2015-08-06 2017-02-09 Cognex Corporation System und verfahren zum verknüpfen von koordinatenräumen maschinellen sehens in einer umgebung angeleiteten zusammenbaus
CN106767393A (zh) * 2015-11-20 2017-05-31 沈阳新松机器人自动化股份有限公司 机器人的手眼标定装置与方法
CN106826822A (zh) * 2017-01-25 2017-06-13 南京阿凡达机器人科技有限公司 一种基于ros系统的视觉定位及机械臂抓取实现方法
CN107081755A (zh) * 2017-01-25 2017-08-22 上海电气集团股份有限公司 一种机器人单目视觉引导系统的自动标定装置
CN107498558A (zh) * 2017-09-19 2017-12-22 北京阿丘科技有限公司 全自动手眼标定方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110280472A1 (en) * 2010-05-14 2011-11-17 Wallack Aaron S System and method for robust calibration between a machine vision system and a robot
CN104180753A (zh) * 2014-07-31 2014-12-03 东莞市奥普特自动化科技有限公司 机器人视觉系统的快速标定方法
CN104864807A (zh) * 2015-04-10 2015-08-26 深圳大学 一种基于主动双目视觉的机械手手眼标定方法
DE102016114337A1 (de) * 2015-08-06 2017-02-09 Cognex Corporation System und verfahren zum verknüpfen von koordinatenräumen maschinellen sehens in einer umgebung angeleiteten zusammenbaus
CN106767393A (zh) * 2015-11-20 2017-05-31 沈阳新松机器人自动化股份有限公司 机器人的手眼标定装置与方法
CN106021000A (zh) * 2016-06-02 2016-10-12 北京百度网讯科技有限公司 用于机器人操作系统的共享内存管理方法和装置
CN106826822A (zh) * 2017-01-25 2017-06-13 南京阿凡达机器人科技有限公司 一种基于ros系统的视觉定位及机械臂抓取实现方法
CN107081755A (zh) * 2017-01-25 2017-08-22 上海电气集团股份有限公司 一种机器人单目视觉引导系统的自动标定装置
CN107498558A (zh) * 2017-09-19 2017-12-22 北京阿丘科技有限公司 全自动手眼标定方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯春等: "手眼系统中摄像机标定和手眼标定的同步算法 ", 《机械设计与制造》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109015651A (zh) * 2018-08-27 2018-12-18 佛山华数机器人有限公司 一种基于示教器的视觉处理一体化系统及其应用方法
CN109129445A (zh) * 2018-09-29 2019-01-04 先临三维科技股份有限公司 机械臂的手眼标定方法、标定板、装置、设备和存储介质
CN109129445B (zh) * 2018-09-29 2020-11-10 先临三维科技股份有限公司 机械臂的手眼标定方法、标定板、装置、设备和存储介质
CN109859275A (zh) * 2019-01-17 2019-06-07 南京邮电大学 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN109859275B (zh) * 2019-01-17 2022-08-02 南京邮电大学 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN111660290A (zh) * 2019-03-05 2020-09-15 波音公司 用于机器人光学传感器的自动校准
CN111660290B (zh) * 2019-03-05 2024-12-27 波音公司 用于机器人光学传感器的自动校准
US11590656B2 (en) 2019-03-29 2023-02-28 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN110193832A (zh) * 2019-03-29 2019-09-03 牧今科技 验证和更新机器人控制用相机校准的方法和控制系统
CN110193832B (zh) * 2019-03-29 2022-07-05 牧今科技 验证和更新机器人控制用相机校准的方法和控制系统
CN110148187A (zh) * 2019-06-04 2019-08-20 郑州大学 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统
CN110202573B (zh) * 2019-06-04 2023-04-07 上海知津信息科技有限公司 全自动手眼标定、工作平面标定方法及装置
CN110202573A (zh) * 2019-06-04 2019-09-06 上海知津信息科技有限公司 全自动手眼标定、工作平面标定方法及装置
CN110202581A (zh) * 2019-06-28 2019-09-06 南京博蓝奇智能科技有限公司 机器人末端执行器工作误差的补偿方法、装置及电子设备
CN110328666A (zh) * 2019-07-16 2019-10-15 汕头大学 识别系统及物料拾取机构
CN110497386A (zh) * 2019-08-26 2019-11-26 中科新松有限公司 一种协作机器人手眼关系自动标定装置及方法
CN110497386B (zh) * 2019-08-26 2021-03-30 中科新松有限公司 一种协作机器人手眼关系自动标定方法
CN110977980A (zh) * 2019-12-17 2020-04-10 上海嘉奥信息科技发展有限公司 基于光学定位仪的机械臂实时手眼标定方法及系统
CN110977987A (zh) * 2019-12-25 2020-04-10 浙江省北大信息技术高等研究院 机械臂手眼标定方法、装置及系统
CN110977987B (zh) * 2019-12-25 2021-07-20 杭州未名信科科技有限公司 机械臂手眼标定方法、装置及系统
CN111152223A (zh) * 2020-01-09 2020-05-15 埃夫特智能装备股份有限公司 一种全自动机器人手眼标定方法
CN111452043A (zh) * 2020-03-27 2020-07-28 陕西丝路机器人智能制造研究院有限公司 机器人与工业相机手眼标定的方法
CN111452043B (zh) * 2020-03-27 2023-02-17 陕西丝路机器人智能制造研究院有限公司 机器人与工业相机手眼标定的方法
CN111482964A (zh) * 2020-04-17 2020-08-04 上海智殷自动化科技有限公司 一种新的机器人手眼标定方法
CN111872922B (zh) * 2020-07-29 2021-09-03 贵州电网有限责任公司 基于3d视觉传感器的三自由度并联机器人手眼标定方法
CN111872922A (zh) * 2020-07-29 2020-11-03 江南大学 一种基于3d视觉传感器的三自由度并联机器人手眼标定方法
CN111736137A (zh) * 2020-08-06 2020-10-02 广州汽车集团股份有限公司 LiDAR外部参数标定方法、系统、计算机设备及可读存储介质
CN112107363A (zh) * 2020-08-31 2020-12-22 上海交通大学 一种基于深度相机的超声溶脂机器人系统及辅助操作方法
CN112489133A (zh) * 2020-11-17 2021-03-12 北京京东乾石科技有限公司 手眼系统的标定方法、装置及设备
CN112809668A (zh) * 2020-12-30 2021-05-18 上海媒智科技有限公司 一种机械臂自动手眼标定的方法及系统、终端
CN118456458A (zh) * 2024-07-15 2024-08-09 长沙矿冶研究院有限责任公司 表面清理机械手的工作程序自动生成方法与系统
CN119748093A (zh) * 2024-09-26 2025-04-04 上海寰宇物流科技有限公司 一种螺丝锁付系统及其锁付方法

Similar Documents

Publication Publication Date Title
CN108436909A (zh) 一种基于ros的相机和机器人的手眼标定方法
JP6966582B2 (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
CN114912287B (zh) 基于目标6d位姿估计的机器人自主抓取仿真系统及方法
CN110039542B (zh) 具有速度方向控制的视觉伺服跟踪控制方法及机器人系统
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN109658460A (zh) 一种机械臂末端相机手眼标定方法和系统
CN107139178B (zh) 一种无人机及其基于视觉的抓取方法
CN102922521B (zh) 一种基于立体视觉伺服的机械臂系统及其实时校准方法
CN108908334A (zh) 一种基于深度学习的智能抓取系统及方法
CN111369625B (zh) 定位方法、装置和存储介质
CN115446847B (zh) 用于提高机器人系统的3d眼手协调准确度的系统和方法
CN112008696A (zh) 一种基于视觉的工业机器人系统
CN109358507B (zh) 一种时变性能边界约束的视觉伺服自适应跟踪控制方法
CN110238820A (zh) 基于特征点的手眼标定方法
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
JP2015182144A (ja) ロボットシステムおよびロボットシステムの校正方法
CN110722558B (zh) 机器人的原点校正方法、装置、控制器和存储介质
CN111360821A (zh) 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN112598752B (zh) 基于视觉识别的标定方法及作业方法
CN111098306A (zh) 机器人的标定方法、装置、机器人和存储介质
US12128571B2 (en) 3D computer-vision system with variable spatial resolution
CN106940894A (zh) 一种基于主动视觉的手眼系统自标定方法
CN110202560A (zh) 一种基于单个特征点的手眼标定方法
CN109389642A (zh) 视觉系统对机器人的标定方法、系统和具有存储功能装置
Yang et al. Visual servoing of humanoid dual-arm robot with neural learning enhanced skill transferring control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180824

RJ01 Rejection of invention patent application after publication