CN117813182A - 机器人控制设备、机器人控制系统和机器人控制方法 - Google Patents
机器人控制设备、机器人控制系统和机器人控制方法 Download PDFInfo
- Publication number
- CN117813182A CN117813182A CN202280053883.5A CN202280053883A CN117813182A CN 117813182 A CN117813182 A CN 117813182A CN 202280053883 A CN202280053883 A CN 202280053883A CN 117813182 A CN117813182 A CN 117813182A
- Authority
- CN
- China
- Prior art keywords
- robot
- controller
- calibration
- spatial information
- acquisition unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1682—Dual arm manipulator; Coordination of several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39016—Simultaneous calibration of manipulator and camera
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39024—Calibration of manipulator
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
机器人控制设备包括被配置为控制机器人的控制器。控制器被配置为:获取机器人的移动目的地的测量位置;获取机器人的位置的测量结果,该位置的测量结果基于由空间信息获取单元获取的关于机器人的操作空间的空间信息来计算;以及基于测量位置和测量结果来确定是否执行机器人的校准。
Description
相关申请的交叉引用
本申请要求日本专利申请No.2021-127715(于2021年8月3日递交)的优先权,其全部公开内容通过引用合并于此。
技术领域
本公开涉及机器人控制设备、机器人控制系统和机器人控制方法。
背景技术
以往,已知基于校准时的标记部分的位置来执行异常诊断的机器人控制系统(例如,参见专利文献1)。
引文列表
专利文献
专利文献1:日本未审查专利申请公开No.2020-116717
发明内容
在本公开的实施例中,一种机器人控制设备包括控制器。该控制器被配置为控制机器人。该控制器被配置为获取机器人的移动目的地的测量位置。该控制器被配置为获取机器人的位置的测量结果,该位置的测量结果基于由空间信息获取单元获取的关于机器人的操作空间的空间信息来计算。该控制器被配置为基于测量位置和测量结果来确定是否执行机器人的校准。
在本公开的实施例中,一种机器人控制系统包括机器人控制设备和机器人。
在本公开的实施例中,一种机器人控制方法将由被配置为控制机器人的控制器来执行。该机器人控制方法包括获取机器人的移动目的地的测量位置。该机器人控制方法包括获取机器人的位置的测量结果,该位置的测量结果基于由空间信息获取单元获取的关于机器人的操作空间的空间信息来计算。该机器人控制方法包括基于测量位置和测量结果来确定是否执行机器人的校准。
附图说明
图1是示出了根据实施例的机器人控制系统的示例配置的框图。
图2是示出了根据实施例的机器人控制系统的示例配置的示意图。
图3是示出了基于传感器的末端位置取向与基于图像的末端位置取向之间的差的示例的示意图。
图4是示出了根据实施例的机器人控制方法的示例过程的流程图。
具体实施方式
当发生异常时再次进行校准会导致工作量增加。存在减少在发生异常时的作业负担的要求。在本公开的实施例中,机器人控制设备、机器人控制系统和机器人控制方法能够减少在发生异常时的作业负担。
(机器人控制系统1概述)
如图1和图2所示,根据实施例的机器人控制系统1包括机器人40、机器人控制设备10和空间信息获取单元20。机器人40在规定的操作空间中操作。空间信息获取单元20生成机器人40在其中操作的操作空间的深度信息。如下所述,空间信息获取单元20计算与位于在操作空间中存在的对象50的表面上的测量点的距离。从空间信息获取单元20到测量点的距离也被称为“深度”。深度信息是关于每个测量点的测量深度的信息。换言之,深度信息是关于与位于在操作空间中存在的对象50的表面上的测量点的距离的信息。深度信息可以被表示为深度图,在深度图中,从空间信息获取单元20观看的方向和该方向上的深度彼此相关联。空间信息获取单元20基于(X,Y,Z)坐标系来生成操作空间的深度信息。机器人控制设备10基于由空间信息获取单元20生成的深度信息来操作机器人40。机器人控制设备10基于(X_RB,Y_RB,Z_RB)坐标系来控制并操作机器人40。
(X_RB,Y_RB,Z_RB)坐标系也被称为机器人40的坐标系。(X,Y,Z)坐标系也被称为空间信息获取单元20的坐标系。机器人40的坐标系可以被设置为与空间信息获取单元20的坐标系相同的坐标系,或者可以被设置为不同的坐标系。当机器人40的坐标系被设置为与空间信息获取单元20的坐标系不同的坐标系时,机器人控制设备10将在空间信息获取单元20的坐标系中生成的深度信息转换为机器人40的坐标系。
机器人40的数量和机器人控制设备10的数量不限于所示示例中的一个,可以是两个或更多个。如在所示示例中,空间信息获取单元20的数量针对一个操作空间可以是一个,或者可以是两个或更多个。下面将更具体地描述每个构成部分。
(机器人控制设备10)
机器人控制设备10包括控制器11和存储单元12。
控制器11可以包括至少一个处理器,以便实现机器人控制设备10的各种功能。处理器可以执行用于实现机器人控制设备10的各种功能的程序。处理器可以实现为单个集成电路。集成电路也被称为IC。处理器可以实现为被连接以便能够彼此通信的多个集成电路和分立电路。处理器可以包括CPU(中央处理单元)。处理器可以包括DSP(数字信号处理器)或GPU(图形处理单元)。处理器可以基于各种其他已知技术来实现。
存储单元12可以包括诸如磁盘之类的电磁存储介质,或者可以包括诸如半导体存储器或磁存储器之类的存储器。存储单元12可以被配置为HDD(硬盘驱动器)或SSD(固态驱动器)。存储单元12存储各种信息和由控制器11执行的程序。存储单元12可以充当控制器11的工作存储器。控制器11可以包括存储单元12的至少一部分。
机器人控制设备10还可以包括通信设备,该通信设备被配置为能够以有线或者无线方式与空间信息获取单元20和机器人40通信。通信设备可以被配置为能够使用基于各种通信标准的通信方法来通信。可以使用已知的通信技术来配置通信设备。省略了对通信设备的硬件等的详细描述。通信设备的功能可以通过单个接口来实现,或者可以通过针对每个连接目的地的单独接口来实现。控制器11可以被配置为能够与空间信息获取单元20和机器人40通信。控制器11可以包括通信设备。
<机器人40>
如图2所示,机器人40包括臂42、附接到臂42的末端执行器44、以及设置在末端执行器44上的标记46。标记46可以设置在臂42而不是末端执行器44上。
臂42可以被配置为例如六轴或七轴竖直多关节机器人。臂42可以被配置为三轴或四轴水平多关节机器人或标量机器人。臂42可以被配置为两轴或三轴正交机器人。臂42可以被配置为并联链接机器人等。臂42的轴数不限于示例所示的数量。
末端执行器44可以包括例如被配置为能够抓握作业目标的抓握手。抓握手可以包括多个手指。抓握手上的手指数量可以是两个或更多个。抓握手的手指可以包括一个或多个关节。末端执行器44也可以包括被配置为能够向作业目标施加吸附力的吸附手。末端执行器44可以包括被配置为能够铲起作业目标的铲手。末端执行器44可以包括工具(例如,钻头),并且可以被配置为能够执行各种操作(例如,在作业目标中打孔)。末端执行器44不限于这些示例,并且可以被配置为能够执行各种其他操作。
机器人40可以通过操作臂42来控制末端执行器44的位置。末端执行器44可以具有充当相对于作业目标的操作方向的参考的轴。如果末端执行器44具有轴,则机器人40可以通过操作臂42来控制末端执行器44的该轴的方向。机器人40控制其中末端执行器44作用于作业目标的操作的开始和结束。机器人40可以通过控制末端执行器44的操作同时控制末端执行器44的位置或末端执行器44的轴的方向来移动或加工作业目标。
机器人40还可以包括检测机器人40的每个构成部分的状态的传感器。传感器可以检测关于机器人40的每个构成部分的实际位置或取向的信息、或关于机器人40的每个构成部分的速度或加速度的信息。传感器可以检测作用在机器人40的每个构成部分上的力。传感器可以检测在驱动机器人40的每个构成部分的电机中流动的电流、或每个电机的扭矩。传感器可以检测由于机器人40的实际操作而获得的信息。通过获取传感器的检测结果,机器人控制设备10可以确定机器人40的实际操作的结果。即,机器人控制设备10可以根据传感器的检测结果来获取机器人40的状态。
机器人控制设备10基于由空间信息获取单元20捕获的标记46的图像,来识别标记46的位置或其上设置有标记46的末端执行器44的位置。机器人控制设备10还基于由空间信息获取单元20捕获的标记46的图像来识别机器人40的状态。机器人控制设备10可以通过将基于传感器的检测结果而获取的机器人40的状态与基于标记46的图像而获取的机器人40的状态进行比较,来校准机器人40。
<空间信息获取单元20>
空间信息获取单元20获取关于机器人40的操作空间的空间信息。空间信息获取单元20可以对操作空间执行图像捕获,并且获取操作空间的图像作为空间信息。如图2所示,空间信息获取单元20可以捕获在操作空间中存在的对象50的图像。空间信息获取单元20可以被配置为相机。空间信息获取单元20可以被配置为3D立体相机。3D立体相机捕获在操作空间中存在的对象50的图像,计算与位于在操作空间中存在的对象50的表面上的测量点的距离作为深度,并且生成深度信息。空间信息获取单元20可以被配置为LiDAR(光检测和测距)。LiDAR测量与位于在操作空间中存在的对象50的表面上的测量点的距离,并且生成深度信息。换言之,空间信息获取单元20可以获取操作空间的深度信息作为空间信息。空间信息获取单元20不限于这些设备,并且可以被配置为各种设备。空间信息获取单元20可以获取各种其他类型的信息作为空间信息,而不限于操作空间的图像或深度信息。空间信息获取单元20可以包括图像捕获元件。空间信息获取单元20还可以包括光学系统。空间信息获取单元20可以将操作空间的捕获图像输出到机器人控制设备10。空间信息获取单元20可以生成机器人40的操作空间中的深度信息,并且将该深度信息输出到机器人控制设备10。空间信息获取单元20可以生成机器人40的操作空间中的点群信息,并且将该点群信息输出到机器人控制设备10。换言之,可以以点群数据的形式输出空间信息。换言之,点群信息可以包括空间信息。点群信息是位于操作空间中的对象50的表面上的测量点集的信息,并且包括每个测量点的坐标或颜色信息。可以说,点群信息是使用多个点来表示测量空间中的对象50的数据。由于空间信息处于点群数据的形式,因此可以使得数据密度小于基于由空间信息获取单元20获取的初始数据的空间信息的数据密度。
空间信息获取单元20具有FOV(视场)。FOV对应于空间信息获取单元20的图像捕获范围。空间信息获取单元20可以捕获FOV中包含的范围的图像。空间信息获取单元20的实际视场大小基于空间信息获取单元20的FOV以及深度信息来确定。机器人控制设备10可以基于空间信息获取单元20的实际视场大小以及由空间信息获取单位20捕获的包括机器人40的标记46在内的图像来获取机器人40的标记46的位置和取向。具体地,机器人控制设备10通过使用规定算法分析标记46的图像来基于图像计算标记46的位置和取向。规定算法可以包括例如等式或表,或者可以包括指定算术处理的程序。规定算法可以包括用于校正基于图像的计算结果的参数。
(机器人控制设备10的示例操作)
机器人控制设备10使机器人40操作以作用于在操作空间中存在的作业对象(例如,对象50),或者使机器人40操作以避开对象50。机器人控制设备10基于由空间信息获取单元20捕获的对象50的图像,使机器人40操作以作用于对象50或者避开对象50。
<校准>
机器人控制设备10的控制器11可以基于由空间信息获取单元20捕获的图像中的标记46的位置和取向来获取机器人40的状态,并且可以获取机器人40和对象50之间的位置关系。另一方面,控制器11基于机器人40的传感器(例如,安装在臂42中的编码器)来获取机器人40的状态。基于机器人40的传感器的状态比基于由空间信息获取单元20捕获的图像的状态更准确地表示机器人40的位置和取向。因此,通过使基于由空间信息获取单元20捕获的图像的机器人40的状态与基于机器人40的传感器的机器人40的状态相匹配,控制器11可以在操作空间中高精度地控制机器人40。使基于由空间信息获取单元20捕获的图像的机器人40的状态与基于机器人40的传感器的机器人40的状态相匹配的操作也被称为校准。具体地,控制器11执行校准以使空间信息获取单元20的(X,Y,Z)坐标系与机器人40的(X RB,YRB,Z RB)坐标系相匹配。控制器11可以估计空间信息获取单元20的坐标系与机器人40的坐标系之间的相对位置关系,并且基于所估计的相对位置关系,将空间信息获取单元20的坐标系与机器人40的坐标系对齐。
控制器11可以使用空间信息获取单元20的FOV的至少一部分作为校准范围60来执行校准。在该实施例中,控制器11在图2所示的校准范围60内进行校准。校准范围60在图2中被示出为由两点划线围绕的区域。校准范围60对应于其中执行机器人40的校准的范围。校准范围60可以包括机器人40的作业区域。校准范围60可以是其中机器人40的作业区域与FOV重叠的范围。
控制器11在校准范围60内设置用于执行校准的点。用于执行校准的点也被称为校准位置。控制器11将机器人40的标记46移动到校准位置,并且使空间信息获取单元20捕获标记46的图像。控制器11基于标记46的图像来计算标记46的位置和取向。控制器11校正基于图像的标记46的位置和取向,使得基于图像而计算的标记46的位置和取向与基于机器人40的传感器的检测结果而确定的标记46的位置和取向相匹配。基于图像的标记46的位置和取向的校正对应于校准。标记46的位置和取向也被称为末端位置取向。校准对应于末端位置取向的校正。校准位置对应于其中末端位置取向被校正的位置。
具体地,控制器11可以如下所述执行校准。控制器11生成用于将机器人40的标记46移动到校准位置的用于机器人40的控制信息。控制器11基于控制信息来操作机器人40,以将机器人40的标记46移动到校准位置。控制器11从空间信息获取单元20获取标记46的图像。控制器11基于图像来计算标记46的位置和取向。基于图像而计算的标记46的位置和取向也被称为基于图像的末端位置取向。控制器11计算基于机器人40的传感器的检测结果而确定的标记46的位置和取向。基于传感器的检测结果而计算的标记46的位置和取向也被称为基于传感器的末端位置取向。控制器11将基于图像的末端位置取向和基于传感器的末端位置取向进行比较。控制器11校正基于图像的末端位置取向,使得基于图像的末端位置取向与基于传感器的末端位置取向相匹配。控制器11可以校正用于计算基于图像的末端位置取向的算法。控制器11可以校正算法中包括的参数,或者可以校正等式、表或程序。当设置多个校准位置时,控制器11将机器人40移动到每个校准位置,获取校准位置处的标记46的图像,并且校正基于图像的末端位置取向。
在上述示例中,针对标记46的位置和取向执行校准,但执行校准的地点不限于标记46的位置和取向。换言之,控制器11可以预先存储标记46的位置与作为机器人40的要校准的部分的校准目标之间的位置关系,并且根据基于图像的标记46的位置和取向来计算校准目标的位置和取向。然后可以通过与基于机器人40的传感器的检测结果的校准目标的位置和取向进行比较来执行校准。因此,除了标记46的位置和取向之外也可以执行校准。在上述示例中,校准目标是机器人40的末端位置取向,但校准目标不限于机器人40的末端位置取向,只要可以计算校准目标的位置和取向即可。
<<校准项目>>
控制器11在执行校准之前预先设置校准范围60。控制器11还设置校准范围60内包括的校准位置。控制器11在校准范围60内设置校准位置。
控制器11生成用于机器人40的控制信息以将机器人40移动到校准位置。作为校准项目,控制器11生成指定当机器人40已经移动到校准位置时的末端位置取向的信息、以及指定机器人40的标记46的识别结果的信息。校准项目例如是关于坐标的信息。具体地,校准项目例如是表示基于当机器人40移动到校准位置时获得的机器人40的传感器的检测结果的末端位置取向的坐标信息、或表示基于由空间信息获取单元20识别的标记46的识别结果的末端位置取向的坐标信息。
控制器11可以如下所述产生校准项目。
控制器11例如从空间信息获取单元20获取关于空间信息获取单元20的实际视场大小的信息、或关于FOV的信息。控制器11基于空间信息获取单元20的实际视场大小或FOV以及机器人40的作业区域来设置校准范围60。控制器11可以基于对象50在机器人40的操作空间中的位置来设置校准范围60。控制器11可以基于由空间信息获取单元20检测到的对象50的深度信息或点群信息来设置校准范围60。在图2中,校准范围60的形状被设置为四棱台形状。校准范围60的形状不限于该形状,并且可以被设置为各种其他形状。
控制器11使基于机器人40的传感器的末端位置取向与基于来自空间信息获取单元20的图像的末端位置取向相匹配。具体地,控制器11将机器人40移动到第一位置。控制器11生成用于操作机器人40的控制信息,该操作使得机器人40的标记46处于所规定的位置和取向,并且通过基于控制信息来控制机器人40,将机器人40移动到第一位置。第一位置可以是空间信息获取单元20的FOV中包括的规定位置。第一位置可以是例如空间信息获取单元20的FOV的中心位置。控制器11获取当机器人40已经移动到第一位置时的标记46的图像,并且计算标记46的位置和取向作为基于图像的末端位置取向。控制器11还计算基于传感器的末端位置取向。根据基于图像的末端位置取向与基于传感器的末端位置取向的比较,控制器11校正机器人40的控制信息,使得机器人40的位置在图像中变成基于传感器的检测结果的第一位置。通过基于经校正的控制信息来移动机器人40,控制器11更新机器人40的状态,使得机器人40在机器人40的坐标系中的位置与机器人40在空间信息获取单元20的坐标系中的位置彼此相匹配。换言之,可以说,控制器11更新机器人40的状态,使得机器人40的位置在图像中变成第一位置。
控制器11可以在校准范围60内生成作为与第一位置不同的校准位置的候选的位置。候选校准位置也被称为第二位置。第二位置包括在校准范围60内。控制器11通过模拟机器人40的运动来估计:如果机器人40移动到第二位置,则机器人40将处于什么状态。换言之,控制器11计算假设机器人40移动到第二位置时的机器人40的状态。因此,控制器11可以确定机器人40是否可以移动到第二位置。
如果当假设机器人40移动到第二位置时的机器人40的状态是其中机器人40不与对象50接触的状态,是在关节的运动范围内的状态,并且是非奇点的状态,则控制器11将第二位置注册为校准位置。如果控制器11将第二位置注册为校准位置,则控制器11生成指定当机器人40已经移动到第二位置时基于机器人40的传感器的检测结果的末端位置取向的信息、以及指定基于机器人40的标记46的识别结果的末端位置取向的信息,作为多个校准项目。如果控制器11未将第二位置注册为校准位置,则控制器11可以生成位于不同位置处的新第二位置,并且确定新第二位置是否可以被注册为校准位置。当表示机器人40的关节的角度的数值位于运动范围内时,控制器11可以确定机器人40的状态是关节不受限的状态。当表示机器人40的关节的角度的数值位于运动范围之外时,控制器11可以确定机器人40的状态是关节受限状态。
奇点对应于由于机器人40的结构而无法控制机器人40的取向。如果机器人40沿其移动的路径包括奇点,则机器人40将在奇点附近高速移动(失控),并在该奇点处停止。机器人40的奇点落入以下三个类别,即类别(1)至类别(3)。
(1)当机器人40被控制到作业区域的外边界附近时位于作业区域外部的点。(作业区域是与机器人40的操作空间相对应的区域。)
(2)位于作业区域内部但当控制机器人40直接位于机器人基座上方或下方时的点。
(3)机器人40的臂42端部处的关节之前的一个关节的关节角度为零或180度的点(手腕对齐奇点)。
当表示机器人40的状态的数值与表示是奇点的状态的数值相匹配时,控制器11可以确定机器人40的状态是奇点状态。当表示机器人40的状态的数值与表示是奇点的状态的数值之间的差小于规定值时,控制器11可以确定机器人40的状态是奇点状态。表示机器人40的状态的数值的示例可以包括例如臂42的关节的角度、或驱动机器人40的电机的扭矩。
如上所述,控制器11设置校准范围60,并且在校准范围60内设置校准位置。另外,作为校准项目,控制器11生成指定当机器人40已经移动到校准位置时的末端位置取向的信息、以及指定机器人40的标记46的识别结果的信息。
<<执行校准>>
控制器11执行校准,使得与标记46的识别结果相关的末端位置取向的校准项目和与机器人40的传感器的检测结果相关的末端位置取向的校准项目相匹配。具体地,控制器11将机器人40移动到校准位置。控制器11从空间信息获取单元20获取当机器人40已经移动到校准位置时的机器人40的标记46的识别结果。控制器11计算作为标记46的识别结果而获取的末端位置取向的校正项目与基于机器人40的传感器的末端位置取向的校正项目之间的相对位置关系。相对位置关系对应于两个校准项目之间的坐标差和角度差。控制器11对空间信息获取单元20的坐标系进行校正,以使空间信息获取单元20的坐标系与机器人40的坐标系对齐,使得与该两个校准项目的相对位置关系相对应的坐标误差和角度误差为零或接近于零(即,误差低于规定值)。以这种方式,控制器11可以通过使当机器人40已经移动到校准位置时的标记46的识别结果与由机器人40的传感器识别的末端位置取向相匹配,来计算该相对位置关系。
具体地,假设控制器11通过执行校准来将空间信息获取单元20的(X,Y,Z)坐标系校正为与机器人40的(X RB,Y RB,Z RB)坐标系相匹配。控制器11可以通过执行校准来指定空间信息获取单元20的坐标系与机器人40的坐标系之间的关系。
<当发生异常时的响应>
如上所述,使用校准来指定空间信息获取单元20的坐标系与机器人40的坐标系之间的关系。在该实施例中,空间信息获取单元20的坐标系与机器人40的坐标系彼此相匹配。坐标系之间的关系可以因各种原因而改变。当机器人40或机器人控制系统1中发生异常时,坐标系之间的关系可能改变。当机器人40停止时或者当机器人40启动时,坐标系之间的关系可能改变。
当控制器11在已经执行校准至少一次之后正常启动机器人40时,或者当控制器11为了从异常中恢复而启动机器人40时,控制器11确定通过校准指定的坐标系之间的关系是否已经改变。如果坐标系之间的关系尚未改变,则控制器11不需要执行坐标系之间的关系的校正或校准。另一方面,如果在启动机器人40时,坐标系之间的关系已经改变,则控制器11确定是否可以校正坐标系之间的关系。如果控制器11可以校正坐标系之间的关系,则控制器11校正坐标系之间的关系,并且不执行校准。如果控制器11不能校正坐标系之间的关系,则控制器11通过执行重新校准来重新指定坐标系之间的关系。
换言之,可以在机器人40停止时或者在机器人40启动时确定是否需要执行校准。机器人40停止的时间不限于机器人40异常停止的时间,并且还可以包括当机器人40已经完成指定任务的时间。机器人40启动的时间不限于机器人40在由于异常而停止之后启动的时间,并且还可以包括机器人40针对指定任务启动的时间。
如下所述,当控制器11在已经校准机器人40至少一次的情况下启动机器人40时,控制器11确定机器人40的坐标系与空间信息获取单元20的坐标系之间的关系是否已经改变以及重新校准是否必要。
控制器11将机器人40移动到测量位置。控制器11将测量位置设置为校准范围60内包括的点。测量位置可以包括例如校准位置中的一些。测量位置可以包括例如校准范围60内的角点。测量位置可以包括例如上述第一位置或第二位置,或者可以包括与第一位置和第二位置不同的位置。测量位置可以包括在先前校准中使用的校准位置,或者可以包括与先前校准位置不同的位置。控制器11可以例如将校准范围60内部的点设置为测量位置。不限于这些点,控制器11可以将校准范围60内包括的各个点设置为测量位置。控制器11可以获取机器人40的移动目的地的测量位置。
控制器11获取当机器人40移动到测量位置时的标记46的识别结果。控制器11基于标记46的识别结果来计算机器人40的位置作为测量结果。控制器11计算测量位置的初始值与测量结果之间的差。由于控制器11基于传感器的检测结果将机器人40移动到测量位置,因此控制器11可以计算所设置的测量位置本身与测量结果之间的差,而无需计算基于传感器的机器人40的位置。控制器11可以获取当机器人40移动到测量位置时的传感器的检测结果,根据该检测结果来计算并获取基于传感器的机器人40的位置作为测量位置,使用所计算的测量位置作为测量位置的初始值,并且计算与测量结果的差。
控制器11基于测量位置的初始值与测量结果之间的差来确定是否校正坐标系之间的关系。例如,当测量位置的初始值与测量结果之间的差大于规定阈值时,控制器11确定将校正坐标系之间的关系。当在多个测量位置处获取测量结果时,当至少一个测量位置的初始值与对应测量结果之间的差大于规定阈值时,控制器11确定将校正坐标系之间的关系。当测量位置的初始值与测量结果之间的差小于或等于规定阈值时,控制器11确定坐标系之间的关系的校正以及重新校准是不必要的。控制器11可以适当地设置规定阈值。控制器11可以基于例如机器人40的操作期间的位置精度的规范来设置规定阈值。
当校正坐标系之间的关系时,控制器11可以校正空间信息获取单元20的坐标系,使得空间信息获取单元20的坐标系与机器人40的坐标系对齐。控制器11可以校正机器人40的坐标系,以将机器人40的坐标系与空间信息获取单元20的坐标系对齐。
具体地,控制器11可以通过旋转或平移运动来校正空间信息获取单元20的坐标系或机器人40的坐标系。控制器11可以通过放大或缩小坐标系来校正空间信息获取单元20的坐标系或机器人40的坐标系。控制器11可以校正空间信息获取单元20的坐标系或机器人40的坐标系中的畸变。控制器11可以基于坐标系的校正来计算测量位置的校正值。
控制器11可以在一个测量位置处获取机器人40的末端位置取向,并且基于诸如表示标记46的取向的旋转角度之类的信息来在旋转方向和平移方向上校正坐标系。
图3中示出了坐标系之间的关系的变化的具体示例。假设基于机器人40的(X RB,YRB,Z RB)坐标系来定义以测量位置的坐标作为顶点的测量位置模型70。控制器11将机器人40移动到测量位置模型70的每个顶点(测量位置),并且获取标记46的识别结果。假设:当基于空间信息获取单元20的(X,Y,Z)坐标系而获取的标记46的识别结果与机器人40的(X RB,Y RB,Z RB)坐标系相匹配时,所计算的测量结果由以测量结果的坐标作为顶点的测量结果模型72来表示。测量位置模型70对应于所设置的测量位置本身、或当机器人40基于传感器的检测结果而移动到测量位置时的测量位置的初始值。测量结果模型72对应于当使当机器人40移动到测量位置时的标记46的识别结果与机器人40的(X RB,Y RB,Z RB)坐标系相匹配时获得的测量结果。基于测量位置模型70和测量结果模型72的比较,控制器11确定坐标系之间的关系是否已经改变。在该实施例中,假设通过先前执行的校准已经使机器人40的坐标系与空间信息获取单元20的坐标系相匹配。在图3所示的状态下,空间信息获取单元20的坐标系相对于机器人40的坐标系在旋转方向和平移方向上已经改变。控制器11可以在平移方向和旋转方向上将空间信息获取单元20的坐标系校正为与机器人40的坐标系相匹配。
在校正坐标系之间的关系之后,控制器11将机器人40移动到经校正的测量位置,并且再次获取测量结果。经校正的测量位置也被称为经校正的位置。在校正坐标系之间的关系之后获取的测量结果也被称为经校正的测量结果。如果经校正的位置与经校正的测量结果之间的差小于或等于规定阈值,则控制器11确定坐标系之间的关系已经由于校正而返回到执行先前校准时的关系,并且确定机器人40的重新校准是不必要的。控制器11基于坐标系之间的关系的校正结果来更新相对位置关系。具体地,控制器11可以基于测量位置的初始值与经校正的位置之间的差来更新相对位置关系。
如果经校正的位置与经校正的测量结果之间的差大于规定阈值,则控制器11确定坐标系之间的关系尚未由于校正而返回到执行先前校准时的关系,并且确定机器人40的重新校准是必要的。
当发生异常时,可以执行上述坐标系的校正。具体地,当在机器人40以异常方式停止之后重新启动机器人40时,可以执行坐标系的校正。当空间信息获取单元20的(X,Y,Z)坐标系由于空间信息获取单元20的移动而已经改变时,可以执行坐标系的校正。坐标系的校正不限于在发生异常时执行,并且可以在机器人40启动时执行。
(机器人控制方法的示例过程)
机器人控制设备10的控制器11可以在机器人40启动或从异常恢复等时执行包括图4所示的流程图的过程在内的机器人控制方法。机器人控制方法可以实现为要由构成控制器11的处理器执行的机器人控制程序。机器人控制程序可以存储在非暂时性计算机可读介质上。
控制器11获取测量位置(步骤S1)。控制器11将机器人40移动到测量位置(步骤S2)。控制器11获取机器人40已经移动到的测量位置处的标记46的识别结果(步骤S3)。控制器11确定所有测量位置处的标记46的识别是否完成(步骤S4)。如果所有测量位置处的标记46的识别未完成(步骤S4:否),则控制器11返回到步骤S2的过程。
当控制器11已经完成对所有测量位置处的标记46的识别时(步骤S4:是),控制器11确定测量位置的初始值与测量结果之间的差是否小于或等于规定阈值(步骤S5)。如果测量位置的初始值与测量结果之间的差小于或等于规定阈值(步骤S5:是),则控制器11终止图4的流程图中的过程的执行。
如果测量位置的初始值与测量结果之间的差并非小于或等于规定阈值(步骤S5:否),即如果测量位置的初始值与测量结果之间的差大于规定阈值,则控制器11校正坐标系,并且计算经校正的位置(步骤S6)。控制器11将机器人40移动到经校正的位置(步骤S7)。控制器11获取机器人40已移动到的经校正的位置处的标记46的识别结果,并且获取经校正的测量结果(步骤S8)。
控制器11确定经校正的位置和经校正的测量结果之间的差是否小于或等于规定阈值(步骤S9)。如果经校正的位置与经校正的测量结果之间的差小于或等于规定阈值(步骤S9:是),则控制器11基于测量位置的初始值与测量结果之间的差来计算校正值,并且更新校准值(步骤S1 0)。校准值表示相对位置关系。在执行步骤S1 0中的过程之后,控制器11终止图4中的流程图的过程的执行。
如果经校正的位置与经校正的测量结果之间的差并非小于或等于规定阈值(步骤S9:否),即如果测量位置的校正值与测量结果之间的差大于规定阈值,则控制器11确定需要机器人40的重新校准(步骤S11)。在执行步骤S11中的过程之后,控制器11终止图4中的流程图的过程的执行。在执行步骤S11中的过程之后,控制器11可以执行机器人40的重新校准。
(概述)
如上所述,在根据该实施例的机器人控制设备10和机器人控制方法中,例如,当机器人40启动或从异常中恢复时,当测量位置与测量结果之间的差大于规定阈值时,校正坐标系。如果坐标系校正之后的测量位置与测量结果之间的差大于规定阈值,则可以确定需要重新校准。相反,当坐标系校正之后的测量位置与测量结果之间的差小于或等于规定阈值时,可以确定不需要重新校准。以这种方式,可以减少在发生异常时的工作量。
尽管已经基于附图和示例描述了本公开的实施例,但请注意,本领域技术人员可以基于本公开做出各种变化或改变。因此,请注意,这些变化或改变包括在本公开的范围内。例如,可以以逻辑上一致的方式重新布置每个构成部分中包括的功能等,并且可以将多个构成部分等组合为一个部分或划分为多个部分。
本公开中描述的所有构成元件和/或所有所公开的方法或所公开的处理的所有步骤可以以任何组合进行组合,除了它们的特征相互排斥的组合之外。除非明确相反地陈述,否则本公开中描述的每个特征可以被服务于相同、等同或类似目的的备选特征替代。因此,除非明确相反地陈述,否则每个所公开的特征仅是相同或等同特征全集中的一个示例。
此外,根据本公开的实施例不限于上述实施例的任何具体配置。根据本公开的实施例可以扩展到本公开中描述的所有新颖特征或其组合,或者本公开中描述的所有新颖方法、或处理步骤或其组合。
附图标记
1 机器人控制系统
10 机器人控制设备(11控制器,12存储单元)
20 空间信息获取单元
40 机器人(42臂,44末端执行器,46标记)
50 对象
60 校准范围
70 测量位置模型
72 测量结果模型。
Claims (7)
1.一种机器人控制设备,包括:
控制器,被配置为控制机器人,
其中,所述控制器被配置为:
获取所述机器人的移动目的地的测量位置,
获取所述机器人的位置的测量结果,所述位置的测量结果基于由空间信息获取单元获取的关于所述机器人的操作空间的空间信息来计算,并且
基于所述测量位置和所述测量结果来确定是否执行所述机器人的校准。
2.根据权利要求1所述的机器人控制设备,
其中,所述控制器被配置为:基于所述测量位置和所述测量结果之间的差,来校正所述空间信息获取单元的坐标系或用于控制所述机器人的坐标系。
3.根据权利要求2所述的机器人控制设备,
其中,所述控制器被配置为:通过旋转、平移、放大缩小或变形来校正所述空间信息获取单元的坐标系或用于控制所述机器人的坐标系。
4.根据权利要求2或3所述的机器人控制设备,
其中,所述控制器被配置为:在经校正的坐标系中将所述机器人移动到所述测量位置,并且计算所述机器人的位置作为经校正的测量结果,并且
如果所述测量位置和所述经校正的测量结果之间的差大于或等于规定值,则执行所述机器人的校准。
5.根据权利要求1至4中任一项所述的机器人控制设备,
其中,所述控制器被配置为:能够针对多个所述机器人之中的已经执行所述校准至少一次的机器人确定是否再次执行所述校准。
6.一种机器人控制系统,包括:
根据权利要求1至5中任一项所述的机器人控制设备,以及所述机器人。
7.一种机器人控制方法,包括:
使用被配置为控制机器人的控制器来获取所述机器人的移动目的地的测量位置;
获取所述机器人的位置的测量结果,所述位置的测量结果基于由空间信息获取单元获取的关于所述机器人的操作空间的空间信息来计算;以及
基于所述测量位置和所述测量结果来确定是否执行所述机器人的校准。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021-127715 | 2021-08-03 | ||
| JP2021127715 | 2021-08-03 | ||
| PCT/JP2022/029851 WO2023013698A1 (ja) | 2021-08-03 | 2022-08-03 | ロボット制御装置、ロボット制御システム、及びロボット制御方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117813182A true CN117813182A (zh) | 2024-04-02 |
Family
ID=85156017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280053883.5A Pending CN117813182A (zh) | 2021-08-03 | 2022-08-03 | 机器人控制设备、机器人控制系统和机器人控制方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240246237A1 (zh) |
| EP (1) | EP4382258A4 (zh) |
| JP (1) | JP7657936B2 (zh) |
| CN (1) | CN117813182A (zh) |
| WO (1) | WO2023013698A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7680553B2 (ja) * | 2021-09-27 | 2025-05-20 | ファナック株式会社 | 機構誤差パラメータを較正する較正装置および機構誤差パラメータの較正の必要性を判定する判定装置 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1063317A (ja) * | 1996-08-13 | 1998-03-06 | Fanuc Ltd | ロボット−視覚センサシステムにおける座標系結合方法 |
| JP4298757B2 (ja) * | 2007-02-05 | 2009-07-22 | ファナック株式会社 | ロボット機構のキャリブレーション装置及び方法 |
| JP2009125857A (ja) * | 2007-11-22 | 2009-06-11 | Mitsubishi Electric Corp | ロボットのキャリブレーション装置及び方法 |
| JP5561260B2 (ja) * | 2011-09-15 | 2014-07-30 | 株式会社安川電機 | ロボットシステム及び撮像方法 |
| US9211643B1 (en) * | 2014-06-25 | 2015-12-15 | Microsoft Technology Licensing, Llc | Automatic in-situ registration and calibration of robotic arm/sensor/workspace system |
| JP6396516B2 (ja) * | 2017-01-12 | 2018-09-26 | ファナック株式会社 | 視覚センサのキャリブレーション装置、方法及びプログラム |
| JP6860843B2 (ja) * | 2017-02-20 | 2021-04-21 | 株式会社安川電機 | ロボットシステム、ロボット制御装置、及びロボット制御方法 |
| WO2018163450A1 (ja) * | 2017-03-09 | 2018-09-13 | 三菱電機株式会社 | ロボット制御装置およびキャリブレーション方法 |
| JP7008942B2 (ja) * | 2017-12-21 | 2022-01-25 | 株式会社安川電機 | 較正方法及び較正装置 |
| JP2019119027A (ja) * | 2018-01-10 | 2019-07-22 | キヤノン株式会社 | ロボットシステムの制御方法、およびロボットシステム |
| DE102018124595B4 (de) * | 2018-10-05 | 2022-02-17 | Carl Zeiss Industrielle Messtechnik Gmbh | Vorrichtung zur Erfassung einer Position und Lage eines Endeffektors eines Roboters |
| JP7281910B2 (ja) | 2019-01-28 | 2023-05-26 | 株式会社Fuji | ロボット制御システム |
| WO2021199305A1 (ja) * | 2020-03-31 | 2021-10-07 | 日本電気株式会社 | 制御装置、制御システム、制御方法、および、制御プログラムが記録された記録媒体 |
| WO2022025059A1 (ja) * | 2020-07-29 | 2022-02-03 | ファナック株式会社 | ロボットシステム |
| US12115652B2 (en) * | 2020-08-17 | 2024-10-15 | Faro Technologies, Inc. | Referencing pose manipulation system for marker based tracking of position measurement system |
| US11724407B2 (en) * | 2021-01-18 | 2023-08-15 | Xerox Corporation | Target-free RGBD camera alignment to robots |
| DE112021007102T5 (de) * | 2021-04-19 | 2024-02-29 | Fanuc Corporation | Programmerzeugungsvorrichtung und Robotersteuerungsvorrichtung |
-
2022
- 2022-08-03 WO PCT/JP2022/029851 patent/WO2023013698A1/ja not_active Ceased
- 2022-08-03 EP EP22853116.6A patent/EP4382258A4/en active Pending
- 2022-08-03 CN CN202280053883.5A patent/CN117813182A/zh active Pending
- 2022-08-03 US US18/681,013 patent/US20240246237A1/en active Pending
- 2022-08-03 JP JP2023540394A patent/JP7657936B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20240246237A1 (en) | 2024-07-25 |
| JP7657936B2 (ja) | 2025-04-07 |
| WO2023013698A1 (ja) | 2023-02-09 |
| EP4382258A1 (en) | 2024-06-12 |
| JPWO2023013698A1 (zh) | 2023-02-09 |
| EP4382258A4 (en) | 2025-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112672860B (zh) | 用于ar和数字孪生的机器人校准 | |
| JP6966582B2 (ja) | ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法 | |
| JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
| CN106457562B (zh) | 用于校准机器人的方法和机器人系统 | |
| JP6180086B2 (ja) | 情報処理装置及び情報処理方法 | |
| EP2636493B1 (en) | Information processing apparatus and information processing method | |
| JPWO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| CN106483963A (zh) | 机器人系统的自动标定方法 | |
| KR20080088165A (ko) | 로봇 캘리브레이션 방법 | |
| WO2018043524A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| JP6885856B2 (ja) | ロボットシステムおよびキャリブレーション方法 | |
| US11267129B2 (en) | Automatic positioning method and automatic control device | |
| CN115916480A (zh) | 机器人示教方法和机器人作业方法 | |
| CN117813182A (zh) | 机器人控制设备、机器人控制系统和机器人控制方法 | |
| JP7660686B2 (ja) | ロボット制御装置、ロボット制御システム、及びロボット制御方法 | |
| CN116390834A (zh) | 机器人系统 | |
| JP7583942B2 (ja) | ロボット制御装置、ロボット制御システム、及びロボット制御方法 | |
| JP2005186193A (ja) | ロボットのキャリブレーション方法および三次元位置計測方法 | |
| US20250001594A1 (en) | Robot control device, robot control system, and robot control method | |
| JPH05204423A (ja) | 視覚装置付きロボット装置における座標較正方法 | |
| CN113733078A (zh) | 机械臂精调控制量判读方法、计算机可读存储介质 | |
| JPS6257892A (ja) | 視覚付ロボツトのカメラ座標較正方法 | |
| US20240346674A1 (en) | Information processing device, information processing method, imaging device, and information processing system | |
| US20220092290A1 (en) | Image Recognition Method And Robot System | |
| WO2024062535A1 (ja) | ロボット制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |