CN116803625A - 机器人控制方法、装置、设备和存储介质 - Google Patents
机器人控制方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116803625A CN116803625A CN202210266707.1A CN202210266707A CN116803625A CN 116803625 A CN116803625 A CN 116803625A CN 202210266707 A CN202210266707 A CN 202210266707A CN 116803625 A CN116803625 A CN 116803625A
- Authority
- CN
- China
- Prior art keywords
- time
- target object
- robot
- performance index
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 132
- 239000012636 effector Substances 0.000 claims abstract description 91
- 230000008569 process Effects 0.000 claims abstract description 41
- 230000001133 acceleration Effects 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 21
- 230000007423 decrease Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 230000036544 posture Effects 0.000 description 46
- 238000010586 diagram Methods 0.000 description 28
- 238000005457 optimization Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 17
- 230000003068 static effect Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 230000006641 stabilisation Effects 0.000 description 12
- 238000011105 stabilization Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 7
- 230000008030 elimination Effects 0.000 description 6
- 238000003379 elimination reaction Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003032 molecular docking Methods 0.000 description 3
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010048669 Terminal state Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本公开的实施例提供了一种机器人控制方法、装置、设备和计算机可读存储介质。本公开的方法针对基于非抓握操作的抓取方式利用机器人的末端执行器拦截动态目标,并在拦截到动态目标后对该动态目标进行柔顺控制,以达到末端执行器和动态目标的稳定状态,从而实现对动态目标物体的自动且稳定的抓取。通过本公开的实施例的方法能够确定针对整个动态目标抓取过程的一体化最优抓取算法,从而自动生成机器人的最优抓取轨迹和最优拦截时间,使机器人在目标抓取前结合自身运动状态合理调整抓取轨迹,提高了目标抓取的成功率,并且在拦截到动态目标后通过柔顺控制来缓解抓取过程中的接触力,使得接触过程中的冲击力变小,提高了动态目标抓取的稳定性。
Description
技术领域
本公开涉及人工智能及机器人领域,更具体地,涉及一种机器人控制方法、装置、设备和存储介质。
背景技术
机器人抓取作为机器人领域的一项关键技术,对于实现机器人的各种操作都起着决定性的作用。对于用于喷涂、装配、焊接、搬运等用途的工业机器人,通常抓取对象是静态的,目前已经有了较成熟的技术。但随着机器人开始被应用于科学实验、家庭服务、医疗健康等其他各个领域,由于应用场景更加复杂多变,要求机器人具备更强的交互能力,打破原有的机器人在已知环境中按照固定程序重复作业的模式,抓取动态的对象也随之成为机器人的工作任务之一。研究机器人动态目标抓取操作不仅可以推动机器人抓取核心技术的发展,提升机器人的智能化水平,还能促进仿人机器人的进步。因此,研究机器人对动态目标的抓取操作具有重要意义和价值。
因此,需要一种高效的机器人控制方法,使得机器人可以快速且准确地实现动态目标抓取。
发明内容
为了解决上述问题,本公开通过基于非抓握操作的抓取方式,在机器人的手掌未闭合的情况下对目标物体进行动态拦截与柔顺控制,从而实现快速准确的动态目标抓取。
本公开的实施例提供了一种机器人控制方法、装置、设备和计算机可读存储介质。
本公开的实施例提供了一种机器人控制方法,包括:获取目标物体在当前时刻的当前运动信息,所述当前运动信息包括所述目标物体的位置和姿态;基于所述目标物体的当前运动信息,确定对所述目标物体的抓取信息,所述抓取信息包括对所述目标物体的拦截时刻、以及对所述目标物体的柔顺控制信息;以及基于所确定的对所述目标的抓取信息,确定对所述机器人的运动控制信息;其中,在所述拦截时刻,所述机器人的末端位置和末端姿态分别与所述目标物体的位置和姿态相同,并且所述柔顺控制信息用于在所述拦截时刻之后使所述目标物体的速度和旋转减小至零。
本公开的实施例提供了一种机器人控制装置,包括:信息获取模块,被配置为获取目标物体在当前时刻的当前运动信息,所述当前运动信息包括所述目标物体的位置和姿态;抓取确定模块,被配置为基于所述目标物体的当前运动信息,确定对所述目标物体的抓取信息,所述抓取信息包括对所述目标物体的拦截时刻、以及对所述目标物体的柔顺控制信息;以及运动控制模块,被配置为基于所确定的对所述目标的抓取信息,确定对所述机器人的运动控制信息,其中,在所述拦截时刻,所述机器人的末端位置和末端姿态分别与所述目标物体的位置和姿态相同,并且所述柔顺控制信息用于在所述拦截时刻之后使所述目标物体的速度和旋转减小至零。
本公开的实施例提供了一种机器人控制设备,包括:一个或多个处理器;以及一个或多个存储器,其中,所述一个或多个存储器中存储有计算机可执行程序,当由所述处理器执行所述计算机可执行程序时,执行如上所述的机器人控制方法。
本公开的实施例提供了一种计算机可读存储介质,其上存储有计算机可执行指令,所述指令在被处理器执行时用于实现如上所述的机器人控制方法。
本公开的实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行根据本公开的实施例的机器人控制方法。
本公开的实施例所提供的方法相比于传统的机器人抓取方法而言,不必执行包络式抓取,也不需要依赖于末端执行器的抓取负载和抓取尺寸,能够利用机器人的简单的末端执行器(手掌部分,例如平板)实现对无抓取点、大尺寸或大负载的动态目标物体的抓取。
本公开的实施例所提供的方法针对基于非抓握操作的抓取方式利用机器人的末端执行器拦截动态目标,并在拦截到动态目标后对该动态目标进行柔顺控制,以达到末端执行器和动态目标的稳定状态,从而实现对动态目标物体的自动且稳定的抓取。通过本公开的实施例的方法能够确定针对整个动态目标抓取过程的一体化最优抓取算法,从而自动生成机器人的最优抓取轨迹和最优拦截时间,使机器人在目标抓取前结合自身运动状态合理调整抓取轨迹,提高了目标抓取的成功率,并且在拦截到动态目标后通过柔顺控制来缓解抓取过程中的接触力,使得接触过程中的冲击力变小,提高了动态目标抓取的稳定性。此外,本公开的实施例所提供的方法通过采用基于非抓握操作的抓取方式,可以实现对无抓取点物体和大尺寸大负载的动态目标的抓取,从而适用于更广泛的应用场景和实际用途。
附图说明
为了更清楚地说明本公开的实施例的技术方案,下面将对实施例的描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本公开的一些示例性实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1A是示出根据本公开的实施例的利用计算设备控制机器人的场景示意图;
图1B是示出根据本公开的实施例的示例动态目标抓取的示意图;
图2A是示出根据本公开的实施例的机器人控制方法的流程图;
图2B是示出根据本公开的实施例的动态目标物体抓取过程的示意性流程框图;
图2C是示出根据本公开的实施例的动态目标物体抓取过程的示意图;
图3是示出根据本公开的实施例的一体化最优抓取算法中的多个性能指标之间的关联的示意图;
图4A是示出根据本公开的实施例的目标物体拦截前操作的示意图;
图4B是示出根据本公开的实施例的目标物体XY向消旋消速控制的相轨迹曲线的示意图;
图5是示出根据本公开的实施例的一体化最优抓取问题的建立的示意图;
图6是示出根据本公开的实施例的一体化最优抓取问题的示例求解的流程框图;
图7是示出根据本公开的实施例的机器人控制装置的示意图;
图8示出了根据本公开的实施例的机器人控制设备的示意图;
图9示出了根据本公开的实施例的示例性计算设备的架构的示意图;以及
图10示出了根据本公开的实施例的存储介质的示意图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显,下面将参考附图详细描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
在本说明书和附图中,具有基本上相同或相似步骤和元素用相同或相似的附图标记来表示,且对这些步骤和元素的重复描述将被省略。同时,在本公开的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性或排序。
除非另有定义,本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。
为便于描述本公开,以下介绍与本公开有关的概念。
本公开的机器人控制方法可以是基于人工智能(Artificial intelligence,AI)的。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。例如,对于基于人工智能的机器人控制方法而言,其能够以类似于人类通过预测待抓取动态目标的运动信息并作出即时抓取行为决策的方式,使机器人在抓取目标前结合自身运动状态合理调整抓取轨迹,以规划出最优抓取轨迹,从而实现对动态目标的抓取。人工智能通过研究各种智能机器的设计原理与实现方法,使本公开的机器人控制方法具有实时准确地识别环境中符合预先设置的标志物的轮廓特征的多个对象并自动提取其位置特征以指导移动机器人定位的功能。
例如,本公开的机器人控制方法可以基于机器人动态目标抓取技术。由于机器人在感知与控制方面的局限性,机器人的动态目标抓取在多个关键技术上面临着诸多挑战,精确、自主、安全是机器人进行动态目标抓取操作时应当考虑的三个核心问题。动态目标的抓取过程较静态目标的抓取过程有很大差别。静态目标即定抓定放,其目标物体的始末位置未曾发生变化,所以实际操作过程中较为简单。而动态目标的抓取需要机器人的末端执行器的同步运动,在整个过程中其位置都在变化。因此,在执行对动态目标的抓取操作时,需要对动态目标进行运动预测,以获得对目标的预测信息从而用于抓取操作。其中,本公开的机器人控制方法主要关注于基于所获得的目标物体的运动信息来执行动态目标抓取操作的部分,因此不对这些运动信息的获得方式进行限制,诸如基于目标区域的运动预测、基于目标特征的运动预测、基于目标变形模板的运动预测以及基于目标模型的运动预测等的目标物体轨迹获取方法均可适用于本公开的机器人控制方法。
综上所述,本公开的实施例提供的方案涉及人工智能、机器人动态目标抓取等技术,下面将结合附图对本公开的实施例进行进一步地描述。
图1A是示出根据本公开的实施例的利用计算设备控制机器人的场景示意图。图1B是示出根据本公开的实施例的示例动态目标抓取的示意图。
如图1A所示,可以通过各种计算设备实现对机器人的控制,其中,计算设备可以通过网络从机器人的各电机获得机器人的实时运动信息,在经过基于该实时运动信息针对特定任务的一系列数据处理后,可以生成对该机器人的运动参数的控制信息,该控制信息可以以控制信号的方式再次通过网络返回至机器人以控制机器人的各关节处的电机工作。
可选地,计算设备具体可以包括诸如智能手机、平板电脑、膝上型便携计算机、车载终端、可穿戴设备等等。网络可以是基于互联网和/或电信网的物联网(Intemet ofThings),其可以是有线网也可以是无线网,例如,其可以是局域网(LAN)、城域网(MAN)、广域网(WAN)、蜂窝数据通信网络等能实现信息交换功能的电子网络。
可选地,该机器人可以是如图1B所示的机器人。例如,该机器人可以包括基座、机器人主体和末端执行器三个部分,其中,该末端执行器可以被设计为平板,以实现对目标的非抓握式抓取。例如,对于图中沿箭头方向运动的动态目标物体,该机器人的末端执行器可以被控制以对其进行动态抓取,该动态抓取可以包括拦截和稳定操作,即先通过拦截操作与动态目标实现预接触,再通过稳定操作对仍在运动中的目标进行柔顺控制,以实现末端执行器与目标物体的静态平衡。
目前,机器人抓取作为机器人领域的一项关键技术,对于实现机器人的各种操作都起着决定性的作用。对于用于喷涂、装配、焊接、搬运等用途的工业机器人,通常抓取对象是静态的,目前已经有了较成熟的技术。但随着机器人开始被应用于科学实验、家庭服务、医疗健康等其他各个领域,由于应用场景更加复杂多变,要求机器人具备更强的交互能力,打破原有的机器人在已知环境中按照固定程序重复作业的模式,抓取动态的对象也随之成为机器人的工作任务之一。研究机器人动态目标抓取操作不仅可以推动机器人抓取核心技术的发展,提升机器人的智能化水平,还能促进仿人机器人的进步。因此,研究机器人对动态目标的抓取操作具有重要意义和价值。
针对动态目标的抓取问题,现有的解决方案通常基于抓握式的抓取方式,利用机器人的末端执行器的手掌和手指共同实现目标抓取。这些动态目标抓取方法通常直接拦截目标物体,并在伴飞后直接抓取目标物体。其中,通过预测目标物体的轨迹来利用末端执行器拦截目标物体,并对目标物体进行伴飞,以在目标物体减速为0时用手指抓取目标物体。但是,这些动态目标抓取方法由于需要同时利用末端执行器的手掌和手指来进行目标抓取,通常依赖于末端执行器的抓取负载和抓取尺寸,可能无法实现对大尺寸或大负载的动态目标的抓取,并且,由于包络式抓取方式,现有方法对机器人的手指的设计和控制也具有较高要求。
本公开基于此,提供了一种机器人控制方法,其通过基于非抓握操作的抓取方式,在机器人的手掌未闭合的情况下对目标物体进行动态拦截与柔顺控制,从而实现快速准确的动态目标抓取。
本公开的实施例所提供的方法相比于传统的机器人抓取方法而言,不必执行包络式抓取,也不需要依赖于末端执行器的抓取负载和抓取尺寸,能够利用机器人的简单的末端执行器(手掌部分,例如平板)实现对无抓取点、大尺寸或大负载的动态目标物体的抓取。
考虑到动态目标物体抓取问题是一个开放性问题,其涉及多个阶段以及多个方向上的最优控制,因此,在本公开的机器人控制方法中,可以将动态目标物体抓取问题进行一体化建模和优化,以设计包含多项性能指标、多个边界约束条件的一体化最优抓取算法,从而自动生成机器人在整个抓取过程中的抓取轨迹。
本公开的实施例所提供的方法针对基于非抓握操作的抓取方式利用机器人的末端执行器拦截动态目标,并在拦截到动态目标后对该动态目标进行柔顺控制,以达到末端执行器和动态目标的稳定状态,从而实现对动态目标物体的自动且稳定的抓取。
通过本公开的实施例的方法能够确定针对整个动态目标抓取过程的一体化最优抓取算法,从而自动生成机器人的最优抓取轨迹和最优拦截时间,使机器人在目标抓取前结合自身运动状态合理调整抓取轨迹,提高了目标抓取的成功率,并且在拦截到动态目标后通过柔顺控制来缓解抓取过程中的接触力,使得接触过程中的冲击力变小,提高了动态目标抓取的稳定性。此外,本公开的实施例所提供的方法通过采用基于非抓握操作的抓取方式,可以实现对无抓取点物体和大尺寸大负载的动态目标的抓取,从而适用于更广泛的应用场景和实际用途。
图2A是示出根据本公开的实施例的机器人控制方法200的流程图。图2B是示出根据本公开的实施例的动态目标物体抓取过程的示意性流程框图。图2C是示出根据本公开的实施例的动态目标物体抓取过程的示意图。
在步骤201中,可以获取目标物体在当前时刻的当前运动信息,所述当前运动信息包括所述目标物体的位置和姿态。
如图2B所示,在执行动态目标物体抓取之前,可以先进行目标物体识别和轨迹预测,以获得目标物体的当前运动信息,诸如目标物体在当前时刻的位置、速度和姿态信息,以用于指导机器人对该目标物体的抓取。
可选地,考虑到目标物体的运动处于重力场中,可以认为在无外力作用的情况下其运动轨迹满足抛物轨迹原理,即在竖直向下方向上仅有重力加速度,因此,可以根据视觉(或者动作捕捉系统)识别到目标物体的初始位置、初始速度和初始姿态(也就是当前时刻所对应的当前运动信息),并根据目标物体的运动学和动力学方程完成对目标物体的运动轨迹的预测,以将该预测用于本公开的机器人控制方法的后续目标抓取操作。本公开的实施例对目标物体识别和轨迹预测的方法不作限制,任何可以实现对目标物体的当前运动信息的获取和轨迹预测的方法都可用于本公开的机器人控制方法。
可选地,本公开的方法中对目标物体的完整抓取过程可以包括拦截前和拦截后两个阶段,如图2B和2C所示。其中,在拦截前阶段,目标物体与机器人的末端执行器不存在接触,机器人需要在指定时刻(即拦截时刻)到达指定位置和姿态,以执行对目标物体的拦截。在拦截后阶段,机器人的末端执行器与目标物体进行接触以执行对目标物体的柔顺控制(例如,消旋消速操作),从而通过完成与目标物体的动态平衡来实现目标物体在末端执行器上的静态平衡,即图2C所示的抓取完成状态。
应当理解,在对目标物体的完整抓取过程中,考虑到机器人的末端执行器的最大可达范围(最大运动范围),拦截时刻的选取与拦截后阶段的柔顺控制过程将会互相影响,拦截时刻的选取将会直接决定拦截前阶段结束时(即对目标物体的位置和姿态预测阶段结束时)目标物体的运动状态,且该运动状态将会是下一阶段(拦截后阶段)的初始值,其将决定拦截后阶段中的消旋和消速操作的边界值,包括末端执行器的最后停靠位置,而该末端执行器的最后停靠位置需要满足机器人的可达工作空间需求。例如,拦截时刻选取越早,柔顺控制过程可能需要越大的运动范围,更多的运动时间,以达到与目标物体的静态平衡,而拦截时刻选取越晚,柔顺控制过程所需要的运动范围可能越小,但在这两种情况下末端执行器的最后停靠位置都可能超过末端执行器的最大运动范围。因此,对拦截时刻的选取需要结合抓取过程中的各个阶段进行综合考虑。
在步骤202中,可以基于所述目标物体的当前运动信息,确定对所述目标物体的抓取信息,所述抓取信息包括对所述目标物体的拦截时刻、以及对所述目标物体的柔顺控制信息。
如上所述,对目标物体的抓取信息可以基于抓取过程的各个阶段进行一体化考量,包括涉及拦截前和拦截后阶段的任务分析和一体化最优抓取问题的建立。
根据本公开的实施例,基于所述目标物体的当前运动信息,确定对所述目标物体的抓取信息可以包括:基于所述目标物体的当前运动信息,确定所述机器人的第一性能指标、第二性能指标、第三性能指标和第四性能指标,所述第一性能指标与第一时间以及所述机器人的末端速度和末端加速度相关,所述第二性能指标与第二时间以及所述机器人的末端角速度和末端角加速度相关,所述第三性能指标和所述第四性能指标分别与第三时间和第四时间相关;以及基于所述机器人的第一性能指标、第二性能指标、第三性能指标和第四性能指标,联合地确定对所述目标物体的抓取信息。其中,根据本公开的实施例,基于所述机器人的第一性能指标、第二性能指标、第三性能指标和第四性能指标联合地确定对所述目标物体的抓取信息可以包括:基于所述机器人的第一性能指标、第二性能指标、第三性能指标和第四性能指标,并且基于分别与所述第一性能指标、所述第二性能指标、所述第三性能指标和所述第四性能指标相对应的第一约束条件、第二约束条件、第三约束条件和第四约束条件,联合地确定对所述目标物体的抓取信息。
图3是示出根据本公开的实施例的一体化最优抓取算法中的多个性能指标之间的关联的示意图。
根据本公开的实施例,在所述拦截时刻,所述机器人的末端位置和末端姿态分别与所述目标物体的位置和姿态相同。
对于拦截前阶段,机器人需要在拦截时刻之前调整其末端执行器的运动状态,包括调整其末端执行器的位置、速度和姿态(即机器人的末端位置、末端速度和末端姿态),以在拦截时刻达到目标物体的位置、速度和姿态,实现与目标物体的平稳预接触。
可选地,在上述机器人在拦截前阶段的运动状态调整中,可以涉及如上所述的第一性能指标和第二性能指标的最优化,以获得在拦截前阶段的抓取信息对末端执行器的运动状态和这些性能指标的影响。
图4A是示出根据本公开的实施例的目标物体拦截前操作的示意图。如图4A所示,将目标物体上被拦截点的运动轨迹表示为rc(t),该轨迹rc(t)可以根据如上所述的轨迹预测而实时获得,并且将机器人的末端执行器上的拦截点的运动轨迹表示为rm(t)。
在以下示例中,假设当前时刻(即初始时刻)为t0,而拦截时刻为令其中u表示对末端执行器的加速度级别控制量。因此,可以建立机器人的末端执行器的动态模型,该末端执行器的状态方程可以表示为:
其中,表示末端执行器的状态变量,表示对末端执行器的速度级别控制量。
因此,作为示例,可以设计如下关于末端执行器的时间、速度和加速度的加权的第一性能指标J1:
其中,权重ω1,ω2>0,可以表示从所述当前时刻到所述机器人的末端位置和末端速度与所述目标物体的位置和速度达到一致之间的时间,即为上述第一时间。根据本公开的实施例,所述第一时间可为从所述当前时刻到所述拦截时刻之间的时间。
在如式(2)所示的第一性能指标J1中,可以包括对第一时间、第一时间期间所消耗的能量和惯性力的性能度量,因此,对该第一性能指标J1的优化可以看作对该第一时间长度以及在该第一时间长度内所消耗的能量和惯性力的大小的联合优化。
可选地,在机器人在拦截前阶段的运动状态调整中,可以涉及与目标物体的两步匹配操作。其中,在与第一时间相关联(即与第一性能指标相关联)的第一匹配操作中,可以使机器人的末端执行器的位置与目标物体的位置在拦截时刻达到一致,并且还可以进一步使末端执行器的速度与目标物体的速度达到一致。
根据本公开的实施例,所述第一约束条件可以包括与所述第一时间相关的第一等式约束,所述第一等式约束可以指示在所述拦截时刻所述机器人的末端位置和末端速度与所述目标物体的位置和速度相同。
因此,基于以上第一匹配操作,可以将第一约束条件ψ1表示为:
可选地,该第一约束条件ψ1可以表示机器人的末端执行器的抓取轨迹与目标物体的运动轨迹在拦截时刻相交(即图4A中所示的末端执行器到达拦截点)。需要注意,在上述式(3)所示的第一约束条件中,拦截时刻仍然是尚未确定的自变量。
因此,可以对式(2)引入哈密顿函数:
其中,可以表示上述系统的协态向量。
可选地,可以根据泛函极值的变分原理,得到协态方程和控制方程:
将其代入哈密顿函数,可得到
因此,对上式进行整合,可得到
令则因此,可以得到最优拦截时间下机器人的末端执行器的运动轨迹的解析解为:
其中,e为欧拉常数,为与最优拦截时间相关的系数。
假设其中,cosh表示双曲余弦函数,因此,根据边界条件,可以得到如下:
k0=rm(t0)-k2-k3 (13)
如上所述,上述计算可以得到机器人的末端执行器的最优运动轨迹的解析表达式,但是其边界条件值并未确定,即最优拦截时间尚未确定。由于最优拦截时间将会直接决定上述拦截系统的边界值、以及拦截前的位置和姿态预测阶段结束时目标物体的速度,并且该拦截前阶段的最优解将会是下一阶段(拦截后阶段)的初始值,有必要综合考虑各个阶段的抓取信息与性能指标之间的关系以确定拦截前阶段的最优拦截时间
如上所述,在第一约束条件下对第一性能指标的优化实现了末端执行器在拦截时刻与目标物体的位置和速度的匹配。类似地,末端执行器在拦截时刻与目标物体的姿态的匹配可以通过如下所述的第二性能指标和第二约束条件来实现。
可选地,假设机器人的末端执行器在姿态方向上调整的最优终止时间为考虑到机器人的末端姿态的调整需要在位置预测拦截之前完成(即需要在实施目标拦截前达到与目标物体的姿态一致,并且可以在姿态调整终止时间至拦截时刻之间保持与目标物体的姿态一致),因此可以得到(例如,在图3所示的示例中,),且末端姿态的边界值由决定。
可选地,假设机器人的末端姿态从初始时刻的末端姿态Ψ0(t0)连续平滑地调整到最优终止时间的末端姿态即
Ψ0=[α0,β0,γ0]→Ψf=[αf,βf,γf] (15)
其中,α0,β0,γ0和αf,βf,γf分别表示初始时刻和终止时刻的姿态所对应的欧拉角度。
可选地,假设机器人的末端执行器在初始时刻和最优终止时间的旋转矩阵A0和Af分别为
则末端执行器的指向偏差可以表示为:
上式(17)可以表示机器人的末端执行器的坐标系绕单位矢量r旋转φ0角度后,从初始时刻的旋转矩阵A0变换到最优终止时间的旋转矩阵Af。
根据式(17),可以将r和φ0分别表示为:
因此,通过选择适当的末端执行器的坐标系的旋转轨迹φ(t),可以使机器人的末端执行器连续平滑地运动到期望姿态,其中,机器人的末端角速度可以表示为
如上所述,设ω为机器人的末端角速度,作为示例,可以设计如下关于末端执行器的时间、角速度和角加速度的加权的第二性能指标J2:
其中,权重ω11,ω12>0,可以表示从所还当前时刻到所还机器人的末端姿态与所述目标物体的姿态达到一致之间的时间,即为上述第二时间。根据本公开的实施例,所述第二时间不大于所述第一时间。
因此,根据式(19)所示的末端角速度,可以将式(20)转换为:
通过上述转换,可以将姿态方向上如式(20)所示的三维优化问题转化为如式(21)所示的一维的旋转角度优化问题。
可选地,在上述两步匹配操作中与第二时间相关联(即与第二性能指标相关联)的第二匹配操作中,可以使机器人的末端执行器的姿态与目标物体的姿态在拦截时刻达到一致。
根据本公开的实施例,第二约束条件包括与所述第二时间相关的第二等式约束,所述第二等式约束指示在所述拦截时刻所述机器人的末端姿态与所述目标物体的姿态相同。
因此,基于以上第二匹配操作,可以将第二约束条件ψ2表示为:
可选地,该第二约束条件ψ2可以表示机器人的末端执行器绕单位矢量r的旋转角度和旋转角速度在时刻与目标物体绕单位矢量r的旋转角度和旋转角速度相同。需要注意,在上述式(22)所示的第二约束条件中,也仍然是尚未确定的自变量。
因此,令根据终止时刻自由、终止状态受约束的最优控制求解方法,可以得到最优终止时间下机器人的末端姿态轨迹的解析式如下:
其中,e为欧拉常数,为与最优终止时间相关的系数。
假设因此,根据边界条件,可以得到如下:
k10=φm(t0)-k12-k13 (26)
如上所述,通过确定机器人从初始时刻t0的末端位置rm(t0)、末端速度和末端姿态Ψ0(t0)到拦截时刻的末端位置末端速度和末端姿态的最优位姿规划,可以使机器人的末端执行器在拦截时刻与目标物体达到一致的位姿,以实现对目标物体的平稳拦截。
接下来,在实现对目标物体的平稳拦截后,对目标物体的抓取可以进入拦截后阶段。在该拦截后阶段中,机器人的末端执行器可以与目标物体进行进一步接触,以对目标物体进行柔顺控制,包括消旋消速处理,例如消除目标物体在三维空间的速度以及在XOZ和YOZ平面上的旋转,使得目标物体达到静态平衡。
根据本公开的实施例,所述柔顺控制信息可以用于在所述拦截时刻之后使所述目标物体的速度和旋转减小至零。其中,上述使所述目标物体的旋转减小至零可以包括使所述目标物体的旋转角度和旋转角速度减小至零。考虑到在拦截后阶段需要使机器人末端与目标物体达到静态平衡,需要消除目标物体与机器人的末端执行器之间的相对运动,包括位移和旋转。
根据本公开的实施例,所述柔顺控制信息可以包括所述机器人在所述拦截时刻之后沿X、Y和Z方向的末端位置规划信息,用于指示所述机器人在所述拦截时刻之后沿X、Y和Z方向的运动轨迹。可选地,可以通过适当设计机器人末端的运动轨迹来实现上述消旋消速操作以达到静态平衡。
可选地,在本公开的实施例中,可以考虑针对方块目标物体的抓取问题(如图1B、2C、3和4A中所示),且不考虑目标物体的自旋转。因此,可选地,目标物体在拦截后阶段的平衡控制问题可以分解为XOZ平面和YOZ平面的动态平衡问题,包括针对Z方向的消除速度处理,以及X和Y方向的消除速度和消除旋转处理,以将目标物体最终恢复至静态平衡状态。下文将基于以上描述分为Z向处理和XY向处理两部分进行描述。
可选地,如图3所示,Z向处理和XY向处理两部分可以分别对应于上述第三性能指标的优化和第四性能指标的优化。
(1)Z向处理
可选地,假设目标物体在拦截时刻下的Z向速度为系统状态方程可以表示为:
其中,表示目标物体在Z向的加速度,m表示目标物体的质量,g为重力加速度,Fz为机器人的末端执行器对目标物体在Z向的支持力。
因此,作为示例,可以设计如下仅包含时间的第三性能指标J3:
根据本公开的实施例,所述第三时间可为从所述拦截时刻到所述目标物体沿Z方向的速度减小至零之间的时间,即上述也即J3。
如上所述,如式(29)所示的第三性能指标J3可以指示目标物体的Z向速度从拦截时刻开始到减小至零所需要的时间,因此,对该第三性能指标J3的优化可以看作对达到所需的时间的优化。
根据本公开的实施例,所述第三约束条件可以包括第三等式约束和第三不等式约束,所述第三等式约束可以指示所述目标物体沿Z方向的速度在所述第三时间内减小至零,而所述第三不等式约束可以指示所述机器人对所述目标物体施加的力矩不大于所述机器人对所述目标物体的最大可施加力矩。
如上所述,在时刻达到可以作为对该第三性能指标的优化的边界条件,即第三等式约束。而考虑到机器人的末端执行器可对目标物体施加的最大力矩,可以将该最大力矩的限制作为对该第三性能指标优化的不等式约束条件。
例如,假设机器人的末端执行器在Z向对目标物体的最大可施加力矩为则上述第三不等式约束可以表示为:
其中,||Fz||表示机器人的末端执行器在Z向对目标物体施加的力矩。通过引入拉格朗日乘子该系统的哈密顿函数可以表示为:
根据最优控制理论,协态方程可以表示为:
根据庞特里亚金(Pontryagin)极小值原理,最优解Fz *对任意满足:
可以得到
因此,可以得到机器人的末端执行器在Z向的末端位置规划(也就是目标物体在Z向的运动轨迹):
在此情况下,Z向稳定时间可以表示为:
(2)XY向处理
可选地,假设目标物体在拦截时刻下的XY向速度为 其中,和分别表示目标物体在拦截时刻下的X向速度和Y向速度,并且目标物体在拦截时刻下的初始旋转角度为θ0=(θ0x,θ0y)T,其中θ0x,θ0y分别表示目标物体在拦截时刻下绕X轴和Y轴的初始旋转角度,并且以表示目标物体在拦截时刻下的初始旋转角速度。
因此,通过对末端执行器和目标物体进行受力分析,可以得到:
其中,ax表示目标物体在X向的加速度,F表示机器人的末端执行器对目标物体的支持力,θ表示目标物体的旋转角度。考虑末端执行器在Z向保持对目标物体施加的最大可施加力矩即可以得到:
其中,ay表示目标物体在Y向的加速度,θx和θy分别表示目标物体绕X轴和Y轴的旋转角度。考虑双积分系统的状态方程:
其中,(x1,x2)表示系统(包括目标物体和机器人的末端执行器)状态,其中x1表示系统的旋转角度,并且x2表示系统的旋转角速度。因此,作为示例,考虑系统从初始状态到达旋转角度和旋转角速度均为0的终端状态的最短时间,可以设计如下仅包含时间的第四性能指标J4:
根据本公开的实施例,所述第四时间可为从所述拦截时刻到所述目标物体沿X和Y方向的速度减小至零、且所述目标物体绕X轴和Y轴的旋转角度和旋转角速度减小至零之间的时间,即上述也即J4。
如上所述,如式(41)所示的第四性能指标J4可以指示目标物体的X和Y向速度从拦截时刻开始到减小至零、且目标物体绕X轴和Y轴的旋转角度和旋转角速度减小至零所需要的时间,因此,对该第四性能指标J4的优化可以看作对达到所需的时间的优化。
因此,在保证目标物体不会从机器人的末端执行器上滑落的基础上,系统的速度(包括机器人的末端速度和目标物体的速度)vxy需要从变为0,且旋转角度θ从θ0变为0。
根据本公开的实施例,所述第四约束条件可以包括第四等式约束和第四不等式约束,所述第四等式约束可以指示所述目标物体沿X和Y方向的速度以及绕X轴和Y轴的旋转角度和旋转角速度在所述第四时间内减小至零,所述第四不等式约束可以指示所述机器人的关节角加速度不大于所述机器人的最大关节角加速度。可选地,上述系统速度vxy从变为0以及旋转角度θ从θ0变为0可以作为第四等式约束。
如上所述,为了避免机器人的关节运动超过其运动极限,以及由于关节运动的突变导致关节的损害,上述第四不等式约束可以表示为:
类似地,通过引入拉格朗日乘子λ1和λ2,该系统的哈密顿函数可以表示为
H4=1+λ1 Tω+λ2 Tu (43)
根据最优控制理论,协态方程可以表示为:
因此,通过对以上式(44)和式(45)进行积分,可以得到λ1和λ2分别为:
λ1(t)=c1 (46)
λ2(t)=c2-c1t (47)
其中,c1和c2为积分常数。
如上所述,如果需要选择u(t)以使H4取极小值,则仅需λ2 T(t)u(t)取极小值,由于则当且u(t)与λ2 T(t)符号相反时,H4可以取极小值,因此,u(t)的最优控制可以表示为:
因此,令根据式(40)的状态方程可以得到:
x2=u+x20 (49)
因此,基于式(49)和式(50)可以得到:
图4B是示出根据本公开的实施例的目标物体XY向消旋消速控制的相轨迹曲线的示意图。
如图4B所示,相轨迹曲线(开关曲线)可以表示为:
即:
下面可以分为三种情况来证明最短第四时间
(a)当状态点在开关曲线以右时,即时(如图4B中的A点),u由转向B点为转换点,并且
tf=tAB+tBO (55)
其中,tAB表示从A点到B点的时间,其他类似的附图标记指示与此相似的含义,下文不再进行解释。因此,可以得到:
即通过求解可以得到:
因此,B点处的x2值x2B可以表示为:
当状态点从图4B中的B沿γ+运动到原点时,则
(b)当状态点在开关曲线以左时,即时(如图4B中的C点),u由转向同样,在图4B中的D点可以得到
通过求解可以得到
并且D点处的x2值x2D可以表示为
状态点由D沿γ-向原点运动,并且tDo=x2D,因此
(c)当状态点在γ+时,则Δtf=-x20(x20<0);当状态点在γ-时,同理,Δtf=x20,因此可得
因此,可以确定XY向稳定时间为
类似地,根据上述XY向稳定时间可以确定相应的XY向的末端位置规划。应当理解,上述Z向稳定时间和XY向稳定时间的相对大小并不是确定的,其将根据目标物体和机器人的末端执行器的实际运动来确定(如图3所示,和的情况均是可能的),并且和中较大的稳定时间可以作为本公开的机器人控制方法的最优终端时间。
基于上述关于拦截前和拦截后两个阶段的分析,可以理解,拦截时刻tf1的确定将会决定整个抓取过程,拦截后阶段的柔顺控制受其直接影响。
根据本公开的实施例,所述抓取信息对应于使所述第一性能指标、所述第二性能指标、所述第三性能指标和所述第四性能指标在满足所述第一约束条件、所述第二约束条件、所述第三约束条件和所述第四约束条件的情况下最优化的最优抓取信息。如上所述,抓取信息的确定需要综合考虑整个抓取过程的各个阶段的目标物体和末端执行器的状态,以联合所有性能指标和边界约束条件确定最优抓取信息。
图5是示出根据本公开的实施例的一体化最优抓取问题的建立的示意图。
如上所述,通过联合上述第一性能指标、第二性能指标、第三性能指标和第四性能指标、以及与这些性能指标分别相对应的第一约束条件、第二约束条件、第三约束条件和第四约束条件,可以建立本公开的一体化最优抓取问题,该一体化最优抓取问题包括对整个抓取过程的各个阶段的综合分析。
可选地,考虑到机器人的末端执行器对动态目标的抓取属于典型的最优控制问题,且该操作过程主要涉及如上所述的多个优化指标,根据多相最优控制,可以建立本公开的机器人控制方法的一体化性能指标如下:
J=h1J1+h2J2+h3J3+h4J4 (67)
其中,hi,i=1,2,3,4为相应性能指标的权重系数,用于权衡位置和姿态单位量的不同对该一体化性能指标的影响,其可以基于各个性能指标的优先级和重要性来确定。
此外,对机器人的控制还需要同时考虑到机器人的可达工作空间的约束,即在整个抓取过程中,还需要满足如下所述的约束条件。
根据本公开的实施例,基于所述目标物体的当前运动信息,确定对所述目标物体的抓取信息还可以包括:基于所述目标物体的当前运动信息以及机器人的运动约束条件,确定对所述目标物体的抓取信息,所述抓取信息用于使所述机器人在对所述目标物体的抓取过程中满足所述机器人的运动约束条件。
可选地,上述抓取信息的确定还可以受机器人的末端执行器的实际运动约束所限制,即机器人的末端执行器的运动需要在该机器人的最大可达空间内,否则在机器人的运动超出其运动极限的情况下可能导致机器人损坏等问题。
根据本公开的实施例,所述机器人的运动约束条件可以包括所述机器人的末端执行器在对所述目标物体的抓取过程中的运动范围不超过所述末端执行器的最大运动范围。
例如,该末端执行器的最大运动范围可以表示为图4A所示的拦截点处的不等式约束:
其中,和||r m||分别表示机器人的最大可达空间的上下边界。
因此,通过联合上述一体化最优抓取问题以及式(68)的不等式约束,可以建立如图5所示的一体化最优抓取问题。通过对该一体化问题求解,可以确定上述抓取信息,该一体化问题的示例求解方法可以参见以下参考图6所述。
接下来,回到图2A,在步骤203中,可以基于所确定的对所述目标的抓取信息,确定对所述机器人的运动控制信息。
根据本公开的实施例,基于所确定的对所述目标的抓取信息,确定对所述机器人的运动控制信息可以包括:基于所述抓取信息,确定所述第一时间、所述第二时间、所述第三时间和所述第四时间;以及基于所述第一时间、所述第二时间、所述第三时间和所述第四时间,确定对所述机器人的关节位置、关节角速度或关节角加速度中的至少一项的控制信息,以用于控制所述机器人对所述目标物体进行抓取。
如上所述,通过确定对目标的抓取信息,可以确定拦截时刻知继而确定Z向稳定时间和XY向稳定时间从而确定对机器人的关节位置、关节角速度或关节角加速度中的至少一项的控制信息。
图6是示出根据本公开的实施例的一体化最优抓取问题的示例求解的流程框图。
考虑到机器人的末端执行器对目标物体的拦截点为目标物体的运动轨迹与机器人的末端执行器的可达空间内的工作球(即满足可达空间的任何半径的工作球)的交点,并且如上所述,对整个抓取过程的最优解的确定可以看作是基于对拦截时刻的确定的。因此,可选地,如图6所示,可以结合机器人的末端执行器的运动轨迹的最优解析解,并且将可达工作球空间离散化(例如,将最大可达空间所对应的工作球等分为N个等分球,每个等分球半径为其中n=0,1,2,...,N-1)。
可选地,根据每个等分球半径所对应的等分球与目标物体的运动轨迹||rC||的相交点,可以求解每个等分球所对应的拦截前阶段的终止时间(即拦截时刻)
因此,可以计算每个拦截时刻所对应的整个抓取过程的一体化性能指标J(n),n=0,1,2,...,N-1,最终拦截时间tstop(n),n=0,1,2,...,N-1,以及拦截后机器人的实际终端位置为rstop(n),n=0,1,2,...,N-1,其中
如上所述,在满足上述约束条件的情况下,通过去除超出机器人的最大运动范围的rstop(n)(即去除这些rstop(n)所对应的工作球和拦截时刻选项),可以确定上述一体化最优抓取问题的一体化性能指标的最优值J(k),以及与该最优值J(k)相对应的拦截时刻实际终端位置以及其他抓取信息。因此,基于所确定的抓取信息,可以生成一体化最优抓取轨迹,以用于控制机器人的后续抓取操作。
此外,可选地,在无法得到满足上述一体化最优抓取问题的可行解的情况下,机器人可以确定其自身运动状态无法满足抓取要求并主动放弃抓取任务,这可以通过本公开的实施例所提供的方法对整个抓取过程设置与机器人的运动极限相关的全局约束来实现,从而避免了无意义的拦截操作,并节省了能量消耗。
图7是示出根据本公开的实施例的机器人控制装置700的示意图。
所述机器人控制装置700可以包括信息获取模块701、抓取确定模块702和运动控制模块703。
根据本公开的实施例,信息获取模块701可以被配置为获取目标物体在当前时刻的当前运动信息,所述当前运动信息包括所述目标物体的位置和姿态。
可选地,在执行动态目标物体抓取之前,可以先进行目标物体识别和轨迹预测,以获得目标物体的当前运动信息,诸如目标物体在当前时刻的位置、速度和姿态的预测信息,以用于机器人对该目标物体的抓取。
可选地,本公开的方法中对目标物体的完整抓取过程可以包括如图2B和2C所示的拦截前和拦截后两个阶段。其中,在拦截前阶段,目标物体与机器人的末端执行器不存在接触,机器人需要在指定时刻(即拦截时刻)到达指定位置和姿态,以执行对目标物体的拦截。在拦截后阶段,机器人的末端执行器与目标物体进行接触以执行对目标物体的柔顺控制(例如,消旋消速操作),从而通过完成与目标物体的动态平衡来实现目标物体在末端执行器上的静态平衡,即图2C所示的抓取完成状态。
抓取确定模块702可以被配置为基于所述目标物体的当前运动信息,确定对所述目标物体的抓取信息,所述抓取信息包括对所述目标物体的拦截时刻、以及对所述目标物体的柔顺控制信息。
可选地,抓取确定模块702可以执行如上参考步骤202所述的操作。其中,可以基于对抓取过程的各个阶段的一体化考量来确定对目标物体的抓取信息,包括涉及拦截前和拦截后阶段的任务分析和一体化最优抓取问题的建立。
在拦截前阶段,机器人需要在拦截时刻之前调整其末端执行器的运动状态,包括调整其末端执行器的位置、速度和姿态(即机器人的末端位置、末端速度和末端姿态),以在拦截时刻达到目标物体的位置、速度和姿态,实现与目标物体的平稳预接触。
可选地,在上述机器人在拦截前阶段的运动状态调整中,可以涉及如上所述的第一性能指标和第二性能指标的最优化,以获得在拦截前阶段的抓取信息对末端执行器的运动状态和这些性能指标的影响。
在实现对目标物体的平稳拦截后,对目标物体的抓取可以进入拦截后阶段。在拦截后阶段中,机器人的末端执行器可以与目标物体进行进一步接触,以对目标物体进行柔顺控制,包括消旋消速处理,例如消除目标物体在三维空间的速度以及在XOZ和YOZ平面上的旋转,使得目标物体达到静态平衡。
可选地,目标物体在拦截后阶段的平衡控制问题可以分解为XOZ平面和YOZ平面的动态平衡问题,包括针对Z方向的消除速度处理,以及X和Y方向的消除速度和消除旋转处理,以将目标物体最终恢复至静态平衡状态。其中,Z向处理和XY向处理可以分别对应于上述第三性能指标的优化和第四性能指标的优化。
因此,通过联合上述第一性能指标、第二性能指标、第三性能指标和第四性能指标、以及与这些性能指标分别相对应的第一约束条件、第二约束条件、第三约束条件和第四约束条件,同时考虑到机器人的可达工作空间的约束,可以建立本公开的一体化最优抓取问题,并通过对该一体化问题求解来确定上述抓取信息,该一体化最优抓取问题包括对整个抓取过程的各个阶段的综合分析,并且该抓取信息为联合所有性能指标和边界约束条件所确定的最优抓取信息。
运动控制模块703可以被配置为基于所确定的对所述目标的抓取信息,确定对所述机器人的运动控制信息。
可选地,通过确定对目标的抓取信息,可以确定拦截时刻和继而确定Z向稳定时间和XY向稳定时间从而确定对所述机器人的运动控制信息,包括对机器人的关节位置、关节角速度或关节角加速度中的至少一项的控制信息。
根据本公开的又一方面,还提供了一种机器人控制设备。图8示出了根据本公开的实施例的机器人控制设备2000的示意图。
如图8所示,所述机器人控制设备2000可以包括一个或多个处理器2010,和一个或多个存储器2020。其中,所述存储器2020中存储有计算机可读代码,所述计算机可读代码当由所述一个或多个处理器2010运行时,可以执行如上所述的机器人控制方法。
本公开的实施例中的处理器可以是一种集成电路芯片,具有信号的处理能力。上述处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,可以是X86架构或ARM架构的。
一般而言,本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑,或其任何组合中实施。某些方面可以在硬件中实施,而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时,将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备,或其某些组合中实施。
例如,根据本公开的实施例的方法或装置也可以借助于图9所示的计算设备3000的架构来实现。如图9所示,计算设备3000可以包括总线3010、一个或多个CPU 3020、只读存储器(ROM)3030、随机存取存储器(RAM)3040、连接到网络的通信端口3050、输入/输出组件3060、硬盘3070等。计算设备3000中的存储设备,例如ROM 3030或硬盘3070可以存储本公开提供的机器人控制方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备3000还可以包括用户界面3080。当然,图8所示的架构只是示例性的,在实现不同的设备时,根据实际需要,可以省略图9示出的计算设备中的一个或多个组件。
根据本公开的又一方面,还提供了一种计算机可读存储介质。图10示出了根据本公开的存储介质的示意图4000。
如图10所示,所述计算机存储介质4020上存储有计算机可读指令4010。当所述计算机可读指令4010由处理器运行时,可以执行参照以上附图描述的根据本公开的实施例的机器人控制方法。本公开的实施例中的计算机可读存储介质可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、双倍数据速率同步动态随机存取存储器(DDRSDRAM)、增强型同步动态随机存取存储器(ESDRAM)、同步连接动态随机存取存储器(SLDRAM)和直接内存总线随机存取存储器(DR RAM)。应注意,本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。应注意,本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本公开的实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行根据本公开的实施例的机器人控制方法。
本公开的实施例提供了一种机器人控制方法、装置、设备和计算机可读存储介质。
本公开的实施例所提供的方法相比于传统的机器人抓取方法而言,不必执行包络式抓取,也不需要依赖于末端执行器的抓取负载和抓取尺寸,能够利用机器人的简单的末端执行器(手掌部分,例如平板)实现对无抓取点、大尺寸或大负载的动态目标物体的抓取。
本公开的实施例所提供的方法针对基于非抓握操作的抓取方式利用机器人的末端执行器拦截动态目标,并在拦截到动态目标后对该动态目标进行柔顺控制,以达到末端执行器和动态目标的稳定状态,从而实现对动态目标物体的自动且稳定的抓取。通过本公开的实施例的方法能够确定针对整个动态目标抓取过程的一体化最优抓取算法,从而自动生成机器人的最优抓取轨迹和最优拦截时间,使机器人在目标抓取前结合自身运动状态合理调整抓取轨迹,提高了目标抓取的成功率,并且在拦截到动态目标后通过柔顺控制来缓解抓取过程中的接触力,使得接触过程中的冲击力变小,提高了动态目标抓取的稳定性。此外,本公开的实施例所提供的方法通过采用基于非抓握操作的抓取方式,可以实现对无抓取点物体和大尺寸大负载的动态目标的抓取,从而适用于更广泛的应用场景和实际用途。
需要说明的是,附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
一般而言,本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑,或其任何组合中实施。某些方面可以在硬件中实施,而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时,将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备,或其某些组合中实施。
在上面详细描述的本公开的示例实施例仅仅是说明性的,而不是限制性的。本领域技术人员应该理解,在不脱离本公开的原理和精神的情况下,可对这些实施例或其特征进行各种修改和组合,这样的修改应落入本公开的范围内。
Claims (16)
1.一种机器人控制方法,包括:
获取目标物体在当前时刻的当前运动信息,所述当前运动信息包括所述目标物体的位置和姿态;
基于所述目标物体的当前运动信息,确定对所述目标物体的抓取信息,所述抓取信息包括对所述目标物体的拦截时刻、以及对所述目标物体的柔顺控制信息;以及
基于所确定的对所述目标的抓取信息,确定对所述机器人的运动控制信息;
其中,在所述拦截时刻,所述机器人的末端位置和末端姿态分别与所述目标物体的位置和姿态相同,并且所述柔顺控制信息用于在所述拦截时刻之后使所述目标物体的速度和旋转减小至零。
2.如权利要求1所述的方法,其中,基于所述目标物体的当前运动信息,确定对所述目标物体的抓取信息包括:
基于所述目标物体的当前运动信息,确定所述机器人的第一性能指标、第二性能指标、第三性能指标和第四性能指标,所述第一性能指标与第一时间以及所述机器人的末端速度和末端加速度相关,所述第二性能指标与第二时间以及所述机器人的末端角速度和末端角加速度相关,所述第三性能指标和所述第四性能指标分别与第三时间和第四时间相关;以及
基于所述机器人的第一性能指标、第二性能指标、第三性能指标和第四性能指标,联合地确定对所述目标物体的抓取信息。
3.如权利要求2所述的方法,其中,使所述目标物体的旋转减小至零包括使所述目标物体的旋转角度和旋转角速度减小至零;
其中,所述第一时间为从所述当前时刻到所述机器人的末端位置和末端速度与所述目标物体的位置和速度达到一致之间的时间,所述第二时间为从所述当前时刻到所述机器人的末端姿态与所述目标物体的姿态达到一致之间的时间,所述第三时间为从所述拦截时刻到所述目标物体沿Z方向的速度减小至零之间的时间,所述第四时间为从所述拦截时刻到所述目标物体沿X和Y方向的速度减小至零、且所述目标物体绕X轴和Y轴的旋转角度和旋转角速度减小至零之间的时间,
其中,所述第一时间为从所述当前时刻到所述拦截时刻之间的时间,所述第二时间不大于所述第一时间。
4.如权利要求3所述的方法,其中,基于所述机器人的第一性能指标、第二性能指标、第三性能指标和第四性能指标,联合地确定对所述目标物体的抓取信息包括:
基于所述机器人的第一性能指标、第二性能指标、第三性能指标和第四性能指标,并且基于分别与所述第一性能指标、所述第二性能指标、所述第三性能指标和所述第四性能指标相对应的第一约束条件、第二约束条件、第三约束条件和第四约束条件,联合地确定对所述目标物体的抓取信息,
其中,所述抓取信息对应于使所述第一性能指标、所述第二性能指标、所述第三性能指标和所述第四性能指标在满足所述第一约束条件、所述第二约束条件、所述第三约束条件和所述第四约束条件的情况下最优化的最优抓取信息。
5.如权利要求4所述的方法,其中,所述第一约束条件包括与所述第一时间相关的第一等式约束,所述第一等式约束指示在所述拦截时刻所述机器人的末端位置和末端速度与所述目标物体的位置和速度相同;
第二约束条件包括与所述第二时间相关的第二等式约束,所述第二等式约束指示在所述拦截时刻所述机器人的末端姿态与所述目标物体的姿态相同;
所述第三约束条件包括第三等式约束和第三不等式约束,所述第三等式约束指示所述目标物体沿Z方向的速度在所述第三时间内减小至零,所述第三不等式约束指示所述机器人对所述目标物体施加的力矩不大于所述机器人对所述目标物体的最大可施加力矩;
所述第四约束条件包括第四等式约束和第四不等式约束,所述第四等式约束指示所述目标物体沿X和Y方向的速度以及绕X轴和Y轴的旋转角度和旋转角速度在所述第四时间内减小至零,所述第四不等式约束指示所述机器人的关节角加速度不大于所述机器人的最大关节角加速度。
6.如权利要求3所述的方法,其中,基于所确定的对所述目标的抓取信息,确定对所述机器人的运动控制信息包括:
基于所述抓取信息,确定所述第一时间、所述第二时间、所述第三时间和所述第四时间;以及
基于所述第一时间、所述第二时间、所述第三时间和所述第四时间,确定对所述机器人的关节位置、关节角速度或关节角加速度中的至少一项的控制信息,以用于控制所述机器人对所述目标物体进行抓取。
7.如权利要求2所述的方法,其中,基于所述目标物体的当前运动信息,确定对所述目标物体的抓取信息还包括:
基于所述目标物体的当前运动信息以及机器人的运动约束条件,确定对所述目标物体的抓取信息,所述抓取信息用于使所述机器人在对所述目标物体的抓取过程中满足所述机器人的运动约束条件。
8.如权利要求7所述的方法,其中,所述机器人的运动约束条件包括所述机器人的末端执行器在对所述目标物体的抓取过程中的运动范围不超过所述末端执行器的最大运动范围。
9.如权利要求1所述的方法,其中,所述柔顺控制信息包括所述机器人在所述拦截时刻之后沿X、Y和Z方向的末端位置规划信息,用于指示所述机器人在所述拦截时刻之后沿X、Y和Z方向的运动轨迹。
10.一种机器人控制装置,包括:
信息获取模块,被配置为获取目标物体在当前时刻的当前运动信息,所述当前运动信息包括所述目标物体的位置和姿态;
抓取确定模块,被配置为基于所述目标物体的当前运动信息,确定对所述目标物体的抓取信息,所述抓取信息包括对所述目标物体的拦截时刻、以及对所述目标物体的柔顺控制信息;以及
运动控制模块,被配置为基于所确定的对所述目标的抓取信息,确定对所述机器人的运动控制信息,
其中,在所述拦截时刻,所述机器人的末端位置和末端姿态分别与所述目标物体的位置和姿态相同,并且所述柔顺控制信息用于在所述拦截时刻之后使所述目标物体的速度和旋转减小至零。
11.如权利要求10所述的装置,其中,基于所述目标物体的当前运动信息,确定对所述目标物体的抓取信息包括:
基于所述目标物体的当前运动信息,确定所述机器人的第一性能指标、第二性能指标、第三性能指标和第四性能指标,所述第一性能指标与第一时间以及所述机器人的末端速度和末端加速度相关,所述第二性能指标与第二时间以及所述机器人的末端角速度和末端角加速度相关,所述第三性能指标和所述第四性能指标分别与第三时间和第四时间相关;以及
基于所述机器人的第一性能指标、第二性能指标、第三性能指标和第四性能指标,联合地确定对所述目标物体的抓取信息。
12.如权利要求11所述的装置,其中,使所述目标物体的旋转减小至零包括使所述目标物体的旋转角度和旋转角速度减小至零;
其中,所述第一时间为从所述当前时刻到所述机器人的末端位置和末端速度与所述目标物体的位置和速度达到一致之间的时间,所述第二时间为从所述当前时刻到所述机器人的末端姿态与所述目标物体的姿态达到一致之间的时间,所述第三时间为从所述拦截时刻到所述目标物体沿Z方向的速度减小至零之间的时间,所述第四时间为从所述拦截时刻到所述目标物体沿X和Y方向的速度减小至零、且所述目标物体绕X轴和Y轴的旋转角度和旋转角速度减小至零之间的时间,
其中,所述第一时间为从所述当前时刻到所述拦截时刻之间的时间,所述第二时间不大于所述第一时间。
13.如权利要求12所述的装置,其中,基于所述机器人的第一性能指标、第二性能指标、第三性能指标和第四性能指标,联合地确定对所述目标物体的抓取信息包括:
基于所述机器人的第一性能指标、第二性能指标、第三性能指标和第四性能指标,并且基于分别与所述第一性能指标、所述第二性能指标、所述第三性能指标和所述第四性能指标相对应的第一约束条件、第二约束条件、第三约束条件和第四约束条件,联合地确定对所述目标物体的抓取信息,
其中,所述抓取信息对应于使所述第一性能指标、所述第二性能指标、所述第三性能指标和所述第四性能指标在满足所述第一约束条件、所述第二约束条件、所述第三约束条件和所述第四约束条件的情况下最优化的最优抓取信息。
14.一种机器人控制设备,包括:
一个或多个处理器;以及
一个或多个存储器,其中存储有计算机可执行程序,当由所述处理器执行所述计算机可执行程序时,执行权利要求1-9中任一项所述的方法。
15.一种计算机程序产品,所述计算机程序产品存储在计算机可读存储介质上,并且包括计算机指令,所述计算机指令在由处理器运行时使得计算机设备执行权利要求1-9中任一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机可执行指令,所述指令在被处理器执行时用于实现如权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210266707.1A CN116803625B (zh) | 2022-03-17 | 2022-03-17 | 机器人控制方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210266707.1A CN116803625B (zh) | 2022-03-17 | 2022-03-17 | 机器人控制方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116803625A true CN116803625A (zh) | 2023-09-26 |
| CN116803625B CN116803625B (zh) | 2024-11-19 |
Family
ID=88078454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210266707.1A Active CN116803625B (zh) | 2022-03-17 | 2022-03-17 | 机器人控制方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116803625B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119336283A (zh) * | 2024-12-19 | 2025-01-21 | 徽通科技集团有限公司 | 一种印控管理系统及装置 |
| CN119635621A (zh) * | 2024-11-11 | 2025-03-18 | 广州里工实业有限公司 | 人形机器人控制方法、装置、系统、电子设备及存储介质 |
| CN120206542A (zh) * | 2025-05-28 | 2025-06-27 | 人形机器人(上海)有限公司 | 基于点云聚类的人形机器人控制方法 |
| CN120347742A (zh) * | 2025-04-30 | 2025-07-22 | 浙江一木智能科技有限公司 | 一种动态抓取方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080240511A1 (en) * | 2007-03-30 | 2008-10-02 | Fanuc Ltd | Apparatus for picking up objects |
| CN106965180A (zh) * | 2017-04-13 | 2017-07-21 | 北京理工大学 | 流水线上瓶子的机械臂抓取装置与方法 |
| WO2018107851A1 (zh) * | 2016-12-16 | 2018-06-21 | 广州视源电子科技股份有限公司 | 冗余机械臂的控制方法及装置 |
| US10131051B1 (en) * | 2016-08-12 | 2018-11-20 | Amazon Technologies, Inc. | Anticipation-based robotic object grasping |
| CN109483534A (zh) * | 2018-11-08 | 2019-03-19 | 腾讯科技(深圳)有限公司 | 一种物体抓取方法、装置和系统 |
| CN110162175A (zh) * | 2019-05-16 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 基于视觉的触觉测量方法、装置、设备及存储介质 |
| JP2019219143A (ja) * | 2018-06-22 | 2019-12-26 | 株式会社Ihiエアロスペース | 迎撃システムと観測装置 |
| CN110834156A (zh) * | 2019-12-25 | 2020-02-25 | 东莞市湘宜智能设备科技有限公司 | 激光打标设备 |
-
2022
- 2022-03-17 CN CN202210266707.1A patent/CN116803625B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080240511A1 (en) * | 2007-03-30 | 2008-10-02 | Fanuc Ltd | Apparatus for picking up objects |
| US10131051B1 (en) * | 2016-08-12 | 2018-11-20 | Amazon Technologies, Inc. | Anticipation-based robotic object grasping |
| WO2018107851A1 (zh) * | 2016-12-16 | 2018-06-21 | 广州视源电子科技股份有限公司 | 冗余机械臂的控制方法及装置 |
| CN106965180A (zh) * | 2017-04-13 | 2017-07-21 | 北京理工大学 | 流水线上瓶子的机械臂抓取装置与方法 |
| JP2019219143A (ja) * | 2018-06-22 | 2019-12-26 | 株式会社Ihiエアロスペース | 迎撃システムと観測装置 |
| CN109483534A (zh) * | 2018-11-08 | 2019-03-19 | 腾讯科技(深圳)有限公司 | 一种物体抓取方法、装置和系统 |
| CN110162175A (zh) * | 2019-05-16 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 基于视觉的触觉测量方法、装置、设备及存储介质 |
| CN110834156A (zh) * | 2019-12-25 | 2020-02-25 | 东莞市湘宜智能设备科技有限公司 | 激光打标设备 |
Non-Patent Citations (2)
| Title |
|---|
| CHENG ZHOU: "Optimal Nonprehensile Interception Strategy for Objects in Flight", 2022 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS, 17 March 2023 (2023-03-17), pages 3130 - 6 * |
| 王铮;戴坚锋;钱振宇;寿开荣;: "面向传送带作业系统的机器人目标跟踪与抓取策略研究", 计算机测量与控制, no. 11, 25 November 2016 (2016-11-25), pages 90 - 95 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119635621A (zh) * | 2024-11-11 | 2025-03-18 | 广州里工实业有限公司 | 人形机器人控制方法、装置、系统、电子设备及存储介质 |
| CN119336283A (zh) * | 2024-12-19 | 2025-01-21 | 徽通科技集团有限公司 | 一种印控管理系统及装置 |
| CN120347742A (zh) * | 2025-04-30 | 2025-07-22 | 浙江一木智能科技有限公司 | 一种动态抓取方法及系统 |
| CN120206542A (zh) * | 2025-05-28 | 2025-06-27 | 人形机器人(上海)有限公司 | 基于点云聚类的人形机器人控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116803625B (zh) | 2024-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116803625A (zh) | 机器人控制方法、装置、设备和存储介质 | |
| Lloyd et al. | Extending the RCCL programming environment to multiple robots and processors | |
| Chavan-Dafle et al. | Sampling-based planning of in-hand manipulation with external pushes | |
| US11904473B2 (en) | Transformation mode switching for a real-time robotic control system | |
| Cavacanti Santos et al. | Redundancy resolution of kinematically redundant parallel manipulators via differential dynamic programing | |
| CN113524205A (zh) | 仿人机器人的冗余手臂的抛投轨迹规划方法、装置及介质 | |
| WO2020093253A1 (zh) | 机器人的运动控制方法、控制系统和存储装置 | |
| CN111230860B (zh) | 机器人控制方法、装置、计算机设备及存储介质 | |
| CN115648219A (zh) | 一种绳驱机械臂变刚度规划方法及系统、计算机存储介质 | |
| JP7115090B2 (ja) | 加速度調整装置及び加速度調整プログラム | |
| Asgari et al. | Analysis of optimal dynamic manipulation for robotic manipulator based on Pontryagin’s minimum principle | |
| Kumar et al. | Nonlinear modelling and dynamics of spatial multi-link rigid-flexible manipulator with moving platform | |
| Levé et al. | Explicit contact optimization in whole-body contact-rich manipulation | |
| Duyun et al. | Simulation of the structural and force parameters of a robotic platform using co-simulation | |
| Suh et al. | A visual servoing algorithm using fuzzy logics and fuzzy-neural networks | |
| Cervantes-Sánchez et al. | Optimization of the translational velocity for the planar 3-RRR parallel manipulator | |
| CN116787417A (zh) | 机器人控制方法、装置、设备和存储介质 | |
| CN118915475A (zh) | 一种水下机器人轨迹跟踪方法、装置、设备及存储介质 | |
| CN116945147B (zh) | 一种机械臂恒力控制过程中的奇异点规避方法及装置 | |
| CN117047771A (zh) | 机器人的柔顺控制方法、装置及电子设备 | |
| CN116985109B (zh) | 机器人控制方法、装置、设备和存储介质 | |
| CN112008731B (zh) | 一种空中作业机器人的柔顺控制方法、装置、终端、系统及可读存储介质 | |
| Jiang et al. | Time-jerk optimal trajectory planning for a 7-DOF redundant robot using the sequential quadratic programming method | |
| CN119704205B (zh) | 机器人的力位混合控制方法及装置 | |
| CN119897853B (zh) | 特征空间下的基于不同意图的鲁棒自适应变导纳控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |