[go: up one dir, main page]

CN116945166A - 一种基于触觉图元滑移特征反馈的机器人再抓取优化方法 - Google Patents

一种基于触觉图元滑移特征反馈的机器人再抓取优化方法 Download PDF

Info

Publication number
CN116945166A
CN116945166A CN202310774480.6A CN202310774480A CN116945166A CN 116945166 A CN116945166 A CN 116945166A CN 202310774480 A CN202310774480 A CN 202310774480A CN 116945166 A CN116945166 A CN 116945166A
Authority
CN
China
Prior art keywords
tactile
contact
grasping
ellipse
slip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310774480.6A
Other languages
English (en)
Inventor
王进
赵阳
唐锋
张海运
陆国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuyao Robot Research Center
Zhejiang University ZJU
Original Assignee
Yuyao Robot Research Center
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuyao Robot Research Center, Zhejiang University ZJU filed Critical Yuyao Robot Research Center
Priority to CN202310774480.6A priority Critical patent/CN116945166A/zh
Publication of CN116945166A publication Critical patent/CN116945166A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1633Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明属于机器人智能抓取技术领域,涉及一种基于触觉图元滑移特征反馈的机器人再抓取优化方法,包括以下步骤:步骤1,利用设置在机械臂上的光学式触觉传感器获取触觉模态信息,即感知获取到接触区域的触觉图元;步骤2:基于获取的触觉模态信息,进行椭圆参数拟合;步骤3:构建机械臂的试抓取坐标系;步骤4:对物体进行试抓取使物体发生滑移,解算物体的触觉感知滑动矢量,推测物体在滑移期间的位姿变化;步骤5:对物体在试抓取过程中发生的不同剧烈程度的滑移进行对应的优化调整,重构机械臂的再抓取位姿。本发明解决了现有抓取调整方法依赖于试错,无法充分利用触觉模态信息的问题。

Description

一种基于触觉图元滑移特征反馈的机器人再抓取优化方法
技术领域
本发明属于机器人智能抓取技术领域,涉及一种基于触觉图元滑移特征反馈的机器人再抓取优化方法。
背景技术
基于视觉的抓取检测方法通常依赖物体的尺寸、纹理、颜色等信息来获取抓取位姿,但无法感知被抓取物体的接触表面特性、质心位姿变化信息以及接触力的变化,以及抓取过程中物体与夹爪相对运动状态等信息,无法对现有的抓取配置做出评估及反馈。因此,当发生不稳定抓取现象时,需要对视觉推理出的抓取位姿进行进一步优化,以满足稳定性、安全性和效率性等方面的要求。
发明内容
为了解决现有技术中存在的上述技术问题,本发明提出了一种基于触觉图元滑移特征反馈的机器人再抓取优化方法,基于Canny边缘检测和最小二乘的椭圆拟合,实现了光学式触觉传感器感知的触觉图元的提取,并进一步确定了触觉图元滑移特征,依照物体在试抓取中发生滑移的剧烈程度将其分为三种类型:初期滑移、局部滑移和全面滑移,通过结合的视觉抓取检测地图,触觉反馈特征和视触融合质量分析模型方法制定对应的自适应优化调整策略,以稳定重构抓取位姿,其具体技术方案如下:
一种基于触觉图元滑移特征反馈的机器人再抓取优化方法,包括以下步骤:
步骤1,利用设置在机械臂上的光学式触觉传感器获取触觉模态信息,即感知获取到接触区域的触觉图元;
步骤2:基于获取的触觉模态信息,进行椭圆参数拟合;
步骤3:构建机械臂的试抓取坐标系;
步骤4:对物体进行试抓取使物体发生滑移,解算物体的触觉感知滑动矢量,推测物体在滑移期间的位姿变化;
步骤5:对物体在试抓取过程中发生的不同剧烈程度的滑移进行对应的优化调整,重构机械臂的再抓取位姿。
进一步的,所述步骤1,具体为:利用基于视觉的触觉传感器通过接触图像的变化,判断机械臂夹爪是否与物体发生接触,若是则获取到传感器接触图像,若否则获取到无接触触觉初始图像;获取物体接触的面积、位置、方向;通过连续的视频图像获取接触部分在传感器表面运动状况;
其中,所述触觉传感器通过单点和多点特征估计物体的接触区域,并通过几何特征的提取和匹配来实现对接触区域的感知,从而获取到与初始图像的差分图;
利用弹性体材料和表面微凸的构型在成像图像上表现为椭圆形接触区域或者圆形接触区域的特性,通过触觉感知模态椭圆图元提取描述接触区域,并将接触区域统一表达成A(p,a,b,θ)的格式;其中,p(x,y)为触觉传感器图像坐标系下接触椭圆的中心坐标,a为接触椭圆的半长轴长,b为接触椭圆的半短轴长,θ为接触椭圆的偏转角度,以椭圆的长轴为参考,其值为长轴偏转水平方向的角度,值域为[-π/2,π/2];当接触区域的形状为圆形时,长轴长与短轴长相等即a=b,θ为[-π/2,π/2]内任意值。
进一步的,所述步骤2,具体包括:
步骤2.1:对差分图进行灰度和形态学处理后使用Canny边缘检测算子对接触区域进行边缘检测提取;
步骤2.2:使用基于最小二乘法的几何椭圆拟合方式对检测提取到的边缘图像进行拟合。
进一步的,所述步骤3,具体包括:
步骤3.1:以当前时刻由抓取检测算法推理出的抓取配置地图G(x,y,z,rx,ry,rz,W)为基准,以抓取中心坐标为原点建立抓取坐标系o-xyz;
步骤3.2:所述机械臂夹爪的工作表面安装两个面对面的触觉传感器,则对通过触觉传感器获取的两幅接触图像的坐标系重新定义,以右侧传感器成像为基准,以320×240成像区域中心为坐标系中心建立右图像坐标系o-xz,左侧传感器成像按照o-xyz坐标系的zox平面为镜像,以图像中心为中心建立左图像坐标系o-xz,左、右图像产生的接触区域分别标记为A1、A2,对应的中心分别为p1(x1,z1)、p2(x2,z2);其中,p(x,z)的坐标值为触觉图像空间到真实接触表面尺寸的映射值。
进一步的,所述步骤4,具体包括:
步骤4.1:将初始状态统一描述成偏差的形式;物体的初始偏差包括初始位置偏差(Δx,Δy,Δz)和初始角度偏差(Δrx,Δry,Δrz),其中Δy由相机视野中获得,其大小表示物体偏离抓取坐标系o-xyz的zox平面距离;初始时刻的位姿偏差如下式所示:
步骤4.2:通过读取触觉图像的视频流,获取接触椭圆的运动特征;
步骤4.3:对椭圆参数进行滤波,再描述椭圆状态矢量,最终确定物体在滑移期间的位姿变化:
进一步的,所述步骤5,具体包括:
步骤5.1:对物体在试抓取过程中发生的初期滑移进行优化调整;
步骤5.2:对物体在试抓取过程中发生的局部滑移进行优化调整;
步骤5.3:对物体在试抓取过程中发生的全面滑移进行优化调整。
进一步的,所述步骤5.1,具体为:按照初期滑移收敛且有界的特点,进行以下优化调整:
(1)期望接触区域的中心位置在传感器的感受范围之内,若在刚接触时接触检测的拟合椭圆中心位于传感器的感受范围之外,则为发生全面滑移,在调整时使接触区域中心沿着靠近传感器感受范围中心方向进行;
(2)对于小幅度的初期滑移运动即拟合椭圆中心位于传感器的感受范围内,只需使末端执行器的位姿沿物体位姿变化的反方向进行调整即可,特别地,由于重力的影响,物体天然具有沿z轴负方向运动的趋势,对于z轴方向上的变动采用缩放处理,采用的缩放因子为0.6,即将抓取配置地图G(x,y,z,rx,ry,rz,W)调整为:
G′(x-dx,y-dy,z-dz×0.6,rx-drx,ry-dry,rz-drz,W)。
进一步的,所述步骤5.2,具体为:对照当前物体的抓取位置地图,在抓取位置地图非零位置上沿当前抓取坐标系的x轴靠近物体重心的方向搜索,根据该区域附近置信度最高点的点重新构建抓取构型,通过空间映射函数变化f获取新的抓取配置,搜索的方向由两个触觉传感器确定,若物体的dry为正值,则沿x轴负方向搜索,若dry为负值,则沿x轴正方向搜索。
进一步的,所述步骤5.3,具体为:若当前的抓取配置发生全面滑移,则舍弃当前抓取区域,更换抓取配置地图上的抓取点,舍弃当前抓取位置地图上置信度的峰值,寻找另一个dry超过阈值的局部峰值,然后从抓取地图上生成一个新的坐标,并以此推断新的抓取构型,得到更新后的抓取配置;最后通过多次抓取质量分析和局部调整,将全面滑移问题转化为局部滑移或者初期滑移问题,从而在新的抓取配置附近调整抓取姿态直至达到稳定抓取的状态。
有益效果:
本发明针对光学式传感器的感知机理和成像特点,通过形态学方法描述触觉接触图元特征,基于边缘检测和几何特征完成接触椭圆检测;依照连续动作的视觉输入图像和触觉感应图像对被抓取物体的稳定性做出判断的同时,利用该连续动作信息评估该物体在机器人夹臂的不稳定运动趋势;
本发明针对不同程度和种类滑动趋势,结合基于视觉的抓取地图的全局信息和基于触觉的局部位姿感知信息,使该不稳定的趋势得到有效的抑制,从而再抓取时可以获得更加有效的抓取配置,进而使机器人实现更加稳定、安全的抓取任务;
本发明解决了现有抓取调整方法依赖于试错,无法充分利用触觉模态信息的问题。
附图说明
图1为本发明的一种基于触觉图元滑移特征反馈的机器人再抓取优化方法的流程图;
图2为接触区域图元拟合图;
图3为抓取坐标系及触觉图像坐标系图;
图4为视频流两帧图像之间接触椭圆的滑动特征示意图;
图5为本发明的对物体在试抓取中发生的不同剧烈程度的滑移进行对应的优化调整的具体流程示意图;
图6为是机械臂抓取杆状物体的受力分析示意图;
图7为本发明实施例进行抓取实验时所用的物体模型示意图;
图8为本发明实施例的再抓取仿真实验流程图;
图9为本发明实施了的抓取预测及优化后的抓取位姿图;
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白,以下结合说明书附图和实施例,对本发明作进一步详细说明。
如图1所示,本发明提出的一种基于触觉图元滑移特征反馈的机器人再抓取优化方法,通过对触觉图元的提取、分析实现抓取状态的感知,进而实现在抓取策略的优化,可应用于常规的六轴工业机械臂,机械臂上设置光学式触觉传感器,该方法具体实施步骤如下:
步骤1:使用机械臂进行物体抓取时,利用光学式触觉传感器获取触觉模态信息,即感知获取到接触区域的触觉图元。
具体的,利用基于视觉的触觉传感器通过接触图像的变化,获取触觉模态信息并进行以下推断:
(1)是否与物体发生接触,若是则获取到传感器接触图像,若否则获取到无接触触觉初始图像;
(2)物体接触的面积、位置、方向;
(3)通过连续的视频图像获取接触部分在传感器表面运动状况;
其中,在使用触觉传感器时,通过单点和多点特征估计物体的接触区域,并通过几何特征的提取和匹配来实现对接触区域的感知,从而获取到与初始图像的差分图;
利用弹性体材料和表面微凸的构型大多在成像图像上表现为椭圆形接触区域或者圆形接触区域的特性,通过触觉感知模态椭圆图元提取描述接触区域,并将接触区域统一表达成A(p,a,b,θ)的格式;其中,p(x,y)为触觉传感器图像坐标系下接触椭圆的中心坐标,a为接触椭圆的半长轴长,b为接触椭圆的半短轴长,θ为接触椭圆的偏转角度,以椭圆的长轴为参考,其值为长轴偏转水平方向的角度,值域为[-π/2,π/2]。特别地,当接触区域的形状为圆形时,长轴长与短轴长相等即a=b,θ为[-π/2,π/2]内任意值。
步骤2:基于获取的触觉模态信息,进行椭圆参数拟合,具体包括:
步骤2.1:对差分图进行灰度和形态学处理后使用Canny边缘检测算子对接触区域进行边缘检测提取;
步骤2.2:使用基于最小二乘法的几何椭圆拟合方式对检测提取到的边缘图像进行拟合,如图2所示,在提高检测速度的同时保证椭圆参数拟合的精度。
步骤3:构建机械臂的试抓取坐标系,具体包括:
步骤3.1:以当前时刻由抓取检测算法推理出的抓取配置地图G(x,y,z,rx,ry,rz,W)为基准,以抓取中心坐标为原点建立抓取坐标系o-xyz,用于方便描述机械臂的夹爪稳定闭合之后的视触感知环节的物体的运动特征;
步骤3.2:如图3所示,本实施例的机械臂夹爪的工作表面安装两个面对面的触觉传感器,为方便同一物体的接触信息的描述,对两幅接触图像的坐标系重新定义,以右侧传感器成像为基准,以320×240成像区域中心为坐标系中心建立右图像坐标系o-xz,左侧传感器成像按照o-xyz坐标系的zox平面为镜像,以图像中心为中心建立左图像坐标系o-xz,左、右图像产生的接触区域分别标记为A1、A2,对应的中心分别为p1(x1,z1)、p2(x2,z2);其中,p(x,z)的坐标值为触觉图像空间到真实接触表面尺寸的映射值。
步骤4:对物体进行试抓取使物体发生滑移,解算物体的触觉感知滑动矢量,推测物体在滑移期间的位姿变化,具体包括:
步骤4.1:本发明将该初始状态统一描述成偏差的形式;物体的初始偏差包括初始位置偏差(Δx,Δy,Δz)和初始角度偏差(Δrx,Δry,Δrz),其中Δy由相机视野中获得,其大小表示物体偏离抓取坐标系o-xyz的zox平面距离;初始时刻的位姿偏差如下式所示:
步骤4.2:通过读取触觉图像的视频流,获取接触椭圆的运动特征,两帧图像之间的滑动特征,如图4所示;
步骤4.3:由于椭圆拟合方法存在误差,直接通过视频的第一帧和最后一帧确定椭圆的状态矢量会导致较大的误差,为了减少误差,先对椭圆参数进行滤波,再描述椭圆状态矢量,最终确定物体在滑移期间的位姿变化:
步骤5:如图5所示,对物体在试抓取过程中发生的不同剧烈程度的滑移进行对应的优化调整,重构机械臂的再抓取位姿,具体包括:
步骤5.1:对物体在试抓取过程中发生的初期滑移进行优化调整,具体为:
按照初期滑移的收敛且有界的特点,提出如下两条调整策略:
(1)期望接触区域的中心位置在传感器的感受范围之内,若在刚接触时接触检测的拟合椭圆中心位于传感器的感受范围之外,则极有可能发生全局滑移,调整时应使接触区域中心沿着靠近传感器感受范围中心方向进行。
(2)对于小幅度的初期滑移运动,调整策略只需使末端执行器的位姿沿物体位姿变化的反方向进行调整即可。特别地,由于重力的影响,物体天然具有沿z轴负方向运动的趋势,对于z轴方向上的变动采用缩放处理,本发明采用的缩放因子为0.6,即将抓取配置地图G(x,y,z,rx,ry,rz,W)调整为:
G′(x-dx,y-dy,z-dz×0.6,rx-drx,ry-dry,rz-drz,W)。
步骤5.2:对物体在试抓取过程中发生的局部滑移进行优化调整,具体为:
对照当前物体的抓取位置地图,在抓取地图非零位置上沿当前抓取坐标系的x轴靠近物体重心的方向搜索,根据该区域附近置信度最高点的点重新构建抓取构型,通过所述的空间映射函数变化f获取新的抓取配置。搜索的方向由两个触觉传感器确定,若物体的dry为正值,则沿x轴负方向搜索,若dry为负值,则沿x轴正方向搜索。
在三维空间中以杆状物体为例,如图6所示,通过受力分析可知,稳定抓取的临界条件是机械臂末端手指的摩擦扭矩等于重力乘以力臂,其中,力臂的距离可由式所得:
其中,L为重力力臂,沿当前抓取坐标下x轴方向移动该距离即可将局部滑移矫正为稳定的抓取动作;T为摩擦副的力矩;θ是与水平方向的夹角。
由于抓取物体的种类、形状、质量及其分布特点、表面接触特性等属性均未知,因此需要对上式进行估值处理。在本实施例中抓取物体的质量不超过1kg,因此可设定G=9.8,摩擦力矩T可由下式获得。
T=μF∫A rdr
其中,μ为手指与物体的摩擦系数,本实施例近似取值为0.7;F为夹持力,其大小可由夹爪状态读取;A为物体与触觉传感器的接触区域,因为物体的表面曲率分布不一致,为方便后续处理,本实施例假设弹性体的变形区域的力分布满足均匀分布的要求。综上所述,可估计摩擦力矩T的大小。最后,以估值的L为探索的距离,并将其映射到图像空间中获得探索的距离Li,矢量即为图像空间中搜索的迭代方向和步长。每次迭代时更换抓取点,新的抓取坐标表示为下式:
步骤5.3:对物体在试抓取过程中发生的全面滑移进行优化调整,具体为:
若当前的抓取配置发生全面滑移,说明当前的抓取姿态不适合当前的抓取任务;调整策略应当舍弃当前抓取区域,更换抓取配置地图上的抓取点,舍弃当前抓取位置地图上置信度的峰值,寻找另一个超过阈值的局部峰值,然后从抓取地图上生成一个新的坐标,并以此推断新的抓取构型,得到更新后的抓取配置;最后通过多次抓取质量分析和局部调整,可将全面滑移问题转化为局部滑移或者初期滑移问题,从而在新的抓取配置附近按照上述策略调整抓取姿态直至达到稳定抓取的状态。
下面根据实施例描述本发明,本发明的目的和效果将变得更加明显。
本发明性能测定:本实施例所用物体来自EGAD,在进行抓取实验前,首先构建其碰撞模型并将其放缩至适合夹取的尺寸,通过随机改变其重心位置来模拟抓取对象性质的不确定性,对于每个抓取对象进行10次随机重心改变,每个变换过重心的物体分别进行10次抓取实验,实验所用物体模型如图7所示。本实施例基于Pybullet展开仿真实验,其中选用的机器人型号为Rethink sawyer、平行夹爪型号为WSG-50、触觉传感器为DIGIT,实验过程如图8所示,经过调整前后的抓取配置结果如图9所示。
实施例1:
为了模拟抓取对象位姿的不确定性,本实施例随机采样了下式所示的抓取对象位姿不确定空间;为了模拟机器人执行误差以及其他不确定性环境的影响,在执行抓取时对预测抓取姿态增加随机的扰动。
S={<x,y,θ>∣x∈[-20,20],y∈[-20,20],θ∈[0,2π]}
在实施例中,抓取物体的质量为1kg,夹爪夹持力为20N,调整上限次数为五,通过Pybullet的getBasePositionAndOrientation方法获取抓取前后物体的位姿变化,若其变化量达到理想值的80%~100%,则视为成功的抓取,否则视为失败的抓取,其中,若其变化量达到理想值的90%~100%,则视为稳定的抓取。
实验结果如下表所示:
由表可知,随着再抓取姿态调整的应用,平均抓取成功率从87.6%提升至92.2%,其中稳定抓取的比率为88.4%,该结果表明反应式再抓取优化策略提高了在物体及其姿态不确定下抓取过程的稳定性。
以上所述,仅为本发明的优选实施案例,并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明,对于熟悉本领域的人员来说,其依然可以对前述各实例记载的技术方案进行修改,或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于触觉图元滑移特征反馈的机器人再抓取优化方法,其特征在于,包括以下步骤:
步骤1,利用设置在机械臂上的光学式触觉传感器获取触觉模态信息,即感知获取到接触区域的触觉图元;
步骤2:基于获取的触觉模态信息,进行椭圆参数拟合;
步骤3:构建机械臂的试抓取坐标系;
步骤4:对物体进行试抓取使物体发生滑移,解算物体的触觉感知滑动矢量,推测物体在滑移期间的位姿变化;
步骤5:对物体在试抓取过程中发生的不同剧烈程度的滑移进行对应的优化调整,重构机械臂的再抓取位姿。
2.如权利要求1所述的一种基于触觉图元滑移特征反馈的机器人再抓取优化方法,其特征在于,所述步骤1,具体为:利用基于视觉的触觉传感器通过接触图像的变化,判断机械臂夹爪是否与物体发生接触,若是则获取到传感器接触图像,若否则获取到无接触触觉初始图像;获取物体接触的面积、位置、方向;通过连续的视频图像获取接触部分在传感器表面运动状况;
其中,所述触觉传感器通过单点和多点特征估计物体的接触区域,并通过几何特征的提取和匹配来实现对接触区域的感知,从而获取到与初始图像的差分图;
利用弹性体材料和表面微凸的构型在成像图像上表现为椭圆形接触区域或者圆形接触区域的特性,通过触觉感知模态椭圆图元提取描述接触区域,并将接触区域统一表达成A(p,a,b,θ)的格式;其中,p(x,y)为触觉传感器图像坐标系下接触椭圆的中心坐标,a为接触椭圆的半长轴长,b为接触椭圆的半短轴长,θ为接触椭圆的偏转角度,以椭圆的长轴为参考,其值为长轴偏转水平方向的角度,值域为[-π/2,π/2];当接触区域的形状为圆形时,长轴长与短轴长相等即a=b,θ为[-π/2,π/2]内任意值。
3.如权利要求2所述的一种基于触觉图元滑移特征反馈的机器人再抓取优化方法,其特征在于,所述步骤2,具体包括:
步骤2.1:对差分图进行灰度和形态学处理后使用Canny边缘检测算子对接触区域进行边缘检测提取;
步骤2.2:使用基于最小二乘法的几何椭圆拟合方式对检测提取到的边缘图像进行拟合。
4.如权利要求3所述的一种基于触觉图元滑移特征反馈的机器人再抓取优化方法,其特征在于,所述步骤3,具体包括:
步骤3.1:以当前时刻由抓取检测算法推理出的抓取配置地图G(x,y,z,rx,ry,rz,W)为基准,以抓取中心坐标为原点建立抓取坐标系o-xyz;
步骤3.2:所述机械臂夹爪的工作表面安装两个面对面的触觉传感器,则对通过触觉传感器获取的两幅接触图像的坐标系重新定义,以右侧传感器成像为基准,以320×240成像区域中心为坐标系中心建立右图像坐标系o-xz,左侧传感器成像按照o-xyz坐标系的zox平面为镜像,以图像中心为中心建立左图像坐标系o-xz,左、右图像产生的接触区域分别标记为A1、A2,对应的中心分别为p1(x1,z1)、p2(x2,z2);其中,p(x,z)的坐标值为触觉图像空间到真实接触表面尺寸的映射值。
5.如权利要求4所述的一种基于触觉图元滑移特征反馈的机器人再抓取优化方法,其特征在于,所述步骤4,具体包括:
步骤4.1:将初始状态统一描述成偏差的形式;物体的初始偏差包括初始位置偏差(Δx,Δy,Δz)和初始角度偏差(Δrx,Δry,Δrz),其中Δy由相机视野中获得,其大小表示物体偏离抓取坐标系o-xyz的zox平面距离;初始时刻的位姿偏差如下式所示:
步骤4.2:通过读取触觉图像的视频流,获取接触椭圆的运动特征;
步骤4.3:对椭圆参数进行滤波,再描述椭圆状态矢量,最终确定物体在滑移期间的位姿变化:
6.如权利要求5所述的一种基于触觉图元滑移特征反馈的机器人再抓取优化方法,其特征在于,所述步骤5,具体包括:
步骤5.1:对物体在试抓取过程中发生的初期滑移进行优化调整;
步骤5.2:对物体在试抓取过程中发生的局部滑移进行优化调整;
步骤5.3:对物体在试抓取过程中发生的全面滑移进行优化调整。
7.如权利要求6所述的一种基于触觉图元滑移特征反馈的机器人再抓取优化方法,其特征在于,所述步骤5.1,具体为:按照初期滑移收敛且有界的特点,进行以下优化调整:
(1)期望接触区域的中心位置在传感器的感受范围之内,若在刚接触时接触检测的拟合椭圆中心位于传感器的感受范围之外,则为发生全面滑移,在调整时使接触区域中心沿着靠近传感器感受范围中心方向进行;
(2)对于小幅度的初期滑移运动即拟合椭圆中心位于传感器的感受范围内,只需使末端执行器的位姿沿物体位姿变化的反方向进行调整即可,特别地,由于重力的影响,物体天然具有沿z轴负方向运动的趋势,对于z轴方向上的变动采用缩放处理,采用的缩放因子为0.6,即将抓取配置地图G(x,y,z,rx,ry,rz,W)调整为:
G′(x-dx,y-dy,z-dz×0.6,rx-drx,ry-dry,rz-drz,W)。
8.如权利要求6所述的一种基于触觉图元滑移特征反馈的机器人再抓取优化方法,其特征在于,所述步骤5.2,具体为:对照当前物体的抓取位置地图,在抓取位置地图非零位置上沿当前抓取坐标系的x轴靠近物体重心的方向搜索,根据该区域附近置信度最高点的点重新构建抓取构型,通过空间映射函数变化f获取新的抓取配置,搜索的方向由两个触觉传感器确定,若物体的dry为正值,则沿x轴负方向搜索,若dry为负值,则沿x轴正方向搜索。
9.如权利要求6所述的一种基于触觉图元滑移特征反馈的机器人再抓取优化方法,其特征在于,所述步骤5.3,具体为:若当前的抓取配置发生全面滑移,则舍弃当前抓取区域,更换抓取配置地图上的抓取点,舍弃当前抓取位置地图上置信度的峰值,寻找另一个dry超过阈值的局部峰值,然后从抓取地图上生成一个新的坐标,并以此推断新的抓取构型,得到更新后的抓取配置;最后通过多次抓取质量分析和局部调整,将全面滑移问题转化为局部滑移或者初期滑移问题,从而在新的抓取配置附近调整抓取姿态直至达到稳定抓取的状态。
CN202310774480.6A 2023-06-28 2023-06-28 一种基于触觉图元滑移特征反馈的机器人再抓取优化方法 Pending CN116945166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310774480.6A CN116945166A (zh) 2023-06-28 2023-06-28 一种基于触觉图元滑移特征反馈的机器人再抓取优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310774480.6A CN116945166A (zh) 2023-06-28 2023-06-28 一种基于触觉图元滑移特征反馈的机器人再抓取优化方法

Publications (1)

Publication Number Publication Date
CN116945166A true CN116945166A (zh) 2023-10-27

Family

ID=88453944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310774480.6A Pending CN116945166A (zh) 2023-06-28 2023-06-28 一种基于触觉图元滑移特征反馈的机器人再抓取优化方法

Country Status (1)

Country Link
CN (1) CN116945166A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120816502A (zh) * 2025-09-17 2025-10-21 途见科技(北京)有限公司 一种触觉感知数据处理方法、物体认知方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080202202A1 (en) * 2004-09-14 2008-08-28 Jun Ueda Tactile Sensor and Use Thereof
US20210125052A1 (en) * 2019-10-24 2021-04-29 Nvidia Corporation Reinforcement learning of tactile grasp policies
CN113510700A (zh) * 2021-05-19 2021-10-19 哈尔滨理工大学 一种机器人抓取任务的触觉感知方法
US20220126453A1 (en) * 2020-10-22 2022-04-28 Mitsubishi Electric Research Laboratories, Inc. Interactive Tactile Perception Method for Classification and Recognition of Object Instances

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080202202A1 (en) * 2004-09-14 2008-08-28 Jun Ueda Tactile Sensor and Use Thereof
US20210125052A1 (en) * 2019-10-24 2021-04-29 Nvidia Corporation Reinforcement learning of tactile grasp policies
US20220126453A1 (en) * 2020-10-22 2022-04-28 Mitsubishi Electric Research Laboratories, Inc. Interactive Tactile Perception Method for Classification and Recognition of Object Instances
CN113510700A (zh) * 2021-05-19 2021-10-19 哈尔滨理工大学 一种机器人抓取任务的触觉感知方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120816502A (zh) * 2025-09-17 2025-10-21 途见科技(北京)有限公司 一种触觉感知数据处理方法、物体认知方法及设备
CN120816502B (zh) * 2025-09-17 2025-11-18 途见科技(北京)有限公司 一种触觉感知数据处理方法、物体认知方法及设备

Similar Documents

Publication Publication Date Title
CN113500017B (zh) 一种面向非结构化场景下物料分拣的智能系统和方法
D’Avella et al. A study on picking objects in cluttered environments: Exploiting depth features for a custom low-cost universal jamming gripper
EP4037878B1 (en) Systems and methods for determining pose of objects held by flexible end effectors
Eppner et al. Grasping unknown objects by exploiting shape adaptability and environmental constraints
Platt et al. Null-space grasp control: Theory and experiments
Sommer et al. Bimanual compliant tactile exploration for grasping unknown objects
CN114494426B (zh) 用于控制机器人来在不同的方位拿起对象的装置和方法
CN113284179B (zh) 一种基于深度学习的机器人多物体分拣方法
CN111098323B (zh) 一种基于力与位移模糊混合控制的五指灵巧手及其控制方法
CN115401698B (zh) 一种基于抓取手势检测的机械手灵巧抓取规划方法和系统
CN207231476U (zh) 一种基于双目视觉的快递包裹抓取装置
CN117754558A (zh) 通过人类演示的抓取教导
Ford et al. Tactile-driven gentle grasping for human-robot collaborative tasks
CN116652962A (zh) 一种基于视觉反馈控制的物体抓取方法
Su et al. Robust grasping for an under-actuated anthropomorphic hand under object position uncertainty
CN114952836A (zh) 多指手机器人抓取方法、装置与机器人系统
CN116945166A (zh) 一种基于触觉图元滑移特征反馈的机器人再抓取优化方法
Schiebener et al. Discovery, segmentation and reactive grasping of unknown objects
CN117381799A (zh) 基于机器视觉的抓取装置控制方法、抓取装置及存储介质
CN116460845A (zh) 一种考虑点云骨架特征的未知物体六自由度抓取方法
Gil et al. Visual/Tactile sensing to monitor grasps with robot-hand for planar elastic objects
Vatsal et al. Augmenting vision-based grasp plans for soft robotic grippers using reinforcement learning
Kicki et al. Robotic manipulation of elongated and elastic objects
Zhu et al. A robotic semantic grasping method for pick-and-place tasks
Ranjan et al. Identification and control of NAO humanoid robot to grasp an object using monocular vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination