[go: up one dir, main page]

CN118559695A - 基于虚实融合的自适应梯度软排线一步扣合预测方法 - Google Patents

基于虚实融合的自适应梯度软排线一步扣合预测方法 Download PDF

Info

Publication number
CN118559695A
CN118559695A CN202410606036.8A CN202410606036A CN118559695A CN 118559695 A CN118559695 A CN 118559695A CN 202410606036 A CN202410606036 A CN 202410606036A CN 118559695 A CN118559695 A CN 118559695A
Authority
CN
China
Prior art keywords
virtual
real
tactile
image
force
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410606036.8A
Other languages
English (en)
Inventor
赵永嘉
张子轩
张宁
李卫琪
雷小永
戴树岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202410606036.8A priority Critical patent/CN118559695A/zh
Publication of CN118559695A publication Critical patent/CN118559695A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/25—Design optimisation, verification or simulation using particle-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于虚实融合的自适应梯度软排线一步扣合预测方法，首先在手机软排线装配真实操作环境中，通过触觉传感器采集真实触觉图像，然后根据真实触觉图像，通过物质点法(MPM)实现在虚拟环境中对真实触觉的模拟，目的是生成虚拟触觉图像。真实触觉和虚拟触觉共同构成数字孪生环境，通过对数字孪生环境中的虚实触觉图像进行自适应梯度计算，建立基于自适应梯度的一步预测模型，模型中通过CNN+LSTM网络对触觉图像进行预测，生成预测触觉图像，并与理想触觉图像进行对比，然后通过对触觉图像编码、解码获得一步扣合指导策略，并在真实操作环境中应用，基于自适应梯度的一步预测模型在数字孪生环境中进行训练迭代。

Description

基于虚实融合的自适应梯度软排线一步扣合预测方法
技术领域
本发明属于人工智能中的工业智能装配领域，是一种基于虚实融合环境的软排线扣合策略生成方法，用于智能体基于多模态感知进行软排线扣合策略的生成。
背景技术
当今社会，机器人已经广泛应用于工业界的各种装配任务，机器人已经可以帮助人类完成装配汽车([Zachares P A,Lee M A,Lian W,et al.Interpreting contactinteractions to overcome failure in robot assembly tasks[A].In:2021 IEEEInternational Conference on Robotics and Automation(ICRA)[C].IEEE,2021.3410-3417.])，组装家具([Lee Y,Hu E S,Lim J J.IKEA furniture assembly environmentfor long-horizon complex manipulation tasks[A].In:2021 ieee internationalconference on robotics and automation(icra)[C].IEEE,2021.6343-6349.])，机器装配([Kimble K,Van Wyk K,Falco J,et al.Benchmarking protocols for evaluatingsmall parts robotic assembly systems[J].IEEE robotics and automation letters,2020,5(2):883-889.])等多项任务。而针对于小型电子设备的装配，机器人也逐渐开始替代人类，例如手机软排线的装配，软排线装配任务要求机器人在尽可能少的实验次数下，实现正确的对两侧的柔性电缆进行装配，这是一项复杂度较高的装配任务，对操作的精细度也有很高的要求。
在装配手机软排线的过程中，目前在机器人操作场景感知过程中存在误差，在触觉、视觉、听觉多模态数据的获取和处理仍存在较大误差。例如机械臂在扣合像手机软排线一样的微小零件时，由于机械臂的遮挡，导致零件的某些部分不可见，难以进行测量，造成装配失败，而且多次失败后还可能造成零件的损坏。
但是如果在虚拟环境中也可以进行机器人技能学习，通过现实和虚拟世界的融合学习，在现实环境中难以测量的数据可以在虚拟环境中测量，可以大幅度提高机器人操作技能学习的效率和准确性。所以采用虚实融合的方法进行机器人操作技能学习也是当前热门的研究方向。在虚实融合进行操作技能学习的过程中，利用多模态交互的方法获取数据具有实时性强、交互性强的特点，所以近年来多模态交互广泛应用于机器人操作技能学习的过程中。
仿真在机器人研究中也起着重要作用。现实世界中的实验既昂贵又耗时，同时会给机器人带来磨损和事故的潜在风险，但仿真可以提供数据作为初步实验，而不会出现此类风险。此外，神经网络和深度学习等数据驱动方法在机器人技术中用于传感和控制。需要大量数据，而仿真提供了一种收集数据的有效方法，并有可能将训练有素的机器人代理转移到现实世界中。
在过去的几年中，已经提出了用于对象模拟的各种模拟方法，例如有限元法(FEM)和关键点法。已经有一些常用的机器人模拟器，例如Gazebo、Pybullet和MuJoCo。尽管他们能够模拟机器人手臂和抓手等机器人组件，但触觉传感器模拟仍然是一项具有挑战性的任务，这阻碍了具有触觉感知的物理机器人模拟。
触觉传感对于机器人接触控制是必不可少的，近年来已经开发了许多触觉传感器。由于能够生成高分辨率触觉图像，光学触觉传感器、一些工作使用相机捕捉软弹性体的变形，因此受到机器人研究的青睐。由于其低成本和高分辨率，光学触觉传感器已广泛用于实际实验，但模拟其软弹性体层变形的挑战阻碍了它们的模拟。
自适应控制在当前机器人执行工业装配任务过程中有着广泛的应用，自适应机器人可以实时进行自我调整，适应环境变化，通过虚实触觉图像的梯度变化，使用自适应方法可以有效得到软排线一步扣合策略。
发明内容
针对上述问题，本发明提出一种基于虚实融合的自适应梯度软排线一步扣合预测方法，通过在虚拟环境中进行触觉模拟，减小了感知误差，有效提高了软排线扣合的成功率。
本发明基于虚实融合的自适应梯度软排线一步扣合预测方法，包括一个软排线扣合的数字孪生环境、一个基于自适应梯度的一步预测模型以及一个虚实触觉图像比较模型。
所述软排线扣合的数字孪生环境用于生成虚实触觉图像，具体方法为：
a)真实操作环境中机械臂开始进行软排线扣合。
b)机械臂末端执行器上的触觉传感器感知到真实触觉图像。
c)通过物质点法对真实触觉图像进行分析。
d)在虚拟环境中实现虚拟触觉变形模拟。
e)在虚拟环境中生成虚拟触觉图像。
f)真实触觉图像和虚拟触觉图像共同构成软排线扣合的数字孪生环境。
所述基于自适应梯度的一步预测模型的建立方法具体如下：
首先，建立虚实触觉预测模型，通过将当前实验中的真实触觉图像和虚拟触觉图像分别与理想成功扣合情况下的真实触觉图像和虚拟触觉图像进行对比，得到本次虚实扣合情况预测结果。
其次，建立自适应梯度模型，在虚实触觉预测模型得到预测结果后，若预测结果为成功扣合，则无需进行调整。若预测结果为扣合失败，则需根据自适应梯度方法得到软排线位姿调整的步长和方向，调整过程需要与理想触觉图像进行对比。
最后，建立虚实触觉图像比较模型，根据基于自适应梯度的一步预测模型得到的虚实调整步长和方向，通过在数字孪生环境中的训练迭代，得到最优虚实触觉图像调整策略使用权重，得到最终调整策略，使得软排线通过一步位姿调整到达扣合成功前位置。
本发明的优点在于：
1、本发明基于虚实融合环境的自适应梯度软排线一步扣合预测方法，减小了真实环境下软排线扣合场景的感知误差，目前在机器人操作场景感知过程中存在误差，在触觉、视觉、听觉多模态数据的获取和处理仍存在较大误差，本发明通过在虚拟环境中进行触觉模拟，减小了感知误差；
2、本发明基于虚实融合环境的自适应梯度软排线一步扣合预测方法，减小了由于软排线这类微小零件的装配公差，机械臂在扣合像手机软排线一样的微小零件时，由于机械臂的遮挡，导致零件的某些部分不可见，难以进行测量，造成装配失败，而且多次失败后还可能造成零件的损坏，本发明通过自适应梯度方法得到预测策略，减小了扣合失败情况的发生；
3、本发明基于虚实融合环境的自适应梯度软排线一步扣合预测方法，提高了软排线扣合成功率，通过增加虚拟环境中的触觉模拟，并对虚实触觉数据得到的扣合策略进行融合，本发明有效提高了软排线扣合的成功率。
附图说明
图1为本发明基于虚实融合的自适应梯度软排线一步扣合预测方法原理图。
图2为本发明的触觉图像三维图及梯度标注。
图3为触觉传感器中触点的力随时间变化曲线。
图4为mesh网格分割前后效果图。
图5为本发明基于虚实融合的自适应梯度模型原理图。
图6为基于虚实融合的自适应梯度模型执行流程框图。
具体实施方式
下面结合附图对本发明做进一步详细说明。
本发明基于虚实融合环境的自适应梯度软排线一步扣合预测方法，包括一个软排线扣合的数字孪生环境、一个基于自适应梯度的一步预测模型以及一个虚实触觉图像比较模型，如图1所示。
所述软排线扣合的数字孪生环境中生成虚实触觉图像，具体流程如下：
1、真实触觉数据获取与分析。
真实触觉数据为装配手机软排线的机械臂末端搭载的4*11维触觉传感器与手机软排线扣合端头接触得到的数据。每个时刻的触觉数据是一个4*11维矩阵。从两个角度对触觉数据进行分析拟合，分别为：
A、针对每一时刻的4*11个触觉数据进行分析；
B、对多个时刻的同一力采集点的触觉数据进行分析。
对于A来说，通过画出4*11维触觉传感器的44个触点不同时刻的力触觉数据构成的三维图，并分析统计特性，可以清晰地从三维图中看出力的分布规律，如图2所示。
对于B来说，分为三个阶段：
第一阶段为接触阶段，软排线与手机开始接触，力持续变大；当软排线的扣合端头进入手机上的槽位后，阻力迅速减小，导致接触力瞬间下降，进入下一阶段。
第二阶段为扣合阶段，即软排线扣合端头进入槽位直至触底的过程，扣合过程结束时，力的增加速度明显减小，进入下一阶段。
第三阶段为按压阶段，即软排线扣合端头已触底，但是机械臂还在持续施加压力的过程，此时力的增加速度相较扣合阶段明显减小。
如图3所示，可以看到三个阶段的触觉传感器中触点的力随时间变化曲线的斜率明显不同，可以使用分段线性的方法进行拟合，得到软排线扣合过程的分段曲线。由此可根据触觉数据来判断当前扣合情况，指导软排线扣合过程。
2、通过真实触觉数据对虚拟触觉数据进行模拟
从虚拟环境中采集多模态数据相比现实环境有着显著的优势，首先有助于加速并提高机器人技能迁移与学习的速度与效率，例如可以更快捷准确的引导到最终位置。在虚拟环境中模拟触觉数据的优劣根本上取决于物体变形模拟的真实程度。传统的仿真环境受限于算法的复杂度与实时模拟的矛盾，难以对交互中产生的物理变形进行高精度的实时仿真。而将物质点法(MPM)应用在Unity仿真环境，可以实现高精度的弹性体变形实时仿真。
以3C装配中的软排线装配为应用场景，通过物质点法(MPM)来计算软排线在与手机母头的扣合过程中产生的变形。可以认为在按压过程中软排线的公头是具有弹性的而手机母头近似为刚体。
首先，需要对虚拟的软排线模型(通常是mesh网格)进行处理，将其转变为一群具有质量、位置和速度的粒子，这些粒子通过虚拟的网格发生相互作用而具有不同的速度与位置并在每个仿真步进行更新，粒子的包络及各自的速度反映了弹性体外形的改变及体内的应力水平。
随后，采用体素化技术对前述处理后的mesh网格进行分割，记录分割后每个体素的位置，并赋予它们质量与速度。分割前后的效果如图4所示。
具体方法如下：
在每个仿真步中，粒子信息首先通过计算每个网格节点中的动量和质量传递到网格中，可以看作是通过二次b样条加权插值来模拟网格节点周围的部分物体；具体来说就是收集附近粒子的质量和动量。第i个网格节点的质量Mi为：
式中，mp为第p个粒子的质量，Gi为包含第i个网格节点及其相邻网格节点的3×3×3个网格节点，Pj为第j个网格节点内的粒子，ωij为第i个网格节点和第j个粒子进行加权插值的权重参数，采用二次β样条计算。通过应用这些权重参数，近粒子对Mi的贡献大于远粒子。本发明遵循使质量和下面的动量计算具有相同的权重参数。
通过计算质点运动产生的动量MMi和弹性产生的动量MEi，可以得到第i个网格节点的网格动量MGi:
MGi＝MMi+MEi (2)
通过收集附近粒子的速度和仿射速度来计算MMi:
其中，xj表示第i个网格节点的第j个相邻节点的位置；xp表示第p个粒子的位置；vP为粒子速度；Cp为记录相邻粒子速度的仿射速度矩阵，作用是减少粒子与网格节点之间进行信息交换时的信息损失，仿射矩阵在初始化是一个三维零阵，这是因为粒子初始时是静止的。
MEi可以通过以下公式得到：
其中，Δt为相邻两仿真步之间的时间间隔，Δx为网格节点间隔，为初始粒子体积，Sp为第p个粒子的弹性力。
分别求出Mi和MGi后，可计算出第i个网格节点Vi附近的物体速度为:
在基于MPM的仿真将变形体的变形转化为一个粒子集合中粒子的运动后，粒子的运动中包含了变形体因变形而产生的全部力信息，因此，在通过物质点法(MPM)实现虚拟触觉变形模拟后，可以使用力采集算法从弹性体变形中收集触觉数据，从而生成虚拟触觉图像，在保证实时性的基础上进行高精度的变形模拟并生成逼真的触觉图像。虚拟触觉图像与真实触觉图像相同，都对机器人操作指导有着重大的意义，虚拟触觉变形模拟和生成虚拟触觉图像为后续建立基于自适应梯度的一步预测模型打下基础。
对于本发明面向的复杂结构弹性体，其产生的主要力信息是由于结构复杂和接触姿态不同造成的不同的力分布，触觉传感器的目的是以一定的方式将这种力分布呈现出来。在现实物理环境中使用的触觉传感器是一个4*11的力采集矩阵，矩阵中的每个力采集点都可以感知局部产生的接触力，因此传感器的输出是一个4*11的触觉图像，其中每个像素代表了该点处的力大小。出于一致性的考虑，所设计的虚拟传感器与真实传感器在形态和结构保持一致。接下来本发明设计一个算法统计部署在虚拟环境中的虚拟传感器上的每个力采集点从虚拟环境中获知该点局部的力信息，具体方式为：
将传感器部署在可变形物体的基座上，考虑其中任意一个力采集点，以该点为原点，向传感器面向变形体的法线方向发出一道射线，射线会经过若干变形体体素化后的体素，这些体素在运动中携带的信息综合反映了该点的力信息。力通过以下公式进行综合：
假设射线共经过了n个体素；mi和vi为其中第i个体素的质量与速度；Δt为仿真步长；k为材料在法线方向上的等效弹性系数；xn为射线方向上距离采样点最远的体素相比仿真开始前在射线方向上的缩进位移；k1与k2为一对基于经验的调和参数，两者相对大小反映了统计时微观与宏观的偏向，k1+k2＝1，理论上k1与k2所修饰的力大小相当。
因此触觉传感器采集的力分布可以表示如下：
矩阵中的每个元素经过公式(6)得出。
传感器仿真的最后一步是将采集到的力矩阵以某种形式呈现。首先考虑到的呈现形式是灰度图。因此将每个采样点映射为为一个显示像素，采样点的力大小与像素的灰度值相关。具体来说每个采样点的灰度值计算如下：
其中，Gvm为最大灰度值，通常取255，Fi为第i个采样点的力，可以看出在一次采样中至少有一个采样点将获得最大的灰度值。
上述建立数字孪生环境的目的是通过建立虚拟化模型，来减小在现实环境中由于遮挡等因素造成的数据误差，通过在虚拟环境中对触觉的模拟，获得虚拟触觉图像，然后通过与真实触觉图像共同经过自适应模型进行处理后得到的调整方向和步长的对比综合，获得最优结果。
所述基于自适应梯度的一步预测模型结构如图5所示，生成方法如下：
1、虚实触觉预测模型的建立
在完成软排线扣合的数字孪生环境构建，并且可以从数字孪生环境中生成虚实触觉图像后，就需要对生成的虚实触觉图像进行分析，运用CNN+LSTM网络来通过虚实触觉图像进行软排线扣合结果预测，即CNN+LSTM网络构成虚实触觉预测模型。
虚实触觉预测模型首先需要提前获得可以成功扣合的虚拟触觉图像，称之为理想触觉图像，然后需要将同一时刻的当前得到的虚实触觉图像与之前得到的理想触觉图像进行对比，通过对图像编码解码，利用CNN+LSTM网络提取图像特征。CNN能过够通过使用卷积核从样本数据中提取出其潜在的特征，而长短期记忆网络LSTM处理和预测样本序列中时间间隔较长的重要事件。CNN+LSTM网络满足了提取图像特征的功能，而且也与机器人操作任务的时序性要求相符合。
若通过CNN+LSTM网络预测结果为可以成功扣合，则不需要进行后续的通过自适应梯度方法进行调整过程；如果预测结果为不可以成功扣合，则需要通过下面的自适应梯度方法进行调整。
2、自适应梯度模型的建立
在虚实触觉预测模型得到预测结果后，若预测结果为可以成功扣合，则不需要进行调整；若预测结果为扣合失败，则需要根据自适应梯度方法得到软排线位姿调整的步长和方向，调整过程需要与理想触觉图像进行对比，如图6所示，具体过程为：
a)通过真实触觉预测模型预测扣合结果；
b)若预估扣合成功，则不需调整；
c)若预估扣合失败，则通过真实触觉自适应梯度模型得出调整步长和方向；
d)通过真实触觉预测模型预测扣合结果；
e)若预估扣合成功，则不需调整；
f)若预估扣合失败，则通过真实触觉自适应梯度模型得出调整步长和方向。
在与理想触觉图像进行对比时，主要从两个方面，一是梯度为0点的位置，这代表了扣合成功的中心位置，二是梯度最大的方向，这代表了扣合成功的旋转方向。根据对比结果对软排线位子进行调整，然后继续通过LSTM进行预测，直至误差在设定阈值范围内。
同时，在与理想触觉图像进行对比时，需要统一机械臂距手机距离，不能按照时间采样顺序，因为每次实验的时间不固定，按照时间采样顺序会造成位置不统一。根据梯度为0和梯度最大的判断，通过对触觉图像进行编码和解码实现对一步预测步长的计算。
3、虚实触觉图像比较模型的建立；
所述虚实触觉图像比较模型即根据基于自适应梯度的一步预测模型得到的虚实调整步长和方向，通过在数字孪生环境中的训练迭代，得到最优虚实触觉图像调整策略使用权重，得到最终调整策略，使得软排线通过一步位姿调整到达扣合成功前位置。具体方式为：
1)数据的导入：将自适应模型中得到的真实触觉图像与理想真实触觉图像对比得到的调整步长和方向和虚拟触觉图像与理想虚拟触觉图像对比得到的调整步长和方向输入虚实触觉图像比较模型；
2)神经网络的训练：在得到虚实触觉调整策略后，需要在数字孪生环境中训练神经网络，从而得到最终的神将网络权重，确定虚实触觉调整策略的置信度；
3)最终策略的执行：根据虚实触觉调整策略的置信度确定最终的调整策略，反馈到真实环境中，通过一次调整，机械臂就可以调整至扣合成功前的位置。

Claims (6)

1.基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：包括一个软排线扣合的数字孪生环境、一个基于自适应梯度的一步预测模型以及一个虚实触觉图像比较模型；
所述软排线扣合的数字孪生环境用于生成虚实触觉图像，具体方法为：
a)真实操作环境中机械臂开始进行软排线扣合；
b)机械臂末端执行器上的触觉传感器感知到真实触觉图像；
c)通过物质点法对真实触觉图像进行分析；
d)在虚拟环境中实现虚拟触觉变形模拟；
e)在虚拟环境中生成虚拟触觉图像；
f)真实触觉图像和虚拟触觉图像共同构成软排线扣合的数字孪生环境；
所述基于自适应梯度的一步预测模型的建立方法具体如下：
首先，建立虚实触觉预测模型，通过将当前实验中的真实触觉图像和虚拟触觉图像分别与理想成功扣合情况下的真实触觉图像和虚拟触觉图像进行对比，得到本次虚实扣合情况预测结果；
其次，建立自适应梯度模型，在虚实触觉预测模型得到预测结果后，若预测结果为成功扣合，则无需进行调整；若预测结果为扣合失败，则需根据自适应梯度方法得到软排线位姿调整的步长和方向，调整过程需要与理想触觉图像进行对比。
最后，建立虚实触觉图像比较模型，根据基于自适应梯度的一步预测模型得到的虚实调整步长和方向，通过在数字孪生环境中的训练迭代，得到最优虚实触觉图像调整策略使用权重，得到最终调整策略，使得软排线通过一步位姿调整到达扣合成功前位置。
2.如权利要求1所述基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：虚实触觉图像生成过程中，从两个角度对真实触觉数据进行分析拟合，分别为：
A、针对每一时刻的4*11个触觉数据进行分析；
B、对多个时刻的同一力采集点的触觉数据进行分析；
对于A来说，通过画出4*11维触觉传感器的44个触点不同时刻的力触觉数据构成的三维图，并分析统计特性，从三维图中确定力的分布规律；
对于B来说，分为三个阶段：
第一阶段为接触阶段，软排线与手机开始接触，力持续变大；当软排线的扣合端头进入手机上的槽位后，阻力迅速减小，导致接触力瞬间下降，进入下一阶段；
第二阶段为扣合阶段，即软排线扣合端头进入槽位直至触底的过程，扣合过程结束时，力的增加速度明显减小，进入下一阶段；
第三阶段为按压阶段，即软排线扣合端头已触底，但是机械臂还在持续施加压力的过程，此时力的增加速度相较扣合阶段明显减小；
上述三个阶段的触觉传感器中触点的力随时间变化曲线的斜率明显不同，使用分段线性的方法进行拟合，得到软排线扣合过程的分段曲线。
3.如权利要求1所述基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：虚实触觉图像生成过程中，采用物质点法对真实触觉图像进行分析，并生成虚拟触觉图像的具体方法为：
在每个仿真步中，粒子信息首先通过计算每个网格节点中的动量和质量传递到网格中，第i个网格节点的质量Mi为：
式中，mp为第p个粒子的质量，Gi为包含第i个网格节点及其相邻网格节点的3×3×3个网格节点，Pj为第j个网格节点内的粒子，ωij为第i个网格节点和第j个粒子进行加权插值的权重参数，采用二次β样条计算；通过应用权重参数，近粒子对Mi的贡献大于远粒子；该权重参数与下述动量计算相同；
通过计算质点运动产生的动量MMi和弹性产生的动量MEi，可以得到第i个网格节点的网格动量MGi:
MGi＝MMi+MEi (2)
通过收集附近粒子的速度和仿射速度来计算MMi:
其中，xj表示第i个网格节点的第j个相邻节点的位置；xp表示第p个粒子的位置；vP为粒子速度；Cp为记录相邻粒子速度的仿射速度矩阵；
MEi通过以下公式得到：
其中，Δt为相邻两仿真步之间的时间间隔，Δx为网格节点间隔，为初始粒子体积，Sp为第p个粒子的弹性力；
分别求出Mi和MGi后，第i个网格节点Vi附近的物体速度为:
在通过物质点法实现虚拟触觉变形模拟后，使用力采集算法从弹性体变形中收集触觉数据，从而生成虚拟触觉图像；具体为：
将传感器部署在变形体的基座上，考虑其中任意一个力采集点，以该点为原点，向传感器面向变形体的法线方向发出一道射线，射线会经过若干变形体体素化后的体素，这些体素在运动中携带的信息综合反映了该点的力信息；力通过以下公式进行综合：
假设射线共经过了n个体素；mi和vi为其中第i个体素的质量与速度；Δt为仿真步长；k为材料在法线方向上的等效弹性系数；xn为射线方向上距离采样点最远的体素相比仿真开始前在射线方向上的缩进位移；k1与k2为一对基于经验的调和参数；
因此触觉传感器采集的力分布表示如下：
矩阵中的每个元素经过公式(6)得出；
将采集到的力矩阵以灰度图形式呈现，每个采样点的灰度值计算如下：
其中，Gvm为最大灰度值，通常取255，Fi为第i个采样点的力。
4.如权利要求1所述一种基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：虚实触觉预测模型由CNN+LSTM网络构成；在进行图像对比时通过对图像编码解码，利用CNN+LSTM网络提取图像特征；CNN通过使用卷积核从样本数据中提取出其潜在的特征，而长短期记忆网络LSTM处理和预测样本序列中时间间隔较长的重要事件。
5.如权利要求1所述基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：通过自适应梯度模型从两个方面与理想触觉图像进行对比，一是梯度为0点的位置，该位置代表了扣合成功的中心位置；二是梯度最大的方向，该方向代表了扣合成功的旋转方向；同时在与理想触觉图像进行对比时，需要统一机械臂距手机距离，根据梯度为0和梯度最大的判断，通过对触觉图像进行编码和解码实现对一步预测步长的计算。
6.如权利要求1所述基于虚实融合的自适应梯度软排线一步扣合预测方法，其特征在于：虚实触觉图像比较模型具体步骤为：
1)数据的导入：将自适应模型中得到的真实触觉图像与理想真实触觉图像对比得到的调整步长和方向和虚拟触觉图像与理想虚拟触觉图像对比得到的调整步长和方向输入虚实触觉图像比较模型；
2)神经网络的训练：在得到虚实触觉调整策略后，需要在数字孪生环境中训练神经网络，从而得到最终的神将网络权重，确定虚实触觉调整策略的置信度；
3)最终策略的执行：根据虚实触觉调整策略的置信度确定最终的调整策略，反馈到真实环境中，通过一次调整，将机械臂调整至扣合成功前的位置。
CN202410606036.8A 2024-05-15 2024-05-15 基于虚实融合的自适应梯度软排线一步扣合预测方法 Pending CN118559695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410606036.8A CN118559695A (zh) 2024-05-15 2024-05-15 基于虚实融合的自适应梯度软排线一步扣合预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410606036.8A CN118559695A (zh) 2024-05-15 2024-05-15 基于虚实融合的自适应梯度软排线一步扣合预测方法

Publications (1)

Publication Number Publication Date
CN118559695A true CN118559695A (zh) 2024-08-30

Family

ID=92467843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410606036.8A Pending CN118559695A (zh) 2024-05-15 2024-05-15 基于虚实融合的自适应梯度软排线一步扣合预测方法

Country Status (1)

Country Link
CN (1) CN118559695A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018035310A1 (en) * 2016-08-19 2018-02-22 The Penn State Research Foundation Dynamic haptic robotic trainer
CN112669671A (zh) * 2020-12-28 2021-04-16 北京航空航天大学江西研究院 一种基于实物交互的混合现实飞行仿真系统
CN116048247A (zh) * 2022-09-30 2023-05-02 北京航空航天大学 一种远程虚拟手术的数字孪生触觉反馈交互方法及装置
CN116630417A (zh) * 2023-04-27 2023-08-22 桂林电子科技大学 基于视触信息融合的手机软排线定位方法
CN117993482A (zh) * 2024-01-11 2024-05-07 东南大学 一种分布式的多智能体强化学习虚实迁移的算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018035310A1 (en) * 2016-08-19 2018-02-22 The Penn State Research Foundation Dynamic haptic robotic trainer
CN112669671A (zh) * 2020-12-28 2021-04-16 北京航空航天大学江西研究院 一种基于实物交互的混合现实飞行仿真系统
CN116048247A (zh) * 2022-09-30 2023-05-02 北京航空航天大学 一种远程虚拟手术的数字孪生触觉反馈交互方法及装置
CN116630417A (zh) * 2023-04-27 2023-08-22 桂林电子科技大学 基于视触信息融合的手机软排线定位方法
CN117993482A (zh) * 2024-01-11 2024-05-07 东南大学 一种分布式的多智能体强化学习虚实迁移的算法

Similar Documents

Publication Publication Date Title
CN110188598B (zh) 一种基于MobileNet-v2的实时手部姿态估计方法
Luu et al. Simulation, learning, and application of vision-based tactile sensing at large scale
Chen et al. Tacchi: A pluggable and low computational cost elastomer deformation simulator for optical tactile sensors
Sutanto et al. Learning latent space dynamics for tactile servoing
CN111204476A (zh) 一种基于强化学习的视触融合精细操作方法
Chen et al. General-purpose sim2real protocol for learning contact-rich manipulation with marker-based visuotactile sensors
Wu et al. Vision-based tactile intelligence with soft robotic metamaterial
CN111300431A (zh) 面向跨场景的机器人视觉模仿学习方法及系统
CN116423520A (zh) 一种基于视觉和动态运动基元的机械臂轨迹规划方法
CN116719409A (zh) 一种基于智能体主动交互的操作技能学习方法
CN116901071A (zh) 基于多尺度序列模型的模仿学习机械臂抓取方法及装置
Van der Merwe et al. Integrated object deformation and contact patch estimation from visuo-tactile feedback
Zhou et al. T-td3: A reinforcement learning framework for stable grasping of deformable objects using tactile prior
Kim et al. Marker-embedded tactile image generation via generative adversarial networks
JP7349423B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
CN115270399A (zh) 一种工业机器人姿态识别方法、装置及存储介质
Zhang et al. ADG-Net: A Sim2Real multimodal learning framework for adaptive dexterous grasping
CN119234220A (zh) 使用图神经网络模拟具有不连续动力学的物理环境
Shan et al. Soft contact simulation and manipulation learning of deformable objects with vision-based tactile sensor
CN119458332B (zh) 一种基于视-触觉融合的高精度物体位姿估计与精细操作方法
CN118559695A (zh) 基于虚实融合的自适应梯度软排线一步扣合预测方法
CN118990492A (zh) 基于拉格朗日卷积长短期记忆网络的工业机器人故障预测方法
Wang et al. Elastic interaction of particles for robotic tactile simulation
Duan et al. Learning physics properties of fabrics and garments with a physics similarity neural network
CN116749186A (zh) 一种基于内模控制的机器人手眼协调方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination