CN117301056A - 一种基于双臂姿态的实时捕捉的机器人遥控系统和方法 - Google Patents

Abstract

本发明属于机器人遥控技术领域，涉及一种基于双臂姿态的实时捕捉的机器人遥控系统和方法，包括：应急遥操作机器人，用于获得具有深度信息的图像信息，生成三维模型，接收应急救援云平台中生成的机器人动作指令，根据机器人动作指令驱动机器人动作；应急救援云平台，用于将三维模型传送至增强现实模型，并接收增强现实模块采集的操作人员的双臂姿态信息，并将其转换为机器人动作指令；增强现实模块，用于根据三维模型，采集操作人员的双臂姿态信息，并将姿态信息上传至应急救援云平台。其方便拆解、易于搬运、快速搭建的应急双边遥操作，能够帮助应急救援人员在面对复杂、多变、非结构化的环境下进行精细类应急救援遥操作。

Description

一种基于双臂姿态的实时捕捉的机器人遥控系统和方法

技术领域

本发明涉及一种基于双臂姿态的实时捕捉的机器人遥控系统和方法，属于机器人遥控技术领域。

背景技术

应急遥操作共融机器人结合遥操作技术与机器人技术，旨在应对应急救援现场的突发情况，具备高度自主操作和智能化水平。除了执行常规搜索、除障等操作外，该机器人系统还需要应对精密设备的拆除、拆解和搬运等精细任务。在应急救援现场，能第一时间处理突发情况，具有较高的自主操作以及智能化水平。在应急救援现场，应急救援机器人不仅要在危险环境下执行搜索、除障等常规操作，还可能面临精密设备的拆除、拆解及搬运等精细类任务，这对机器人的自主操作及智能化程度提出了较高的要求。然而目前机器人自主操作以及智能化水平较低，在应急救援现场中，面对复杂、多变、非结构化环境下的应急救援精细类操作，现阶段的机器人在自主决策层面的人工智能远远不能满足要求。因此，如何将遥操作技术与机器人技术相结合，通过人工智能增强型遥操作模式，提升应急机器人对突发情况的处理能力，是当前应急救援领域亟待解决的一大问题。

在传统的遥操作过程中，人与机器人的视觉共融仅通过RGB画面共享实现，这种视觉共融模式无法让远程操作人员感知到现场的深度信息。这种限制使得机器人在执行精细类操作时可能会引入较大的误差。

人机共融，是指机器人具备多模态共同感知的特征，将人与机器人由主仆关系改变为伙伴关系，是下一代机器人的本质特征。

为了解决当前的限制，需要一种新的视觉共融模式，使远程操作人员能够感知到现场的深度信息，从而提升机器人的操作精度、效率和智能化水平。

发明内容

针对上述问题，本发明旨在提供一种基于双臂姿态的实时捕捉的机器人遥控系统和方法，以便在应急救援场景中实现方便拆解、易于搬运、快速搭建的应急双边遥操作。该系统能够帮助应急救援人员在复杂、多变、非结构化的环境下进行精细类应急救援遥操作，具有操作便捷、人机共融、动作精细等特点，同时具备安全性、可靠性及人机交互便捷性。

为实现上述目的，本发明提出了以下技术方案：一种基于双臂姿态的实时捕捉的机器人遥控系统，包括：应急遥操作机器人、应急救援云平台和增强现实模块；所述应急遥操作机器人，用于获得具有深度信息的图像信息，生成三维模型，接收所述应急救援云平台中生成的所述机器人动作指令，根据所述机器人动作指令驱动机器人动作；所述应急救援云平台，用于将所述三维模型传送至所述增强现实模块，并接收所述增强现实模块生成的机器人动作指令；所述增强现实模块，用于通过增强显示技术显示三维模型，同时采集操作人员的双臂姿态信息并转化为所述机器人动作指令，并将所述机器人动作指令上传至所述应急救援云平台。

进一步，所述应急遥操作机器人包括RGB摄像头、深度摄像头、边缘主机和机械臂，所述RGB摄像头和深度摄像头，用于获得具有深度信息的图像信息；所述边缘主机，用于根据所述具有深度信息的图像信息生成三维模型，并接收所述机器人动作指令；所述机械臂，用于根据所述机器人动作指令模拟人类手臂进行动作。

进一步，通过IMU线程调节所述RGB摄像头和深度摄像头的位置，所述IMU线程读取和处理从惯性测量单元获取的数据，根据所述惯性测量单元的数据计算所述RGB摄像头和深度摄像头的姿态，若所述RGB摄像头和深度摄像头旋转的欧拉角大于结束采样阈值，则结束采样；若所述RGB摄像头和深度摄像头旋转的欧拉角超过间隔采样阈值，则通过所述RGB摄像头和深度摄像头捕获图像并记录数据，所述RGB摄像头和深度摄像头获取视频流，记录当前的欧拉角并捕获图像，获得图像信息后，计算旋转矩阵。

进一步，所述边缘主机对收集到的数据进行分析处理，并根据结果来决定机械臂和底盘车的操作，所述边缘主机将图像数据转化为点云数据，并基于所述旋转矩阵先进行点云数据的粗配准，后基于彩色ICP算法实现点云精配准，当多帧点云融合为场景点云后，基于BPA球形旋转算法将场景点云数据会转化为三角网格数据，将所述三角网格数据发送到所述应急救援云平台。

进一步，所述机械臂包括执行器、关节、传动臂和第一传感器；所述执行器，用于接收所述机器人动作指令；所述关节，用于模拟人体关节，其能够在180°内旋转；所述传动臂，用于模拟双臂的伸缩；所述第一传感器，用于感知周围环境和物体的位置、形状和受力信息，并将其传输至所述执行器，所述执行器根据所述第一传感器反馈的信息对关节和传动臂进行调整。

进一步，所述机械臂的顶端设置夹爪，所述夹爪用于实现物体的拖拽和抓取，所述执行器根据所述第一传感器反馈信息调整夹爪的抓取力。

进一步，所述应急遥操作机器人还包括驱动式移动底盘车，所述驱动式移动底盘车根据所述边缘主机内存储的路线图、操作人员的双臂姿态信息或自主导航避让选择行进路线，所述驱动式移动底盘车通过控制两个驱动力的转速差异实现转向和移动。

进一步，所述应急遥操作机器人还包括第二传感器，所述第二传感器为温湿度传感器，所述温湿度传感器用于检测周围环境的温湿度变化，并将所述温湿度变化信息转换为电信号，所述温湿度传感器将检测出的受灾现场的温湿度发送到所述应急救援云平台。

进一步，所述增强现实模块包括：增强显示单元，机器人控制单元和人机交互界面；所述增强显示单元，用于根据所述三维场景模型生成虚拟现实场景；所述机器人控制单元，用于在所述虚拟现实场景中对机器人进行控制，并采集操作人员的双臂姿态信息；所述人机交互界面，用于了解机器人的实施状态。

本发明还公开了一种基于双臂姿态的实时捕捉的机器人遥控方法，用于上述任一项所述的基于双臂姿态的实时捕捉的机器人遥控系统，包括以下步骤：应急遥操作共融机器人通过RGB摄像头和深度摄像头采集灾害现场图像的颜色信息和深度信息；根据所述图像的颜色信息和深度信息，获得场景点云数据；根据所述场景点云数据生成三维重建模型；根据所述三维重建模型生成虚拟现实场景；在所述虚拟现实场景中对机器人进行控制，实时采集操作人员的双臂姿态信息，并通过语音向所述操作人员核实；将经过核实的所述双臂姿态信息转化为遥操作共融机器人动作指令；根据所述遥操作共融机器人动作指令，对遥操作共融机器人的动作进行控制。

本发明用于采取以上技术方案，其具有以下优点：

1、本发明中方案实现了方便拆解、易于搬运、快速搭建的应急双边遥操作，能够帮助应急救援人员在面对复杂、多变、非结构化的环境下进行精细类应急救援遥操作，具有操作便捷、人机共融、动作精细等特点。同时，所述方案还具备安全性、可靠性及人机交互便捷性；

2、本发明中的方案使用了多种先进技术实现了遥操作共融机器人的自主操作和智能化水平，可以帮助应急救援现场更快、更精准地处理突发情况。

3、本发明中的方案可以让远程操作人员更加直观地感知机器人所处的环境，并实时传输这些信息以实现视觉感知共融，可以让远程操作人员在感知现场深度信息的前提下，使用双臂操纵应急机器人进行精细类操作，这种双边遥操作方式可以帮助远程操作人员更好地控制机器人，提高操作效率和准确性。

附图说明

图1是本发明一实施例中基于双臂姿态的实时捕捉的机器人遥控系统的结构示意图；

图2是本发明一实施例中应急遥操作机器人的控制方法的流程图；

图3是本发明一实施例中机械臂线程的流程图；

图4是本发明一实施例中IMU线程的流程图；

图5是本发明一实施例中Kinect线程的流程图；

图6是本发明一实施例中计算线程的流程图；

图7是本发明一实施例中底盘车线程的流程图；

图8是本发明一实施例中增强现实模块的控制方法的流程图。

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方案，通过具体实施例对本发明进行详细的描绘。然而应当理解，具体实施方式的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。在本发明的描述中，需要理解的是，所用到的术语仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。

为提高应急机器人远程执行精细操作任务的能力，本发明提出了一种基于双臂姿态的实时捕捉的机器人遥控系统和方法。该系统首先通过对机器人周围环境进行三维重建，并实时传输重建结果，实现远程操作人员与机器人之间的视觉感知共融。随后，通过实时捕捉远程操作人员的双臂姿态信息，实现对机器人的遥操作，满足远程操作人员在感知现场深度信息的前提下使用双臂操纵应急机器人开展精细操作的需求。为进一步提高应急机器人的自主决策能力，本发明还使用了深度学习技术实现特定目标的识别，从而提高了应急遥操作共融机器人的自主决策能力。同时，通过动态路径规划算法实现应急机器人的自主避障功能。下面结合附图，通过实施例对本发明方案进行详细阐述。

实施例一

本实施例公开了一种基于双臂姿态的实时捕捉的机器人遥控系统，如图1所示，包括应急遥操作机器人、应急救援云平台和增强现实模块。

应急遥操作机器人部署在灾害现场，用于获得具有深度信息的图像信息，生成三维模型，接收应急救援云平台生成的机器人动作指令，根据机器人动作指令驱动机器人动作；

应急救援云平台部署在云端的服务器，用于建立应急遥操作机器人和增强现实模块之间的通信，将三维模型数据传输至增强现实模块，并接收由增强现实模块采集的操作人员的双臂姿态信息所生成的机器人动作指令；

增强现实模块包括可以佩戴的增强现实头盔和姿态识别设备，一般位于远程指挥中心，用于根据三维模型现实，采集操作人员的双臂姿态信息，并将姿态信息上传至应急救援云平台。

该系统通过建立增强现实模块、应急遥操作机器人与应急救援云平台之间的通讯联系，实现精细动作的遥操作。增强现实头盔佩戴于操作人员头部，与应急救援云平台进行通信及数据处理，增强现实模块接收应急救援云平台发送的三维模型并显示现场的实时画面，应急救援云平台接收增强现实模块发送的操作人员双臂姿态数据。

本实施例中，应急遥操作机器人包括RGB摄像头、深度摄像头、边缘主机和机械臂。

RGB摄像头和深度摄像头搭载于应急遥操作共融机器人顶部，用于获得具有深度信息的图像信息；传统的摄像头采集的图像一般只包括RGB图像，即只能采集到包括颜色的图像，缺少物体表面的形状信息，对颜色相近但形状不同的物体进行识别时容易造成错误。使用RGB摄像头和深度摄像头可以在获取高分辨的RGB图像的同时获取每个像素的深度值，图像的深度数据中蕴含着有关物体形状的信息，可以为物体识别提供新的特征。针对深度信息的图像信息的深度学习算法可以实现对灾害现场特定目标的精准识别。摄像头采集到的数据会在边缘主机处进行处理。

本实施例中，RGB摄像头和深度摄像头采用Azure Kinect深度摄像头，该AzureKinect深度摄像头是一种能够同时获取RGB图像和深度信息的摄像头，它可以通过红外发射器和红外相机等技术获取每个像素的深度值，从而得到物体的三维形状信息。深度摄像头是利用红外光在物体表面的反射和散射来获取深度信息，因此相对于传统的RGB摄像头，深度摄像头可以提供更加丰富的图像信息，提供更加精准的环境感知能力，从而实现更加智能化的运动控制。在应急遥操作共融机器人中，搭载Azure Kinect深度摄像头可以为机器人提供更加精准的环境感知能力，从而实现对灾害现场特定目标的精准识别。摄像头采集到的数据会在边缘主机处进行处理，通过深度学习算法对数据进行处理和分析，从而实现机器人的自主控制和运动。

边缘主机置于该应急遥操作机器人内部，用于根据深度信息的图像信息生成三维模型，并接收机器人动作指令。边缘主机能够实时整合RGB摄像头和深度摄像头采集到的灾害现场的颜色信息和深度信息，并通过该动态路径规划算法对其进行处理，以实现对灾害现场特定目标的精准识别和应急机器人在复杂、多变、非结构化环境下进行自主避障，同时能够使用整合过的信息快速地进行高清晰度的三维场景重建、解析遥操作指令下发给机械臂和驱动式移动底盘车。

本实施例中，边缘主机内部的处理系统为Jetson XavierNX，Jetson XavierNX是一款具有人工智能和机器学习能力的嵌入式计算平台，提供了硬件加速、高效能的计算资源，可用于各种应用场合。应急遥操作机器人是一种通过远程控制实现救援、清障、勘察等任务的机器人。Jetson XavierNX可以作为应急遥操作机器人的核心处理器，通过其强大的计算能力和低延迟的图像处理能力，实现机器人快速响应、准确执行任务的目的。具体来说，Jetson XavierNX可用于以下方面：远程视频传输和处理：Jetson XavierNX可以接收机器人上载的视频信号，并对图像进行实时处理和分析。这样可以帮助机器人更好地适应不同环境下的变化，提升机器人的运动控制、实时路径规划等能力。深度学习模型的训练和部署：Jetson Xavier NX支持深度学习框架，如TensorFlow、PyTorch等，在其上开发和部署相关模型，进一步提高机器人的智能化水平。Jetson Xavier NX的强大计算能力、图像处理能力和低延迟的特性，使其成为应急遥操作机器人不可或缺的部分。

机械臂搭载于应急遥操作共融机器人上，用于根据边缘主机发出的机器人动作指令精准模拟操作人员两臂和手掌的姿态进行动作，实现精细的操作。机械臂能够模拟人类手臂动作，其包括执行器、关节、传动臂和第一传感器；执行器，用于接收机器人动作指令；关节，用于模拟人体关节，其能够在180°内旋转，本实施例中该关节可以在-150°-150°之间旋转，该关节可以旋转、伸缩和弯曲，即模拟人肘关节和腕关节的运动方式，能够实现多种姿态和动作；传动臂，用于模拟双臂的伸缩；第一传感器，用于感知周围环境和物体的位置、形状和受力信息，并将其传输至执行器，执行器根据第一传感器反馈的信息对关节和传动臂进行调整。机械臂的顶端设置夹爪，夹爪用于实现物体的拖拽和精准的抓取，执行器根据第一传感器反馈信息调整夹爪的抓取力，以辅助夹爪进行精确的操作。

应急遥操作机器人还包括驱动式移动底盘车，驱动式移动底盘车置于应急遥操作共融机器人的底部，通常包括车身、车轮、电机和控制系统等，其根据边缘主机的指令来使遥操作共融机器人进行移动，应急驱动式移动底盘车的路线可以根据边缘主机内存储的路线图、操作人员的双臂姿态信息或自主导航避让选择行进路线。驱动式移动底盘车能使应急遥操作共融机器人的通过性更好、更加安全可靠、负重能力和爬坡能力更强。而且驱动式移动底盘车可以作为应急遥操作共融机器人的底部支撑，为机器人提供移动能力，并提高其稳定性，同时还能够承载一定的负重，提高机器人的工作效率。

本实施例中，驱动式移动底盘车采用差速驱动的方式进行驱动，即通过控制两个驱动力的转速差异实现转向和移动。这种驱动方式具有灵活性和可靠性，能够适应不同地形和复杂环境下的移动需求。同时，驱动式移动底盘车还具备自主避障功能，能够避免与障碍物碰撞，从而保证了机器人的安全性和稳定性。

应急遥操作机器人还包括第二传感器，第二传感器为温湿度传感器，温湿度传感器用于检测周围环境的温湿度变化，并将温湿度变化信息转换为电信号，其可以检测出受灾现场的温度和湿度，并将其反馈给操作增强现实模块的远程操作人员。

如图2所示，应急遥操作机器人的控制系统由多线程控制实现，首先，启动控制程序，其次需要确保Azure Kinect摄像头的稳定性，以便其能够旋转并捕捉周围的场景。接下来，需要对机械臂进行初始化，以便使用Jetson Xavier NX传输指令来控制机械臂的运动。在初始化完成后，需要启动服务器，并等待客户端的连接。一旦客户端连接成功，就会启动五个线程来进行不同的任务。五个线程包括机械臂线程、IMU线程、Kinect线程、计算线程以及底盘车线程。

如图3所示，机械臂线程的作用是控制机械臂的运动，使其能够根据收到的指令序列执行所需的任务。该机械臂线程首先等待客户端指令，在收到机械臂指令数据后，可以直接控制机械臂的运动，若没有收到数据，等待用户输入指令后，收到控制夹爪的指令，可以控制夹爪的运动。

如图4所示，通过IMU线程调节RGB摄像头和深度摄像头的位置，IMU线程读取和处理惯性测量单元的数据，根据惯性测量单元的数据计算RGB摄像头和深度摄像头的欧拉角，若RGB摄像头和深度摄像头旋转的欧拉角大于结束采样阈值，则结束采样；若RGB摄像头和深度摄像头欧拉角旋转超过间隔采样阈值，则通过RGB摄像头和深度摄像头捕获图像并记录数据，RGB摄像头和深度摄像头获取视频流，记录当前的欧拉角并捕获图像，获得图像信息后，计算旋转矩阵。

如图5所示，Kinect线程用于获取摄像头的视频流，并将其传递给计算线程进行分析处理。Kinect线程先处于等待唤醒状态，待收到唤醒后，记录当前的欧拉角并捕获图像，获取到图像信息后，计算旋转矩阵并通知计算线程。

如图6所示，计算线程主要由边缘主机实现，计算线程对收集到的数据进行分析处理，并根据结果来决定机械臂和底盘车的操作，计算线程将图像数据转化为点云数据，基于旋转矩阵先进行点云数据的粗配准，后基于彩色ICP算法实现点云精配准。多帧点云融合为场景点云后，基于BPA球形旋转算法将场景点云数据转化为三角网格数据，将三角网格数据发送到应急救援云平台。本实施例中，最初采用PCL库处理Kinect线程采集到的点云数据，将其重构为点云数据，由于点云数据过于分散，灾害场景重现效果不好。使用三角面片重构场景模型的效果较好，决定将点云数据重构为三角面片。在利用PCL库将点云数据重构为三角面片的过程中又发现，处理数据占用系统的开销较大，耗费时间较多，单个三维场景重构为三角面片需要耗费五分钟左右的时间，不利于实现实时数据传输。综合考虑后，本实施例采用Open3D库来实现上述功能，并且结合多线程技术进一步提升系统的性能，提升了三维环境重建的效率。

如图7所示，底盘车线程则负责控制底盘车的移动，以便其能够跟随机械臂和执行相应的任务。底盘车线程等待客户端指令，底盘车收到客户端指令发送的数据后，可以根据指令进行运动。

本实施例中，增强现实模块包括增强显示单元，机器人控制单元和人机交互界面；

增强显示单元，用于根据三维场景模型生成虚拟现实场景；

机器人控制单元，用于在虚拟现实场景中对机器人进行控制，并采集操作人员的双臂姿态信息；

操作人员的双臂姿态信息即识别人体关键点(如头、颈、肩、肘、腕等)并正确地联接起来，通过对人体关键点在三维空间相对位置的计算，来估计人体当前的姿态。姿态识别常用的技术方案为两种，一种是应用基于RGB图像的视觉算法，如OpenPose、OpenPifPaf等，一种是基于体感识别的骨骼追踪算法。本项目将尝试使用体感识别算法实现对操作员双臂姿态的实时识别后，将各关节旋转角度压制进遥操作指令下发至应急遥操作共融机器人。

应急遥操作共融机器人在接收到遥操作指令后，会根据周围障碍物的布局和自身的机构特性，对遥操作指令进行可达性解算，如当会与周围障碍物发生碰撞或仿生机械臂相关关节的旋转阈值时，机器人会中止该遥操作指令的下发，并向应急救援云平台发送报警信息，发出遥操作指令的远程操作员会在增强现实头盔上看见相关提示，切换更合理的操作位姿。

人机交互界面，用于了解机器人的实施状态。本实施例中，人机交互界面主要包括登录和注册功能、机器人系统主页、查看机器人状态、查看历史回放和退出登录等功能，通过这些功能可以实现对机器人系统的管理和控制。

登录和注册功能，用于对界面进行注册和登录，注册成功后用户数据会保存在MySQL数据库中。

机器人系统主页，用于查看机器人状态。机器人状态包括遥操作类机器人或环境采集类机器人状态，可以显示当前登录的用户、机器人的在线状态、机器人当前所在位置等信息。同时，用户可以查看机器人详情，包括机器人的具体功能介绍。

查看历史回放，用于查看机器人过去协助救援行为的一些历史记录，这些记录包括机器人的运动轨迹、传感器数据等。

退出登录，用于退出当前用户登录，退出后可以返回到登录界面重新登录。

本实施例中，增强显示单元为可以佩戴的增强现实头盔，本实施中优选采用HoloLens 2增强现实头戴式设备，该设备采用了先进的混合现实技术，能够将虚拟图像与真实世界相融合，从而实现更加沉浸式的用户体验。HoloLens 2的设计非常轻便，佩戴起来非常舒适，可以长时间连续使用。HoloLens 2配备了高性能的计算机和传感器，可以实时地获取周围环境的信息，并将虚拟图像与真实世界进行精准的对位和交互。它还支持语音识别和手势控制，可以通过简单的语音命令和手势操作来控制设备和进行交互。在本项目中，通过佩戴HoloLens 2设备，可以让操作人员仿佛置身于真实的受灾现场，更好地指导机器人进行救援任务。

如图8所示，增强现实模块的控制方法为：操作人员佩戴HoloLens 2设备，接受场景模型数据，对受灾场景进行可视化，可以进入虚拟现实场景中，与虚拟机器人进行互动。通过拉动机械臂目标，发送机械臂各关节角度数据到服务器。拉动底盘车，发送底盘车移动距离到服务器。点击夹爪，发送夹爪开关状态到服务器。此外，还能通过对虚拟应急遥操作共融机器人的控制，实现对受灾现场机器人的控制。在虚拟现实场景中，用户可以查看机器人的在线状态、机器人当前所在位置等信息，方便用户了解机器人的实时状态。

实施例二

基于相同的发明构思，本实施例公开了一种基于双臂姿态的实时捕捉的机器人遥控方法，用于上述任一项的基于双臂姿态的实时捕捉的机器人遥控系统，包括以下步骤：

应急遥操作共融机器人通过RGB摄像头和深度摄像头采集灾害现场图像的颜色信息和深度信息；

根据图像的颜色信息和深度信息，获得场景点云数据；

根据场景点云数据生成三维重建模型；再通过可信通讯链路将重建的三维场景实时上传至应急救援云平台，根据三维重建模型生成虚拟现实场景，并下发至远程操作员佩戴的增强现实头盔中，实现机器人与操作员的立体视觉感知共融。

在虚拟现实场景中对机器人进行控制，实时采集操作人员的双臂姿态信息，并通过语音向操作人员核实；操作人员面对与现场一致的三维场景，使用双臂执行下一个操作动作，其佩戴的姿态识别设备对操作员的双臂位姿进行实时捕捉，当操作员通过语音指令进行确认后，其双臂姿态被处理为遥操作指令通过应急救援云平台下发至应急遥操作共融机器人处，在进行可达性过滤后由机器人的仿生双臂准确执行，从而实现涵盖精细动作的遥操作。

将经过核实的双臂姿态信息转化为遥操作共融机器人动作指令；根据遥操作共融机器人动作指令，对遥操作共融机器人的动作进行控制。为进一步提高应急机器人的自主决策能力，将使用深度学习技术实现对灾害现场特定目标的识别，并通过动态路径规划算法实现应急机器人的自主避障功能。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。上述内容仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，包括：应急遥操作机器人、应急救援云平台和增强现实模块；

所述应急遥操作机器人，用于获得具有深度信息的图像信息，生成三维模型，接收所述应急救援云平台中生成的所述机器人动作指令，根据所述机器人动作指令驱动机器人动作；

所述应急救援云平台，用于将所述三维模型传送至所述增强现实模块，并接收所述增强现实模块生成的机器人动作指令；

所述增强现实模块，用于通过增强显示技术显示三维模型，同时采集操作人员的双臂姿态信息并转化为所述机器人动作指令，并将所述机器人动作指令上传至所述应急救援云平台。

2.如权利要求1所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述应急遥操作机器人包括RGB摄像头、深度摄像头、边缘主机和机械臂，所述RGB摄像头和深度摄像头，用于获得具有深度信息的图像信息；所述边缘主机，用于根据所述具有深度信息的图像信息生成三维模型，并接收所述机器人动作指令；所述机械臂，用于根据所述机器人动作指令模拟人类手臂进行动作。

3.如权利要求2所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，通过IMU线程调节所述RGB摄像头和深度摄像头的位置，所述IMU线程读取和处理从惯性测量单元获取的数据，根据所述惯性测量单元的数据计算所述RGB摄像头和深度摄像头的姿态，若所述RGB摄像头和深度摄像头旋转的欧拉角大于结束采样阈值，则结束采样；若所述RGB摄像头和深度摄像头旋转的欧拉角超过间隔采样阈值，则通过所述RGB摄像头和深度摄像头捕获图像并记录数据，所述RGB摄像头和深度摄像头获取视频流，记录当前的欧拉角并捕获图像，获得图像信息后，计算旋转矩阵。

4.如权利要求3所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述边缘主机对收集到的数据进行分析处理，并根据结果来决定机械臂和底盘车的操作，所述边缘主机将图像数据转化为点云数据，并基于所述旋转矩阵先进行点云数据的粗配准，后基于彩色ICP算法实现点云精配准，当多帧点云融合为场景点云后，基于BPA球形旋转算法将场景点云数据会转化为三角网格数据，将所述三角网格数据发送到所述应急救援云平台。

5.如权利要求2所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述机械臂包括执行器、关节、传动臂和第一传感器；所述执行器，用于接收所述机器人动作指令；所述关节，用于模拟人体关节，其能够在180°内旋转；所述传动臂，用于模拟双臂的伸缩；所述第一传感器，用于感知周围环境和物体的位置、形状和受力信息，并将其传输至所述执行器，所述执行器根据所述第一传感器反馈的信息对关节和传动臂进行调整。

6.如权利要求5所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述机械臂的顶端设置夹爪，所述夹爪用于实现物体的拖拽和抓取，所述执行器根据所述第一传感器反馈信息调整夹爪的抓取力。

7.如权利要求5所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述应急遥操作机器人还包括驱动式移动底盘车，所述驱动式移动底盘车根据所述边缘主机内存储的路线图、操作人员的双臂姿态信息或自主导航避让选择行进路线，所述驱动式移动底盘车通过控制两个驱动力的转速差异实现转向和移动。

8.如权利要求5所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述应急遥操作机器人还包括第二传感器，所述第二传感器为温湿度传感器，所述温湿度传感器用于检测周围环境的温湿度变化，并将所述温湿度变化信息转换为电信号，所述温湿度传感器将检测出的受灾现场的温湿度发送到所述应急救援云平台。

9.如权利要求1所述的基于双臂姿态的实时捕捉的机器人遥控系统，其特征在于，所述增强现实模块包括：增强显示单元，机器人控制单元和人机交互界面；

所述增强显示单元，用于根据所述三维场景模型生成虚拟现实场景；

所述机器人控制单元，用于在所述虚拟现实场景中对机器人进行控制，并采集操作人员的双臂姿态信息；

所述人机交互界面，用于了解机器人的实施状态。

10.一种基于双臂姿态的实时捕捉的机器人遥控方法，其特征在于，用于如权利要求1-9任一项所述的基于双臂姿态的实时捕捉的机器人遥控系统，包括以下步骤：

应急遥操作共融机器人通过RGB摄像头和深度摄像头采集灾害现场图像的颜色信息和深度信息；

根据所述图像的颜色信息和深度信息，获得场景点云数据；

根据所述场景点云数据生成三维重建模型；

根据所述三维重建模型生成虚拟现实场景；

在所述虚拟现实场景中对机器人进行控制，实时采集操作人员的双臂姿态信息，并通过语音向所述操作人员核实；

将经过核实的所述双臂姿态信息转化为遥操作共融机器人动作指令；

根据所述遥操作共融机器人动作指令，对遥操作共融机器人的动作进行控制。