CN116600019B - 一种基于ip网络的设备通用操控方法 - Google Patents

Abstract

本发明公开了一种基于IP网络的设备通用操控方法，对于包括多种型号的传感器平台的侦察网络，通过对传感器平台的控制模式、控制特性、图像/数据获取能力进行统一建模，使得这些异构类装备能够遵循一致的控制逻辑框架完成人机交互；基于统一的报文封装规则，建立一种控制流、数据流的重定向机制，使得原先通过各自独立的点对点连接链路实现的本地终端与传感器设备间的数据交互可以重定向到远程终端或传感器设备，使任意节点的控制终端均具备对远程节点传感器设备的操控能力。本发明方法可用于各种基于IP互联的侦察/监控网络，可以方便地实现节点间的远程互操作。

Description

一种基于IP网络的设备通用操控方法

技术领域

本发明属于分布式控制技术领域，涉及一种基于IP报文交互的异构类节点的设备远程操控方法。

背景技术

侦察网络是一种基于IP互联的网络，由若干侦察节点提供侦察信息获取能力，这些侦察节点包括各型侦察车，单兵用侦察仪，无人侦察机等，各节点独立操作控制，通过各节点操作人员基于相关互联互通软件的主动操作，实现侦察信息的分享与汇总。在实际应用中，协同侦察是侦察网络的一种重要工作模式，即由多个节点协同完成共同任务，例如，对特定目标进行交汇定位、通过不同视点、视角的观察，判定目标特征，这种工作模式需要不同节点上的操作人员高度协调一致，传统的方法是通过语音通信、文电通信实时沟通，存在的问题是，对于实时性要求较高的多平台操作控制，例如不同平台传感器的快速调转，快速获取另一装备的传感器视角等，由于是通过不同人员基于互相沟通完成协同操作，受制于人员反应时间，沟通过程中因为歧义，信息确定性不足等因素，难以达到较好的效果，因此，设备的远程互操作，即由一个节点的操作员在获得授权情况下直接操作另一节点的设备成为更好的选择，然而，对于异构类装备，由于控制接口各异，要实现远程互操作设计需要引入大量的接口改造、软件针对性设计的工作，因此需要寻求一种能够支持异构类装备远程互操作的通用方法。

发明内容

(一)发明目的

本发明的目的是：为侦察网络的异构类装备远程互操作提供一种通用化方法，从而能够以简洁的设计基于IP报文交互实现任意节点对远程节点的设备进行操作控制。

(二)技术方案

为了解决上述技术问题，本发明提供一种基于IP网络的设备通用操控方法，包括以下步骤：

S1：对侦察网络涉及的各型侦察节点的控制模式、控制特性、图像/数据获取能力进行汇总分析，从控制流、数据流、视频流角度建立远程互操作过程的业务逻辑；

S2：基于S1建立的业务逻辑，细化出远程互操作过程涉及的数据交互内容，完成统一的报文封装规则定义；

S3：在S1，S2的基础上，完成远程互操作的具体流程设计。

针对任意节点在本控(即该节点的操作终端控制的是本地设备)、遥控(即该节点的操作终端控制的是另一节点的设备)、被控(即该节点的设备被另一节点的操作终端控制)三种模式间切换时涉及的控制流、数据流的源端与目的端地址的变化，制定出控制流与数据流的重定向机制，即在节点工作模式切换时，如何通过格式报文交互信息，完成协商，使控制流、数据流的源端或目的端重新定向到新的节点，重新建立链路以支持新的工作模式下的数据交互要求；

针对异构类节点，控制软件采用模块化设计：任意装备对应的控制软件均设计为特定的软件模块，这些模块均可运行于通用计算机环境下，任意节点的控制终端通过加载相应的模块即可对其他节点的侦察装备进行控制。任意节点均可预先安装若干不同的控制模块，同时，本方法提供一种自动下载机制，即节点在建立连接的初始阶段，通过协商，确定将转入遥控模式的节点是否具备对应的控制模块，若不具备，则自动从被控节点下载并运行。

步骤S1的具体实现如下：对多型侦察节点的功能、性能指标、操作方式进行汇总整理，得到如下通用特性：侦察节点的控制模式通常为操作员操作手柄、键盘、鼠标、触摸屏等输入装置，控制模块将这些输入装置的数据，如控制量、按键码等，解析为对设备的操作控制指令，形成从操作控制终端到被控设备的控制流；被控设备获取的角度、距离、状态等数据则形成从被控设备到操作控制终端的数据流；

控制流及数据流均为低速数据，数据率一般在几Kbps到数百Kbps。

被控设备获取的图像则基于操作控制终端的图像采集接口转换为数字视频，在本控状态下，数字视频实时提交到显示终端进行显示，而在进行远程互操作时，数字视频需要从被控节点通过IP网络发送到遥控节点，由于数字视频数据量大，无法直接传输，因此需要基于视频实时压缩技术，将数字视频转换为限定码率(针对不同的分辨率、图像质量，限定码率可设定为数百Kbps到数十Mbps)的视频流。

通常，基于军用宽带电台组建的无线IP网络，其带宽在数百Kbps到数十Mbps，因此，通过选择合理的数据压缩参数，可以通过该网络完成控制流、数据流、视频流的跨节点传输。

在本控模式下，节点的控制流、数据流是基于特定类型的通信接口(例如CAN总线，串口、网口等)进行传输的，传输的基本单元为一定长度的数据片段，即数据包。在进行远程互操作时，这些数据包则封装为IP包传输，由于IP包头包含了源地址、目的地址信息，因此，应用层封装数据时，仅需在数据头部增加信息类型标识，指明该数据在本地经由哪一个物理层接口传送。

对于视频流的传输，根据网络端到端带宽约束设置码率上限，基于H.264、H.265等流媒体传输技术，以统一的视频分发机制支持各不同装备迥异的原始视频格式。

考虑一个A节点遥控B节点的远程互操作的发起、进行、结束的过程，建立以下顺序的业务逻辑：

1)A节点向B节点发起控制申请；

2)B节点返回装备类型码K2；

3)A节点查询K2对应的控制模块是否已在本地安装，若已安装，转到步骤4，否则从B节点下载安装该控制模块，转到4；

4)A节点以遥控模式启动控制模块，启动完成后，向B发出“控制就绪”状态；

5)B节点查询本地运行的控制模块类型码是否为K2，是则转到6；否则关闭当前控制模块，再启动K2对应的控制模块，转到6；

6)B节点控制模块转入被控状态。

7)A节点遥控B节点，该过程中，控制流由A节点控制模块传输到B节点控制模块，再由B节点控制模块转发到对应物理接口；数据流由B节点控制模块从相应物理接口接收，并封装为IP包，转发到A节点控制模块；

8)需结束远程互操作时，由A节点控制模块向B节点控制模块发出退出控制；B节点控制模块收到退出控制后转入本控。

步骤S2的具体实现如下：根据步骤S1建立的业务逻辑，整理出远程互操作交互的数据内容包括控制申请、控制就绪、退出控制、装备类型码查询、装备类型码、控制模块软件下载申请、安装包传输、控制流、数据流等。通过定义特定的报文头结构，对上述内容按照统一的规则封装为UDP报文，并通过指定端口传送，报文解析规则保证数据封装过程是一个可逆过程，即在不知道任何被封装报文数据结构信息的情况下，仅基于报文头结构，能够方便地从封装好的UDP数据包中恢复出原始控制报文、数据报文。

通过报文封装与解析规则，能够在装备操作控制模块与装备的被控设备间在更高抽象层级建立连接，从而替代原有的基于具体实体通信接口的物理连接。这样，装备操作控制模块对于设备的控制能够在不同工作模式下采用完全一致的处理机制，即异构类节点可以直接使用与部署在另一节点上的完全一致的装备操作控制模块控制设备，而不再需要针对远程控制专门再开发一套控制软件。

步骤S3的具体实现如下：各节点均运行符合S1、S2所规定的业务逻辑、报文封装规则的侦察态势模块作为人机交互的入口，装备控制模块则视具体业务逻辑选择性启动或退出。侦察态势模块在UDP端口P1与远程节点的侦察态势模块通信，在P2端口与装备操作控制模块通信。装备控制模块通过端口P2与外部交互数据。

在远程互操作的发起阶段，由遥控端和被控端的侦察态势模块在P1口协商，协商完成后，遥控端和被控端均运行与被控端装备类型对应的装备控制模块，其中，遥控端的装备控制模块以遥控模式运行，被控端的装备控制模块以被控模式运行，控制流方向为：从遥控端P2口到被控端P2口，数据解封装后由被控端转发到对应的物理接口，如CAN口、串口等；数据流方向为：从被控端物理接口获取数据，数据封装后由被控端P2口转发到遥控端P2口，数据解封装后遥控端完成数据解析处理。

控制流与数据流的重定向机制具体如下：操作员在侦察态势模块界面的场景窗口(场景以二维或三维模式显示)中选取欲控制的远程节点，发起控制申请，远程节点授权后获取装备类型并查询本地终端是否具备相应的控制模块，根据查询结果，完成控制初始化过程，准备就绪后，通过控制报文交互，本地节点与远程节点协商完成控制流、数据流的重定向，即断开远程节点自身的操控装置与被控设备的连接，被控设备转而接受从网络收到的UDP控制流控制。将传感器输出数据流向远程节点分发，同时，若被控设备涉及实时图像采集功能，则被控设备将数字视频压缩为流媒体传输。下面以节点A对节点B的远程遥控的过程为例说明该机制：

考虑侦察网络的两个节点A，B。节点A上的设备类型码为K1，对应的装备控制模块为CK1，节点B上的设备类型码为K2，对应的装备控制模块为CK2，R为侦察态势模块。为表述方便，以模块标识+节点标识的代码组合表示运行在某节点上的模块，例如RA表示节点A上运行的侦察态势模块。

当节点A的操作人员欲操作节点B的设备时，在RA界面中选择节点B，并提出远程控制申请，该申请发送到节点B的P1口；若节点B当前允许远程控制接管，则RB收到控制申请后，向节点A的P1口返回节点B设备的类型码K2，并标记该信息由控制申请触发；RA收到K2后，在本地数据库中查询类型码K2对应的装备控制模块，即CK2是否已在本地安装，若查询到，则向本机P2口发送类型码查询指令，并在t1后检查类型码返回情况：若返回的类型码等于K2，表示CK2已在本地运行，则RA向本机P2口发出控制流重定向-转入遥控指令，使CK2进入遥控模式；若返回的类型码不等于K2，或类型码未返回，则RA以遥控模式启动CK2。

若RA未能在本地数据库中未查询到CK2，则向节点B的P1口发送下载申请。RB收到后，向节点A的P1口按照文件传输协议发送CK2的安装包；RA收到安装包后自动完成安装并以遥控模式启动CK2。

上述流程完成后，CK2A运行于遥控模式下，同时向节点B的P1口发出控制就绪指令。

RB收到控制就绪指令后，向本机P2端口发送类型码查询指令，并在t1后检查类型码返回情况：若返回的类型码等于K2，表示CK2已在本地运行，则RA向本机P2口发出控制流重定向-转入被控指令，使CK2B进入遥控模式；若返回的类型码不等于K2，或类型码未返回，则RB以被控模式启动CK2。

至此CK2A与CK2B通过P2口建立了远程连接，完成了节点A遥控节点B设备的控制流与数据流重定向。

节点A要终止对节点B设备的遥控时，直接退CK2A即可。装备控制模块的退出过程设计为：若当前处于遥控模式，则推出前向被控端发出控制流重定向-转入本控指令，因此CK2B将自动转入本控，即节点B恢复对其设备的控制。

(三)有益效果

上述技术方案所提供的基于IP网络的设备通用操控方法，具有以下优点：

(1)通过侦察节点统一建模，使得异构类侦察节点的功能性能，操作控制方式能够以统一的结构化数据表述，从而能够支持远程连接的自动初始化过程；

(2)通过报文封装与解析规则，实现了操作控制的具体业务逻辑与控制连接的建立与重置过程的完全解耦，使对于现有装备操作控制模块增加远程控制功能的设计改进仅局限在与控制连接的建立与重置过程相关的工作模式分解上，简化了设计过程；

(3)基于装备类型码的操作控制模块存在性判别以及自动下载机制，使得任意节点无需考虑其他节点的具体特性以及依赖的模块环境，并且能够保证对曾经连接过的节点快速接管。

附图说明

图1是本发明的一个优选实例的系统构成。

图2是控制流与数据流重定向机制的典型流程。

图3是本发明的一个优选实例的节点空间布局。

图4为节点1、节点2上的4×4侦察车控制模块的数据流、控制流传输流向。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明基于IP网络的设备通用操控方法通过控制端与被控端的自动协商机制，即控制流、数据流的重定向机制建立与重置控制端与被控端的连接，使得任一节点均可以对网络上其他远程节点的设备进行控制。

如图1和图2所示，本发明实施例中，选用最大20Mbps共享带宽的3部宽带电台建立3个侦察节点的自组织网络，其中节点1为8×8侦察车，配备A型侦察设备，包括分辨率为1920×1080的彩色电视摄像机，惯性导航装置、卫星定位装置；节点2为4×4侦察车，配备B型侦察设备，包括分辨率为1024×768分辨率的黑白电视摄像机、惯性导航装置、卫星定位装置；节点3为某型观瞄仪，配备C型侦察设备，包括分辨率为640×512红外热像仪，输出为黑白视频，可以从其安装平台获取位置、姿态角基准数据。以上3个节点的光学传感器均安装在稳定转台上，瞄线可绕方位、俯仰轴转动，稳定转台能输出瞄线相对转台零位的方位角、俯仰角；各节点的数据处理由车载计算机完成，车载计算机上除安装专用的装备控制模块外，还安装有侦察态势模块。本发明优选实例中P1端口选择20000，P2端口选择20005。节点1、2、3的IP地址分别为192.168.1.1、192.168.1.2、192.168.1.3。

本实施例定义了如下的报文封装与解析规则：

每一条报文均包括报文头，报文内容两部分。报文头为5字节，字节1为信息类型标识，字节2到字节5定义为报文掩码，按位指示相应信息字段是否出现。报文内容是各信息字段的顺序填充，信息字段是特定格式的结构化数据。报文采用小端模式，即传输多字节数据时，低字节在前。

报文长度限定在一个MTU以内，即小于1472字节。

本实施例中，传感器控制报文的信息字段包括下表内容：

表1传感器控制

表2传感器状态

如图2所示的侦察装备节点、目标点的布局，由上述3个节点构成的侦察网络以交汇定位的工作模式对目标进行协同侦察。

首先节点1操作本节点的A型设备，发现目标处于北偏西30度方位，并根据目标成像尺度，估计目标距离在4～5km，基于本侦察网络的节点位置共享，操作员判断节点2位置应能观测到目标，在侦察态势模块界面上选择节点2，并在鼠标右键弹出选单中选择“进入控制”，如图3所示流程，节点1上的侦察态势模块遂根据报文封装规则，向节点2的20000端口发出如下格式的控制申请(16进制数据)：040100000001。

节点2上的侦察态势模块收到控制申请后，弹出确认对话框，操作员可选择接收或拒绝远程控制；节点2操作员选择接受控制后，节点2上的侦察态势模块向节点1的20000端口发出侦察装备类型代码表示授权节点1控制。根据报文封装规则，报文格式为04800000000002000000。报文中最后4个字节按照uint32解析，其值为0x00000002，这是本优选实施例中为节点2装备，即4×4侦察车分配的装备类型代码。

节点1上的侦察态势模块收到控制授权后，在本地数据库中查询是否存在0x00000002型装备的控制模块，即4×4侦察车控制模块，若查询到，则向本机20005口发送类型码查询指令，报文格式为：040100000004，10毫秒后检查返回码，若返回码等于0x00000002，则向本机20005口发送控制流重定向-转入遥控指令，报文格式为：044000000000C0A80101；否则，根据查询结果中的模块存储路径信息，通过进程调用启动本地存储的4×4侦察车控制模块；若未查询到，则向节点2的20000端口发出控制模块下载申请，报文格式为：040100000005；节点2上的侦察态势模块收到控制模块下载申请后，将自解压文件形式的4×4侦察车控制模块安装包增加一个uint32格式的数据长度信息后，再顺次填入到传感器控制报文-安装包传输的fileData字段，形成多个分包逐帧传送，分包格式形如：040102000006[包序号(2字节)][数据长度(2字节)][数据(小于1462字节)]。

节点1收到上述分包校验无误后，完成解包、拼包，构建出4×4侦察车控制模块安装包，并自动完成安装、以遥控模式启动。

节点1上的4×4侦察车控制模块启动完成后，向节点2的20000端口控制就绪指令，报文格式为：040100000003。

节点2上的侦察态势模块收到控制就绪后，向本机20005口发送类型码查询指令，10毫秒后检查返回码，若返回码等于0x00000002，则向本机20005口发送控制流重定向-转入被控；否则，通过进程调用以被控模式启动4×4侦察车控制模块。

至此，完成了节点1对4×4侦察车进行远程控制时的控制流重定向过程，节点1、节点2上的4×4侦察车控制模块的数据流、控制流按照图4所示的流向进行传输，即，4×4侦察车上光电转塔传感器数据通过CAN发送到节点2上的4×4侦察车控制模块，由于该模块工作于被控模式，接收到的CAN报文被封装成传感器状态报文，格式形如：0502000000[CANID][CAN数据]，传感器状态报文由节点2上的4×4侦察车控制模块实时发送到节点1的20005端口。节点1上的4×4侦察车控制模块收到传感器状态报文后解析，显示；同时，节点1上键盘、鼠标、手柄等控制操作被节点1上的4×4侦察车控制模块捕获，形成CAN控制报文，CAN控制报文随即被封装成传感器控制报文，格式形如：0402000000[CANID][CAN数据]，传感器控制报文由节点1上的4×4侦察车控制模块实时发送到节点2的20005端口。节点2上的4×4侦察车控制模块收到传感器控制报文后解析出控制指令，执行相应操作。

处于被控模式下的4×4侦察车控制模块将启动视频推流任务，根据预设参数，将传感器视频实时压缩为低于4Mbps的H.264或H.264码流，以适应传输信道的带宽约束；处于遥控模式下的4×4侦察车控制模块则是通过对视频流解码获取视频图像帧，对应的，本控模式下，视频图像帧则通过自本地视频采集获取。

因此，在不同工作模式下，装备控制模块可使用同样的控制业务逻辑单元、报文数据解析与处理单元、视频显示处理单元，仅针对数据接口的变化在数据采集前端根据工作模式不同选择不同的处理流程，这样，就简化了各装备控制模块的设计，并能以统一的模式接入侦察网络，方便地实现互操作。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种基于IP网络的设备通用操控方法，其特征在于，包括以下步骤：

S1：对侦察网络涉及的各型侦察节点的控制模式、控制特性、图像/数据获取能力进行汇总分析，从控制流、数据流、视频流角度建立远程互操作过程的业务逻辑；

S2：基于S1建立的业务逻辑，整理出远程互操作过程涉及的数据交互内容，完成统一的报文封装规则定义；

S3：在S1，S2的基础上，建立远程互操作的流程；

步骤S3中，完成远程互操作的流程时，针对任意节点在本控、遥控、被控三种模式间切换时涉及的控制流、数据流的源端与目的端地址的变化，制定出控制流与数据流的重定向机制，在节点工作模式切换时，通过格式报文交互信息的方式，完成协商，使控制流、数据流的源端或目的端重新定向到新的节点，重新建立链路以支持新的工作模式下的数据交互要求；本控指该节点的操作终端控制的是本地设备，遥控指该节点的操作终端控制的是另一节点的设备，被控指该节点的设备被另一节点的操作终端控制；

步骤S3中，完成远程互操作的流程时，针对异构类节点，控制软件采用模块化设计，任意设备对应的控制软件均设计为对应的控制模块，控制模块运行于通用计算机环境下，任意节点的控制终端通过加载相应的控制模块对其他节点的设备进行控制；任意节点均预先安装若干不同的控制模块；

步骤S3中，节点在建立连接的初始阶段，通过协商，确定将转入遥控模式的节点是否具备对应的控制模块，若不具备，则自动从被控节点下载并运行；

步骤S1中，对各型侦察节点的功能、性能指标、操作方式进行汇总整理，得到如下通用特性：侦察节点的控制模式为操作员操作手柄、键盘、鼠标、触摸屏输入装置，控制模块将输入装置的数据解析为对设备的操作控制指令，形成从操作控制终端到被控设备的控制流；被控设备获取的角度、距离、状态数据则形成从被控设备到操作控制终端的数据流；

被控设备获取的图像则基于操作控制终端的图像采集接口转换为数字视频，在本控状态下，数字视频实时显示，在进行远程互操作时，将数字视频转换为限定码率的视频流，从被控节点通过IP网络发送到遥控节点；

步骤S1中，在本控模式下，节点的控制流、数据流基于设定类型的通信接口进行传输，传输的基本单元为设定长度的数据片段；在进行远程互操作时，数据包封装为IP包传输，IP包头包含源地址、目的地址信息，应用层封装数据时，在数据头部增加信息类型标识，指明该数据在本地经由哪一个物理层接口传送；视频流的传输，根据网络端到端带宽约束设置码率上限。

2.如权利要求1所述的基于IP网络的设备通用操控方法，其特征在于，步骤S2中，根据步骤S1建立的业务逻辑，整理出远程互操作交互的数据内容，包括控制申请、控制就绪、退出控制、装备类型码查询、装备类型码、控制模块软件下载申请、安装包传输、控制流、数据流；定义报文头结构，对数据内容按照统一的规则封装为UDP报文，并通过指定端口传送，报文解析规则保证数据封装过程是一个可逆过程，使得在不知道任何被封装报文数据结构信息的情况下，仅基于报文头结构，从封装好的UDP数据包中恢复出原始控制报文、数据报文。

3.如权利要求2所述的基于IP网络的设备通用操控方法，其特征在于，步骤S2中，报文封装与解析规则包括：每一条报文包括报文头、报文内容两部分；报文头为5字节，字节1为信息类型标识，字节2到字节5定义为报文掩码，按位指示相应信息字段是否出现；报文内容是各信息字段的顺序填充，信息字段是设定格式的结构化数据；报文采用小端模式，传输多字节数据时，低字节在前；报文长度限定为小于1472字节。

4.如权利要求3所述的基于IP网络的设备通用操控方法，其特征在于，步骤S3中，远程互操作实现如下：各节点均运行符合S1、S2所规定的业务逻辑、报文封装规则的侦察态势模块作为人机交互的入口，控制模块则视具体业务逻辑选择性启动或退出；侦察态势模块在UDP端口P1与远程节点的侦察态势模块通信，在P2端口与控制模块通信；控制模块通过端口P2与外部交互数据；

在远程互操作的发起阶段，由遥控端和被控端的侦察态势模块在P1口协商，协商完成后，遥控端和被控端均运行与被控端装备类型对应的控制模块，其中，遥控端的控制模块以遥控模式运行，被控端的控制模块以被控模式运行，控制流方向为：从遥控端P2口到被控端P2口，数据解封装后由被控端转发到对应的物理接口；数据流方向为：从被控端物理接口获取数据，数据封装后由被控端P2口转发到遥控端P2口，数据解封装后遥控端完成数据解析处理；

控制流与数据流的重定向机制如下：操作员在侦察态势模块界面的场景窗口中选取欲控制的远程节点，发起控制申请，远程节点授权后获取装备类型并查询本地终端是否具备相应的控制模块，根据查询结果，完成控制初始化过程，准备就绪后，通过控制报文交互，本地节点与远程节点协商完成控制流、数据流的重定向，断开远程节点自身的操作终端与本地设备的连接，本地设备转而接受从网络收到的UDP控制流控制；将传感器输出数据流向远程节点分发，同时，若本地设备涉及实时图像采集功能，则本地设备将数字视频压缩为流媒体传输。