CN119484815A - 基于船舶卫星网络边缘计算的监控视频智能压缩方法 - Google Patents

Abstract

本申请公开了基于船舶卫星网络边缘计算的监控视频智能压缩方法，涉及信号编码技术领域。所述方法包括：在船舶卫星网络应用环境中获取监控视频；对所述监控视频进行划分，获取至少两个数据段；基于至少两个数据段，获取第一数据段；基于所述第一数据段，获取第一时序图像和第二时序图像；获取所述第一时序图像和所述第二时序图像的第二特征相似度；基于所述第二特征相似度和所述网络拥堵程度，获取划分程度；基于所述划分程度，对所述第一数据段进行编码。本申请对监控视频相邻的时序图像的变化进行分析，进行自适应分段，建立分段的三维模型，对分段的特征点变化情况进行分析，提高视频编码的压缩效率的同时，也降低了边缘计算的计算量。

Description

基于船舶卫星网络边缘计算的监控视频智能压缩方法

技术领域

本申请涉及信号编码技术领域，具体为基于船舶卫星网络边缘计算的监控视频智能压缩方法。

背景技术

在船舶航行过程中，往往会使用船舶卫星网络，其相较于普通网络有较高的通信延迟以及较低的数据传输速率。为保证航行的安全性，会对船舶各区域进行监控，而现有基于云计算模型的视频监控技术对网络带宽要求较高，同时对云计算中心视频服务器的负担日益增大，因此对船舶卫星网络的要求也会更高。通过使用基于边缘计算的视频监控系统将对视频的处理迁移到边缘处，能够降低对云中心的计算、存储和网络带宽需求，也就降低了对船舶卫星网络的要求，其不仅能提高视频图像分析的效率，也更适用于船舶上的监控视频。

高效率视讯编码（High Efficiency Video Coding，HEVC）是一种新一代视频编码标准，在视频监控领域被广泛使用，但是划分编码树单元过程复杂、对不同帧采用不同预测方法（如帧内预测、帧间预测），将HEVC编码用于监控视频编码，一方面是其适配性不足，压缩效率低，同时边缘计算与云计算相比算力存在差异，所以对计算量的负担较重；并且网络带宽环境也会影响视频编码效率，在不考虑网络带宽环境影响下进行视频编码时，会影响编码视频压缩传输效果；另一方面由于船舶上使用船舶卫星网络，网络带宽环境比较不稳定，会影响编码视频传输效果。

发明内容

本申请的目的在于提供基于船舶卫星网络边缘计算的监控视频智能压缩方法，以解决现有的监控视频编码计算量高、压缩效率低的技术问题。

为实现上述目的，本申请提供如下技术方案：

第一方面，本申请提出一种基于船舶卫星网络边缘计算的监控视频智能压缩方法的技术方案，该基于船舶卫星网络边缘计算的监控视频智能压缩方法包括：

在船舶卫星网络应用环境中获取监控视频；所述监控视频包括至少两个时序图像；根据船舶卫星网络应用环境中视频编码前网络的吞吐量分布情况以及网络延迟情况，获取网络拥堵程度，获取网络拥堵程度；

作为本申请技术方案中一个具体的方案，所述根据船舶卫星网络应用环境中视频编码前网络的吞吐量分布情况以及网络延迟情况，获取网络拥堵程度，获取网络拥堵程度，包括：

其中，为编码前的预设时间段内的网络拥堵程度；表示编码前的预设时间 段内的平均吞吐量；表示网络的平均吞吐量；表示第时刻边缘计算盒子的延 迟；表示第时刻边缘计算盒子的延迟；为归一化函数；

对所述监控视频进行划分，获取至少两个数据段；每个数据段中各个图像的时序相邻，并且相邻的时序图像的第一特征相似度大于等于第一预设值；

基于至少两个数据段，获取第一数据段；所述第一数据段为至少两个数据段中的任意数据段；

基于所述第一数据段，获取第一时序图像和第二时序图像；所述第一时序图像和所述第二时序图像为所述第一数据段中任意两个相邻的时序图像；

获取所述第一时序图像和所述第二时序图像的第二特征相似度；

基于所述第二特征相似度和所述网络拥堵程度，获取划分程度；所述划分程度至少用于表示编码树单元的大小；

基于所述划分程度，对所述第一数据段进行编码。

作为本申请技术方案中一个具体的方案，所述对所述监控视频进行划分，获取至少两个数据段，包括：

基于所述监控视频，建立三维坐标系；所述三维坐标系的X轴为时序，Y轴为时序图像的长度，Z轴为时序图像的宽度；

基于所述监控视频，获取第三时序图像和第四时序图像；所述第三时序图像与所述第四时序图像为至少两个时序图像中任意相邻的两个时序图像；

基于边缘检测算法，由所述第三时序图像获取第一点云数据；所述第一点云数据至少包括所述第三时序图像中各个关键点的坐标和灰度值；

基于边缘检测算法，由所述第四时序图像获取第二点云数据；所述第二点云数据至少包括所述第四时序图像中各个关键点的坐标和灰度值；

基于所述第一点云数据和所述第二点云数据，获取所述第三时序图像和所述第四时序图像的第一特征相似度；

若所述第一特征相似度大于等于第一预设值，则将所述第三时序图像和所述第四时序图像划分至同一个数据段。

作为本申请技术方案中一个具体的方案，所述基于所述第一点云数据和所述第二点云数据，获取所述第三时序图像和所述第四时序图像的第一特征相似度，包括：

基于所述第一点云数据，获取至少两个第一点云；

基于所述第二点云数据，获取至少两个第二点云；

基于至少两个第一点云，获取第三点云；所述第三点云为至少两个第一点云中的任意一个点云；

基于至少两个第二点云，获取第四点云；所述第四点云为至少两个第二点云中的任意一个点云；

基于所述第三点云和所述第四点云，获取点云匹配度；所述点云匹配度至少用于表征所述第三点云和所述第四点云的相似程度；

基于所述点云匹配度，获取所述第三时序图像和所述第四时序图像的第一特征相似度。

作为本申请技术方案中一个具体的方案，所述基于所述点云匹配度，获取所述第三时序图像和所述第四时序图像的第一特征相似度，包括：

基于所述点云匹配度，获取第一数量；所述第一数量为至少两个第一点云和至少两个第二点云中点云匹配度大于等于第二预设值的数量；

基于所述第一点云数据，获取第二数量；所述第二数量为所述第一点云数据中第一点云的数量；

基于所述第二点云数据，获取第三数量；所述第三数量为所述第二点云数据中第二点云的数量；

基于所述第一数量、所述第二数量、所述第三数量和所述点云匹配度，获取所述第三时序图像和所述第四时序图像的第一特征相似度。

作为本申请技术方案中一个具体的方案，所述获取所述第一时序图像和所述第二时序图像的第二特征相似度，包括：

基于所述第一时序图像，获取第五点云；所述第五点云为所述第一时序图像中的任意点云；

基于所述第二时序图像，获取第六点云；所述第六点云为所述第二时序图像中与所述第五点云的点云匹配度最高的点云；

基于所述第五点云和所述第六点云，获取所述第二特征相似度。

作为本申请技术方案中一个具体的方案，所述基于所述第五点云和所述第六点云，获取所述第二特征相似度，包括：

基于所述第五点云，获取第一凸包；

基于所述第六点云，获取第二凸包；

基于所述第一凸包和所述第二凸包，获取所述第二特征相似度。

作为本申请技术方案中一个具体的方案，所述基于所述划分程度，对所述第一数据段进行编码，包括：

基于所述第一数据段，获取关键时序图像；所述关键时序图像为所述第一数据段中时序最前的图像；

基于所述关键时序图像，获取至少两个编码树单元；

基于至少两个编码树单元，获取第一编码树单元和第二编码树单元；所述第一编码树单元为至少两个编码树单元中的任意一个编码树单元；所述第二编码树单元为至少两个编码树单元中与所述第一编码树单元不同的编码树单元；

基于所述第一编码树单元和所述第二编码树单元，获取第三特征相似度；

基于所述第三特征相似度，获取编码树单元集合；

基于所述编码树单元集合，对所述第一数据段进行编码。

作为本申请技术方案中一个具体的方案，基于所述第三特征相似度，获取编码树单元集合，包括：

若所述第三特征相似度大于等于第三预设值，则将所述第一编码树单元和第二编码树单元置入同一编码树单元集合；

若所述第三特征相似度小于第三预设值，则将所述第二编码树单元置入新的编码树单元集合；

作为本申请技术方案中一个具体的方案，第一预设值设置为0.7；

作为本申请技术方案中一个具体的方案，第二预设值设置为0.5。

与现有技术相比，本申请的有益效果是：

本申请对监控视频相邻的时序图像的变化进行分析，进行自适应分段，建立分段的三维模型，对分段的特征点变化情况进行分析，完成分段视频的压缩，提高视频编码的压缩效率的同时，也降低了边缘计算的计算量，并结合了网络带宽环境进行分析，使其能够适用于边缘计算的视频智能化编码压缩。

附图说明

图1为本申请实施例所提出的一种三维模型的结构示意图；

图2为本申请实施例所提出的一种基于船舶卫星网络边缘计算的监控视频智能压缩方法的流程示意图；

图3为现有技术中HEVC编码的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例的说明书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，例如下文中所提出的第一预设值和第二预设值，其属于不同的预设值。应该理解这样使用的预设值在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如至少两个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到至少两个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。

为了解决背景技术所提出的技术问题，本申请提出一种基于船舶卫星网络边缘计算的监控视频智能压缩方法的实施例，具体的，请参阅图2，其示出了本申请实施例所提出的一种基于船舶卫星网络边缘计算的监控视频智能压缩方法的流程示意图，该方法包括步骤S100至步骤S700。

步骤S100：在船舶卫星网络应用环境中获取监控视频；所述监控视频包括至少两个时序图像；根据船舶卫星网络应用环境中视频编码前网络的吞吐量分布情况以及网络延迟情况，获取网络拥堵程度，获取网络拥堵程度。

需要清楚的是，在本申请的实施例中，监控视频可以是任意场合的监控视频。但是由下文可知，本申请的实施例对于长时间变换较小的监控视频作用较为明显，例如：船舶内的监控视频、地下停车库的监控视频或者仓库的监控视频等。后续本申请的实施例，只以船舶内的监控视频进行说明，其并不代表本申请所提出的实施例只能够应用于船舶内的监控视频这一应用场景。容易理解的是，监控视频均由至少两个时序图像组成，也就是说，在本申请的实施例中所述监控视频包括至少两个时序图像。

具体的，本申请以船舶驾驶室内监控为例，采用HEVC编码方式进行编码。不同于媒体视频等，监控视频具有较强的重复性质，而HEVC编码对连续帧分别去除时空域冗余信息，编码效率较低。对于船舶驾驶室内的监控，船员的状态、驾驶区域相关机器的状态等是相对重要的，而这些是存在相对运动的。因此，对于监控视频的连续帧而言，像素点的变化也就代表着对应区域的重要性。若连续帧（也即各个时序图像）的变化少，那么可以作为一个整体进行编码的图像就多。也就是说，本实施例可根据连续帧像素点的变化情况对视频进行初步分段。而连续帧像素点的变化情况也就代表着对应图像分区的重要性，在进行HEVC编码的划分过程也就可以据此进行划分。接着，将视频分段作为一个整体，将连续帧像素点的变化情况表示为矩阵，并作为HEVC编码量化过程的数据。

在本申请实施例中，根据船舶卫星网络应用环境中视频编码前网络的吞吐量分布情况以及网络延迟情况，获取网络拥堵程度，获取网络拥堵程度，包括：

其中，为编码前的预设时间段内的网络拥堵程度；表示编码前的预设时间 段内的平均吞吐量；表示网络的平均吞吐量；表示第时刻边缘计算盒子的延 迟；表示第时刻边缘计算盒子的延迟；为归一化函数。表示将视频编码前 的时间的网络吞吐量和所有时间的平均吞吐量作差，表示编码前的网络拥堵情况，该值越 大表示越拥堵；表示将每个相邻时刻延迟的差值相加，表示延迟的增长情 况，该值越大表示延迟增加越显著，因而网络拥堵程度越大。在本申请实施例中，预设时间 段设置为半个小时的时间段，也即编码前的半个小时内的网络拥堵程度，可根据具体实 施环境自行调整预设时间段的长度。

步骤S200：对所述监控视频进行划分，获取至少两个数据段。

在本申请的实施例中，可以采用任意合适的方式对于监控视频进行划分，获取至少两个数据段。由前文可知，同一数据段中的各个时序图像依次相邻，并且特征都是类似的。也就是说，在本申请的实施例中，可以按照时序图像的时序和相似度由监控视频划分出至少两个数据段。也就是说，在本申请的实施例中，每个数据段中各个图像的时序相邻，并且相邻的时序图像的第一特征相似度大于等于第一预设值。

在本申请的实施例中，第一预设值可以根据需求进行设置（下文中的第二预设值和第三预设值，亦是如此，后续不做赘述），在本发明实施例的一个具体实现方式中，第一预设值设置为0.7，实施者可根据具体实施环境设置0.8或者0.9等。容易理解的是，若第一预设值越大，则由同一监控视频所划分出的数据段越多；若第一预设值越小，则由同一监控视频所划分出的数据段越少。

在本申请一个具体的实施例中，步骤S200，对所述监控视频进行划分，获取至少两个数据段，包括步骤S210至步骤S260。

步骤S210：基于所述监控视频，建立三维坐标系。

在本申请的实施例中，所述三维坐标系的X轴为时序，Y轴为时序图像的长度，Z轴 为时序图像的宽度。请参阅图1，其示出了本申请实施例所提出的一种三维模型的结构示意 图，X轴为时间，监控视频任意时序图像与三维坐标系中YOZ平面平行，以第1帧图像（也即首 个时序图像）右下角第一个像素点坐标为，连续帧之间的距离为1个像素点，Y轴Z轴 分别表示图像像素点的横、纵坐标。

步骤S220：基于所述监控视频，获取第三时序图像和第四时序图像。

在本实施例中，所述第三时序图像与所述第四时序图像为至少两个时序图像中任意相邻的两个时序图像。也就是说，在本实施例中，任意相邻两个时序图像在后续均需要进行相似度比对，若相似度超过第一预设值，则可以将两个时序图像划分在同一数据段当中。

在本申请的实施例中，可以采用任意的方式计算两个时序图像的相似度，例如：欧氏距离算法或者曼哈顿距离算法等。或者，在本申请的实施例中，基于下文中的边缘检测算法计算两个时序图像的相似度。

步骤S230：基于边缘检测算法，由所述第三时序图像获取第一点云数据。

在本实施例中，采用边缘检测算法得到第三时序图像的若干个边缘，对任意边缘 均匀取若干个（例如：可以是个，为边缘像素点数量，为向上取整符号）像素点作为 所述边缘的关键点，将第三时序图像的所有关键点作为第一点云数据，均匀取像素点时的 相邻像素点记为相邻点云，坐标即为点云坐标。所述第一点云数据至少包括所述第三时序 图像中各个关键点的坐标和灰度值。

需要清楚的是，边缘检测算法为成熟技术，此处不做赘述。

步骤S240：基于边缘检测算法，由所述第四时序图像获取第二点云数据。

需要清楚的是，第二点云数据的获取方式，同步骤S230，此处不做赘述。所述第二点云数据至少包括所述第四时序图像中各个关键点的坐标和灰度值。

步骤S250：基于所述第一点云数据和所述第二点云数据，获取所述第三时序图像和所述第四时序图像的第一特征相似度。

需要清楚的是，在本申请的实施例中，可以采用任意合理的方式获取所述第三时序图像和所述第四时序图像的第一特征相似度。例如，前文所述的欧氏距离算法或者曼哈顿距离算法等。

为了降低计算量，在本申请的一个实施例中，步骤S250，基于所述第一点云数据和所述第二点云数据，获取所述第三时序图像和所述第四时序图像的第一特征相似度，包括步骤S251至步骤S256。

步骤S251：基于所述第一点云数据，获取至少两个第一点云。

需要注意的是，基于点云数据，获取其中的点云为成熟技术，此处不做赘述。

步骤S252：基于所述第二点云数据，获取至少两个第二点云。

需要注意的是，基于点云数据，获取其中的点云为成熟技术，此处不做赘述。

步骤S253：基于至少两个第一点云，获取第三点云。

在本实施例中，所述第三点云为至少两个第一点云中的任意一个点云。

步骤S254：基于至少两个第二点云，获取第四点云。

在本实施例中，所述第四点云为至少两个第二点云中的任意一个点云。

步骤S255：基于所述第三点云和所述第四点云，获取点云匹配度。

也就是说，在本实施例中，各个第一点云和第二点云需要逐一配对计算相似程度，以确定在不同的时序图像中，某个第一点云（也即第三点云）与某个第二点云（也即第四点云）是否对应。也就是说，在本实施例中，所述点云匹配度至少用于表征所述第三点云和所述第四点云的相似程度。

具体的，在本实施例中，步骤S255，基于所述第三点云和所述第四点云，获取点云匹配度的计算公式如下：

其中，表示第三点云和第四点云的点云匹配度；表示第三点云的灰度值；表 示第四点云的灰度值；表示求绝对值；表示以自然常数为底的指数函数；A为第三 点云中像素点数量；为自设函数，表示第三点云和第四点云中第a个像素点为点云数据 的一致性，若都为点云或都不为点云则，若一个是点云另一个不是点云则；为归一化函数，用于将括号内的数值映射至（0，1）的区间内。

在本实施例中，表示第三点云和第四点云的灰度值差值的绝对值，该值越 大表示两个点云的差异越大，为匹配点云的可能性越小；表示第三点云和第四点 云位置的一致性，若所有位置为点云的情况都一致，那么所述两个点云为匹配点云的可能 性就越大。

步骤S256：基于所述点云匹配度，获取所述第三时序图像和所述第四时序图像的第一特征相似度。

需要清楚的是，在本申请的实施例中，可以将各个点云匹配度的平均值作为第一特征相似度。容易理解的是，若第三时序图像和第四时序图像中各个点云的点云匹配度越高，则说明第三时序图像和第四时序图像的相似度也越高。

在本申请的一个实施例中，步骤S256，基于所述点云匹配度，获取所述第三时序图像和所述第四时序图像的第一特征相似度，包括步骤S261至步骤S264。

步骤S261：基于所述点云匹配度，获取第一数量。

在本申请的实施例中，所述第一数量为至少两个第一点云和至少两个第二点云中点云匹配度大于等于第二预设值的数量。

在本实施例中，第二预设值可以根据需求设置为任意合适的数值，在本发明实施例的一个具体实现方式中，第二预设值设置为0.5，实施者可根据具体实施环境设置为0.6或者0.7等。

步骤S262：基于所述第一点云数据，获取第二数量。

在本申请的实施例中，所述第二数量为所述第一点云数据中第一点云的数量。

步骤S263：基于所述第二点云数据，获取第三数量。

在本申请的实施例中，所述第三数量为所述第二点云数据中第二点云的数量。

步骤S264：基于所述第一数量、所述第二数量、所述第三数量和所述点云匹配度，获取所述第三时序图像和所述第四时序图像的第一特征相似度。

需要注意的是，若相似的点云越多，则所述第三时序图像和所述第四时序图像的第一特征相似度越大。

在本申请的一个具体的实施例中，步骤S264，基于所述第一数量、所述第二数量、所述第三数量和所述点云匹配度，获取所述第三时序图像和所述第四时序图像的第一特征相似度的计算公式如下：

其中，表示第三时序图像和第四时序图像的第一特征相似度；表示第一数量；表示第二数量；表示第三数量；表示第q个匹配点云的点云匹配度；为归一 化函数，用于将括号内的数值映射至（0，1）的区间内。

在本实施例中，表示第一点云数据和第二点云数据中匹配的点云（也即 点云匹配度大于等于第二预设值的点云），占各自点云中的比例；该值越大表示第一点云数 据和第二点云数据中匹配点云越多，也即第三时序图像和第四时序图像越相似。表 示将所有匹配点云的匹配程度相加，该越大则说明匹配程度越大，也即第三时序图像和第 四时序图像越相似。

步骤S260：若所述第一特征相似度大于等于第一预设值，则将所述第三时序图像和所述第四时序图像划分至同一个数据段。

在本申请的实施例中，可以将第一特征相似度大于等于第一预设值的时序图像划分至同一个数据段。容易理解的是，若所述第一特征相似度小于第一预设值，则将第四时序图像作为下一个数据段中的第一个时序图像。

步骤S300：基于至少两个数据段，获取第一数据段。

需要清楚的是，HEVC编码划分编码树单元时依靠的是其中信息的丰富性，而对于本就包含很多信息的船舱，仅依靠信息的丰富性不完全适用。因此，应将运动的区域进行更细的划分，而一直未变化的区域的编码树单元则可以相对更大，以节省后续编码的计算量，并且提升压缩效率。容易理解的是，需要对所有数据段均进行编码处理，因此，在本实施例中，所述第一数据段为至少两个数据段中的任意数据段。

步骤S400：基于所述第一数据段，获取第一时序图像和第二时序图像。

由前文可知，在船舱监控视频的应用场景中，大部分时间段内，各个时序图像中的物体（例如：配电柜、救生圈等设备）都是静止的，则在后续的编码过程中，可以使得这些时序图像的编码树单元较大。若时序图像中的物体（例如：人或者动物等）是运动的，则在后续的编码过程中，可以使得这些时序图像的编码树单元较小。也就是说，在本实施例中，如何判断各个时序图像中的物体是静止的还是移动的，为重中之重。在本实施例中，所述第一时序图像和所述第二时序图像为所述第一数据段中任意两个相邻的时序图像。

步骤S500：获取所述第一时序图像和所述第二时序图像的第二特征相似度。

需要清楚的是，在本申请的实施例中，可以以前文的方式计算所述第一时序图像和所述第二时序图像的第二特征相似度。为了使得后续能够基于第二特征相似度确定两个时序图像中的物体是否进行移动，在本申请的一个实施例中，步骤S500，获取所述第一时序图像和所述第二时序图像的第二特征相似度，包括步骤S510至步骤S530。

步骤S510：基于所述第一时序图像，获取第五点云。

在本实施例中，所述第五点云为所述第一时序图像中的任意点云。

步骤S520：基于所述第二时序图像，获取第六点云。

在本实施例中，所述第六点云为所述第二时序图像中与所述第五点云的点云匹配度最高的点云。

步骤S530：基于所述第五点云和所述第六点云，获取所述第二特征相似度。

需要清楚的是，若一个物体进行了移动，则在时序图像中，该物体所形成的点云在各个时序图像中不但较为相似，且对应的坐标也会产生变化。也就是说，在本申请的实施例中，可以基于两个点云所对应的形状、坐标和相似度，确定该点云所对应的物体是否进行了移动。

具体的，步骤S530，基于所述第五点云和所述第六点云，获取所述第二特征相似度，包括步骤S531至步骤S533。

步骤S531：基于所述第五点云，获取第一凸包。

需要清楚的是，凸包是一个计算几何(图形学)中的概念，其为成熟技术，此处不做赘述。需要注意的是，基于点云，获取对应的凸包，也为成熟技术，此处不做赘述。

步骤S532：基于所述第六点云，获取第二凸包。

需要注意的是，基于点云，获取对应的凸包，为成熟技术，此处不做赘述。

步骤S533：基于所述第一凸包和所述第二凸包，获取所述第二特征相似度。

在本实施例中，可以基于任意合适的方式，基于所述第一凸包和所述第二凸包，获取所述第二特征相似度。例如，可以采用前文所述的欧氏距离算法或者曼哈顿距离算法获取第二特征相似度。

在本申请的一个具体的实施例中，步骤S533：基于所述第一凸包和所述第二凸包，获取所述第二特征相似度的计算公式如下：

其中，表示第二特征相似度，也即用于表示第五点云和第六点云属于运动点云的 可能性；表示第一数据段中时序图像的个数；表示所有匹配点云的凸包体积；表示第 五点云和第六点云残差矩阵中第m个元素值，表示第五点云和第六点云残差矩阵中的元 素总数。

需要注意的是，将第一数据段中的任意点云的匹配点云坐标矩阵任意行元素减去第1行的元素，记为所述点云的匹配点云残差矩阵。

在本实施例中，表示第一数据段中的匹配情况，V越大表示视频分段中的各个时 序图像越相似，因此各个时序图像内的点云属于运动点云的可能性就越小。面积越小， 则说明投影点越集中，点云的运动程度越小，则属于运动点云的可能性越小。表示 将所述匹配点云残差矩阵的所有元素值相加，表现匹配点云序列的变化情况，也表示点云 的运动程度，值越小，则属于运动点云的可能性越小。

在本实施例中，将属于运动点云的可能性大于0.6的点云记为运动点云；将任意关键帧所有运动点云作为种子点，将种子点窗口内的运动点云数量大于1作为种子点生长的条件，进行区域生长，当区域内所有运动点云均不能继续生长则结束区域生长；得到若干个生长区域；若生长区域为环形区域，则生长区域包含的编码树单元以及环形内的编码树单元共同构成1个运动区域，若生长区域非环形区域，则生长区域包含的编码树单元构成1个运动区域；（存在重叠部分的运动区域合并为一个运动区域）。

步骤S600：基于所述第二特征相似度和所述网络拥堵程度，获取划分程度。

需要清楚的是，由前文可知，若第二特征相似度越小，则第一数据段中各个时序图像所对应的点云属于运动点云的可能性越小，也即在划分编码树单元时，可以划分的越大。若第二特征相似度越大，则第一数据段中各个时序图像所对应的点云属于运动点云的可能性越大，也即在划分编码树单元时，可以划分的越小。也就是说，在本实施例中，所述划分程度至少用于表示编码树单元的大小。

在本申请的一个实施例中，步骤S600：基于所述第二特征相似度和所述网络拥堵程度，获取划分程度的计算公式如下：

其中，表示划分程度；表示运动系数，若编码树单元为运动区域，则有运动系 数，取K=1.5；表示编码树单元的灰度-像素点直方图包含的灰度区间的个数；表示编码 树单元的灰度-像素点直方图中包含像素点数量最多的灰度区间的像素点数量；表示编 码树单元的灰度-像素点直方图中第b个灰度区间的像素点数量；为归一化函数，用 于将括号内的数值映射至（0，1）的区间内；表示以自然常数为底的指数函数；为编 码前的预设时间段内的网络拥堵程度，网络拥堵程度越大则划分程度应当越小，使得压缩 更充分。

需要注意的是，在本实施例中，对任意编码树单元，以8灰度为一个区间，获取每个 灰度区间的像素点数量，构成灰度-像素点直方图；HEVC编码的编码树单元大小为。

在本实施例中，对于运动区域应有更大的划分程度以保证视频质量；表示像素点数量最多的灰度区间的像素点数量和其余所有区间的像素点数 量的差值的总和，该值越大表示灰度越集中，信息含量越少；编码树单元的灰度范围越广、 灰度越分散，则编码树单元划分程度越高。

在本实施例中，按照编码树单元的划分程度对任意编码树单元进行划分：若，则编码树单元维持；若，则编码树单元分为4个 的子单元；若，则编码树单元分为16个的子单元；若，则 编码树单元分为64个的子单元。

步骤S700：基于所述划分程度，对所述第一数据段进行编码。

需要清楚的是，在本申请的实施例中，可以基于HEVC编码对第一数据段直接进行编码。

需要注意的是，HEVC编码流程图如图3所示，将每帧时序图像分为了运动区域和非运动区域，对于船舱监控这样的环境，图像中运动区域较少，而非运动区域较多，因此对视频分段连续帧图像像素点灰度矩阵做残差会存在大量的零，残差矩阵可以认为是稀疏矩阵，因此对于视频分段的非关键帧而言，将残差矩阵传输到量化步骤即可；对于关键帧（也即每个数据段中排序最前的时序图像），由于背景也存在空间冗余，可以对关键帧进行进一步分析，简化关键帧的量化信息。

为了进一步的简化关键帧的量化信息，步骤S700，基于所述划分程度，对所述第一数据段进行编码，包括步骤S710至步骤S760。

步骤S710：基于所述第一数据段，获取关键时序图像。

在本实施例中，所述关键时序图像为所述第一数据段中时序最前的图像。

步骤S720：基于所述关键时序图像，获取至少两个编码树单元。

需要清楚的是，在本实施例中，至少两个编码树单元也即基于步骤S600所获取的至少两个编码树单元。

步骤S730：基于至少两个编码树单元，获取第一编码树单元和第二编码树单元。

在本实施例中，所述第一编码树单元为至少两个编码树单元中的任意一个编码树单元；所述第二编码树单元为至少两个编码树单元中与所述第一编码树单元不同的编码树单元。

步骤S740：基于所述第一编码树单元和所述第二编码树单元，获取第三特征相似度。

在本申请的实施例中，可以采用任意合适的算法，基于所述第一编码树单元和所述第二编码树单元，获取第三特征相似度。例如，前文所述的欧氏距离算法或者曼哈顿距离算法等。

在本申请的一个实施例中，步骤S740，基于所述第一编码树单元和所述第二编码树单元，获取第三特征相似度的计算公式如下：

其中，表示第一编码树单元和第二编码树单元的第三特征相似度；表示第一 编码树单元所对应的划分程度；表示第二编码树单元所对应的划分程度；表示编码树 单元像素点数量；表示第一编码树单元中第n个像素点的灰度；表示第二编码树单元 中第n个像素点的灰度；表示以自然常数为底的指数函数；表示求绝对值。划分程 度差异越小、所有对应像素点灰度差异越小，则第一编码树单元和第二编码树单元的第三 特征相似度越高。

步骤S750：基于所述第三特征相似度，获取编码树单元集合。

需要清楚的是，在本申请的实施例中，可以将相似度较大的编码树单元放入同一个编码树单元集合。

具体的，步骤S750，基于所述第三特征相似度，获取编码树单元集合，包括步骤S751和步骤S752。

步骤S751：若所述第三特征相似度大于等于第三预设值，则将所述第一编码树单元和第二编码树单元置入同一编码树单元集合。

在本实施例中，第三预设值可以选取任意合适的数值，在本发明实施例的一个具体实现方式中，第三预设值设置为0.7；也可根据具体实施环境设置为0.8或者0.9等。

步骤S752：若所述第三特征相似度小于第三预设值，则将所述第二编码树单元置入新的编码树单元集合。

步骤S760：基于所述编码树单元集合，对所述第一数据段进行编码。

在本申请的实施例中，对任意相似编码树单元集合，获取关键编码树单元灰度矩阵，并计算所述相似编码树单元集合其余编码树单元灰度矩阵与关键编码树单元灰度矩阵的残差矩阵（所有元素灰度值相减），得到任意关键帧的若干个残差矩阵，记为一类残差矩阵。对任意数据段的非关键帧（也即数据段中时序不在前的其他时序图像），获取总灰度矩阵与关键帧的总灰度矩阵的残差矩阵，记为二类残差矩阵。对一类残差矩阵、二类残差矩阵进行变换/量化，以及后续的熵编码，得到输出码流，完成视频分段的编码。

需要清楚的是，对第一数据段进行编码为成熟技术，此处不做赘述。

需要清楚的是，本申请所提出的基于船舶卫星网络边缘计算的监控视频智能压缩方法的实施例，通过对监控视频相邻的时序图像的变化进行分析，进行自适应分段，建立分段的三维模型，对分段的特征点变化情况进行分析，完成分段视频的压缩，提高视频编码的压缩效率的同时，也降低了边缘计算的计算量，使其能够适用于边缘计算的视频智能化编码。

尽管已经示出和描述了本申请的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本申请的原理的情况下可以对这些实施例进行多种变化、修改、替换和变型。

Claims (10)

1.基于船舶卫星网络边缘计算的监控视频智能压缩方法，其特征在于，包括：

在船舶卫星网络应用环境中获取监控视频；所述监控视频包括至少两个时序图像；根据船舶卫星网络应用环境中视频编码前网络的吞吐量分布情况以及网络延迟情况，获取网络拥堵程度，获取网络拥堵程度；

对所述监控视频进行划分，获取至少两个数据段；每个数据段中各个图像的时序相邻，并且相邻的时序图像的第一特征相似度大于等于第一预设值；

基于至少两个数据段，获取第一数据段；所述第一数据段为至少两个数据段中的任意数据段；

基于所述第一数据段，获取第一时序图像和第二时序图像；所述第一时序图像和所述第二时序图像为所述第一数据段中任意两个相邻的时序图像；

获取所述第一时序图像和所述第二时序图像的第二特征相似度；

基于所述第二特征相似度和所述网络拥堵程度，获取划分程度；所述划分程度至少用于表示编码树单元的大小；

基于所述划分程度，对所述第一数据段进行编码。

2.根据权利要求1所述的基于船舶卫星网络边缘计算的监控视频智能压缩方法，其特征在于，所述根据船舶卫星网络应用环境中视频编码前网络的吞吐量分布情况以及网络延迟情况，获取网络拥堵程度，获取网络拥堵程度，包括：

其中，为编码前的预设时间段内的网络拥堵程度；表示编码前的预设时间段内 的平均吞吐量；表示网络的平均吞吐量；表示第时刻边缘计算盒子的延迟；表 示第时刻边缘计算盒子的延迟；为归一化函数。

3.根据权利要求1所述的基于船舶卫星网络边缘计算的监控视频智能压缩方法，其特征在于，所述对所述监控视频进行划分，获取至少两个数据段，包括：

基于所述监控视频，建立三维坐标系；所述三维坐标系的X轴为时序，Y轴为时序图像的长度，Z轴为时序图像的宽度；

基于所述监控视频，获取第三时序图像和第四时序图像；所述第三时序图像与所述第四时序图像为至少两个时序图像中任意相邻的两个时序图像；

基于边缘检测算法，由所述第三时序图像获取第一点云数据；所述第一点云数据至少包括所述第三时序图像中各个关键点的坐标和灰度值；

基于边缘检测算法，由所述第四时序图像获取第二点云数据；所述第二点云数据至少包括所述第四时序图像中各个关键点的坐标和灰度值；

基于所述第一点云数据和所述第二点云数据，获取所述第三时序图像和所述第四时序图像的第一特征相似度；

若所述第一特征相似度大于等于第一预设值，则将所述第三时序图像和所述第四时序图像划分至同一个数据段。

4.根据权利要求3所述的基于船舶卫星网络边缘计算的监控视频智能压缩方法，其特征在于，所述基于所述第一点云数据和所述第二点云数据，获取所述第三时序图像和所述第四时序图像的第一特征相似度，包括：

基于所述第一点云数据，获取至少两个第一点云；

基于所述第二点云数据，获取至少两个第二点云；

基于至少两个第一点云，获取第三点云；所述第三点云为至少两个第一点云中的任意一个点云；

基于至少两个第二点云，获取第四点云；所述第四点云为至少两个第二点云中的任意一个点云；

基于所述第三点云和所述第四点云，获取点云匹配度；所述点云匹配度至少用于表征所述第三点云和所述第四点云的相似程度；

基于所述点云匹配度，获取所述第三时序图像和所述第四时序图像的第一特征相似度。

5.根据权利要求4所述的基于船舶卫星网络边缘计算的监控视频智能压缩方法，其特征在于，所述基于所述点云匹配度，获取所述第三时序图像和所述第四时序图像的第一特征相似度，包括：

基于所述点云匹配度，获取第一数量；所述第一数量为至少两个第一点云和至少两个第二点云中点云匹配度大于等于第二预设值的数量；

基于所述第一点云数据，获取第二数量；所述第二数量为所述第一点云数据中第一点云的数量；

基于所述第二点云数据，获取第三数量；所述第三数量为所述第二点云数据中第二点云的数量；

基于所述第一数量、所述第二数量、所述第三数量和所述点云匹配度，获取所述第三时序图像和所述第四时序图像的第一特征相似度。

6.根据权利要求4所述的基于船舶卫星网络边缘计算的监控视频智能压缩方法，其特征在于，所述获取所述第一时序图像和所述第二时序图像的第二特征相似度，包括：

基于所述第一时序图像，获取第五点云；所述第五点云为所述第一时序图像中的任意点云；

基于所述第二时序图像，获取第六点云；所述第六点云为所述第二时序图像中与所述第五点云的点云匹配度最高的点云；

基于所述第五点云，获取第一凸包；

基于所述第六点云，获取第二凸包；

基于所述第一凸包和所述第二凸包，获取所述第二特征相似度。

7.根据权利要求1至6中任意一项所述的基于船舶卫星网络边缘计算的监控视频智能压缩方法，其特征在于，所述基于所述划分程度，对所述第一数据段进行编码，包括：

基于所述第一数据段，获取关键时序图像；所述关键时序图像为所述第一数据段中时序最前的图像；

基于所述关键时序图像，获取至少两个编码树单元；

基于至少两个编码树单元，获取第一编码树单元和第二编码树单元；所述第一编码树单元为至少两个编码树单元中的任意一个编码树单元；所述第二编码树单元为至少两个编码树单元中与所述第一编码树单元不同的编码树单元；

基于所述第一编码树单元和所述第二编码树单元，获取第三特征相似度；

基于所述第三特征相似度，获取编码树单元集合；

基于所述编码树单元集合，对所述第一数据段进行编码。

8.根据权利要求7所述的基于船舶卫星网络边缘计算的监控视频智能压缩方法，其特征在于，基于所述第三特征相似度，获取编码树单元集合，包括：

若所述第三特征相似度大于等于第三预设值，则将所述第一编码树单元和第二编码树单元置入同一编码树单元集合；

若所述第三特征相似度小于第三预设值，则将所述第二编码树单元置入新的编码树单元集合。

9.根据权利要求1所述的基于船舶卫星网络边缘计算的监控视频智能压缩方法，其特征在于，第一预设值设置为0.7。

10.根据权利要求5所述的基于船舶卫星网络边缘计算的监控视频智能压缩方法，其特征在于，第二预设值设置为0.5。