CN119600569A - 基于图像识别技术的机坪车载fod识别方法 - Google Patents

Abstract

本发明属于航空技术领域，公开了基于图像识别技术的机坪车载FOD识别方法，通过获取机坪的图像数据进行分析识别判断FOD，具体步骤如下：步骤100.首先，确定目标区域，针对目标区域采集至少间隔时间T的两帧区域图像，对前后的区域图像进行对比，并通过粗过滤算法处理后获取到背景特征；步骤200.然后，继续获取目标区域的若干帧区域图像，在每帧区域图像中选取除背景特征的像素区域，通过基于运动轨迹的过滤算法确定运动的候选特征；步骤300.最后利用相似性比对算法将候选特征与背景特征中的重复目标剔除，以及将候选特征中重复目标合并后得到最终的报警目标。

Description

基于图像识别技术的机坪车载FOD识别方法

技术领域

本发明属于航空技术领域，具体涉及一种基于图像识别技术的机坪车载FOD识别方法。

背景技术

机场FOD是指在机场跑道、滑行道、停机坪及周边区域内出现任何可能危及航空器安全的异物。FOD英文全称Foreign Object Debris，也称为Foreign Object Damage。FOD可能是各种大小物体，包括石头、金属碎片、车轮碎屑、树枝等。这些FOD对飞机上的发动机、轮胎、仪表等构件都会造成严重的破坏，甚至危及乘客和机组人员的生命安全。因此，高度重视、严密防范、及时处置FOD事件非常必要。

机场FOD事件是影响航空运作的一大隐患。有数据显示，全球每年发生的因FOD造成的事故高达4000余起。这些事件造成的直接经济损失和航班延误的影响都不可低估。因此，各国机场管理方都非常注重加强FOD管理，制定相应的FOD管理计划，实施有效的FOD预防措施，确保航空安全。

目前车载FOD的识别方式是雷达识别，但其受天气、尘土等环境因素的影响比较大，且对雷达要求很高，从而造成成本高，维护难的问题。

发明内容

为了解决现有技术存在的问题，本发明提供一种纯视觉方案的基于图像识别技术的机坪车载FOD识别方法，旨在提高检测效率的同时，降低成本，可利用现有的固定式摄像设备进行后端的算法升级。

本发明所采用的技术方案为：

第一方面，本发明提供基于图像识别技术的机坪车载FOD识别方法，通过获取机坪的图像数据进行分析识别判断FOD，具体步骤如下：

步骤100.首先，确定目标区域，针对目标区域采集至少间隔时间T的两帧区域图像，对前后的区域图像进行对比，并通过粗过滤算法处理后获取到背景特征；

步骤200.然后，继续获取目标区域的若干帧区域图像，在每帧区域图像中选取除背景特征的像素区域，通过基于运动轨迹的过滤算法确定运动的候选特征；

步骤300.最后利用相似性比对算法将候选特征与背景特征中的重复目标剔除，以及将候选特征中重复目标合并后得到最终的报警目标。

结合第一方面，本发明提供第一方面的第一种实施方式，在所述步骤200中，获取至少超过三帧的区域图像来确定除背景特征的候选区域，然后设定一个基于区域图像画面像素量所确定的距离阈值D1，通过获取候选区域中运动轨迹确定预期的运动范围，若运动范围中的大距离大于D1便确定为候选特征。

结合第一方面的第一种实施方式，本发明提供第一方面的第二种实施方式，在所述步骤200中，还设定一个距离阈值D2，获取候选区域中运动范围小于D2的目标剔除，将运动范围大于D2小于D1的作为待选目标，并再次获取若干区域图像并针对待选目标重新确定运动范围，将重新确定的运动范围依然小于D2和确认的运动范围较在先的运动范围变小、不变的目标剔除，并将大于D2且运动范围较在先的运动范围变大的目标确定为候选特征。

结合第一方面的第二种实施方式，本发明提供第一方面的第三种实施方式，将确定的存在运动范围保持不变或变小的目标作为背景特征。

需要说明的是，图像中的固定物体一般作为背景特征，但实际环境中存在部分的活动物体也属于固定物，例如所有被风吹动进行一定范围内移动的物体，即摇晃的旗帜、转动的气象检测设备、风吹动的树木等。这些目标物如果被判定为移动目标，会导致整个计算过程的干扰较多，不仅会减慢计算过程，同时也可能会被认定为报警目标造成报警干扰。故通过以上方式进行多次确认，首先减小因为拍摄图像帧数量不足所导致检测误差的问题，即单次检测运动范围不大，但增加对比的图像帧数量并结合在先的比对后能够扩大运动范围，从而将其判定为候选目标。然后再将运动范围小的剔除，将运动范围大的作为候选对象，将其中属于上述中提到的干扰的运动物体进行剔除。

结合第一方面的第二种实施方式，本发明提供第一方面的第四种实施方式，在步骤100中，在确定好目标区域后将目标区域划定有警报区域，存在于警报区域内的所有运动范围超过D2的目标均作为候选特征。

值得说明的是，所谓警报区域是指对于停机坪或者其他相关区域中，几乎不会出现移动物体或是不允许出现活动物体的区域，一旦出现检测的移动物体便判定为可疑物进行相似性比较。

结合第一方面的第二种实施方式，本发明提供第一方面的第五种实施方式，所述目标区域的区域图像为通过至少一个摄像头所获取的固定角度和比例的拍摄数据。

结合第一方面的第二种实施方式，本发明提供第一方面的第六种实施方式，所述目标区域为至少一个可转动的摄像头通过扫视可覆盖的区域；

在步骤100中，至少通过摄像头连续扫视两个完整的目标区域获取若干帧的区域图像，以相同角度不同扫视周期的区域图像作为对比再通过粗过滤算法处理后获取到背景特征；

在步骤200中，开启摄像头以初始速度定向往复扫视目标区域，在摄像头所获取的实时画面中通过基于运动轨迹的过滤算法对除背景特征的其他特征进行过滤，一旦出现判定为运动物体，便通过设定好的一个与运动物体尺寸存在确定比例值Q的追踪画面框随着运动物体位移，并在实施画面中确定位移边界，当追踪画面框移动至位移边界处变移动摄像头跟随拍摄，直至将运动物体确定为候选特征。

需要说明的是，上述方案是以固定机位的摄像头所获取到的区域图像进行计算，本方案中所限定的可移动的摄像头所拍摄的实时画面，也是在后端处理模块内将获取到的实时的区域画面的帧进行处理计算后得出的反馈信息，实际处理也是基于摄像头所获取到的区域画面的帧进行计算，只是在反馈的监视器上以实时画面中显示一个带突出标记的追踪画面框进行标注。

结合第一方面，本发明提供第一方面的第七种实施方式，所述步骤100中的粗过滤算法包括阴影计算模型，通过包含有阴影计算模型的粗过滤算法将固定物体的阴影过滤作为背景特征。

结合第一方面，本发明提供第一方面的第八种实施方式，所述粗过滤算法中还包含有预设的常见固定特征。

所谓常见固定特征，是指通过现有的OCR识别软件或本申请中所采用的图像识别算法训练已经确定的具有常规特征的目标物，例如多种固定构筑物、汽车、架体、指示牌等，能够快速对画面的特征进行识别和过滤，提高效率。

结合第一方面，本发明提供第一方面的第九种实施方式，所述目标区域的区域图像为通过至少一个可移动无人平台上的摄像头所获取的拍摄数据。

本发明的有益效果为：

(1)本发明通过采用图像识别技术自动监测机坪区域，减少了对人工监控的依赖，提高了监控效率和覆盖范围；

(2)本发明通过粗过滤算法、基于运动轨迹的过滤算法和相似性比对算法等多重算法的应用，能够有效区分固定物体、阴影、常见固定特征等非威胁目标，从而减少误报；

(3)本发明还通过连续采集多帧图像并对比分析，能够更准确地识别出移动的FOD，并且通过动态调整阈值和追踪运动轨迹，提高了对真实威胁目标的识别精度，且无论是固定摄像头还是可转动摄像头，或者是安装在可移动无人平台上的摄像头，都能够根据实际情况灵活配置，增强系统的适用性。

附图说明

图1是本申请的流程图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步阐释。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，若出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，本申请的描述中若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，本申请的描述中若出现术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

实施例1：

本实施例公开一种基于图像识别技术的机坪车载FOD识别方法，基于设置在机坪处的摄像设备获取对应区域的图像数据，然后根据图像数据进行分析判断是否存在FOD并判断是否达到报警条件。

需要说明的是，本实施例中提供一种识别方法，该识别方法不限于车载的摄像平台，其包括固定和移动式的摄像设备，且该方法以自动化的程序编入对应的摄像设备的处理模块中，包括单个带有嵌入式软件的摄像头，也包括由统一后端服务器进行数据交互的若干个摄像平台中。

该方法如下：

首先，确定目标区域，针对目标区域采集至少间隔时间T的两帧区域图像，对前后的区域图像进行对比，并通过粗过滤算法处理后获取到背景特征；

然后，继续获取目标区域的若干帧区域图像，在每帧区域图像中选取除背景特征的像素区域，通过基于运动轨迹的过滤算法确定运动的候选特征，其中获取至少超过三帧的区域图像来确定除背景特征的候选区域，然后设定一个基于区域图像画面像素量所确定的距离阈值D₁，通过获取候选区域中运动轨迹确定预期的运动范围，若运动范围中的大距离大于D₁便确定为候选特征；

最后利用相似性比对算法将候选特征与背景特征中的重复目标剔除，以及将候选特征中重复目标合并后得到最终的报警目标。

其中，区域图像即为摄像设备采集的单帧的画面，摄像设备可单独拍摄照片作为区域图像进行识别，通过设置的T时间周期间隔拍摄，从而确保在最小移动周期内，符合要求的移动物体可被判定为FOD。

进一步地，还设定一个距离阈值D₂，获取候选区域中运动范围小于D₂的目标剔除，将运动范围大于D₂小于D₁的作为待选目标，并再次获取若干区域图像并针对待选目标重新确定运动范围，将重新确定的运动范围依然小于D₂和确认的运动范围较在先的运动范围变小、不变的目标剔除，并将大于D₂且运动范围较在先的运动范围变大的目标确定为候选特征，将确定的存在运动范围保持不变或变小的目标作为背景特征，在确定好目标区域后将目标区域划定有警报区域，存在于警报区域内的所有运动范围超过D₂的目标均作为候选特征。

进一步地，本实施例中还提供一种基于可转动的固定式扫视摄像头进行监控的方法，该固定式扫视摄像头设置在固定位置上对整个机坪的固定角度进行恒定可调的速度按照计划扫视获取视频数据，可直接利用现有的监控摄像头通过软件编程实现，也可以单独设置一个符合要求的摄像模组独立运行。

具体的，确定目标区域，目标区域为至少一个可转动的摄像头通过扫视可覆盖的区域，首先至少通过摄像头连续扫视两个完整的目标区域获取若干帧的区域图像，以相同角度不同扫视周期的区域图像作为对比再通过粗过滤算法处理后获取到背景特征。

然后再开启摄像头以初始速度定向往复扫视目标区域，在摄像头所获取的实时画面中通过基于运动轨迹的过滤算法对除背景特征的其他特征进行过滤，一旦出现判定为运动物体，便通过设定好的一个与运动物体尺寸存在确定比例值Q的追踪画面框随着运动物体位移，并在实施画面中确定位移边界，当追踪画面框移动至位移边界处变移动摄像头跟随拍摄，直至将运动物体确定为候选特征。

进一步地，还提供一种采集目标区域的区域图像为通过至少一个可移动无人平台上的摄像头所获取的拍摄数据的方法。主要分为粗检和精检两部分，对设备附近机坪所有区域扫描实现FOD识别。

粗检部分通过背景建模获得刻意目标区域，再用基于运动轨迹的快速过滤算法获得候选区域，精检部分是通过相似性比对算法过滤误报获取最终报警目标。

由初步检测所得的目标候选区域虽然已经较为可靠，能够抑制99％的误报事件，但由于虚警基数庞大，而正常入侵事件发生的次数较少，因此误报率较高。对目标候选区域进行精确检测是这一环节的目标。将目标区域的前景与背景送入相似性比对网络进行判决，对判决结果为相似的，认为是虚警直接过滤；否则，认为是正常入侵目标给予报警提示，同时将其送入分类网络进行类别统计。

其中，所谓相似性比对算法是通过设计一种轻量级神经网络实现的。目的是再高层语义比对报警区域前景和背景的相似性，进一步滤除噪声引起的误报。算法再实际应用中利用相似性比对网络解决了直接使用分类器二次判断的弊端，使得算法更具一般性，能够应用于包含非常见物的情形。相似性比对算法训练样本容易获取，只需运动区域的前景和背景，对目标种类没有要求。

而背景建模直接提取到的运动目标通常会包含各种“噪声”，如草木、光影等正常环境因素，这些正是误报的主要来源。快速有效的排除大部分噪声是初步检测的目标。

追踪工具采用SORT是一种简单有效的在线追踪算法，主要依赖于目标检测器和卡尔曼滤波框架，将检测框与预测框匹配进行数据关联并清理丢失目标，然后进行模型更新，以此循环往复。获得其轨迹Straj＝{x1，x2，...，xN}，xt(t＝1,2,...,N)为t时刻运动状态向量，可由卡尔曼滤波器获得。

过滤不满足如下条件的轨迹:IOU(boxN，pad(box1，r))≤IOUmaxVa<1N∑N t＝1{llvtll<Vb(1)其中，boxt和vt分别为t时刻运动物外接矩形框和速度，可由xt获得。pad(x，r)为边界扩充函数，表示将矩形x向四周分别扩充r个像素。IOU(x，y)表示计算矩形x与y的交并比。IOUma x，Va，Vb，r均为常数。1.941.21 1.28 1.24 1.36 1.66 1.36。

本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (10)

1.基于图像识别技术的机坪车载FOD识别方法，通过获取机坪的图像数据进行分析识别判断FOD，其特征在于：具体步骤如下：

步骤100.首先，确定目标区域，针对目标区域采集至少间隔时间T的两帧区域图像，对前后的区域图像进行对比，并通过粗过滤算法处理后获取到背景特征；

步骤200.然后，继续获取目标区域的若干帧区域图像，在每帧区域图像中选取除背景特征的像素区域，通过基于运动轨迹的过滤算法确定运动的候选特征；

步骤300.最后利用相似性比对算法将候选特征与背景特征中的重复目标剔除，以及将候选特征中重复目标合并后得到最终的报警目标。

2.根据权利要求1所述的基于图像识别技术的机坪车载FOD识别方法，其特征在于：在所述步骤200中，获取至少超过三帧的区域图像来确定除背景特征的候选区域，然后设定一个基于区域图像画面像素量所确定的距离阈值D₁，通过获取候选区域中运动轨迹确定预期的运动范围，若运动范围中的大距离大于D₁便确定为候选特征。

3.根据权利要求2所述的基于图像识别技术的机坪车载FOD识别方法，其特征在于：在所述步骤200中，还设定一个距离阈值D₂，获取候选区域中运动范围小于D₂的目标剔除，将运动范围大于D₂小于D₁的作为待选目标，并再次获取若干区域图像并针对待选目标重新确定运动范围，将重新确定的运动范围依然小于D₂和确认的运动范围较在先的运动范围变小、不变的目标剔除，并将大于D₂且运动范围较在先的运动范围变大的目标确定为候选特征。

4.根据权利要求3所述的基于图像识别技术的机坪车载FOD识别方法，其特征在于：将确定的存在运动范围保持不变或变小的目标作为背景特征。

5.根据权利要求3所述的基于图像识别技术的机坪车载FOD识别方法，其特征在于：在步骤100中，在确定好目标区域后将目标区域划定有警报区域，存在于警报区域内的所有运动范围超过D₂的目标均作为候选特征。

6.根据权利要求3所述的基于图像识别技术的机坪车载FOD识别方法，其特征在于：所述目标区域的区域图像为通过至少一个摄像头所获取的固定角度和比例的拍摄数据。

7.根据权利要求3所述的基于图像识别技术的机坪车载FOD识别方法，其特征在于：所述目标区域为至少一个可转动的摄像头通过扫视可覆盖的区域；

在步骤100中，至少通过摄像头连续扫视两个完整的目标区域获取若干帧的区域图像，以相同角度不同扫视周期的区域图像作为对比再通过粗过滤算法处理后获取到背景特征；

在步骤200中，开启摄像头以初始速度定向往复扫视目标区域，在摄像头所获取的实时画面中通过基于运动轨迹的过滤算法对除背景特征的其他特征进行过滤，一旦出现判定为运动物体，便通过设定好的一个与运动物体尺寸存在确定比例值Q的追踪画面框随着运动物体位移，并在实施画面中确定位移边界，当追踪画面框移动至位移边界处变移动摄像头跟随拍摄，直至将运动物体确定为候选特征。

8.根据权利要求1所述的基于图像识别技术的机坪车载FOD识别方法，其特征在于：所述步骤100中的粗过滤算法包括阴影计算模型，通过包含有阴影计算模型的粗过滤算法将固定物体的阴影过滤作为背景特征。

9.根据权利要求1所述的基于图像识别技术的机坪车载FOD识别方法，其特征在于：所述粗过滤算法中还包含有预设的常见固定特征。

10.根据权利要求1所述的基于图像识别技术的机坪车载FOD识别方法，其特征在于：所述目标区域的区域图像为通过至少一个可移动无人平台上的摄像头所获取的拍摄数据。