CN114926635A - 与深度学习方法相结合的多焦图像中目标分割方法 - Google Patents

Abstract

本发明公开了与深度学习方法相结合的多焦图像中目标分割方法，先对多焦图像进行配准；再基于目标的颜色与轮廓进行粗分割得到一张只包含单个目标的局部图像并基于目标中心所在位置与所属图像形成目标的定位标签；提出两种评价尺度，分别为目标清晰度判断模块与目标需求性判断模块；综合清晰度判断模块与需求性判断模块的分数得到目标的分割价值系数；最后针对具有相同定位标签的目标，比较其分割价值系数，将具有分割价值的目标放入语义细分割模块来获取多焦图像中所有清晰需求的非重复目标，以解决单独使用传统方法中所存在的分割粗糙的问题和单独使用深度学习语义分割方法中存在的效率低下、效果差等问题。这样便兼顾了分割的效果与效率。

Description

与深度学习方法相结合的多焦图像中目标分割方法

技术领域

本发明涉及基于传统方法与深度学习方法相结合的多焦图像中目标提取方法，属于计算机视觉领域。

背景技术

在信息时代图像已经成为人类记录信息的一种主要载体，其应用场景十分广泛，但是在图像捕捉设备获取图像时，会确定一张图像的对焦点，通常来说，焦点附件的目标会更加清晰而距离焦点较远的图像的清晰度较低。而一张图像中所包含的需求清晰目标越多，在实际应用场景中这张图像的应用价值也就越高。假如有一组多焦图像，其捕捉设备、捕捉背景、捕捉目标物等均相同，仅仅是由于捕捉参数导致不同图像中各个目标的清晰度不同；也就意味着实际应用场景中所需要的各个清晰目标物分散在不同图片中。此时如果能采用一种方法识别、分割、提取各个清洗目标，则会对后续的应用带来很大的帮助。

传统方法在进行目标分割时，主要有如下几种分割方法，一种是基于阈值，每个像素的灰度值与阈值作比较，最后将像素根据比较结果分到合适的类别中。另一种是基于区域的图像分割，直接寻找区域并进行分类，采用区域生长的方法即从单个像素出发逐步合并以形成所需要的分割区域；或者是从全局出发，逐步切割至所需的分割区域。此外分水岭算法也是一种常用的目标分割算法，它是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。而现有方法中最常用的是基于边缘检测的分割方法，该算法试图通过检测包含不同区域的边缘来解决分割问题。不同区域的边界上像素的灰度值变化比较剧烈，如果将图片从空间域通过傅里叶变换到频率域，边缘就对应着高频部分，便可根据目标边缘去分割图像。但是现有方法对目标边缘的判定的精确度都很低，经常出现分割后目标残缺或将背景误分割为目标的情况。

深度学习方法在进行目标分割时，主流采用语义分割算法进行分割由于源图像存在的图像中目标本身不清晰或源图像中部分目标失焦等问题致使语义分割效果不理想甚至是分割错误的问题。

总的来说当前所有的目标分割方法存在三种问题，一是传统的目标分割方法主要是基于目标与背景之间的颜色差异与目标本身特有的轮廓特征对目标进行分割，但是传统方法对目标的分割粗糙，常常包含着部分无用的背景信息，同时很难分割不清晰的目标。二是经过传统方法分割后的目标评价体系繁多且只能人工判断所分割的目标是否符合需求。三是单独使用语义分割算法对所有可能包含目标的图像进行分割，由于部分源图像含有不具备使用价值的目标，会导致语义分割效率低下、分割出的无效目标过多影响后续实验结果。

因此，本发明基于多焦图像的特点，在前人所提出的传统方法与深度学习语义分割方法的基础上提出了在多焦图像中提取清晰目标方法的泛化方法。本发明致力于根据目标的清晰性与需求性形成目标分割价值系数，从而根据参数提取多焦图像中非重复的需求清晰目标。

发明内容

目前传统的目标提取方法主要根据目标的颜色、轮廓特征进行目标提取，由于存在所获取的图像常常包含目标颜色与背景颜色差异不大、目标轮廓不清晰等问题，会导致目标与背景分割不完全，影响最终的分割效果。并且，当前存在分割后目标的评价体系并不完善，各种评价指标繁多，对分割后目标的评价方法多为人工评审，效率低下。而深度学习的语义分割方法对源图像的质量要求极高，如若放入语义分割模型的图像质量过低会导致分割效果差的问题；同时输入图像中混入一定数量的低质量图像也会使语义分割的效率降低。

针对上述问题，本发明设计了一种基于传统方法与深度学习方法相结合的多焦图像中目标提取方法，利用传统方法先对多焦图像进行配准；再基于目标的颜色与轮廓进行粗分割得到一张只包含单个目标的局部图像并基于目标中心所在位置与所属图像形成目标的定位标签；针对当前评价方法体系中所存在的低效率、标准不统一等问题，提出两种评价尺度，分别为目标清晰度判断模块与目标需求性判断模块，这两种体系分别对应目标的清晰度系数与需求性系数；综合清晰度判断模块与需求性判断模块的分数得到目标的分割价值系数；最后针对具有相同定位标签的目标，比较其分割价值系数，将具有分割价值的目标放入语义细分割模块来获取多焦图像中所有清晰需求的非重复目标，以解决单独使用传统方法中所存在的分割粗糙的问题和单独使用深度学习语义分割方法中存在的效率低下、效果差等问题。这样便兼顾了分割的效果与效率。

本发明的具体方案如附图2所示。

步骤1：图像配准；

图像配准是将不同时间、不同捕捉器(成像设备)或不同捕捉条件下获取的多幅图像进行匹配。图像配准的主要目的是在变换空间中寻找一种最有效的变换，使使两幅图像之间在某种意义上达到匹配。具体在本发明中是随机选取图像组中的一张图片为基准，图像组中的其他图像对照基准图像进行特征选取、特征匹配、图像变换等操作，最终实现图像组中所有图像的特征一致。

步骤2：基于颜色、轮廓特征的粗分割；

通过步骤1将图像组中的图像特征调整一致后，以需求目标与无关背景、无关目标之间的颜色差异与需求目标的特有轮廓为出发点，寻找前后景之间的分界边；从而对现有图像进行粗分割获取含有类寻求目标的局部图像。

步骤2.1寻找前后景颜色差异像素点；

将图像转换为灰度图后再基于图像的灰度特征来x和y方向上的梯度算子，之后使用一阶有限差分计算梯度，与梯度算子相乘差分计算幅值和方向，从而确定目标边缘轮廓。

步骤2.2目标轮廓特征检测与判断；

利用图像全局特征将边缘像素连接起来组成区域封闭边界，将图像空间转换到参数空间，在参数空间对点进行描述，达到检测图像边缘的目的。把所有可能落在边缘上的点进行统计计算，根据对数据的统计结果确定目标轮廓特征是否符合标准特征。

步骤3：目标定位；

根据步骤2粗分割后形成的目标轮廓边缘计算目标边缘点的中心距进而求出中心点的坐标，再将目标的中心坐标形成标签与目标图像关联。

步骤4：目标图像清晰度评价；

传统的图像清晰度评价都是针对整张图像的数字矩阵采用数学方法求得一个评分，例如：方差、图像熵、梯度等。本步骤尝试将一些传统的参数标准化后融合训练机器学习模型，使图像的清晰度评价体系更加客观准确。将之前经过步骤1、2、3处理过的具有定位信息的粗分割目标输入模型以评价图像清晰度。

步骤4.1训练多参数融合的清晰度评价回归模型；

计算训练集在各个参数指标上的得分，之后对训练集进行二分类标注，再训练多参数融合的清晰度评价回归模型。

步骤4.2获取目标图像的清晰度分数；

将目标图像输入已训练好的模型计算目标图像的清晰度分数。

步骤5：目标图像需求性预测；

本步骤主要目的判定目标图像的特征是否与需求目标特征相符合，因此训练可识别需求目标特征的二分类深度学习模型用以预测目标图像的需求性。将之前经过步骤1、2、3处理过的具有定位信息的粗分割目标输入模型以评价图像需求度。此步骤与步骤4为并行步骤。

步骤5.1训练基于纹理特征需求目标识别的二分类深度学习模型；

选取适当规模的只包含需求目标图像和轮廓颜色与需求目标类似但纹理特征不同的目标图像制作数据集并关联标签，用以训练基于纹理特征需求目标识别的二分类深度学习模型。

步骤5.2获取目标图像的需求置信度；

将目标图像输入训练好的模型获取目标的需求置信度。

步骤6：目标图像分割价值综合判定；

根据步骤4得出的图像清晰度分数与步骤5得出的图像的需求置信度求解图像的分割价值判定。

步骤6.1根据清晰度分数及需求置信度计算分割价值系数；

步骤6.2划分高分割价值目标图像群；

根据后续所需要的数据规模设置阈值，划分高分割价值目标图像群。

步骤7：根据目标图像的定位信息筛选高分割价值目标图像群中的非重复目标图像；

获取目标图像关联的定位标签，与其他目标的定位标签进行比较，划分具有相同定位的图像组，再根据图像在步骤6中得出的分割价值系数设置阈值筛选出高分割价值目标图像群中的非重复目标图像。

步骤8：细分割高价值目标图像；

采用语义分割模型对步骤7得到的目标图像进行轮廓细分割。

步骤8.1训练基于轮廓的语义分割模型；

对训练集的目标轮廓进行像素级绘制，用以训练基于轮廓的语义分割模型。

步骤8.2绘制目标精细轮廓；

将目标图像输入训练好的语义分割模型绘制目标精细轮廓。

步骤9：获得多焦图像中的非重复清晰需求目标。

将之前计算的具有高分割价值的非重复图像放入步骤8.1训练的模型进行语义细分割得到轮廓掩模图，再对比掩模图与源图像以分离出多焦图像中的非重复清晰需求目标。

与现有技术相比，本发明的优点在于：

1、建立多参数清晰度评价模型，使图像的清晰度得分更加合理，更加贴近实际。同时控制清晰度分数的数值范围保障后续分割价值系数计算的合理性。

2、使用清晰度分数二次耦合分类模型的需求置信度，强化纹理特征清晰度对模型分类置信度的影响，从而得出更合理更科学的分割价值系数。

3、经过目标清晰度判断模块、目标需求性判断模块筛选后的图像再送入语义分割模型可大大提高语义分割的效率及分割后目标的需求度。

4、相比于现有的分割方法，像素级标注的训练数据所训练出的语义分割模型可以更精确地分割目标，基本可以做到完全去除无用的背景信息，提高目标图像的后续可利用度。

附图说明

图1为传统方法中所存在问题的示例图。

图2为本发明提出的方法的整体模型图。

具体实施方式

以下结合说明书附图，对本发明的实施实例加以详细说明：

本发明是一种基于传统方法与深度学习方法相结合的多焦图像中目标提取方法。该方法将清晰度分数与阈值做差值标准化后得到清晰度影响因子，再用清晰度影响因子去校正需求置信度从而获得分割价值系数，之后根据该系数与定位信息等目标的其他标签确定是否提取目标。接下来我将以花粉图像为案例描述多焦图像目标提取方法的具体流程。首先对多焦花粉图像配准，使一组图像中的各图像的非背景目标的总体特征保持一致；之后针对类花粉目标与无效背景、非花粉目标之间的颜色、轮廓差异去进行粗分割；再根据每个类花粉目标的定位信息形成关联标签以备之后使用；针对初步筛选后的类花粉目标通过清晰度判断及需求判断的模型验证得到分割价值系数；二次筛选真正具有细分割价值的花粉目标后放入语义分割模型绘制轮廓；得到符合要求的单个花粉图像。

具体地，该方法包括以下步骤：

步骤1：图像配准：

首先使用ORB算法提取、描述特征点，具体地来说是通过FAST算法提取出FAST特征点，再设置一个比例因子scale和金字塔的层数n以建立图像金字塔。之后将原图像按比例因子缩小成n幅图像。缩放后的图像为：

其中I为原图像、I'为处理后图像、k＝1,2,…,n。通过计算一个矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向。这样我就获得了所有的特征点，并计算出了特征点的方向。然后本步骤采取K临近算法对两个图像中对应的关键点进行关联匹配。在匹配至少四对关键点之后，使用单应性变换进行图像变换。

步骤2：类花粉目标的粗分割：

本步骤的主要目的是识别经过步骤1配准后的图像组中图像与需求目标的颜色、轮廓特征类似的目标的位置，并将其从图像中分割出来，由于现有方法对目标的分割存在很大局限性，故此步骤称为粗分割。

步骤2.1图像滤波降噪：

对灰度图进行高斯滤波排除干扰噪声，防止噪声后续步骤影响颜色与轮廓识别。

步骤2.2差分计算幅度和方向：

使用一阶有限差分计算梯度可以得到图像在x和y方向上偏导数的两个矩阵，再和Sobel算子相乘后获得梯度幅值与梯度方向分别为：

其中H(x,y)为图像，x、y为一幅图像中横纵坐标的像素点坐标，S_x、S_y为根据先验知识设置的Sobel算子矩阵，G_C(i,j)为梯度幅值，θ为梯度方向。

步骤2.3非极大值抑制：

以当前像素点为中心的周围8个像素点为单位分组，根据计算获得的梯度值与梯度方向进行线性插值，越靠近梯度方向的梯度值，其所占比例越大。之后寻找其中的局部最大值，将非极大值点所对应的灰度值置为0。完成非极大值抑制后，会得到一个二值图像，非边缘的点灰度值均为0，可能为边缘的局部灰度极大值点可设置其灰度为128。得出粗略的边缘轮廓。

步骤2.4高低阈值连接边缘：

设置两个阈值，高阈值去除假轮廓，当采用高阈值导致图像边缘点无法闭合时，再在无法闭合的像素点位周围8像素区域采用低阈值寻找能闭合边缘的点，最后形成完整的边缘轮廓。

步骤2.5边缘类圆形检测：

本步骤采用霍夫梯度法，依据圆心一定是在圆上的每个点的模向量上去寻找可能的圆心，再根据所有候选中心的边缘非0像素对其的支持程度来确定半径，之后确定所划出的圆形与边缘的重合程度，来判断目标边缘轮廓是否为类圆形。

步骤2.6目标切割形成单独的类花粉目标图像；

步骤3：类花粉目标定位：

本步骤是将经过步骤2粗分割后得到目标的中心与目标图像关联形成位置标签方便后续目标的筛选与保留。

步骤3.1获取目标中心坐标形成标签：

计算边缘点的中心矩进而求出中心点的坐标，中心矩与中心点的计算公式如下：

其中i、j为一张图像矩的阶数，x、y为一幅图像中横纵坐标的像素点坐标，array(x,y)为当前(x,y)坐标处的像素值，

为最终计算的中心点坐标。

将目标中心坐标与目标图像相关联。

步骤3.2目标所属图片名称形成标签；

步骤4：类花粉图像清晰度评价：

本步骤的目的是计算类花粉图像的清晰度分数，由于现有评价图像清晰度的方法众多，因此本步骤采用融合方法将多种评价体系融合在一起获得经过步骤1、2、3处理过后得到目标最客观的清晰度评价分数。

步骤4.1训练多参数融合的清晰度评价回归模型：

通过调查、实验与研究，本步骤选取如下参数作为模型融合的基础参数：

1.Tenengrad梯度函数：

其中T是给定的边缘检测阈值，G(x,y)为梯度幅值，x、y为一幅图像中横纵坐标的像素点坐标。

2.Vollath函数:

其中μ为整幅图像的平均灰度值，M和N分别为图像宽和高，f(x,y)为当前坐标的像素值，x、y为一幅图像中横纵坐标的像素点坐标。

3.方差函数：

其中μ为整幅图像的平均灰度值，M和N分别为图像宽和高，f(x,y)为当前坐标的像素值，x、y为一幅图像中横纵坐标的像素点坐标。

4.灰度差分乘积函数：

其中，f(x,y)为当前坐标的像素值，x、y为一幅图像中横纵坐标的像素点坐标。

5.Brenner梯度函数：

其中，f(x,y)为当前坐标的像素值，x、y为一幅图像中横纵坐标的像素点坐标。

根据这些参数的数据规模与数据属性对其做归一标准化以获得本清晰度评价体系的基础元系数：

其中f代指输入评价体系的图像。

最终形成清晰度评价体系：

其中μ_i为第i项清晰度评价体系的基础元系数的可训练回归系数。计算训练集映射在这些函数上的值，作为回归模型的训练输入，标注后对回归模型进行训练。

步骤4.2获取类花粉图像的清晰度分数：

将目标图像输入模型计算图像的清晰度分数。

步骤5：基于纹理特征的判别类花粉目标的花粉置信度；

训练ResNet模型用于判别经过步骤1、2、3处理过后得到类花粉目标的花粉置信度。

步骤5.1训练基于纹理特征的花粉识别二分类深度学习模型；

对训练集进行二分类标注，之后训练基于纹理特征的ResNet模型。

步骤5.2计算类花粉目标的花粉置信度；

将目标图像输入模型计算图像的花粉置信度P_pollen

步骤6：类花粉图像分割价值综合判定；

综合步骤4、5的分数计算类花粉图像目标的分割价值。

步骤6.1根据清晰度分数及花粉置信度计算分割价值系数

由于深度学习为黑盒模型，无法了解图像清晰度对花粉置信度所产生的影响，故而本步骤采用如下公式放大图像清晰度对花粉置信度的影响：

其中S_standard由人为设定，根据后续所需要的数据规模与数据质量进行预设，原则是需要高质量的数据则设置高阈值的S_standard，需要大量的数据则设置低阈值的S_standard。

步骤6.2划分高分割价值花粉图像群

设置分割价值系数阈值，以划分出具有高分割价值的花粉图像群。

步骤7：根据花粉图像的定位信息筛选高分割价值花粉的非重复花粉图像；

将具有相近定位信息但所属图像不同的花粉目标分为一组，并基于步骤6计算出的分割价值系数筛选出组内唯一的高质量花粉目标。

步骤8：细分割高价值花粉图像；

本步骤的主要目的是针对之前步骤处理、粗分割后存在的残余背景信息进行割除，以保证细分割的精确性与细分割后的花粉的完整性。

步骤8.1训练基于花粉轮廓的语义分割模型；

对训练集图像进行像素级轮廓标注，以保证模型分割的准确性，之后训练基于花粉轮廓的语义分割模型；

步骤8.2绘制花粉目标精细轮廓；

将步步筛选后的花粉图像放入模型进行细分割，得到花粉图像的精细轮廓。

步骤9：获得多焦图像中的非重复清晰花粉图像。

将上一步得出的轮廓掩模图与原图像进行重叠以裁切出多焦图像中的非重复清晰花粉图像。

参考文献：

[1]李怡.基于深度学习的多焦点图像融合算法研究[D].吉林大学,2020.DOI:10.27162/d.cnki.gjlin.2020.006095.

[2]董洋珣.基于卷积神经网络的多源图像融合方法研究[D].西安电子科技大学,2020.DOI:10.27389/d.cnki.gxadu.2020.003576.

[3]王杰.基于深度卷积网络的多焦点图象融合算法研究与检测应用[D].北京邮电大学,2020.DOI:10.26969/d.cnki.gbydu.2020.001435.

[4]李永薛.基于卷积神经网络的多源图像融合技术研究[D].西安电子科技大学,2019.DOI:10.27389/d.cnki.gxadu.2019.001698.

Claims (5)

1.与深度学习方法相结合的多焦图像中目标分割方法，其特征在于：该方法包括如下步骤，

步骤1：图像配准；

随机选取图像组中的一张图片为基准，图像组中的其他图像对照基准图像进行特征选取、特征匹配、图像变换操作，最终实现图像组中所有图像的特征一致；

步骤2：基于颜色、轮廓特征的粗分割；

通过步骤1将图像组中的图像特征调整一致后，以需求目标与无关背景、无关目标之间的颜色差异与需求目标的特有轮廓为出发点，寻找前后景之间的分界边；从而对现有图像进行粗分割获取含有类寻求目标的局部图像；

步骤3：目标定位；

根据步骤2粗分割后形成的目标轮廓边缘计算目标边缘点的中心距进而求出中心点的坐标，再将目标的中心坐标形成标签与目标图像关联；

步骤4：目标图像清晰度评价；

将之前经过步骤1、2、3处理过的具有定位信息的粗分割目标输入模型以评价图像清晰度；

步骤5：目标图像需求性预测；

将之前经过步骤1、2、3处理过的具有定位信息的粗分割目标输入模型以评价图像需求度；此步骤与步骤4为并行步骤；

步骤6：目标图像分割价值综合判定；

根据步骤4得出的图像清晰度分数与步骤5得出的图像的需求置信度求解图像的分割价值判定；

步骤7：根据目标图像的定位信息筛选高分割价值目标图像群中的非重复目标图像；

获取目标图像关联的定位标签，与其他目标的定位标签进行比较，划分具有相同定位的图像组，再根据图像在步骤6中得出的分割价值系数设置阈值筛选出高分割价值目标图像群中的非重复目标图像；

步骤8：细分割高价值目标图像；

采用语义分割模型对步骤7得到的目标图像进行轮廓细分割；

步骤8.1训练基于轮廓的语义分割模型；

对训练集的目标轮廓进行像素级绘制，用以训练基于轮廓的语义分割模型；

步骤8.2绘制目标精细轮廓；

将目标图像输入训练好的语义分割模型绘制目标精细轮廓；

步骤9：获得多焦图像中的非重复清晰需求目标；

将计算的具有高分割价值的非重复图像放入步骤8.1训练的模型进行语义细分割得到轮廓掩模图，再对比掩模图与源图像以分离出多焦图像中的非重复清晰需求目标。

2.根据权利要求1所述的与深度学习方法相结合的多焦图像中目标分割方法，其特征在于：步骤2的实施过程如下，

步骤2.1寻找前后景颜色差异像素点；

将图像转换为灰度图后再基于图像的灰度特征来x和y方向上的梯度算子，之后使用一阶有限差分计算梯度，与梯度算子相乘差分计算幅值和方向，从而确定目标边缘轮廓；

步骤2.2目标轮廓特征检测与判断；

利用图像全局特征将边缘像素连接起来组成区域封闭边界，将图像空间转换到参数空间，在参数空间对点进行描述，达到检测图像边缘的目的；把所有可能落在边缘上的点进行统计计算，根据对数据的统计结果确定目标轮廓特征是否符合标准特征。

3.根据权利要求1所述的与深度学习方法相结合的多焦图像中目标分割方法，其特征在于：步骤4的实施过程如下，

步骤4.1训练多参数融合的清晰度评价回归模型；

计算训练集在各个参数指标上的得分，之后对训练集进行二分类标注，再训练多参数融合的清晰度评价回归模型；

步骤4.2获取目标图像的清晰度分数；

将目标图像输入已训练好的模型计算目标图像的清晰度分数。

4.根据权利要求1所述的与深度学习方法相结合的多焦图像中目标分割方法，其特征在于：步骤5的实施过程如下，

步骤5.1训练基于纹理特征需求目标识别的二分类深度学习模型；

选取适当规模的只包含需求目标图像和轮廓颜色与需求目标类似但纹理特征不同的目标图像制作数据集并关联标签，用以训练基于纹理特征需求目标识别的二分类深度学习模型；

步骤5.2获取目标图像的需求置信度；

将目标图像输入训练好的模型获取目标的需求置信度。

5.根据权利要求1所述的与深度学习方法相结合的多焦图像中目标分割方法，其特征在于：步骤6的实施过程如下，

步骤6.1根据清晰度分数及需求置信度计算分割价值系数；

步骤6.2划分高分割价值目标图像群；

根据后续所需要的数据规模设置阈值，划分高分割价值目标图像群。

Images