CN114511699A

CN114511699A - 一种面向羊毛羊绒纤维图像的纤维目标roi提取方法

Info

Publication number: CN114511699A
Application number: CN202210147117.7A
Authority: CN
Inventors: 李子印; 瞿瑞德; 汪小东; 叶飞; 金君
Original assignee: Huzhou Institute Of Quality And Technical Supervision And Testing Huzhou Fiber Quality Monitoring Center; China Jiliang University
Current assignee: Huzhou Institute Of Quality And Technical Supervision And Testing Huzhou Fiber Quality Monitoring Center; China Jiliang University
Priority date: 2022-02-17
Filing date: 2022-02-17
Publication date: 2022-05-17

Abstract

本发明公开了一种面向羊毛羊绒纤维图像的纤维目标ROI提取方法，包括如下步骤：S1：图像预处理；对输入原始图像进行下采样和中值滤波，去除灰尘、水泡等噪声，得到中值滤波图I _med；S2：目标分割，依次对所述中值滤波图I _med进行Canny边缘检测、闭运算形态学滤波、第1次基于面积的连通域滤波、图像取反、第2次基于面积的连通域滤波、纤维内部孔洞修复、开运算形态学滤波、第3次基于面积的连通域滤波、蒙版叠加、蒙版过滤等操作，依次得到Canny边缘检测图I _Canny，闭运算图I _close，第1次连通域滤波图I _{condo_filter_1}，图像取反图I _inv，第2次连通域滤波图I _{condo_filter_2}，开运算图I _open，第3次连通域滤波图I _{condo_filter_3}，蒙版叠加图I _{maxk_overlay}，纤维ROI图I _{fiber_roi}；纤维ROI图I _{fiber_roi}即为最终得到的滤除背景区域的纤维目标。

Description

一种面向羊毛羊绒纤维图像的纤维目标ROI提取方法

技术领域

本发明涉及图像清晰度评价领域，具体涉及一种面向羊毛羊绒纤维图像的纤维目标ROI 提取方法。

背景技术

中国作为世界羊毛羊绒纺织工业的进出口大国，拥有先进的羊毛羊绒生产工艺技术和巨大的消费市场。羊毛羊绒中包含的天然纤维由蛋白质组成，柔软而富有弹性，而羊毛出在绵羊身上，羊绒出在山羊身上，但是羊绒的产量极为稀少，亲肤性、抗寒性和吸湿性更强。正因为如此，需要对羊毛、羊绒进行鉴别区分，进而对该类纺织产品进行评级。羊毛、羊绒一般是在显微镜下进行鉴别，通过专业人员观察这两者纤维在形态上的较小差异来进行分类。

但是这种人工鉴别方法，具有繁琐费时、效率低下、人力成本高、不适合大规模纤维鉴别等缺点。随着计算机技术的飞速发展，计算机视觉技术给自动化产业带来了无限可能。采用计算机视觉技术来对羊毛羊绒纤维图像进行特征提取，具有简易便捷、效率高、人力成本低、自动化程度高等优点，而特征提取或图像清晰度评价的前提是要过滤掉纤维图像无关紧要的背景区域，将羊毛羊绒纤维目标ROI(Region Of Interest)提取出来。

目前已有一些专利提出基于图像的颜色、梯度、几何等信息来提取图像的目标ROI，认为图像的目标ROI的颜色、梯度或者几何特性与背景区域存在较大差异，可以据此将目标ROI 提取出来，但羊毛羊绒纤维目标与背景区域在颜色、梯度、几何等信息的差异不是很大，单纯用上述方法很难将纤维目标ROI提取出来。

发明内容

为了解决现有技术中存在的上述技术问题，本发明的目的是提供一种面向羊毛羊绒纤维图像的纤维目标ROI提取方法，该方法依次对羊毛羊绒纤维图像进行图像预处理、融合多重形态学和连通域滤波的目标分割操作来提取纤维目标ROI。

为解决上述问题，本发明采用以下技术方案：

一种面向羊毛羊绒纤维图像的纤维目标ROI提取方法，包括如下步骤：

S1：图像预处理；对输入原始图像进行下采样和中值滤波，去除灰尘、水泡等噪声，得到中值滤波图I_med；

S2：目标分割，依次对所述中值滤波图I_med进行Canny边缘检测、闭运算形态学滤波、第 1次基于面积的连通域滤波、图像取反、第2次基于面积的连通域滤波、纤维内部孔洞修复、开运算形态学滤波、第3次基于面积的连通域滤波、蒙版叠加、蒙版过滤等操作，依次得到 Canny边缘检测图I_Canny，闭运算图I_close，第1次连通域滤波图I_{condo_filter_1}，图像取反图I_inv，第2次连通域滤波图I_{condo_filter_2}，开运算图I_open，第3次连通域滤波图I_{condo_filter_3}，蒙版叠加图 I_{maxk_overlay}，纤维ROI图I_{fiber_roi}；纤维ROI图I_{fiber_roi}即为最终得到的滤除背景区域的纤维目标。

进一步的，所述步骤S2中的第1次基于面积的连通域滤波包括如下步骤：

S21：第1次基于面积的连通域滤波，具体为：

其中，flag_filter1_i表示第1次连通域滤波中的连通域滤除标志位，i表示连通域的序号，flag_filter1_i取值为1表示此连通域被滤除，取值为0表示此连通域被保留；Area1_i表示第1次连通域滤波中的第i个连通域的面积；thVal_Area1表示第1次连通域滤波中的面积阈值。

进一步的，所述步骤S2中的第2次基于面积的连通域滤波包括如下步骤：

S22：第2次基于面积的连通域滤波，具体为：

其中，flag_filter2_i表示第2次连通域滤波中的连通域滤除标志位，i表示连通域的序号，flag_filter2_i取值为1表示此连通域被滤除，取值为0表示此连通域被保留；Area2_i表示第2次连通域滤波中的第i个连通域的面积；thVal_Area2表示第2次连通域滤波中的面积阈值。

进一步的，所述步骤S2中的第3次基于面积的连通域滤波包括如下步骤：

S23：第3次基于面积的连通域滤波的公式与第1次连通域滤波基本相似，只是将flag_filter1_i，Area1_i，thVal_Area1中的1改成3，这里不做阐释；

S23：第3次基于面积的连通域滤波，具体为：

其中，flag_filter3_i表示第3次连通域滤波中的连通域滤除标志位，i表示连通域的序号，flag_filter3_i取值为1表示此连通域被滤除，取值为0表示此连通域被保留；Area3_i表示第3次连通域滤波中的第i个连通域的面积；thVal_Area3表示第3次连通域滤波中的面积阈值。

进一步的，所述步骤S2中的蒙版过滤方法包括如下步骤：

S24：蒙版过滤是以蒙版叠加图I_{maxk_overla}为最终蒙版，对同一XY位置拍摄的Z轴图像序列进行筛选拷贝处理，具体为：

其中，W为蒙版叠加图I_{maxk_overlay}中位于白色背景区域的像素点的集合；B为蒙版叠加图 I_{maxk_overlay}中位于黑色纤维目标区域的像素点的集合；(x,y)为最终蒙版叠加图中坐标为(x,y) 的像素点；f(x,y)为纤维原图中坐标为(x,y)的像素点的灰度值；I_{fiber_roi}(x,y)表示纤维ROI 图I_{fiber_roi}中坐标为(x,y)的像素点的灰度值。

本发明的有益效果是：本发明采用融合多重形态学和连通域滤波的目标分割算法来对羊毛羊绒纤维图像进行纤维目标ROI提取，将图像中的亮斑噪声和阴影团块噪声给较好滤除，较为完整的提取了纤维目标ROI，为后续的羊毛羊绒纤维特征提取或纤维图像清晰度评价操作奠定了坚实基础。

附图说明

图1为本发明的整体流程图；

图2为融合形态学和连通域滤波的目标分割的流程图；

图3为本发明实例中的羊绒纤维原图(×20)；

图4为中值滤波图；

图5为Canny边缘检测图；

图6为闭运算图；

图7为第1次基于面积的连通域滤波图；

图8为图像取反图；

图9为第2次基于面积的连通域滤波图；

图10为纤维内部孔洞修复图；

图11为开运算图；

图12为第3次基于面积的连通域滤波图；

图13为纤维ROI二值蒙版叠加图；

图14为本发明实例中的羊绒纤维ROI图；

图15a-图15c为其他XY位置拍摄的羊绒纤维原图；

图16a-图16c为其他XY位置的羊绒纤维目标ROI图。

具体实施方式

下面结合说明书附图及实施例来对本发明进行进一步的阐释说明。

如图1所示，为本发明的一种面向羊毛羊绒纤维图像的纤维目标ROI提取方法的整体流程图。

首先，将显微镜移动到预先粗略设定好的焦距中心，在保持同一XY位置不变的前提下，沿着Z轴负方向每隔一个单位连续拍摄9张图像(分别记为：-1、-2、-3、-4、-5、-6、-7、-8、-9)，再沿着Z轴正方向每隔一个单位连续拍摄9张图像(分别记为：1、2、3、4、5、6、7、8、9)。本发明实施例选取第1个XY位置中的Z＝-9的羊绒纤维图像作为输入原图进行算法原理的说明，执行步骤S1图像预处理：图3为输入原图(分辨率大小为：1536像素×1024 像素)，对输入原图进行下采样(宽度比例：1/2，高度比例：1/2)和中值滤波(采用大小为 5像素×5像素的正方形结构元素)，最后得到中值滤波图I_med，见图4所示。

然后执行S2目标分割：对中值滤波图I_med按照如下顺序进行处理，Canny边缘检测、形态学滤波(闭运算)、第1次基于面积的连通域滤波、图像取反、第2次基于面积的连通域滤波、纤维内部孔洞修复、形态学滤波(开运算)、第3次基于面积的连通域滤波、蒙版叠加、蒙版过滤等操作，最终得到纤维ROI图I_{fiber_roi}。图5-图14为本发明融合多重形态学和连通域滤波的目标分割算法的效果图，目标分割算法具体包括如下步骤(S21至S24)：

在执行S21步骤之前，需要对中值滤波图I_med进行Canny边缘检测操作，提取纤维的边缘和内部纹理，采用大小为3像素×3像素的正方形结构元素，低阈值设置为7，高阈值设置为 45，得到Canny边缘检测图I_Canny，见图5所示；然后对Canny边缘检测图I_Canny，进行闭运算 (先膨胀后腐蚀)处理，用于对纤维边缘与纤维内部纹理边缘进行连接，使之构成一个连通区域，采用大小为9像素×9像素的椭圆形结构元素，迭代次数设置为1，得到闭运算图I_close，见图6所示。

执行S21步骤：第1次基于面积的连通域滤波，具体为：

其中，flag_filter1_i表示第1次连通域滤波中的连通域滤除标志位，i表示连通域的序号，flag_filter1_i取值为1表示此连通域被滤除，取值为0表示此连通域被保留；Area1_i表示第一次连通域滤波中的第i个连通域的面积(单位：像素)；thVal_Area1表示第1次连通域滤波中的面积阈值，thVal_Area1设置为1000(单位：像素)，对闭运算图I_close中的每个连通域进行上述判断，即可将背景中的小斑块噪声给滤除，得到第1次基于面积的连通域滤波图I_{condo_filter_1}，见图7所示。

在执行S22步骤之前，由于第1次基于面积的连通域滤波图I_{condo_filter_1}的纤维内部存在一些黑色小孔洞噪声，需要对第1次基于面积的连通域滤波图I_{condo_filter_1}进行图像取反操作，将黑色小孔洞噪声变为白色小孔洞，得到图像取反图I_inv，见图8所示。

执行S22步骤：第2次基于面积的连通域滤波，具体为：

其中，flag_filter2_i表示第2次连通域滤波中的连通域滤除标志位，i表示连通域的序号，flag_filter2_i取值为1表示此连通域被滤除，取值为0表示此连通域被保留；Area2_i表示第2次连通域滤波中的第i个连通域的面积(单位：像素)；thVal_Area2表示第2次连通域滤波中的面积阈值，thVal_Area2设置为500(单位：像素)，对图像取反图I_inv中的每个连通域进行上述判断，即可将纤维内部的白色小孔洞给筛选出来，得到第2次基于面积的连通域滤波1I_{condo_filter_2}，见图9所示。

在执行S23步骤之前，需要将第1次基于面积的连通域滤波图I_{condo_filter_1}和第2次基于面积的连通域滤波1I_{condo_filter_2}进行叠加，得到纤维内部孔洞修复图，见图10所示，以此来对第1次基于面积的连通域滤波图I_{condo_filter_1}中纤维内部的黑色孔洞噪声进行填补；然后对纤维内部孔洞修复图进行开运算(先腐蚀后膨胀)处理，将与纤维目标粘连在一起的小斑块噪声从纤维目标中分离出来，采用大小为11像素×11像素的椭圆形结构元素，迭代次数设置为1，得到开运算图I_open，见图11所示。

执行S23步骤：第3次基于面积的连通域滤波的公式与第1次基于面积的连通域滤波基本相似，只是将flag_filter1_i，Area1_i，thVal_Area1中的1改成3，这里不做过多说明，目的是将与纤维目标邻近的白色小斑块噪声滤除，进而获得完整的纤维目标整体，得到第3次基于面积的连通域滤波图(纤维ROI二值蒙版图)，见图12所示。

在执行S24步骤之前，需要进行蒙版叠加操作，具体为：将同一XY位置中不同Z位置的纤维 ROI二值蒙版图进行叠加，叠加的实质就是将每张图中相同坐标的像素点的灰度值进行相加，若相加后的灰度值超过255，则取为255，得到纤维ROI二值蒙版叠加图I_{maxk_overlay}，见图13 所示。

执行S24步骤：蒙版过滤是以纤维ROI二值蒙版叠加图I_{maxk_overlay}为最终蒙版，对同一XY 位置拍摄的Z轴图像序列进行筛选拷贝处理，具体为：

其中，W为蒙版叠加图I_{maxk_overlay}中位于白色背景区域的像素点的集合；B为蒙版叠加图 I_{maxk_overlay}中位于黑色纤维目标区域的像素点的集合；(x,y)为最终蒙版叠加图中坐标为(x,y) 的像素点；f(x,y)为纤维原图中坐标为(x,y)的像素点的灰度值；I_{fiber_roi}(x,y)表示纤维ROI 图I_{fiber_roi}中坐标为(x,y)的像素点的灰度值，经过蒙版过滤，得到本发明实例中第1个XY位置中第1个Z位置(Z＝-9)的羊绒纤维ROI图I_{fiber_roi}，见图14所示。不同XY位置中的羊绒纤维原图和经过融合多重形态学和连通域滤波的目标分割算法提取的羊绒纤维ROI分别见图 15a-图15c和图16a-图16c所示。

最后应当说明的是：上述提到的实施例仅用于更好地描述本发明，而不是用于限定本发明，凡本领域技术人员没有进行创造性劳动而是依据本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims

1.一种面向羊毛羊绒纤维图像的纤维目标ROI提取方法，其特征在于，包括如下步骤：

S2：目标分割，依次对所述中值滤波图I_med进行Canny边缘检测、闭运算形态学滤波、第1次基于面积的连通域滤波、图像取反、第2次基于面积的连通域滤波、纤维内部孔洞修复、开运算形态学滤波、第3次基于面积的连通域滤波、蒙版叠加、蒙版过滤等操作，依次得到Canny边缘检测图I_Canny，闭运算图I_close，第1次连通域滤波图I_{condo_filter_1}，图像取反图I_inv，第2次连通域滤波图I_{condo_filter_2}，开运算图I_open，第3次连通域滤波图I_{condo_filter_3}，蒙版叠加图I_{maxk_overlay}，纤维ROI图I_{fiber_roi}；纤维ROI图I_{fiber_roi}即为最终得到的滤除背景区域的纤维目标。

2.根据权利要求1所述的一种面向羊毛羊绒纤维图像的纤维目标ROI提取方法，其特征在于，所述步骤S2中的第1次基于面积的连通域滤波包括如下步骤：

S21：第1次基于面积的连通域滤波，具体为：

3.根据权利要求2所述的一种面向羊毛羊绒纤维图像的纤维目标ROI提取方法，其特征在于，所述步骤S2中的第2次基于面积的连通域滤波包括如下步骤：

S22：第2次基于面积的连通域滤波，具体为：

4.根据权利要求3所述的一种面向羊毛羊绒纤维图像的纤维目标ROI提取方法，其特征在于，所述步骤S2中的第3次基于面积的连通域滤波包括如下步骤：

S23：第3次基于面积的连通域滤波，具体为：

5.根据权利要求4所述的一种面向羊毛羊绒纤维图像的纤维目标ROI提取方法，其特征在于，所述步骤S2中的蒙版过滤方法包括如下步骤：

其中，W为蒙版叠加图I_{maxk_overlay}中位于白色背景区域的像素点的集合；B为蒙版叠加图I_{maxk_overlay}中位于黑色纤维目标区域的像素点的集合；(x,y)为最终蒙版叠加图中坐标为(x,y)的像素点；f(x,y)为纤维原图中坐标为(x,y)的像素点的灰度值；I_{fiber_roi}(x,y)表示纤维ROI图I_{fiber_roi}中坐标为(x,y)的像素点的灰度值。