[go: up one dir, main page]

CN111079797A - 一种图像分类的方法、装置和存储介质 - Google Patents

一种图像分类的方法、装置和存储介质 Download PDF

Info

Publication number
CN111079797A
CN111079797A CN201911162361.5A CN201911162361A CN111079797A CN 111079797 A CN111079797 A CN 111079797A CN 201911162361 A CN201911162361 A CN 201911162361A CN 111079797 A CN111079797 A CN 111079797A
Authority
CN
China
Prior art keywords
image
classification
classified
super
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911162361.5A
Other languages
English (en)
Other versions
CN111079797B (zh
Inventor
李琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beike Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN201911162361.5A priority Critical patent/CN111079797B/zh
Publication of CN111079797A publication Critical patent/CN111079797A/zh
Application granted granted Critical
Publication of CN111079797B publication Critical patent/CN111079797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像分类的方法、装置和存储介质,具体为获取以微波遥感方式采集的待分类图像,从中提取第一图像特征和第二图像特征,分别输入预先训练的分类器中,获取分类器根据第一图像特征输出的第一分类标签集和根据第二图像特征输出的第二分类标签集,对待分类图像进行超像素块分割,确定第一分类标签集与第二分类标签集在至少一个超像素块内的标签重合度,当任一个超像素块内的标签重合度小于预设阈值时,从第一分类标签集中选取落入在该超像素块内的至少一个第一分类标签,反之,从第二分类标签集中选取至少一个第二分类标签。本申请实施例通过在每个超像素块根据标签重合度选取更为准确的分类标签,提升了待分类图像进行分类的精准度。

Description

一种图像分类的方法、装置和存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像分类的方法、装置和存储介质。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种高分辨率成像雷达,可以在能见度极低的气象条件下得到类似光学照相的高分辨雷达图像。利用雷达与目标的相对运动把尺寸较小的真实天线孔径用图像分类的方法合成较大的等效天线孔径的雷达,也称综合孔径雷达。合成孔径雷达的特点是分辨率高,能全天候工作,能有效地识别伪装和穿透掩盖物。所得到的高方位分辨力相当于一个大孔径天线所能提供的方位分辨力。通过合成孔径雷达获取的信息已经被应用于城市规划、覆被分类、灾害预防、环境风险评估、城市检测与提取等许多方面。
由于对高分辨率的SAR图像进行处理时,随着分辨率的提升,SAR图像的纹理边缘特征趋于消失,强反射占据主导地位,出现高动态和乘性噪声等一系列问题。针对上述问题,目前常用的针对SAR图像进行地物分类的方法一般会基于区域块分类,传统方法一般分两个步骤:特征提取、分类器分类。特征提取常用方法有Gabor特征提取、灰度共生矩阵(Gray-Level Co-occurrence Matrix,GLCM)进行灰度直方图特征提取、多尺度局部模式直方图(Multilevel local pattern histogram,MLPH)特征提取等等。其中采用Gabor特征提取和GLCM灰度直方图特征提取的分类方法中对噪点的控制效果较差,采用MLPH多尺度局部模式直方图特征方法提取的边界的分类效果较差。因此,SAR中地物分类的精准度较低。
发明内容
本申请实施例提供了一种图像分类的方法,克服了微波遥感方式采集到的待分类图像进行分类时精准度较低的问题。
该方法包括:
获取以微波遥感方式采集到的待分类图像;
从所述待分类图像中提取特征类别不同的第一图像特征和第二图像特征;
将所述第一图像特征和所述第二图像特征分别输入预先训练的分类器中;
获取所述分类器根据所述第一图像特征输出的第一分类标签集、以及根据所述第二图像特征输出的第二分类标签集;
对所述待分类图像进行超像素块分割;
确定所述第一分类标签集与所述第二分类标签集在至少一个所述超像素块内的标签重合度;
当任一个所述超像素块内的所述标签重合度小于预设阈值时,从所述第一分类标签集中选取落入在该所述超像素块内的至少一个第一分类标签;
当任一个所述超像素块内的所述标签重合度大于或等于所述预设阈值时,从所述第二分类标签集中选取落入在该所述超像素块内的至少一个第二分类标签。
可选地,确定所述待分类图像的图像边界,并围绕所述图像边界进行边界扩展;
将经过所述边界扩展的所述待分类图像划分为多个图像块,其中,相邻的所述图像块之间的部分像素点重合。
可选地,分别提取所述图像块中包含的至少一个所述像素点的图像纹理特征和图像灰度特征,并将同一个所述像素点上的所述图像纹理特征和图像灰度特征矢量叠加,作为该所述像素点的所述第一图像特征;
分别计算在多个不同像素点的幅度值下的所述图像块中包含的至少一个所述像素点的局部直方图特征,并联合多个所述局部直方图特征以生成多尺度局部直方图特征,作为该所述像素点的所述第二图像特征。
可选地,通过第一滤波器对所述待分类图像中的至少一个所述图像块进行滤波,并在所述图像块中提取至少一个所述像素点的所述图像纹理特征,其中,所述图像纹理特征包括所述待分类图像中包含的所述像素点的均值和方差;
生成所述待分类图像的各个所述图像块的灰度共生矩阵,并根据所述灰度共生矩阵计算所述图像块的所述图像灰度特征,其中,所述图像灰度特征包括所述待分类图像中包含的所述像素点的均值、熵、对比度、方差和角二阶距。
可选地,在所述超像素块内计算所述第一分类标签集与所述第二分类标签集的相关系数,并将所述相关系数作为在该超像素块内的所述标签重合度。
可选地,统计第一分类标签集中包含的各个标签类型在所述超像素块内所占的数量,并将所述数量最多的所述标签类型作为该所述超像素块的所述第一分类标签。
可选地,统计第二分类标签集中包含的各个标签类型在所述超像素块内所占的数量,并将所述数量最多的所述标签类型作为该所述超像素块的所述第二分类标签。
在本发明的另一个实施例中,提供了一种图像分类的装置,该装置包括:
第一获取模块,用于获取以微波遥感方式采集到的待分类图像;
提取模块,用于从所述待分类图像中提取特征类别不同的第一图像特征和第二图像特征;
输入模块,用于将所述第一图像特征和所述第二图像特征分别输入预先训练的分类器中;
第二获取模块,用于获取所述分类器根据所述第一图像特征输出的第一分类标签集、以及根据所述第二图像特征输出的第二分类标签集;
分割模块,用于对所述待分类图像进行超像素块分割;
第一确定模块,用于确定所述第一分类标签集与所述第二分类标签集在至少一个所述超像素块内的标签重合度;
第一选取模块,用于当任一个所述超像素块内的所述标签重合度小于预设阈值时,从所述第一分类标签集中选取落入在该所述超像素块内的至少一个第一分类标签;
第二选取模块,用于当任一个所述超像素块内的所述标签重合度大于或等于所述预设阈值时,从所述第二分类标签集中选取落入在该所述超像素块内的至少一个第二分类标签。
可选地,所述装置还包括:
第二确定模块,用于确定所述待分类图像的图像边界,并围绕所述图像边界进行边界扩展;
划分模块,用于将经过所述边界扩展的所述待分类图像划分为多个图像块,其中,相邻的所述图像块之间的部分像素点重合。
可选地,所述提取模块包括:
第一提取单元,用于分别提取所述图像块中包含的至少一个所述像素点的图像纹理特征和图像灰度特征,并将同一个所述像素点上的所述图像纹理特征和图像灰度特征矢量叠加,作为该所述像素点的所述第一图像特征;
第二提取单元,用于分别计算在多个不同像素点的幅度值下的所述图像块中包含的至少一个所述像素点的局部直方图特征,并联合多个所述局部直方图特征以生成多尺度局部直方图特征,作为该所述像素点的所述第二图像特征。
可选地,第一提取单元包括:
第一提取子单元,用于通过第一滤波器对所述待分类图像中的至少一个所述图像块进行滤波,并在所述图像块中提取至少一个所述像素点的所述图像纹理特征,其中,所述图像纹理特征包括所述待分类图像中包含的所述像素点的均值和方差;
第二提取子单元,用于生成所述待分类图像的各个所述图像块的灰度共生矩阵,并根据所述灰度共生矩阵计算所述图像块的所述图像灰度特征,其中,所述图像灰度特征包括所述待分类图像中包含的所述像素点的均值、熵、对比度、方差和角二阶距。
可选地,第一确定模块还用于:
在所述超像素块内计算所述第一分类标签集与所述第二分类标签集的相关系数,并将所述相关系数作为在该超像素块内的所述标签重合度。
可选地,第一选取模块还用于:
统计第一分类标签集中包含的各个标签类型在所述超像素块内所占的数量,并将所述数量最多的所述标签类型作为该所述超像素块的所述第一分类标签。
可选地,第二选取模块还用于:
统计第二分类标签集中包含的各个标签类型在所述超像素块内所占的数量,并将所述数量最多的所述标签类型作为该所述超像素块的所述第二分类标签。
在本发明的另一个实施例中,提供了一种非瞬时计算机可读存储介质,所述非瞬时计算机可读存储介质存储指令,所述指令在由处理器执行时使得所述处理器执行上述一种图像分类的方法中的各个步骤。
在本发明的另一个实施例中,提供了一种终端设备,包括处理器,所述处理器用于执行上述一种图像分类的方法中的各个步骤。
基于上述实施例,首先获取以微波遥感方式采集到的待分类图像,从待分类图像中提取特征类别不同的第一图像特征和第二图像特征,并将第一图像特征和第二图像特征分别输入预先训练的分类器中,进一步地,获取分类器根据第一图像特征输出的第一分类标签集、以及根据第二图像特征输出的第二分类标签集,其次,对待分类图像进行超像素块分割,并确定第一分类标签集与第二分类标签集在至少一个超像素块内的标签重合度,最后,当任一个超像素块内的标签重合度小于预设阈值时,从第一分类标签集中选取落入在该超像素块内的至少一个第一分类标签,以及,当任一个超像素块内的标签重合度大于或等于预设阈值时,从第二分类标签集中选取落入在该超像素块内的至少一个第二分类标签。本申请实施例通过在每一个超像素块内根据标签重合度选取更为准确的分类标签,提升了待分类图像进行分类的精准度。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例100所提供的一种图像分类的方法的流程示意图;
图2示出了本申请实施例200提供的一种图像分类的方法的具体流程的示意图;
图3示出了本申请实施例300还提供一种图像分类的装置的示意图;
图4示出了本申请实施例400所提供的一种终端设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
基于现有技术中的问题,本申请实施例提供了一种图像分类的方法,主要适用于计算机技术领域。通过在待分类图像中使用不同类别的特征提取方式进行特征提取,并生成对应的不同的分类标签集。进一步地,在对待分类图像进行超像素分割后,根据不同的分类标签集的标签重合度,在超像素块内选取某一类分类标签集内的分类标签,优化了待分类图像的分类结果。下面以具体实施例对本发明的技术方案进行详细说明,以实现一种图像分类的方法。以下几个具体实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。如图1所示,为本申请实施例100提供的一种图像分类的方法的流程示意图。其中,详细步骤如下:
S11,获取以微波遥感方式采集到的待分类图像。
本步骤中,这里以微波遥感方式采集的待分类图像主要指以合成孔径雷达采集的SAR图像。进一步地,通过分辨率较高的相干成像雷达系统获取待分类图像,即通过天线给向拍摄图像发射能量,同时也通过合成孔径雷达接收能量,全部的能量都通过电子设备记录下来,最后形成待分类图像。其中,待分类图像可以记录包括相位、振幅、强度在内的多种信息,且斑点噪声是其固有特性。另外,待分类图像分辨率相对较低、信噪比较低,所以待分类图像中所包含的振幅信息远达不到光学影像的成像水平。
S12,从待分类图像中提取特征类别不同的第一图像特征和第二图像特征。
本步骤中,对获取的待分类图像进行预处理,分别在待分类图像中提取特征类别不同的第一图像特征和第二图像特种。其中,第一图像特征主要指待分类图像的图像纹理特征和图像灰度特征,第二图像特征主要为待分类图像的多尺度局部直方图特征。其中,第一图像特征主要是针对待分类图像进行纹理分析,并描述信号的局部频率信息。第二图像特征主要是对图像灰度(浓淡)空间分布模式的提取和分析。
S13,将第一图像特征和第二图像特征分别输入预先训练的分类器中。
本步骤中,将提取的第一图像特征和第二图像特征分别输入对应的分类器中。具体的,将多个第一图像特征作为样本与每个第一图像特征对应的分类标签一起输入分类器,对分类器进行训练,生成第一图像分类模型。同样地,对第二图像特征进行类似操作,生成第二图像分类模型。其中,第一图像分类模型和第二图像分类模型即为分别与第一图像特征和第二图像特征对应的预先训练的分类器。
S14,获取分类器根据第一图像特征输出的第一分类标签集、以及根据第二图像特征输出的第二分类标签集。
本步骤中,将多个第一图像特征和多个第二图像特征分别输入对应的预先训练的分类器后,第一图像特征经过分类器即第一图像分类模型输出第一分类标签集,以及第二图像特征经过分类器即第二图像分类模型输出第二分类标签集。其中,第一分类标签集中包含多个第一图像特征分别对应的分类标签,第二分类标签集中也包含多个第二图像特征分别对应的分类标签。
S15,对待分类图像进行超像素块分割。
本步骤中,对待分类图像的原图像进行超像素分割,将待分类图像分割为多个超像素块。其中,超像素分割主要指的是将数字图像细分为多个图像子区域(像素的集合)(也被称作超像素)的过程。图像分割的目的是简化或改变图像的表示形式,使得图像更容易理解和分析,通常用于定位图像中的物体和边界(线,曲线等)。对待分类图像进行超像素分割可以在待分类图像中获取更为准确的图像边界。
S16,确定第一分类标签集与第二分类标签集在至少一个超像素块内的标签重合度。
本步骤中,每个超像素块均是一个独立的单元,每一个超像素块内包含多个像素,每个像素在被分别提取第一图像特征和第二图像特征后,对应的第一分类标签和第二分类标签可能相同,也可能不同。因此,计算每个超像素块内的每个像素对应的第一分类标签和第二分类标签的标签重合度。其中,标签重合度为第一分类标签和第二分类标签的相似度。
S17,当任一个超像素块内的标签重合度小于预设阈值时,从第一分类标签集中选取落入在该超像素块内的至少一个第一分类标签。
本步骤中,设置预设阈值区分该像素块更接近于两类分类标签中的哪一类。具体的,当任一个超像素块内的标签重合度小于预设阈值时,认为该像素块对应的分类标签为对应的第一分类标签更准确。此时,在第一分类标签集中选取落入在该超像素块内的至少一个第一分类标签。
S18,当任一个超像素块内的标签重合度大于或等于预设阈值时,从第二分类标签集中选取落入在该超像素块内的至少一个第二分类标签。
本步骤中,与步骤S17类似的,当任一个超像素块内的标签重合度大于或等于预设阈值时,认为该像素块对应的分类标签为对应的第二分类标签更准确。此时,在第二分类标签集中选取落入在该超像素块内的至少一个第二分类标签。
如上所述,基于上述实施例,首先获取以微波遥感方式采集到的待分类图像,从待分类图像中提取特征类别不同的第一图像特征和第二图像特征,并将第一图像特征和第二图像特征分别输入预先训练的分类器中,进一步地,获取分类器根据第一图像特征输出的第一分类标签集、以及根据第二图像特征输出的第二分类标签集,其次,对待分类图像进行超像素块分割,并确定第一分类标签集与第二分类标签集在至少一个超像素块内的标签重合度,最后,当任一个超像素块内的标签重合度小于预设阈值时,从第一分类标签集中选取落入在该超像素块内的至少一个第一分类标签,以及,当任一个超像素块内的标签重合度大于或等于预设阈值时,从第二分类标签集中选取落入在该超像素块内的至少一个第二分类标签。本申请实施例通过在每一个超像素块内根据标签重合度选取更为准确的分类标签,提升了待分类图像进行分类的精准度。
如图2所示,为本申请实施例200提供的一种图像分类的方法的具体流程的示意图。其中,该具体流程的详细过程如下:
S201,获取以微波遥感方式采集到的待分类图像。
这里,获取的以微波遥感方式采集的待分类图像主要指以合成孔径雷达采集的SAR图像。
S202,对待分类图像进行预处理。
这里,确定每个待分类图像的图像边界,并围绕图像边界进行边界扩展,将经过边界扩展的待分类图像划分为多个图像块。可选地,针对每个待分类图像中的像素点,围绕像素点的边界进行镜像反射,以对待分类图像进行边界扩展。将扩展后的待分类图像进行划分,划分为多个图像块。其中,相邻的图像块之间的部分像素点重合。
S203,在待分类图像中提取第一图像特征。
这里,分别提取图像块中包含的至少一个像素点的图像纹理特征和图像灰度特征,并将同一个像素点上的图像纹理特征和图像灰度特征矢量叠加,作为该像素点的第一图像特征。
其中,图像纹理特征的提取方式为通过第一滤波器对待分类图像中的至少一个图像块进行滤波,并在图像块中提取至少一个像素点的图像纹理特征,其中,图像纹理特征包括待分类图像中包含的像素点的均值和方差。具体的,通过第一滤波器对每待分类图像中包含的各个图像块进行滤波,并在每个图像块中提取图像纹理特征,其中,图像纹理特征包括待分类图像中包含的像素点的均值和方差。可选地,第一滤波器一般为五尺度八方向的Gabor滤波器,Gabor滤波器的频率和方向与人类的视觉系统类似,适用于图像纹理的表示与判别。Gabor滤波器依靠Gabor核获取待分类图像中的各个图像块的某个频率邻域的响应情况,可以看作是图像块的图像特征。用多个不同频率的Gabor核去获取待分类图像在不同频率邻域的响应情况,形成待分类图像在各个频率段的图像特征,得到图像块的图像纹理特征。根据Gabor滤波器在每个图像块中提取的矩阵,分别计算待分类图像对应的图像块中包含的像素点的均值和方差,以提取图像纹理特征。
另外,图像灰度特征的提取方式为生成待分类图像的各个图像块的灰度共生矩阵,并根据灰度共生矩阵计算图像块的图像灰度特征,其中,图像灰度特征包括待分类图像中包含的像素点的均值、熵、对比度、方差和角二阶距。具体的,生成每个待分类图像的各个图像块的灰度共生矩阵,并根据灰度共生矩阵计算图像块的图像灰度特征,其中,图像灰度特征包括待分类图像中包含的像素点的均值、熵、对比度、方差和角二阶距。可选地,灰度共生矩阵GLCM用两个位置的像素的联合概率密度来定义,它不仅反映亮度的分布特性,也反映具有同样亮度或接近亮度的像素之间的位置分布特性,是有关图象亮度变化的二阶统计特征。通过灰度共生矩阵计算P(i,j|d,θ)计算图像块中的像素点的均值MEA=∑i,ji*P(i,j|d,θ)、熵ENT=-∑i,jP(i,j|d,θ)*log{P(i,j|d,θ)}、对比度CON=∑i,j(i-j)2P(i,j|d,θ)、方差Var=∑ij(i-μ)2P(i,j|d,θ)和角二阶距Energy=∑i,jP2(i,j|d,θ),其中,P(i,j)表示灰度共生矩阵中像素位置在(i,j)坐标上的灰度值,d和θ分别表示尺度和方向。
进一步地,将待分类图像中每个像素对应的图像灰度特征和图像为例特征适量叠加,生成待分类图像的第一图像特征。
S204,在待分类图像中提取第二图像特征。
这里,分别计算在多个不同像素点的幅度值下的图像块中包含的至少一个像素点的局部直方图特征,并联合多个局部直方图特征以生成多尺度局部直方图特征,作为该像素点的第二图像特征。
S205,对待分类图像进行超像素块分割。
这里,对待分类图像进行超像素分割主要是通过具有相同或者类似颜色、纹理、亮度等特征的相邻像素点归到同一个区域块内。超像素是一组具有相似特征的像素,通过将整张图片分割成大量超像素块来表示图像,这样处理后可以降低单像素的特异性。
本申请实施例主要通过超像素分割算法(simple linear iterative cluster,SLIC)对待分类图像进行分割,根据相邻像素点间的类似特征对每个像素进行分组。具体的,设置超像素边长为w,利用超像素分割算法,对待分类图像进行超像素分割,生成对应的超像素分割图。如将有一幅包含N个像素的待分类图像分割为K个大小相似的超像素,因此,超像素的大小w×w应为N/K,簇种子点之间的距离为
Figure BDA0002286442720000091
其中,w可以根据经验值预先设定。
S206,确定第一分类标签集与第二分类标签集在至少一个超像素块内的标签重合度。
这里,在超像素块内计算第一分类标签集与第二分类标签集的相关系数,并将相关系数作为在该超像素块内的标签重合度。其中,相关系数是用以反映变量之间相关关系密切程度的统计指标,用于反映在某个超像素块内两类分类标签结果的相似性。相关系数也可以看成协方差:一种剔除了两个变量量纲影响、标准化后的特殊协方差,它消除了两个变量变化幅度的影响,而只是单纯反应两个变量每单位变化时的相似程度。可选地,将超像素分割图中每一个超像素块当作独立的单元,依次在每个超像素块内计算标签重合度。
S207,判断标签重合度与预设阈值的大小。
S208,当任一个超像素块内的标签重合度小于预设阈值时,统计第一分类标签集中包含的各个标签类型在超像素块内所占的数量。
本步骤中,若在某个超像素块内提取第一图像特征对应的分类结果为第一分类标签集A,第二图像特征对应的分类结果为第二分类标签集B,如果标签重合度小于预设阈值,则在该超像素块内应用A中的分类结果,并统计第一分类标签集A中包含的各个标签类型在超像素块内所占的数量。其中,预设阈值可以根据经验值预先设定。
S209,将数量最多的标签类型作为该超像素块的第一分类标签。
S210,当任一个超像素块内的标签重合度大于或等于预设阈值时,统计第二分类标签集中包含的各个标签类型在超像素块内所占的数量。
本步骤中,如果标签重合度大于或等于预设阈值,则在该超像素块内应用B的分类结果,且在此超像素块内统计第二分类标签集B中包含的各个标签类型在超像素块内所占的数量。
S211,将数量最多的标签类型作为该超像素块的第二分类标签。
S212,优化各个超像素块内的分类标签,并对待分类图像进行分类。
本申请基于上述步骤实现上述一种图像分类的方法。通过GLCM+Gabor特征提取方法提取的第一图像特征的分类结果和MLPH特征提取方法提取的第二图像特征的分类结果,采用标签重合度衡量两种分类结果的相似性。然后采用SLIC算法分割待分类图像为超像素图像,将每一个超像素快作为独立的单元,依次计算每个超像素块内两种分类结果的标签重合度,如果标签重合度小于预设阈值,则该像素块应用GLCM+Gabor特征提取方法提取的第一图像特征对应的分类结果;反之,如果标签重合度或等于预设阈值,则该像素块内应用MLPH特征方法提取的第二图像特征对应的分类结果,在此超像素块中统计每一标签类型所占的比例,把比例最高的分类标签当作该超像素块的分类标签。本申请实施例通过前述图像分类方法解决了应用于待分类图像尤其是SAR图像的传统分类方法中不能同时兼顾边界性和控制噪点的问题。
基于同一发明构思,本申请实施例300还提供一种图像分类的装置,其中,如图3所示,该装置包括:
第一获取模块301,用于获取以微波遥感方式采集到的待分类图像;
提取模块302,用于从待分类图像中提取特征类别不同的第一图像特征和第二图像特征;
输入模块303,用于将第一图像特征和第二图像特征分别输入预先训练的分类器中;
第二获取模块304,用于获取分类器根据第一图像特征输出的第一分类标签集、以及根据第二图像特征输出的第二分类标签集;
分割模块305,用于对待分类图像进行超像素块分割;
第一确定模块306,用于确定第一分类标签集与第二分类标签集在至少一个超像素块内的标签重合度;
第一选取模块307,用于当任一个超像素块内的标签重合度小于预设阈值时,从第一分类标签集中选取落入在该超像素块内的至少一个第一分类标签;
第二选取模块308,用于当任一个超像素块内的标签重合度大于或等于预设阈值时,从第二分类标签集中选取落入在该超像素块内的至少一个第二分类标签。
本实施例中,第一获取模块301、提取模块302、输入模块303、第二获取模块304、分割模块305、确定模块306、第一选取模块307和第二选取模块308的具体功能和交互方式,可参见图1对应的实施例的记载,在此不再赘述。
可选地,该装置还包括:
第二确定模块309,用于确定待分类图像的图像边界,并围绕图像边界进行边界扩展;
划分模块310,用于将经过边界扩展的待分类图像划分为多个图像块,其中,相邻的图像块之间的部分像素点重合。
可选地,提取模块302包括:
第一提取单元,用于分别提取图像块中包含的至少一个像素点的图像纹理特征和图像灰度特征,并将同一个像素点上的图像纹理特征和图像灰度特征矢量叠加,作为该像素点的第一图像特征;
第二提取单元,用于分别计算在多个不同像素点的幅度值下的图像块中包含的至少一个像素点的局部直方图特征,并联合多个局部直方图特征以生成多尺度局部直方图特征,作为该像素点的所述第二图像特征。
可选地,第一提取单元包括:
第一提取子单元,用于通过第一滤波器对待分类图像中的至少一个图像块进行滤波,并在图像块中提取至少一个像素点的图像纹理特征,其中,图像纹理特征包括待分类图像中包含的像素点的均值和方差;
第二提取子单元,用于生成待分类图像的各个图像块的灰度共生矩阵,并根据灰度共生矩阵计算图像块的图像灰度特征,其中,图像灰度特征包括待分类图像中包含的像素点的均值、熵、对比度、方差和角二阶距。
可选地,第一确定模块306还用于:
在超像素块内计算第一分类标签集与第二分类标签集的相关系数,并将相关系数作为在该超像素块内的所述标签重合度。
可选地,第一选取模块307还用于:
统计第一分类标签集中包含的各个标签类型在超像素块内所占的数量,并将数量最多的标签类型作为该超像素块的第一分类标签。
可选地,第二选取模块308还用于:
统计第二分类标签集中包含的各个标签类型在超像素块内所占的数量,并将数量最多的标签类型作为该超像素块的第二分类标签。
如图4所示,本申请的又一实施例400还提供一种终端设备,包括处理器401,其中,处理器401用于执行上述一种图像分类的方法的步骤。从图4中还可以看出,上述实施例提供的终端设备还包括非瞬时计算机可读存储介质402,该非瞬时计算机可读存储介质402上存储有计算机程序,该计算机程序被处理器401运行时执行上述一种图像分类的方法的步骤。实际应用中,该终端设备可以是一台或多台计算机,只要包括上述计算机可读介质和处理器即可。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘和FLASH等,该存储介质上的计算机程序被运行时,能够执行上述的一种图像分类的方法中的各个步骤。实际应用中,所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的,也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或多个程序被执行时,能够执行上述的一种图像分类的方法中的各个步骤。
根据本申请公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件,或者上述的任意合适的组合,但不用于限制本申请保护的范围。在本申请公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本申请附图中的流程图和框图,示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同附图中所标注的顺序发生。例如,两个连接地表示的方框实际上可以基本并行地执行,它们有时也可以按照相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或者流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本申请中。特别地,在不脱离本申请精神和教导的情况下,本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,所有这些组合和/或结合均落入本申请公开的范围。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行变更或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些变更、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像分类的方法,其特征在于,包括:
获取以微波遥感方式采集到的待分类图像;
从所述待分类图像中提取特征类别不同的第一图像特征和第二图像特征;
将所述第一图像特征和所述第二图像特征分别输入预先训练的分类器中;
获取所述分类器根据所述第一图像特征输出的第一分类标签集、以及根据所述第二图像特征输出的第二分类标签集;
对所述待分类图像进行超像素块分割;
确定所述第一分类标签集与所述第二分类标签集在至少一个所述超像素块内的标签重合度;
当任一个所述超像素块内的所述标签重合度小于预设阈值时,从所述第一分类标签集中选取落入在该所述超像素块内的至少一个第一分类标签;
当任一个所述超像素块内的所述标签重合度大于或等于所述预设阈值时,从所述第二分类标签集中选取落入在该所述超像素块内的至少一个第二分类标签。
2.根据权利要求1所述的方法,其特征在于,所述获取以微波遥感方式采集到的待分类图像的步骤和所述从所述待分类图像中提取特征类别不同的第一图像特征和第二图像特征的步骤之间,所述方法进一步包括:
确定所述待分类图像的图像边界,并围绕所述图像边界进行边界扩展;
将经过所述边界扩展的所述待分类图像划分为多个图像块,其中,相邻的所述图像块之间的部分像素点重合。
3.根据权利要求2所述的方法,其特征在于,所述从所述待分类图像中提取特征类别不同的第一图像特征和第二图像特征的步骤包括:
分别提取所述图像块中包含的至少一个所述像素点的图像纹理特征和图像灰度特征,并将同一个所述像素点上的所述图像纹理特征和图像灰度特征矢量叠加,作为该所述像素点的所述第一图像特征;
分别计算在多个不同像素点的幅度值下的所述图像块中包含的至少一个所述像素点的局部直方图特征,并联合多个所述局部直方图特征以生成多尺度局部直方图特征,作为该所述像素点的所述第二图像特征。
4.根据权利要求3所述的方法,其特征在于,所述分别提取所述图像块中包含的至少一个所述像素点的图像纹理特征和图像灰度特征的步骤包括:
通过第一滤波器对所述待分类图像中的至少一个所述图像块进行滤波,并在所述图像块中提取至少一个所述像素点的所述图像纹理特征,其中,所述图像纹理特征包括所述待分类图像中包含的所述像素点的均值和方差;
生成所述待分类图像的各个所述图像块的灰度共生矩阵,并根据所述灰度共生矩阵计算所述图像块的所述图像灰度特征,其中,所述图像灰度特征包括所述待分类图像中包含的所述像素点的均值、熵、对比度、方差和角二阶距。
5.根据权利要求1所述的方法,其特征在于,所述确定所述第一分类标签集与所述第二分类标签集在至少一个所述超像素块内的标签重合度的步骤包括:
在所述超像素块内计算所述第一分类标签集与所述第二分类标签集的相关系数,并将所述相关系数作为在该超像素块内的所述标签重合度。
6.根据权利要求1所述的方法,其特征在于,所述从所述第一分类标签集中选取落入在该所述超像素块内的至少一个第一分类标签的步骤包括:
统计第一分类标签集中包含的各个标签类型在所述超像素块内所占的数量,并将所述数量最多的所述标签类型作为该所述超像素块的所述第一分类标签。
7.根据权利要求1所述的方法,其特征在于,在所述从所述第二分类标签集中选取落入在该所述超像素块内的至少一个第二分类标签的步骤包括:
统计第二分类标签集中包含的各个标签类型在所述超像素块内所占的数量,并将所述数量最多的所述标签类型作为该所述超像素块的所述第二分类标签。
8.一种图像分类的装置,其特征在于,所述装置包括:
第一获取模块,用于获取以微波遥感方式采集到的待分类图像;
提取模块,用于从所述待分类图像中提取特征类别不同的第一图像特征和第二图像特征;
输入模块,用于将所述第一图像特征和所述第二图像特征分别输入预先训练的分类器中;
第二获取模块,用于获取所述分类器根据所述第一图像特征输出的第一分类标签集、以及根据所述第二图像特征输出的第二分类标签集;
分割模块,用于对所述待分类图像进行超像素块分割;
第一确定模块,用于确定所述第一分类标签集与所述第二分类标签集在至少一个所述超像素块内的标签重合度;
第一选取模块,用于当任一个所述超像素块内的所述标签重合度小于预设阈值时,从所述第一分类标签集中选取落入在该所述超像素块内的至少一个第一分类标签;
第二选取模块,用于当任一个所述超像素块内的所述标签重合度大于或等于所述预设阈值时,从所述第二分类标签集中选取落入在该所述超像素块内的至少一个第二分类标签。
9.一种非瞬时计算机可读存储介质,其特征在于,所述非瞬时计算机可读存储介质存储指令,所述指令在由处理器执行时使得所述处理器执行如权利要求1至7任一项所述的一种图像分类的方法中的各个步骤。
10.一种终端设备,其特征在于,包括处理器,所述处理器用于执行如权利要求1至7中任一项所述的一种图像分类的方法中的各个步骤。
CN201911162361.5A 2019-11-25 2019-11-25 一种图像分类的方法、装置和存储介质 Active CN111079797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911162361.5A CN111079797B (zh) 2019-11-25 2019-11-25 一种图像分类的方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911162361.5A CN111079797B (zh) 2019-11-25 2019-11-25 一种图像分类的方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN111079797A true CN111079797A (zh) 2020-04-28
CN111079797B CN111079797B (zh) 2022-02-25

Family

ID=70311837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911162361.5A Active CN111079797B (zh) 2019-11-25 2019-11-25 一种图像分类的方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN111079797B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114089339A (zh) * 2022-01-14 2022-02-25 南京天朗防务科技有限公司 无人机载sar图像的实时处理与显示系统及其方法
CN114494221A (zh) * 2020-07-14 2022-05-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903012A (zh) * 2014-04-09 2014-07-02 西安电子科技大学 基于面向对象和支持向量机的极化sar数据分类方法
CN107330457A (zh) * 2017-06-23 2017-11-07 电子科技大学 一种基于多特征融合的极化sar图像分类方法
WO2018045626A1 (zh) * 2016-09-07 2018-03-15 深圳大学 基于超像素级信息融合的高光谱图像的分类方法及系统
CN108764330A (zh) * 2018-05-25 2018-11-06 西安电子科技大学 基于超像素分割和卷积反卷积网络的sar图像分类方法
CN109344880A (zh) * 2018-09-11 2019-02-15 天津理工大学 基于多特征和复合核的sar图像分类方法
CN109635789A (zh) * 2019-01-23 2019-04-16 西安电子科技大学 基于强度比和空间结构特征提取的高分辨sar图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903012A (zh) * 2014-04-09 2014-07-02 西安电子科技大学 基于面向对象和支持向量机的极化sar数据分类方法
WO2018045626A1 (zh) * 2016-09-07 2018-03-15 深圳大学 基于超像素级信息融合的高光谱图像的分类方法及系统
CN107330457A (zh) * 2017-06-23 2017-11-07 电子科技大学 一种基于多特征融合的极化sar图像分类方法
CN108764330A (zh) * 2018-05-25 2018-11-06 西安电子科技大学 基于超像素分割和卷积反卷积网络的sar图像分类方法
CN109344880A (zh) * 2018-09-11 2019-02-15 天津理工大学 基于多特征和复合核的sar图像分类方法
CN109635789A (zh) * 2019-01-23 2019-04-16 西安电子科技大学 基于强度比和空间结构特征提取的高分辨sar图像分类方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494221A (zh) * 2020-07-14 2022-05-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN114494221B (zh) * 2020-07-14 2025-01-10 上海商汤善萃医疗科技有限公司 图像处理方法及装置、电子设备和存储介质
CN114089339A (zh) * 2022-01-14 2022-02-25 南京天朗防务科技有限公司 无人机载sar图像的实时处理与显示系统及其方法
CN114089339B (zh) * 2022-01-14 2022-04-19 南京天朗防务科技有限公司 无人机载sar图像的实时处理与显示系统及其方法

Also Published As

Publication number Publication date
CN111079797B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
Dellinger et al. SAR-SIFT: a SIFT-like algorithm for SAR images
Schwegmann et al. Manifold adaptation for constant false alarm rate ship detection in South African oceans
CN110807473B (zh) 目标检测方法、装置及计算机存储介质
Bergamasco et al. Unsupervised change detection using convolutional-autoencoder multiresolution features
CN111985427B (zh) 活体检测方法、设备及可读存储介质
US20210004964A1 (en) Image processing device, image processing method, and recording medium having image processing program stored thereon
CN113822361B (zh) 一种基于汉明距离的sar图像相似程度度量方法和系统
Thajeel et al. A Novel Approach for Detection of Copy Move Forgery using Completed Robust Local Binary Pattern.
CN118711149A (zh) 无人车小型光电转台的目标跟踪方法、装置及电子设备
CN111079797B (zh) 一种图像分类的方法、装置和存储介质
CN110310263B (zh) 一种基于显著性分析和背景先验的sar图像居民区检测方法
Coulibaly et al. Semiautomatic road extraction from VHR images based on multiscale and spectral angle in case of earthquake
CN111179245B (zh) 图像质量检测方法、装置、电子设备和存储介质
Ihmeida et al. Enhanced change detection performance based on deep despeckling of synthetic aperture radar images
CN110969199A (zh) 一种图像分类的方法、装置和存储介质
EP3044734B1 (en) Isotropic feature matching
Raikar et al. Automatic building detection from satellite images using internal gray variance and digital surface model
CN119206530B (zh) 一种遥感图像的动态目标识别方法、装置、设备及介质
Sasi et al. Shadow detection and removal from real images: State of art
CN110728311A (zh) 一种图像处理方法、装置和存储介质
CN110796684B (zh) 目标跟踪方法以及相关装置
Zehtabian et al. Adaptive restoration of multispectral datasets used for SVM classification
Abdusalomov et al. Robust shadow removal technique for improving image enhancement based on segmentation method
Rodrigues et al. Change detection based on features invariant to monotonic transforms and spatially constrained matching
Mhatre et al. Deep learning based automatic vehicle license plate recognition system for enhanced vehicle identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant