[go: up one dir, main page]

CN113902610B - 一种面向遥感图像的数据增广方法、装置及电子设备 - Google Patents

一种面向遥感图像的数据增广方法、装置及电子设备 Download PDF

Info

Publication number
CN113902610B
CN113902610B CN202111175922.2A CN202111175922A CN113902610B CN 113902610 B CN113902610 B CN 113902610B CN 202111175922 A CN202111175922 A CN 202111175922A CN 113902610 B CN113902610 B CN 113902610B
Authority
CN
China
Prior art keywords
image
fusion
target object
area
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111175922.2A
Other languages
English (en)
Other versions
CN113902610A (zh
Inventor
赵博雅
吴远峰
关欣然
高连如
张兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202111175922.2A priority Critical patent/CN113902610B/zh
Publication of CN113902610A publication Critical patent/CN113902610A/zh
Application granted granted Critical
Publication of CN113902610B publication Critical patent/CN113902610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向遥感影像的数据增广方法、装置级电子设备，该方法包括：将任意的四个样本图像进行拼接，得到第一图像；在预先初始化的灰度图像中确定融合中心，以所述融合中心作为所述第一图像的中心，将所述第一图像与所述灰度图像进行融合；在所述灰度图像和所述第一图像重合的区域范围内确定目标融合区域；在所述第一图像上确定包含目标对象的第一融合区域；所述第一融合区域的范围小于等于所述目标融合区域的范围；将第一融合区域的图像与目标区域的图像进行融合，得到增广样本。由此，通过将包含目标对象的图像融合到目标融合区域中，从而使得得到的增广样本包含样本。由此，解决了现有技术中增广样本包含大量空样本的问题。

Description

一种面向遥感图像的数据增广方法、装置及电子设备
技术领域
本发明涉及数据处理领域，尤其涉及一种面向遥感图像的数据增广方法、装置及电子设备。
背景技术
遥感图像的目标检测在环境监测、边境巡检等领域有重要应用，对遥感图像数据进行充分利用有助于提升遥感图像目标检测网络的准确定和稳定性。
现有的数据增广方法包括基本的随机裁剪、镜像等方法，为了更充分地利用训练数据，还发展出了多图像融合样本增广方法，例如cutmix，mixup，mosaic等，但是由于遥感图像中目标对象分布稀疏，增广后的样本会存在不包含目标对象的问题，这样的空样本会导致检测网络训练过程不稳定，进而影响目标检测的准确度。
发明内容
有鉴于此，本发明实施例公开了一种面向遥感图像的数据增广方法，包括：
将任意的四个样本图像进行拼接，得到第一图像；
在预先初始化的灰度图像中确定融合中心，以所述融合中心作为所述第一图像的中心，将所述第一图像与所述灰度图像进行融合；
在所述灰度图像和所述第一图像重合的区域范围内确定目标融合区域；
在所述第一图像上确定包含目标对象的第一融合区域；所述第一融合区域的范围小于等于所述目标融合区域的范围；
将所述第一融合区域的图像与所述目标区域的图像进行融合，得到增广样本。
可选的，所述在所述灰度图像和所述第一图像重合的区域范围内确定目标融合区域，包括：
在所述灰度图像和所述第一图像重合的区域范围内选择包含融合中心的第二融合区域；
基于所述融合中心和所述四个样本图像的拼接线，将所述第二融合区域划分为四个子区域；
所述四个子区域中的任意一个或者多个子区域表示一个目标融合区域。
可选的，所述在所述第一图像上确定包含目标对象的第一融合区域，包括：
确定目标对象的中心坐标；
以所述目标对象的中心坐标作为第一融合区域的中心坐标，以所述目标融合区域的尺度作为第一融合区域的尺度，确定所述第一融合区域。
可选的，还包括：
检测所述第一融合区域是否超过了第一图像的边界；
若所述第一融合区域超过了第一图像的边界，以所述第一图像的边界和所述第一融合区域的边界重新确定第一融合区域，以使得所述第一融合区域在所述第一图像的边界内。
可选的，还包括：
对所述增广样本进行仿射变换。
可选的，还包括：
获取每种目标对象的检测精度；
基于每种目标对象的检测精度，筛选出不符合预设条件的第一目标对象；
从第一训练样本集的样本的图像中提取包含第一目标对象的第二图像，并将所述第二图像融合到第二训练样本集中的样本图像中；所述第一训练样本集为已用于训练的样本集，所述第二训练样本集为后续训练的训练样本集。
可选的，所述基于每种目标对象的检测精度，筛选出不符合预设条件的第一目标对象，包括：
基于每种目标对象的检测精度，确定精度最高的第二目标对象和精度最低的第三目标对象；
若所述第二目标对象的检测精度与所述第三目标对象的精度的差小于预设的阈值，则表示第三目标对象不符合预设条件。
本发明实施例公开了一种面向遥感图像的数据增广装置，包括：
拼接单元，用于将任意的四个样本图像进行拼接，得到第一图像；
第一确定单元，用于在预先初始化的灰度图像中确定融合中心，以所述融合中心作为所述第一图像的中心，将所述第一图像与所述灰度图像进行融合；
第二确定单元，用于在所述灰度图像和所述第一图像重合的区域范围内确定目标融合区域；
第三确定单元，用于在所述第一图像上确定包含目标对象的第一融合区域；所述第一融合区域的范围小于等于所述目标融合区域的范围；
第一融合单元，用于将所述第一融合区域的图像与所述目标区域的图像进行融合，得到增广样本。
可选的，还包括：
获取单元，用于获取每种目标对象的检测精度；
筛选单元，用于基于每种目标对象的检测精度，筛选出不符合预设条件的第一目标对象；
第二融合单元，用于从第一训练样本集的样本的图像中提取包含第一目标对象的第二图像，并将所述第二图像融合到第二训练样本集中的样本图像中；所述第一训练样本集为已用于训练的样本集，所述第二训练样本集为后续训练的训练样本集。
本发明实施例公开了一种电子设备，包括：
存储器和处理器；
所述存储器用于存储程序，所述处理器用于在执行所述存储器中的程序时执行上述所述的面向遥感图像的数据增广方法。
本发明实施例公开了一种面向遥感影像的数据增广方法、装置级电子设备，该方法包括：将任意的四个样本图像进行拼接，得到第一图像；在预先初始化的灰度图像中确定融合中心，以所述融合中心作为所述第一图像的中心，将所述第一图像与所述灰度图像进行融合；在所述灰度图像和所述第一图像重合的区域范围内确定目标融合区域；在所述第一图像上确定包含目标对象的第一融合区域；所述第一融合区域的范围小于等于所述目标融合区域的范围；将第一融合区域的图像与目标区域的图像进行融合，得到增广样本。由此，通过将包含目标对象的图像融合到目标融合区域中，从而使得得到的增广样本包含样本。由此，解决了现有技术中增广样本包含大量空样本的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本发明实施例提供的一种面向遥感影像的数据增广方法的流程示意图；
图2示出了本发明实施例提供的数据增广过程中图像拼接和图像融合的示意图；
图3示出了本发明实施例提供的选取融合范围的示意图；
图4示出了本发明实施例提供的第一融合区域的示意图；
图5示出了本发明实施例公开的一种面向遥感图像的数据增广方法的又一流程示意图；
图6示出了本发明实施例提供的一种面向遥感图像的数据增广装置的结构示意图；
图7示出了本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中的数据增广方法没有考虑到遥感图像中目标对象分布稀疏的问题，由于目标对象分布稀疏，通过现有技术中的数据增广方法得到的增广样本会出现不包含目标对象的空样本，通过空样本对检测网络进行训练会使得检测网络训练过程不稳定，进而影响目标检测的准确度。
为了解决上述问题，本发明实施例公开了一种面向遥感影像的数据增广方法，该方法将任意的四个样本图像进行拼接，得到第一图像；在预先初始化的灰度图像中确定融合中心，以所述融合中心作为所述第一图像的中心，将所述第一图像与所述灰度图像进行融合；在所述灰度图像和所述第一图像重合的区域范围内确定目标融合区域；在所述第一图像上确定包含目标对象的第一融合区域；所述第一融合区域的范围小于等于所述目标融合区域的范围；将第一融合区域的图像与目标区域的图像进行融合，得到增广样本。由此，通过将包含目标对象的图像融合到目标融合区域中，从而使得得到的增广样本包含样本。由此，解决了现有技术中增广样本包含大量空样本的问题。
实施例1
参考图1，示出了本发明实施例提供的一种面向遥感影像的数据增广方法的流程示意图，在本实施例中，该方法包括：
S101：将任意的四个样本图像进行拼接，得到第一图像；
本实施例中，可以随意地选取四个样本图像进行拼接，进一步地，为了便于确定拼接后的第一图像的中心位置，那么四个样本图像的分辨率可以是相同的，那么四个样本的重合点则为第一图像的中心点。
举例说明：如图2所示，将A1、B1、C1、D1四个样本图像进行拼接，A1、B1、C1、D1四个样本图像的分辨率相同，那么A1、B1、C1、D1四个样本图像拼接后的第一图像的中心为四个样本图像的重合点，该重合点表示为(Cx，Cy)。
S102：在预先初始化的灰度图像中确定融合中心，以所述融合中心作为所述第一图像的中心，将所述第一图像与所述灰度图像进行融合；
本实施例中，融合中心可以是灰度图像中指定的位置，也可以是任意的位置。
举例说明：如图2所示，在灰度图像中确定的融合中心表示为(Cx，Cy)，该融合中心可以是灰度图像中的任意位置，将灰度图像中的融合中心作为第一图像的中心，将第一图像与灰度图像进行融合，那么第一图像中的部分图像与灰度图像重合。
S103：在所述灰度图像和所述第一图像重合的区域范围内确定目标融合区域；
本实施例中，通过上述介绍可知，灰度图像和第一图像中的部分区域会重合，在融合中心位置不同的情况下，灰度图像和第一图像重合的区域的范围也不同。
其中目标融合区域可以是一个也可以是多个，在一种实施方式下目标融合区域的确定过程包括：
在所述灰度图像和所述第一图像重合的区域范围内选择包含融合中心的第二融合区域；
基于所述融合中心和所述四个样本图像的拼接线，将所述第二融合区域划分为四个子区域；
所述四个子区域中的任意一个或者多个子区域表示一个目标融合区域。
本实施例中，第二融合区域是在第一图像和灰度图像重合的区域范围内确定的，例如可以为第一图像和灰度图像重合区域中的任意区域，在一种实施方式下，可以以灰度图像的两个边缘分别作为第二融合范围的两个边缘，并且该第二融合范围内包含融合中心，例如可第二融合范围可以为灰度图像的左上角部分、右上角部分、左下角部分和右下角部分中的一个或者多个。
举例说明：如图2所示可以将灰度图像左上角的区域范围作为第一融合区域，该区域范围内包含融合中心。
本实施例中，每两个图像拼接后，都会存在一条拼接线，可以以拼接线作为目标融合区域的边缘线，以融合中心作为目标融合区域的一角，确定四个矩形区域，其中，这四个矩形区域中的任意一个或者多个可以为目标融合区域。
举例说明：如图3所示，图中以融合中心作为各个区域的一角，以拼接线作为边缘划分出四个区域，表示为A2、B2、C2、D2，由此该四个区域中的任意一个或者多个区域范围为任意一个目标融合范围。
举例说明：如图3所示，以第二融合范围为灰度图像左上图像A2的部分为例，对于A2的区域，xmax与ymax为融合中心(Cx，Cy)，当融合中心分别大于图像的宽高时(w,h)，xmin与ymin分别为Cx-w与Cy-h，否则为0，其中，w表示每个样本图像的宽，h表示每个样本图像的高，由此，该左上图像A2表示的目标融合区域的区域范围可以表示为如下公式1)：
1)[Minxp1,Minyp1,Maxxp1,Maxyp1]＝[max(Cx-w,0),max(Cy-h,0),Cx,Cy]；
对于右上图像B2，xmin为Cx，ymax为Cy，当Cy大于图像高h时，ymin为Cy-h，否则为0；当Cx+w小于2倍图像宽w时，xmax为Cx+w，否则为2w，由此，右上角B2的部分的区域范围可以表示为如下公式2)：
2)[Minxp2,Minyp2,Maxxp2,Maxyp2]＝[Cx,max(Cy-h,0),max(Cx+w,w×2),Cy]；
对于左下图像C2，ymin为Cy，xmax为Cx，当Cx大于图像宽w时，xmin为Cx-w，否则为0；当Cy+h小于2倍图像高h时，ymax为Cy+h，否则为2h，则左下图像的区域范围可以表示为如下公式3)：
3)[Minxp3,Minyp3,Maxxp3,Maxyp3]＝[max(Cx-w,0),Cy,Cx,min(Cy+h,h×2)]；
对于右下图像D2，xmin与ymin为融合中心(Cx，Cy)，当Cx+w小于2倍图像宽w时，xmax为Cx+w，否则为2w；当Cy+h小于2倍图像高h时，ymax为Cy+h，否则为2h，则右下图像D2的区域范围表示为如下公式4)：
4)[Minxp4,Minyp4,Maxxp4,Maxyp4]＝[Cx,Cy,min(Cx+w,w×2),min(Cy+h,h×2)]；
S104：在所述第一图像上确定包含目标对象的第一融合区域；所述第一融合区域的范围小于等于所述目标融合区域的范围；
本实施例中，由于遥感图像的目标比较稀疏，确定的目标融合区域中可能不包含目标，为了使得得到的增广样本中包含目标对象，本实施例中，可以从第一图像中获取包含目标的图像，并将包含目标对象的图像与目标融合范围的图像进行融合，从而得到包含目标的增广样本。
本实施例中，在所述第一图像上确定包含目标对象的第一融合区域的方式包括多种，例如可以随机的在第一图像中确定第一融合区域，该第一融合区域包含目标对象，且该第一融合区域的尺度与目标融合区域的尺度相同。
或者，在一种实施方式下，第一融合区域的确定过程包括：
确定目标对象的中心坐标；
以所述目标对象的中心坐标作为第一融合区域的中心坐标，以所述目标融合区域的尺度作为第一融合区域的尺度，确定所述第一融合区域。
举例说明：如图4所示，图B1中存在1个目标对象(图B1中虚线矩形框部分)，以该目标对象为例，该目标对象的中心点坐标为(Cx_o,Cy_o)，目标融合范围B2部分，B2部分的中心点坐标为(Cx_p,Cy_p),以B2区域范围的尺度作为第一融合范围的尺度，并以B1中目标对象的中心点坐标作为第一融合范围的中心确定第一融合区域。
其中，如图4所示，第一融合区域的区域范围可能超出了第一图像的边界，超过边界的部分为无效的样本信息，由此，为了得到有效的样本信息，融合到目标区域中的第一融合区域中只包含有效的样本信息，那么，当第一融合区域范围超过了第一图像的边界的情况下，基于所述第一图像的边界重新确定第一融合区域，具体的，还包括：检测所述第一融合区域是否超过了第一图像的边界；
若所述第一融合区域超过了第一图像的边界，以所述第一图像的边界和所述第一融合区域的边界重新确定第一融合区域，以使得所述第一融合区域在所述第一图像的边界内。
举例说明：第一融合区域可能会出现上部区域、下部区域、左边区域或者右边区域超出第一图像边界的情况，针对上述的情况可以采用如下的公式重新确定第一融合区域的范围，例如若Minxg，Minyg，Maxxg，Maxyg表示第一融合区域的范围，那么若第一融合区域存在超出第一图像边界的情况下，可以采用如下的公式5)重新计算第一融合区域的区域：
通过上述介绍可知，若第一融合区域未超出第一图像的边界，那么第一融合区域的范围与目标融合区域的范围相同；若第一融合区域超过了第一图像的边界，那么第一融合区域的范围小于目标融合区域的范围。
S105：将所述第一融合区域的图像与所述目标区域的图像进行融合，得到增广样本。
本实施例中，得到的第一融合区域的图像中存在目标对象，将该第一融合区域的图像与目标融合区域的图像进行融合，或者说是将第一融合区域的图像粘贴到所述目标融合区域上，从而得到包含目标对象的增广样本。
本实施例中，将任意的四个样本图像进行拼接，得到第一图像；在预先初始化的灰度图像中确定融合中心，以所述融合中心作为所述第一图像的中心，将所述第一图像与所述灰度图像进行融合；在所述灰度图像和所述第一图像重合的区域范围内确定目标融合区域；在所述第一图像上确定包含目标对象的第一融合区域；所述第一融合区域的范围小于等于所述目标融合区域的范围；将第一融合区域的图像与目标区域的图像进行融合，得到增广样本。由此，通过将包含目标对象的图像融合到目标融合区域中，从而使得得到的增广样本包含样本。由此，解决了现有技术中增广样本包含大量空样本的问题。
进一步的，在上述实施例1的基础上，为了得到更多的样本，可以对得到的包含目标对象的增广样本进行仿射变换，具体的，还包括：
对所述增广样本进行仿射变换。
本实施例中，仿射变换(Affine Transformation)是一种二维坐标到二维坐标之间的线性变换，保持二维图形的“平直性”(译注：straightness，即变换后直线还是直线不会打弯，圆弧还是圆弧)和“平行性”(译注：parallelness，指的是二维图形间的相对位置关系不变，平行线还是平行线，相交直线的交角不变。)那么进行仿射变换例如可以包括对增广样本进行平移、缩放或者反转等操作。
实施例2
本实施例中，遥感图像中包括多种不同种类的目标对象，例如汽车、飞机、人、植物等，通过遥感图像对目标检测网络进行训练时，得到的目标检测网络对不同种类的目标对象的检测精度可能不同，若某些种类的目标对象的精度较低时，会影像目标检测网络的检测精度，由此，为了解决该问题，参考图5，示出了本发明实施例公开的一种面向遥感图像的数据增广方法的又一流程示意图，在本实施例中，该方法包括：
S501：获取每种目标对象的检测精度；
本实施例中，通过训练样本对目标检测网络训练完成后，可以通过验证集评估目标检测网络对每种目标对象的检测精度。
S502：基于每种目标对象的检测精度，筛选出不符合预设条件的第一目标对象；
本实施例中，不符合预设条件的第一目标对象可以认为是检测精度较低的目标对象，在一种实施方式下，S502包括：
基于每种目标对象的检测精度，确定精度最高的第二目标对象和精度最低的第三目标对象；
若所述第二目标对象的检测精度与所述第三目标对象的精度的差小于预设的阈值，则表示第三目标对象不符合预设条件。
本实施例中，预设的阈值可以是用户基于需求确定的，也可以根据需求进行计算模拟得到的，例如预设的阈值可以为0.2，即若最低精度和最高精度的差小于0.2，则表示最低精度对应的目标对象的种类不符合预设的条件。
其中，第二目标对象为精度最高的目标对象的种类，第三目标对象为精度最低的目标对象的种类。
S503：从所述第一训练样本集的图像中提取包含第一目标对象的第一图像，并将所述第二图像融合到第二训练样本集中的样本图像中；所述第一训练样本集为已用于训练的样本集，所述第二训练样本集为后续训练所需的训练样本集。
本实施例中，包含第一目标对象的第一图像的区域范围大小可以是随机的，或者为了不影响训练样本中其它的样本，第一图像的区域范围可以尽可能的小。
具体的，第一图像的区域范围可以根据第一目标对象的大小决定。
其中，当下次对目标对象进行训练时，可以应用该第二训练样本集进行训练。
本实施例中，基于每种目标对象的检测精度，筛选出不符合预设条件的第一目标对象；从第一训练样本集的样本的图像中提取包含第一目标对象的第二图像，并将所述第二图像融合到第二训练样本集中的样本图像中；所述第一训练样本集为已用于训练的样本集，所述第二训练样本集为后续训练的训练样本集。由此，增加了检测精度较弱的目标对象的样本，进而能够提升目标检测网络的识别精度。
参考图6，示出了本发明实施例提供的一种面向遥感图像的数据增广装置的结构示意图，在本实施例中，该装置包括：
拼接单元601，用于将任意的四个样本图像进行拼接，得到第一图像；
第一确定单元602，用于在预先初始化的灰度图像中确定融合中心，以所述融合中心作为所述第一图像的中心，将所述第一图像与所述灰度图像进行融合；
第二确定单元603，用于在所述灰度图像和所述第一图像重合的区域范围内确定目标融合区域；
第三确定单元604，用于在所述第一图像上确定包含目标对象的第一融合区域；所述第一融合区域的范围小于等于所述目标融合区域的范围；
第一融合单元605，用于将所述第一融合区域的图像与所述目标区域的图像进行融合，得到增广样本。
可选的，所述第二确定单元，包括：
选择子单元，用于在所述灰度图像和所述第一图像重合的区域范围内选择包含融合中心的第二融合区域；
划分子单元，用于基于所述融合中心和所述四个样本图像的拼接线，将所述第二融合区域划分为四个子区域；
所述四个子区域中的任意一个或者多个子区域表示一个目标融合区域。
可选的，所述第三确定单元，包括：
第一确定子单元，用于确定目标对象的中心坐标；
第二确定子单元，用于以所述目标对象的中心坐标作为第一融合区域的中心坐标，以所述目标融合区域的尺度作为第一融合区域的尺度，确定所述第一融合区域。
可选的，还包括：
检测子单元，用于检测所述第一融合区域是否超过了第一图像的边界；
第三确定子单元，用于若所述第一融合区域超过了第一图像的边界，以所述第一图像的边界和所述第一融合区域的边界重新确定第一融合区域，以使得所述第一融合区域在所述第一图像的边界内。
可选的，还包括：
仿射变换单元，用于对所述增广样本进行仿射变换。
可选的，还包括：
获取单元，用于获取每种目标对象的检测精度；
筛选单元，用于基于每种目标对象的检测精度，筛选出不符合预设条件的第一目标对象；
第二融合单元，用于从第一训练样本集的样本的图像中提取包含第一目标对象的第二图像，并将所述第二图像融合到第二训练样本集中的样本图像中；所述第一训练样本集为已用于训练的样本集，所述第二训练样本集为后续训练的训练样本集。
通过本实施例的装置，基于每种目标对象的检测精度，筛选出不符合预设条件的第一目标对象；从第一训练样本集的样本的图像中提取包含第一目标对象的第二图像，并将所述第二图像融合到第二训练样本集中的样本图像中；所述第一训练样本集为已用于训练的样本集，所述第二训练样本集为后续训练的训练样本集。由此，增加了检测精度较弱的目标对象的样本，进而能够提升目标检测网络的识别精度。
参考图7，示出了本发明实施例提供的一种电子设备的结构示意图，在本实施例中，该方法包括：
存储器701和处理器702；
所述存储器701用于存储程序，所述处理器702用于在执行所述存储器中的程序时执行上述实施例1和实施例2所述的面向遥感图像的数据增广方法。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种面向遥感图像的数据增广方法，其特征在于，包括：
将任意的四个样本图像进行拼接，得到第一图像；
在预先初始化的灰度图像中确定融合中心，以所述融合中心作为所述第一图像的中心，将所述第一图像与所述灰度图像进行融合；
在所述灰度图像和所述第一图像重合的区域范围内确定目标融合区域；
在所述第一图像上确定包含目标对象的第一融合区域；所述第一融合区域的范围小于等于所述目标融合区域的范围；
将所述第一融合区域的图像与所述目标融合区域的图像进行融合，得到增广样本；
其中，所述在所述灰度图像和所述第一图像重合的区域范围内确定目标融合区域，包括：
在所述灰度图像和所述第一图像重合的区域范围内选择包含融合中心的第二融合区域；
基于所述融合中心和所述四个样本图像的拼接线，将所述第二融合区域划分为四个子区域；
所述四个子区域中的任意一个或者多个子区域表示一个目标融合区域；
其中，所述在所述第一图像上确定包含目标对象的第一融合区域，包括：
确定目标对象的中心坐标；
以所述目标对象的中心坐标作为第一融合区域的中心坐标，以所述目标融合区域的尺度作为第一融合区域的尺度，确定所述第一融合区域。
2.根据权利要求1所述的方法，其特征在于，还包括：
检测所述第一融合区域是否超过了第一图像的边界；
若所述第一融合区域超过了第一图像的边界，以所述第一图像的边界和所述第一融合区域的边界重新确定第一融合区域，以使得所述第一融合区域在所述第一图像的边界内。
3.根据权利要求1所述的方法，其特征在于，还包括：
对所述增广样本进行仿射变换。
4.根据权利要求1所述的方法，其特征在于，还包括：
获取每种目标对象的检测精度；
基于每种目标对象的检测精度，筛选出不符合预设条件的第一目标对象；
从第一训练样本集的样本的图像中提取包含第一目标对象的第二图像，并将所述第二图像融合到第二训练样本集中的样本图像中；所述第一训练样本集为已用于训练的样本集，所述第二训练样本集为后续训练的训练样本集。
5.根据权利要求4所述的方法，其特征在于，所述基于每种目标对象的检测精度，筛选出不符合预设条件的第一目标对象，包括：
基于每种目标对象的检测精度，确定精度最高的第二目标对象和精度最低的第三目标对象；
若所述第二目标对象的检测精度与所述第三目标对象的精度的差小于预设的阈值，则表示第三目标对象不符合预设条件。
6.一种面向遥感图像的数据增广装置，其特征在于，应用权利要求1所述的面向遥感图像的数据增广方法，所述数据增广装置包括：
拼接单元，用于将任意的四个样本图像进行拼接，得到第一图像；
第一确定单元，用于在预先初始化的灰度图像中确定融合中心，以所述融合中心作为所述第一图像的中心，将所述第一图像与所述灰度图像进行融合；
第二确定单元，用于在所述灰度图像和所述第一图像重合的区域范围内确定目标融合区域；
第三确定单元，用于在所述第一图像上确定包含目标对象的第一融合区域；所述第一融合区域的范围小于等于所述目标融合区域的范围；
第一融合单元，用于将所述第一融合区域的图像与所述目标融合区域的图像进行融合，得到增广样本。
7.根据权利要求6所述的装置，其特征在于，还包括：
获取单元，用于获取每种目标对象的检测精度；
筛选单元，用于基于每种目标对象的检测精度，筛选出不符合预设条件的第一目标对象；
第二融合单元，用于从第一训练样本集的样本的图像中提取包含第一目标对象的第二图像，并将所述第二图像融合到第二训练样本集中的样本图像中；所述第一训练样本集为已用于训练的样本集，所述第二训练样本集为后续训练的训练样本集。
8.一种电子设备，其特征在于，包括：
存储器和处理器；
所述存储器用于存储程序，所述处理器用于在执行所述存储器中的程序时执行上述权利要求1-5中任意一项所述的面向遥感图像的数据增广方法。
CN202111175922.2A 2021-10-09 2021-10-09 一种面向遥感图像的数据增广方法、装置及电子设备 Active CN113902610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111175922.2A CN113902610B (zh) 2021-10-09 2021-10-09 一种面向遥感图像的数据增广方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111175922.2A CN113902610B (zh) 2021-10-09 2021-10-09 一种面向遥感图像的数据增广方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113902610A CN113902610A (zh) 2022-01-07
CN113902610B true CN113902610B (zh) 2025-01-28

Family

ID=79190724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111175922.2A Active CN113902610B (zh) 2021-10-09 2021-10-09 一种面向遥感图像的数据增广方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113902610B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480620A (zh) * 2017-08-04 2017-12-15 河海大学 基于异构特征融合的遥感图像自动目标识别方法
CN110335231A (zh) * 2019-04-01 2019-10-15 浙江工业大学 一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205797B (zh) * 2016-12-16 2021-05-11 杭州海康威视数字技术股份有限公司 一种全景视频融合方法及装置
CN110287962B (zh) * 2019-05-20 2023-10-27 平安科技（深圳）有限公司 基于超对象信息的遥感图像目标提取方法、装置及介质
CN113436281B (zh) * 2021-06-16 2022-07-12 中国电子科技集团公司第五十四研究所 一种融合lbp特征的遥感图像样本处理方法
CN113255607A (zh) * 2021-06-30 2021-08-13 北京道达天际科技有限公司 基于多模型融合的遥感房屋检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480620A (zh) * 2017-08-04 2017-12-15 河海大学 基于异构特征融合的遥感图像自动目标识别方法
CN110335231A (zh) * 2019-04-01 2019-10-15 浙江工业大学 一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法

Also Published As

Publication number Publication date
CN113902610A (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
CN112508826B (zh) 一种印刷品缺陷检测方法
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
US9519968B2 (en) Calibrating visual sensors using homography operators
CN111915485B (zh) 一种特征点稀疏工件图像的快速拼接方法及系统
CN112258448A (zh) 细划痕检测方法、装置、电子设备及计算机可读存储介质
CN114092499A (zh) 一种药盒分割方法
CN112733855B (zh) 表格结构化方法、表格恢复设备及具有存储功能的装置
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
CN117671229A (zh) 图像矫正方法、装置、计算机设备和计算机可读存储介质
CN115965801A (zh) 一种针对蛋白质免疫印迹条带图像的图像匹配方法及装置
JPH07220090A (ja) 物体認識方法
CN106919883B (zh) 一种qr码的定位方法及装置
AU2022374368A1 (en) Inspection method for inspecting an object and machine vision system
CN112562004B (zh) 图像映射参数生成方法、装置和计算机可读介质
CN119850608B (zh) 电子显微成像量测方法、装置、设备、介质和程序产品
CN113902610B (zh) 一种面向遥感图像的数据增广方法、装置及电子设备
CN113673518B (zh) 一种目标定位候选位置筛选策略方法
US20020025073A1 (en) Method for identifying an object image
CN112801165A (zh) 一种卡片审核方法及装置
CN109657729B (zh) 图像特征融合、特征图处理及姿态识别方法、装置及系统
CN117935246A (zh) 基于深度学习技术的仪表示数识别方法及装置
CN118351059A (zh) 电路板检测方法、装置、计算机设备和存储介质
CN115239612B (zh) 电路板定位方法、装置、设备及存储介质
CN115797615B (zh) 目标对象的检测区域确定方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant