[go: up one dir, main page]

CN116934819A - 基于低秩特征图的多源影像高精度配准数据增广方法 - Google Patents

基于低秩特征图的多源影像高精度配准数据增广方法 Download PDF

Info

Publication number
CN116934819A
CN116934819A CN202310876018.7A CN202310876018A CN116934819A CN 116934819 A CN116934819 A CN 116934819A CN 202310876018 A CN202310876018 A CN 202310876018A CN 116934819 A CN116934819 A CN 116934819A
Authority
CN
China
Prior art keywords
image
low
remote sensing
transformation
infrared remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310876018.7A
Other languages
English (en)
Inventor
蔡博雍
刘明
孔令琴
易伟超
周玉婷
张茹佳
董立泉
赵跃进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202310876018.7A priority Critical patent/CN116934819A/zh
Publication of CN116934819A publication Critical patent/CN116934819A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于低秩特征图的多源影像高精度配准数据增广方法。得益于红外与可见光遥感图像共有的低秩特征信息，本发明通过低秩特征提取算法获取红外遥感图像与可见光遥感图像的低秩特征图，并设计构建了基于条件引导的生成对抗网络，其中，红外遥感图像与其对应的低秩特征图用于训练，可见光遥感图像用于推理生成对应的红外遥感图像。此外，将生成的红外遥感图像进行视角变换以模拟低空飞行器在实际飞行过程中的图像采集视角，最后将视角变换后的红外遥感图像进行裁剪与逆映射生成图像多源图像配准数据集。综上所述，本发明能够有效地生成高精度的多源图像配准数据集，为低空飞行器的多源导航算法提供了充足的数据支持。

Description

基于低秩特征图的多源影像高精度配准数据增广方法
技术领域
本发明主要涉及计算机视觉、数字图像处理及图像配准等技术领域，结合多视图几何、数字图像滤波、图像边缘检测以及风格迁移模型，提出了一种用于航空器位置估计的多源影像高精度配准数据生成方法。
背景技术
在低空飞行中，受限于地形和建筑物等因素，传统的导航方法(如GPS)无法提供足够的定位信息。因此，基于图像匹配的导航方法被广泛研究和应用。然而，现有的图像匹配方法往往只考虑单一光谱波段(如红外或可见光)，无法利用多光谱波段信息。此外，现有的遥感数据集的采集视角一般为垂直向下，而根据导航需要，低空飞行器的图像传感器的采集视角往往会偏离垂直方向，导致现有的遥感数据集不能很好地反应真实的飞行过程。因此，亟需一种有效的红外与可见光遥感图像匹配数据生成方法，以提高低空飞行物的导航精度。
发明内容
现有的可见-红外转换模型通常需要大量的匹配样本进行训练，然而，现实条件下高精度的红外与可见光遥感图像难以获取。并且，由于可见光与红外遥感图像的光谱分布差异巨大，基于循环对抗生成网络转换模型普遍存在收敛不稳定、转换效果差等缺陷。为解决上述问题，本发明基于红外与可见光遥感图像共有的低秩特征信息，提供了一种仅需要目标域数据集训练的基于低秩特征图的多源影像高精度配准数据增广方法。
本发明所采用的技术方案是，一种基于低秩特征图的多源影像高精度配准数据增广方法，具体实施步骤如下：
步骤1：低秩特征图像生成。针对采集得到的红外遥感图像，设计相应的滤波算法去除图像中的噪声，再通过特征提取算法得到图像的低秩特征图，并将其作为后续训练图像转换网络任务模型的引导数据。
步骤2：图像转换模型构建。设计提出基于条件引导的生成对抗网络的图像转换模型。其中主要包括两个子网络，图像生成网络与真假判别网络。
步骤3：坐标系空间变换。根据低空飞行器上图像传感器的位姿，计算传感器坐标系与飞行器坐标系的变换矩阵，并将飞行器视角下红外遥感图像的顶点坐标投影到飞行器坐标系中。
步骤4：图像视角转换。根据步骤3中投影的两个视角下的匹配点，将步骤2中模型推理得到的红外遥感图像进行单应性变换，得到传感器视角下的红外遥感图像，以模拟低空飞行器在飞行过程中实际采集图像与遥感数据集图像的差异。
步骤5：对应配准数据集生成。将视角变换的图像随机裁剪得到配准图像，并将裁剪的图像的坐标位置通过单应性矩阵逆变换映射回原视角下得到配准数据。
本发明的特点还在于：
步骤1具体实施过程如下：针对红外图像的成像特点，使用中值滤波与高斯滤波去除图像中的尖锐噪声并保留图像中的高频部分。通过特征提取算法计算滤波后图像的梯度得到特征图，将特征图结果进行非极大值抑制处理强化梯度特征并根据所设置的梯度阈值进行滞后追踪来增强图像中的隐特征，再使用形态学算子对特征图滤波以提升特征图中的主干信息。
步骤2具体实施过程如下：设计构建基于编解码结构的图像生成子网络。其中编码器由卷积与下采样操作组成，对引导图进行隐空间的建模，抽象出输入图像的全局特性，而解码器由卷积与上采样操作组成，从抽象特征中恢复出原始分辨率图像。判别网络的构建基于PatchGAN结构，将生成网络生成的红外图像等分成若干个块，并判断每个图像块的真假，能使生成网络的解码器较好地恢复出图像地高频部分。
步骤3具体实施过程如下：设视角方向为Z轴建立三维坐标系，并假设飞行器的视角方向为垂直水平向下，则传感器坐标系与飞行器坐标系之间的变换可以表示为一个齐次变换矩阵Rs，其中Rs是一个4×4的矩阵，包括旋转和平移变换。
步骤4具体实施过程如下：单应性变换是指对于平面上的两个点集，通过一个单应矩阵的映射，将其中一个点集映射到另一个点集上。在本发明的实施中，利用步骤3中计算得到的变换矩阵将垂直视角下的红外遥感图像四个顶点投影到传感器坐标系下，并根据射影几何种两个图像的约束关系通过四个点对计算单应性矩阵MH，对推理得到的红外遥感图像进行单应性变换，将垂直视角下的遥感图像的像素重新投影到传感器视角下。
步骤5具体实施过程如下：随机矩形裁剪视角变换后的图像，并设裁剪的矩形的顶点坐标向量为Vcrop,通过式得到匹配点Vmatch，将匹配点与对应的裁剪图像保存为图像配准数据集。
综上所述，本发明的主要贡献在于：
(1)本发明提出了一种基于低秩特征图的多源影像高精度配准数据增广方法，将遥感可见光域的图像转换到遥感红外域中，为低空飞行器的多源导航算法的测试提供了数据支持。
(2)本发明提出了一种基于低秩特征图的多源影像高精度配准数据增广方法，设计提出低秩特征图像生成算法，并将其作为后续训练图像转换网络任务模型的引导数据。
(3)本发明提出了一种基于低秩特征图的多源影像高精度配准数据增广方法,将红外遥感图像与其对应的低秩特征图作为训练样本以训练图像转换模型，其训练过程不依赖其他光谱的数据集，极大程度上减小了训练模型前数据准备的工作量，提升了图像转换的效率。
(4)本发明提出了一种基于低秩特征图的多源影像高精度配准数据增广方法,低秩特征图为可见光遥感图像域与红外遥感图像域的共有抽象特征，使用低秩特征图引导模型训练使模型的收敛更稳定，提升了生成图像的质量。
(5)本发明提出了一种基于低秩特征图的多源影像高精度配准数据增广方法，使用视角变换模拟低空飞行器在飞行过程中实际的图像采集视角，增加了其导航算法测试的多样性与准确性。
附图说明
图1为本发明提出的的基于低秩特征图的多源影像高精度配准数据增广方法整体结构示意图；
图2为本发明的低秩特征图生成流程图；
图3为本发明的图像转换模型框架图；
图4为本发明实施例的结果图
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的，附图所展示的结构是实际结构的一部分。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提出了一种基于低秩特征图的多源影像高精度配准数据增广方法，首先利用滤波算法去除红外遥感图像的噪声，再通特征提取算法得到图像低秩特征图，并将低秩特征图与其匹配的红外遥感图像作为图像转换模型的训练数据集。其次，构建图像转换模型，该模型基于条件引导的生成对抗网络，其中包括两个子网络，生成网络与判别网络。生成网络采用编解码结构，对输入的特征图进行压缩编码，实现隐空间建模，随后再从隐空间中恢复图像结构。判别网络用于判定图像恢复的效果，即真假判别，以此提升生成网络的图像恢复能力。然后，根据低空飞行器上图像传感器的位姿，计算传感器坐标系与飞行器坐标系的变换矩阵，并将红外遥感图像的顶点坐标投影到飞行器坐标系中。然后根据两个视角下的匹配点，将生成模型模型推理得到的红外遥感图像进行单应性变换，得到传感器视角下的红外遥感图像。最后将视角变换的图像随机裁剪得到配准图像，并将裁剪的图像的坐标位置通过单应性矩阵逆变换映射回原视角下得到配准数据。
整体模型如图1所示，具体包括以下步骤：
步骤1具体实施过程如下：针对红外图像的特点，使用中值滤波与高斯滤波去除图像中的尖锐噪声并保留图像中的高频部分。特征提取算法计算滤波后图像的梯度得到特征图，将特征图进行非极大值抑制处理强化梯度特征并根据所设置的梯度阈值进行滞后追踪来增强图像中的隐特征，再使用形态学算子对特征图滤波以提升特征图中的主干信息。
在步骤1中，低秩特征图生成流程图如图2所示。首先，基于传统数字图像处理技术，使用5×5的中值滤波核对红外遥感图像进行中值滤波，消除尖锐的噪点，并保留图像原始细节，再使用3×3的高斯滤波核对中值滤波后的图像进行高斯滤波，进一步滤除噪声并平滑图像边缘。其次，使用Rober或者Sobel算子计算像素梯度的幅值与方向，得到水平与垂直方向的差分图，此时得到的边缘信息比较粗大。然后，使用非极大值抑制方法处理图像梯度图，找到图像的局部梯度最大值，并将非最大值抑制，使图像边缘细化并设置两个阈值max-threshold与min-threshold，将梯度大于max-threshhold的设置为强边缘，小于min-threshold的为抑制像素，介于两者之间的为弱边缘。由于边缘可以视作无向环形图，同一个区域的边缘是相互连接的，所以可以假定与强边缘相连接的弱边缘也为真实的边缘，通过这一条件可将边缘扩展，连接边缘图中的断线。最后，对边缘图像使用结构元素为2×2的开运算，去除孤立的小边缘以及边缘中的毛刺，而保持总的结构不变化得到低秩特征图得到用于图像转换模型的引导图。
步骤2具体实施过程如下：生成网络的构建基于编解码结构，编码器由卷积与下采样操作组成，对引导图进行隐空间的建模，抽象出输入图像的全局特性，解码器由卷积与上采样操作组成，从抽象特征中恢复出原始分辨率。判别网络的构建基于PatchGAN结构，将生成网络生成的红外图像等分成若干个块，并判断每个图像块的真假，能使生成网络的解码器较好地恢复出图像地高频部分。
在步骤2中，基于UNet的编解码结构搭建生成模型，模型的输入为步骤1生成的低秩特征图。首先，通过压缩路径将特征图降采样，对输入图像的隐空间建模。压缩路径由8个block组成，每个block使用尺寸为2×2步距为2的卷积模块降采样，每次降采样之后特征图的数量为原来的2倍，尺寸为原来的一半。然后，将编码后的特征图通过扩展路径上采样，扩展路径与压缩路径对称，由8个block组成，每个block使用2×2步距为2的反卷积模块上采样，每次上采样之后特征图尺寸为原来的2倍，特征的数量为原来的一半，同时由于图像转换模型的输入与输出的外表面应该不同而潜在的结构应该相似，输入与输出应该共享底层信息，所以扩展路径的特征图需要与对称的压缩路径的特征图进行特征融合来共享底层信息。判别模型基于PatchGAN结构，模型输入为生成模型生成的红外图像与其对应的低秩特征图，通过卷积模块将特征图尺寸降采样为30×30，即30×30个patch，分别判断每个patch的真假最后再取平均作为判别模型的损失，使用patch能对生成的图像作局部判断，能更好的恢复图像中的高频部分。
步骤3的具体实施过程如下：首先，设视角方向为Z轴并以垂直于Z轴的平面为X轴与Y轴组成的平面建立三维直角坐标系，并假设飞行器的视角方向为垂直水平向下，则传感器坐标系与飞行器坐标系之间的变换可以表示为一个齐次变换矩阵Rs，其中Rs是一个4×4的矩阵，包括旋转和平移变换。假设飞行器坐标系与传感器坐标系之间的平移变换为0并假设飞行器坐标系绕X轴旋转α角，绕Y轴旋转β角，绕Z轴旋转θ角后得到传感器坐标系。则旋转矩阵分别为
则整体的旋转矩阵R＝R(x,α)*R(y,β)*R(z,θ)。设飞行器坐标系中图像四个顶点的坐标矩阵为Vair传感器坐标系中图像四个顶点的坐标矩阵为Vsensor，则通过式Vsensor＝R*Vair可计算得到飞行器坐标系中图像四个顶点映射到传感器坐标系中匹配的四个顶点的坐标。
步骤4的具体实施过程如下：单应性矩阵的定义为根据单应矩阵可得两平面上一个点对的坐标转换关系为/>根据步骤3计算的两坐标系的四个点对，可以通过下述方程组求得单应性矩阵：
将需要转换的可见光遥感图像经步骤1、2转换得到匹配的红外遥感图像后，通过单应性矩阵MH对推理得到的红外遥感图像进行单应性变换，将垂直视角下的红外遥感图像的像素重新投影到传感器视角下。
步骤5的具体实施过程如下：首先对步骤4中视角变换后的红外遥感图像进行矩形裁剪，并通过式计算得到裁剪图像对应原视角下匹配点的坐标，并将匹配的坐标与图像信息以json文件格式保存为数据集。式中Vcrop为裁剪图像的坐标矩阵，/>为步骤4中计算的单应矩阵的逆，Vmatch为裁剪图像中裁剪点的坐标矩阵映射回原视角下匹配点的坐标矩阵。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于低秩特征图的多源影像高精度配准数据增广方法，其特征在于：
步骤1：低秩特征图像生成；基于采集的红外遥感图像，设计滤波算法去除图像的噪声，再通特征提取算法得到图像低秩特征图，并将其作为后续训练图像转换网络任务模型的引导数据；
步骤2：图像转换模型构建；图像转换模型基于条件引导的生成对抗网络构建，包括两个子网络，生成网络与判别网络；
步骤3：坐标系变换；根据低空飞行器上图像传感器的位姿，计算传感器坐标系与飞行器坐标系的变换矩阵，并将飞行器视角下红外遥感图像的顶点坐标投影到飞行器坐标系中；
步骤4：图像视角变换；根据步骤3中投影的两个视角下的匹配点，将步骤2中模型推理得到的红外遥感图像进行单应性变换，得到传感器视角下的红外遥感图像，以模拟低空飞行器在飞行过程中实际采集图像与遥感数据集图像的差异；
步骤5：配准数据集生成；将视角变换的图像随机裁剪得到配准图像，并将裁剪的图像的坐标位置通过单应性矩阵逆变换映射回原视角下得到配准数据。
2.如权利要求1所述的一种基于低秩特征图的多源影像高精度配准数据增广方法，其特征在于：针对红外图像的特点，使用中值滤波与高斯滤波去除图像中的尖锐噪声并保留图像中的高频部分，特征提取算法计算滤波后图像的梯度得到特征图，将特征图进行非极大值抑制处理强化梯度特征并根据所设置的梯度阈值进行滞后追踪来增强图像中的隐特征，再使用形态学算子对特征图滤波以提升特征图中的主干信息。
3.如权利要求1所述的一种基于低秩特征图的多源影像高精度配准数据增广方法，其特征在于：生成网络的构建基于编解码结构，编码器由卷积与下采样操作组成，对引导图进行隐空间的建模，抽象出输入图像的的全局特性，解码器由卷积与上采样操作组成，从抽象特征中恢复出原始分辨率，判别网络的构建基于patchgan结构，将生成网络生成的红外图像等分成若干个块，并判断每个图像块的真假，能使生成网络的解码器较好地恢复出图像地高频部分。
4.如权利要求1所述的一种基于低秩特征图的多源影像高精度配准数据增广方法，其特征在于：设视角方向为Z轴建立三维坐标系，并假设飞行器的视角方向为垂直水平向下，则传感器坐标系与飞行器坐标系之间的变换可以表示为一个齐次变换矩阵Rs，其中Rs是一个4×4的矩阵，包括旋转和平移变换。
5.如权利要求1所述的一种基于低秩特征图的多源影像高精度配准数据增广方法，其特征在于：单应性变换是指对于平面上的两个点集，通过一个单应矩阵的映射，将其中一个点集映射到另一个点集上。在本发明的实施中，利用步骤3中计算得到的变换矩阵将垂直视角下的红外遥感图像四个顶点投影到传感器坐标系下，并根据射影几何种两个图像的约束关系通过四个点对计算单应性矩阵MH，对推理得到的红外遥感图像进行单应性变换，将垂直视角下的遥感图像的像素重新投影到传感器视角下。
6.如权利要求1所述的一种基于低秩特征图的多源影像高精度配准数据增广方法，其特征在于：随机矩形裁剪视角变换后的图像，并设裁剪的矩形的顶点坐标向量为Vcrop,通过式得到匹配点Vmatch，将匹配点与对应的裁剪图像保存为图像配准数据集。
CN202310876018.7A 2023-07-17 2023-07-17 基于低秩特征图的多源影像高精度配准数据增广方法 Pending CN116934819A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310876018.7A CN116934819A (zh) 2023-07-17 2023-07-17 基于低秩特征图的多源影像高精度配准数据增广方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310876018.7A CN116934819A (zh) 2023-07-17 2023-07-17 基于低秩特征图的多源影像高精度配准数据增广方法

Publications (1)

Publication Number Publication Date
CN116934819A true CN116934819A (zh) 2023-10-24

Family

ID=88376762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310876018.7A Pending CN116934819A (zh) 2023-07-17 2023-07-17 基于低秩特征图的多源影像高精度配准数据增广方法

Country Status (1)

Country Link
CN (1) CN116934819A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557605A (zh) * 2023-12-29 2024-02-13 中国科学院长春光学精密机械与物理研究所 红外与可见光遥感图像的配准方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020223636A1 (en) * 2019-05-01 2020-11-05 Magic Leap, Inc. Content provisioning system and method
WO2021184891A1 (zh) * 2020-03-20 2021-09-23 中国科学院深圳先进技术研究院 遥感影像地物分类方法及系统
CN114936980A (zh) * 2022-06-08 2022-08-23 哈尔滨工业大学 基于低秩平滑特性的高光谱显微图像平场校正方法及系统
CN115797163A (zh) * 2023-02-13 2023-03-14 中国人民解放军火箭军工程大学 一种基于遥感影像的目标数据跨域反演增广方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020223636A1 (en) * 2019-05-01 2020-11-05 Magic Leap, Inc. Content provisioning system and method
WO2021184891A1 (zh) * 2020-03-20 2021-09-23 中国科学院深圳先进技术研究院 遥感影像地物分类方法及系统
CN114936980A (zh) * 2022-06-08 2022-08-23 哈尔滨工业大学 基于低秩平滑特性的高光谱显微图像平场校正方法及系统
CN115797163A (zh) * 2023-02-13 2023-03-14 中国人民解放军火箭军工程大学 一种基于遥感影像的目标数据跨域反演增广方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIA LIU ET AL.: "Template matching between visible light and infrared images", OPTICAL INSTRUMENTS AND TECHNOLOGY, 22 July 2022 (2022-07-22) *
赵树阳;李建武;: "基于生成对抗网络的低秩图像生成方法", 自动化学报, no. 05, 9 March 2018 (2018-03-09) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557605A (zh) * 2023-12-29 2024-02-13 中国科学院长春光学精密机械与物理研究所 红外与可见光遥感图像的配准方法

Similar Documents

Publication Publication Date Title
CN107292965B (zh) 一种基于深度图像数据流的虚实遮挡处理方法
CN106651938B (zh) 一种融合高分辨率彩色图像的深度图增强方法
CN104484668B (zh) 一种无人机多重叠遥感影像的建筑物轮廓线提取方法
CN115564926B (zh) 基于影像建筑物结构学习的三维面片模型构建方法
CN118096988B (zh) 基于三维高斯表征的室内复杂场景高保真实时渲染方法
CN106910242B (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
CN112435325A (zh) 基于vi-slam和深度估计网络的无人机场景稠密重建方法
CN113362247A (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
CN111063021A (zh) 一种空间运动目标的三维重建模型建立方法及装置
WO2025086950A1 (zh) 一种基于激光雷达与视觉多信息融合的三维重建方法
CN116977596A (zh) 一种基于多视角图像的三维建模系统及方法
CN113192179A (zh) 一种基于双目立体视觉的三维重建方法
CN114549338B (zh) 一种电子地图的生成方法、装置和计算机可读存储介质
CN114782636A (zh) 三维重建方法、装置及系统
CN106920276A (zh) 一种三维重建方法和系统
CN110211169B (zh) 基于多尺度超像素和相位相关的窄基线视差的重构方法
WO2018133119A1 (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
CN118097123B (zh) 基于点云和图像的三维目标检测方法、系统、设备和介质
CN117115336A (zh) 一种基于遥感立体影像的点云重建方法
CN116630556A (zh) 基于空中地图数据重构地图的方法、系统及存储介质
Chen et al. Ortho-NeRF: generating a true digital orthophoto map using the neural radiance field from unmanned aerial vehicle images
CN119314068A (zh) 无人机单目视觉森林火灾定位方法
CN116934819A (zh) 基于低秩特征图的多源影像高精度配准数据增广方法
Nouduri et al. Deep realistic novel view generation for city-scale aerial images
CN119693543A (zh) 一种基于单张全景图像的新视角合成三维重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination