CN119359937A - 基于实景三维技术与多源融合数据的建筑物边界识别方法 - Google Patents

Abstract

本申请的实施例公开了基于实景三维技术与多源融合数据的建筑物边界识别方法。该方法的一具体实施方式包括：对初始建筑物三维图像集中的每个初始建筑物三维图像进行遮挡物识别；对建筑物区域遥感影像进行建筑物分割；提取建筑物分割图像包括的各个建筑物分割对象对应的建筑物对象特征信息集；根据建筑物对象特征信息集和建筑物三维图像集，对待确权登记建筑物区域进行实景三维建模；对实景三维建筑物模型进行点云提取；根据建筑物点云数据集，提取待确权登记建筑物区域中的每个建筑物的边界信息。该实施方式可以对被遮挡的建筑物的三维图像重新采集，以保证边界确权的准确性，提升了确权登记建筑物边界提取的精度，降低了建筑物确权登记误差。

Description

基于实景三维技术与多源融合数据的建筑物边界识别方法

技术领域

本申请的实施例涉及建筑物边界识别领域，具体涉及基于实景三维技术与多源融合数据的建筑物边界识别方法。

背景技术

目前，全国正在大规模开展自然资源统一登记确权工作，自然资源登记主要通过外业数据收集、内业数据分析以及外业数据核实的工作方式。从自然资源确权登记数据来看，大多以平面图斑为基础数据开展，大部分只有简单的平面遥感图，立体空间层次的分析功能比较局限。此外，由于某些低矮的建筑物容易被遮挡（例如，树木遮挡），若仅采用平面遥感图进行建筑物的边界确权等级，容易造成建筑物确权登记存在误差。

发明内容

本申请的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本申请的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本申请的一些实施例提出了基于实景三维技术与多源融合数据的建筑物边界识别方法、计算机设备和计算机可读存储介质，来解决以上背景技术部分提到的技术问题。

第一方面，本申请的一些实施例提供了一种基于实景三维技术与多源融合数据的建筑物边界识别方法，该方法包括：获取对应待确权登记建筑物区域的建筑物区域多源融合数据，其中，上述建筑物区域多源融合数据包括：待确权登记建筑物区域对应的建筑物区域遥感影像与初始建筑物三维图像集；对上述初始建筑物三维图像集中的每个初始建筑物三维图像进行遮挡物识别，以生成遮挡物识别结果，得到遮挡物识别结果集；响应于确定上述遮挡物识别结果集中存在满足遮挡条件的遮挡物识别结果，重新采集满足遮挡条件的遮挡物识别结果对应的建筑物三维图像，以及对初始建筑物三维图像集进行更新，得到更新后的初始建筑物三维图像集，作为建筑物三维图像集；利用预先训练的建筑物匹配模型，对上述建筑物区域遥感影像进行建筑物分割，得到建筑物分割图像；提取上述建筑物分割图像包括的各个建筑物分割对象对应的建筑物对象特征信息集，其中，一个建筑物分割对象对应一个建筑物对象特征信息；根据上述建筑物对象特征信息集和上述建筑物三维图像集，对上述待确权登记建筑物区域进行实景三维建模，得到对应待确权登记建筑物区域的实景三维建筑物模型；对上述实景三维建筑物模型进行点云提取，得到对应上述实景三维建筑物模型的建筑物点云数据集；根据上述建筑物点云数据集，提取上述待确权登记建筑物区域中的每个建筑物的边界信息。

第二方面，本申请还提供一种计算机设备，上述计算机设备包括处理器、存储器、以及存储在上述存储器上并可被上述处理器执行的计算机程序，其中上述计算机程序被上述处理器执行时，实现如上述第一方面任一实现方式所描述的方法。

第三方面，本申请还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有计算机程序，其中，上述计算机程序被处理器执行时，实现如上述第一方面任一实现方式所描述的方法。

本申请的上述各个实施例具有如下有益效果：通过本申请的一些实施例的基于实景三维技术与多源融合数据的建筑物边界识别方法，提升了不动产确权登记建筑物边界提取的精度，降低了建筑物确权登记误差。首先，获取对应待确权登记建筑物区域的建筑物区域多源融合数据，其中，上述建筑物区域多源融合数据包括：待确权登记建筑物区域对应的建筑物区域遥感影像与初始建筑物三维图像集。由此，为建立待确权登记建筑物区域的实景三维建筑物模型，提供了数据支持。其次，对上述初始建筑物三维图像集中的每个初始建筑物三维图像进行遮挡物识别，以生成遮挡物识别结果，得到遮挡物识别结果集；响应于确定上述遮挡物识别结果集中存在满足遮挡条件的遮挡物识别结果，重新采集满足遮挡条件的遮挡物识别结果对应的建筑物三维图像，以及对初始建筑物三维图像集进行更新，得到更新后的初始建筑物三维图像集，作为建筑物三维图像集。由此，可以对被遮挡的建筑物的三维图像重新采集，以保证边界确权的准确性。接着，利用预先训练的建筑物匹配模型，对上述建筑物区域遥感影像进行建筑物分割，得到建筑物分割图像；由此，可以对建筑物区域遥感影像中的各个建筑物进行分割标记。从而，便于确定每个建筑物的边界。之后，提取上述建筑物分割图像包括的各个建筑物分割对象对应的建筑物对象特征信息集，其中，一个建筑物分割对象对应一个建筑物对象特征信息。由此，可以提取每个建筑物的轮廓（建筑物对象特征信息）。然后，根据上述建筑物对象特征信息集和上述建筑物三维图像集，对上述待确权登记建筑物区域进行实景三维建模，得到对应待确权登记建筑物区域的实景三维建筑物模型。由此，可以建立对应待确权登记建筑物区域的实景三维建筑物模型，便于提取每个建筑物的边界。最后，对上述实景三维建筑物模型进行点云提取，得到对应上述实景三维建筑物模型的建筑物点云数据集；根据上述建筑物点云数据集，提取上述待确权登记建筑物区域中的每个建筑物的边界信息。由此，提升了不动产确权登记建筑物边界提取的精度，降低了建筑物确权登记误差。

附图说明

结合附图并参考以下具体实施方式，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。

图1是根据本申请的基于实景三维技术与多源融合数据的建筑物边界识别方法的一些实施例的流程图；

图2是适于用来实现本申请的一些实施例的计算机设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。

另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要注意，本申请中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本申请实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

下面将参考附图并结合实施例来详细说明本申请。

图1示出了根据本申请的基于实景三维技术与多源融合数据的建筑物边界识别方法的一些实施例的流程100。该基于实景三维技术与多源融合数据的建筑物边界识别方法，包括以下步骤：

步骤101，获取对应待确权登记建筑物区域的建筑物区域多源融合数据。

在一些实施例中，基于实景三维技术与多源融合数据的建筑物边界识别方法的执行主体（例如计算设备）可以获取对应待确权登记建筑物区域的建筑物区域多源融合数据。其中，上述建筑物区域多源融合数据包括：待确权登记建筑物区域对应的建筑物区域遥感影像与初始建筑物三维图像集。待确权登记建筑物区域可以是指需要进行不动产确权登记的区域，包含各个需要不动产确权登记的建筑物。建筑物可以是住宅、商品房、体育馆等建筑物。上述建筑物区域遥感影像可以为通过遥感技术获取的待确权登记建筑物区域的图像和数据信息。上述数据信息可以为城市地表的反射、辐射或散射信息。上述初始建筑物三维图像集可以为对上述待确权登记建筑物区域中每个建筑物进行现场拍照得到的各个三维现场照片或对各个三维现场照片进行修图后得到的各个三维图像。上述对各个三维现场照片进行修图可以包括裁减、调整分辨率、抠图等。例如，初始建筑物三维图像集可以是通过无人机拍摄的待确权登记建筑物区域中每个建筑物的三维图像。再例如，初始建筑物三维图像集可以是通过3D相机拍摄的待确权登记建筑物区域中每个建筑物的三维图像。

步骤102，对上述初始建筑物三维图像集中的每个初始建筑物三维图像进行遮挡物识别，以生成遮挡物识别结果，得到遮挡物识别结果集。

在一些实施例中，上述执行主体可以对上述初始建筑物三维图像集中的每个初始建筑物三维图像进行遮挡物识别，以生成遮挡物识别结果，得到遮挡物识别结果集。遮挡物识别可以是指识别初始建筑物三维图像中的建筑物是否被遮挡。例如，通过无人机拍摄的建筑物的三维图像可以能被树木遮挡。例如，可以通过预先训练的遮挡物识别模型，对上述初始建筑物三维图像集中的每个初始建筑物三维图像进行遮挡物识别，以生成遮挡物识别结果，得到遮挡物识别结果集。例如，遮挡物识别模型可以是预先训练的以初始建筑物三维图像为输入，以遮挡物识别结果为输出的神经网络模型。例如，遮挡物识别模型可以是训练完成的用于识别遮挡物的卷积神经网络（CNN）、循环神经网络（RNN）‌、支持向量机（SVM）‌、YOLOv3模型。遮挡物识别结果可以表示初始建筑物三维图像中的建筑物是否被遮挡。

步骤103，响应于确定上述遮挡物识别结果集中存在满足遮挡条件的遮挡物识别结果，重新采集满足遮挡条件的遮挡物识别结果对应的建筑物三维图像，以及对初始建筑物三维图像集进行更新，得到更新后的初始建筑物三维图像集，作为建筑物三维图像集。

在一些实施例中，上述执行主体可以响应于确定上述遮挡物识别结果集中存在满足遮挡条件的遮挡物识别结果，重新采集满足遮挡条件的遮挡物识别结果对应的建筑物三维图像，以及对初始建筑物三维图像集进行更新，得到更新后的初始建筑物三维图像集，作为建筑物三维图像集。遮挡条件可以是：遮挡物识别结果表示初始建筑物三维图像中的建筑物被遮挡。即，对于满足遮挡条件的遮挡物识别结果对应的建筑物三维图像，可以控制相关联的三维图像采集设备（3D相机或三维图像摄像装置）重新采集对应的建筑物的无遮挡的三维图像。之后，将初始建筑物三维图像集中的对应的建筑物的初始建筑物三维图像替换为重新采集的三维图像，得到更新后的初始建筑物三维图像集，作为建筑物三维图像集。

步骤104，利用预先训练的建筑物匹配模型，对上述建筑物区域遥感影像进行建筑物分割，得到建筑物分割图像。

在一些实施例中，上述执行主体可以利用预先训练的建筑物匹配模型，对上述建筑物区域遥感影像进行建筑物分割，得到建筑物分割图像。建筑物匹配模型可以是预先训练的以建筑物区域遥感影像为输入，以建筑物分割图像为输出的神经网络模型。建筑物分割图像可以是指识别并标记出了建筑物区域遥感影像中各个建筑物之后的遥感影像。例如，建筑物匹配模型可以是‌Segment Anything Model (SAM)模型、‌DINOv2模型、Mask2Former模型。再例如，建筑物匹配模型可以是CNN卷积神经网络模型或YOLO、SSD、FastR-CNN、NanoDet等目标检测模型。

在一个实际的应用场景中，上述执行主体可以通过以下步骤对上述建筑物区域遥感影像进行建筑物分割，得到建筑物分割图像：

第一步，对上述建筑物区域遥感影像进行预处理，得到预处理建筑物区域遥感影像。例如，首先，上述执行主体可以采用辐射矫正工具radiometric correction对上述建筑物区域遥感影像进行辐射定标处理，得到辐射定标处理后的建筑物区域遥感影像。然后，可以采用几何矫正算法对辐射定标处理后的建筑物区域遥感影像进行几何矫正，得到几何矫正后的建筑物区域遥感影像。之后，可以采用暗像元法对几何矫正后的建筑物区域遥感影像进行大气矫正，以对上述建筑物区域遥感影像进行预处理，得到预处理建筑物区域遥感影像。其中，上述几何矫正算法可以为但不限于以下中的一项：RPC模型算法、多项式模型算法。

第二步，将上述预处理建筑物区域遥感影像输入至预先训练的建筑物匹配模型中，得到建筑物分割图像。其中，上述建筑物匹配模型是预先训练的用于匹配识别预处理建筑物区域遥感影像中的建筑物图像并进行标记的网络模型。

其中，建筑物匹配模型可以是通过以下步骤训练得到的：

第一步，获取建筑物区域遥感影像样本集。其中，建筑物区域遥感影像样本包括：样本建筑物区域遥感影像与样本建筑物分割图像标签。样本建筑物分割图像标签可以表示对样本建筑物区域遥感影像中各个建筑物进行分割标记后的图像。

第二步，确定初始建筑物匹配模型。其中，上述初始建筑物匹配模型包括：初始建筑物特征提取层、初始建筑物轮廓特征提取层、初始多层次建筑物图像特征编码层、初始建筑物特征融合层与初始建筑物分割图像识别输出层。初始建筑物特征提取层可以用于提取样本建筑物区域遥感影像中的建筑物区域的图像特征。初始建筑物特征提取层可以是卷积神经网络(CNN)、循环神经网络(RNN)、长短期记忆网络(LSTM)等。初始建筑物轮廓特征提取层可以是用于提取样本建筑物区域遥感影像中建筑物区域轮廓的提取网络层。例如，初始建筑物轮廓特征提取层可以是‌边缘检测层。初始残留药物图像面积特征提取层可以是以初始残留药物图像轮廓提取层的输出为输入，以残留药物图像面积特征为输出的提取层。初始多层次建筑物图像特征编码层可以包括：初始建筑物图像特征编码层（编码器）和初始建筑物图像特征解码层（解码器），初始建筑物图像特征编码层包括：初始建筑物图像特征解耦层（含自编码网络、LSTM网络）和初始建筑物图像特征融合层（VAE（VariationalAutoEncoder，变分编码器），初始建筑物图像特征融合层包括：初始融合层、初始重参数化层。初始融合层可以是特征金字塔网络（Feature Pyramid Network, FPN），也可以是‌自注意力机制（Self-Attention Mechanism）网络。初始重参数化层可以包括：DyRep‌（DynamicRe-parameterization）与ACNet‌（Asymmetric Convolution Net）。初始建筑物分割图像识别输出层可以是用于输出建筑物分割图像的输出层(Output Layer)。初始建筑物特征融合层可以是特征融合层(Feature Fusion)。

第三步，根据上述建筑物区域遥感影像样本集，对上述初始建筑物匹配模型进行训练，得到训练完成的建筑物匹配模型。

其中，上述第三步，可以包括：

第一步骤，从上述建筑物区域遥感影像样本集中选择出一个建筑物区域遥感影像样本，作为目标建筑物区域遥感影像样本。可以随机从上述建筑物区域遥感影像样本集中选择出一个建筑物区域遥感影像样本，作为目标建筑物区域遥感影像样本。

第二步骤，将上述目标建筑物区域遥感影像样本包括的样本建筑物区域遥感影像输入至初始建筑物特征提取层中，得到初始建筑物特征。

第三步骤，将上述初始建筑物特征输入至初始多层次建筑物图像特征编码层中，得到初始多层次建筑物图像特征。

第四步骤，将上述目标建筑物区域遥感影像样本包括的样本建筑物区域遥感影像输入至初始建筑物轮廓特征提取层中，得到至少一个初始建筑物轮廓特征。

第五步骤，将上述初始多层次建筑物图像特征、上述至少一个初始建筑物轮廓特征输入至初始建筑物特征融合层中，得到建筑物图像融合特征。

第六步骤，将上述建筑物图像融合特征输入至初始建筑物分割图像识别输出层中，得到初始建筑物分割图像。

第七步骤，确定上述初始建筑物分割图像与对应的样本建筑物分割图像标签之间的损失值。可以通过损伤函数，确定上述初始建筑物分割图像与对应的样本建筑物分割图像标签之间的损失值。损失函数可以是：均方误差损失（MSE Loss）函数、交叉熵损失（Cross-Entropy Loss）函数、‌平均绝对误差（MAE）‌函数。

第八步骤，响应于确定上述损失值小于等于预设损失值，将初始建筑物匹配模型确定为训练完成的建筑物匹配模型。

由此，本申请构建的建筑物匹配模型，可以全面捕捉建筑物图像区域的多层次信息，增强自编码器在特征解缠中的效能与精准度，可以帮助模型捕捉建筑物图像区域中各个建筑物之间的复杂非线性关系，可以提高药建筑物匹配标记的准确率。

步骤105，提取上述建筑物分割图像包括的各个建筑物分割对象对应的建筑物对象特征信息集。

在一些实施例中，上述执行主体可以提取上述建筑物分割图像包括的各个建筑物分割对象对应的建筑物对象特征信息集。其中，一个建筑物分割对象对应一个建筑物对象特征信息。例如，可以通过建筑物特征提取模型，提取上述建筑物分割图像包括的各个建筑物分割对象对应的建筑物对象特征信息。建筑物特征提取模型可以是预先训练的以建筑物分割图像为输入，以各个建筑物分割对象对应的建筑物对象特征信息为输出的特征提取模型。例如，‌建筑物特征提取模型可以是U-Net模型、结合边缘监督与特征融合的深度学习模型、‌融合级联CRFs和U-Net深度学习模型。

在一个实际的应用场景中，上述执行主体可以通过以下步骤提取上述建筑物分割图像包括的各个建筑物分割对象对应的建筑物对象特征信息集：

第一步，对建筑物分割图像进行图像增强，得到增强建筑物分割图像。例如，上述执行主体可以采用滤波器增强方法，对建筑物分割图像进行图像增强，得到增强建筑物分割图像。上述滤波器增强方法可以为：中值滤波、均值滤波、锐化滤波。

第二步，对上述增强建筑物分割图像进行区域提取，得到各个图像区域数据。其中，上述各个图像区域数据中的图像区域数据可以表征从上述增强建筑物分割图像中提取的包括建筑物的矩形边界。上述各个图像区域数据中的图像区域数据可以包括角点坐标、区域高度和区域宽度。上述角点坐标可以为上述矩形边界的左上角坐标或右上角坐标或左下角坐标或右下角坐标。例如，首先，上述执行主体可以采用角点检测算法，对上述增强建筑物分割图像进行角点检测，得到各个角点信息。然后，采用矩形拟合算法，对上述各个角点信息进行矩形拟合，得到图像区域数据。上述角点检测算法可以为：SIFT算法、Harris算法或SURF算法。上述矩形拟合算法可以为：霍夫变换、RANSAC算法。

第三步，对上述各个图像区域数据进行特征提取，得到各个区域特征信息。其中，上述各个区域特征信息中的区域特征信息可以为图像区域数据的特征向量。例如，上述执行主体可以采用卷积操作，对上述各个图像区域数据进行特征提取，得到各个区域特征信息。此处，对于上述卷积操作的相关参数的具体设定，不做限定。

第四步，对上述各个区域特征信息进行分类处理，得到各个分类结果信息。其中，上述各个分类结果信息中的分类结果信息可以表征区域特征信息包括建筑物的概率。实践中，上述执行主体可以采用softmax函数，对上述各个区域特征信息进行分类处理，得到各个分类结果信息。

第五步，将上述各个分类结果信息中满足分类条件的各个分类结果信息对应的各个图像区域数据确定为各个建筑物图像区域数据。其中，上述分类条件可以为分类结果信息大于分类结果阈值。此处，对于上述分类结果阈值的具体设定，不做限定。例如，分类结果阈值可以为85%。其中，上述各个建筑物图像区域数据可以为分类结果信息大于上述分类结果阈值的各个建筑物图像区域数据。

第六步，对上述各个建筑物图像区域数据进行位置调整处理，得到位置调整后的各个建筑物图像区域数据。例如，首先，上述执行主体可以采用边缘检测算法，对上述各个建筑物图像区域数据进行边缘检测，得到各个边缘信息。上述边缘检测算法可以为Canny算法。然后，可以采用OpenCV中的findContours函数对上述各个边缘信息进行轮廓提取，得到各个轮廓提取信息。最后，可以采用轮廓近似算法对上述各个轮廓提取信息进行轮廓简化，得到各个简化后的各个轮廓提取信息作为位置调整后的各个建筑物图像区域数据。上述轮廓近似算法可以为Douglas-Peucker算法。

第七步，对位置调整后的各个建筑物图像区域数据进行区域消冗处理，得到各个建筑物图像数据，作为建筑物对象特征信息集。其中，各个建筑物对象特征信息可以为区域消冗处理后的各个建筑物图像区域数据。例如，上述执行主体可以采用非极大值抑制算法，对位置调整后的各个建筑物图像区域数据进行区域消冗处理，得到各个建筑物图像数据，作为建筑物对象特征信息集。

步骤106，根据上述建筑物对象特征信息集和上述建筑物三维图像集，对上述待确权登记建筑物区域进行实景三维建模，得到对应待确权登记建筑物区域的实景三维建筑物模型。

在一些实施例中，上述执行主体可以根据上述建筑物对象特征信息集和上述建筑物三维图像集，对上述待确权登记建筑物区域进行实景三维建模，得到对应待确权登记建筑物区域的实景三维建筑物模型。其中，实景三维建模可以是指建立待确权登记建筑物区域对应的各个建筑物的三维模型图像（3D图像）。例如，首先，可以通过三维建模工具，根据上述建筑物对象特征信息集，构建对应上述待确权登记建筑物区域的初始实景三维建筑物模型。例如，三维建模工具可以为：Maya、3Dmax、Zbrush。然后，上述执行主体可以采用Substance Painter工具，根据上述建筑物三维图像集，对上述初始实景三维建筑物模型进行贴图处理，得到实景三维建筑物模型。

在一个实际的应用场景中，上述执行主体可以通过以下步骤对上述待确权登记建筑物区域进行实景三维建模：

第一步，根据上述建筑物对象特征信息集，生成对应上述待确权登记建筑物区域的初始区域三维模型。例如，可以通过三维建模工具，根据上述建筑物对象特征信息集，构建对应上述待确权登记建筑物区域的初始区域三维模型。例如，三维建模工具可以为：Maya、3Dmax、Zbrush。

第二步，根据上述建筑物三维图像集，对上述初始区域三维模型进行建筑物图像填充处理，得到初始实景三维建筑物模型。可以采用Substance Painter工具，将上述建筑物三维图像集填充至初始区域三维模型中，得到初始实景三维建筑物模型。

第三步，将上述初始实景三维建筑物模型输入至预先训练的三维模型图像重建模型中，得到重建实景三维建筑物模型，作为对应待确权登记建筑物区域的实景三维建筑物模型。三维模型图像重建模型可以是预先训练的以初始实景三维建筑物模型为输入，以重建实景三维建筑物模型为输出的神经网络模型。例如，三维模型图像重建模型可以是一种用于多视角立体视觉(MVS)重建的深度卷积神经网络(ConvNet)。即，三维模型图像重建模型可以是DeepMVS模型。再例如，三维模型图像重建模型可以是‌V-Net模型、HighResNet模型、‌EfficientNet3D模型。

其中，三维模型图像重建模型可以是通过以下步骤训练得到的：

第一步，获取实景三维建筑物模型图像样本集。其中，实景三维建筑物模型图像样本存在对应的样本重建标签。样本重建标签可以表示重新后的样本实景三维建筑物模型图像。

第二步，确定初始三维模型图像重建模型。其中，上述初始三维模型图像重建模型包括：第一卷积层、多尺度聚合网络、第二卷积层和上采样层，多尺度聚合网络包括：图聚合层和聚合卷积层。上述第一卷积层、第二卷积层、聚合卷积层可以用于进行卷积处理。上述上采样层可以用于进行上采样处理。上述图聚合层可以用于图聚合处理。

作为示例，上述第一卷积层、第二卷积层、聚合卷积层可以分别是Convolution（卷积）网络模型。上述上采样层可以是upsampling（上采样）网络模型。上述图聚合层可以是GAL（Graph Attentional Layer，图注意力层）网络模型。

第三步，从上述实景三维建筑物模型图像样本集中选择出目标实景三维建筑物模型图像样本。可以随机从上述实景三维建筑物模型图像样本集中选择出一个实景三维建筑物模型图像样本，作为目标实景三维建筑物模型图像样本。

第四步，将目标实景三维建筑物模型图像样本包括的实景三维建筑物模型图像输入至第一卷积层中，得到第一三维建筑物模型卷积图像。

第五步，对第一三维建筑物模型卷积图像进行局部聚合处理，得到第一聚合三维建筑物模型图像。其中，可以通过预设的聚合算法，对第一三维建筑物模型卷积图像进行局部聚合处理，得到第一聚合三维建筑物模型图像。上述预设的聚合算法可以是GraphClustering（图聚类）算法。

第六步，将第一聚合三维建筑物模型图像和第一三维建筑物模型卷积图像输入至多尺度聚合网络包括的图聚合层，得到第二聚合三维建筑物模型图像。

第七步，将第二三维建筑物模型图像输入至多尺度聚合网络包括的聚合卷积层中，得到聚合三维建筑物模型卷积图像。

第八步，将聚合三维建筑物模型卷积图像输入至第二卷积层中，得到第二三维建筑物模型卷积图像。

第九步，对第一三维建筑物模型卷积图像和第二三维建筑物模型卷积图像进行异或处理，得到初始三维建筑物模型卷积图像。其中，上述对第一三维建筑物模型卷积图像和第二三维建筑物模型卷积图像进行异或处理，可以是：对上述第一三维建筑物模型卷积图像包括的每个像素点的像素值与上述第二三维建筑物模型卷积图像中对应的像素点的像素值进行异或处理，将得到的各个像素值作为初始三维建筑物模型卷积图像包括的像素点的像素值，得到初始三维建筑物模型卷积图像。

第十步，将初始三维建筑物模型卷积图像输入至上采样层中，得到初始重建实景三维建筑物模型图像。

第十一步，基于预设的图像重建损失函数，确定初始重建实景三维建筑物模型图像与对应的样本重建标签之间的重建损失值。作为示例，上述图像重建损失函数可以是：L1Loss（L1 范数损失）函数、SSIM Loss（Structural Similarity Loss，结构相似损失）函数或MS-SSIM Loss（Multi Scale Structural Similarity Index Measure Loss，多尺度结构相似性损失）函数。

第十二步，响应于确定重建损失值小于等于预设阈值，将初始三维模型图像重建模型确定为训练完成的三维模型图像重建模型。

由此，可以通过训练得到的三维模型图像重建模型，对三维模型图像进行卷积处理，分辨出三维模型图像中每个图像像素点的特征信息。然后，可以通过对卷积得到的图像进行局部聚合处理，增强各个像素点之间的相对信息。接着，可以对局部聚合后的图像进行进一步的图聚合处理，增强每个像素点的位置信息。随后，可以对处理后的图像和处理前的图像进行融合，以进一步提高三维模型图像的清晰度，以便后续进行建筑物边界的识别。

步骤107，对上述实景三维建筑物模型进行点云提取，得到对应上述实景三维建筑物模型的建筑物点云数据集。

在一些实施例中，上述执行主体可以对上述实景三维建筑物模型进行点云提取，得到对应上述实景三维建筑物模型的建筑物点云数据集。其中，上述建筑物点云数据集可以为从上述实景三维建筑物模型中提取出的各个建筑物点云数据。上述建筑物点云数据集中的建筑物点云数据可以为在世界坐标系下的建筑物的点云三维坐标。例如，上述执行主体可以采用点云提取工具，对上述实景三维建筑物模型进行点云提取，得到对应上述实景三维建筑物模型的点云数据集。上述点云提取工具可以为Meshlab。之后，可以对上述点云数据集进行地面分割，得到地面分割后的点云数据集。上述执行主体可以将上述点云数据集中点云数据的竖轴坐标小于等于预设高度阈值的各个点云数据从上述点云数据集中删除，得到地面分割后的点云数据集。接着，对地面分割后的点云数据集进行建筑物分割，得到建筑物点云数据集。例如，上述执行主体可以采用基于区域生长的分割算法，对地面分割后的点云数据集进行建筑物分割，得到建筑物点云数据集。

步骤108，根据上述建筑物点云数据集，提取上述待确权登记建筑物区域中的每个建筑物的边界信息。

在一些实施例中，上述执行主体可以根据上述建筑物点云数据集，提取上述待确权登记建筑物区域中的每个建筑物的边界信息。例如，可以通过边缘检测算法，提取出每个建筑物点云数据中的边界框，再确定每个建筑物的建筑物标识。之后，可以将建筑物点云数据的边界框、对应的建筑物标识合并为边界信息。

在一个实际的应用场景中，上述执行主体可以通过以下步骤提取上述待确权登记建筑物区域中的每个建筑物的边界信息：

第一步，对上述建筑物点云数据集进行降噪处理，得到降噪建筑物点云数据集。上述执行主体可以采用滤波算法，对上述建筑物点云数据集进行降噪处理，得到降噪建筑物点云数据集。其中，上述滤波算法可以为：高斯滤波、双边滤波。

第二步，对降噪建筑物点云数据集进行点云聚类处理，得到各个点云数据簇。上述执行主体可以采用聚类算法，对降噪处理后的建筑物点云数据集进行点云聚类处理，得到各个点云数据簇。上述聚类算法可以为：K-means聚类、DBSCAN聚类。

第三步，对上述各个点云数据簇进行边界矫正处理，得到边界矫正处理后的各个点云数据簇作为各个标准点云数据簇。上述执行主体可以采用形态学腐蚀方法，对上述各个点云数据簇进行边界矫正处理，得到边界矫正处理后的各个点云数据簇作为各个标准点云数据簇。

第四步，为上述各个标准点云数据簇中的每个标准点云数据簇进行建筑物标识，得到各个建筑物标识信息。即，可以先获取每个建筑物的标识，再给每个建筑物对应的标准点云数据簇标记上对应的建筑物标识，得到各个建筑物标识信息。

第五步，对上述各个标准点云数据簇进行可视化处理，得到各个建筑物单体图像。其中，一个标准点云数据簇对应一个建筑物单体图像。上述各个建筑物图像可以为上述实景三维建筑物模型中包括的各个建筑物的单体图像。例如，上述执行主体可以采用PCL(Point Cloud Library)工具，对上述各个标准点云数据簇进行可视化处理，得到各个建筑物单体图像。

第六步，对于上述各个建筑物单体图像中的每个建筑物单体图像，将上述建筑物单体图像的图像边界信息与对应的建筑物标识信息确定为该建筑物的边界信息。例如，可以通过边缘检测算法检测出每个建筑物单体图像的图像边界信息。图像边界信息可以包括建筑物的边界与对应的坐标信息。

进一步地，对于每个建筑物的边界信息，执行以下登记步骤：

第一步，获取上述建筑物对应的用户信息与建筑物标识。用户信息可以是指建筑物的拥有者的个人信息，可以包括：姓名、身份信息。

第二步，将上述用户信息、建筑物标识与上述建筑物的边界信息映射为上述建筑物的登记确权信息。可以建立上述用户信息、建筑物标识与上述建筑物的边界信息之间的映射关系。

第三步，将上述建筑物的登记确权信息存储至相关联的建筑物登记确权数据库中。建筑物登记确权数据库可以是预先建立的用于存放建筑物的登记确权信息的数据库。

图2为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为终端。

如图2所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种基于实景三维技术与多源融合数据的建筑物边界识别方法。

处理器用于提供计算和控制能力，支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种基于实景三维技术与多源融合数据的建筑物边界识别方法。

该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元 (Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，上述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：获取对应待确权登记建筑物区域的建筑物区域多源融合数据，其中，上述建筑物区域多源融合数据包括：待确权登记建筑物区域对应的建筑物区域遥感影像与初始建筑物三维图像集；对上述初始建筑物三维图像集中的每个初始建筑物三维图像进行遮挡物识别，以生成遮挡物识别结果，得到遮挡物识别结果集；响应于确定上述遮挡物识别结果集中存在满足遮挡条件的遮挡物识别结果，重新采集满足遮挡条件的遮挡物识别结果对应的建筑物三维图像，以及对初始建筑物三维图像集进行更新，得到更新后的初始建筑物三维图像集，作为建筑物三维图像集；利用预先训练的建筑物匹配模型，对上述建筑物区域遥感影像进行建筑物分割，得到建筑物分割图像；提取上述建筑物分割图像包括的各个建筑物分割对象对应的建筑物对象特征信息集，其中，一个建筑物分割对象对应一个建筑物对象特征信息；根据上述建筑物对象特征信息集和上述建筑物三维图像集，对上述待确权登记建筑物区域进行实景三维建模，得到对应待确权登记建筑物区域的实景三维建筑物模型；对上述实景三维建筑物模型进行点云提取，得到对应上述实景三维建筑物模型的建筑物点云数据集；根据上述建筑物点云数据集，提取上述待确权登记建筑物区域中的每个建筑物的边界信息。

本申请实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有计算机程序，上述计算机程序中包括程序指令，上述程序指令被执行时所实现的方法可参照本申请基于实景三维技术与多源融合数据的建筑物边界识别方法的各个实施例。

其中，上述计算机可读存储介质可以是前述实施例上述的计算机设备的内部存储单元，例如上述计算机设备的硬盘或内存。上述计算机可读存储介质也可以是上述计算机设备的外部存储设备，例如上述计算机设备上配备的插接式硬盘，智能存储卡(SmartMediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于实景三维技术与多源融合数据的建筑物边界识别方法，其特征在于，包括：

获取对应待确权登记建筑物区域的建筑物区域多源融合数据，其中，所述建筑物区域多源融合数据包括：待确权登记建筑物区域对应的建筑物区域遥感影像与初始建筑物三维图像集；

对所述初始建筑物三维图像集中的每个初始建筑物三维图像进行遮挡物识别，以生成遮挡物识别结果，得到遮挡物识别结果集；

响应于确定所述遮挡物识别结果集中存在满足遮挡条件的遮挡物识别结果，重新采集满足遮挡条件的遮挡物识别结果对应的建筑物三维图像，以及对初始建筑物三维图像集进行更新，得到更新后的初始建筑物三维图像集，作为建筑物三维图像集；

利用预先训练的建筑物匹配模型，对所述建筑物区域遥感影像进行建筑物分割，得到建筑物分割图像；

提取所述建筑物分割图像包括的各个建筑物分割对象对应的建筑物对象特征信息集，其中，一个建筑物分割对象对应一个建筑物对象特征信息；

根据所述建筑物对象特征信息集和所述建筑物三维图像集，对所述待确权登记建筑物区域进行实景三维建模，得到对应待确权登记建筑物区域的实景三维建筑物模型；

对所述实景三维建筑物模型进行点云提取，得到对应所述实景三维建筑物模型的建筑物点云数据集；

根据所述建筑物点云数据集，提取所述待确权登记建筑物区域中的每个建筑物的边界信息。

2.根据权利要求1所述的基于实景三维技术与多源融合数据的建筑物边界识别方法，其特征在于，所述方法还包括：

对于每个建筑物的边界信息，执行以下登记步骤：

获取所述建筑物对应的用户信息与建筑物标识；

将所述用户信息、建筑物标识与所述建筑物的边界信息映射为所述建筑物的登记确权信息；

将所述建筑物的登记确权信息存储至相关联的建筑物登记确权数据库中。

3.根据权利要求1所述的基于实景三维技术与多源融合数据的建筑物边界识别方法，其特征在于，所述利用预先训练的建筑物匹配模型，对所述建筑物区域遥感影像进行建筑物分割，得到建筑物分割图像，包括：

对所述建筑物区域遥感影像进行预处理，得到预处理建筑物区域遥感影像；

将所述预处理建筑物区域遥感影像输入至预先训练的建筑物匹配模型中，得到建筑物分割图像，其中，所述建筑物匹配模型是预先训练的用于匹配识别预处理建筑物区域遥感影像中的建筑物图像并进行标记的网络模型。

4.根据权利要求1所述的基于实景三维技术与多源融合数据的建筑物边界识别方法，其特征在于，所述根据所述建筑物对象特征信息集和所述建筑物三维图像集，对所述待确权登记建筑物区域进行实景三维建模，得到对应待确权登记建筑物区域的实景三维建筑物模型，包括：

根据所述建筑物对象特征信息集，生成对应所述待确权登记建筑物区域的初始区域三维模型；

根据所述建筑物三维图像集，对所述初始区域三维模型进行建筑物图像填充处理，得到初始实景三维建筑物模型；

将所述初始实景三维建筑物模型输入至预先训练的三维模型图像重建模型中，得到重建实景三维建筑物模型，作为对应待确权登记建筑物区域的实景三维建筑物模型。

5.根据权利要求1所述的基于实景三维技术与多源融合数据的建筑物边界识别方法，其特征在于，所述提取所述建筑物分割图像包括的各个建筑物分割对象对应的建筑物对象特征信息集，包括：

对建筑物分割图像进行图像增强，得到增强建筑物分割图像；

对所述增强建筑物分割图像进行区域提取，得到各个图像区域数据；

对所述各个图像区域数据进行特征提取，得到各个区域特征信息；

对所述各个区域特征信息进行分类处理，得到各个分类结果信息；

将所述各个分类结果信息中满足分类条件的各个分类结果信息对应的各个图像区域数据确定为各个建筑物图像区域数据；

对所述各个建筑物图像区域数据进行位置调整处理，得到位置调整后的各个建筑物图像区域数据；

对位置调整后的各个建筑物图像区域数据进行区域消冗处理，得到各个建筑物图像数据，作为建筑物对象特征信息集。

6.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1-5中任一所述的方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1-5中任一所述的方法的步骤。