CN116883550B - 一种三维虚拟实景动画显示方法 - Google Patents
一种三维虚拟实景动画显示方法 Download PDFInfo
- Publication number
- CN116883550B CN116883550B CN202310800544.5A CN202310800544A CN116883550B CN 116883550 B CN116883550 B CN 116883550B CN 202310800544 A CN202310800544 A CN 202310800544A CN 116883550 B CN116883550 B CN 116883550B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- model
- cloud data
- fitting
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种三维虚拟实景动画显示方法,涉及三维虚拟实景动画显示技术领域,解决问题是三维虚拟实景动画显示,方法包括:三次多角度扫描实景;扫描结果进预处理;建立三维模型;生成细节信息;实时渲染。采用三维配准模型根据由FPFH和SHOT特征符组成的特征向量,融合点云数据,提高不同角度点云数据的融合度,通过改进型RANSAC算法采用在不同片段中随机采样和生成自适应差残阈值的方法,降低随机采样的不稳定性,并提高模型拟合的鲁棒性,采用将初拟合模型分区,并采取不同方式进行局域拟合的方法,提高建模精确度,实现一种准确融合初始信息,能进行高鲁棒性和高精确度模型拟合的三维虚拟实景动画显示方法。
Description
技术领域
本发明涉及三维虚拟实景动画显示技术领域,且更确切地涉及一种三维虚拟实景动画显示方法。
背景技术
近年来,计算机技术的飞速发展为三维虚拟实景动画的实现提供了先决条件,其中特别是计算机图形学、人工智能、计算机视觉及机器学习等技术的进步,使得三维虚拟实景动画的制作走向更加高效、精准和真实。随着三维虚拟实景动画制作的发展,它在现实生活中的应用越来越广泛,例如在游戏、电影、建筑设计、教育、医疗等领域中的应用,促使人们更加需要逼真的三维虚拟实景动画来满足其需求。
三维虚拟实景动画显示主要基于建模和渲染技术,目前的三维虚拟实景动画制作存在诸多局限性,一方面,三维虚拟动画的原始场景信息不够丰富,不能全方位地采集原始场景的初始信息,并有效且准确地融合初始信息,形成完善的数据信息集,另一方面,三维模拟效果不够真实,三维建模数据量庞大,模型拟合过程中会发生一定畸变。为了解决这些问题,三维虚拟实景动画显示技术在不断发展完善,需要一种三维虚拟实景动画显示方法。
发明内容
针对上述技术的不足,本发明公开一种三维虚拟实景动画显示方法,通过所述三维配准模型根据自适应邻域内的点云数据,得到由FPFH和SHOT特征符组成的特征向量,采用根据特征向量对准点云数据后,进行数据体素网格化的方法,提高不同角度点云数据的融合度,通过改进型RANSAC算法采用在不同片段中随机采样的方法,降低传统RANSAC算法中随机采样的不稳定性,采用自适应差残值判断初拟合模型内点的方法,提高模型拟合的鲁棒性,采用将初拟合模型分区,并分别采取不同方式进行局域拟合的方法,提高曲面模型的建模精确度,通过所述三维建模模块采用将三次扫描得到的曲面模型根据差距阈值进行重新拟合的方法,提高三维模型的建模精确度,实现一种能准确融合初始信息,能进行高鲁棒性和高精确度模型拟合的三维虚拟实景动画显示方法。
为了实现上述技术效果,本发明采用以下技术方案:
一种三维虚拟实景动画显示方法,其中包括以下步骤:
步骤一、通过收集模块利用激光扫描技术对实景中的物体从上、下、前和后角度进行三次扫描,获得物体的点云数据;
步骤二、对扫描结果进行预处理,消除点云数据中的无效数据,并将不同视角扫描的点云数据进行融合,按照三次扫描的顺序生成三组点云数据集;
预处理子模块用于对点云数据进行预处理,为场景三维建模做准备;
所述预处理子模块包括滤波子模块和配准子模块,所述滤波子模块根据高斯滤波法过滤点云数据中存在的噪声、无效点和离群点,所述配准子模块将从上、下、前和后角度采集到的点云数据采用三维配准模型进行融合,得到点云数据集,所述滤波子模块的输出端连接配准子模块的输入端;
步骤三、将点云数据集转换为三维网络模型,并对三次扫描的点云数据集形成的三维网络模型进行拼接融合,建立完整的三维模型;
三维建模模块将预处理后的点云数据转换为三维模型:
所述三维建模模块包括重构子模块和拼接子模块,所述重构子模块采用改进型RANSAC算法将点云数据转换为三维网格模型,所述拼接子模块将三次收集的点云数据进行拼接形成完整的三维模型,所述重构子模块的输出端连接拼接子模块的输入端;
步骤四、通过优化模块模拟材质、纹理、灯光和阴影信息,生成实景中的细节信息,建立材质数据库和光源数据库,为三维模型的渲染做准备;
步骤五、通过渲染模块计算实景中光影和物体纹理的实时变化轨迹,根据材质数据库和光源数据库实时将光影变化和物体纹理变化与三维场景匹配,显示为实时三维动画。
作为本发明进一步的技术方案,所述三维配准模型包括特征提取单元和匹配单元,所述特征提取单元用于提取每个点云数据的表面法线和曲率,所述匹配单元用于将不同视角的点云数据根据数据特征匹配到相应的区域,所述特征提取单元的输出端连接所述匹配单元的输出端。
作为本发明进一步的技术方案,所述匹配单元根据自适应邻域内的点云数据,得到由FPFH和SHOT特征符组成的特征向量,采用根据特征向量对准点云数据后,进行数据体素网格化的方法,提高不同角度点云数据的融合度,所述匹配单元的工作方式为:
C1、计算特征符,以每个点云数据为中心点,选取中心点的融合邻域,根据融合邻域内点云数据计算中心点的FPFH和SHOT特征符,融合邻域半径的表达式为:
式(1)中,r为融合邻域半径,H为单角度扫描得到的点云数据量,li为点云数据的表面法线,Ci为点云数据的曲率,Pi为点云数据的周围密度,i为点云数据的标号;
C2、确认特征向量,将中心点的FPFH和SHOT特征符进行连接,形成中心点的特征向量,并将特征向量进行范数归一化;
C3、对准点云数据,将不同角度扫描的点云数据根据特征向量进行分类配准,将匹配的点云数据对齐到一起;
C4、将点云数据进行体素网格化,确认对准后点云数据的体素分辨率,分配每个点云数据到相应的体素中,进行体素合并,完成不同扫描视角点云数据的分配。
作为本发明进一步的技术方案,所述改进型RANSAC算法包括初拟合系统和局部拟合系统,所述初拟合系统根据法向量和最小二乘法得到初拟合模型,并对初拟合模型进行优化,所述局部拟合系统按照曲率对初拟合模型进行区域划分,并分类拟合,得到单次扫描的三维网格模型,所述局部拟合系统的输出端连接合并系统的输入端。
作为本发明进一步的技术方案,所述初拟合系统采用在不同片段中随机采样的方法,降低传统RANSAC算法中随机采样的不稳定性,采用自适应差残值判断初拟合模型内点的方法,提高模型拟合的鲁棒性,所述初拟合系统的工作方式为:
步骤1、计算法向量,基于PCA法计算点云数据集中每个点云数据拟合邻域内的法向量,拟合邻域的半径表达式为:
式(2)中,R为拟合邻域半径,M为单个点云数据集的数据量,Li为点云数据的法向量;
步骤2、点云数据集分段,根据法向量的一致性,将点云数据集分割成不同的曲线和曲面片段;
步骤3、确认初拟合模型,通过最小二乘法对于每个分割片段进行拟合计算,得到初拟合模型;
步骤4、随机抽样,在每个不同的曲线和曲面片段中随机选取S个点云数据作为抽样数据,形成抽样数据集,抽样数的表达式为:
式(3)中,S为抽样数,计算结果取整数部分,Tj为单个曲线和曲面片段的点云数据数目,j为单个曲线和曲面片段的标号,y为初拟合模型中曲线和曲面片段的数目;
步骤5、对抽样数据赋权值,计算抽样数据在初拟合模型中的投影点与原始点之间的距离和抽样数据在初拟合模型中的投影点的曲率,并对抽样数据进行赋权值,权值表达式为:
式(4)中,Y为抽样数据的权值,Dn为抽样数据在初拟合模型中的投影点与原始点之间的距离,Qn为抽样数据在初拟合模型中的投影点的曲率,n为抽样数据在初拟合模型中的投影点的标号;
步骤6、优化初拟合模型,计算抽样数据的差残值,将差残值小于差残阈值的抽样数据集归为内点,保留初拟合模型中的内点,对大于差残阈值的抽样数据再次通过最小二乘法进行拟合,完成初拟合模型的优化,差残阈值的表达式为:
式(5)中,E为差残阈值。
作为本发明进一步的技术方案,所述局部拟合系统采用将初拟合模型分区,并分别采取不同方式进行局域拟合的方法,提高曲面模型的建模精确度,所述局部拟合系统的工作方式为:
1)、根据曲率将初拟合模型中的曲面和曲线区分为锐利区和平滑区;
2)、对锐利区中所有的点云数据按照所述初拟合系统中步骤4的方法进行N次拟合,得到修正后的锐利区曲面模型;
3)、对平滑区中所有的点云数据进行赋权值,并计算偏移值,根据偏移值得到平滑区中所有点云数据的修正位置;
4)、根据平滑区中修正后的点云数据位置三角网格生成法对数据点进行拓扑连接,生成平滑区曲面模型;
5)、将锐利区曲面模型与平滑区曲面模型映射至初拟合模型中,得到单次扫描的曲面模型。
作为本发明进一步的技术方案,所述三维建模模块采用将三次扫描得到的曲面模型根据差距阈值进行重新拟合的方法,提高三维模型的建模精确度,所述三维建模模块的工作方式:
S1、将三次扫描的点云数据集依次作为所述初拟合系统的输入;
S2、通过所述初拟合系统经过法向量归类、最小二乘法拟合和抽样优化得到初拟合模型;
S3、通过所述局部拟合系统根据曲率对初拟合模型分区,并采用相应方法对各区进行拟合,输出修正后的单次扫描曲面模型;
S4、对三次扫描得到的曲面模型进行特征提取,将曲面模型中的锐利区坐标作为曲面模型的特征数据;
S5、通过所述合并系统将三次扫描得到的曲面模型按照特征数据进行对应重合,根据曲面模型中不重合点的曲率,计算三次曲率的综合差距,不重合点的综合差距小于差距阈值时,选取不重合点三次曲率的平均值为新的曲率,不重合点的综合差距大于差距阈值时,重复S3得到新的曲率,差距阈值的表达式为:
式(6)中,Kαβ为曲面模型中不重合点的曲率,α为不重合点的下标,β为扫描次数的标号;
S6、将不重合点的按照新的曲率修正,得到完整的三维模型。
作为本发明进一步的技术方案,所述优化模块包括材质优化子模块和光源优化子模块,所述材质优化子模块采用多层材质模型模拟物体材质和纹理的三维显示效果,生成材质数据库,所述光源优化子模块采用Phong光照模型模拟在场景中产生阴影和高光,生成光源数据库,所述材质优化子模块的输出端连接光源优化子模块的输入端。
作为本发明进一步的技术方案,所述渲染模块包括追踪子模块、实时渲染子模块和体积渲染子模块,所述追踪子模块采用轻量化残差网络模型根据光源数据库和实时实景扫描结果,计算全局实景中光照和阴影的实时变化轨迹,所述体积渲染子模块采用神经网路模型根据材质数据库和实时实景扫描结果,计算全局实景中纹理和材质的实时变化轨迹,所述实时渲染子模块用于将所述追踪子模块和体积渲染子模块的计算结果实时匹配于三维场景中的物体中,所述追踪子模块和体积渲染子模块的输出端连接实时渲染子模块的输入端。
本发明有益的积极效果在于:
区别于常规的三维虚拟实景动画显示方法,针对上述技术的不足,本发明公开一种三维虚拟实景动画显示方法,通过所述三维配准模型根据自适应邻域内的点云数据,得到由FPFH和SHOT特征符组成的特征向量,采用根据特征向量对准点云数据后,进行数据体素网格化的方法,提高不同角度点云数据的融合度,通过改进型RANSAC算法采用在不同片段中随机采样的方法,降低传统RANSAC算法中随机采样的不稳定性,采用自适应差残值判断初拟合模型内点的方法,提高模型拟合的鲁棒性,采用将初拟合模型分区,并分别采取不同方式进行局域拟合的方法,提高曲面模型的建模精确度,通过所述三维建模模块采用将三次扫描得到的曲面模型根据差距阈值进行重新拟合的方法,提高三维模型的建模精确度,实现一种能准确融合初始信息,能进行高鲁棒性和高精确度模型拟合的三维虚拟实景动画显示方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图,其中:
图1本发明实施例提供的一种三维虚拟实景动画显示方法流程图;
图2本发明一种三维虚拟实景动画显示方法的模块结构图;
图3本发明匹配单元工作方法的流程图;
图4本发明初拟合系统工作方法的流程图;
图5本发明三维建模模块工作方法的流程图。
具体实施方式
下面将结合本文实施例中的附图,对本文实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本文一部分实施例,而不是全部的实施例。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
如图1所示,一种三维虚拟实景动画显示方法,包括以下步骤:
步骤一、通过收集模块利用激光扫描技术对实景中的物体从上、下、前和后角度进行三次扫描,获得物体的点云数据;
步骤二、对扫描结果进行预处理,消除点云数据中的无效数据,并将不同视角扫描的点云数据进行融合,按照三次扫描的顺序生成三组点云数据集;
预处理子模块用于对点云数据进行预处理,为场景三维建模做准备;
所述预处理子模块包括滤波子模块和配准子模块,所述滤波子模块根据高斯滤波法过滤点云数据中存在的噪声、无效点和离群点,所述配准子模块将从上、下、前和后角度采集到的点云数据采用三维配准模型进行融合,得到点云数据集,所述滤波子模块的输出端连接配准子模块的输入端;
步骤三、将点云数据集转换为三维网络模型,并对三次扫描的点云数据集形成的三维网络模型进行拼接融合,建立完整的三维模型;
三维建模模块将预处理后的点云数据转换为三维模型:
所述三维建模模块包括重构子模块和拼接子模块,所述重构子模块采用改进型RANSAC算法将点云数据转换为三维网格模型,所述拼接子模块将三次收集的点云数据进行拼接形成完整的三维模型,所述重构子模块的输出端连接拼接子模块的输入端;
步骤四、通过优化模块模拟材质、纹理、灯光和阴影信息,生成实景中的细节信息,建立材质数据库和光源数据库,为三维模型的渲染做准备;
步骤五、通过渲染模块计算实景中光影和物体纹理的实时变化轨迹,根据材质数据库和光源数据库实时将光影变化和物体纹理变化与三维场景匹配,显示为实时三维动画。
在具体实施例中,所述三维配准模型包括特征提取单元和匹配单元,所述特征提取单元用于提取每个点云数据的表面法线和曲率,所述匹配单元用于将不同视角的点云数据根据数据特征匹配到相应的区域,所述特征提取单元的输出端连接所述匹配单元的输出端。
在具体实施例中,所述匹配单元根据自适应邻域内的点云数据,得到由FPFH和SHOT特征符组成的特征向量,采用根据特征向量对准点云数据后,进行数据体素网格化的方法,提高不同角度点云数据的融合度,所述匹配单元的工作方式为:
C1、计算特征符,以每个点云数据为中心点,选取中心点的融合邻域,根据融合邻域内点云数据计算中心点的FPFH和SHOT特征符,融合邻域半径的表达式为:
式(1)中,r为融合邻域半径,H为单角度扫描得到的点云数据量,li为点云数据的表面法线,Ci为点云数据的曲率,Pi为点云数据的周围密度,i为点云数据的标号;
C2、确认特征向量,将中心点的FPFH和SHOT特征符进行连接,形成中心点的特征向量,并将特征向量进行范数归一化;
C3、对准点云数据,将不同角度扫描的点云数据根据特征向量进行分类配准,将匹配的点云数据对齐到一起;
C4、将点云数据进行体素网格化,确认对准后点云数据的体素分辨率,分配每个点云数据到相应的体素中,进行体素合并,完成不同扫描视角点云数据的分配。
在具体实施例中,所述改进型RANSAC算法包括初拟合系统和局部拟合系统,所述初拟合系统根据法向量和最小二乘法得到初拟合模型,并对初拟合模型进行优化,所述局部拟合系统按照曲率对初拟合模型进行区域划分,并分类拟合,得到单次扫描的三维网格模型,所述局部拟合系统的输出端连接合并系统的输入端。
在具体实施例中,所述初拟合系统采用在不同片段中随机采样的方法,降低传统RANSAC算法中随机采样的不稳定性,采用自适应差残值判断初拟合模型内点的方法,提高模型拟合的鲁棒性,所述初拟合系统的工作方式为:
步骤1、计算法向量,基于PCA法计算点云数据集中每个点云数据拟合邻域内的法向量,拟合邻域的半径表达式为:
式(2)中,R为拟合邻域半径,M为单个点云数据集的数据量,Li为点云数据的法向量;
步骤2、点云数据集分段,根据法向量的一致性,将点云数据集分割成不同的曲线和曲面片段;
步骤3、确认初拟合模型,通过最小二乘法对于每个分割片段进行拟合计算,得到初拟合模型;
步骤4、随机抽样,在每个不同的曲线和曲面片段中随机选取S个点云数据作为抽样数据,形成抽样数据集,抽样数的表达式为:
式(3)中,S为抽样数,计算结果取整数部分,Tj为单个曲线和曲面片段的点云数据数目,j为单个曲线和曲面片段的标号,y为初拟合模型中曲线和曲面片段的数目;
步骤5、对抽样数据赋权值,计算抽样数据在初拟合模型中的投影点与原始点之间的距离和抽样数据在初拟合模型中的投影点的曲率,并对抽样数据进行赋权值,权值表达式为:
式(4)中,Y为抽样数据的权值,Dn为抽样数据在初拟合模型中的投影点与原始点之间的距离,Qn为抽样数据在初拟合模型中的投影点的曲率,n为抽样数据在初拟合模型中的投影点的标号;
步骤6、优化初拟合模型,计算抽样数据的差残值,将差残值小于差残阈值的抽样数据集归为内点,保留初拟合模型中的内点,对大于差残阈值的抽样数据再次通过最小二乘法进行拟合,完成初拟合模型的优化,差残阈值的表达式为:
式(5)中,E为差残阈值。
在具体实施例中,所述局部拟合系统采用将初拟合模型分区,并分别采取不同方式进行局域拟合的方法,提高曲面模型的建模精确度,所述局部拟合系统的工作方式为:
1)、根据曲率将初拟合模型中的曲面和曲线区分为锐利区和平滑区;
2)、对锐利区中所有的点云数据按照所述初拟合系统中步骤4的方法进行N次拟合,得到修正后的锐利区曲面模型;
3)、对平滑区中所有的点云数据进行赋权值,并计算偏移值,根据偏移值得到平滑区中所有点云数据的修正位置;
4)、根据平滑区中修正后的点云数据位置三角网格生成法对数据点进行拓扑连接,生成平滑区曲面模型;
5)、将锐利区曲面模型与平滑区曲面模型映射至初拟合模型中,得到单次扫描的曲面模型。
在具体实施例中,所述三维建模模块采用将三次扫描得到的曲面模型根据差距阈值进行重新拟合的方法,提高三维模型的建模精确度,所述三维建模模块的工作方式:
S1、将三次扫描的点云数据集依次作为所述初拟合系统的输入;
S2、通过所述初拟合系统经过法向量归类、最小二乘法拟合和抽样优化得到初拟合模型;
S3、通过所述局部拟合系统根据曲率对初拟合模型分区,并采用相应方法对各区进行拟合,输出修正后的单次扫描曲面模型;
S4、对三次扫描得到的曲面模型进行特征提取,将曲面模型中的锐利区坐标作为曲面模型的特征数据;
S5、通过所述合并系统将三次扫描得到的曲面模型按照特征数据进行对应重合,根据曲面模型中不重合点的曲率,计算三次曲率的综合差距,不重合点的综合差距小于差距阈值时,选取不重合点三次曲率的平均值为新的曲率,不重合点的综合差距大于差距阈值时,重复S3得到新的曲率,差距阈值的表达式为:
式(6)中,Kαβ为曲面模型中不重合点的曲率,α为不重合点的下标,β为扫描次数的标号;
S6、将不重合点的按照新的曲率修正,得到完整的三维模型。
通过上述实施例中,所述三维建模模块输出的三维建模对实景的还原度表如表1所示:
表1三维建模对实景的还原度表
根据点云数据数目与锐利区和平滑区数据数目不同,设置四个测试组,采用四种方法分别对四组连接请求任务进行处理,方法A为传统的RANSAC算法,方法B为本发明中所述初拟合系统的建模方法,将初拟合模型作为最终建模模型,方法C为本发明中改进型RANSAC算法,将单次扫描的曲面模型作为最终建模模型,方法D为本发明中所述三维建模模块的建模方法,如表1所示,在四组测试组中根据锐利区数据数目的变化,可观察方法A和方法B模型还原度的稳定性明显比方法C和方法D模型还原度的稳定性低,说明本发明所述局部拟合系统采用将初拟合模型分区,并分别采取不同方式进行局域拟合的方法,提高实景锐利区建模的精确度,在四组测试组中明显可观察方法A的模型还原度整体高于方法B的模型还原度,说明所述初拟合系统采用在不同片段中随机采样的方法,可降低传统RANSAC算法中随机采样的不稳定性,采用自适应差残值判断初拟合模型内点的方法,可提高模型拟合的准确性,在四组测试组中明显可观察方法C的模型还原度整体高于方法D的模型还原度,说明采用将三次扫描得到的曲面模型根据差距阈值进行重新拟合的方法,可提高三维模型的建模精确度,综上所述本发明的建模方法对实景的还原度高。
在具体实施例中,所述优化模块包括材质优化子模块和光源优化子模块,所述材质优化子模块采用多层材质模型模拟物体材质和纹理的三维显示效果,生成材质数据库,所述光源优化子模块采用Phong光照模型模拟在场景中产生阴影和高光,生成光源数据库,所述材质优化子模块的输出端连接光源优化子模块的输入端。
在具体实施例中,所述渲染模块包括追踪子模块、实时渲染子模块和体积渲染子模块,所述追踪子模块采用轻量化残差网络模型根据光源数据库和实时实景扫描结果,计算全局实景中光照和阴影的实时变化轨迹,所述体积渲染子模块采用神经网路模型根据材质数据库和实时实景扫描结果,计算全局实景中纹理和材质的实时变化轨迹,所述实时渲染子模块用于将所述追踪子模块和体积渲染子模块的计算结果实时匹配于三维场景中的物体中,所述追踪子模块和体积渲染子模块的输出端连接实时渲染子模块的输入端。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些具体实施方式仅是举例说明,本领域的技术人员在不脱离本发明的原理和实质的情况下,可以对上述方法和系统的细节进行各种省略、替换和改变。例如,合并上述方法步骤,从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此,本发明的范围仅由所附权利要求书限定。
Claims (7)
1.一种三维虚拟实景动画显示方法,其特征在于:包括如下步骤,
步骤一、通过收集模块利用激光扫描技术对实景中的物体从上、下、前和后角度进行三次扫描,获得物体的点云数据;
步骤二、对扫描结果进行预处理,消除点云数据中的无效数据,并将不同视角扫描的点云数据进行融合,按照三次扫描的顺序生成三组点云数据集;
预处理子模块用于对点云数据进行预处理,为场景三维建模做准备;
所述预处理子模块包括滤波子模块和配准子模块,所述滤波子模块根据高斯滤波法过滤点云数据中存在的噪声、无效点和离群点,所述配准子模块将从上、下、前和后角度采集到的点云数据采用三维配准模型进行融合,得到点云数据集,所述滤波子模块的输出端连接配准子模块的输入端;
步骤三、将点云数据集转换为三维网络模型,并对三次扫描的点云数据集形成的三维网络模型进行拼接融合,建立完整的三维模型;
三维建模模块将预处理后的点云数据转换为三维模型:
所述三维建模模块包括重构子模块和拼接子模块,所述重构子模块采用改进型RANSAC算法将点云数据转换为三维网格模型,所述拼接子模块将三次收集的点云数据进行拼接形成完整的三维模型,所述重构子模块的输出端连接拼接子模块的输入端;
步骤四、通过优化模块模拟材质、纹理、灯光和阴影信息,生成实景中的细节信息,建立材质数据库和光源数据库,为三维模型的渲染做准备;
步骤五、通过渲染模块计算实景中光影和物体纹理的实时变化轨迹,根据材质数据库和光源数据库实时将光影变化和物体纹理变化与三维场景匹配,显示为实时三维动画;
所述改进型RANSAC算法包括初拟合系统和局部拟合系统,所述初拟合系统根据法向量和最小二乘法得到初拟合模型,并对初拟合模型进行优化,所述局部拟合系统按照曲率对初拟合模型进行区域划分,并分类拟合,得到单次扫描的三维网格模型,所述局部拟合系统的输出端连接合并系统的输入端;
所述三维建模模块采用将三次扫描得到的曲面模型根据差距阈值进行重新拟合的方法,提高三维模型的建模精确度,所述三维建模模块的工作方式:
S1、将三次扫描的点云数据集依次作为所述初拟合系统的输入;
S2、通过所述初拟合系统经过法向量归类、最小二乘法拟合和抽样优化得到初拟合模型;
S3、通过所述局部拟合系统根据曲率对初拟合模型分区,并采用相应方法对各区进行拟合,输出修正后的单次扫描曲面模型;
S4、对三次扫描得到的曲面模型进行特征提取,将曲面模型中的锐利区坐标作为曲面模型的特征数据;
S5、通过所述合并系统将三次扫描得到的曲面模型按照特征数据进行对应重合,根据曲面模型中不重合点的曲率,计算三次曲率的综合差距,不重合点的综合差距小于差距阈值时,选取不重合点三次曲率的平均值为新的曲率,不重合点的综合差距大于差距阈值时,重复S3得到新的曲率,差距阈值的表达式为:
式(1)中,Kαβ为曲面模型中不重合点的曲率,α为不重合点的下标,β为扫描次数的标号;
S6、将不重合点的按照新的曲率修正,得到完整的三维模型。
2.根据权利要求1所述的一种三维虚拟实景动画显示方法,其特征在于:所述三维配准模型包括特征提取单元和匹配单元,所述特征提取单元用于提取每个点云数据的表面法线和曲率,所述匹配单元用于将不同视角的点云数据根据数据特征匹配到相应的区域,所述特征提取单元的输出端连接所述匹配单元的输出端。
3.根据权利要求2所述的一种三维虚拟实景动画显示方法,其特征在于:所述匹配单元根据自适应邻域内的点云数据,得到由FPFH和SHOT特征符组成的特征向量,采用根据特征向量对准点云数据后,进行数据体素网格化的方法,提高不同角度点云数据的融合度,所述匹配单元的工作方式为:
C1、计算特征符,以每个点云数据为中心点,选取中心点的融合邻域,根据融合邻域内点云数据计算中心点的FPFH和SHOT特征符,融合邻域半径的表达式为:
式(2)中,r为融合邻域半径,H为单角度扫描得到的点云数据量,li为点云数据的表面法线,Ci为点云数据的曲率,Pi为点云数据的周围密度,i为点云数据的标号;
C2、确认特征向量,将中心点的FPFH和SHOT特征符进行连接,形成中心点的特征向量,并将特征向量进行范数归一化;
C3、对准点云数据,将不同角度扫描的点云数据根据特征向量进行分类配准,将匹配的点云数据对齐到一起;
C4、将点云数据进行体素网格化,确认对准后点云数据的体素分辨率,分配每个点云数据到相应的体素中,进行体素合并,完成不同扫描视角点云数据的分配。
4.根据权利要求1所述的一种三维虚拟实景动画显示方法,其特征在于:所述初拟合系统采用在不同片段中随机采样的方法,降低传统RANSAC算法中随机采样的不稳定性,采用自适应差残值判断初拟合模型内点的方法,提高模型拟合的鲁棒性,所述初拟合系统的工作方式为:
步骤1、计算法向量,基于PCA法计算点云数据集中每个点云数据拟合邻域内的法向量,拟合邻域的半径表达式为:
式(3)中,R为拟合邻域半径,M为单个点云数据集的数据量,Li为点云数据的法向量;
步骤2、点云数据集分段,根据法向量的一致性,将点云数据集分割成不同的曲线和曲面片段;
步骤3、确认初拟合模型,通过最小二乘法对于每个分割片段进行拟合计算,得到初拟合模型;
步骤4、随机抽样,在每个不同的曲线和曲面片段中随机选取S个点云数据作为抽样数据,形成抽样数据集,抽样数的表达式为:
式(4)中,S为抽样数,计算结果取整数部分,Tj为单个曲线和曲面片段的点云数据数目,j为单个曲线和曲面片段的标号,y为初拟合模型中曲线和曲面片段的数目;
步骤5、对抽样数据赋权值,计算抽样数据在初拟合模型中的投影点与原始点之间的距离和抽样数据在初拟合模型中的投影点的曲率,并对抽样数据进行赋权值,权值表达式为:
式(5)中,Y为抽样数据的权值,Dn为抽样数据在初拟合模型中的投影点与原始点之间的距离,Qn为抽样数据在初拟合模型中的投影点的曲率,n为抽样数据在初拟合模型中的投影点的标号;
步骤6、优化初拟合模型,计算抽样数据的差残值,将差残值小于差残阈值的抽样数据集归为内点,保留初拟合模型中的内点,对大于差残阈值的抽样数据再次通过最小二乘法进行拟合,完成初拟合模型的优化,差残阈值的表达式为:
式(6)中,E为差残阈值。
5.根据权利要求1所述的一种三维虚拟实景动画显示方法,其特征在于:所述局部拟合系统采用将初拟合模型分区,并分别采取不同方式进行局域拟合的方法,提高曲面模型的建模精确度,所述局部拟合系统的工作方式为:
1)、根据曲率将初拟合模型中的曲面和曲线区分为锐利区和平滑区;
2)、对锐利区中所有的点云数据按照所述初拟合系统中步骤4的方法进行N次拟合,得到修正后的锐利区曲面模型;
3)、对平滑区中所有的点云数据进行赋权值,并计算偏移值,根据偏移值得到平滑区中所有点云数据的修正位置;
4)、根据平滑区中修正后的点云数据位置三角网格生成法对数据点进行拓扑连接,生成平滑区曲面模型;
5)、将锐利区曲面模型与平滑区曲面模型映射至初拟合模型中,得到单次扫描的曲面模型。
6.根据权利要求1所述的一种三维虚拟实景动画显示方法,其特征在于:所述优化模块包括材质优化子模块和光源优化子模块,所述材质优化子模块采用多层材质模型模拟物体材质和纹理的三维显示效果,生成材质数据库,所述光源优化子模块采用Phong光照模型模拟在场景中产生阴影和高光,生成光源数据库,所述材质优化子模块的输出端连接光源优化子模块的输入端。
7.根据权利要求1所述的一种三维虚拟实景动画显示方法,其特征在于:所述渲染模块包括追踪子模块、实时渲染子模块和体积渲染子模块,所述追踪子模块采用轻量化残差网络模型根据光源数据库和实时实景扫描结果,计算全局实景中光照和阴影的实时变化轨迹,所述体积渲染子模块采用神经网路模型根据材质数据库和实时实景扫描结果,计算全局实景中纹理和材质的实时变化轨迹,所述实时渲染子模块用于将所述追踪子模块和体积渲染子模块的计算结果实时匹配于三维场景中的物体中,所述追踪子模块和体积渲染子模块的输出端连接实时渲染子模块的输入端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310800544.5A CN116883550B (zh) | 2023-07-01 | 2023-07-01 | 一种三维虚拟实景动画显示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310800544.5A CN116883550B (zh) | 2023-07-01 | 2023-07-01 | 一种三维虚拟实景动画显示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116883550A CN116883550A (zh) | 2023-10-13 |
| CN116883550B true CN116883550B (zh) | 2024-02-23 |
Family
ID=88257856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310800544.5A Active CN116883550B (zh) | 2023-07-01 | 2023-07-01 | 一种三维虚拟实景动画显示方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883550B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118172451B (zh) * | 2024-02-05 | 2024-09-17 | 深圳萌想文化传播有限公司 | 交互式三维动画生成方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298926A (zh) * | 2018-03-23 | 2019-10-01 | 英特尔公司 | 深度几何模型拟合 |
| CN110442917A (zh) * | 2019-07-09 | 2019-11-12 | 武汉工程大学 | 基于点云的参数化模型重建方法 |
| CN110458871A (zh) * | 2019-08-14 | 2019-11-15 | 上海霁目信息科技有限公司 | 模型与全景图的配准方法、系统、设备和介质以及地图 |
| CN112233249A (zh) * | 2020-10-29 | 2021-01-15 | 上海应用技术大学 | 基于密集点云的b样条曲面拟合方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11076142B2 (en) * | 2017-09-04 | 2021-07-27 | Ideapool Culture & Technology Co., Ltd. | Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene |
-
2023
- 2023-07-01 CN CN202310800544.5A patent/CN116883550B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298926A (zh) * | 2018-03-23 | 2019-10-01 | 英特尔公司 | 深度几何模型拟合 |
| CN110442917A (zh) * | 2019-07-09 | 2019-11-12 | 武汉工程大学 | 基于点云的参数化模型重建方法 |
| CN110458871A (zh) * | 2019-08-14 | 2019-11-15 | 上海霁目信息科技有限公司 | 模型与全景图的配准方法、系统、设备和介质以及地图 |
| CN112233249A (zh) * | 2020-10-29 | 2021-01-15 | 上海应用技术大学 | 基于密集点云的b样条曲面拟合方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| An Efficient Planar Feature Fitting Method Using Point Cloud Simplification and Threshold-Independent BaySAC;Zhizhong Kang 等;《 IEEE Geoscience and Remote Sensing Letters 》;全文 * |
| 基于RANSAC的WTLSD平面拟合算法研究;张中岳 等;《研究与开发》;全文 * |
| 基于海量点云数据的变电站三维全真建模方法;李杰 等;华北电力技术(07);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116883550A (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108038906B (zh) | 一种基于图像的三维四边形网格模型重建方法 | |
| CN107767453B (zh) | 一种基于规则约束的建筑物lidar点云重构优化方法 | |
| CN111063021A (zh) | 一种空间运动目标的三维重建模型建立方法及装置 | |
| Liu et al. | High-quality textured 3D shape reconstruction with cascaded fully convolutional networks | |
| CN116977586A (zh) | 一种基于电网gis平台的实景三维建模方法 | |
| CN111028335A (zh) | 一种基于深度学习的点云数据的分块面片重建方法 | |
| CN116416376A (zh) | 一种三维头发的重建方法、系统、电子设备及存储介质 | |
| CN120198620A (zh) | 基于深度先验场景重建的航空发动机增强现实虚实融合方法 | |
| CN115205463A (zh) | 基于多球面场景表达的新视角图像生成方法、装置和设备 | |
| CN118196268A (zh) | 元宇宙数字人的渲染方法、装置、设备及存储介质 | |
| CN116883550B (zh) | 一种三维虚拟实景动画显示方法 | |
| CN120070522A (zh) | 一种基于点云数据处理的三维模型重建方法 | |
| CN119991961A (zh) | 一种基于3d高斯溅射引导的建筑物三维重建方法 | |
| CN118537506A (zh) | 复合型三维曲面重建方法 | |
| CN118587266B (zh) | 一种基于林区图片生成含有林业基础数据的方法 | |
| CN112002019B (zh) | 一种基于mr混合现实的模拟人物阴影的方法 | |
| CN117475117B (zh) | 一种基于卷积神经网络的非刚性物体虚实遮挡方法和系统 | |
| CN119693543A (zh) | 一种基于单张全景图像的新视角合成三维重建方法及系统 | |
| CN119600199A (zh) | 一种基于NeRF的分级物体建模与快速重建方法 | |
| Neupane et al. | High-fidelity 3D reconstruction via unified NeRF-mesh optimization with geometric and color consistency | |
| Gao et al. | Multi-target 3d reconstruction from rgb-d data | |
| CN118470183A (zh) | 一种基于单视图的新视图合成与三维重建方法 | |
| Zeng et al. | 3D plants reconstruction based on point cloud | |
| CN120451454B (zh) | 一种分形生长模型与精细化树木建模方法 | |
| CN117292067B (zh) | 基于扫描实物获得的虚拟3d模型方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |