[go: up one dir, main page]

CN116778249A - 一种基于弱密集注意残差网络和增强现实技术的展示系统 - Google Patents

一种基于弱密集注意残差网络和增强现实技术的展示系统 Download PDF

Info

Publication number
CN116778249A
CN116778249A CN202310784419.XA CN202310784419A CN116778249A CN 116778249 A CN116778249 A CN 116778249A CN 202310784419 A CN202310784419 A CN 202310784419A CN 116778249 A CN116778249 A CN 116778249A
Authority
CN
China
Prior art keywords
model
augmented reality
image
network
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310784419.XA
Other languages
English (en)
Inventor
王建东
徐凤明
宁竞莜
白铮
张宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Institute Of Computing Technology Xi'an University Of Electronic Science And Technology
Original Assignee
Qingdao Institute Of Computing Technology Xi'an University Of Electronic Science And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Institute Of Computing Technology Xi'an University Of Electronic Science And Technology filed Critical Qingdao Institute Of Computing Technology Xi'an University Of Electronic Science And Technology
Priority to CN202310784419.XA priority Critical patent/CN116778249A/zh
Publication of CN116778249A publication Critical patent/CN116778249A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于弱密集注意残差网络和增强现实技术的展示系统,具体涉及展示系统技术领域,包括以下步骤:步骤一:采集不同角度汽车的外观图像信息,根据不同汽车品牌作为标签制作一个数据集;步骤二:根据研究需要,对数据集进行数据增强;步骤三:对于不同汽车,制作相应的增强现实展示模型,包括车辆信息、多环境行驶状况以及驾驶手册,最后按照数据集的标签分类存入到云端系统数据库中;步骤四:使用Pytorch开源框架构建弱密集注意残差模型。本发明在使用时,无需以人工加工书面的方式供给客户了解车辆信息,能够将汽车的展示与深度学习以及增强现实相关技术结合起来,可方便客户更为直观的了解车辆的信息。

Description

一种基于弱密集注意残差网络和增强现实技术的展示系统
技术领域
本发明涉及展示系统技术领域,更具体地说,本发明涉及一种基于弱密集注意残差网络和增强现实技术的展示系统。
背景技术
目前在各种大型车展,车辆的展示介绍更多的是通过展会的工作人员进行介绍,但是展会往往人员众多,这就需要更多的专业人员解说,而且效果并不是很好,或者用户可以自行阅读汽车的介绍说明书来了解车辆,但是用户不能更为直观深入的去理解其书面上的概念。深度学习技术可以更为准确的处理图像,帮助用户更为准确的识别车辆,增强现实技术可以处理视频图像,以一种真实姿态展示到用户眼前,帮助用户近距离了解汽车。将深度学习技术和增强现实技术融合,则会产生不一样的效果,用户在参加车展时,可以随时随地拿出手机,只需要安装一个APP,使用APP去识别感兴趣的车辆,即可近距离观看相应车辆的详细介绍。所以,使用一种基于弱密集注意残差网络和增强现实技术的展示系统,对于汽车的展示销售行业有着非常重要的意义。
发明内容
为了克服现有技术的上述缺陷,本发明的实施例提供一种基于弱密集注意残差网络和增强现实技术的展示系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于弱密集注意残差网络和增强现实技术的展示系统,包括以下步骤:
步骤一:采集不同角度汽车的外观图像信息,根据不同汽车品牌作为标签制作一个数据集;
步骤二:根据研究需要,对数据集进行数据增强;
步骤三:对于不同汽车,制作相应的增强现实展示模型,包括车辆信息、多环境行驶状况以及驾驶手册,最后按照数据集的标签分类存入到云端系统数据库中;
步骤四:使用Pytorch开源框架构建弱密集注意残差模型,由输入层,隐藏层,输出层三部分组成,使用Focal_Loss作为损失函数,减轻数据分布不均匀对训练精度的影响,将汽车图片数据集作为模型的输入层,将最终模型的输出图片类别作为输出层;
步骤五:为保证实验结果不具有偶然性,将数据集按照8:2的比例随机划分为训练集和验证集,训练集用于深度学习网络模型的训练,而验证集用网络模型精度的验证,多次进行网络模型训练,然后对网络结构以及模型的超参数进行调整,最终取模型的平均实验结果作为模型的最终精度;
步骤六:将用户最新采集的图像输入到最终的网络模型中,根据模型的输出结果,查询云端数据库,匹配到相应的增强现实展示模型,由移动终端APP系统进行展示。
在一个优选的实施方式中,所述步骤一中,其数据集需要包括车辆的不同的角度的拍摄图像,以及不同灯光条件下的图像,这样能提升模型的鲁棒性,也能提升识别精度。
在一个优选的实施方式中,所述步骤二中,原始采集的不同角度的汽车的外观图像可能数据集本身比较小,这样在训练深度学习网络时,可能会出现过拟合的问题,因此需要对原始采集的图像进行数据增强,图像增强包括图像旋转,图像加噪,Cutout增强等,其中图像旋转为将原始图片进行旋转,图像加噪为在原始图片中加盐噪声,Cutout增强为随机将一部分区域剪切掉填充0像素值,对数据进行增强主要可以丰富训练数据的分布、提高模型的泛化性能和鲁棒性、防止过拟合等作用。
在一个优选的实施方式中,所述步骤三中,所述增强现实的展示模型包括车辆信息、多环境行驶状况以及驾驶手册,其中车辆信息主要为汽车的基本配置信息展示,多环境行驶状况为汽车在不同环境条件下汽车真实的行驶状况展示,驾驶手册为汽车的使用手册,为用户展示如何驾驶此汽车,最后按照数据集的标签分类存入到云端系统数据库中。
在一个优选的实施方式中,所述步骤四中,深度学习模型包括由输入层,隐藏层,输出层三部分,对于经过数据增强之后的数据集作为深度学习模型的输入(Input),将汽车类型标签作为输出结果(Output),中间的隐藏层负责对于汽车图像信息进行特征提取,提取到的图像特征信息会被用于后续的图像分类中;
所述隐藏层使用一种弱密集(Weak_Dense)网络,此网络只会将前后相邻的特征图进行融合,同时每一个卷积的输出的特征图的数量只为一开始输入特征图的一半,因此它能保证特征重用且不会增加特征图的个数,能够减少模型的参数量和计算复杂度;
在弱密集网络后面添加一个通道注意力机制模块,用于细化特征,提取到更具鉴别意义的特征,模块首先使用一个全局最大池化,获取每个通道的最大值,得到通道数不变的1×1大小的特征图,然后使用Softmax激活函数获取加权系数,然后与模块的输入x相乘,随后使用残差连接加速信息流动,得到最终细化之后的特征图;
使用一种Focal_Loss损失函数用于模型的训练,由于训练数据集可能存在数据的分布不均匀的情况,可能会导致一些数据不足的图像被误分类为数据充足的图像,此函数能够将分类正确的损失降低到最低,而分类错误的损失值扩大,因此网络会去优化那些被误分类的图像损失,因此Focal_loss函数可以减少数据分布不均匀对于模型精度的影响,损失函数的计算公式如下:
式中,F为模型的损失值,N为所有样本的数量,i为样本对应的类别标签,P为图片识别后对应于每个标签的概率。
在一个优选的实施方式中,所述步骤五中,为了使模型具有较好的精度和模型泛化能力,因此对数据集采用随机划分的方法,同时为了保证模型具有较好的鲁棒性,对模型进行多次训练验证,最后取多次实验结果的平均值作为模型的最后精度。
在一个优选的实施方式中,所述步骤六中,移动终端APP系统应当包括图像采集模块、识别匹配模块和模型展示模块,将图像采集模块采集到的图像发送到识别匹配模块,识别匹配模块会将图像输入到最终的深度学习模型中,根据最终的深度学习模型输出的结果,由结果找到对应的标签,搜索云端数据库,获取到对应的汽车的增强现实展示模型,由移动终端APP系统的模型展示模块进行模型的加载展示。
本发明的技术效果和优点:
在使用本发明时,无需以人工加工书面的方式供给客户了解车辆信息,能够将汽车的展示与深度学习以及增强现实相关技术结合起来,可方便客户更为直观的了解车辆的信息。
附图说明
图1为本发明的展示系统的流程图。
图2为本发明的展示系统的总体架构图。
图3为本发明的展示系统的深度学习网络模型图。
图4为本发明的深度学习模型中弱密集网络模型图。
图5为本发明的深度学习模型中的通道注意力机制模型图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如附图1、附图2、附图3、附图4和附图5所示,本发明提供了一种基于弱密集注意残差网络和增强现实技术的展示系统,包括以下步骤:
步骤一:采集不同角度汽车的外观图像信息,根据不同汽车品牌作为标签制作一个数据集;
步骤二:根据研究需要,对数据集进行数据增强;
步骤三:对于不同汽车,制作相应的增强现实展示模型,包括车辆信息、多环境行驶状况以及驾驶手册,最后按照数据集的标签分类存入到云端系统数据库中;
步骤四:使用Pytorch开源框架构建弱密集注意残差模型,由输入层,隐藏层,输出层三部分组成,使用Focal_Loss作为损失函数,减轻数据分布不均匀对训练精度的影响,将汽车图片数据集作为模型的输入层,将最终模型的输出图片类别作为输出层;
步骤五:为保证实验结果不具有偶然性,将数据集按照8:2的比例随机划分为训练集和验证集,训练集用于深度学习网络模型的训练,而验证集用网络模型精度的验证,多次进行网络模型训练,然后对网络结构以及模型的超参数进行调整,最终取模型的平均实验结果作为模型的最终精度;
步骤六:将用户最新采集的图像输入到最终的网络模型中,根据模型的输出结果,查询云端数据库,匹配到相应的增强现实展示模型,由移动终端APP系统进行展示;
所述步骤一中,其数据集需要包括车辆的不同的角度的拍摄图像,以及不同灯光条件下的图像,这样能提升模型的鲁棒性,也能提升识别精度;
所述步骤二中,原始采集的不同角度的汽车的外观图像可能数据集本身比较小,这样在训练深度学习网络时,可能会出现过拟合的问题,因此需要对原始采集的图像进行数据增强,图像增强包括图像旋转,图像加噪,Cutout增强等,其中图像旋转为将原始图片进行旋转,图像加噪为在原始图片中加盐噪声,Cutout增强为随机将一部分区域剪切掉填充0像素值,对数据进行增强主要可以丰富训练数据的分布、提高模型的泛化性能和鲁棒性、防止过拟合等作用;
所述步骤三中,所述增强现实的展示模型包括车辆信息、多环境行驶状况以及驾驶手册,其中车辆信息主要为汽车的基本配置信息展示,多环境行驶状况为汽车在不同环境条件下汽车真实的行驶状况展示,驾驶手册为汽车的使用手册,为用户展示如何驾驶此汽车,最后按照数据集的标签分类存入到云端系统数据库中;
所述步骤四中,深度学习模型包括由输入层,隐藏层,输出层三部分,对于经过数据增强之后的数据集作为深度学习模型的输入(Input),将汽车类型标签作为输出结果(Output),中间的隐藏层负责对于汽车图像信息进行特征提取,提取到的图像特征信息会被用于后续的图像分类中;
所述隐藏层使用一种弱密集(Weak_Dense)网络,此网络只会将前后相邻的特征图进行融合,同时每一个卷积的输出的特征图的数量只为一开始输入特征图的一半,因此它能保证特征重用且不会增加特征图的个数,能够减少模型的参数量和计算复杂度;
在弱密集网络后面添加一个通道注意力机制模块,用于细化特征,提取到更具鉴别意义的特征,模块首先使用一个全局最大池化,获取每个通道的最大值,得到通道数不变的1×1大小的特征图,然后使用Softmax激活函数获取加权系数,然后与模块的输入x相乘,随后使用残差连接加速信息流动,得到最终细化之后的特征图;
使用一种Focal_Loss损失函数用于模型的训练,由于训练数据集可能存在数据的分布不均匀的情况,可能会导致一些数据不足的图像被误分类为数据充足的图像,此函数能够将分类正确的损失降低到最低,而分类错误的损失值扩大,因此网络会去优化那些被误分类的图像损失,因此Focal_loss函数可以减少数据分布不均匀对于模型精度的影响,损失函数的计算公式如下:
式中,F为模型的损失值,N为所有样本的数量,i为样本对应的类别标签,P为图片识别后对应于每个标签的概率;
所述步骤五中,为了使模型具有较好的精度和模型泛化能力,因此对数据集采用随机划分的方法,同时为了保证模型具有较好的鲁棒性,对模型进行多次训练验证,最后取多次实验结果的平均值作为模型的最后精度;
所述步骤六中,移动终端APP系统应当包括图像采集模块、识别匹配模块和模型展示模块,将图像采集模块采集到的图像发送到识别匹配模块,识别匹配模块会将图像输入到最终的深度学习模型中,根据最终的深度学习模型输出的结果,由结果找到对应的标签,搜索云端数据库,获取到对应的汽车的增强现实展示模型,由移动终端APP系统的模型展示模块进行模型的加载展示。
实施方式具体为:采集不同角度汽车的外观图像信息,根据不同汽车品牌作为标签制作一个数据集,根据研究需要,对数据集进行数据增强,对于不同汽车,制作相应的增强现实展示模型,包括车辆信息、多环境行驶状况以及驾驶手册,最后按照数据集的标签分类存入到云端系统数据库中,使用Pytorch开源框架构建弱密集注意残差模型,由输入层,隐藏层,输出层三部分组成,使用Focal_Loss作为损失函数,减轻数据分布不均匀对训练精度的影响,将汽车图片数据集作为模型的输入层,将最终模型的输出图片类别作为输出层,为保证实验结果不具有偶然性,将数据集按照8:2的比例随机划分为训练集和验证集,训练集用于深度学习网络模型的训练,而验证集用网络模型精度的验证,多次进行网络模型训练,然后对网络结构以及模型的超参数进行调整,最终取模型的平均实验结果作为模型的最终精度,将用户最新采集的图像输入到最终的网络模型中,根据模型的输出结果,查询云端数据库,匹配到相应的增强现实展示模型,由移动终端APP系统进行展示。
本发明工作原理:
参照说明书附图1、附图2、附图3、附图4和附图5,在使用本发明时,无需以人工加工书面的方式供给客户了解车辆信息,能够将汽车的展示与深度学习以及增强现实相关技术结合起来,可方便客户更为直观的了解车辆的信息。
最后应说明的几点是:首先,在本申请的描述中,需要说明的是,除非另有规定和限定,术语“安装”、“相连”、“连接”应做广义理解,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变,则相对位置关系可能发生改变;
其次:本发明公开实施例附图中,只涉及到与本公开实施例涉及到的结构,其他结构可参考通常设计,在不冲突情况下,本发明同一实施例及不同实施例可以相互组合;
最后:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于弱密集注意残差网络和增强现实技术的展示系统,其特征在于,包括以下步骤:
步骤一:采集不同角度汽车的外观图像信息,根据不同汽车品牌作为标签制作一个数据集;
步骤二:根据研究需要,对数据集进行数据增强;
步骤三:对于不同汽车,制作相应的增强现实展示模型,包括车辆信息、多环境行驶状况以及驾驶手册,最后按照数据集的标签分类存入到云端系统数据库中;
步骤四:使用Pytorch开源框架构建弱密集注意残差模型,由输入层,隐藏层,输出层三部分组成,使用Focal_Loss作为损失函数,减轻数据分布不均匀对训练精度的影响,将汽车图片数据集作为模型的输入层,将最终模型的输出图片类别作为输出层;
步骤五:为保证实验结果不具有偶然性,将数据集按照8:2的比例随机划分为训练集和验证集,训练集用于深度学习网络模型的训练,而验证集用网络模型精度的验证,多次进行网络模型训练,然后对网络结构以及模型的超参数进行调整,最终取模型的平均实验结果作为模型的最终精度;
步骤六:将用户最新采集的图像输入到最终的网络模型中,根据模型的输出结果,查询云端数据库,匹配到相应的增强现实展示模型,由移动终端APP系统进行展示。
2.根据权利要求1所述的一种基于弱密集注意残差网络和增强现实技术的展示系统,其特征在于:所述步骤一中,其数据集需要包括车辆的不同的角度的拍摄图像,以及不同灯光条件下的图像,这样能提升模型的鲁棒性,也能提升识别精度。
3.根据权利要求1所述的一种基于弱密集注意残差网络和增强现实技术的展示系统,其特征在于:所述步骤二中,原始采集的不同角度的汽车的外观图像可能数据集本身比较小,这样在训练深度学习网络时,可能会出现过拟合的问题,因此需要对原始采集的图像进行数据增强,图像增强包括图像旋转,图像加噪,Cutout增强等,其中图像旋转为将原始图片进行旋转,图像加噪为在原始图片中加盐噪声,Cutout增强为随机将一部分区域剪切掉填充0像素值,对数据进行增强主要可以丰富训练数据的分布、提高模型的泛化性能和鲁棒性、防止过拟合等作用。
4.根据权利要求1所述的一种基于弱密集注意残差网络和增强现实技术的展示系统,其特征在于:所述步骤三中,所述增强现实的展示模型包括车辆信息、多环境行驶状况以及驾驶手册,其中车辆信息主要为汽车的基本配置信息展示,多环境行驶状况为汽车在不同环境条件下汽车真实的行驶状况展示,驾驶手册为汽车的使用手册,为用户展示如何驾驶此汽车,最后按照数据集的标签分类存入到云端系统数据库中。
5.根据权利要求1所述的一种基于弱密集注意残差网络和增强现实技术的展示系统,其特征在于:所述步骤四中,深度学习模型包括由输入层,隐藏层,输出层三部分,对于经过数据增强之后的数据集作为深度学习模型的输入(Input),将汽车类型标签作为输出结果(Output),中间的隐藏层负责对于汽车图像信息进行特征提取,提取到的图像特征信息会被用于后续的图像分类中;
所述隐藏层使用一种弱密集(Weak_Dense)网络,此网络只会将前后相邻的特征图进行融合,同时每一个卷积的输出的特征图的数量只为一开始输入特征图的一半,因此它能保证特征重用且不会增加特征图的个数,能够减少模型的参数量和计算复杂度;
在弱密集网络后面添加一个通道注意力机制模块,用于细化特征,提取到更具鉴别意义的特征,模块首先使用一个全局最大池化,获取每个通道的最大值,得到通道数不变的1×1大小的特征图,然后使用Softmax激活函数获取加权系数,然后与模块的输入x相乘,随后使用残差连接加速信息流动,得到最终细化之后的特征图;
使用一种Focal_Loss损失函数用于模型的训练,由于训练数据集可能存在数据的分布不均匀的情况,可能会导致一些数据不足的图像被误分类为数据充足的图像,此函数能够将分类正确的损失降低到最低,而分类错误的损失值扩大,因此网络会去优化那些被误分类的图像损失,因此Focal_loss函数可以减少数据分布不均匀对于模型精度的影响,损失函数的计算公式如下:
式中,F为模型的损失值,N为所有样本的数量,i为样本对应的类别标签,P为图片识别后对应于每个标签的概率。
6.根据权利要求1所述的一种基于弱密集注意残差网络和增强现实技术的展示系统,其特征在于:所述步骤五中,为了使模型具有较好的精度和模型泛化能力,因此对数据集采用随机划分的方法,同时为了保证模型具有较好的鲁棒性,对模型进行多次训练验证,最后取多次实验结果的平均值作为模型的最后精度。
7.根据权利要求1所述的一种基于弱密集注意残差网络和增强现实技术的展示系统,其特征在于:所述步骤六中,移动终端APP系统应当包括图像采集模块、识别匹配模块和模型展示模块,将图像采集模块采集到的图像发送到识别匹配模块,识别匹配模块会将图像输入到最终的深度学习模型中,根据最终的深度学习模型输出的结果,由结果找到对应的标签,搜索云端数据库,获取到对应的汽车的增强现实展示模型,由移动终端APP系统的模型展示模块进行模型的加载展示。
CN202310784419.XA 2023-06-29 2023-06-29 一种基于弱密集注意残差网络和增强现实技术的展示系统 Pending CN116778249A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310784419.XA CN116778249A (zh) 2023-06-29 2023-06-29 一种基于弱密集注意残差网络和增强现实技术的展示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310784419.XA CN116778249A (zh) 2023-06-29 2023-06-29 一种基于弱密集注意残差网络和增强现实技术的展示系统

Publications (1)

Publication Number Publication Date
CN116778249A true CN116778249A (zh) 2023-09-19

Family

ID=88006105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310784419.XA Pending CN116778249A (zh) 2023-06-29 2023-06-29 一种基于弱密集注意残差网络和增强现实技术的展示系统

Country Status (1)

Country Link
CN (1) CN116778249A (zh)

Similar Documents

Publication Publication Date Title
EP2810430B1 (en) Image capture system
US12367517B1 (en) Systems, methods, and devices for determining and displaying market relative position of unique items
CN111898523A (zh) 一种基于迁移学习的遥感图像特种车辆目标检测方法
EP4451231A1 (en) Vehicle autonomous driving perception self-learning method and apparatus, and electronic device
US20210295047A1 (en) Systems and methods for augmented reality navigation
US20190340746A1 (en) Stationary object detecting method, apparatus and electronic device
US20170243083A1 (en) Generating a virtual world to assess real-world video analysis performance
CN110428490A (zh) 构建模型的方法和装置
CN114693963B (zh) 基于电力数据特征提取的识别模型训练、识别方法及装置
CN112989877A (zh) 点云数据中标注对象的方法及装置
CN116168117A (zh) 一种面向车险反欺诈的图像生成方法、系统、装置和介质
CN110569379A (zh) 一种汽车配件图片数据集制作方法
CN117911931A (zh) 基于高空影像构建自动驾驶场景数据方法
CN110321854B (zh) 用于检测目标对象的方法和装置
US20240046601A1 (en) Deep recognition model training method, electronic device and readable storage medium
CN111311601B (zh) 一种拼接图像的分割方法及装置
CN116468931A (zh) 车辆部件检测方法、装置、终端及存储介质
CN116778249A (zh) 一种基于弱密集注意残差网络和增强现实技术的展示系统
CN115661444A (zh) 图像处理方法、装置、设备、存储介质及产品
CN114495044B (zh) 标牌识别方法、装置、计算机设备以及存储介质
CN115115825A (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
US12260619B2 (en) Image recognition method, electronic device and readable storage medium
CN111369624A (zh) 定位方法和装置
US12260621B2 (en) Method for generating images of a vehicle-interior camera
CN114882449A (zh) 一种基于Car-Det网络模型的车辆检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication