[go: up one dir, main page]

CN111027685A - 深度可分离卷积和批规范化融合的方法 - Google Patents

深度可分离卷积和批规范化融合的方法 Download PDF

Info

Publication number
CN111027685A
CN111027685A CN201911321112.6A CN201911321112A CN111027685A CN 111027685 A CN111027685 A CN 111027685A CN 201911321112 A CN201911321112 A CN 201911321112A CN 111027685 A CN111027685 A CN 111027685A
Authority
CN
China
Prior art keywords
convolution
batch normalization
parameters
pointwise
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911321112.6A
Other languages
English (en)
Inventor
范益波
刘超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201911321112.6A priority Critical patent/CN111027685A/zh
Publication of CN111027685A publication Critical patent/CN111027685A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明属于神经网络模型技术领域，具体为一种深度可分离卷积和批规范化融合的方法。本发明首先从训练好的含有深度可分离卷积和批规范化层的神经网络模型，导出的Pointwise卷积的参数和批规范化的参数，通过特别设计的方法，重新计算出一组新的参数，用于对Pointwise卷积的权重和偏置进行赋值，修改Pointwise卷积的权重和偏置；然后删除掉原先网络结构中的批规范化层的效果，将批规范化层的计算添加在在Pointwise卷积中，得到与深度可分离卷积和批规范化等效的深度可分离卷积层，实现卷积融合批规范化的效果。本发明可有效地减少计算量。

Description

深度可分离卷积和批规范化融合的方法
技术领域
本发明属于神经网络模型技术领域，具体涉及一种深度可分离卷积和批规范化融合的方法。
背景技术
神经网络技术，尤其是轻量级神经网络一直是研究和应用的热点话题。深度可分离卷积，其有效的使得卷积层的计算量大大化简，其将卷积分为了两个步骤，第一个步骤称之为Depthwise卷积，其利用分组卷积的思想，使得不同卷积层之间无相互计算，仅仅计算单层卷积的结果，从而大幅度减少实现卷积的计算量。第二个步骤称之为Pointwise卷积，其有效的将第一步Depthwise卷积学习到的特征进行重新融合，从而实现对于Depthwise特征仅仅来自于单层的不足。使得其两者整体达到近似传统神经网络卷积的效果。其具体实现一般是使用卷积核为1x1的卷积完成。
批规范化层，由于可以有效的把神经网络中间层学习到的特征重新进行规范化，使得神经网络的梯度可以有效地在多层之间传递，从而使得深层神经网络的训练变得可能。其拥有四个参数，两个用来表示输入的均值和方差，使用均值和方差来让特征重新规范化。另外两个则是神经网络学习的参数，用于特征重构，实现让神经网络模型学习到的特征不被破坏。其和深度可分离卷积都是在实际的神经网络模型构建中，常常使用到的。因此如果可以将两者在实际应用的时候融合起来，就可以在实际应用中有效地减少计算量。
发明内容
本发明的目的在于提出一种融合深度可分离卷积和批规范化的方法，以有效地减少计算量。
本发明提出的融合深度可分离卷积和批规范化的方法，训练好的含有深度可分离卷积和批规范化层的神经网络模型，导出的Pointwise卷积的参数和批规范化的参数，通过特别设计的方法，重新计算出一组新的参数，用于对Pointwise卷积的权重和偏置进行赋值，修改Pointwise卷积的权重和偏置；然后删除掉原先网络结构中的批规范化层的效果，将批规范化层的计算添加在在Pointwise卷积中，得到与深度可分离卷积和批规范化等效的深度可分离卷积层，实现卷积融合批规范化的效果；具体步骤如下：
(1)对于训练好的含有深度可分离卷积和批规范化层的神经网络模型，要求在深度可分离卷积和批规范化层之间没有非线性激活函数，首先导出深度可分离卷积的Pointwise卷积的权重wpwConv和偏置项bpwConv，以及批规范化层的参数γ、β、mean和var；其中γ、β为批规范化层的学习参数，mean和var为批规范化层的计算参数；这些参数将用于后续的计算；
(2)按如下式子计算得到新的Pointwise卷积参数：
Figure BDA0002327174830000021
Figure BDA0002327174830000022
其中，∈表示的是一个防止出现除0的超参，*表示的是卷积计算；
(3)将
Figure BDA0002327174830000023
和
Figure BDA0002327174830000024
取代原有的Pointwise卷积的权重wpwConv和偏置项bpwConv，并删除原网络中的批规范化层，得到新的神经网络结构和对应的权重；至此，深度可分离卷积和批规范化融合完成；用ydwConv表示Depthwise卷积的输出，ybn表示批规范化的输出，这样就直接连接到了ydwConv和ybn：
Figure BDA0002327174830000025
(4)在得到了新的网络结构之后，就可以使用新的网络结构来取代原有的网络结构，从而实现了简化计算量的效果。
本发明中，通过方法的设计，使得批规范层可以有效地融合到深度可分离卷积中去，从而可以减少神经网络模型在推断阶段的计算量。
本发明中，在模型训练结束之后，导出所有的训练好的模型参数，对Pointwise卷积的权重wpwConv和偏置项bpwConv，以及批规范化层的参数γ、β、mean和var进行数学推导和计算，使之可以计算出新的
Figure BDA0002327174830000026
和
Figure BDA0002327174830000027
并使用其取代原有的Pointwise卷积的权重wpwConv和偏置项bpwConv。
本发明中，删除原始网络结构中的批规范化层，然后使得原始结构的深度可分离卷积的Pointwise卷积的权重和偏置被新的权重和偏置修改。
本发明方法可有效地减少计算量。
附图说明
图1本发明方法示意图。
具体实施方式
下面结合示意图，来对本发明做进一步描述。
开始的神经网络层结构如图1的上半部所示，其包含深度可分离卷积和批规范化，因为深度可分离卷积包含Depthwise和Pointwise两个部分，所以最终在示意图中有三个部分。第一个部分为Depthwise卷积，其是一种分离卷积，所有这里使用了三种不同颜色的卷积核与对应的卷积层进行卷积来表现其分离卷积的思想。通过分离卷积，得到了分离卷积的输出。其会被送给Pointwise卷积来作为Pointwise的输入。对于Pointwise卷积，其是一种卷积核为1x1的常规卷积，所以这里使用交错的1x1卷积核来表现其卷积过程，通过这样的Pointwise卷积，实现了使得不同的Depthwise卷积的输出融合起来的效果。在Pointwise卷积结束之后，使用一个批规范化层(batch normalization)来对Pointwise的输出进行进一步的处理，其计算等效于卷积核为1x1的Depthwise卷积。这样可以有效地处理了数据，使得反向传播梯度得以被更好的保留。
值得注意的是，本发明方法要求在Pointwise和批规范化之间不能有非线性的激活函数。实际设计中，激活函数一般会被加在批规范化层之后，这样做也可以保证批规范化层可以很好的表现其性能。在模型训练完成之后，Depthwise卷积、Pointwise卷积和批规范化的参数都被确定下来且保存到了模型文件中。
从模型文件中读取这些参数，按照公式(1)和(2)计算出
Figure BDA0002327174830000031
和
Figure BDA0002327174830000032
其中超参数∈选取10-20。之后重新设计一个神经网络模型B，如图1的下半部分所示。其结构与原始模型结构A几乎一致，区别在于每一个深度可分离卷积之后的批规范化都被从网络结构中删除，而其他的所有网络层结构都被保留。
对于除了Pointwise卷积之外的网络层，使用原始训练好的网络结构A对应层的权重对模型B进行赋值。对于Pointwise卷积，将计算出的
Figure BDA0002327174830000033
和
Figure BDA0002327174830000034
给Pointwise卷积的权重和偏置进行赋值，从而使得构建出的新网络所有的参数都被赋值完毕。这样便得到了一个全新的网络结构模型，这个新的网络结构则可以被用于取代原始模型来进行推断。
不难发现，原始训练好的网络结构A中比新设计的简化模型B多出了很多批规范化的计算量，其他地方则保持了一致。事实上新设计的模型性能表现几乎是和原始模型一致的，所以本发明实现了节省掉原始模型中的一部分计算量的效果。最后就可以把新设计的模型B取代A，进行推断即可。

Claims (1)

1.一致深度可分离卷积和批规范化融合的方法，其特征在于，从训练好的含有深度可分离卷积和批规范化层的神经网络模型，导出的Pointwise卷积的参数和批规范化的参数，通过特别设计的计方法，重新计算出一组新的参数，用于对Pointwise卷积的权重和偏置进行赋值，修改Pointwise卷积的权重和偏置；然后删除掉原先网络结构中的批规范化层的效果，将批规范化层的计算添加在在Pointwise卷积中，得到与深度可分离卷积和批规范化等效的深度可分离卷积层，实现卷积融合批规范化的效果；具体步骤如下：
(1)对于训练好的含有深度可分离卷积和批规范化层的神经网络模型，要求在深度可分离卷积和批规范化层之间没有非线性激活函数，首先导出深度可分离卷积的Pointwise卷积的权重wpwConv和偏置项bpwConv，以及批规范化层的参数γ、β、mean和var；其中γ、β为批规范化层的学习参数，mean和var为批规范化层的计算参数；
(2)按如下式子计算新的Pointwise卷积参数：
Figure FDA0002327174820000011
Figure FDA0002327174820000012
其中，∈表示的是一个防止出现除0的超参，*表示的是卷积计算；
(3)将
Figure FDA0002327174820000013
和
Figure FDA0002327174820000014
取代原有的Pointwise卷积的权重wpwConv和偏置项bpwConv，并删除原网络中的批规范化层，得到新的神经网络结构和对应的权重；至此，深度可分离卷积和批规范化融合完成；用ydwConv表示Depthwise卷积的输出，ybn表示批规范化的输出，这样就直接连接到ydwConv和ybn：
Figure FDA0002327174820000015
(4)在得到新的网络结构之后，使用新的网络结构来取代原有的网络结构，从而实现简化计算量的效果。
CN201911321112.6A 2019-12-20 2019-12-20 深度可分离卷积和批规范化融合的方法 Pending CN111027685A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911321112.6A CN111027685A (zh) 2019-12-20 2019-12-20 深度可分离卷积和批规范化融合的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911321112.6A CN111027685A (zh) 2019-12-20 2019-12-20 深度可分离卷积和批规范化融合的方法

Publications (1)

Publication Number Publication Date
CN111027685A true CN111027685A (zh) 2020-04-17

Family

ID=70211238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911321112.6A Pending CN111027685A (zh) 2019-12-20 2019-12-20 深度可分离卷积和批规范化融合的方法

Country Status (1)

Country Link
CN (1) CN111027685A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344200A (zh) * 2021-06-17 2021-09-03 阿波罗智联(北京)科技有限公司 用于训练可分离卷积网络的方法、路侧设备及云控平台

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344200A (zh) * 2021-06-17 2021-09-03 阿波罗智联(北京)科技有限公司 用于训练可分离卷积网络的方法、路侧设备及云控平台
CN113344200B (zh) * 2021-06-17 2024-05-28 阿波罗智联(北京)科技有限公司 用于训练可分离卷积网络的方法、路侧设备及云控平台

Similar Documents

Publication Publication Date Title
CN111310063B (zh) 基于神经网络的记忆感知门控因子分解机物品推荐方法
CN114463209B (zh) 一种基于深度多特征协同学习的图像修复方法
CN110706214B (zh) 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN110837578B (zh) 一种基于图卷积网络的视频片段推荐方法
CN109447261B (zh) 一种基于多阶邻近相似度的网络表示学习的方法
CN109005398B (zh) 一种基于卷积神经网络的立体图像视差匹配方法
CN108805814A (zh) 基于多频段深度卷积神经网络的图像超分辨重建方法
TW202011278A (zh) 電子裝置及類神經網路的壓縮方法
CN112651533A (zh) 整合移动平均自回归-反向传播神经网络预测方法
CN111027685A (zh) 深度可分离卷积和批规范化融合的方法
CN111708931A (zh) 基于移动互联网的大数据采集方法及人工智能云服务平台
CN118379374A (zh) 基于光谱记忆增强网络的高光谱图像压缩成像方法及装置
CN118036672A (zh) 一种基于泰勒展开动量修正的神经网络优化方法
CN111209839A (zh) 人脸识别方法
CN116204628A (zh) 一种知识图谱增强的物流知识神经协同过滤推荐方法
CN116108893A (zh) 卷积神经网络的自适应微调方法、装置、设备及存储介质
CN111179188B (zh) 图像修复方法及其模型训练方法、以及相关装置
CN109360553A (zh) 一种用于语音识别的新型时延递归神经网络
JP2004145410A (ja) 回路の設計方法および回路設計支援システム
CN114841098B (zh) 基于稀疏表示驱动的深度强化学习北斗导航芯片设计方法
CN112381226B (zh) 一种基于粒子群算法的深度卷积神经网络架构搜索方法
CN103942278A (zh) 通过分析用户主动交友意愿进行朋友推荐的方法
CN116843609A (zh) 基于元迁移学习的个性图像美学评价方法
CN111176892A (zh) 一种基于备份策略的对抗式搜索方法
WO2023109229A1 (zh) 生产排程的生成方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417

RJ01 Rejection of invention patent application after publication