[go: up one dir, main page]

CN116629327A - 一种基于量化ann的脉冲神经网络转化训练方法、装置及芯片 - Google Patents

一种基于量化ann的脉冲神经网络转化训练方法、装置及芯片 Download PDF

Info

Publication number
CN116629327A
CN116629327A CN202310599401.2A CN202310599401A CN116629327A CN 116629327 A CN116629327 A CN 116629327A CN 202310599401 A CN202310599401 A CN 202310599401A CN 116629327 A CN116629327 A CN 116629327A
Authority
CN
China
Prior art keywords
ann
snn
quantized
layer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310599401.2A
Other languages
English (en)
Inventor
郑乾
潘纲
胡扬帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310599401.2A priority Critical patent/CN116629327A/zh
Publication of CN116629327A publication Critical patent/CN116629327A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种基于量化ANN的脉冲神经网络转化训练方法、装置及芯片，其中，训练方法包括：(1)采用量化训练的方法来训练量化ANN；(2)构建量化ANN和脉冲神经网络SNN之间的等价映射，通过量化ANN训练对阈值和权重的优化来最小化ANN到SNN转化过程中的量化误差；(3)构建有符号IF神经元模型，对错误发放的脉冲进行检测并以负脉冲的形式进行补偿，以降低ANN到SNN转化过程中每层的序列误差；(4)使用逐层微调方法，以降低ANN到SNN转化过程中逐层传递累积的序列误差。利用本发明，在保证SNN精度与ANN精度相当的前提下大幅降低SNN的推断延迟，提高了潜在SNN应用的实时性以及能效。

Description

一种基于量化ANN的脉冲神经网络转化训练方法、装置及芯片
技术领域
本发明属于类脑计算领域，尤其是涉及一种基于量化ANN的脉冲神经网络转化训练方法、装置及芯片。
背景技术
脉冲神经网络(Spiking Neural Network,SNN)，是实现低功耗高效机器智能的关键。作为第三代人工智能网络，脉冲神经网络(SNN)具有至少与第二代人工神经网络(ANN)相同的计算能力。
不同于ANN中使用的实数激活的神经元，SNN中的神经元使用脉冲(非0即1的二进制事件)来进行基于事件驱动的信息的处理以及传递。由于生物神经网络基于脉冲(Spike)的稀疏信息处理和传递机制被认为是其高效的原因，SNN也因此被认为具有低功耗的潜质。在SNN的事件驱动计算模型中，所有的神经元不再受全局时钟的驱动而是基于事件异步驱动并进行计算。由于神经元之间的计算仅由事件驱动，互相独立，因此SNN不受时钟轮询的限制。结合新兴的神经形态器件，将极大的提升SNN的低能耗潜力。
目前现有技术中训练SNN的技术方法，主要包括以下两大类：
直接训练技术：通过使用替代梯度克服了脉冲函数的不可微性，并应用时间反向传播(BPTT,Back-propagation Through Time)类似于ANN中的反向传播方法来直接优化SNN。如公开号为CN115358261A的中国专利文献公开了一种基于脉冲时间序列误差反向传播的触觉物体识别方法，将用于模型训练的触觉数据输入脉冲神经网络模型，并通过脉冲时间序列的误差反向传播算法对建立的脉冲神经网络模型进行训练，根据计算所得的梯度来迭代更新直到得到最优的网络权重参数，最终得到训练完毕的脉冲神经网络模型。
然而，由于脉冲训练的稀疏性，直接使用BPTT训练SNN在主流计算设备(如GPU)上的计算资源和内存的利用率都较低，不利于网络训练。另一方面，替代梯度引起的深度网络中梯度消失或爆炸问题会使得直接训练方法对于高复杂性任务的效果较差。
ANN到SNN转化技术：采用与ANN完全相同的训练过程，能够在主流硬件上利用现有针对ANN的高效计算框架。此外，通过将ANN中的神经网络激活值近似为SNN中的脉冲发放率，ANN到SNN的转换算法在具有挑战性的任务上取得了良好的性能。然而，现有技术方案由于存在量化误差和累积误差，会导致转换过程中性能下降，特别是在延迟较短的情况下。
发明内容
本发明提供了一种基于量化ANN的脉冲神经网络转化训练方法，在保证SNN精度与ANN精度相当的前提下大幅降低SNN的推断延迟，提高了潜在SNN应用的实时性以及能效。
一种基于量化ANN的脉冲神经网络转化训练方法，包括：
(1)采用量化训练的方法来训练量化ANN；
(2)构建量化ANN和脉冲神经网络SNN之间的等价映射，通过量化ANN训练对阈值和权重的优化来最小化ANN到SNN转化过程中的量化误差；
(3)构建有符号IF神经元模型，对错误发放的脉冲进行检测并以负脉冲的形式进行补偿，以降低ANN到SNN转化过程中每层的序列误差；
(4)使用逐层微调方法，以降低ANN到SNN转化过程中逐层传递累积的序列误差。
步骤(2)中，构建量化ANN和脉冲神经网络SNN之间的等价映射具体为：
通过构建ANN中在空域上对于输入浮点数的量化结果(量化数值)与SNN在时域上通过脉冲发放函数对输入膜电位在时域上的量化结果(脉冲发放率)之间的映射来实现量化ANN到SNN的映射。
在量化训练ANN的时候同时对激活和权重进行量化，将量化ANN中的低精度权值直接映射到转化SNN的低精度突触权值中。
对于激活值量化精度为b位的量化ANN，其量化后的激活值映射到步长为T＝2b-1的SNN的脉冲发放率。
步骤(3)中，有符号IF神经元模型通过对于已经发放脉冲的数目以及当前的膜电位来判断是否有错误发放的脉冲；
当膜电位低于负阈值同时发放的脉冲数大于零时，有符号IF神经元模型认为存在错误发放的脉冲，并发放一个负脉冲以纠正错误同时将膜电位加上正阈值以复位。
步骤(4)中，使用逐层微调方法时，通过构建与SNN共享权值的代理ANN，通过代理ANN间接实现对SNN权重的优化。
逐层微调方法的具体过程为：
通过代理ANN逐层降低SNN输出的脉冲发放率图谱与原始量化ANN的激活值图谱之间的欧式距离，让SNN输出的脉冲发放率尽可能的近似原始量化ANN中的激活值；
在训练数据集上，从网络的第二层开始，将当前层的SNN的脉冲发放率图谱作为代理ANN的输出，上一层的SNN的脉冲发放率图谱作为输入，优化ANN权重以降低SNN脉冲发放率与量化ANN之间的欧式距离；然后将优化后权重更新给SNN对应层的突触权重，并更新当前层SNN的输出；重复这一过程直到抵达网络最后的分类层。
本发明还提供了一种基于量化ANN的脉冲神经网络转化训练装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述训练方法。
本发明还提供了一种类脑芯片，其部署有脉冲神经网络SNN，所述的脉冲神经网络SNN采用上述训练方法进行训练。
与现有技术相比，本发明具有以下有益效果：
1、本发明采用SNN中的时序量化和ANN中的空间量化之间的等效映射。基于此映射，展示了时序量化误差可以通过量化ANN监督学习最小化，从而通过找到最佳裁剪范围和网络每层的权重以及激活的分布从而提高ANN到SNN的转化效率。
2、本发明采用有符号的IF神经元模型以及利用额外的代理ANN来减少SNN和原始ANN之间在脉冲发放率和激活值之间差异的逐层微调机制在ANN到SNN转化过程中降低序列误差及其累积误差的作用，从而提高ANN到SNN的转化效率。
3、本发明采用在最小化量化误差以及序列误差之下的量化ANN到SNN转化效率，在SNN性能精度接近全精度ANN的前提下大幅降低了SNN网络的推断延迟，提高了潜在SNN应用的实时性以及能效。
附图说明
图1为本发明一种基于量化ANN的脉冲神经网络转化训练方法框架流程图；
图2为本发明中ANN空间量化与SNN时间量化之间的等价性示意图；
图3为本发明中序列误差的产生原因以及其对于转化SNN影响的示意图；
图4为本发明中转化后SNN逐层微调模块的示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
如图1所示，一种基于量化ANN的脉冲神经网络转化训练方法，在保证SNN精度与ANN精度相当的前提下大幅降低SNN的推断延迟，提高了潜在SNN应用的实时性以及能效。具体包括如下步骤：
S01，通过量化ANN与SNN之间的等价映射构建来最小化量化误差。
在ANN领域，用整数激活构建人工神经网络自然等价于用输出均匀分布值的均匀量化函数来压缩激活值。这样的函数将ANN中，使用ReLU激活函数的第l层神经元i的全精度激活在空间上离散为:
其中，表示空间量化值，b表示比特数(精度)，状态数为2b-1，round(·)表示舍入算子，sl表示裁剪阈值，其决定输入/>的裁剪范围，clip(min,max)是一个裁剪操作，将x裁剪至于[min,max]范围内。
本发明实施例中，使用文献“Rueckauer,Bodo,Iulia-Alexandra Lungu,YuhuangHu,Michael Pfeiffer,and Shih-Chii Liu.Conversion of continuous-valued deepnetworks to efficient event-driven networks for imageclassification.Frontiers in neuroscience 11(2017):682.”定义的SNN模型以方便转换。
该模型采用直接编码(第一层为直流电输入)和IF(无泄漏)神经元，并通过减法复位神经元。在时间步长t时，第l层的神经元i的总膜电荷为:
其中，Ml-1为第l-1层的神经元集合，为神经元i和j之间的突触连接权值，/>为偏置项，表示恒定的注入电流，/>表示在t时刻神经元j的输入脉冲。
定义IF神经元的膜电位方程如下:
其中，θl表示发放阈值，t表示第t个时间步长，Θ是一个阶跃函数，其定义为:
给定长度为T的一个脉冲序列，在整个时间窗口中的总输入膜电荷定义为:
其中，其中μl是初始膜电荷。
IF神经元的脉冲函数能够自然地将将量化为发放率/>表示的量化值：
其中，表示时序上的量化值，floor(·)表示向下取整操作。由于第一层的输入为直流电，所以/>令μl＝θl/2，T＝2b-1，θl＝sl，并使得将下一层的权重缩放为slWl +1，让输出脉冲等价于连续值sl的输出，并且由于
floor(x+0.5)＝round(x)
可以得到
根据这一ANN与SNN之间的激活值等价性，可以推导出ANN的空间量化与SNN的时序量化之间的等效映射。速率编码下，第l层的脉冲神经元i其脉冲数量(输出脉冲的数量)其中T是脉冲串的长度。其脉冲数量对应T+1个离散状态(数值)。对于一个b位无符号整数，它有2b个离散状态(值):{0,1,…,2b-1}。根据这一映射，可以将量化ANN的整数激活{0,1，…,2b-1}映射为脉冲数量{0,1,…,T}，即将T设置为2b-1，如图2所示。
S02，有符号IF神经元模型最小化每层的序列误差。
ANN到SNN转化过程中，序列误差的产生如图3所示。本发明对于每个SNN神经元，使用一个表格来显示每个时间步长t的下的膜电荷z、输出脉冲Θ和膜电位V。
图3中(a)，一个ANN神经元接收两个输入:2和-2。它的输出激活为0。
图3中(b)，一个IF神经元在t＝1,2,3时接收三个脉冲电荷(-1，1，2)。其输出的脉冲发放率相当于ANN的激活值。
图3中(c)，一个IF神经元在t＝1,2,3时接收三个脉冲电荷(2，-1，-1)。然而，由于膜电位大于发放阈值，它在t＝1时立即发射一个脉冲，并在t＝2,3时不输出任何事件，导致脉冲发放率与ANN的激活值不相等。
图3中(d)，一个SIF神经元在t＝1,2,3时接收三个脉冲电荷(2，-1，-1)。尽管它在t＝1时产生一个脉冲，但当t＝2时，我们的SIF模型没有输出任何事件，因为输入电流抵消了残余膜电位，并在t＝3时产生一个负脉冲，从而产生相当于ANN激活值的脉冲发放率。
为了解决每一层的序列误差，本发明通过引入有符号IF神经元模型来抵消错误发射的脉冲。在有符号IF神经元模型中，一个神经元只有在达到负脉冲阈值并至少发射了一个正脉冲时才能发射一个负脉冲。为了恢复被错误减去的膜电位，本发明提出的模型改变了负脉冲的重置机制，即通过加上正阈值(即θ)来重置负脉冲。从而改写脉冲函数Θ(x)为：
对应的有符号IF神经元的膜电位方程如下：
S03，转化后SNN的逐层微调最小化累积序列误差。
本发明通过最小化神经网络激活(不受序列或累积误差的影响)和每层SNN发射速率之间的欧氏距离来最小化累积误差，其方法框架如图4所示。
首先，本发明从具有L层的量化ANN转化获得SNN。然后建立一个与SNN共享参数的代理ANN。
第2层开始(第1层没有序列误差)，代理ANN的第l层从SNN的l-1层接收脉冲发放率的输出图作为输入。同时，它的输出被设置为SNN的l层的脉冲发放率图谱。
计算代理ANN中第l层的输出和参考ANN之间的欧氏损失(量化ANN中第l层的激活值)，并通过优化代理ANN中第l层的参数(权重和偏差)来最小化欧氏损失，最后将代理ANN中更新后的参数映射回对应的SNN层。
逐层重复这个过程直到到达最后的分类层。因为本发明中直接使用最后一层的膜电位进行分类，本发明跳过处理最后一层。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于量化ANN的脉冲神经网络转化训练方法，其特征在于，包括：
(1)采用量化训练的方法来训练量化ANN；
(2)构建量化ANN和脉冲神经网络SNN之间的等价映射，通过量化ANN训练对阈值和权重的优化来最小化ANN到SNN转化过程中的量化误差；
(3)构建有符号IF神经元模型，对错误发放的脉冲进行检测并以负脉冲的形式进行补偿，以降低ANN到SNN转化过程中每层的序列误差；
(4)使用逐层微调方法，以降低ANN到SNN转化过程中逐层传递累积的序列误差。
2.根据权利要求1所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，步骤(2)中，构建量化ANN和脉冲神经网络SNN之间的等价映射具体为：
通过构建ANN中在空域上对于输入浮点数的量化数值与SNN在时域上通过脉冲发放函数对输入膜电位在时域上的脉冲发放率之间的映射来实现量化ANN到SNN的映射。
3.根据权利要求2所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，在量化训练ANN的时候同时对激活和权重进行量化，将量化ANN中的低精度权值直接映射到转化SNN的低精度突触权值中。
4.根据权利要求3所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，对于激活值量化精度为b位的量化ANN，其量化后的激活值映射到步长为T＝2b-1的SNN的脉冲发放率。
5.根据权利要求1所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，步骤(3)中，有符号IF神经元模型通过对于已经发放脉冲的数目以及当前的膜电位来判断是否有错误发放的脉冲；
当膜电位低于负阈值同时发放的脉冲数大于零时，有符号IF神经元模型认为存在错误发放的脉冲，并发放一个负脉冲以纠正错误，同时将膜电位加上正阈值以复位。
6.根据权利要求1所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，步骤(4)中，使用逐层微调方法时，通过构建与SNN共享权值的代理ANN，通过代理ANN间接实现对SNN权重的优化。
7.根据权利要求6所述的基于量化ANN的脉冲神经网络转化训练方法，其特征在于，逐层微调方法的具体过程为：
通过代理ANN逐层降低SNN输出的脉冲发放率图谱与原始量化ANN的激活值图谱之间的欧式距离，让SNN输出的脉冲发放率尽可能的近似原始量化ANN中的激活值；
在训练数据集上，从网络的第二层开始，将当前层的SNN的脉冲发放率图谱作为代理ANN的输出，上一层的SNN的脉冲发放率图谱作为输入，优化ANN权重以降低SNN脉冲发放率与量化ANN之间的欧式距离；然后将优化后权重更新给SNN对应层的突触权重，并更新当前层SNN的输出；重复这一过程直到抵达网络最后的分类层。
8.一种基于量化ANN的脉冲神经网络转化训练装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1～7任意一项所述的训练方法。
9.一种类脑芯片，其部署有脉冲神经网络SNN，其特征在于，所述的脉冲神经网络SNN采用权利要求1～7任一所述的训练方法进行训练。
CN202310599401.2A 2023-05-25 2023-05-25 一种基于量化ann的脉冲神经网络转化训练方法、装置及芯片 Pending CN116629327A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310599401.2A CN116629327A (zh) 2023-05-25 2023-05-25 一种基于量化ann的脉冲神经网络转化训练方法、装置及芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310599401.2A CN116629327A (zh) 2023-05-25 2023-05-25 一种基于量化ann的脉冲神经网络转化训练方法、装置及芯片

Publications (1)

Publication Number Publication Date
CN116629327A true CN116629327A (zh) 2023-08-22

Family

ID=87596854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310599401.2A Pending CN116629327A (zh) 2023-05-25 2023-05-25 一种基于量化ann的脉冲神经网络转化训练方法、装置及芯片

Country Status (1)

Country Link
CN (1) CN116629327A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117037287A (zh) * 2023-10-08 2023-11-10 武汉理工大学 一种基于3d脉冲神经网络的行为识别方法、系统及装置
CN118606800A (zh) * 2024-08-09 2024-09-06 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于生物可解释性的触觉纹理识别方法、系统及终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117037287A (zh) * 2023-10-08 2023-11-10 武汉理工大学 一种基于3d脉冲神经网络的行为识别方法、系统及装置
CN117037287B (zh) * 2023-10-08 2023-12-29 武汉理工大学 一种基于3d脉冲神经网络的行为识别方法、系统及装置
CN118606800A (zh) * 2024-08-09 2024-09-06 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于生物可解释性的触觉纹理识别方法、系统及终端

Similar Documents

Publication Publication Date Title
US10929744B2 (en) Fixed-point training method for deep neural networks based on dynamic fixed-point conversion scheme
WO2020019236A1 (en) Loss-error-aware quantization of a low-bit neural network
US20190034796A1 (en) Fixed-point training method for deep neural networks based on static fixed-point conversion scheme
CN116629327A (zh) 一种基于量化ann的脉冲神经网络转化训练方法、装置及芯片
Koneru et al. Sparse artificial neural networks using a novel smoothed LASSO penalization
CN115936070B (zh) 一种低延时低功耗脉冲神经网络转换方法
CN111340181A (zh) 基于增强脉冲的深层双阈值脉冲神经网络转换训练方法
Zhang et al. Spike-timing-dependent back propagation in deep spiking neural networks
US20220036185A1 (en) Techniques for adapting neural networks to devices
CN114781597B (zh) 面向时间序列预测的漂移脉冲神经网络构建方法及其应用
Datta et al. Towards energy-efficient, low-latency and accurate spiking LSTMs
Yan et al. CQ $^{+} $+ Training: Minimizing Accuracy Loss in Conversion From Convolutional Neural Networks to Spiking Neural Networks
CN118133121A (zh) 一种基于脉冲神经网络实现快速推理和有效学习的数据分类方法
CN114943335B (zh) 一种三值神经网络逐层优化方法
Liu et al. Efficient ANN-SNN Conversion with Error Compensation Learning
KR102191346B1 (ko) 버스트 스파이크에 기반한 스파이킹 신경망 생성 방법 및 스파이킹 신경망 기반 추론 장치
CN118278467B (zh) 一种基于脉冲神经元模型的图像处理和识别方法及系统
CN115660072B (zh) 一种基于自回落神经元模型的脉冲神经网络的训练方法
CN117830799A (zh) 训练类脑手势识别模型、手势类别识别的方法及相关装置
CN115880324A (zh) 基于脉冲卷积神经网络的战场目标图像阈值分割方法
WO2025043436A1 (en) Method and apparatus for quantized bayesian deep learning
Chen et al. Conversion of artificial neural network to spiking neural network for hardware implementation
Dinh et al. FBW-SNN: a fully binarized weights-spiking neural networks for edge-AI applications
CN117574968B (zh) 基于量子衍生的脉冲卷积神经网络、图像处理方法及系统
Wang et al. Out-of-distribution Generalization for Total Variation based Invariant Risk Minimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination