[go: up one dir, main page]

CN118316699B - 面向加密联邦学习的恶意客户端检测方法、装置、电子设备及存储介质 - Google Patents

面向加密联邦学习的恶意客户端检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN118316699B
CN118316699B CN202410493166.5A CN202410493166A CN118316699B CN 118316699 B CN118316699 B CN 118316699B CN 202410493166 A CN202410493166 A CN 202410493166A CN 118316699 B CN118316699 B CN 118316699B
Authority
CN
China
Prior art keywords
gradient
client
target
gradients
clients
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410493166.5A
Other languages
English (en)
Other versions
CN118316699A (zh
Inventor
杨明
郭金龙
王鑫
吴晓明
武传涛
刘瑞欣
陈振娅
穆超
贺云鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANDONG ZHONGZHI ELECTRONICS CO Ltd
Qilu University of Technology
National Supercomputing Center in Jinan
Original Assignee
SHANDONG ZHONGZHI ELECTRONICS CO Ltd
Qilu University of Technology
National Supercomputing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANDONG ZHONGZHI ELECTRONICS CO Ltd, Qilu University of Technology, National Supercomputing Center in Jinan filed Critical SHANDONG ZHONGZHI ELECTRONICS CO Ltd
Priority to CN202410493166.5A priority Critical patent/CN118316699B/zh
Publication of CN118316699A publication Critical patent/CN118316699A/zh
Application granted granted Critical
Publication of CN118316699B publication Critical patent/CN118316699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Virology (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明属于人工智能的技术领域，具体涉及一种面向加密联邦学习的恶意客户端检测方法及装置。该方法包括：基于历史迭代轮次的客户端梯度计算当前迭代轮次的裁剪阈值，并根据裁剪阈值对所有客户端的梯度进行自适应裁剪，得到中间梯度；对中间梯度添加高斯噪声，得到目标梯度并将其上传至服务端；对目标梯度的每一维元素添加索引，并使用线性回归算法计算目标梯度每一维元素的残差，以计算目标梯度每一维元素的置信度，以根据置信度筛选出所有目标梯度中的良性梯度；对良性梯度进行聚合，将得到的全局梯度广播给所有客户端进行梯度更新。本发明解决了联邦学习系统在进行局部训练时，潜在的恶意客户端产生恶意行为影响模型训练的技术问题。

Description

面向加密联邦学习的恶意客户端检测方法、装置、电子设备及 存储介质
技术领域
本发明属于人工智能的技术领域，更具体地，涉及一种面向加密联邦学习的恶意客户端检测方法、装置、电子设备及存储介质。
背景技术
随着信息时代的到来，机器学习已经逐步改变人们的生活生产方式，在语音、图像和文本识别、语言翻译等方面都取得了巨大的进步。同时，随着人工智能技术的飞速发展，数据隐私和安全已经成为世界范围内的大事件。面对制约人工智能发展的“数据孤岛”现象以及数据隐私和安全问题，联邦学习作为一种新型的分布式机器学习技术应运而生，它无需大规模的数据传输和共享，各数据持有者在本地实现协同建模，提升人工智能模型的效果，是解决上述问题的有效途径，具有重要的研究价值和实际应用意义。
然而，在实际应用中，联邦学习也存在一些安全隐患。在训练过程中，可能会存在一部分客户端的行为是恶意的、不诚实的，它们可能会篡改局部模型参数更新，并试图影响全局模型更新方向，从而导致联邦学习性能的下降。在面对这些客户端的恶意行为时，需要采取一些保障模型安全性和鲁棒性的措施，以确保联邦学习系统的稳定性和可靠性。
例如，中国专利文献CN117113413A公开一种基于区块链的鲁棒联邦学习隐私保护系统，通过增加额外较小的通讯开销，使得区块链上梯度在明文状态下实现了隐私保护，对模型性能的影响理论上低于差分隐私，并且能够拓展现有的鲁棒性聚合算法防御恶意客户端的攻击。修改了Krum、Sim和TD三种聚合算法，并提出了一个新的聚合算法SD，将这四种聚合方法应用到系统中。本发明所提的方案具有可动态调整的隐私保护能力，具有对恶意攻击的鲁棒性，以及在考虑隐私保护时，修改后的三种拜占庭聚合方法相比原先有更高的性能。
中国专利文献CN117077806A公开一种基于随机选举验证区块链的差分隐私化联邦学习方法。设计方法如下：首先利用了区块链的去中心化，构建了一个基于身份认证区块链的联邦学习系统，其次引用了一种随机选择机制来确定验证领导节点，确保了验证节点出块的公平性，并通过验证节点异常检测机制来防卫恶意节点的攻击保证全局模型准确率，最后通过差分隐私保护本地模型的安全，并根据节点对模型的贡献程度设计了一种激励机制来激励节点训练高质量模型，从而提高全局模型的准确性。
上述方法通过防御恶意客户端的攻击实现了数据的隐私保护，而恶意客户端仍然存在。因此，在联邦学习系统进行局部训练时，对潜在的恶意客户端进行检测和剔除以应对恶意行为带来影响成为亟需解决的问题之一。
此外，联邦学习引入了大量梯度交互过程，不仅和集中式训练一样受到模型使用者的威胁，还可能受到来自不可信客户端的攻击。攻击者通过梯度推理出客户端本地数据集中的特定特征或某些统计特性，从而恢复出原始数据，造成数据隐私的泄露。因此，在联邦学习的环境下，对客户端本地训练梯度进行有效保护以应对恶意攻击带来的隐私泄露成为人们广泛关注的问题之一。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷，提供一种面向加密联邦学习的恶意客户端检测方法，目的是检测并剔除联邦学习过程中存在恶意行为的客户端，并保证梯度交互过程的安全性。
本发明还提供一种实现该面向加密联邦学习的恶意客户端检测方法的装置。
本发明详细的技术方案如下：
一种面向加密联邦学习的恶意客户端检测方法，所述方法包括：
S1、基于历史迭代轮次的客户端梯度计算当前迭代轮次的裁剪阈值，并根据当前迭代轮次的裁剪阈值对参与联邦学习的所有客户端的梯度进行自适应裁剪，得到裁剪后的中间梯度；
S2、引入差分隐私机制，对裁剪后的所述中间梯度添加高斯噪声，得到注入噪声的目标梯度，并将所述目标梯度上传至参与联邦学习的服务端；
S3、对所有客户端的目标梯度的每一维元素添加索引，形成二维点集，并使用Repeated Median线性回归算法计算出目标梯度的每一维元素的残差，根据所述残差计算出目标梯度的每一维元素的置信度，并根据所述置信度计算每一维元素的梯度评分，根据每个客户端目标梯度的所有元素的评分总和，筛选出所有目标梯度中的良性梯度；
S4、对筛选出的所述良性梯度进行聚合，得到全局梯度，并将所述全局梯度广播给所有客户端进行梯度更新。
根据本发明优选的，所述步骤S1中，计算t轮迭代中每个客户端梯度的L2范数，选取历史梯度L2范数的p百分位数，作为当前迭代轮次中的裁剪阈值，即：
式(1)中，Ct表示第t轮迭代中的裁剪阈值，表示在第t轮迭代中所计算的第i轮历史客户端梯度的L2范数，p为裁剪阈值选取百分比，且0≤p≤1。
根据本发明优选的，所述步骤S1中，根据当前迭代轮次中的裁剪阈值对所有客户端的梯度进行裁剪，得到裁剪后的中间梯度为：
式(2)中，表示第t轮迭代中第i个客户端裁剪后的中间梯度。
根据本发明优选的，所述步骤S2中，对裁剪后的所述中间梯度添加高斯噪声，得到注入噪声的目标梯度为：
式(3)中，表示第t轮迭代中第i个客户端注入噪声的目标梯度，表示服从均值为零，方差为σ2Ct 2的高斯噪声，其中，表示高斯分布，σ2表示方差，I是单位矩阵。
根据本发明优选的，所述步骤S3中，使用Repeated Median线性回归算法计算出目标梯度的每一维元素的残差，具体包括：
基于二维点集生成线性回归方程y＝κ+ξx；
使用Repeated Median线性回归算法估计线性回归方程的斜率ξ和截距κ，即：
式(4)、(5)中，分别表示第j个客户端和第i个客户端的目标梯度的第n维元素，分别表示第j个客户端和第i个客户端的目标梯度的第n维元素的索引，其中i,j∈{1,2,…,m}，m为客户端的数量；
计算所有客户端目标梯度的每一维元素的残差，对于第n维元素，其残差为：
rn←yn-κ-ξxn (6)；
式(6)中，rn表示客户端目标梯度的第n维元素的残差。
根据本发明优选的，所述步骤S3中，根据所述残差计算出目标梯度的每一维元素的置信度，并根据所述置信度计算每一维元素的梯度评分，根据每个客户端目标梯度的所有元素的评分总和，筛选出所有目标梯度中的良性梯度，具体包括：
对所有客户端目标梯度的每一维元素的残差进行归一化，取客户端目标梯度的每一维元素的残差的绝对值并计算其中位数梯度，对于第n维元素，表示为
式(7)中，表示客户端目标梯度的第n维元素的残差绝对值的中位数梯度；
使用常数γ与客户端的数量m缩放中位数梯度缩放结果表示为：
式(8)中，a为调节常数，且a＝5；
对残差rn进行归一化，将残差rn除以缩放结果τn，即：
式(9)中，en表示客户端目标梯度的第n维元素的残差归一化结果；
根据客户端目标梯度的每一维元素的残差归一化结果，计算其每一维元素的置信度：
式(10)中，wn表示客户端目标梯度的第n维元素的置信度，Hn表示客户端目标梯度的第n维元素的索引xn的投影矩阵，diag(Hn)表示投影矩阵Hn的对角线元素组成的向量，Ψ表示置信区间，且Ψ(x)＝max(-Z,min(Z,x)),λ为超参数；
根据客户端目标梯度的每一维元素的置信度，计算其每一维元素的评分：
式(11)中，表示客户端目标梯度的第n维元素的评分，σ(wn)表示客户端目标梯度的第n维元素的置信度的标准差；
基于客户端目标梯度的每一维元素的评分，计算每个客户端的目标梯度所有元素的评分总和：
式(12)中，W(k)表示第k个客户端的目标梯度所有元素的评分总和，N表示第k个客户端的目标梯度的所有元素数量；
根据每个客户端目标梯度的所有元素的评分总和，筛选出所有目标梯度中的良性梯度。
根据本发明优选的，所述步骤S4中，对筛选出的所述良性梯度进行聚合，得到全局梯度为：
式(13)中，表示第t轮迭代中得到的全局梯度，m为客户端的数量，f为恶意客户端的数量；
将所述全局梯度广播给所有客户端进行梯度更新，即：
式(14)中，gt+1表示第t+1轮的客户端梯度，η为学习率。
在本发明的另一个方面当中，提供一种实现面向加密联邦学习的恶意客户端检测方法的装置，所述装置包括：
裁剪模块，用于基于历史迭代轮次的客户端梯度计算当前迭代轮次的裁剪阈值，并根据当前迭代轮次的裁剪阈值对参与联邦学习的所有客户端的梯度进行自适应裁剪，得到裁剪后的中间梯度；
噪声注入模块，用于对裁剪后的所述中间客户端梯度添加高斯噪声，得到注入噪声的目标客户端梯度，并将所述目标客户端梯度上传至参与联邦学习的服务端；
计算模块，用于对所有目标客户端梯度的每一维元素添加索引，形成二维点集，并使用Repeated Median线性回归算法计算出目标客户端梯度的每一维元素的残差，根据所述残差计算出目标客户端梯度的每一维元素的置信度，并根据所述置信度计算每一维元素的梯度评分，根据每个客户端目标梯度的所有元素的评分总和，筛选出所有目标梯度中的良性梯度；
聚合模块，用于对筛选出的所述良性客户端梯度进行聚合，得到全局梯度，并将所述全局梯度广播给所有客户端进行梯度更新。
在本发明的另一个方面当中，还提供了一种电子设备，包括：
至少一个处理器；以及
存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的面向加密联邦学习的恶意客户端检测方法。
在本发明的另一个方面当中，还提供了一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的面向加密联邦学习的恶意客户端检测方法。
与现有技术相比，本发明的有益效果为：
本发明提供的一种面向加密联邦学习的恶意客户端检测方法，通过对客户端梯度添加满足差分隐私机制的高斯噪声，使恶意攻击者无法推理出原始数据的相关信息，从而保护数据隐私；同时，为检测训练过程中客户端的恶意行为，提高联邦学习系统的可靠性，本发明采用一种Repeated Median线性回归算法，计算相应梯度的残差与置信度，进而根据计算结果对各个客户端梯度进行评分，将评分数值较低的部分梯度判定为恶意梯度并剔除，剩余良性梯度参与聚合计，保证梯度交互过程的安全性。
附图说明
图1是本发明所述面向加密联邦学习的恶意客户端检测方法的流程图。
图2是联邦学习系统的拓扑图。
图3是本发明方法的测试准确率随训练轮数变化的示意图。
图4是本发明方法的测试准确率随恶意客户端数量变化的示意图。
具体实施方式
下面结合附图与实施例对本公开做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
针对现有技术中存在的问题，本发明提供一种面向加密联邦学习的恶意客户端检测方法，目的是检测并剔除联邦学习过程中存在恶意行为的客户端，并保证梯度交互过程的安全性。
恶意客户端会严重影响数据安全和模型性能，为降低数据隐私泄露风险，本发明对客户端梯度添加满足差分隐私机制的高斯噪声，使恶意攻击者无法推理出原始数据的相关信息，从而保护数据隐私；为检测训练过程中客户端的恶意行为，提高联邦学习系统的可靠性，本发明采用一种Repeated Median线性回归算法，计算相应梯度的残差与置信度，进而根据计算结果对各个客户端梯度进行评分，将评分数值较低的部分梯度判定为恶意梯度并剔除，剩余良性梯度参与聚合计算。
以下结合具体实施例对本发明的面向加密联邦学习的恶意客户端检测方法及装置作详细说明。
实施例1、
参图1，本实施例提供一种面向加密联邦学习的恶意客户端检测方法，应用于联邦学习系统。参图2，该联邦学习系统包括客户端(Client)和服务端(Server)两类实体，且多个客户端与单个服务端通信。
所述方法包括：
S1、基于历史迭代轮次的客户端梯度计算当前迭代轮次的裁剪阈值，并根据当前迭代轮次的裁剪阈值对参与联邦学习的所有客户端的梯度进行自适应裁剪，得到裁剪后的中间梯度。
本实施例设计一种自适应梯度裁剪方法，将所有客户端的梯度大小自适应地裁剪在一个合理的阈值内，从而防止任何单个本地更新过度影响全局模型更新，造成梯度爆炸问题。
具体地，假设联邦学习系统有m个客户端(P1,P2,…,Pm)，对应m个本地训练数据集Di(i＝1,2,…,m)。假设存在f个恶意客户端，它们试图上传无意义或恶意的客户端梯度以阻止全局模型的正确收敛。
首先，客户端Pi接收来自服务端上一轮的全局梯度使用其本地数据集Di训练其局部模型，得到其第t轮的客户端梯度其中，每个客户端梯度均包含n个元素(即向量)。
在差分隐私机制中，梯度裁剪至关重要。若梯度裁剪阈值设置过大，则会引入过多不必要的噪声，从而影响模型性能；若梯度裁剪阈值设置过小，则会有暴露过多梯度信息的风险。
基于此，本实施例方法采用一种自适应方法对梯度进行裁剪。具体过程如下。
首先计算t轮迭代中每个客户端梯度的L2范数，选取历史梯度L2范数的p百分位数，作为当前迭代的裁剪阈值，即：
式(1)中，Ct表示第t轮迭代中的裁剪阈值，表示在第t轮迭代中所计算的第i轮历史客户端梯度的L2范数，p为裁剪阈值选取百分比，且0≤p≤1。
然后根据所得到的裁剪阈值Ct对所有客户端的梯度进行裁剪，得到客户端裁剪后的中间梯度为：
式(2)中，表示第t轮迭代中第i个客户端裁剪后的中间梯度。
通过上述自适应裁剪方法，能够根据客户端历史梯度的变化趋势，来预测当前迭代中的梯度的变化，并据此确定合适的梯度裁剪阈值，可以有效防止部分梯度过大对模型更新造成的影响。并且这种方法只需要指定裁剪的百分比，不会暴露原始梯度信息，从而更好地保护隐私。
S2、引入差分隐私机制，对裁剪后的所述中间梯度添加高斯噪声，得到注入噪声的目标梯度，并将所述目标梯度上传至参与联邦学习的服务端。
为了防止本地隐私数据泄露，在客户端将自己本地训练得到的梯度上传至服务端之前，需要采取安全措施对梯度进行有效保护。
本实施例方法引入差分隐私机制，对客户端裁剪后的中间梯度添加高斯噪声，得到注入噪声的目标梯度为：
式(3)中，表示第t轮迭代中第i个客户端注入噪声的目标梯度，表示服从均值为零，方差为σ2Ct 2的高斯噪声，其中，表示高斯分布，σ2表示方差，I是单位矩阵。
然后将注入噪声的目标梯度上传到服务端进行安全聚合。
通过对裁剪后的客户端梯度添加高斯噪声，保证客户端梯度在通信迭代过程中免受推理攻击的影响，有效地保护了客户端梯度及本地数据，降低隐私泄露风险。
S3、对所有客户端的目标梯度的每一维元素添加索引，形成二维点集，并使用Repeated Median线性回归算法计算出目标梯度的每一维元素的残差，根据所述残差计算出目标梯度的每一维元素的置信度，并根据所述置信度计算每一维元素的梯度评分，根据每个客户端目标梯度的所有元素的评分总和，筛选出所有目标梯度中的良性梯度。
本实施例中，为了识别训练过程中的恶意行为，检测并剔除恶意客户端，在差分隐私机制保护下，设计了一种基于Repeated Median线性回归的恶意客户端检测和剔除方法。具体过程如下。
首先，服务端对接收的所有客户端的目标梯度的每一维元素进行排序，排序方式包括升序排序或降序排序或顺序排序等，此处优选按照升序方式排序。其中第i个客户端的目标梯度的第n维元素表示为
然后对排好序的所有客户端的目标梯度的每一维元素添加索引最终形成二维点集(xn,yn)。在本实施例中，索引可以设置为1～N的正整数。
示范性地，假设有3个客户端，每个客户端的目标梯度包含2个元素，即：客户端1，元素n1＝[2.5，3.1]；客户端2，元素n2＝[1.7，4.2]；客户端3，元素n3＝[0.9，2.8]。
对所有客户端的目标梯度的每一维元素进行升序排序，得到排序后的第一维元素为[0.9，1.7，2.5]，第二维元素为[2.8，3.1，4.2]。
对排好序的所有客户端的目标梯度的每一维元素添加索引，设置每一维元素的索引为：[1，2，3]，则形成的二维点集为{(1，0.9)，(2，1.7)，(3，2.5)，(1，2.8)，(2，3.1)，(3，4.2)}。
基于上述得到的二维点集(xn,yn)，生成线性回归方程y＝κ+ξx。然后服务端使用Repeated Median线性回归算法来估计线性回归方程的斜率ξ和截距κ，即：
式(4)、(5)中，分别表示第j个客户端和第i个客户端的目标梯度的第n维元素，分别表示第j个客户端和第i个客户端的目标梯度的第n维元素的索引，其中i,j∈{1,2,…,m}，m为客户端的数量。
之后，计算出所有客户端目标梯度的每一维元素的残差，对于第n维元素，其残差为：
rn←yn-κ-ξxn (6)；
式(6)中，rn表示客户端目标梯度的第n维元素的残差。
本实施例中，根据所述残差计算出目标梯度的每一维元素的置信度，并根据所述置信度计算每一维元素的梯度评分，根据每个客户端目标梯度的所有元素的评分总和，筛选出所有目标梯度中的良性梯度，具体包括：
首先对客户端目标梯度的每一维元素的残差进行归一化。
由于不同元素的残差不便于比较，因此需要将残差归一化。取客户端目标梯度的每一维元素的残差的绝对值并计算其中位数梯度，对于第n维元素，表示为
式(7)中，表示客户端目标梯度的第n维元素的残差绝对值的中位数梯度。
使用常数γ与客户端的数量m缩放中位数梯度缩放结果表示为：
式(8)中，a为调节常数，且a＝5，该调节常数可设定。
对残差rn进行归一化，将残差rn除以缩放结果τn，即：
式(9)中，en表示客户端目标梯度的第n维元素的残差归一化结果。
通过上述过程得到所有客户端目标梯度的每一维元素的残差归一化结果，确保残差根据其典型幅度和比例因子进行调整，从而使它们在不同元素之间更具有可比性。
然后，服务端根据每个客户端目标梯度的每一维元素的残差归一化结果，计算其每一维元素的置信度：
式(10)中，wn表示客户端目标梯度的第n维元素的置信度，Hn表示客户端目标梯度的第n维元素的索引xn的投影矩阵，diag(Hn)表示投影矩阵Hn的对角线元素组成的向量，Ψ表示置信区间，且Ψ(x)＝max(-Z,min(Z,x)),λ为超参数。
之后根据客户端目标梯度的每一维元素的置信度，计算其每一维元素的评分：
式(11)中，表示客户端目标梯度的第n维元素的评分，σ(·)表示客户端目标梯度的第n维元素的置信度的标准差。
基于客户端目标梯度的每一维元素的评分，计算每个客户端的目标梯度所有元素的评分总和：
式(12)中，W(k)表示第k个客户端的目标梯度所有元素的评分总和，N表示第k个客户端的目标梯度的所有元素数量。
最后根据所有的m个客户端的目标梯度的所有元素的评分总和，按照升序的方式对所有客户端进行排序，将前面评分较低的f个客户端作为恶意客户端并将其剔除，保留剩余的m-f个客户端作为良性客户端，且该良性客户端的目标梯度将作为良性梯度参与聚合计算。
S4、对筛选出的所述良性梯度进行聚合，得到全局梯度，并将所述全局梯度广播给所有客户端进行梯度更新。
即将评分较高的m-f个良性客户端的目标梯度作为良性梯度进行最终聚合，得到全局梯度：
式(13)中，表示第t轮迭代中得到的全局梯度。
最后将得到的全局梯度广播给所有客户端进行局部模型梯度更新：
式(14)中，gt+1表示第t+1轮的客户端梯度，η为学习率。
本实施例中使用mnist数据集，采用卷积神经网络模型CNN，在标签翻转攻击下测试的测试准确率，结果如图3和图4所示。
图3示出了本实施例方法测试准确率随训练轮次变化的示意图，可以看出本方法在攻击下仍然有较高的测试准确率，说明本方法已将恶意的客户端检测并剔除，验证了本方法的有效性。
图4示出了本实施例方法测试准确率随恶意客户端数量变化的示意图，可以看出随着攻击者数量的增多，测试准确率仍保持较高的一个标准，说明本方法当恶意客户端数量增多的时候也具有较好的性能。
实施例2、
本实施例提供一种实现面向加密联邦学习的恶意客户端检测方法的装置，所述装置包括：
裁剪模块，用于基于历史迭代轮次的客户端梯度计算当前迭代轮次的裁剪阈值，并根据当前迭代轮次的裁剪阈值对参与联邦学习的所有客户端的梯度进行自适应裁剪，得到裁剪后的中间梯度；
噪声注入模块，用于对裁剪后的所述中间客户端梯度添加高斯噪声，得到注入噪声的目标客户端梯度，并将所述目标客户端梯度上传至参与联邦学习的服务端；
计算模块，用于对所有目标客户端梯度的每一维元素添加索引，形成二维点集，并使用Repeated Median线性回归算法计算出目标客户端梯度的每一维元素的残差，根据所述残差计算出目标客户端梯度的每一维元素的置信度，并根据所述置信度计算每一维元素的梯度评分，根据每个客户端目标梯度的所有元素的评分总和，筛选出所有目标梯度中的良性梯度；
聚合模块，用于对筛选出的所述良性客户端梯度进行聚合，得到全局梯度，并将所述全局梯度广播给所有客户端进行梯度更新。
实施例3、
本实施例还提供一种电子设备，包括：
至少一个处理器；以及
存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的面向加密联邦学习的恶意客户端检测方法。
在本实施例中，电子设备可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。
实施例4、
本实施例还提供了一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的面向加密联邦学习的恶意客户端检测方法。
具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本说明书的一部分。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种面向加密联邦学习的恶意客户端检测方法，其特征在于，所述方法包括：
S1、基于历史迭代轮次的客户端梯度计算当前迭代轮次的裁剪阈值，并根据当前迭代轮次的裁剪阈值对参与联邦学习的所有客户端的梯度进行自适应裁剪，得到裁剪后的中间梯度；
其中，所述基于历史迭代轮次的客户端梯度计算当前迭代轮次的裁剪阈值，具体为：
计算t轮迭代中每个客户端梯度的L2范数，选取历史梯度L2范数的p百分位数，作为当前迭代轮次中的裁剪阈值，即：
式(1)中，Ct表示第t轮迭代中的裁剪阈值，表示在第t轮迭代中所计算的第i轮历史客户端梯度的L2范数，p为裁剪阈值选取百分比，且0≤p≤1；
根据当前迭代轮次中的裁剪阈值对所有客户端的梯度进行裁剪，得到裁剪后的中间梯度为：
式(2)中，表示第t轮迭代中第i个客户端裁剪后的中间梯度；
S2、引入差分隐私机制，对裁剪后的所述中间梯度添加高斯噪声，得到注入噪声的目标梯度，并将所述目标梯度上传至参与联邦学习的服务端；
S3、对所有客户端的目标梯度的每一维元素添加索引，形成二维点集，并使用RepeatedMedian线性回归算法计算出目标梯度的每一维元素的残差，根据所述残差计算出目标梯度的每一维元素的置信度，并根据所述置信度计算每一维元素的梯度评分，根据每个客户端目标梯度的所有元素的评分总和，筛选出所有目标梯度中的良性梯度；
S4、对筛选出的所述良性梯度进行聚合，得到全局梯度，并将所述全局梯度广播给所有客户端进行梯度更新。
2.根据权利要求1所述的面向加密联邦学习的恶意客户端检测方法，其特征在于，所述步骤S2中，对裁剪后的所述中间梯度添加高斯噪声，得到注入噪声的目标梯度为：
式(3)中，表示第t轮迭代中第i个客户端注入噪声的目标梯度，表示服从均值为零，方差为σ2Ct 2的高斯噪声，其中，表示高斯分布，σ2表示方差，I是单位矩阵。
3.根据权利要求1所述的面向加密联邦学习的恶意客户端检测方法，其特征在于，所述步骤S3中，使用Repeated Median线性回归算法计算出目标梯度的每一维元素的残差，具体包括：
基于二维点集生成线性回归方程y＝K+ξx；
使用Repeated Median线性回归算法估计线性回归方程的斜率ξ和截距K，即：
式(4)、(5)中，分别表示第j个客户端和第i个客户端的目标梯度的第n维元素， 分别表示第j个客户端和第i个客户端的目标梯度的第n维元素的索引，其中i，j∈{1，2，...，m}，m为客户端的数量；
计算所有客户端目标梯度的每一维元素的残差，对于第n维元素，其残差为：
rn←yn-κ-ξxn (6)；
式(6)中，rn表示客户端目标梯度的第n维元素的残差。
4.根据权利要求1所述的面向加密联邦学习的恶意客户端检测方法，其特征在于，所述步骤S3中，根据所述残差计算出目标梯度的每一维元素的置信度，并根据所述置信度计算每一维元素的梯度评分，根据每个客户端目标梯度的所有元素的评分总和，筛选出所有目标梯度中的良性梯度，具体包括：
对所有客户端目标梯度的每一维元素的残差进行归一化，取客户端目标梯度的每一维元素的残差的绝对值并计算其中位数梯度，对于第n维元素，表示为
式(7)中，表示客户端目标梯度的第n维元素的残差绝对值的中位数梯度；
使用常数γ与客户端的数量m缩放中位数梯度缩放结果表示为：
式(8)中，a为调节常数，且a＝5；
对残差rn进行归一化，将残差rn除以缩放结果τn，即：
式(9)中，en表示客户端目标梯度的第n维元素的残差归一化结果；
根据客户端目标梯度的每一维元素的残差归一化结果，计算其每一维元素的置信度：
式(10)中，wn表示客户端目标梯度的第n维元素的置信度，Hn表示客户端目标梯度的第n维元素的索引xn的投影矩阵，diag(Hn)表示投影矩阵Hn的对角线元素组成的向量，Ψ表示置信区间，且λ为超参数；
根据客户端目标梯度的每一维元素的置信度，计算其每一维元素的评分：
式(11)中，表示客户端目标梯度的第n维元素的评分，σ(wn)表示客户端目标梯度的第n维元素的置信度的标准差；
基于客户端目标梯度的每一维元素的评分，计算每个客户端的目标梯度所有元素的评分总和：
式(12)中，W(k)表示第k个客户端的目标梯度所有元素的评分总和，N表示第k个客户端的目标梯度的所有元素数量；
根据每个客户端目标梯度的所有元素的评分总和，筛选出所有目标梯度中的良性梯度。
5.根据权利要求1所述的面向加密联邦学习的恶意客户端检测方法，其特征在于，所述步骤S4中，对筛选出的所述良性梯度进行聚合，得到全局梯度为：
式(13)中，表示第t轮迭代中得到的全局梯度，m为客户端的数量，f为恶意客户端的数量；
将所述全局梯度广播给所有客户端进行梯度更新，即：
式(14)中，gt+1表示第t+1轮的客户端梯度，η为学习率。
6.一种实现面向加密联邦学习的恶意客户端检测方法的装置，其特征在于，所述装置包括：
裁剪模块，用于基于历史迭代轮次的客户端梯度计算当前迭代轮次的裁剪阈值，并根据当前迭代轮次的裁剪阈值对参与联邦学习的所有客户端的梯度进行自适应裁剪，得到裁剪后的中间梯度；
其中，所述基于历史迭代轮次的客户端梯度计算当前迭代轮次的裁剪阈值，具体为：
计算t轮迭代中每个客户端梯度的L2范数，选取历史梯度L2范数的p百分位数，作为当前迭代轮次中的裁剪阈值，即：
式(1)中，Ct表示第t轮迭代中的裁剪阈值，表示在第t轮迭代中所计算的第i轮历史客户端梯度的L2范数，p为裁剪阈值选取百分比，且0≤p≤1；
根据当前迭代轮次中的裁剪阈值对所有客户端的梯度进行裁剪，得到裁剪后的中间梯度为：
式(2)中，表示第t轮迭代中第i个客户端裁剪后的中间梯度；
噪声注入模块，用于对裁剪后的所述中间梯度添加高斯噪声，得到注入噪声的目标梯度，并将所述目标梯度上传至参与联邦学习的服务端；
计算模块，用于对所有客户端的目标梯度的每一维元素添加索引，形成二维点集，并使用Repeated Median线性回归算法计算出目标梯度的每一维元素的残差，根据所述残差计算出目标梯度的每一维元素的置信度，并根据所述置信度计算每一维元素的梯度评分，根据每个客户端目标梯度的所有元素的评分总和，筛选出所有目标梯度中的良性梯度；
聚合模块，用于对筛选出的所述良性梯度进行聚合，得到全局梯度，并将所述全局梯度广播给所有客户端进行梯度更新。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1至5中任一项所述的面向加密联邦学习的恶意客户端检测方法。
8.一种机器可读存储介质，其特征在于，其存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求1至5中任一项所述的面向加密联邦学习的恶意客户端检测方法。
CN202410493166.5A 2024-04-23 2024-04-23 面向加密联邦学习的恶意客户端检测方法、装置、电子设备及存储介质 Active CN118316699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410493166.5A CN118316699B (zh) 2024-04-23 2024-04-23 面向加密联邦学习的恶意客户端检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410493166.5A CN118316699B (zh) 2024-04-23 2024-04-23 面向加密联邦学习的恶意客户端检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN118316699A CN118316699A (zh) 2024-07-09
CN118316699B true CN118316699B (zh) 2024-09-06

Family

ID=91721909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410493166.5A Active CN118316699B (zh) 2024-04-23 2024-04-23 面向加密联邦学习的恶意客户端检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN118316699B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118606634B (zh) * 2024-08-08 2024-10-22 齐鲁工业大学(山东省科学院) 基于衰减噪声扰动的自适应保隐私分布式学习方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116739114A (zh) * 2023-08-09 2023-09-12 山东省计算中心（国家超级计算济南中心） 一种对抗模型投毒攻击的鲁棒联邦学习聚合方法及装置
CN117574421A (zh) * 2023-10-26 2024-02-20 河海大学 基于梯度动态裁剪的联邦数据分析系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12147879B2 (en) * 2021-02-22 2024-11-19 International Business Machines Corporation Federated learning with dataset sketch commitment based malicious participant identification
US20240070286A1 (en) * 2022-08-31 2024-02-29 International Business Machines Corporation Supervised anomaly detection in federated learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116739114A (zh) * 2023-08-09 2023-09-12 山东省计算中心（国家超级计算济南中心） 一种对抗模型投毒攻击的鲁棒联邦学习聚合方法及装置
CN117574421A (zh) * 2023-10-26 2024-02-20 河海大学 基于梯度动态裁剪的联邦数据分析系统及方法

Also Published As

Publication number Publication date
CN118316699A (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
US12182895B2 (en) Neural network based identification document processing system
Mahloujifar et al. Property inference from poisoning
US11816223B1 (en) Apparatus and method for updating cyber security support based on real-time changes
CN112668044B (zh) 面向联邦学习的隐私保护方法及装置
Sommer et al. Athena: Probabilistic verification of machine unlearning
CN111209398B (zh) 一种基于图卷积神经网络的文本分类方法、系统
CN107368752A (zh) 一种基于生成式对抗网络的深度差分隐私保护方法
US20250148111A1 (en) Method and apparatus for protecting data, and device and medium
Abbahaddou et al. Bounding the expected robustness of graph neural networks subject to node feature attacks
Chen et al. Certifiably-robust federated adversarial learning via randomized smoothing
Altowim et al. ProgressER: adaptive progressive approach to relational entity resolution
CN118316699B (zh) 面向加密联邦学习的恶意客户端检测方法、装置、电子设备及存储介质
Tao et al. User behavior threat detection based on adaptive sliding window gan
CN117972691A (zh) 基于遗忘学习的可解释图推荐系统后门防御方法及系统
Leysen Exploring unlearning methods to ensure the privacy, security, and usability of recommender systems
Hao et al. An ensemble detection method for shilling attacks based on features of automatic extraction
Meng et al. Active forgetting via influence estimation for neural networks
CN113190841A (zh) 一种使用差分隐私技术防御图数据攻击的方法
CN116361759B (zh) 一种基于量化权限指引的智能合规控制方法
CN118468281A (zh) 基于反学习和注意力的深度学习后门攻击防御方法
WO2025081741A1 (zh) 基于区块链和生成对抗网络的联合风控方法及系统
Wang et al. CRFU: Compressive Representation Forgetting Against Privacy Leakage on Machine Unlearning
US11907872B2 (en) Apparatus and methods for success probability determination for a user
Wabi et al. Stack ensemble model for detection of phishing website
CN117494183A (zh) 基于知识蒸馏的生成对抗网络模型的隐私数据生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant