CN116917911A - 使用对等网络进行联合学习的系统和方法 - Google Patents

Abstract

公开了使用对等网络进行联合学习的系统和方法。一种方法可以包括：使用一致性算法选举参与者节点作为协作者节点；协作者节点生成并广播公钥/私钥对；参与者节点针对与协作者节点的每次通信生成公钥/私钥对，利用协作者节点的公钥加密并广播包括用于参与者节点的本地机器学习模型的参数及其公钥的消息，协作者节点解密经加密的消息，利用解密后的参数更新聚合的机器学习模型，利用每个参与者节点的公钥加密并广播更新消息，每个更新消息包括更新；参与者节点利用它们的私钥解密消息中的一个，并且参与者节点利用更新来更新它们的本地机器学习模型。

Description

使用对等网络进行联合学习的系统和方法

技术领域

各实施例总体涉及使用对等网络进行联合学习的系统和方法。

背景技术

在分布式计算时代，数据和计算资源的规模通常是通过在水平方向上跨多个系统分配工作负荷来处理的。分布式计算，特别是分布式机器学习，带来了许多令人兴奋的机会。它还在数据隐私和数据安全非常重要的领域提出了新的挑战。为机器学习设计有弹性、高可用性和稳健的生态系统同样具有挑战性。联合学习为在分布式环境中实施机器学习奠定了基础，在该环境中，异构机器可以以协作的方式参与其中。

联合学习通常涉及联合网络中的“聚合器节点”和一组“参与者节点”。当前可用的实施方式具有聚合器节点和各种参与者节点的集中式设计，并且它们形成用于通信的星形拓扑。参与者节点将其本地模型梯度发送到聚合器节点，并且聚合器节点将所有接收到的模型一起组成奇异(singular)全局模型。然后将该奇异全局模型发送回所有参与者节点。在这种设置中，参与者在不了解所有基础数据的情况下，从共同学习中受益。

虽然联合学习确实考虑到了隐私、安全和匿名性，但聚合器节点成为了联合网络中的单一故障点。在出现不想要的故障时，这会带来停机风险，这可能会导致网络上的关键进程停止。

发明内容

公开了使用对等网络进行联合学习的系统和方法。根据一个实施例，一种使用对等网络进行联合学习的方法可以包括：(1)由对等网络中的多个参与者节点使用一致性算法来选举参与者节点中的一个作为协作者节点；(2)由协作者节点生成协作者节点公钥和协作者节点私钥；(3)由协作者节点并且向多个参与者节点广播协作者节点公钥；(4)由每个参与者节点生成参与者节点公钥和参与者节点私钥，其中，每个参与者节点针对与协作者节点的每次通信生成新的参与者节点公钥以及新的参与者节点私钥；(5)由每个参与者节点利用协作者节点公钥加密消息，该消息包括用于参与者节点的本地机器学习模型的参数和参与者节点公钥；(6)由每个参与者节点在对等网络上广播经加密的消息；(7)由协作者节点利用协作者节点私钥解密经加密的消息中的每一个；(8)由协作者节点利用本地机器学习模型的解密后的参数来更新聚合的机器学习模型；(9)由协作者节点利用每个参与者节点的公钥加密多个更新消息，每个更新消息包括来自聚合的机器学习模型的更新；(10)由协作者节点在对等网络上广播多个消息；(11)由参与者节点中的每一个，利用参与者节点的参与者节点私钥来解密多个消息中的一个；并且(12)由参与者节点中的每一个利用该更新来更新参与者节点的本地机器学习模型。

在一个实施例中，一致性算法可以是Raft一致性算法。

在一个实施例中，参数可以包括与模型交换有关的信息、本地机器学习模型权重和/或本地机器学习模型。

在一个实施例中，参数可以包括清晰数据和/或合成数据。

在一个实施例中，协作者节点可以使用解密后的参数来执行模型聚合。

在一个实施例中，协作者节点可以使用解密后的参数来训练聚合的机器学习模型。

在一个实施例中，参与者节点在有限的时间段内是协作者节点。

在一个实施例中，协作者节点可以向参与者节点广播心跳。

在一个实施例中，参与者节点可以响应于协作者节点不活动而选举新的协作者节点。

根据另一个实施例，一种系统可以包括多个参与者节点以及对等网络，每个参与者节点与本地机器学习模型相关联，该对等网络连接多个参与者节点。多个参与者节点可以使用一致性算法来选举多个参与者节点中的一个作为协作者节点；协作者节点可以生成协作者节点公钥和协作者节点私钥，并且可以向多个参与者节点广播协作者节点公钥；每个参与者节点可以生成参与者节点公钥和参与者节点私钥，其中，每个参与者节点针对与协作者节点的每次通信，生成新的参与者节点公钥和新的参与者节点私钥，可以利用协作者节点公钥加密包括用于参与者节点的本地机器学习模型的参数和参与者节点公钥的消息，并且可以在对等网络上广播经加密的消息；协作者节点可以利用协作者节点私钥解密经加密的消息中的每一个，可以利用本地机器学习模型的解密后的参数更新聚合的机器学习模型，可以利用每个参与者节点的公钥加密各自包括来自聚合的机器学习模型的更新的多个更新消息，并且可以在对等网络上广播多个消息；参与者节点中的每一个可以利用其用于参与者节点的参与者节点私钥来解密多个消息中的一个，并且可以利用该更新来更新其本地机器学习模型。

在一个实施例中，一致性算法是Raft一致性算法。

在一个实施例中，参数可以包括与模型交换有关的信息、本地机器学习模型权重和/或本地机器学习模型。

在一个实施例中，参数可以包括清晰数据和/或合成数据。

在一个实施例中，协作者节点可以使用解密后的参数来执行模型聚合。

在一个实施例中，协作者节点可以使用解密后的参数来训练聚合的机器学习模型。

在一个实施例中，参与者节点可以在有限的时间段内是协作者节点。

在一个实施例中，协作者节点可以向参与者节点广播心跳。

在一个实施例中，参与者节点可以响应于协作者节点不活动而选举新的协作者节点。

附图说明

为了更完整地理解本发明、其目的和优点，现在参考以下结合附图的描述，其中：

图1描绘了根据一个实施例的使用对等网络进行联合学习的系统；

图2描绘了根据一个实施例的使用对等网络进行联合学习的方法；

图3描绘了根据一个实施例的对等网络中的参与者节点的状态图。

具体实施方式

各实施例涉及使用对等网络进行模型权重的去中心化编排的联合学习的系统和方法。

2020年11月20日提交的印度专利申请No.202011050561的公开内容通过引用整体并入本文。

各实施例总体涉及通过使用联合网络中的参与者节点之间的对等通信利用联合学习去中心化来提供有弹性且高度可用的聚合器服务。所有参与者节点可以在网络上具有等效的能力，并且所有参与者节点都能够彼此通信。在任何给定的时间点，网络中可能只有一个参与者节点充当“领导者”(或协作者节点)，而其他参与者节点则充当“跟随者节点”。在领导者节点变得不可用或无响应(例如，它崩溃)的情况下，网络进行新的领导者选举，以在剩余的参与者节点中选择领导者节点。这可遵循Raft一致性算法来进行选举和指定领导者。

领导者节点可以负责充当网络的瞬时聚合器。在各实施例中，为了在参与者节点之间分配工作负荷，并给网络中的每个参与者节点公平的机会来承担“领导者节点”的角色，可以在经过预定义的时间间隔之后选举新的领导者节点。

参考图1，根据一个实施例，公开了一种使用对等网络进行联合学习的系统。系统100可以包括对等网络中的多个参与者节点110(例如，110₁、110₂、110₃、…110_N)，其中每个参与者节点110可以直接与其他参与者节点110中的每一个进行通信。每个参与者节点110可以维护本地模型112(例如，112₁、112₂、112₃、…112_N)，并且参与者节点中的一个(例如，参与者110₁)可以被选举为领导者节点(或协作者节点)，可以为联合网络中的参与者节点生成聚合的模型114。

每个节点可以执行可以控制相应节点的操作的计算机程序、应用程序、脚本等(未示出)。

每个参与者节点110可以作为领导者节点(协作者节点)、跟随者节点或候选者节点进行参与。为了促进参与者节点110之间的通信，系统100提供参与者节点110之间的对等通信。可以通过使用网络的TCP层进行远程程序调用来促进通信。

因为网络是对等网络，所以所有消息都会广播到网络。基于消息类型，如果加密，则只有有效的接收者才能阅读消息。如果消息未加密，则所有接收者都可以阅读消息并采取必要的措施。

如同在任何对等网络中一样，所有的参与者节点110都需要知道网络中存在的所有参与者节点110，以及为无缝的基于TCP的通信而打开的防火墙。加密中涉及的RSA公钥和私钥是动态的，这是由于领导者的瞬态性质。例如，RSA密钥对可以随着每个消息而旋转，该消息由参与者节点中的一个发起。

在选举完成的情况下，领导者节点向网络发布其RSA公钥，使得参与者节点可以使用该公钥向领导者节点发送消息，诸如本地机器学习模型参数。

参考图2，根据一个实施例，公开了一种使用对等网络进行联合学习的方法。

在步骤205中，对等网络中的参与者节点可以使用例如Raft一致性算法来选举参与者节点中的一个作为领导者节点或协作者节点。图3提供了基于Raft一致性算法的每个参与者节点的示例状态图。

图3描绘了根据一个实施例的参与者节点的状态图。图3描绘了对等网络中每个节点的三个状态：状态1，其中节点是跟随者或参与者节点；状态2，其中节点是候选者节点；以及状态3，其中节点是领导者或协作者节点。

每个节点可以被初始化为跟随者或参与者节点(状态1)。从状态1开始，跟随者节点可以发起成为领导者节点的选举，从而变成候选者节点(状态2)。在状态2中，节点可以变成领导者节点(状态3)，可以没有被选举为领导者，并且它可以仍然是另一次选举的候选者节点(状态2)，或者另一个节点可以被选举为领导者，并且该节点可以返回为跟随者或参与者节点(状态1)。在状态3中，如果该节点识别出具有更高优先级的节点，或辞职，则该节点可以返回为跟随者或参与者节点(状态1)。

节点可以使用Raft一致性算法来选举领导者节点(状态3)。状态3被设计为瞬态。如果没有故障，则所选举的节点将保留为领导者节点达时间段T，该时间段可以由例如网络管理员定义。在时间段T逝去之后，领导者节点辞职，变成跟随者节点(状态1)，从而间接发起选举。

在Gibson，G.和Zeldovich(编辑)的“2014年USENIX年度技术会议论文集(USENIXATC’14):305-329中，Ongaro等人提供了Raft一致性算法的一个示例：“寻找一种可以理解的一致性算法”，其公开内容通过引用整体并入。

在各实施例中，所有参与者节点可以期望来自领导者节点的心跳(例如，每5秒)，以确保领导者节点正常工作。在心跳失败的情况下，这意味着领导者节点由于某种任意原因而不活动，一个或多个跟随节点可以将自己提升为候选者节点(状态2)。在公平选举之后，候选者节点中的一个被选举为领导者节点，而其他候选者节点返回到状态1。

再次参考图2，在步骤210中，协作者节点可以生成公钥和私钥对，并且在步骤215中，可以与对等网络中的其他参与者节点共享其公钥。

在步骤220中，对等网络中的参与者节点可以生成它们的公钥和私钥，并且在步骤225中，每个参与者节点可以用协作者节点的公钥加密消息并将其发送给协作者节点。在一个实施例中，参与者节点可以为每次通信生成新的公钥/私钥对，这防止协作者节点识别来自具体节点的传入消息。因此，从消息流的角度来看，这种动态消息加密-解密为对等网络中的参与者节点提供了匿名性。

在一个实施例中，消息可以被广播到对等网络中的节点(即，所有参与者节点和领导者节点)。领导者节点是唯一可以利用其私钥解密消息的节点。

在一个实施例中，消息可以包括本地机器学习模型的参数，诸如与模型交换有关的信息、本地权重、本地机器学习模型本身、清晰数据、合成数据等。

在一个实施例中，消息可以进一步包括参与者节点的公钥。因此，每个参与者节点可以用协作者节点的公钥来加密参数及其公钥。

在步骤230中，协作者节点可以接收消息并使用其私钥解密该消息。

在步骤235中，协作者节点可以对接收到的参数执行操作，诸如模型聚合，以创建或更新聚合的机器学习模型等。值得注意的是，协作者节点可以在操作中包括用于其本地模型的参数和/或信息。

在另一个实施例中，协作者节点可以利用从参与者节点接收到的数据以及其自身的数据来训练聚合的机器学习模型。

在步骤240中，协作者节点可以利用每个参与者节点的公钥加密消息，并在对等网络上广播该消息。在一个实施例中，该消息可以包括对聚合的机器学习模型的更新。

在步骤245中，每个参与者节点可以解密来自协作者节点的消息，并且可以利用该消息的内容采取任何必要的动作，诸如更新其本地机器学习模型。尽管参与者节点接收来自协作者节点的所有消息，但它们只能解密利用其公钥加密的消息。

该过程可以继续，直到达到条件，诸如本地机器学习模型已经收敛等。

Behera、Monik等人在“TechRxiv.Preprint.”(2021)中公开了“使用对等网络进行模型权重的去中心化编排的联合学习”。(可在doi.org/10.36227/techrxiv.14267468.v1查阅)。

在下文中，将描述各实施例的系统和方法的实施方式的一般方面。

系统或的系统的部分的各实施例可以是“处理机”的形式，例如，诸如通用计算机。如本文使用的，术语“处理机”将被理解为包括使用至少一个存储器的至少一个处理器。至少一个存储器存储指令集。指令可以永久或临时存储在处理机的一个或多个存储器中。处理器执行存储在一个或多个存储器中的指令，以便处理数据。指令集可以包括执行一个或多个特定任务(诸如上面描述的那些任务)的各种指令。用于执行特定任务的这样的指令集可以被表征为程序、软件程序或者简单表征为软件。

在一个实施例中，处理机可以是专门处理器。

在一个实施例中，处理机可以是基于云的处理机、物理处理机或其组合。

如上面提到的，处理机执行存储在一个或多个存储器中的指令以处理数据。数据的该处理可以例如响应于由处理机的一个或多个用户的命令、响应于先前处理、响应于由另一个处理机的请求和/或任何其它输入。

如上面提到的，用于实施各实施例的处理机可以是通用计算机。然而，上面描述的处理机也可以利用多种多样的其它技术中的任一种，多种多样的其它技术包括专用计算机、计算机系统(包括例如，微型计算机、小型计算机或大型计算机)、编程微处理器、微控制器、外围设备集成电路元件、CSIC(客户专用集成电路)或ASIC(专用集成电路)或其它集成电路、逻辑电路、数字信号处理器、可编程逻辑设备(诸如FPGA、PLD、PLA或PAL)、或能够实施本文公开的过程的步骤的任何其它设备或设备的布置。

用于实施各实施例的处理机可以利用合适的操作系统。

应当了解，为了实践如上所述的各实施例的方法，处理机的处理器和/或存储器不必在物理上位于相同地理位置。也就是说，由处理机使用的处理器和存储器中的每个可以位于地理上不同的位置，并且经连接以便以任何合适的方式通信。此外，应当了解，处理器和/或存储器中的每个可以由不同物理件装备组成。因此，处理器不必是在一个位置中的一个单件装备，并且存储器不必是在另一个位置中的另一个单件装备。也就是说，可预期处理器可以是在两个不同物理位置的两件装备。两件不同装备可以以任何合适方式连接。此外，存储器可以包括在两个或更多个物理位置的存储器的两个或更多个部分。

为了另外阐明，如上所述，由各种部件和各种存储器执行处理。然而，应当了解，根据另外的实施例，可以由单个部件执行如上所述由两个不同部件执行的处理。另外，可以由两个不同部件执行如上所述由一个不同部件执行的处理。

以类似的方式，根据另外的实施例，可以由单个存储器部分执行如上所述由两个不同存储器部分执行的存储器存储。另外，可以由两个存储器部分执行如上所述由一个不同存储器部分执行的存储器存储。

另外，各种技术可以用于提供各种处理器和/或存储器之间的通信，以及允许处理器和/或存储器与另一个其它实体通信；即，例如，以便获得另外的指令或访问和使用远程存储器存储。例如，用于提供此类通信的此类技术可以包括网络(互联网、内联网、外联网、LAN、以太网)、经由蜂窝塔或卫星的无线通信或提供通信的任何客户端服务器系统。此类通信技术可以使用任何合适协议，例如，诸如TCP/IP、UDP或OSI。

如上所述，可以在各实施例的处理中使用指令集。指令集可以是程序或软件的形式。例如，软件可以是系统软件或应用软件的形式。例如，软件也可以是单独程序的集合、较大程序内的程序模块或程序模块的一部分的形式。使用的软件也可以包括为面向对象编程形式的模块化编程。软件告诉处理机对正在处理的数据做什么。

另外，应当了解，在各实施例的实施方式和操作中使用的指令或指令集可以是合适的形式，使得处理机可以读取指令。例如，形成程序的指令可以是合适编程语言的形式，合适编程语言被转换成机器语言或对象代码，以允许一个或多个处理器读取指令。也就是说，特定编程语言的编写的编程代码或源代码行使用编译器、汇编器或解译器转换成机器语言。机器语言是特定于特定类型的处理机(即，例如，特定于特定类型的计算机)的二进制编码机器指令。计算机理解机器语言。

可以根据各种实施例使用任何合适的编程语言。另外，不必结合系统和方法的操作利用单个类型的指令或单个编程语言。相反，根据需要和/或期望，可以利用任何数量的不同编程语言。

再者，在各实施例的实践中使用的指令和/或数据可以利用任何压缩或加密技术或算法，如可以期望的。加密模块可以用于对数据进行加密。另外，例如，文件或其它数据可以使用合适的解密模块来解密。

如上所述，各实施例可以例示性地以包括例如计算机或计算机系统的处理机的形式体现，计算机或计算机系统包括至少一个存储器。应当了解，根据期望，使得计算机操作系统能够执行上面描述的操作的指令集(即，例如，软件)可以包含在多种多样的介质中的任一种上。另外，由指令集处理的数据也可以包含在多种多样的介质中的任一种上。也就是说，例如，用于保存各实施例中使用的指令集和/或数据的特定介质(即，处理机中的存储器)可以采取多种物理形式或传输中的任一种。例示性地，介质可以是纸、纸透明胶片、光碟、DVD、集成电路、硬盘、软盘、光盘、磁带、RAM、ROM、PROM、EPROM、电线、电缆、光纤、通信信道、卫星传输、存储卡、SIM卡或其它远程传输、以及可以由处理器读取的任何其它介质或数据源的形式。

另外，根据期望，在实施各实施例的处理机中使用的一个或多个存储器可以是多种多样的形式中的任一种，以允许存储器保存指令、数据或其它信息。因此，存储器可以是用以保存数据的数据库的形式。数据库可以使用任何期望的文件布置，例如，诸如平面文件布置或关系数据库布置。

在系统和方法中，多种“用户接口”可以用于允许用户与用于实施各实施例的一个或多个处理机接口连接。如本文使用的，用户接口包括由允许用户与处理机交互的处理机使用的任何硬件、软件或硬件和软件的组合。例如，用户接口可以是对话屏幕的形式。用户接口也可以包括以下中的任一个：鼠标、触摸屏、键盘、小键盘、语音读取器、语音辨识器、对话屏幕、菜单框、列表、复选框、拨动开关、按钮或允许用户在其处理指令集和/或向处理机提供信息时接收关于处理机的操作的信息的任何其它设备。因此，用户接口是提供用户和处理机之间的通信的任何设备。例如，由用户通过用户接口提供到处理机的信息可以是命令、数据的选择或某个其它输入的形式。

如上面讨论的，由执行指令集的处理机利用用户接口，使得处理机处理用户的数据。用户接口通常由处理机使用，以用于与用户交互，以运送信息或从用户接收信息。然而，应当了解，根据系统和方法的一些实施例，人类用户实际不必与由处理机使用的用户接口交互。相反，也可预期用户接口可以与另一个处理机而不是人类用户交互，即，运送和接收信息。因此，其它处理机可以被表征为用户。另外，可预期在系统和方法中利用的用户接口可以与另一个处理机或多个处理机部分交互，同时也与人类用户部分交互。

本领域技术人员将容易理解，各实施例易于广泛利用和应用。除了本文描述的那些之外的本发明的许多实施例和改编，以及许多变型、修改和等同布置将从本发明及其前述描述显而易见，或由其前述描述合理提出，而不脱离实质或范围。

因此，虽然在这里已经关于本发明的示例性实施例详细描述本发明的各实施例，但是应当理解，本公开仅为本发明的说明和示例，并且被用来提供本发明的实现性公开内容。因此，前述公开内容不旨在解释或限制本发明或以其它方式排除任何其它此类实施例、改编、变型、修改或等同布置。

Claims (18)

1.一种使用对等网络进行联合学习的方法，包括：

由对等网络中的多个参与者节点使用一致性算法来选举所述参与者节点中的一个作为协作者节点；

由所述协作者节点生成协作者节点公钥和协作者节点私钥；

由所述协作者节点并且向所述多个参与者节点广播所述协作者节点公钥；

由每个参与者节点生成参与者节点公钥和参与者节点私钥，其中，每个参与者节点针对与所述协作者节点的每次通信生成新的参与者节点公钥以及新的参与者节点私钥；

由每个参与者节点利用所述协作者节点公钥加密包括用于所述参与者节点的本地机器学习模型的参数和所述参与者节点公钥的消息；

由每个参与者节点在所述对等网络上广播经加密的消息；

由所述协作者节点利用所述协作者节点私钥解密所述经加密的消息中的每一个；

由所述协作者节点利用所述本地机器学习模型的解密后的参数来更新聚合的机器学习模型；

由所述协作者节点利用每个参与者节点的公钥加密多个更新消息，每个更新消息包括来自所述聚合的机器学习模型的更新；

由所述协作者节点在所述对等网络上广播所述多个消息；

由所述参与者节点中的每一个，利用所述参与者节点的所述参与者节点私钥来解密所述多个消息中的一个；并且

由所述参与者节点中的每一个，利用所述更新来更新所述参与者节点的所述本地机器学习模型。

2.根据权利要求1所述的方法，其中，所述一致性算法是Raft一致性算法。

3.根据权利要求1所述的方法，其中，所述参数包括与模型交换有关的信息、本地机器学习模型权重和/或所述本地机器学习模型。

4.根据权利要求1所述的方法，其中，所述参数包括清晰数据和/或合成数据。

5.根据权利要求1所述的方法，其中，所述协作者节点使用所述解密后的参数执行模型聚合。

6.根据权利要求1所述的方法，其中，所述协作者节点使用所述解密后的参数来训练所述聚合的机器学习模型。

7.根据权利要求1所述的方法，其中，所述参与者节点在有限的时间段内是所述协作者节点。

8.根据权利要求1所述的方法，其中，所述协作者节点向所述参与者节点广播心跳。

9.根据权利要求1所述的方法，其中，所述参与者节点响应于所述协作者节点不活动而选举新的协作者节点。

10.一种系统，包括：

多个参与者节点，每个参与者节点与本地机器学习模型相关联；以及

对等网络，所述对等网络连接所述多个参与者节点；

其中：

所述多个参与者节点使用一致性算法来选举所述多个参与者节点中的一个作为协作者节点；

所述协作者节点生成协作者节点公钥和协作者节点私钥；

所述协作者节点向所述多个参与者节点广播所述协作者节点公钥；

每个参与者节点生成参与者节点公钥和参与者节点私钥，其中，每个参与者节点针对与所述协作者节点的每次通信生成新的参与者节点公钥以及新的参与者节点私钥；

每个参与者节点利用所述协作者节点公钥加密包括用于所述参与者节点的本地机器学习模型的参数和所述参与者节点公钥的消息；

每个参与者节点在所述对等网络上广播经加密的消息；

所述协作者节点利用所述协作者节点私钥解密所述经加密的消息中的每一个；

所述协作者节点利用所述本地机器学习模型的解密后的参数来更新聚合的机器学习模型；

所述协作者节点利用每个参与者节点的公钥加密多个更新消息，每个更新消息包括来自所述聚合的机器学习模型的更新；

所述协作者节点在所述对等网络上广播所述多个消息；

所述参与者节点中的每一个利用其用于所述参与者节点的参与者节点私钥来解密所述多个消息中的一个；并且

所述参与者节点中的每一个利用所述更新来更新其本地机器学习模型。

11.根据权利要求10所述的系统，其中，所述一致性算法是Raft一致性算法。

12.根据权利要求10所述的系统，其中，所述参数包括与模型交换有关的信息、本地机器学习模型权重和/或所述本地机器学习模型。

13.根据权利要求10所述的系统，其中，所述参数包括清晰数据和/或合成数据。

14.根据权利要求10所述的系统，其中，所述协作者节点使用所述解密后的参数执行模型聚合。

15.根据权利要求10所述的系统，其中，所述协作者节点使用所述解密后的参数来训练所述聚合的机器学习模型。

16.根据权利要求10所述的系统，其中，所述参与者节点在有限的时间段内是所述协作者节点。

17.根据权利要求10所述的系统，其中，所述协作者节点向所述参与者节点广播心跳。

18.根据权利要求10所述的系统，其中，所述参与者节点响应于所述协作者节点不活动而选举新的协作者节点。