[go: up one dir, main page]

WO2024069956A1 - 学習装置、学習システム、学習方法、およびコンピュータ可読媒体 - Google Patents

学習装置、学習システム、学習方法、およびコンピュータ可読媒体 Download PDF

Info

Publication number
WO2024069956A1
WO2024069956A1 PCT/JP2022/036759 JP2022036759W WO2024069956A1 WO 2024069956 A1 WO2024069956 A1 WO 2024069956A1 JP 2022036759 W JP2022036759 W JP 2022036759W WO 2024069956 A1 WO2024069956 A1 WO 2024069956A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
secure communication
learning device
organization
information terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/036759
Other languages
English (en)
French (fr)
Inventor
武志 赤川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to US18/874,190 priority Critical patent/US20250373585A1/en
Priority to JP2024549044A priority patent/JPWO2024069956A5/ja
Priority to PCT/JP2022/036759 priority patent/WO2024069956A1/ja
Publication of WO2024069956A1 publication Critical patent/WO2024069956A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present disclosure relates to a learning device, a learning system, a learning method, and a computer-readable medium.
  • Patent Document 1 discloses a technology that uses machine learning to build an AI (Artificial Intelligence) model (also called a local model) that is personalized for each user.
  • AI Artificial Intelligence
  • a better performing AI model (also called a global model) can be constructed by integrating multiple local AI models.
  • the server can construct local and global models.
  • one of the objectives that the embodiments disclosed in this specification aim to achieve is to provide a learning device, a learning system, a learning method, and a computer-readable medium that can build a global model when the networks of multiple organizations are not constantly connected.
  • a learning device for establishing a secure communication between an information terminal disposed on the network of each organization; an acquisition means for acquiring a data set for each organization from the information terminal using the secure communication; A learning means for training a local model on the data set; and an integration means for integrating multiple local models trained on multiple datasets.
  • a computing system includes: Information terminals installed on each organization's network, A learning device; A learning system comprising: The learning device includes: Establishing a secure communication with the information terminal; acquiring a data set for each organization from the information terminal using the secure communication; training a local model on said dataset; Combine multiple local models trained on multiple datasets.
  • the computer Establish secure communications between information terminals located on each organization's network, acquiring a data set for each organization from the information terminal using the secure communication; training a local model on said dataset; Combine multiple local models trained on multiple datasets.
  • a non-transitory computer-readable medium comprising: On the computer, A process of establishing secure communication between information terminals located on the networks of each organization; A process of acquiring a data set for each organization from the information terminal using the secure communication; training a local model on the dataset; A process of integrating multiple local models trained on multiple data sets is stored.
  • the present disclosure provides a learning device, a learning system, a learning method, and a computer-readable medium that can build a global model when the networks of multiple organizations are not constantly connected.
  • FIG. 11 is a block diagram showing a configuration of a learning device according to a first embodiment.
  • FIG. 11 is a block diagram showing the configuration of a learning system according to a second embodiment.
  • FIG. 11 is a block diagram showing a configuration of a learning device according to a second embodiment.
  • 13 is a flowchart showing a flow of an operation for generating a local model.
  • FIG. 11 is a block diagram showing the configuration of a learning system according to a second embodiment.
  • the learning device 1 includes a communication establishment unit 11, an acquisition unit 12, a learning unit 13, and an integration unit 14.
  • the learning device 1 is connected to a public network (not shown).
  • the networks of each organization are connected to the public network.
  • An information terminal (not shown) is disposed in the network of each organization.
  • the information terminal is a repository in which data sets owned by each organization are accumulated.
  • the communication establishment unit 11 establishes secure communication between information terminals arranged in the networks of each organization.
  • the communication establishment unit 11 may establish secure communication at a predetermined timing.
  • the communication establishment unit 11 may establish secure communication based on the progress of learning of a local model, which will be described later.
  • the communication establishment unit 11 connects the learning device 1 to each organization's network via a VPN (Virtual Private Network).
  • VPN Virtual Private Network
  • the confidentiality of the communication between the learning device 1 and the information terminal is maintained by encryption and encapsulation.
  • secure communication is established between the learning device 1 and the information terminal.
  • the communication establishment unit 11 may establish secure communication using a technology other than VPN.
  • the communication establishment unit 11 may control communication using a protocol that includes encryption (e.g., SSL/TLS, SSH (Secure Shell), FTPS (File Transfer Protocol over SSL/TLS)).
  • SSL/TLS Secure Sockets Layer
  • SSH Secure Shell
  • FTPS File Transfer Protocol over SSL/TLS
  • the acquisition unit 12 acquires a data set for each organization from the information terminal using secure communication.
  • the learning unit 13 trains the local model on the dataset.
  • the integration unit 14 integrates multiple local models trained on multiple data sets.
  • the learning device 1 includes a processor, a memory, and a storage device, which are not shown in the figure.
  • the storage device also stores a computer program that implements the processing of the learning method according to this embodiment.
  • the processor then loads the computer program from the storage device into the memory and executes the computer program. In this way, the processor realizes the functions of a communication establishment unit 11, an acquisition unit 12, a learning unit 13, and an integration unit 14.
  • the communication establishment unit 11, the acquisition unit 12, the learning unit 13, and the integration unit 14 may each be realized by dedicated hardware.
  • some or all of the components of each device may be realized by general-purpose or dedicated circuits, processors, etc., or a combination of these. These may be configured by a single chip, or may be configured by multiple chips connected via a bus. Some or all of the components of each device may be realized by a combination of the above-mentioned circuits, etc., and programs.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA field-programmable gate array
  • the multiple information processing devices, circuits, etc. may be centrally or decentralized.
  • the information processing devices, circuits, etc. may be realized as a client-server system, cloud computing system, etc., in which each is connected via a communication network.
  • the functions of the learning device 1 may be provided in the form of SaaS (Software as a Service).
  • the learning device establishes secure communication with an information terminal connected to the network of each organization, and acquires a data set using the secure communication. Therefore, according to the first embodiment, a global model can be constructed in a case where the networks of multiple organizations are not constantly connected.
  • Embodiment 2 is a specific example of embodiment 1.
  • Fig. 2 is a schematic diagram showing the configuration of a learning system 100 according to embodiment 2.
  • the learning system 100 includes an information terminal 2a, an information terminal 2b, an information terminal 2c, a VPN device 3a, a VPN device 3b, a VPN device 3c, and a learning device 4.
  • the learning device 4 is a specific example of the learning device 1 described above.
  • Organization A's network Na is equipped with an information terminal 2a and a VPN device 3a.
  • Organization B's network Nb is equipped with an information terminal 2b and a VPN device 3b.
  • Organization C's network Nc is equipped with an information terminal 2c and a VPN device 3c.
  • Information terminal 2a stores a data set owned by organization A.
  • Information terminal 2b stores a data set owned by organization B.
  • Information terminal 2c stores a data set owned by organization C.
  • the number of organizations is not limited to three.
  • the number of organizations may be two, four or more.
  • Each organization is, for example, a pharmaceutical manufacturer or a chemical manufacturer.
  • the dataset is a dataset of compounds.
  • Each record included in the dataset of compounds lists structural information and property information of the compound.
  • the structure of the compound is expressed by a fixed-length bit string, and each bit of the bit string indicates the presence or absence of a specific structure (e.g., benzene ring).
  • the property value e.g., tensile strength value
  • data generated daily in the research and development work of organization A is accumulated in information terminal 2a.
  • the dataset is not limited to a dataset of compounds, and may be a dataset of any thing.
  • the network N may be a LAN (Local Area Network) or a network in which multiple LANs are connected.
  • the network N is connected to a public network PN such as the Internet.
  • the VPN device 3 is a VPN server or a router compatible with VPN.
  • the IP (Internet Protocol) address of the learning device 4 may be set in advance in the VPN device 3.
  • the VPN may be an Internet VPN, an IP-VPN, or a wide area Ethernet.
  • the VPN devices 3a, 3b, and 3c are not to be distinguished from one another, they may simply be referred to as the VPN device 3.
  • FIG. 3 is a block diagram illustrating the configuration of the learning device 4.
  • the learning device 4 is connected to the network PN.
  • the learning device 4 includes a communication establishment unit 41, an acquisition unit 42, a learning unit 43, and an integration unit 44.
  • the learning device 4 has storage that stores local models La, Lb, and Lc.
  • Local model La is a local model trained on a dataset owned by organization A.
  • Local model Lb is a local model trained on a dataset owned by organization B.
  • Local model Lc is a local model trained on a dataset owned by organization C.
  • Local models La, Lb, and Lc are repeatedly updated by the learning unit 43. When local models La, Lb, and Lc are not to be distinguished from one another, they may be simply referred to as local model L.
  • the communication establishment unit 41 is a specific example of the communication establishment unit 11 described above.
  • the communication establishment unit 41 establishes secure communication with the information terminal 2. Specifically, the communication establishment unit 41 connects to a VPN device 3 such as a VPN server via the public network PN, and requests a VPN connection from the VPN device 3. First, a TCP/IP connection is established between the learning device 4 and the VPN device 3. Then, the learning device 4 is authenticated, and a VPN session is established between the learning device 4 and the VPN device 3. After the acquisition unit 42 acquires the data set, the communication establishment unit 41 terminates the VPN session.
  • the learning device 4 may be connected to the network N by a remote access VPN.
  • the timing at which the communication establishment unit 41 establishes secure communication i.e., the timing at which the learning device 4 connects to the network N via VPN, will be described later. This is because the timing may be related to the progress of processing in the learning unit 43, which will be described later.
  • the timing at which secure communication is established with the information terminal 2a, the timing at which secure communication is established with the information terminal 2b, and the timing at which secure communication is established with the information terminal 2c may be different from each other.
  • the acquisition unit 42 is a specific example of the acquisition unit 12 described above.
  • the acquisition unit 42 acquires a data set from the information terminal 2 after the learning device 4 is connected to the network N via VPN.
  • the learning unit 43 is a specific example of the learning unit 13 described above.
  • the learning unit 43 trains the corresponding local model L on the data set acquired by the acquisition unit 42.
  • the integration unit 44 is a specific example of the integration unit 14 described above.
  • the integration unit 44 integrates the local models La, Lb, and Lc learned by the learning unit 43.
  • the integrated model is called a global model.
  • the integration unit 44 may integrate the local models La, Lb, and Lc at a predetermined timing (e.g., once a day, once every few months).
  • the global model has higher performance than the local models La, Lb, and Lc.
  • the integration unit 44 may also perform a process of integrating the local models La, Lb, and Lc after the learning of the local models La, Lb, and Lc is completed.
  • the integration unit 44 may generate a global model by, for example, taking the arithmetic average of the model parameters of the local model La, the model parameters of the local model Lb, and the model parameters of the local model Lc. Note that the method of integrating the model parameters is not limited to the arithmetic average.
  • the learning device 4 distributes the global model to the information terminals 2a, 2b, and 2c. For example, after the process of generating the global model is completed, the learning device 4 may connect to the networks Na, Nb, and Nc in order via VPN and transmit the global model to the information terminals 2a, 2b, and 2c.
  • the learning device 4 may also connect to the network N via VPN in response to a request from each information terminal 2 and transmit the global model to the information terminal 2.
  • Each information terminal 2 can import the global model at any time.
  • Organizations A, B, and C will be able to utilize a high-performance global model that links data sets owned by multiple organizations.
  • Constructing multiple local models L and integrating the multiple local models L is also called federated learning.
  • the learning device 4 is performing federated learning.
  • constructing a local model L in local terminals such as the information terminals 2a, 2b, and 2c is also sometimes called federated learning.
  • the learning device 4 constructs the local model L.
  • the learning device 4 sequentially repeats the process of establishing secure communication, the process of acquiring a dataset, and the process of training a local model from the acquired dataset. This makes it possible to improve the performance of the global model based on the datasets accumulated daily in each information terminal 2. Note that the process of integrating multiple local models may be performed at any time.
  • the communication establishment unit 41 may establish secure communication at a predetermined timing.
  • the predetermined timing may be once every few months, or once every few days.
  • the communication establishment unit 41 may also establish secure communication in response to receiving a request from each information terminal 2. For example, the information terminal 2 transmits a request when the amount of accumulated data sets reaches or exceeds a predetermined amount.
  • the communication establishment unit 41 may establish the next secure communication based on the progress of learning the dataset to the local model L.
  • the dataset is divided into multiple batches, and the local model L learns the multiple batches in sequence.
  • the process of dividing the dataset into batches and learning the multiple batches is repeated a predetermined number of times.
  • the predetermined number of times is set so that the model parameters of the local model L converge.
  • the predetermined number of times needs to be set to a small number so as not to cause overlearning.
  • the communication establishment unit 41 may establish the next secure communication when the model parameters of the local model have converged.
  • the progress of learning may be represented by the number of learning iterations or the number of learned batches. For example, if a dataset is divided into five batches and learning is repeated ten times, the next secure communication may be established when learning is complete, that is, when the tenth learning is finished.
  • the communication establishment unit 41 may establish the next secure communication when learning is nearing completion, for example, when the fourth batch of the tenth learning is completed.
  • the communication establishment unit 41 may sequentially establish secure communication with the information terminals 2a, 2b, and 2c when the learning progress of the local model La, the learning progress of the local model Lb, and the learning progress of the local model Lc exceed a threshold value. Also, the communication establishment unit 41 may establish secure communication with the corresponding information terminal 2 when the learning progress of any of the local models L exceeds a threshold value.
  • the communication establishment unit 41 may establish the next secure communication based on the progress of the process of integrating multiple local models L. If the process in the integration unit 44 is not a simple arithmetic average or if there are a large number of organizations, the process in the integration unit 44 may take a long time. It is efficient if the next process can be started after the process in the integration unit 44 is completed.
  • Secure computation is a technique for performing computational processing on data while keeping it encrypted, and known secure computation techniques include multi-party computation (MPC) and homomorphic encryption.
  • FIG. 4 is a flowchart showing the process flow for generating a local model L. It is assumed that the learning device 4 stores an initial local model L (step S101).
  • step S102 the communication establishment unit 41 of the learning device 4 determines whether it is time to establish secure communication. If it is not time to establish secure communication (NO in step S102), the process returns to step S102.
  • the communication establishment unit 41 establishes secure communication between the information terminal 2 and the learning device 4, and the acquisition unit 42 acquires a data set from the information terminal 2 (step S103). After that, the communication establishment unit 41 ends the secure communication.
  • step S103 multiple data sets may be acquired.
  • secure communication is established between the information terminal 2a and the learning device 4, the acquisition unit 42 acquires the data set from the information terminal 2a, and the communication establishment unit 41 terminates the secure communication.
  • secure communication is established between the information terminal 2b and the learning device 4, the acquisition unit 42 acquires the data set from the information terminal 2b, and the communication establishment unit 41 terminates the secure communication.
  • secure communication is established between the information terminal 2c and the learning device 4, the acquisition unit 42 acquires the data set from the information terminal 2c, and the communication establishment unit 41 terminates the secure communication.
  • a data set may be acquired from any of the information terminals 2a, 2b, and 2c.
  • the learning unit 43 trains the local model L on the data set acquired in step S103, and updates the local model L (step S104). If multiple data sets are acquired in step S103, multiple local models L may be updated in step S104. After updating the local model L, the process returns to step S102. Note that the process of integrating multiple local models L may be performed at any timing.
  • the learning device connects to each organization's network via VPN at an appropriate communication timing and acquires the data set of that organization. This allows the data set to be received securely and a local model to be constructed at an appropriate timing.
  • the secure communication is not limited to communication via a VPN.
  • the secure communication may be communication via any secure communication protocol (e.g., an encryption protocol).
  • the data set may be sent from the information terminal 2 to the learning device 4 by email using a secure communication protocol (e.g., S/MIME).
  • S/MIME secure communication protocol
  • the device equipped with the integration unit 44 that integrates the global model may be different from the device equipped with the learning unit 43 that constructs the local model L.
  • the device equipped with the integration unit 44 may establish secure communication (e.g., SSL) with the device equipped with the learning unit 43 to acquire the local model L.
  • SSL secure communication
  • the third embodiment is a specific example of the second embodiment.
  • the learning device according to the third embodiment integrates model parameters of local models by secure computation.
  • Fig. 5 is a block diagram showing the configuration of a learning system 100a according to the third embodiment. Comparing Fig. 2 with Fig. 5, a server group 5 has been added.
  • the server group 5 includes multiple secure computation servers 51. Note that the number of secure computation servers 51 is not limited to three. However, when performing secure computation, it is preferable that the number of secure computation servers 51 is three or more.
  • the server group 5 integrates the local model La, the local model Lb, and the local model Lc, and transmits the result of the secret computation to the learning device 4.
  • the integration unit 44 of the learning device 4 divides the model parameters of the local model La into multiple shares (e.g., three) and transmits the multiple shares to the multiple secure computation servers 51.
  • the integration unit 44 divides the model parameters of the local model Lb into multiple shares and transmits the multiple shares to the multiple secure computation servers 51.
  • the integration unit 44 divides the model parameters of the local model Lc into multiple shares and transmits the multiple shares to the multiple secure computation servers 51.
  • Each secure computation server 51 uses the received shares to perform secure computation to calculate the global model.
  • the local model cannot be known from the shares, and computation using the shares can be considered secure computation.
  • Multiple secure computation servers 51 may cooperate to perform multi-party computation (MPC). Since the amount of computation required to integrate the local model L is sufficiently small, it is considered that the server group 5 can perform secure computation in a reasonable amount of time.
  • MPC multi-party computation
  • the third embodiment also has the same effect as the second embodiment. Furthermore, according to the third embodiment, the calculations for integrating the global models can be kept confidential.
  • the above-mentioned program includes a set of instructions (or software code) for causing the computer to perform one or more functions described in the embodiments when the program is loaded into the computer.
  • the program may be stored on a non-transitory computer-readable medium or a tangible storage medium.
  • computer-readable medium or tangible storage medium may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drive (SSD) or other memory technology, CD-ROM, digital versatile disc (DVD), Blu-ray (registered trademark) disc or other optical disk storage, magnetic cassette, magnetic tape, magnetic disk storage or other magnetic storage device.
  • the program may be transmitted on a transitory computer-readable medium or a communication medium.
  • the transitory computer-readable medium or communication medium may include electrical, optical, acoustic, or other forms of propagated signals.
  • a part or all of the above-described embodiments can be described as, but is not limited to, the following supplementary notes.
  • Appendix 1 A communication establishment means for establishing a secure communication between an information terminal disposed on the network of each organization; an acquisition means for acquiring a data set for each organization from the information terminal using the secure communication; A learning means for training a local model on the data set; and an integration means for integrating a plurality of local models trained on a plurality of data sets.
  • Appendix 2 The learning device according to claim 1, wherein the communication establishment means establishes a next secure communication based on a progress of learning of the local model.
  • a learning device Information terminals installed on each organization's network, A learning device; A learning system comprising: The learning device includes: Establishing a secure communication with the information terminal; Acquiring a data set for each organization from an information terminal using the secure communication; training a local model on said dataset; A learning system that integrates multiple local models trained on multiple datasets.
  • the learning device includes: Establishing a secure communication with the information terminal; Acquiring a data set for each organization from an information terminal using the secure communication; training a local model on said dataset; A learning system that integrates multiple local models trained on multiple datasets.
  • the learning device establishes a next secure communication based on a progress of learning in the local model.
  • the computer Establish secure communications between information terminals located on each organization's network, Acquiring a data set for each organization from an information terminal using the secure communication; training a local model on said dataset; A learning method that integrates multiple local models trained on multiple datasets.
  • Reference Signs List 1 4 Learning device 11, 41 Communication establishment unit 12, 42 Acquisition unit 13, 43 Learning unit 14, 44 Integration unit 2, 2a, 2b, 2c Information terminal 3, 3a, 3b, 3c VPN device 100, 100a Learning system 5 Server group 51 Secure computation server N, Na, Nb, Nc Network PN Public network

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

複数の組織のネットワーク間を常時接続しているわけではない場合にグローバルモデルを構築できる学習装置、学習システム、学習方法、およびプログラムを提供する。学習装置（１）は、各組織のネットワーク（Ｎ）に配置された情報端末(２)との間でセキュアな通信を確立する通信確立部（１１）と、セキュアな通信を用いて、情報端末（２）から組織ごとのデータセットを取得する取得部（１２）と、データセットをローカルモデルに学習させる学習部（１３）と、複数のデータセットを学習させた複数のローカルモデルを統合する統合部（１４）とを備える。

Description

学習装置、学習システム、学習方法、およびコンピュータ可読媒体
　本開示は、学習装置、学習システム、学習方法、およびコンピュータ可読媒体に関する。
　特許文献１には、ユーザに個別化されたＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデル（ローカルモデルとも称される）を構築するために機械学習を行う技術を開示している。
特表２０２０－５３１９９９号公報
　複数のローカルＡＩモデルを統合することで、より性能のよいＡＩモデル（グローバルモデルとも称される）を構築できることが知られている。サーバがユーザデータを収集することで、サーバがローカルモデルおよびグローバルモデルを構築できるようになる。
　ユーザが組織である場合、各組織が所有するデータを収集する必要があるため、複数の組織をつなぐネットワークを構築することが望ましい。しかしながら、セキュリティに対する考え方が異なる複数の組織をつなぐネットワークを構築することは困難であるという問題があった。
　そこで、本明細書に開示される実施形態が達成しようとする目的の１つは、複数の組織のネットワーク間を常時接続しているわけではない場合にグローバルモデルを構築できる学習装置、学習システム、学習方法、およびコンピュータ可読媒体を提供することである。
　本開示の第１の態様にかかる学習装置は、
　各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する通信確立手段と、
　前記セキュアな通信を用いて、前記情報端末から組織ごとのデータセットを取得する取得手段と、
　前記データセットをローカルモデルに学習させる学習手段と、
　複数のデータセットを学習させた複数のローカルモデルを統合する統合手段と
　を備えている。
　本開示の第２の態様にかかる計算システムは、
　各組織のネットワークに配置された情報端末と、
　学習装置と、
　を備えた学習システムであって、
　前記学習装置は、
　前記情報端末との間でセキュアな通信を確立し、
　前記セキュアな通信を用いて、前記情報端末から組織ごとのデータセットを取得し、
　前記データセットをローカルモデルに学習させ、
　複数のデータセットを学習させた複数のローカルモデルを統合する。
　本開示の第３の態様にかかる計算方法では、
　コンピュータが、
　各組織のネットワークに配置された情報端末との間でセキュアな通信を確立し、
　前記セキュアな通信を用いて、前記情報端末から組織ごとのデータセットを取得し、
　前記データセットをローカルモデルに学習させ、
　複数のデータセットを学習させた複数のローカルモデルを統合する。
　本開示の第４の態様にかかる非一時的なコンピュータ可読媒体では、
　コンピュータに、
　各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する処理と、
　前記セキュアな通信を用いて、前記情報端末から組織ごとのデータセットを取得する処理と、
　前記データセットをローカルモデルに学習させる処理と、
　複数のデータセットを学習させた複数のローカルモデルを統合する処理と
　を実行させるためのプログラムが格納される。
　本開示によれば、複数の組織のネットワーク間を常時接続しているわけではない場合にグローバルモデルを構築できる学習装置、学習システム、学習方法、およびコンピュータ可読媒体を提供できる。
実施形態１にかかる学習装置の構成を示すブロック図である。 実施形態２にかかる学習システムの構成を示すブロック図である。 実施形態２にかかる学習装置の構成を示すブロック図である。 ローカルモデルを生成する動作の流れを示すフローチャートである。 実施形態２にかかる学習システムの構成を示すブロック図である。
＜実施形態１＞
　図１は、実施形態１にかかる学習装置１の構成を示すブロック図である。学習装置１は、通信確立部１１、取得部１２、学習部１３、および統合部１４を備えている。学習装置１は、公衆網（不図示）に接続されている。公衆網には、各組織のネットワークが接続されている。各組織のネットワークには、情報端末（不図示）が配置されている。情報端末は、各組織が所有するデータセットが蓄積されるリポジトリである。
　通信確立部１１は、各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する。通信確立部１１は、予め定められたタイミングでセキュアな通信を確立してもよい。通信確立部１１は、後述するローカルモデルの学習の進捗度に基づいてセキュアな通信を確立してもよい。
　通信確立部１１は、例えば、学習装置１を各組織のネットワークにＶＰＮ（Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）接続させる。この場合、学習装置１と情報端末の間の通信は暗号化やカプセリングにより機密性を保たれる。つまり、学習装置１と情報端末の間でセキュアな通信が確立される。
　なお、通信確立部１１は、ＶＰＮ以外の技術を用いてセキュアな通信を確立してもよい。通信確立部１１は、暗号化を含むプロトコル（例：ＳＳＬ／ＴＬＳ、ＳＳＨ（Ｓｅｃｕｒｅ　Ｓｈｅｌｌ）、ＦＴＰＳ（Ｆｉｌｅ　Ｔｒａｎｓｆｅｒ　Ｐｒｏｔｏｃｏｌ　ｏｖｅｒ　ＳＳＬ／ＴＬＳ）による通信を制御してもよい。
　取得部１２は、セキュアな通信を用いて、情報端末から組織ごとのデータセットを取得する。
　学習部１３は、データセットをローカルモデルに学習させる。
　統合部１４は、複数のデータセットを学習させた複数のローカルモデルを統合する。
　なお、学習装置１は、図示しない構成としてプロセッサ、メモリ、および記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかる学習方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、通信確立部１１、取得部１２、学習部１３、および統合部１４の機能を実現する。
　または、通信確立部１１、取得部１２、学習部１３、および統合部１４は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。
　また、学習装置１の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、学習装置１の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。
　実施形態１にかかる学習装置は、各組織のネットワークに接続されている情報端末との間でセキュアな通信を確立し、セキュアな通信を用いてデータセットを取得する。したがって、実施形態１によれば、複数の組織のネットワーク間を常時接続しているわけではない場合にグローバルモデルを構築できる。
＜実施形態２＞
　実施形態２は、実施形態１の具体例である。図２は、実施形態２にかかる学習システム１００の構成を示す概略図である。学習システム１００は、情報端末２ａ、情報端末２ｂ、情報端末２ｃ、ＶＰＮ装置３ａ、ＶＰＮ装置３ｂ、ＶＰＮ装置３ｃ、および学習装置４を備える。学習装置４は、上述した学習装置１の具体例である。
　組織ＡのネットワークＮａには、情報端末２ａおよびＶＰＮ装置３ａが配置されている。組織ＢのネットワークＮｂには、情報端末２ｂおよびＶＰＮ装置３ｂが配置されている。組織ＣのネットワークＮｃには、情報端末２ｃおよびＶＰＮ装置３ｃが配置されている。
　情報端末２ａには組織Ａが所有するデータセットが蓄積される。情報端末２ｂには組織Ｂが所有するデータセットが蓄積される。情報端末２ｃには組織Ｃが所有するデータセットが蓄積される。
　なお、組織の数は３つに限られない。組織の数は２つであってもよく、４つ以上であってもよい。各組織は、例えば、医薬品メーカや化学メーカである。この場合、データセットは、化合物のデータセットである。化合物のデータセットに含まれる各レコードには、化合物の構造情報や化合物の特性情報などが並べられる。化合物の構造は固定長のビット列などで表現され、ビット列の各ビットは所定の構造（例：ベンゼン環）の有無などを表す。特性値（例：引張強度の値）は、実験により得られた値でもよく、シミュレーションや理論計算により得られた値であってもよい。例えば、組織Ａの研究開発業務で日々生成されるデータが、情報端末２ａに蓄積される。もちろんデータセットは化合物のデータセットには限られず、任意の事物のデータセットであってよい。
　情報端末２ａ、２ｂ、および２ｃを互いに区別しない場合、単に情報端末２と称する場合がある。ネットワークＮａ、Ｎｂ、およびＮｃを互いに区別しない場合、単にネットワークＮと称する場合がある。ネットワークＮはＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）であってもよく、複数のＬＡＮを接続したネットワークであってもよい。ネットワークＮは、インターネット等の公衆網ＰＮに接続されている。
　ＶＰＮ装置３は、ＶＰＮサーバやＶＰＮに対応したルータである。ＶＰＮ装置３には、予め学習装置４のＩＰ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）アドレスなどが設定されていてもよい。ＶＰＮは、インターネットＶＰＮであってもよく、ＩＰ－ＶＰＮであってもよく、広域イーサネットであってもよい。ＶＰＮ装置３ａ、３ｂ、および３ｃを互いに区別しない場合、単にＶＰＮ装置３と称する場合がある。
　図３は、学習装置４の構成を説明するブロック図である。学習装置４は、ネットワークＰＮに接続される。学習装置４は、通信確立部４１、取得部４２、学習部４３、および統合部４４を備えている。
　学習装置４は、ローカルモデルＬａ、ローカルモデルＬｂ、およびローカルモデルＬｃを記憶するストレージを備える。ローカルモデルＬａは、組織Ａが所有するデータセットを学習させたローカルモデルである。ローカルモデルＬｂは、組織Ｂが所有するデータセットを学習させたローカルモデルである。ローカルモデルＬｃは、組織Ｃが所有するデータセットを学習させたローカルモデルである。ローカルモデルＬａ、Ｌｂ、およびＬｃは、学習部４３によって繰り返し更新される。ローカルモデルＬａ、Ｌｂ、およびＬｃを互いに区別しない場合、単にローカルモデルＬと称する場合がある。
　通信確立部４１は、上述した通信確立部１１の具体例である。通信確立部４１は、情報端末２との間でセキュアな通信を確立する。具体的には、通信確立部４１は、公衆網ＰＮを介してＶＰＮサーバ等のＶＰＮ装置３に接続し、ＶＰＮ装置３にＶＰＮ接続を要求する。まず、学習装置４とＶＰＮ装置３の間にＴＣＰ／ＩＰコネクションが確立する。そして、学習装置４が認証され、学習装置４とＶＰＮ装置３の間でＶＰＮセッションが確立する。通信確立部４１は、取得部４２がデータセットを取得した後、ＶＰＮセッションを終了させる。学習装置４は、リモートアクセスＶＰＮによりネットワークＮに接続してもよい。
　通信確立部４１がセキュアな通信を確立するタイミング、つまり学習装置４がネットワークＮにＶＰＮ接続するタイミングについては後述する。タイミングが、後述する学習部４３における処理の進捗度等に関連する場合があるからである。情報端末２ａとの間でセキュアな通信を確立するタイミング、情報端末２ｂとの間でセキュアな通信を確立するタイミング、および情報端末２ｃとの間でセキュアな通信を確立するタイミングは互いに異なっていてもよい。
　取得部４２は、上述した取得部１２の具体例である。取得部４２は、学習装置４がネットワークＮにＶＰＮ接続した後、情報端末２からデータセットを取得する。
　学習部４３は、上述した学習部１３の具体例である。学習部４３は、取得部４２によって取得したデータセットを対応するローカルモデルＬに学習させる。
　統合部４４は、上述した統合部１４の具体例である。統合部４４は、学習部４３で学習したローカルモデルＬａ、Ｌｂ、およびＬｃを統合する。統合されたモデルは、グローバルモデルと称される。統合部４４は、予め定められたタイミング（例：１日に１回、数か月に１回）でローカルモデルＬａ、Ｌｂ、およびＬｃを統合してもよい。グローバルモデルは、ローカルモデルＬａ、Ｌｂ、およびＬｃよりも高性能である。また、統合部４４は、ローカルモデルＬａ、Ｌｂ、およびＬｃの学習が完了した後、ローカルモデルＬａ、Ｌｂ、およびＬｃを統合する処理を行ってもよい。
　統合部４４は、例えば、ローカルモデルＬａのモデルパラメータ、ローカルモデルＬｂのモデルパラメータ、ローカルモデルＬｃのモデルパラメータの算術平均を取ることでグローバルモデルを生成してもよい。なお、モデルパラメータの統合方法は算術平均には限られない。
　統合部４４がグローバルモデルを生成した後、学習装置４は、グローバルモデルを情報端末２ａ、２ｂ、および２ｃに配布する。例えば、グローバルモデルを生成する処理が完了した後、学習装置４は、ネットワークＮａ、Ｎｂ、およびＮｃに順番にＶＰＮ接続し、情報端末２ａ、２ｂ、および２ｃにグローバルモデルを送信してもよい。
　また、学習装置４は、各情報端末２からの要求に応じてネットワークＮにＶＰＮ接続し、情報端末２にグローバルモデルを送信してもよい。各情報端末２は、任意のタイミングでグローバルモデルをインポートできる。組織Ａ、Ｂ、およびＣは、複数の組織が所有するデータセットを連携させた高性能なグローバルモデルを活用できるようになる。
　複数のローカルモデルＬを構築し、複数のローカルモデルＬを統合することは、連合学習とも称される。この場合、学習装置４は連合学習を行っているとも言える。ただし、情報端末２ａ、２ｂ、および２ｃ等のローカル端末でローカルモデルＬを構築することを連合学習と称する場合もあるため、留意する必要がある。実施形態２では、学習装置４がローカルモデルＬを構築している。
　学習装置４は、セキュアな通信を確立する処理と、データセットを取得する処理と、取得したデータセットをローカルモデルに学習させる処理とを順次繰り返す。これにより、各情報端末２に日々蓄積されるデータセットに基づいて、グローバルモデルの性能を向上させることができる。なお、複数のローカルモデルを統合する処理は任意のタイミングで行われてよい。
　次に、通信確立部４１がセキュアな通信を確立するタイミングについて説明する。通信確立部４１は、予め定められたタイミングでセキュアな通信を確立してもよい。予め定められたタイミングは、数か月に１回であってもよく、数日に１回であってもよい。
　また、通信確立部４１は、各情報端末２からの要求の受信に応じてセキュアな通信を確立してもよい。情報端末２は、例えば、蓄積されたデータセットの量が所定量以上になった場合に要求を送信する。
　通信確立部４１は、データセットをローカルモデルＬに学習させる学習の進捗度に基づいて次のセキュアな通信を確立してもよい。１つのデータセットをローカルモデルＬに学習させる場合、データセットを複数のバッチに分け、複数のバッチを順番にローカルモデルＬに学習させることが行われる。データセットをバッチに分け、複数のバッチを学習する処理は所定回数繰り返される。所定回数は、ローカルモデルＬのモデルパラメータが収束するように設定される。ただし、所定回数は、過学習にならない程度に少ない数に設定される必要がある。通信確立部４１は、ローカルモデルのモデルパラメータが収束した場合、次のセキュアな通信を確立してもよい。
　学習の進捗度は、学習の繰り返しの数や学習済みのバッチの数や表されてもよい。例えば、データセットが５つのバッチに分けられ学習を１０回繰り返す場合に、学習が完了したとき、つまり１０回目の学習が終了したときに次のセキュアな通信を確立してもよい。通信確立部４１は、学習の完了が近づいたとき、例えば１０回目の学習の４バッチ目が完了したときに次のセキュアな通信を確立してもよい。
　通信確立部４１は、ローカルモデルＬａの学習の進捗度、ローカルモデルＬｂの学習の進捗度、およびローカルモデルＬｃの学習の進捗度が閾値を超えた場合、情報端末２ａ、２ｂ、および２ｃとの間で順次セキュアな通信を確立してもよい。また、通信確立部４１は、いずれかのローカルモデルＬの学習の進捗度が閾値を超えた場合、対応する情報端末２との間でセキュアな通信を確立してもよい。
　通信確立部４１は、複数のローカルモデルＬを統合する処理の進捗度に基づいて次のセキュアな通信を確立してもよい。統合部４４における処理が単純な算術平均でない場合や、組織の数が多い場合、統合部４４の処理に長時間を要する可能性がある。統合部４４における処理が終了した後に、次の処理を開始できると効率的である。
　また、秘密計算技術を適用する場合、統合部４４の処理に長時間を要する可能性がある。ローカルモデルＬをリバースエンジニアリングすることで、学習に使用したデータセットを推測され得ることが知られている。したがって、ローカルモデルＬの秘匿性を向上させるため、ローカルモデルＬを統合する際に秘密計算を実行することが望まれている。秘密計算とはデータを暗号化したまま計算処理を行う技術であり、マルチパーティ計算（ＭＰＣ）や準同型暗号を用いた秘密計算技術が知られている。
　図４は、ローカルモデルＬを生成する処理の流れを示すフローチャートである。学習装置４が、初期のローカルモデルＬを記憶しているものとする（ステップＳ１０１）。
　次に、学習装置４の通信確立部４１は、セキュアな通信を確立するタイミングかを判定する（ステップＳ１０２）。セキュアな通信を確立するタイミングではない場合（ステップＳ１０２のＮＯ）、ステップＳ１０２の処理に戻る。
　セキュアな通信を確立するタイミングである場合（ステップＳ１０２のＹＥＳ）、通信確立部４１が情報端末２と学習装置４の間でセキュアな通信を確立し、取得部４２が情報端末２からデータセットを取得する（ステップＳ１０３）。その後、通信確立部４１は、セキュアな通信を終了する。
　ステップＳ１０３では、複数のデータセットを取得してもよい。まず、情報端末２ａと学習装置４の間でセキュアな通信を確立し、取得部４２が情報端末２ａからデータセットを取得し、通信確立部４１がセキュアな通信を終了させる。その後、情報端末２ｂと学習装置４の間でセキュアな通信を確立し、取得部４２が情報端末２ｂからデータセットを取得し、通信確立部４１がセキュアな通信を終了させる。その後、情報端末２ｃと学習装置４の間でセキュアな通信を確立し、取得部４２が情報端末２ｃからデータセットを取得し、通信確立部４１がセキュアな通信を終了させる。もちろん、ステップＳ１０３で、情報端末２ａ、２ｂ、および２ｃのいずれかからデータセットを取得してもよい。
　次に、学習部４３が、ステップＳ１０３で取得したデータセットをローカルモデルＬに学習させ、ローカルモデルＬを更新する（ステップＳ１０４）。ステップＳ１０３で複数のデータセットを取得した場合、ステップＳ１０４で複数のローカルモデルＬを更新してもよい。ローカルモデルＬを更新した後、ステップＳ１０２に戻る。なお、複数のローカルモデルＬを統合する処理は、任意のタイミングで行われてよい。
　実施形態２にかかる学習装置は、適切な通信タイミングで各組織のネットワークにＶＰＮ接続し、当該組織のデータセットを取得する。これにより、データセットを安全に受信し、適切なタイミングでローカルモデルを構築できる。
　なお、セキュアな通信は、ＶＰＮによる通信には限定されない。セキュアな通信は、任意のセキュアな通信プロトコル（例：暗号化プロトコル）による通信であってよい。データセットが、セキュアな通信プロトコル（例：Ｓ／ＭＩＭＥ）を用いて、メールにより情報端末２から学習装置４へ送信されてもよい。
＜実施形態２の変形例＞
　グローバルモデルを統合する統合部４４を備えた装置と、ローカルモデルＬを構築する学習部４３を備えた装置とが異なっていてもよい。この場合、統合部４４を備えた装置が、学習部４３を備えた装置との間でセキュアな通信（例：ＳＳＬ）を確立し、ローカルモデルＬを取得してもよい。これにより、データセットが蓄積されるリポジトリ（例：情報端末２）とローカルモデルＬの間の通信をセキュアにできるだけでなく、ローカルモデルＬとグローバルモデルの間の通信をセキュアにできる。
＜実施形態３＞
　実施形態３は、実施形態２の具体例である。実施形態３にかかる学習装置は、ローカルモデルのモデルパラメータを秘密計算で統合する。図５は、実施形態３にかかる学習システム１００ａの構成を示すブロック図である。図２と図５を比較すると、サーバ群５が追加されている。
　サーバ群５は、複数の秘密計算サーバ５１を含んでいる。なお、秘密計算サーバ５１の数は３つに限られるものではない。ただし、秘密計算を実行する上では秘密計算サーバ５１の数が３つ以上であることが好ましい。
　サーバ群５は、ローカルモデルＬａ、ローカルモデルＬｂ、およびローカルモデルＬｃを統合し、秘密計算の結果を学習装置４に送信する。
　学習装置４の統合部４４は、ローカルモデルＬａのモデルパラメータを複数（例：３つ）のシェアに分け、複数のシェアを複数の秘密計算サーバ５１に送信する。統合部４４は、ローカルモデルＬｂのモデルパラメータを複数のシェアに分け、複数のシェアを複数の秘密計算サーバ５１に送信する。統合部４４は、ローカルモデルＬｃのモデルパラメータを複数のシェアに分け、複数のシェアを複数の秘密計算サーバ５１に送信する。
　各秘密計算サーバ５１は、受け取ったシェアを用いて、グローバルモデルを計算するための秘密計算を行う。シェアからはローカルモデルを知られることがなく、シェアを使った計算は秘密計算と言える。複数の秘密計算サーバ５１が協調してマルチパーティ計算（ＭＰＣ）を行ってもよい。ローカルモデルＬの統合に必要な計算量は十分小さいため、サーバ群５は現実的な時間で秘密計算を実行できると考えられる。
　実施形態３も、実施形態２と同様の効果を奏する。また、実施形態３によれば、グローバルモデルを統合するための計算を秘匿化できる。
　なお、上述したプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する通信確立手段と、
　前記セキュアな通信を用いて、前記情報端末から組織ごとのデータセットを取得する取得手段と、
　前記データセットをローカルモデルに学習させる学習手段と、
　複数のデータセットを学習させた複数のローカルモデルを統合する統合手段と
　を備える学習装置。
　（付記２）
　前記通信確立手段は、前記ローカルモデルの学習の進捗度に基づいて次のセキュアな通信を確立する
　付記１に記載の学習装置。
　（付記３）
　前記通信確立手段は、前記ローカルモデルのモデルパラメータが収束した場合、前記次のセキュアな通信を確立する
　付記１に記載の学習装置。
　（付記４）
　前記通信確立手段は、予め定められたタイミングで前記セキュアな通信を確立する
　付記１に記載の学習装置。
　（付記５）
　前記通信確立手段は、各情報端末からの要求の受信に応じて前記セキュアな通信を確立する
　付記１に記載の学習装置。
　（付記６）
　前記情報端末に蓄積された前記データセットのデータ量が所定量を超えた場合、前記情報端末によって前記要求が送信される
　付記５に記載の学習装置。
　（付記７）
　前記通信確立手段は、前記複数のローカルモデルを統合する処理の進捗度に基づいて次のセキュアな通信を確立する
　付記１に記載の学習装置。
　（付記８）
　前記統合手段は、秘密計算技術を用いて前記複数のローカルモデルを統合する
　付記７に記載の学習装置。
　（付記９）
　前記通信確立手段は、前記学習装置を前記ネットワークにＶＰＮ（Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）接続させることで、前記セキュアな通信を確立する
　付記１から８のいずれか１項に記載の学習装置。
　（付記１０）
　各組織のネットワークに配置された情報端末と、
　学習装置と、
　を備えた学習システムであって、
　前記学習装置は、
　前記情報端末との間でセキュアな通信を確立し、
　前記セキュアな通信を用いて情報端末から組織ごとのデータセットを取得し、
　前記データセットをローカルモデルに学習させ、
　複数のデータセットを学習させた複数のローカルモデルを統合する
　学習システム。
　（付記１１）
　前記学習装置は、前記ローカルモデルにおける学習の進捗度に基づいて次のセキュアな通信を確立する
　付記１０に記載の学習システム。
　（付記１２）
　コンピュータが、
　各組織のネットワークに配置された情報端末との間でセキュアな通信を確立し、
　前記セキュアな通信を用いて情報端末から組織ごとのデータセットを取得し、
　前記データセットをローカルモデルに学習させ、
　複数のデータセットを学習させた複数のローカルモデルを統合する
　学習方法。
　（付記１３）
　コンピュータに、
　各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する処理と、
　前記セキュアな通信を用いて情報端末から組織ごとのデータセットを取得する処理と、
　前記データセットをローカルモデルに学習させる処理と、
　複数のデータセットを学習させた複数のローカルモデルを統合する処理と
　を実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
１、４　　学習装置
１１、４１　　通信確立部
１２、４２　　取得部
１３、４３　　学習部
１４、４４　　統合部
２、２ａ、２ｂ、２ｃ　　情報端末
３、３ａ、３ｂ、３ｃ　　ＶＰＮ装置
１００、１００ａ　　学習システム
５　　サーバ群
５１　　秘密計算サーバ
Ｎ、Ｎａ、Ｎｂ、Ｎｃ　　ネットワーク
ＰＮ　　公衆網

Claims (13)

  1. 　各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する通信確立手段と、
    　前記セキュアな通信を用いて、前記情報端末から組織ごとのデータセットを取得する取得手段と、
    　前記データセットをローカルモデルに学習させる学習手段と、
    　複数のデータセットを学習させた複数のローカルモデルを統合する統合手段と
    　を備える学習装置。
  2. 　前記通信確立手段は、前記ローカルモデルの学習の進捗度に基づいて次のセキュアな通信を確立する
    　請求項１に記載の学習装置。
  3. 　前記通信確立手段は、前記ローカルモデルのモデルパラメータが収束した場合、次のセキュアな通信を確立する
    　請求項１に記載の学習装置。
  4. 　前記通信確立手段は、予め定められたタイミングで前記セキュアな通信を確立する
    　請求項１に記載の学習装置。
  5. 　前記通信確立手段は、各情報端末からの要求の受信に応じて前記セキュアな通信を確立する
    　請求項１に記載の学習装置。
  6. 　前記要求は、前記情報端末に蓄積された前記データセットのデータ量が所定量を超えた場合に送信される
    　請求項５に記載の学習装置。
  7. 　前記通信確立手段は、前記複数のローカルモデルを統合する処理の進捗度に基づいて次のセキュアな通信を確立する
    　請求項１に記載の学習装置。
  8. 　前記統合手段は、秘密計算技術を用いて前記複数のローカルモデルを統合する
    　請求項７に記載の学習装置。
  9. 　前記通信確立手段は、前記学習装置を前記ネットワークにＶＰＮ（Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）接続させることで、前記セキュアな通信を確立する
    　請求項１から８のいずれか１項に記載の学習装置。
  10. 　各組織のネットワークに配置された情報端末と、
    　学習装置と、
    　を備えた学習システムであって、
    　前記学習装置は、
    　前記情報端末との間でセキュアな通信を確立し、
    　前記セキュアな通信を用いて情報端末から組織ごとのデータセットを取得し、
    　前記データセットをローカルモデルに学習させ、
    　複数のデータセットを学習させた複数のローカルモデルを統合する
    　学習システム。
  11. 　前記学習装置は、前記ローカルモデルにおける学習の進捗度に基づいて次のセキュアな通信を確立する
    　請求項１０に記載の学習システム。
  12. 　コンピュータが、
    　各組織のネットワークに配置された情報端末との間でセキュアな通信を確立し、
    　前記セキュアな通信を用いて情報端末から組織ごとのデータセットを取得し、
    　前記データセットをローカルモデルに学習させ、
    　複数のデータセットを学習させた複数のローカルモデルを統合する
    　学習方法。
  13. 　コンピュータに、
    　各組織のネットワークに配置された情報端末との間でセキュアな通信を確立する処理と、
    　前記セキュアな通信を用いて情報端末から組織ごとのデータセットを取得する処理と、
    　前記データセットをローカルモデルに学習させる処理と、
    　複数のデータセットを学習させた複数のローカルモデルを統合する処理と
    　を実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
PCT/JP2022/036759 2022-09-30 2022-09-30 学習装置、学習システム、学習方法、およびコンピュータ可読媒体 Ceased WO2024069956A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/874,190 US20250373585A1 (en) 2022-09-30 2022-09-30 Learning apparatus, learning system, learning method, and computer readable medium
JP2024549044A JPWO2024069956A5 (ja) 2022-09-30 学習装置、学習システム、学習方法、およびプログラム
PCT/JP2022/036759 WO2024069956A1 (ja) 2022-09-30 2022-09-30 学習装置、学習システム、学習方法、およびコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/036759 WO2024069956A1 (ja) 2022-09-30 2022-09-30 学習装置、学習システム、学習方法、およびコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2024069956A1 true WO2024069956A1 (ja) 2024-04-04

Family

ID=90476702

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/036759 Ceased WO2024069956A1 (ja) 2022-09-30 2022-09-30 学習装置、学習システム、学習方法、およびコンピュータ可読媒体

Country Status (2)

Country Link
US (1) US20250373585A1 (ja)
WO (1) WO2024069956A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015061304A (ja) * 2013-09-20 2015-03-30 富士通株式会社 通信制御装置、通信制御方法および通信制御プログラム
JP2017163360A (ja) * 2016-03-09 2017-09-14 富士通株式会社 データ管理方法及びデータ管理システム
JP2018147261A (ja) * 2017-03-06 2018-09-20 Kddi株式会社 モデル統合装置、モデル統合システム、方法およびプログラム
JP2019526851A (ja) * 2016-07-18 2019-09-19 ナント ホールディングス アイピー エルエルシーＮａｎｔ Ｈｏｌｄｉｎｇｓ ＩＰ， ＬＬＣ 分散型機械学習システム、装置、および方法
JP2020046928A (ja) * 2018-09-19 2020-03-26 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015061304A (ja) * 2013-09-20 2015-03-30 富士通株式会社 通信制御装置、通信制御方法および通信制御プログラム
JP2017163360A (ja) * 2016-03-09 2017-09-14 富士通株式会社 データ管理方法及びデータ管理システム
JP2019526851A (ja) * 2016-07-18 2019-09-19 ナント ホールディングス アイピー エルエルシーＮａｎｔ Ｈｏｌｄｉｎｇｓ ＩＰ， ＬＬＣ 分散型機械学習システム、装置、および方法
JP2018147261A (ja) * 2017-03-06 2018-09-20 Kddi株式会社 モデル統合装置、モデル統合システム、方法およびプログラム
JP2020046928A (ja) * 2018-09-19 2020-03-26 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20250373585A1 (en) 2025-12-04
JPWO2024069956A1 (ja) 2024-04-04

Similar Documents

Publication Publication Date Title
CN111611610B (zh) 联邦学习信息处理方法、系统、存储介质、程序、终端
Zhang et al. Federated learning for the internet of things: Applications, challenges, and opportunities
Zhang et al. SafeCity: Toward safe and secured data management design for IoT-enabled smart city planning
Nguyen et al. Impact of network delays on Hyperledger Fabric
CN110135986B (zh) 一种基于区块链智能合约实现的可搜索加密文件数据方法
CN111901309A (zh) 一种数据安全共享方法、系统及装置
CN113537495B (zh) 基于联邦学习的模型训练系统、方法、装置和计算机设备
EP3566389A1 (en) Distributed privacy-preserving verifiable computation
Manju Bala et al. Blockchain-based IoT architecture for software-defined networking
US10873455B2 (en) Techniques for encryption key rollover synchronization in a network
Pajic et al. Topological conditions for in-network stabilization of dynamical systems
CN110310176B (zh) 一种基于区块链网络的数据加密方法及装置
CN112235266A (zh) 一种数据处理方法、装置、设备及存储介质
US11212083B2 (en) Slave secure sockets layer proxy system
CN117581505A (zh) 多用户量子密钥分发和管理的方法和系统
CN115481441A (zh) 面向联邦学习的差分隐私保护方法及装置
Danner et al. Robust fully distributed minibatch gradient descent with privacy preservation
US20240177018A1 (en) Systems and Methods for Differentially Private Federated Machine Learning for Large Models and a Strong Adversary
US20200267138A1 (en) Centrally managing data for distributed identity-based firewalling
CN116057528A (zh) 支持安全数据路由的方法和装置
WO2019186484A1 (zh) Protocol configuration system, device and method in industrial cloud
WO2024069956A1 (ja) 学習装置、学習システム、学習方法、およびコンピュータ可読媒体
WO2024069957A1 (ja) 学習装置、学習システム、学習方法、およびコンピュータ可読媒体
Khan et al. IoT and blockchain integration challenges
CN114760023A (zh) 基于联邦学习的模型训练方法、装置及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22961015

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18874190

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2024549044

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22961015

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18874190

Country of ref document: US