[go: up one dir, main page]

CN111638803B - 基于联邦迁移的脑电数据处理方法、装置、设备及介质 - Google Patents

基于联邦迁移的脑电数据处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN111638803B
CN111638803B CN202010570925.5A CN202010570925A CN111638803B CN 111638803 B CN111638803 B CN 111638803B CN 202010570925 A CN202010570925 A CN 202010570925A CN 111638803 B CN111638803 B CN 111638803B
Authority
CN
China
Prior art keywords
eeg data
processing
brain activity
loss value
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010570925.5A
Other languages
English (en)
Other versions
CN111638803A (zh
Inventor
高大山
鞠策
魏锡光
刘洋
陈天健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010570925.5A priority Critical patent/CN111638803B/zh
Publication of CN111638803A publication Critical patent/CN111638803A/zh
Application granted granted Critical
Publication of CN111638803B publication Critical patent/CN111638803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Fuzzy Systems (AREA)
  • Computing Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于联邦迁移的脑电数据处理方法、装置、设备及介质,该方法包括:获取多组脑电数据,并将多组所述脑电数据分别传输到本地终端内的各特征映射模型进行映射处理,生成标准脑电数据;将标准脑电数据传输到本地终端内的脑活动识别模型进行处理,生成模型参数传输到预设公共服务器进行聚合;接收经聚合返回的更新参数,对脑活动识别模型更新,并基于更新的脑活动识别模型对各特征映射模型重新映射处理得到的标准脑电数据进行处理,直到脑活动识别模型生成的总损失值小于预设值,完成基于联邦迁移对多组脑电数据的处理。本发明实现了在充分保护用户隐私的前提下对脑电数据进行处理,且避免以各种方式去获取脑电数据,提高了处理效率。

Description

基于联邦迁移的脑电数据处理方法、装置、设备及介质
技术领域
本发明涉及金融科技(Fintech)技术领域,尤其涉及一种基于联邦迁移的脑电数据处理方法、装置、设备及介质。
背景技术
随着金融科技(Fintech),尤其是互联网科技金融的不断发展,越来越多的技术(如大数据、云存储、机器学习等)应用在金融领域,但金融业也对各类技术提出了更高的要求,如要求通过机器学习来对脑电数据进行处理,以反映用户的心理状态、精神状态等。
当前EEG(Electroencephalogram,脑电图)被认为是实现非侵入式脑机接口(Brain-computer interface,BCI)的理想途径,研究者不断尝试从EEG信号中分析复杂的大脑活动。而机器学习作为一种典型的解决方法,可通过对人工收集的大量EEG数据(即脑电数据)进行处理训练,来实现根据EEG信号数据识别多种脑活动。但是,单个脑电设备使用者在一定时间内很难产生足够的用于机器学习处理训练的所需数据,使得用于处理训练的EEG数据存在稀缺性的问题。
同时,脑电数据类型因采集设备的电极数量,电极位置,电极种类(干电极、湿电极),采样率等因素的不同而不同,导致了脑电数据因设备不同而出现异质性。而针对异质性的不同类型的脑电数据往往需要单独处理训练不同的机器学习模型,如此一来,又因异质性加剧了用于处理训练的数据的稀缺性。
此外,脑电数据具有很强的个体差异性,可用于反映个体的疲劳度、惊恐度、警觉度、行为意图等信息;若原始的脑电数据遭受泄露与滥用,可能会导致严重的隐私侵犯,从而在通过机器学习对脑电数据处理的过程中需要慎重考虑脑电数据隐私敏感性问题。综上,由于脑电数据所具有的稀缺性、异质性和隐私性特征,需要以各种方式去获取大量脑电数据,导致了当前的机器学习方法对脑电数据的处理效率低,且难以在充分保护用户隐私的前提下处理脑电数据。
发明内容
本发明的主要目的在于提供一种基于联邦迁移的脑电数据处理方法、装置、设备及介质,旨在解决现有技术中对脑电数据的处理效率低,且难以在充分保护用户隐私的前提下处理脑电数据的技术问题。
为实现上述目的,本发明提供一种基于联邦迁移的脑电数据处理方法,所述基于联邦迁移的脑电数据处理方法包括以下步骤:
获取多组脑电数据,并将多组所述脑电数据分别传输到本地终端内,与多组所述脑电数据分别对应的特征映射模型进行映射处理,生成标准脑电数据;
将所述标准脑电数据传输到本地终端内的脑活动识别模型进行处理,生成模型参数传输到预设公共服务器,以供所述预设公共服务器对所述模型参数和至少一个他方终端发送的其他模型参数进行聚合,生成更新参数;
接收所述更新参数,对所述脑活动识别模型进行更新,并基于更新的所述脑活动识别模型对各特征映射模型重新映射处理得到的标准脑电数据进行处理,直到所述脑活动识别模型所生成的总损失值小于预设值,完成基于联邦迁移对多组所述脑电数据的处理。
可选地,所述完成基于联邦迁移对多组所述脑电数据的处理的步骤之后,所述方法还包括:
当接收到待处理脑电数据时,调用所述特征映射模型进行映射处理;
将映射处理的待处理脑电数据传输到脑活动识别模型进行分类处理,获得与所述待处理脑电数据对应的脑活动类型。
可选地,所述将多组所述脑电数据分别传输到本地终端内,与多组所述脑电数据分别对应的特征映射模型进行映射处理,生成标准脑电数据的步骤包括:
根据多组所述脑电数据的数据属性,对多组所述脑电数据进行预处理;
将经预处理的多组所述脑电数据分别传输到本地终端内,并根据本地终端内与多组所述脑电数据分别对应的特征映射模型,对多组所述脑电数据分别进行映射处理,生成所述标准脑电数据。
可选地,所述基于更新的所述脑活动识别模型对各特征映射模型重新映射处理得到的标准脑电数据进行处理的步骤之后,所述方法包括:
获取更新后的所述脑活动识别模型对重新映射处理得到的标准脑电数据进行处理所生成的处理结果,并根据所述处理结果,确定经更新后所述脑活动识别模型对应的分类损失值;
根据重新映射处理的标准脑电数据,确定与各所述特征映射模型对应的降维损失值;
根据所述分类损失值和所述降维损失值,确定经更新后所述脑活动识别模型的总损失值。
可选地,所述根据所述处理结果,确定经更新后所述脑活动识别模型对应的分类损失值的步骤包括:
读取所述标准脑电数据的参考结果,并在所述参考结果和所述处理结果之间进行相似度计算,生成第一相似度值;
根据所述第一相似度值,确定经更新后所述脑活动识别模型的分类损失值。
可选地,所述根据重新映射处理的标准脑电数据,确定与各所述特征映射模型对应的降维损失值的步骤包括:
根据重新映射处理的标准脑电数据与多组所述脑电数据之间的对应关系,将重新映射处理的标准脑电数据划分为多组标准子数据;
对多组所述标准子数据进行两两组合,并对各所述组合中的每组标准子数据分别进行再现处理,生成各所述组合中的两组数据点;
对各所述组合中每组数据点分别进行均值处理,生成各所述组合中每组数据点的平均值,并根据各所述组合中每组数据点的平均值,生成各所述组合的第二相似度值;
根据各所述组合的第二相似度值,确定各所述组合的组合降维损失值,并根据各所述组合降维损失值,生成与各所述特征映射模型对应的降维损失值。
可选地,所述根据所述分类损失值和所述降维损失值,确定经更新后所述脑活动识别模型的总损失值的步骤之后,所述方法还包括:
判断所述总损失值是否在预设次数内均小于预设值,若在预设次数内均小于预设值,则判定经更新后所述脑活动识别模型所生成的总损失值小于预设值;
若未在预设次数内均小于预设值,则执行接收所述更新参数,对所述脑活动识别模型进行更新的步骤。
进一步地,为实现上述目的,本发明还提供一种基于联邦迁移的脑电数据处理装置,所述基于联邦迁移的脑电数据处理装置包括:
获取模块,用于获取多组脑电数据,并将多组所述脑电数据分别传输到本地终端内,与多组所述脑电数据分别对应的特征映射模型进行映射处理,生成标准脑电数据;
生成模块,用于将所述标准脑电数据传输到本地终端内的脑活动识别模型进行处理,生成模型参数传输到预设公共服务器,以供所述预设公共服务器对所述模型参数和至少一个他方终端发送的其他模型参数进行聚合,生成更新参数;
更新模块,用于接收所述更新参数,对所述脑活动识别模型进行更新,并基于更新的所述脑活动识别模型对各特征映射模型重新映射处理得到的标准脑电数据进行处理,直到所述脑活动识别模型所生成的总损失值小于预设值,完成基于联邦迁移对多组所述脑电数据的处理。
进一步地,为实现上述目的,本发明还提供一种基于联邦迁移的脑电数据处理设备,所述基于联邦迁移的脑电数据处理设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于联邦迁移的脑电数据处理程序,所述基于联邦迁移的脑电数据处理程序被所述处理器执行时实现如上述所述的基于联邦迁移的脑电数据处理方法的步骤。
进一步地,为实现上述目的,本发明还提供一种介质,所述介质上存储有基于联邦迁移的脑电数据处理程序,所述基于联邦迁移的脑电数据处理程序被处理器执行时实现如上所述的基于联邦迁移的脑电数据处理方法的步骤。
本发明的基于联邦迁移的脑电数据处理方法,将由多个设备获取的多组脑电数据分别传输到本地终端内,与多个设备连接的特征映射模型进行映射处理,生成本地终端的标准脑电数据;此后,将该标准脑电数据传输到本地终端内的脑活动识别模型进行处理,生成模型参数传输到预设公共服务器进行联邦迁移训练,预设公共服务器该模型参数和至少来自于一个他方终端的其他模型参数进行聚合,生成更新参数返回到本地终端;通过接收到更新参数对脑活动识别模型更新,脑活动识别模型更新过程中,多个特征映射模型也分别在对各自的脑电数据重新映射处理,得到标准脑电数据,基于更新的脑活动识别模型对该重新映射处理的标准脑电数据进行处理,直到脑活动识别模型所生成的总损失值小于预设值,表征脑活动识别模型收敛,具有较好的处理效果,才完成基于联邦迁移对多组脑电数据的处理。因多组脑电数据由多个设备获取而来,避免了脑电数据所存在的稀缺性问题;同时通过对各组脑电数据进行映射处理,使得各脑电数据符合处理的要求,避免因各组脑电数据所来自的设备不同而出现异质性的问题;进而通过联邦迁移学习对各终端的标准脑电数据进行处理,因联邦迁移学习过程中各终端的标准脑电数据保留在终端本地,以此避免了隐私信息的泄露。因此,实现了在充分保护用户隐私的前提下对脑电数据进行处理,且因脑电数据不存在稀缺性和异质性的问题,不需要以各种方式去获取大量脑电数据,使得处理效率大大提高。
附图说明
图1为本发明基于联邦迁移的脑电数据处理设备实施例方案涉及的设备硬件运行环境的结构示意图;
图2为本发明基于联邦迁移的脑电数据处理方法第一实施例的流程示意图;
图3为本发明基于联邦迁移的脑电数据处理装置较佳实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明提供一种基于联邦迁移的脑电数据处理设备,参照图1,图1为本发明基于联邦迁移的脑电数据处理设备实施例方案涉及的设备硬件运行环境的结构示意图。
如图1所示,该基于联邦迁移的脑电数据处理设备可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
本领域技术人员可以理解,图1中示出的基于联邦迁移的脑电数据处理设备的硬件结构并不构成对基于联邦迁移的脑电数据处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于联邦迁移的脑电数据处理程序。其中,操作系统是管理和控制基于联邦迁移的脑电数据处理设备与软件资源的程序,支持网络通信模块、用户接口模块、基于联邦迁移的脑电数据处理程序以及其他程序或软件的运行;网络通信模块用于管理和控制网络接口1004;用户接口模块用于管理和控制用户接口1003。
在图1所示的基于联邦迁移的脑电数据处理设备硬件结构中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;处理器1001可以调用存储器1005中存储的基于联邦迁移的脑电数据处理程序,并执行以下操作:
获取多组脑电数据,并将多组所述脑电数据分别传输到本地终端内,与多组所述脑电数据分别对应的特征映射模型进行映射处理,生成标准脑电数据;
将所述标准脑电数据传输到本地终端内的脑活动识别模型进行处理,生成模型参数传输到预设公共服务器,以供所述预设公共服务器对所述模型参数和至少一个他方终端发送的其他模型参数进行聚合,生成更新参数;
接收所述更新参数,对所述脑活动识别模型进行更新,并基于更新的所述脑活动识别模型对各特征映射模型重新映射处理得到的标准脑电数据进行处理,直到所述脑活动识别模型所生成的总损失值小于预设值,完成基于联邦迁移对多组所述脑电数据的处理。
进一步地,所述完成基于联邦迁移对多组所述脑电数据的处理的步骤之后,处理器1001可以调用存储器1005中存储的基于联邦迁移的脑电数据处理程序,并执行以下操作:
当接收到待处理脑电数据时,调用所述特征映射模型进行映射处理;
将映射处理的待处理脑电数据传输到脑活动识别模型进行分类处理,获得与所述待处理脑电数据对应的脑活动类型。
进一步地,所述将多组所述脑电数据分别传输到本地终端内,与多组所述脑电数据分别对应的特征映射模型进行映射处理,生成标准脑电数据的步骤包括:
根据多组所述脑电数据的数据属性,对多组所述脑电数据进行预处理;
将经预处理的多组所述脑电数据分别传输到本地终端内,并根据本地终端内与多组所述脑电数据分别对应的特征映射模型,对多组所述脑电数据分别进行映射处理,生成所述标准脑电数据。
进一步地,所述基于更新的所述脑活动识别模型对各特征映射模型重新映射处理得到的标准脑电数据进行处理的步骤之后,处理器1001可以调用存储器1005中存储的基于联邦迁移的脑电数据处理程序,并执行以下操作:
获取更新后的所述脑活动识别模型对重新映射处理得到的标准脑电数据进行处理所生成的处理结果,并根据所述处理结果,确定经更新后所述脑活动识别模型对应的分类损失值;
根据重新映射处理的标准脑电数据,确定与各所述特征映射模型对应的降维损失值;
根据所述分类损失值和所述降维损失值,确定经更新后所述脑活动识别模型的总损失值。
进一步地,所述根据所述处理结果,确定经更新后所述脑活动识别模型对应的分类损失值的步骤包括:
读取所述标准脑电数据的参考结果,并在所述参考结果和所述处理结果之间进行相似度计算,生成第一相似度值;
根据所述第一相似度值,确定经更新后所述脑活动识别模型的分类损失值。
进一步地,所述根据重新映射处理的标准脑电数据,确定与各所述特征映射模型对应的降维损失值的步骤包括:
根据重新映射处理的标准脑电数据与多组所述脑电数据之间的对应关系,将重新映射处理的标准脑电数据划分为多组标准子数据;
对多组所述标准子数据进行两两组合,并对各所述组合中的每组标准子数据分别进行再现处理,生成各所述组合中的两组数据点;
对各所述组合中每组数据点分别进行均值处理,生成各所述组合中每组数据点的平均值,并根据各所述组合中每组数据点的平均值,生成各所述组合的第二相似度值;
根据各所述组合的第二相似度值,确定各所述组合的组合降维损失值,并根据各所述组合降维损失值,生成与各所述特征映射模型对应的降维损失值。
进一步地,所述根据所述分类损失值和所述降维损失值,确定经更新后所述脑活动识别模型的总损失值的步骤之后,处理器1001可以调用存储器1005中存储的基于联邦迁移的脑电数据处理程序,并执行以下操作:
判断所述总损失值是否在预设次数内均小于预设值,若在预设次数内均小于预设值,则判定经更新后所述脑活动识别模型所生成的总损失值小于预设值;
若未在预设次数内均小于预设值,则执行接收所述更新参数,对所述脑活动识别模型进行更新的步骤。
本发明基于联邦迁移的脑电数据处理设备的具体实施方式与下述基于联邦迁移的脑电数据处理方法各实施例基本相同,在此不再赘述。
本发明还提供一种基于联邦迁移的脑电数据处理方法。
参照图2,图2为本发明基于联邦迁移的脑电数据处理方法第一实施例的流程示意图。
本发明实施例提供了基于联邦迁移的脑电数据处理方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。具体地,本实施例中的基于联邦迁移的脑电数据处理方法包括:
步骤S10,获取多组脑电数据,并将多组所述脑电数据分别传输到本地终端内,与多组所述脑电数据分别对应的特征映射模型进行映射处理,生成标准脑电数据。
本实施例中的基于联邦迁移的脑电数据处理方法应用于联邦迁移的本地终端,适用于通过本地终端借助联邦迁移学习联合至少一个他方终端对脑电数据进行处理。因本地终端内部和他方终端内部对脑电数据的处理过程相似,本实施例优先以本地终端为例说明该内部处理过程。其中,脑电(EEG)是指头皮脑电,是采用安放在头皮的电极记录并通过信号放大器放大得到的电信号,是大脑皮层的神经细胞集群发生同步化放电的突触活动而产生电位变化在头皮的总体反映。EEG含有丰富的大脑活动信息,当人处于较高警觉性并进行较高难度的任务时,脑电活动的主要成分会趋向于幅度较低、频率较高的β波;当人处于清醒但较低的警觉性时,α波活动增强;当人处于困倦状态时,θ波明显增强。一般认为,心理压力、思维活跃和注意都会促使脑电活动向较高频段移动并且抑制α波的活动。即EEG可用于反映个体的疲劳度、惊恐度、警觉度、行为意图等信息。
本实施例中本地终端连接有多种可对脑电数据进行采集的采集设备,如传感器、记录仪等,以通过各种采集设备来采集脑电数据,即EEG数据。对采集的脑电数据按照各采集设备进行分组,将由同一个采集设备采集的EEG数据作为一组脑电数据。因同一采集设备所采集的EEG数据的类型相同,使得每组脑电数据的数据类型相同,而不同组之间的脑电数据类型不同。如某一采集设备包含两个电极,用于采集在闭眼和呼吸状态下的EEG数据,则由该采集设备采集EEG数据所形成的脑电数据,均表征闭眼和呼吸状态下的数据,属于同一数据类型;另一采集设备包含两个电极,用于采集在声刺激和光刺激状态下的EEG数据,则由该采集设备采集EEG数据所形成的脑电数据,均表征光刺激和声刺激状态下的数据,属于同一数据类型。
进一步地,本地终端内设置有多个特征映射模型,且每个特征映射模型均与一个采集设备连接,将各组脑电数据按照采集设备所连接的特征映射模型进行传输,传输到各自连接的特征映射模型中进行映射处理。其中映射处理其实质为格式上的标准化处理,经处理得到各终端的标准脑电数据,以使得各采集设备所采集的脑电数据在格式上具有一致性,便于通过联邦迁移学习对具有相同格式的脑电数据进行处理。具体地,将多组脑电数据分别传输到本地终端内,与多组脑电数据分别对应的特征映射模型进行映射处理,生成标准脑电数据的步骤包括:
步骤S11,根据多组所述脑电数据的数据属性,对多组所述脑电数据进行预处理;
步骤S12,将经预处理的多组所述脑电数据分别传输到本地终端内,并根据本地终端内与多组所述脑电数据分别对应的特征映射模型,对多组所述脑电数据分别进行映射处理,生成所述标准脑电数据。
可理解地,不同采集设备所采集的脑电数据具有不同的属性,可能是电流数据,也可能是电压数据,或者是电磁波数据;且经采集的原始脑电数据可能具有不适合直接处理的因素,而需要进行预处理。该预处理的方式依据属性的不同而不同,至少包括两部分,第一部分的预处理包括前置放大、高通滤波、低通滤波、后级放大、电平迁移等,此后的第二部分预处理包括A/D采样、50HZ陷波和基线漂移等信号处理方式。在采集到多组脑电数据后,依据每组脑电数据中各脑电数据的数据属性进行预处理,直到各组脑电数据中的所有脑电数据均预处理完成,才传输到各自的终端中进行映射处理。
进一步地,本地终端内所设置的多个特征映射模型其实质为全联接的神经网络,可以是两层、也可以是三层或者是更多层,每一层均设置有诸如ReLU之类的激活函数。在前一层的向量经加权计算得到计算结果后,通过该激活函数激活,将计算结果传输到下一层继续计算,直到各层均计算完成。通过本地终端内与每个采集设备分别连接的特征映射模型,对传输到其中经预处理的脑电数据进行降维映射处理,筛选出干扰数据,或者不符合要求的脑电数据,以降维减少对不必要数据的处理;同时对必要的脑电数据进行映射,使其符合处理标准。
需要说明的是,本地终端中作为特征映射模型的神经网络的输出层维度相同,以使得各组脑电数据经各特征映射模型处理后,具有相同维度的标准脑电数据,便于借助联邦迁移学习对各标准脑电数据处理维度的一致性,有利于处理结果的准确性。
此外,为了便于实现映射,可在本地终端中设置公共特征子空间,各特征映射模型将经映射处理的各组脑电数据映射到该公共特征子空间中;通过公共特征子空间表征各组经映射处理的数据均具有符合处理标准的公共特征。在本地终端均对传输到其中的各组脑电数据均处理完成后,即得到本地终端的标准脑电数据。进而可借助联邦迁移学习对该标准脑电数据进行处理,以得到用于识别脑活动的脑活动识别模型的模型参数,使脑活动识别模型对脑活动的识别更为准确。
步骤S20,将所述标准脑电数据传输到本地终端内的脑活动识别模型进行处理,生成模型参数传输到预设公共服务器,以供所述预设公共服务器对所述模型参数和至少一个他方终端发送的其他模型参数进行聚合,生成更新参数;
随着科技的发展,“机器学习”已成为人工智能的核心研究领域之一,而如何在保护数据隐私、满足合法合规要求的前提下继续进行机器学习,是机器学习领域现在关注的一个趋势,在此背景下,人们研究提出了“联邦学习”的概念。联邦学习利用技术算法加密建造的模型,联邦双方在不用给出己方数据的情况下,也可进行模型训练得到模型参数,联邦学习通过加密机制下的参数交换方式保护用户数据隐私,数据和模型本身不会进行传输,也不能反猜对方数据,因此在数据层面不存在泄露的可能,也不违反更严格的数据保护法案如GDPR(General Data Protection Regulation,《通用数据保护条例》)等,能够在较高程度保持数据完整性的同时,保障数据隐私。
本实施例的联邦迁移学习是联邦学习的一种类型,是指在至少两个数据集的用户与用户特征重叠都较少的情况下,不对数据进行切分,而利用迁移学习来克服数据或标签不足的情况。本实施在将经获取的多组脑电数据分别传输到不同特征映射模型进行映射处理,得到本地终端的标准脑电数据后,本地终端的标准脑电数据即形成数据集,可通过联邦迁移学习对其进行处理,生成用于对本地终端中脑活动识别模型进行更新的更新参数;通过将采集的大量脑电数据作为脑活动识别模型的更新依据,可使得脑活动识别模型对脑活动的识别更为准确。
进一步地,本地终端内的多个特征映射模型均与本地终端内的脑电识别模型连接,在借助联邦迁移学习对本地终端的标准脑电数据处理的过程中,先将经映射处理的标准脑电数据传输到本地终端中的脑电识别模型,由脑电识别模型进行处理,得到本地终端中脑电识别模型的模型参数。该模型参数其实质为用于对脑电识别模型的参数进行更新优化的模型梯度,以使得脑电识别更为准确。
需要说明的是,各组脑电数据在经预处理之后,采用人工干预的方式对各组脑电数据进行标注,再将该携带有标注信息的脑电数据分别映射到公共特征子空间。通过将公共特征子空间中的各项数据以及各自对应的标注信息,传输到脑电识别模型进行处理,来实现对脑电识别模型的训练,生成对脑电识别模型优化更新的更新参数。
更进一步地,本地终端和他方终端均与预先设置的预设公共服务器连接,本地终端在对其内部标准脑电数据进行处理,生成模型参数的同时,他方终端也在对其内部的标准脑电数据进行处理,生成他方终端的其他模型参数。本地终端将生成的模型参数进行加密处理,该加密方式可选用诸如Paillier’sscheme此类的加法同态加密,并将经加密的模型参数传输到预设公共服务器,在预设公共服务器中采用针对各终端所预先设置的权重值,对该模型参数以及至少来源于一个其他终端的模型参数进行加权聚合,生成对脑活动识别模型的参数进行更新的更新参数。
步骤S30,接收所述更新参数,对所述脑活动识别模型进行更新,并基于更新的所述脑活动识别模型对各特征映射模型重新映射处理得到的标准脑电数据进行处理,直到所述脑活动识别模型所生成的总损失值小于预设值,完成基于联邦迁移对多组所述脑电数据的处理。
进一步地,预设公共服务器将所生成的更新参数分别下发到各个终端,本地终端在接收到更新参数后,通过其对本地终端内脑活动识别模型的参数进行更新,以此实现脑活动识别模型的更新。此后,针对更新后的脑活动识别模型进行总损失值计算,设定判定总损失值大小的预设值;将计算的总损失值和该预设值对比,判断总损失值是否小于预设值。若小于预设值,则说明依据大量脑电数据更新后的脑活动识别模型,对脑电数据处理的损失值较小;判定脑活动识别模型训练结束,完成对多种脑电数据的处理。若不小于预设值,则说明对脑电数据处理的损失值较大,需要继续训练。其中,脑活动识别模型在更新过程中,多个特征映射模型也分别在对各自的脑电数据重新映射处理,得到标准脑电数据。继续训练时,基于更新的脑活动识别模型对该重新映射处理的标准脑电数据进行处理,生成新的模型参数传输到预设公共服务器,得到更新参数对脑活动识别模型进行更新,如此循环,直到更新后的脑活动识别模型所生成的总损失值小于预设值,完成基于联邦迁移对多组脑电数据的处理。
更进一步地,在训练结束得到用于对脑活动分类识别的脑活动识别模型后,若接收到需要进行脑活动分类识别的脑电数据,则将该脑电数据作为待处理脑电数据。调用本地终端内的特征映射模型进行映射处理,并将经映射处理的待处理脑电数据传输到脑活动识别模型进行分类,得到脑活动类型,体现待处理脑电数据所反映的脑活动。
本发明的基于联邦迁移的脑电数据处理方法,将由多个设备获取的多组脑电数据分别传输到本地终端内,与多个设备连接的特征映射模型进行映射处理,生成本地终端的标准脑电数据;此后,将该标准脑电数据传输到本地终端内的脑活动识别模型进行处理,生成模型参数传输到预设公共服务器进行联邦迁移训练,预设公共服务器该模型参数和至少来自于一个他方终端的其他模型参数进行聚合,生成更新参数返回到本地终端;通过接收到更新参数对脑活动识别模型更新,脑活动识别模型更新过程中,多个特征映射模型也分别在对各自的脑电数据重新映射处理,得到标准脑电数据,基于更新的脑活动识别模型对该重新映射处理的标准脑电数据进行处理,直到脑活动识别模型所生成的总损失值小于预设值,表征脑活动识别模型收敛,具有较好的处理效果,才完成基于联邦迁移对多组脑电数据的处理。因多组脑电数据由多个设备获取而来,避免了脑电数据所存在的稀缺性问题;同时通过对各组脑电数据进行映射处理,使得各脑电数据符合处理的要求,避免因各组脑电数据所来自的设备不同而出现异质性的问题;进而通过联邦迁移学习对各终端的标准脑电数据进行处理,因联邦迁移学习过程中各终端的标准脑电数据保留在终端本地,以此避免了隐私信息的泄露。因此,实现了在充分保护用户隐私的前提下对脑电数据进行处理,且因脑电数据不存在稀缺性和异质性的问题,不需要以各种方式去获取大量脑电数据,使得处理效率大大提高。
进一步地,基于本发明基于联邦迁移的脑电数据处理方法的第一实施例,提出本发明基于联邦迁移的脑电数据处理方法第二实施例。
所述基于联邦迁移的脑电数据处理方法第二实施例与所述基于联邦迁移的脑电数据处理方法第一实施例的区别在于,所述基于更新的所述脑活动识别模型对各特征映射模型重新映射处理得到的标准脑电数据进行处理的步骤之后,还包括:
步骤a1,获取更新后的所述脑活动识别模型对重新映射处理得到的标准脑电数据进行处理所生成的处理结果,并根据所述处理结果,确定经更新后各所述脑活动识别模型对应的分类损失值;
步骤a2,根据重新映射处理的标准脑电数据,确定与各所述特征映射模型对应的降维损失值;
本实施例在通过更新参数对脑活动识别模型进行更新后,还对经更新的脑活动识别模型所对应具有的总损失值进行计算。该总损失值至少包括两个方面;其一为脑活动识别模型对各脑电数据进行分类处理所得到的预测分类结果,与各脑电数据的真实分类结果之间的分类损失值;其二为特征映射模型对各脑电数据进行降维映射,所导致的降维损失值。
进一步地,本地终端在通过预设公共服务器返回的更新参数对其中的脑活动识别模型进行更新的同时,本地终端的特征映射模型也在进行其自身的训练更新。各特征映射模型以不同的映射方式对传输到其中经预处理的各组脑电数据进行映射,以优化经各次映射所得到的标准脑电数据。因此,更新的脑活动识别模型对重新映射处理得到的标准脑电数据进行分类识别处理,生成处理结果,进而通过该处理结果与真实的参考结果之间的损失,来确定经更新后脑活动识别模型所对应具有的分类损失值。对于对多组脑电数据重新映射所得到的标准脑电数据,若各组脑电数据之间经映射的标准脑电数据所具有的相似程度越高,则说明各特征映射模型之间的映射越相似,降维损失值越小。从而可通过多组脑电数据经重新映射所得到的标准脑电数据之间的相似度高低,来确定各特征映射模型对脑电数据进行映射处理所对应的降维损失值。
其中,所述根据所述处理结果,确定经更新后所述脑活动识别模型对应的分类损失值的步骤包括:
步骤a11,读取所述标准脑电数据的参考结果,并在所述参考结果和所述处理结果之间进行相似度计算,生成第一相似度值;
步骤a12,根据所述第一相似度值,确定经更新后所述脑活动识别模型的分类损失值。
进一步地,本地终端中更新的脑活动识别模型,对重新映射的标准脑电数据进行分类识别,生成分类结果,该分类结果即为处理结果。在获取到该处理结果后,依据标准脑电数据所携带的标注信息来确定标准脑电数据的真实分类结果,并将该真实分类结果作为标准脑电数据的参考结果进行读取。进而对参考结果和处理结果进行相似度计算,生成第一相似度值,以通过该第一相似度值来表征本地终端对其中标准脑电数据进行分类,所得到的分类结果与真实的分类结果之间的差异性,即本地终端中脑活动识别模型分类的准确性。
更进一步地,处理结果和参考结果之间的相似度表征了脑活动识别模型分类的准确性,两者相似程度越高说明分类越准确,表征经分类所造成的分类损失值越小;反之若相似程度越低说明分类越不准确,表征经分类所造成的分类损失值越大。从而为了通过相似程度的高低来表征分类损失值的大小,可预先设置相似值与分类损失值之间的对应关系。在生成本地终端的第一相似度值后,将该第一相似度值和对应关系对比,确定其在对应关系中所对应的分类损失值,该对应的分类损失值即为本地终端中经更新的脑活动识别模型的分类损失值。
进一步地,所述根据重新映射处理的标准脑电数据,确定与各所述特征映射模型对应的降维损失值的步骤包括:
步骤a21,根据重新映射处理的标准脑电数据与多组所述脑电数据之间的对应关系,将重新映射处理的标准脑电数据划分为多组标准子数据;
步骤a22,对多组所述标准子数据进行两两组合,并对各所述组合中的每组标准子数据分别进行再现处理,生成各所述组合中的两组数据点;
步骤a23,对各所述组合中每组数据点分别进行均值处理,生成各所述组合中每组数据点的平均值,并根据各所述组合中每组数据点的平均值,生成各所述组合的第二相似度值;
步骤a24,根据各所述组合的第二相似度值,确定各所述组合的组合降维损失值,并根据各所述组合降维损失值,生成与各所述特征映射模型对应的降维损失值。
本实施例为了反映多组脑电数据间经重新映射的标准脑电数据所具有的相似程度高低,依据重新映射处理所得到的标准脑电数据与处理前原始的多组脑电数据之间的对应关系,将重新映射处理的标准脑电数据划分为多组标准子数据,一组标准子数据对应由一组脑电数据生成。此后对各组标准子数据进行两两排列组合,得到均包含两组标准子数据的多个组合。如所涉及到的三组标准子数据A、B、C,则对三者进行两两排列组合,所得到的组合包括AB、AC和BC。此后,对每个组合中的每组标准子数据通过诸如核希尔伯特空间此类的方式分别进行再现处理,通过特征映射将其中包含的各个标准脑电数据从公共特征子空间再现到核希尔伯特子空间,实现将标准脑电数据再现为数据点,以此得到组合中两组数据点。如对于上述组合BC,其中两组标准子数据B和C包含的标准脑电数据分别为[b1、b2、b3、b4、b5]和[c1、c2、c3、c4、c5],则经过再现出来,得到两组数据点[m1、m2、m3、m4、m5]和[n1、n2、n3、n4、n5]。
进一步地,对各组合中的每组数据点分别进行均值处理,生成各组合中每组数据点的平均值;进而对各组合中的两组数据点的平均值进行相似度计算,生成各组合中的第二相似度值。其中,对每组数据点的均值处理其实质为计算每组所包含各数据点的质心点,与此相适应,平均值的相似度计算则为计算两个质心点之间的距离远近。如对于上述组合BC,计算标准子数据B的数据点[m1、m2、m3、m4、m5]的质心点m,标准子数据C的数据点[n1、n2、n3、n4、n5]的质心点n,通过m和n之间的距离远近来表征标准子数据B和C之间的第二相似度值。
更进一步地,在各组合均生成第二相似度值之后,由各个第二相似度值可表征各组合中经各自的特征映射模型对脑电数据映射所得到的标准子数据的相似程度高低。组合的第二相似度值越高,表征该组合对应的特征映射模型对脑电数据映射处理的相似程度越高,该组合的组合降维损失值越小;反之则表征对脑电数据映射处理的相似程度越低,该组合的组合降维损失值越大。从而为了通过相似程度的高低来表征组合降维损失值的大小,可预先设置相似值与组合降维损失值之间的对应关系。在生成各组合的第二相似度值后,将该第二相似度值和对应关系对比,确定其在对应关系中所对应的组合降维损失值,该对应的组合降维损失值即为组合所对应特征映射模型对各自脑电数据进行降维映射所造成的组合降维损失值。以此,可得到各个组合的组合降维损失值。进而将各个组合降维损失值进行加和处理,得到表征各个特征映射模型对脑电数据进行映射处理在整体上所造成损失的降维损失值,即与本地终端进行映射处理所对应的降维损失值。
步骤S33,根据所述分类损失值和所述降维损失值,确定经更新后所述脑活动识别模型的总损失值。
进一步地,在生成本地终端中经更新后的脑活动识别模型的分类损失值,以及表征整体上的降维损失值后,对该分类损失值和降维损失值进行加和处理,生成经更新后各脑活动识别模型的总损失值,表征当前对脑活动识别模型更新后,脑活动识别模型对脑电数据进行分类,所得到的分类结果与真实结果之间相似程度的高低。其中总损失值越小,表征相似程度越高,脑活动识别模型的分类越准确;反之则表征分类越不准确,需要继续更新训练,直到总损失值较小,而表征分类准确。
本实施通过与脑活动识别模型对应的分类损失值,以及与特征映射模型对应的降维损失值,来反映脑活动识别模型的总损失值。充分考虑了特征映射模型对脑电数据进行映射所得到的标准脑电数据,所造成的脑活动识别模型对该标准脑电数据分类准确性的影响,以及脑活动识别模型本身对标准脑电数据分类准确性的影响。使得总损失值的生成更为准确,依据总损失值来完成对标准脑电数据的处理,结束脑活动识别模型的训练的时机更为准确,有利于提升脑活动识别模型对脑电数据的分类准确性。
进一步地,基于本发明基于联邦迁移的脑电数据处理方法的第二实施例,提出本发明基于联邦迁移的脑电数据处理方法第三实施例。
所述基于联邦迁移的脑电数据处理方法第三实施例与所述基于联邦迁移的脑电数据处理方法第二实施例的区别在于,所述根据所述分类损失值和所述降维损失值,确定经更新后所述脑活动识别模型的总损失值的步骤之后,还包括:
步骤S34,判断所述总损失值是否在预设次数内均小于预设值,若在预设次数内均小于预设值,则判定经更新后所述脑活动识别模型所生成的总损失值小于预设值;
步骤S35,若未在预设次数内均小于预设值,则执行接收所述更新参数,对所述脑活动识别模型进行更新的步骤。
本实施例中,为了确保脑活动识别模型分类准确的稳定性,排除偶然因素的影响,设置有预设次数内判定总损失值是否均小于预设值的机制。其中,预设次数优选为连续次数,也可设置为较少间隔的次数内,如设定预设次数为5次,则优选设定为连续5次内所生成的总损失值均小于预设值,也可设定为在连续6次所生成的总损失值内,存在5次的总损失值小于预设值。
进一步地,本地终端中的脑活动识别模型在经更新并生成总损失值后,调用预设值和该总损失值进行对比,判断总损失值是否小于预设值;若小于预设值,则进行累加计数,得到计数值。进而通过判断计数值是否大于或等于预设次数,来判断总损失值是否在预设次数内均小于预设值;若计数值大于或等于预设次数,则说明更新后的脑活动识别模型具有分类准确的特性,判定总损失值在预设次数内均小于预设值。进而判定经更新后的脑活动识别模型所生成的总损失值小于预设值,完成对多组脑电数据的处理,结束基于联邦迁移对脑活动识别模型的训练。后续通过该经更新的脑活动识别模型对各脑电数据进行分类,即可达到准确分类的目的。
更进一步地,若计数值小于预设次数,判定总损失值值未在预设次数内均小于预设值,不足以说明更新后的脑活动识别模型具有分类准确的特性。此时,判定总损失值未在预设次数内均小于预设值,需要通过脑活动识别模型继续依据联邦迁移学习,接收预设公共服务器返回的更新参数,对脑活动识别模型进行更新,并对标准脑电数据进行处理,以训练脑活动识别模型,直到所生成的总损失值在预设次数内均小于预设值。
需要说明的是,在对标准脑电数据进行继续处理时,因各特征映射模型会对各组脑电数据以不同的映射方式进行映射处理,使得对标准脑电数据的继续处理其实质为对以新的映射方式所映射得到的标准脑电数据进行处理。以此实现在数据量较小的情况下,通过不同的映射方式得到大量的标准脑电数据,进而实现通过大量的标准脑电数据对脑活动识别模型进行训练,使得经训练得到的脑活动识别模型对脑电数据的处理更为准确。
本实施例通过设定持续更新的脑活动识别模型生成的总损失值均小于预设值,才完成对脑电数据处理的机制,确保了脑活动识别模型准确分类的稳定性,排除了偶然因素对分类的影响,有利于脑活动识别模型对脑电数据的准确分类。
本发明还提供一种基于联邦迁移的脑电数据处理装置。
参照图3,图3为本发明基于联邦迁移的脑电数据处理装置第一实施例的功能模块示意图。所述基于联邦迁移的脑电数据处理装置包括:
获取模块10,用于获取多组脑电数据,并将多组所述脑电数据分别传输到本地终端内,与多组所述脑电数据分别对应的特征映射模型进行映射处理,生成标准脑电数据;
生成模块20,用于将所述标准脑电数据传输到本地终端内的脑活动识别模型进行处理,生成模型参数传输到预设公共服务器,以供所述预设公共服务器对所述模型参数和至少一个他方终端发送的其他模型参数进行聚合,生成更新参数;
更新模块30,用于接收所述更新参数,对所述脑活动识别模型进行更新,并基于更新的所述脑活动识别模型对各特征映射模型重新映射处理得到的标准脑电数据进行处理,直到所述脑活动识别模型所生成的总损失值小于预设值,完成基于联邦迁移对多组所述脑电数据的处理。
进一步地,所述基于联邦迁移的脑电数据处理装置还包括:
调用模块,用于当接收到待处理脑电数据时,调用所述特征映射模型进行映射处理;
处理模块,用于将映射处理的待处理脑电数据传输到脑活动识别模型进行分类处理,获得与所述待处理脑电数据对应的脑活动类型。
进一步地,所述获取模块10包括:
预处理单元,用于根据多组所述脑电数据的数据属性,对多组所述脑电数据进行预处理;
映射单元,用于将经预处理的多组所述脑电数据分别传输到本地终端内,并根据本地终端内与多组所述脑电数据分别对应的特征映射模型,对多组所述脑电数据分别进行映射处理,生成所述标准脑电数据。
进一步地,所述更新模块30还包括:
获取单元,用于获取更新后的所述脑活动识别模型对重新映射处理得到的标准脑电数据进行处理所生成的处理结果,并根据所述处理结果,确定经更新后所述脑活动识别模型对应的分类损失值;
第一确定单元,用于根据重新映射处理的标准脑电数据,确定与各所述特征映射模型对应的降维损失值;
第二确定单元,用于根据所述分类损失值和所述降维损失值,确定经更新后所述脑活动识别模型的总损失值。
进一步地,所述获取单元还用于:
读取所述标准脑电数据的参考结果,并在所述参考结果和所述处理结果之间进行相似度计算,生成第一相似度值;
根据所述第一相似度值,确定经更新后所述脑活动识别模型的分类损失值。
进一步地,所述第一确定单元还用于:
根据重新映射处理的标准脑电数据与多组所述脑电数据之间的对应关系,将重新映射处理的标准脑电数据划分为多组标准子数据;
对多组所述标准子数据进行两两组合,并对各所述组合中的每组标准子数据分别进行再现处理,生成各所述组合中的两组数据点;
对各所述组合中每组数据点分别进行均值处理,生成各所述组合中每组数据点的平均值,并根据各所述组合中每组数据点的平均值,生成各所述组合的第二相似度值;
根据各所述组合的第二相似度值,确定各所述组合的组合降维损失值,并根据各所述组合降维损失值,生成与各所述特征映射模型对应的降维损失值。
进一步地,所述更新模块30还包括:
判断单元,用于判断所述总损失值是否在预设次数内均小于预设值,若在预设次数内均小于预设值,则判定经更新后所述脑活动识别模型所生成的总损失值小于预设值;
执行单元,用于若未在预设次数内均小于预设值,则执行接收所述更新参数,对所述脑活动识别模型进行更新的步骤。
本发明基于联邦迁移的脑电数据处理装置具体实施方式与上述基于联邦迁移的脑电数据处理方法各实施例基本相同,在此不再赘述。
此外,本发明实施例还提出一种介质。
介质上存储有基于联邦迁移的脑电数据处理程序,基于联邦迁移的脑电数据处理程序被处理器执行时实现如上所述的基于联邦迁移的脑电数据处理方法的步骤。
本发明介质可以是计算机可读存储介质,其具体实施方式与上述基于联邦迁移的脑电数据处理方法各实施例基本相同,在此不再赘述。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,这些均属于本发明的保护之内。

Claims (9)

1.一种基于联邦迁移的脑电数据处理方法,其特征在于,所述基于联邦迁移的脑电数据处理方法包括以下步骤:
获取多组脑电数据,并将多组所述脑电数据分别传输到本地终端内,与多组所述脑电数据分别对应的特征映射模型进行映射处理,生成标准脑电数据;
将所述标准脑电数据传输到本地终端内的脑活动识别模型进行处理,生成模型参数传输到预设公共服务器,以供所述预设公共服务器对所述模型参数和至少一个他方终端发送的其他模型参数进行聚合,生成更新参数;
接收所述更新参数,对所述脑活动识别模型进行更新,并基于更新的所述脑活动识别模型对各特征映射模型重新映射处理得到的标准脑电数据进行处理,直到所述脑活动识别模型所生成的总损失值小于预设值,完成基于联邦迁移对多组所述脑电数据的处理;
其中,所述基于更新的所述脑活动识别模型对各特征映射模型重新映射处理得到的标准脑电数据进行处理的步骤之后,所述方法包括:
获取更新后的所述脑活动识别模型对重新映射处理得到的标准脑电数据进行处理所生成的处理结果,并根据所述处理结果,确定经更新后所述脑活动识别模型对应的分类损失值;
根据重新映射处理的标准脑电数据,确定与各所述特征映射模型对应的降维损失值;
根据所述分类损失值和所述降维损失值,确定经更新后所述脑活动识别模型的总损失值,其中,所述总损失值包括所述脑活动识别模型对各脑电数据进行分类处理所得到的预测分类结果与各脑电数据的真实分类结果之间的分类损失值,和所述特征映射模型对各脑电数据进行降维映射所导致的降维损失值。
2.如权利要求1所述的基于联邦迁移的脑电数据处理方法,其特征在于,所述完成基于联邦迁移对多组所述脑电数据的处理的步骤之后,所述方法还包括:
当接收到待处理脑电数据时,调用所述特征映射模型进行映射处理;
将映射处理的待处理脑电数据传输到脑活动识别模型进行分类处理,获得与所述待处理脑电数据对应的脑活动类型。
3.如权利要求1所述的基于联邦迁移的脑电数据处理方法,其特征在于,所述将多组所述脑电数据分别传输到本地终端内,与多组所述脑电数据分别对应的特征映射模型进行映射处理,生成标准脑电数据的步骤包括:
根据多组所述脑电数据的数据属性,对多组所述脑电数据进行预处理;
将经预处理的多组所述脑电数据分别传输到本地终端内,并根据本地终端内与多组所述脑电数据分别对应的特征映射模型,对多组所述脑电数据分别进行映射处理,生成所述标准脑电数据。
4.如权利要求1所述的基于联邦迁移的脑电数据处理方法,其特征在于,所述根据所述处理结果,确定经更新后所述脑活动识别模型对应的分类损失值的步骤包括:
读取所述标准脑电数据的参考结果,并在所述参考结果和所述处理结果之间进行相似度计算,生成第一相似度值;
根据所述第一相似度值,确定经更新后所述脑活动识别模型的分类损失值。
5.如权利要求1所述的基于联邦迁移的脑电数据处理方法,其特征在于,所述根据重新映射处理的标准脑电数据,确定与各所述特征映射模型对应的降维损失值的步骤包括:
根据重新映射处理的标准脑电数据与多组所述脑电数据之间的对应关系,将重新映射处理的标准脑电数据划分为多组标准子数据;
对多组所述标准子数据进行两两组合,并对各所述组合中的每组标准子数据分别进行再现处理,生成各所述组合中的两组数据点;
对各所述组合中每组数据点分别进行均值处理,生成各所述组合中每组数据点的平均值,并根据各所述组合中每组数据点的平均值,生成各所述组合的第二相似度值;
根据各所述组合的第二相似度值,确定各所述组合的组合降维损失值,并根据各所述组合降维损失值,生成与各所述特征映射模型对应的降维损失值。
6.如权利要求1所述的基于联邦迁移的脑电数据处理方法,其特征在于,所述根据所述分类损失值和所述降维损失值,确定经更新后所述脑活动识别模型的总损失值的步骤之后,所述方法还包括:
判断所述总损失值是否在预设次数内均小于预设值,若在预设次数内均小于预设值,则判定经更新后所述脑活动识别模型所生成的总损失值小于预设值;
若未在预设次数内均小于预设值,则执行接收所述更新参数,对所述脑活动识别模型进行更新的步骤。
7.一种基于联邦迁移的脑电数据处理装置,其特征在于,所述基于联邦迁移的脑电数据处理装置包括:
获取模块,用于获取多组脑电数据,并将多组所述脑电数据分别传输到本地终端内,与多组所述脑电数据分别对应的特征映射模型进行映射处理,生成标准脑电数据;
生成模块,用于将所述标准脑电数据传输到本地终端内的脑活动识别模型进行处理,生成模型参数传输到预设公共服务器,以供所述预设公共服务器对所述模型参数和至少一个他方终端发送的其他模型参数进行聚合,生成更新参数;
更新模块,用于接收所述更新参数,对所述脑活动识别模型进行更新,并基于更新的所述脑活动识别模型对各特征映射模型重新映射处理得到的标准脑电数据进行处理,直到所述脑活动识别模型所生成的总损失值小于预设值,完成基于联邦迁移对多组所述脑电数据的处理;
其中,所述基于联邦迁移的脑电数据处理装置还包括:
获取更新后的所述脑活动识别模型对重新映射处理得到的标准脑电数据进行处理所生成的处理结果,并根据所述处理结果,确定经更新后所述脑活动识别模型对应的分类损失值;
根据重新映射处理的标准脑电数据,确定与各所述特征映射模型对应的降维损失值;
根据所述分类损失值和所述降维损失值,确定经更新后所述脑活动识别模型的总损失值,其中,所述总损失值包括所述脑活动识别模型对各脑电数据进行分类处理所得到的预测分类结果与各脑电数据的真实分类结果之间的分类损失值,和所述特征映射模型对各脑电数据进行降维映射所导致的降维损失值。
8.一种基于联邦迁移的脑电数据处理设备,其特征在于,所述基于联邦迁移的脑电数据处理设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于联邦迁移的脑电数据处理程序,所述基于联邦迁移的脑电数据处理程序被所述处理器执行时实现如权利要求1-6中任一项所述的基于联邦迁移的脑电数据处理方法的步骤。
9.一种介质,其特征在于,所述介质上存储有基于联邦迁移的脑电数据处理程序,所述基于联邦迁移的脑电数据处理程序被处理器执行时实现如权利要求1-6中任一项所述的基于联邦迁移的脑电数据处理方法的步骤。
CN202010570925.5A 2020-06-19 2020-06-19 基于联邦迁移的脑电数据处理方法、装置、设备及介质 Active CN111638803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010570925.5A CN111638803B (zh) 2020-06-19 2020-06-19 基于联邦迁移的脑电数据处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010570925.5A CN111638803B (zh) 2020-06-19 2020-06-19 基于联邦迁移的脑电数据处理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111638803A CN111638803A (zh) 2020-09-08
CN111638803B true CN111638803B (zh) 2023-04-07

Family

ID=72332573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010570925.5A Active CN111638803B (zh) 2020-06-19 2020-06-19 基于联邦迁移的脑电数据处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111638803B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114664434A (zh) * 2022-03-28 2022-06-24 上海韶脑传感技术有限公司 面向不同医疗机构的脑卒中康复训练系统及其训练方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111134667A (zh) * 2020-01-19 2020-05-12 中国人民解放军战略支援部队信息工程大学 基于脑电信号的时间迁移情绪识别方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2895970B1 (en) * 2012-09-14 2018-11-07 InteraXon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
FR3039773A1 (fr) * 2015-08-04 2017-02-10 Dreem Procedes et systemes de stimulation acoustique des ondes cerebrales.
CN111259761B (zh) * 2020-01-13 2024-06-07 东南大学 基于可迁移注意力神经网络的脑电情感识别方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111134667A (zh) * 2020-01-19 2020-05-12 中国人民解放军战略支援部队信息工程大学 基于脑电信号的时间迁移情绪识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Federated Transfer Learning for EEG Signal Classification;Ce Ju等;《https://arxiv.org/pdf/2004.12321v1.pdf》;20200426;第1-6页 *

Also Published As

Publication number Publication date
CN111638803A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
Werner de Vargas et al. Imbalanced data preprocessing techniques for machine learning: a systematic mapping study
CN107981858B (zh) 基于人工智能的心电图心搏自动识别分类方法
CN113295702B (zh) 电气设备故障诊断模型训练方法和电气设备故障诊断方法
US20230101539A1 (en) Physiological electric signal classification processing method and apparatus, computer device and storage medium
Li et al. Medical data stream distribution pattern association rule mining algorithm based on density estimation
CN110070105A (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
CN113069117A (zh) 一种基于时间卷积神经网络的脑电情绪识别方法及系统
CN118332034B (zh) 一种基于机器学习的数据挖掘模型构建方法及系统
CN109512390A (zh) 基于eeg时域多维度特征及m-wsvm的睡眠分期方法及可穿戴装置
CN114343635A (zh) 一种基于变分相幅耦合的情绪识别方法及装置
CN114424941A (zh) 疲劳检测模型构建方法、疲劳检测方法、装置及设备
CN118035816A (zh) 一种脑电信号分类方法、装置和存储介质
CN116383618A (zh) 一种基于多模态数据的学习专注度评估方法及装置
CN118228129B (zh) 一种基于深度迁移学习的运动想象脑电信号分类方法
CN114970641A (zh) 情感类别的识别方法、装置、处理器及电子设备
CN116910642A (zh) 一种信息分类方法、装置、设备及计算机可读存储介质
CN116831594A (zh) 一种基于迭代图卷积神经网络的癫痫脑电分类方法
CN111638803B (zh) 基于联邦迁移的脑电数据处理方法、装置、设备及介质
CN115170049A (zh) 可信度评分方法、装置、电子设备、存储介质和程序产品
CN112052874A (zh) 一种基于生成对抗网络的生理数据分类方法及系统
CN117390531B (zh) 一种基于ieemd脑电信号分解的抑郁症自动识别方法
CN118845010A (zh) 一种基于PDC Rich Club动态脑网络的情绪识别方法
CN117009095A (zh) 一种隐私数据处理模型生成方法、装置、终端设备及介质
CN109147938A (zh) 一种疾病智能诊断装置及设备
Gaurav et al. Characterizing neural activity from EEG signals during game interaction using persistent homology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant