CN110837637B - 一种脑机接口系统黑盒攻击方法 - Google Patents
一种脑机接口系统黑盒攻击方法 Download PDFInfo
- Publication number
- CN110837637B CN110837637B CN201910982682.3A CN201910982682A CN110837637B CN 110837637 B CN110837637 B CN 110837637B CN 201910982682 A CN201910982682 A CN 201910982682A CN 110837637 B CN110837637 B CN 110837637B
- Authority
- CN
- China
- Prior art keywords
- model
- samples
- brain
- interface system
- computer interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
- G06F21/561—Virus type analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
- G06F21/562—Static detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Virology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种脑机接口系统黑盒攻击方法,首先基于询问合成主动学习生成具有更多信息量和多样性的EEG样本,作为替代模型训练样本,然后基于该训练样本训练替代模型,使得替代模型能够更好地近似目标模型,最后通过在训练好的替代模型上生成对抗样本,使用对抗样本对EEG的脑机接口系统进行黑盒攻击,使其在目标模型上能够被错分。与传统的基于雅克比矩阵的黑盒攻击方法相比具有更好的攻击效果,在更少的询问次数情况下可以取得相同或更好的攻击性能,生成的对抗样本具有很小的噪声,在时域和频域上和原始的EEG信号几乎没有区别,不能被轻易发现,大大提高了脑机接口系统中黑盒攻击的攻击效率。
Description
技术领域
本发明属于基于EEG的脑机接口系统安全领域,更具体地,涉及一种脑机接口系统黑盒攻击方法。
背景技术
脑机接口系统是一种连接大脑和外部电子设备的实时通讯系统,该系统通过直接采集人脑产生的生理电信号,然后将其转换成能够控制外部电子设备的命令,从而取代人类的自然肢体或语言器官,与外部世界进行交流,控制外部环境。EEG是迄今为止使用最为广泛的脑机接口系统输入信号,由于其使用方便、相对较低的成本和对用户的风险很小。在脑机接口系统中,机器学习模块是最重要的一个模块,随着近年来深度学习的发展,一些用于EEG信号的脑机接口系统的深度学习模型被提出。
然而,目前在深度学习中存在一个严重的安全问题:深度学习模型很容易受到对抗样本的攻击。对抗样本是指通过添加很小的、通常难以察觉的扰动来改变合法的输入,迫使学习器对得到的对抗输入进行错误分类,同时保持人类观察者的正确分类的数据样本。在这种攻击中,故意设计的很小的扰动被添加到正常的输入样本中以欺骗深度学习模型并导致显著的性能下降。为了能够更好的防御对抗样本的攻击,研究脑机接口系统黑盒攻击方法具有重要意义。
目前已经有很多生成对抗样本的方法被提出,它们主要分为两类攻击方法:白盒攻击和黑盒攻击。白盒攻击是指攻击者可以得到目标模型的所有信息,包括其结构、参数和训练样本,而黑盒攻击则相反,攻击者不能得到目标模型的内部信息,只能观察其对输入的输出情况。与白盒攻击相比,黑盒攻击是更加实际、更具挑战性的一种攻击方式。因为由于安全原因,大多数基于EEG的BCI系统是不允许白盒访问的。N.Papernot等人提出了一种基于迁移性的黑盒攻击方法,该方法通过训练一个替代模型,然后针对它制作对抗样本,希望生成的对抗样本也可以成功攻击未知的目标模型。X.Zhang等人应用了基于迁移性的黑盒攻击方法中的类似思想成功实现了在基于EEG的脑机接口系统中的黑盒攻击。尽管取得了很好的攻击效果,然而这些方法对替代模型对抗样本的生成采用了基于雅可比的数据增强方法,其关键限制是:训练一个较好的替代模型需要大量的询问次数来收集足够的信息,攻击效率较低。
综上所述,提出一种攻击效率高的脑机接口系统黑盒攻击方法是亟待解决的问题。
发明内容
针对现有技术的缺陷,本发明的目的在于提出一种脑机接口系统黑盒攻击方法,旨在解决现有技术在训练替代模型时需要大量的询问次数来收集足够的信息而导致的攻击效率较低的问题。
为实现上述目的,第一方面,本发明提供了一种脑机接口系统黑盒攻击方法,包括以下步骤:
S1、向脑机接口系统中的目标模型询问预收集好的EEG样本集中的样本标签,得到替代模型训练集,并基于该训练集训练分类模型,得到替代模型;
S2、生成替代模型中各决策边界两侧的样本,向目标模型询问其标签,并合成到替代模型训练样本中,然后基于该训练样本训练替代模型,重复步骤S2进行迭代,直至迭代次数达到迭代次数上限,得到训练好的替代模型;
S3、基于所得替代模型构造对抗样本;
S4、使用对抗样本对EEG的脑机接口系统进行黑盒攻击。
进一步优选地,步骤S2所述的方法包括以下步骤:
S21、初始化生成样本集为空集;
S22、在当前替代模型训练集中依次选择两类EEG样本集,初始化中间生成样本集为空集;
S23、在当前所选择的两类EGG样本集中随机选择两个不同类的EEG样本,在特征空间上通过二分法迭代生成位于替代模型在当前两类样本决策边界两侧的两个不同类样本,计算得到这两个样本中垂线上的样本,并加入到中间生成样本集中,重复步骤S23进行迭代,直至中间生成样本集中的样本个数达到预设样本数;
S24、将中间生成样本集加入到生成样本集中;
S25、重复步骤S22-S24,直至替代模型训练集中的各类EGG样本的两两组合均已覆盖完毕;
S26、向目标模型询问生成样本集中的样本标签,并将生成样本集及其标签加入到当前替代模型训练集中,更新替代模型训练集;
S27、基于替代模型训练集重新训练替代模型;
S28、重复步骤S21-S27进行迭代,直至迭代次数达到迭代次数上限,得到训练好的替代模型。
进一步优选地,上述预收集好的EEG样本集中每一类标签所对应的EEG样本数大于等于1。
进一步优选地,用于作为替代模型的分类模型为深度学习模型。
进一步优选地,本发明所述的脑机接口系统黑盒攻击方法应用于基于EEG的脑机接口系统安全领域。
第二方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述第一方面所述的攻击方法。
通过本发明所构思的以上技术方案,与现有技术相比,能够取得下列有益效果:
1、本发明提出了一种脑机接口系统黑盒攻击方法,首先基于询问合成主动学习生成替代模型中各决策边界附近的样本,并加入到替代模型训练集中,使得替代模型训练集中的EEG样本具有更大的信息量和更高的多样性,大大降低了训练过程中的询问次数,然后基于该训练样本训练替代模型,使得替代模型能够更好地近似目标模型,最后通过在训练好的替代模型上生成对抗样本,使用对抗样本对EEG的脑机接口系统进行黑盒攻击,使其在目标模型上能够被错分。与传统的基于雅克比矩阵的黑盒攻击方法相比具有更好的攻击效果,在更少的询问次数情况下可以取得相同或更好的攻击性能,生成的对抗样本具有很小的噪声,在时域和频域上和原始的EEG信号几乎没有区别,不能被轻易发现,大大提高了脑机接口系统中黑盒攻击的攻击效率。
2、本发明所提供的脑机接口系统黑盒攻击方法,将主动学习的思想结合到对抗攻击中,可以选择或生成最有用的样本进行标记,这样一个学习器就可以从最少的标记训练样本中得到训练。由于脑电信号的获取非常耗时,采用主动学习将大大加快替代模型的训练过程,从而获得更好的攻击性能。
附图说明
图1是本发明所提供的一种脑机接口系统黑盒攻击方法;
图2是本发明所提供在EEG脑机接口系统中的进行黑盒攻击的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了实现上述目的,本发明提供了一种脑机接口系统黑盒攻击方法,如图1所示,包括以下步骤:
S1、向脑机接口系统中的目标模型f询问预收集好的EEG样本集S0中的样本标签,得到替代模型训练集D,并基于该训练集训练分类模型,得到替代模型f′;
具体的,本实施例中用于作为替代模型的分类模型为深度学习模型,本实施例中预收集好的EEG样本集S0中的样本个数为400,其中,每一类标签所对应的EEG样本数大于等于1。
S2、生成替代模型中各决策边界两侧的样本,向目标模型询问其标签,并合成到替代模型训练样本中,然后基于该训练样本训练替代模型,重复步骤S2进行迭代,直至迭代次数达到迭代次数上限,得到训练好的替代模型;
具体的,包括以下步骤:
S21、初始化生成样本集ΔS为空集;
S22、在当前替代模型训练集中依次选择两类EEG样本集,初始化中间生成样本集ΔS1为空集;
S23、在当前所选择的两类EGG样本集中随机选择两个不同类的EEG样本{x+,x-},在特征空间上通过二分法迭代生成位于替代模型在当前两类样本决策边界两侧的两个不同类样本,计算得到这两个样本中垂线上的样本,并加入到中间生成样本集ΔS1中,重复步骤S23进行迭代,直至中间生成样本集ΔS1中的样本个数达到预设样本数;
具体的,在特征空间中进行二分搜索,获得样本xb=(x++x-)/2,向替代模型f′询问生成的样本xb的标签,如果标签为正,则将x+替换为xb,如果标签为负,则将x-替换为xb。重复上述过程进行迭代直到达到最大二分次数m,得到两个不同类样本{x+,x-}。在本实施例中,m取值为10。然后计算得到这两个样本中垂线上的样本,使生成的样本分布更分散,并重新对{x+,x-}继续执行二分搜索,使生成的样本更具有信息量。具体的,本实施中采用格莱姆-施密特方法计算位于这两个样本中垂线上的样本,使用格莱姆-施密特算法得到(x+-x-)的正交向量,其大小为xp,然后继续执行m次二分搜索,得到新的两个不同类样本{x+,x-},最终得到中垂线处的样本xs=xp+(x++x-)/2,将xs加入到ΔS1中。重复上述过程进行迭代,直至生成样本集ΔS1中样本个数达到预设样本数n_max;本实施例中,预设样本数n_max取值为200。
S24、将中间生成样本集ΔS1加入到生成样本集ΔS中;
S25、重复步骤S22-S24,直至替代模型训练集中的各类EGG样本的两两组合均已覆盖完毕;
S26、向目标模型询问生成样本集ΔS中的样本标签,并将生成样本集ΔS及其标签加入到替代模型训练集D中,更新替代模型训练集D;
S27、基于替代模型训练集重新训练替代模型;
S28、重复步骤S21-S27进行迭代,直至迭代次数达到迭代次数上限N_max,得到训练好的替代模型。本实施例中,预设迭代次数N_max取值为2,最终每两类EEG样本集生成的样本数为n_max*N_max,本实施例中为400。
S3、基于所得替代模型构造对抗样本;
S4、使用对抗样本对EEG的脑机接口系统进行黑盒攻击。
具体的,本发明针对的脑机接口系统由信号采集模块、信号预处理模块、目标模型和控制器组成,如图2所示,本发明所提供在EEG脑机接口系统中的进行黑盒攻击的示意图。将攻击模块置于信号预处理模块和目标模型之间,在训练好的替代模型上通过攻击模块产生对抗样本,由于对抗样本的迁移性,产生的对抗样本也能成功攻击目标模型,使得目标模型无法正确地做出预测,从而影响到整个脑机接口系统,使其无法正常工作。
在相同的询问次数和相同的替代模型初始训练集条件下,分别采用本发明所提出的攻击方法和基于雅克比矩阵的攻击方法在ERN数据集上进行对比实验,其中,询问次数为400,替代模型初始训练集S0的大小为400,实验结果如表1所示。
表1
从表1可以看出,当目标模型为EEGNet,替代模型为DeepCNN时,攻击前目标模型在测试集上的正确率为76.26%,分别采用本发明所提出的方法和基于雅克比矩阵的攻击方法进行攻击后,目标模型在测试集上的正确率分别降低到36.55%和47.06%,并且对于不同的目标模型,采用不同的替代模型进行攻击,本发明的攻击效果也明显优于基于雅克比矩阵的攻击方法。本发明所提出的方法通过生成替代模型中各决策边界附近的样本进行询问合成主动学习,大大降低了训练过程中的询问次数,在更少的询问次数情况下攻击性能更好,攻击效率也更高。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种脑机接口系统黑盒攻击方法,其特征在于,包括以下步骤:
S1、向脑机接口系统中的目标模型询问预收集好的EEG样本集中的样本标签,得到替代模型训练集,并基于该训练集训练分类模型,得到替代模型;
S2、生成替代模型中各决策边界两侧的样本,向目标模型询问其标签,并合成到所述替代模型训练集中,然后基于所述替代模型训练集训练替代模型,重复步骤S2进行迭代,直至迭代次数达到迭代次数上限,得到训练好的替代模型;
S3、基于所得替代模型构造对抗样本;
S4、使用对抗样本对EEG的脑机接口系统进行黑盒攻击;
其中,步骤S2所述的方法包括以下步骤:
S21、初始化生成样本集为空集;
S22、在当前替代模型训练集中依次选择两类EEG样本集,初始化中间生成样本集为空集;
S23、在当前所选择的两类EGG样本集中随机选择两个不同类的EEG样本,在特征空间上通过二分法迭代生成位于替代模型在当前两类样本决策边界两侧的两个不同类样本,计算得到这两个样本中垂线上的样本,并加入到中间生成样本集中,重复步骤S23进行迭代,直至中间生成样本集中的样本个数达到预设样本数;
S24、将中间生成样本集加入到生成样本集中;
S25、重复步骤S22-S24,直至替代模型训练集中的各类EGG样本的两两组合均已覆盖完毕;
S26、向目标模型询问生成样本集中的样本标签,并将生成样本集及其标签加入到当前替代模型训练集中,更新替代模型训练集;
S27、基于替代模型训练集重新训练替代模型;
S28、重复步骤S21-S27进行迭代,直至迭代次数达到迭代次数上限,得到训练好的替代模型。
2.根据权利要求1所述的脑机接口系统黑盒攻击方法,其特征在于,所述预收集好的EEG样本集中每一类标签所对应的EEG样本数大于或等于1。
3.根据权利要求1所述的脑机接口系统黑盒攻击方法,其特征在于,所述分类模型为深度学习模型。
5.根据权利要求1-4任意一项所述的脑机接口系统黑盒攻击方法,其特征在于,应用于基于EEG的脑机接口系统安全领域。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-5任意一项所述的攻击方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910982682.3A CN110837637B (zh) | 2019-10-16 | 2019-10-16 | 一种脑机接口系统黑盒攻击方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910982682.3A CN110837637B (zh) | 2019-10-16 | 2019-10-16 | 一种脑机接口系统黑盒攻击方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110837637A CN110837637A (zh) | 2020-02-25 |
| CN110837637B true CN110837637B (zh) | 2022-02-15 |
Family
ID=69575402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910982682.3A Active CN110837637B (zh) | 2019-10-16 | 2019-10-16 | 一种脑机接口系统黑盒攻击方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110837637B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291828B (zh) * | 2020-03-03 | 2023-10-27 | 广州大学 | 一种基于深度学习的hrrp对抗样本黑盒攻击方法 |
| AU2020437435B2 (en) * | 2020-03-26 | 2023-07-20 | Shenzhen Institutes Of Advanced Technology | Adversarial image generation method, apparatus, device, and readable storage medium |
| CN112085055B (zh) * | 2020-08-05 | 2022-12-13 | 清华大学 | 一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法 |
| CN112256133B (zh) * | 2020-10-28 | 2022-05-20 | 华中科技大学 | 一种基于eeg的脑机接口系统的污染攻击方法 |
| CN112989361B (zh) * | 2021-04-14 | 2023-10-20 | 华南理工大学 | 一种基于生成对抗网络的模型安全性检测方法 |
| CN113407939B (zh) * | 2021-06-17 | 2022-08-05 | 电子科技大学 | 面向黑盒攻击的替代模型自动选取方法、存储介质及终端 |
| CN113642029B (zh) * | 2021-10-12 | 2021-12-24 | 华中科技大学 | 一种度量数据样本与模型决策边界相关性的方法及系统 |
| CN114692728A (zh) * | 2022-03-09 | 2022-07-01 | 北京理工大学 | 一种面向替代模型的分类边界敏感的数据增广方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108520268B (zh) * | 2018-03-09 | 2021-05-18 | 浙江工业大学 | 基于样本选择和模型进化的黑盒对抗性攻击防御方法 |
| CN109376556B (zh) * | 2018-12-17 | 2020-12-18 | 华中科技大学 | 一种针对以卷积神经网络为基础的eeg脑机接口的攻击方法 |
-
2019
- 2019-10-16 CN CN201910982682.3A patent/CN110837637B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110837637A (zh) | 2020-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110837637B (zh) | 一种脑机接口系统黑盒攻击方法 | |
| CN113704758B (zh) | 一种黑盒攻击对抗样本生成方法及系统 | |
| CN109376556B (zh) | 一种针对以卷积神经网络为基础的eeg脑机接口的攻击方法 | |
| CN112287997A (zh) | 一种基于生成式对抗网络的深度图卷积模型防御方法 | |
| CN115063652B (zh) | 一种基于元学习的黑盒攻击方法、终端设备及存储介质 | |
| CN112884204B (zh) | 网络安全风险事件预测方法及装置 | |
| CN113255816A (zh) | 定向攻击对抗补丁生成方法及装置 | |
| CN113034332A (zh) | 不可见水印图像、后门攻击模型构建、分类方法及系统 | |
| CN116992299B (zh) | 区块链交易异常检测模型的训练方法、检测方法及装置 | |
| CN115908898A (zh) | 一种基于对抗样本训练的图像分类方法 | |
| Song et al. | Generating fake cyber threat intelligence using the gpt-neo model | |
| CN118520360A (zh) | 一种频谱博弈决策的智能迭代方法和装置 | |
| CN111882037A (zh) | 一种基于网络附加/修改的深度学习模型优化方法 | |
| CN118982876A (zh) | 一种基于特征级解耦的虚假人脸检测和溯源方法 | |
| Liu et al. | Tdnetgen: Empowering complex network resilience prediction with generative augmentation of topology and dynamics | |
| KR20190028880A (ko) | 봇넷 탐지 시스템을 학습하기 위한 학습 데이터를 생성하는 방법 및 그 장치 | |
| Cao et al. | Pss: Progressive sample selection for open-world visual representation learning | |
| US8001061B2 (en) | First and second unsupervised learning processes combined using a supervised learning apparatus | |
| Wang et al. | Generating semantic adversarial examples via feature manipulation | |
| KR20200013430A (ko) | 모션 합성 장치 및 모션 합성 방법 | |
| CN116884090B (zh) | 一种基于双重对抗网络的跨环境人体活动识别方法 | |
| Nguyen et al. | Hierarchical action embedding for effective autonomous penetration testing | |
| CN111881027A (zh) | 一种基于数据防御的深度学习模型优化方法 | |
| Wu et al. | C-ELM: A curious extreme learning machine for classification problems | |
| CN113920365B (zh) | 多源时间序列的分类方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |