[go: up one dir, main page]

CN110837637B - 一种脑机接口系统黑盒攻击方法 - Google Patents

一种脑机接口系统黑盒攻击方法 Download PDF

Info

Publication number
CN110837637B
CN110837637B CN201910982682.3A CN201910982682A CN110837637B CN 110837637 B CN110837637 B CN 110837637B CN 201910982682 A CN201910982682 A CN 201910982682A CN 110837637 B CN110837637 B CN 110837637B
Authority
CN
China
Prior art keywords
model
samples
brain
interface system
computer interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910982682.3A
Other languages
English (en)
Other versions
CN110837637A (zh
Inventor
伍冬睿
蒋雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910982682.3A priority Critical patent/CN110837637B/zh
Publication of CN110837637A publication Critical patent/CN110837637A/zh
Application granted granted Critical
Publication of CN110837637B publication Critical patent/CN110837637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/56Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/561Virus type analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/56Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/562Static detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种脑机接口系统黑盒攻击方法,首先基于询问合成主动学习生成具有更多信息量和多样性的EEG样本,作为替代模型训练样本,然后基于该训练样本训练替代模型,使得替代模型能够更好地近似目标模型,最后通过在训练好的替代模型上生成对抗样本,使用对抗样本对EEG的脑机接口系统进行黑盒攻击,使其在目标模型上能够被错分。与传统的基于雅克比矩阵的黑盒攻击方法相比具有更好的攻击效果,在更少的询问次数情况下可以取得相同或更好的攻击性能,生成的对抗样本具有很小的噪声,在时域和频域上和原始的EEG信号几乎没有区别,不能被轻易发现,大大提高了脑机接口系统中黑盒攻击的攻击效率。

Description

一种脑机接口系统黑盒攻击方法
技术领域
本发明属于基于EEG的脑机接口系统安全领域,更具体地,涉及一种脑机接口系统黑盒攻击方法。
背景技术
脑机接口系统是一种连接大脑和外部电子设备的实时通讯系统,该系统通过直接采集人脑产生的生理电信号,然后将其转换成能够控制外部电子设备的命令,从而取代人类的自然肢体或语言器官,与外部世界进行交流,控制外部环境。EEG是迄今为止使用最为广泛的脑机接口系统输入信号,由于其使用方便、相对较低的成本和对用户的风险很小。在脑机接口系统中,机器学习模块是最重要的一个模块,随着近年来深度学习的发展,一些用于EEG信号的脑机接口系统的深度学习模型被提出。
然而,目前在深度学习中存在一个严重的安全问题:深度学习模型很容易受到对抗样本的攻击。对抗样本是指通过添加很小的、通常难以察觉的扰动来改变合法的输入,迫使学习器对得到的对抗输入进行错误分类,同时保持人类观察者的正确分类的数据样本。在这种攻击中,故意设计的很小的扰动被添加到正常的输入样本中以欺骗深度学习模型并导致显著的性能下降。为了能够更好的防御对抗样本的攻击,研究脑机接口系统黑盒攻击方法具有重要意义。
目前已经有很多生成对抗样本的方法被提出,它们主要分为两类攻击方法:白盒攻击和黑盒攻击。白盒攻击是指攻击者可以得到目标模型的所有信息,包括其结构、参数和训练样本,而黑盒攻击则相反,攻击者不能得到目标模型的内部信息,只能观察其对输入的输出情况。与白盒攻击相比,黑盒攻击是更加实际、更具挑战性的一种攻击方式。因为由于安全原因,大多数基于EEG的BCI系统是不允许白盒访问的。N.Papernot等人提出了一种基于迁移性的黑盒攻击方法,该方法通过训练一个替代模型,然后针对它制作对抗样本,希望生成的对抗样本也可以成功攻击未知的目标模型。X.Zhang等人应用了基于迁移性的黑盒攻击方法中的类似思想成功实现了在基于EEG的脑机接口系统中的黑盒攻击。尽管取得了很好的攻击效果,然而这些方法对替代模型对抗样本的生成采用了基于雅可比的数据增强方法,其关键限制是:训练一个较好的替代模型需要大量的询问次数来收集足够的信息,攻击效率较低。
综上所述,提出一种攻击效率高的脑机接口系统黑盒攻击方法是亟待解决的问题。
发明内容
针对现有技术的缺陷,本发明的目的在于提出一种脑机接口系统黑盒攻击方法,旨在解决现有技术在训练替代模型时需要大量的询问次数来收集足够的信息而导致的攻击效率较低的问题。
为实现上述目的,第一方面,本发明提供了一种脑机接口系统黑盒攻击方法,包括以下步骤:
S1、向脑机接口系统中的目标模型询问预收集好的EEG样本集中的样本标签,得到替代模型训练集,并基于该训练集训练分类模型,得到替代模型;
S2、生成替代模型中各决策边界两侧的样本,向目标模型询问其标签,并合成到替代模型训练样本中,然后基于该训练样本训练替代模型,重复步骤S2进行迭代,直至迭代次数达到迭代次数上限,得到训练好的替代模型;
S3、基于所得替代模型构造对抗样本;
S4、使用对抗样本对EEG的脑机接口系统进行黑盒攻击。
进一步优选地,步骤S2所述的方法包括以下步骤:
S21、初始化生成样本集为空集;
S22、在当前替代模型训练集中依次选择两类EEG样本集,初始化中间生成样本集为空集;
S23、在当前所选择的两类EGG样本集中随机选择两个不同类的EEG样本,在特征空间上通过二分法迭代生成位于替代模型在当前两类样本决策边界两侧的两个不同类样本,计算得到这两个样本中垂线上的样本,并加入到中间生成样本集中,重复步骤S23进行迭代,直至中间生成样本集中的样本个数达到预设样本数;
S24、将中间生成样本集加入到生成样本集中;
S25、重复步骤S22-S24,直至替代模型训练集中的各类EGG样本的两两组合均已覆盖完毕;
S26、向目标模型询问生成样本集中的样本标签,并将生成样本集及其标签加入到当前替代模型训练集中,更新替代模型训练集;
S27、基于替代模型训练集重新训练替代模型;
S28、重复步骤S21-S27进行迭代,直至迭代次数达到迭代次数上限,得到训练好的替代模型。
进一步优选地,上述预收集好的EEG样本集中每一类标签所对应的EEG样本数大于等于1。
进一步优选地,用于作为替代模型的分类模型为深度学习模型。
进一步优选地,步骤S2中构造所得的对抗样本为:
Figure BDA0002235709880000031
其中,xi为预收集好的EEG样本集中的样本,ε为扰动上限,J为所得替代模型的损失函数,θ为替代模型的参数,y′i为向替代模型询问所得的xi的标签。
进一步优选地,本发明所述的脑机接口系统黑盒攻击方法应用于基于EEG的脑机接口系统安全领域。
第二方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述第一方面所述的攻击方法。
通过本发明所构思的以上技术方案,与现有技术相比,能够取得下列有益效果:
1、本发明提出了一种脑机接口系统黑盒攻击方法,首先基于询问合成主动学习生成替代模型中各决策边界附近的样本,并加入到替代模型训练集中,使得替代模型训练集中的EEG样本具有更大的信息量和更高的多样性,大大降低了训练过程中的询问次数,然后基于该训练样本训练替代模型,使得替代模型能够更好地近似目标模型,最后通过在训练好的替代模型上生成对抗样本,使用对抗样本对EEG的脑机接口系统进行黑盒攻击,使其在目标模型上能够被错分。与传统的基于雅克比矩阵的黑盒攻击方法相比具有更好的攻击效果,在更少的询问次数情况下可以取得相同或更好的攻击性能,生成的对抗样本具有很小的噪声,在时域和频域上和原始的EEG信号几乎没有区别,不能被轻易发现,大大提高了脑机接口系统中黑盒攻击的攻击效率。
2、本发明所提供的脑机接口系统黑盒攻击方法,将主动学习的思想结合到对抗攻击中,可以选择或生成最有用的样本进行标记,这样一个学习器就可以从最少的标记训练样本中得到训练。由于脑电信号的获取非常耗时,采用主动学习将大大加快替代模型的训练过程,从而获得更好的攻击性能。
附图说明
图1是本发明所提供的一种脑机接口系统黑盒攻击方法;
图2是本发明所提供在EEG脑机接口系统中的进行黑盒攻击的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了实现上述目的,本发明提供了一种脑机接口系统黑盒攻击方法,如图1所示,包括以下步骤:
S1、向脑机接口系统中的目标模型f询问预收集好的EEG样本集S0中的样本标签,得到替代模型训练集D,并基于该训练集训练分类模型,得到替代模型f′;
具体的,本实施例中用于作为替代模型的分类模型为深度学习模型,本实施例中预收集好的EEG样本集S0中的样本个数为400,其中,每一类标签所对应的EEG样本数大于等于1。
S2、生成替代模型中各决策边界两侧的样本,向目标模型询问其标签,并合成到替代模型训练样本中,然后基于该训练样本训练替代模型,重复步骤S2进行迭代,直至迭代次数达到迭代次数上限,得到训练好的替代模型;
具体的,包括以下步骤:
S21、初始化生成样本集ΔS为空集;
S22、在当前替代模型训练集中依次选择两类EEG样本集,初始化中间生成样本集ΔS1为空集;
S23、在当前所选择的两类EGG样本集中随机选择两个不同类的EEG样本{x+,x-},在特征空间上通过二分法迭代生成位于替代模型在当前两类样本决策边界两侧的两个不同类样本,计算得到这两个样本中垂线上的样本,并加入到中间生成样本集ΔS1中,重复步骤S23进行迭代,直至中间生成样本集ΔS1中的样本个数达到预设样本数;
具体的,在特征空间中进行二分搜索,获得样本xb=(x++x-)/2,向替代模型f′询问生成的样本xb的标签,如果标签为正,则将x+替换为xb,如果标签为负,则将x-替换为xb。重复上述过程进行迭代直到达到最大二分次数m,得到两个不同类样本{x+,x-}。在本实施例中,m取值为10。然后计算得到这两个样本中垂线上的样本,使生成的样本分布更分散,并重新对{x+,x-}继续执行二分搜索,使生成的样本更具有信息量。具体的,本实施中采用格莱姆-施密特方法计算位于这两个样本中垂线上的样本,使用格莱姆-施密特算法得到(x+-x-)的正交向量,其大小为xp,然后继续执行m次二分搜索,得到新的两个不同类样本{x+,x-},最终得到中垂线处的样本xs=xp+(x++x-)/2,将xs加入到ΔS1中。重复上述过程进行迭代,直至生成样本集ΔS1中样本个数达到预设样本数n_max;本实施例中,预设样本数n_max取值为200。
S24、将中间生成样本集ΔS1加入到生成样本集ΔS中;
S25、重复步骤S22-S24,直至替代模型训练集中的各类EGG样本的两两组合均已覆盖完毕;
S26、向目标模型询问生成样本集ΔS中的样本标签,并将生成样本集ΔS及其标签加入到替代模型训练集D中,更新替代模型训练集D;
S27、基于替代模型训练集重新训练替代模型;
S28、重复步骤S21-S27进行迭代,直至迭代次数达到迭代次数上限N_max,得到训练好的替代模型。本实施例中,预设迭代次数N_max取值为2,最终每两类EEG样本集生成的样本数为n_max*N_max,本实施例中为400。
S3、基于所得替代模型构造对抗样本;
具体的,构造所得的对抗样本为:
Figure BDA0002235709880000061
其中,xi为预收集好的EEG样本集中的样本,ε为扰动上限,J为所得替代模型的损失函数,θ为替代模型的参数,y′i为向替代模型询问所得的xi的标签。
S4、使用对抗样本对EEG的脑机接口系统进行黑盒攻击。
具体的,本发明针对的脑机接口系统由信号采集模块、信号预处理模块、目标模型和控制器组成,如图2所示,本发明所提供在EEG脑机接口系统中的进行黑盒攻击的示意图。将攻击模块置于信号预处理模块和目标模型之间,在训练好的替代模型上通过攻击模块产生对抗样本,由于对抗样本的迁移性,产生的对抗样本也能成功攻击目标模型,使得目标模型无法正确地做出预测,从而影响到整个脑机接口系统,使其无法正常工作。
在相同的询问次数和相同的替代模型初始训练集条件下,分别采用本发明所提出的攻击方法和基于雅克比矩阵的攻击方法在ERN数据集上进行对比实验,其中,询问次数为400,替代模型初始训练集S0的大小为400,实验结果如表1所示。
表1
Figure BDA0002235709880000071
Figure BDA0002235709880000081
从表1可以看出,当目标模型为EEGNet,替代模型为DeepCNN时,攻击前目标模型在测试集上的正确率为76.26%,分别采用本发明所提出的方法和基于雅克比矩阵的攻击方法进行攻击后,目标模型在测试集上的正确率分别降低到36.55%和47.06%,并且对于不同的目标模型,采用不同的替代模型进行攻击,本发明的攻击效果也明显优于基于雅克比矩阵的攻击方法。本发明所提出的方法通过生成替代模型中各决策边界附近的样本进行询问合成主动学习,大大降低了训练过程中的询问次数,在更少的询问次数情况下攻击性能更好,攻击效率也更高。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种脑机接口系统黑盒攻击方法,其特征在于,包括以下步骤:
S1、向脑机接口系统中的目标模型询问预收集好的EEG样本集中的样本标签,得到替代模型训练集,并基于该训练集训练分类模型,得到替代模型;
S2、生成替代模型中各决策边界两侧的样本,向目标模型询问其标签,并合成到所述替代模型训练集中,然后基于所述替代模型训练集训练替代模型,重复步骤S2进行迭代,直至迭代次数达到迭代次数上限,得到训练好的替代模型;
S3、基于所得替代模型构造对抗样本;
S4、使用对抗样本对EEG的脑机接口系统进行黑盒攻击;
其中,步骤S2所述的方法包括以下步骤:
S21、初始化生成样本集为空集;
S22、在当前替代模型训练集中依次选择两类EEG样本集,初始化中间生成样本集为空集;
S23、在当前所选择的两类EGG样本集中随机选择两个不同类的EEG样本,在特征空间上通过二分法迭代生成位于替代模型在当前两类样本决策边界两侧的两个不同类样本,计算得到这两个样本中垂线上的样本,并加入到中间生成样本集中,重复步骤S23进行迭代,直至中间生成样本集中的样本个数达到预设样本数;
S24、将中间生成样本集加入到生成样本集中;
S25、重复步骤S22-S24,直至替代模型训练集中的各类EGG样本的两两组合均已覆盖完毕;
S26、向目标模型询问生成样本集中的样本标签,并将生成样本集及其标签加入到当前替代模型训练集中,更新替代模型训练集;
S27、基于替代模型训练集重新训练替代模型;
S28、重复步骤S21-S27进行迭代,直至迭代次数达到迭代次数上限,得到训练好的替代模型。
2.根据权利要求1所述的脑机接口系统黑盒攻击方法,其特征在于,所述预收集好的EEG样本集中每一类标签所对应的EEG样本数大于或等于1。
3.根据权利要求1所述的脑机接口系统黑盒攻击方法,其特征在于,所述分类模型为深度学习模型。
4.根据权利要求1所述的脑机接口系统黑盒攻击方法,其特征在于,构造所得的对抗样本为:
Figure FDA0003325792110000021
其中,xi为预收集好的EEG样本集中的样本,ε为扰动上限,J为所得替代模型的损失函数,θ为替代模型的参数,y′i为向替代模型询问所得的xi的标签。
5.根据权利要求1-4任意一项所述的脑机接口系统黑盒攻击方法,其特征在于,应用于基于EEG的脑机接口系统安全领域。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-5任意一项所述的攻击方法。
CN201910982682.3A 2019-10-16 2019-10-16 一种脑机接口系统黑盒攻击方法 Active CN110837637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910982682.3A CN110837637B (zh) 2019-10-16 2019-10-16 一种脑机接口系统黑盒攻击方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910982682.3A CN110837637B (zh) 2019-10-16 2019-10-16 一种脑机接口系统黑盒攻击方法

Publications (2)

Publication Number Publication Date
CN110837637A CN110837637A (zh) 2020-02-25
CN110837637B true CN110837637B (zh) 2022-02-15

Family

ID=69575402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910982682.3A Active CN110837637B (zh) 2019-10-16 2019-10-16 一种脑机接口系统黑盒攻击方法

Country Status (1)

Country Link
CN (1) CN110837637B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291828B (zh) * 2020-03-03 2023-10-27 广州大学 一种基于深度学习的hrrp对抗样本黑盒攻击方法
AU2020437435B2 (en) * 2020-03-26 2023-07-20 Shenzhen Institutes Of Advanced Technology Adversarial image generation method, apparatus, device, and readable storage medium
CN112085055B (zh) * 2020-08-05 2022-12-13 清华大学 一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法
CN112256133B (zh) * 2020-10-28 2022-05-20 华中科技大学 一种基于eeg的脑机接口系统的污染攻击方法
CN112989361B (zh) * 2021-04-14 2023-10-20 华南理工大学 一种基于生成对抗网络的模型安全性检测方法
CN113407939B (zh) * 2021-06-17 2022-08-05 电子科技大学 面向黑盒攻击的替代模型自动选取方法、存储介质及终端
CN113642029B (zh) * 2021-10-12 2021-12-24 华中科技大学 一种度量数据样本与模型决策边界相关性的方法及系统
CN114692728A (zh) * 2022-03-09 2022-07-01 北京理工大学 一种面向替代模型的分类边界敏感的数据增广方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520268B (zh) * 2018-03-09 2021-05-18 浙江工业大学 基于样本选择和模型进化的黑盒对抗性攻击防御方法
CN109376556B (zh) * 2018-12-17 2020-12-18 华中科技大学 一种针对以卷积神经网络为基础的eeg脑机接口的攻击方法

Also Published As

Publication number Publication date
CN110837637A (zh) 2020-02-25

Similar Documents

Publication Publication Date Title
CN110837637B (zh) 一种脑机接口系统黑盒攻击方法
CN113704758B (zh) 一种黑盒攻击对抗样本生成方法及系统
CN109376556B (zh) 一种针对以卷积神经网络为基础的eeg脑机接口的攻击方法
CN112287997A (zh) 一种基于生成式对抗网络的深度图卷积模型防御方法
CN115063652B (zh) 一种基于元学习的黑盒攻击方法、终端设备及存储介质
CN112884204B (zh) 网络安全风险事件预测方法及装置
CN113255816A (zh) 定向攻击对抗补丁生成方法及装置
CN113034332A (zh) 不可见水印图像、后门攻击模型构建、分类方法及系统
CN116992299B (zh) 区块链交易异常检测模型的训练方法、检测方法及装置
CN115908898A (zh) 一种基于对抗样本训练的图像分类方法
Song et al. Generating fake cyber threat intelligence using the gpt-neo model
CN118520360A (zh) 一种频谱博弈决策的智能迭代方法和装置
CN111882037A (zh) 一种基于网络附加/修改的深度学习模型优化方法
CN118982876A (zh) 一种基于特征级解耦的虚假人脸检测和溯源方法
Liu et al. Tdnetgen: Empowering complex network resilience prediction with generative augmentation of topology and dynamics
KR20190028880A (ko) 봇넷 탐지 시스템을 학습하기 위한 학습 데이터를 생성하는 방법 및 그 장치
Cao et al. Pss: Progressive sample selection for open-world visual representation learning
US8001061B2 (en) First and second unsupervised learning processes combined using a supervised learning apparatus
Wang et al. Generating semantic adversarial examples via feature manipulation
KR20200013430A (ko) 모션 합성 장치 및 모션 합성 방법
CN116884090B (zh) 一种基于双重对抗网络的跨环境人体活动识别方法
Nguyen et al. Hierarchical action embedding for effective autonomous penetration testing
CN111881027A (zh) 一种基于数据防御的深度学习模型优化方法
Wu et al. C-ELM: A curious extreme learning machine for classification problems
CN113920365B (zh) 多源时间序列的分类方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant