[go: up one dir, main page]

CN112906676A - 人脸图像来源的识别方法、装置、存储介质及电子设备 - Google Patents

人脸图像来源的识别方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112906676A
CN112906676A CN202110488314.0A CN202110488314A CN112906676A CN 112906676 A CN112906676 A CN 112906676A CN 202110488314 A CN202110488314 A CN 202110488314A CN 112906676 A CN112906676 A CN 112906676A
Authority
CN
China
Prior art keywords
image
feature extraction
network
extraction network
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110488314.0A
Other languages
English (en)
Inventor
白世杰
吴富章
赵宇航
王秋明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuanjian Information Technology Co Ltd
Original Assignee
Beijing Yuanjian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuanjian Information Technology Co Ltd filed Critical Beijing Yuanjian Information Technology Co Ltd
Priority to CN202110488314.0A priority Critical patent/CN112906676A/zh
Publication of CN112906676A publication Critical patent/CN112906676A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了人脸图像来源的识别方法、装置、存储介质及电子设备,包括:将获取到的待检测人脸图像输入训练好的图像特征提取网络,得到带有辅助检测特征信息的目标特征向量;其中,训练好的图像特征提取网络是通过依次连接的初始特征提取网络以及监督学习网络训练得到的;将目标特征向量输入至分类识别网络,确定待检测人脸图像是否为从真实用户采集的。这样,通过在初始特征提取网络结构的基础上增加监督学习网络对图像特征提取网络进行训练,在对待测人脸图像进行检测时,通过训练好的图像特征提取网络提取出带有辅助检测特征信息的目标特征向量,可以为分类识别网络的分类识别提供更多的分类依据,可以提高对人脸图像来源的识别的准确性。

Description

人脸图像来源的识别方法、装置、存储介质及电子设备
技术领域
本申请涉及人脸识别技术领域,尤其是涉及人脸图像来源的识别方法、装置、存储介质及电子设备。
背景技术
在手机解锁,移动支付,远程身份验证等关键登录系统场景中,刷脸操作成为了最便捷的行为方式之一,相比于密码验证,利用人身份信息进行验证,更加安全且更能代表本人操作,而目前刷脸行为存在被伪造合法用户人脸的攻击的风险,如非用户本人利用伪造的包含有用户脸部信息的照片进行伪造验证等,其安全性有待加强。采集到的人脸图像,能否确定为来源于用户本身,成为亟需解决的问题。
现阶段,对于人脸图像验证的方式一般为利用深度图像判断人脸的3D性,利用深度学习技术,利用摄像头端向用户投射炫光,依据真人人脸与屏幕照片或打印纸张的颜色变化来进行区别是否为真实本人,一般的方案为让用户进行点点头,张张嘴,眨眨眼,摇摇头等一些列动作,采集视频,利用卷积神经网络以及时序网络判断视频中连续帧的人的行为动作变化,来进行身份认证,上述方法中对用户的认证判断方式的判断较为单一,导致这些方法仍然存在无法准确识别照片伪造用户的情况,因此对用户的人脸识别的准确率较低。
发明内容
有鉴于此,本申请的目的在于提供人脸图像来源的识别方法、装置、存储介质及电子设备,通过在初始特征提取网络结构的基础上增加监督学习网络对图像特征提取网络进行训练,得到训练好的图像特征提取网络,在对待测人脸图像进行检测时,通过训练好的图像特征提取网络提取出带有辅助检测特征信息的目标特征向量,可以为分类识别网络的分类识别提供更多的分类依据,可以提高对人脸图像来源的识别的准确性。
本申请实施例提供了一种人脸图像来源的识别方法,所述识别方法包括:
获取待检测用户的待检测人脸图像;
将所述待检测人脸图像输入训练好的图像特征提取网络,得到带有辅助检测特征信息的目标特征向量;其中,所述训练好的图像特征提取网络是通过依次连接的初始特征提取网络以及监督学习网络训练得到的;所述辅助检测特征信息通过真实用户样本图像以及非真实用户样本图像对比学习得到,用于辅助判断待检测人脸图像的来源信息;
将所述目标特征向量输入至分类识别网络,确定所述待检测人脸图像是否为从真实用户采集的。
进一步的,通过以下步骤训练所述图像特征提取网络:
获取多张样本图像,其中,所述多张样本图像包括真实用户样本图像以及非真实用户样本图像;
将每一张样本图像输入至初始特征提取网络,得到每一张样本图像对应的初始特征向量;
将每一张样本图像输入至监督学习网络,得到每一张样本图像对应的辅助检测特征向量;
基于得到的各张样本图像对应的初始特征向量与辅助检测特征向量,更新所述初始特征提取网络中的各个参数,当所述初始特征提取网络对应的损失函数的函数值小于预设阈值时,确定所述初始特征提取网络训练完毕,得到所述图像特征提取网络。
进一步的,所述监督学习网络包括顺次连接的三个卷积层以及一个全连接层,通过以下步骤确定辅助检测特征向量:
针对每一张样本图像,将该样本图像依次输入至顺次连接的三个卷积层,得到样本特征向量;
将所述样本特征向量输入至所述全连接层,进行分类得到与该样本图像对应的高光反光特征向量;
比对每一张真实用户样本图像对应的高光反光特征向量以及每一张非真实用户样本图像对应的高光反光特征向量,得到所述辅助检测特征向量。
进一步的,通过以下步骤确定辅助检测特征向量:
将所述初始特征向量依次输入至顺次连接的三个卷积层中,得到改变维度后的更新特征向量;
针对每一张样本图像,对该样本图像进行傅里叶变换,得到带有频谱信息的频谱特征向量;
比对每一张真实用户样本图像对应的频谱特征向量以及每一张非真实用户样本图像对应的频谱特征向量,得到所述辅助检测特征向量。
进一步的,所述基于得到的每一个初始特征向量与对应的所述辅助检测特征向量,更新所述初始特征提取网络中的各个参数,包括:
将所述每一张样本图像对应的初始特征向量与辅助检测特征向量进行计算,得到带有辅助检测特征信息的目标特征向量;
利用得到的多个目标特征向量反向传播更新所述初始特征提取网络中的各个参数。
本申请实施例还提供了一种人脸图像来源的识别装置,所述识别装置包括:
图像获取模块,用于获取待检测用户的待检测人脸图像;
向量确定模块,用于将所述待检测人脸图像输入训练好的图像特征提取网络,得到带有辅助检测特征信息的目标特征向量;其中,所述训练好的图像特征提取网络是通过依次连接的初始特征提取网络以及监督学习网络训练得到的;所述辅助检测特征信息通过真实用户样本图像以及非真实用户样本图像对比学习得到,用于辅助判断待检测人脸图像的来源信息;
图像检测模块,用于将所述目标特征向量输入至分类识别网络,确定所述待检测人脸图像是否为从真实用户采集的。
进一步的,所述识别装置还包括训练模块,所述训练模块用于:
获取多张样本图像,其中,所述多张样本图像包括真实用户样本图像以及非真实用户样本图像;
将每一张样本图像输入至初始特征提取网络,得到每一张样本图像对应的初始特征向量;
将每一张样本图像输入至监督学习网络,得到每一张样本图像对应的辅助检测特征向量;
基于得到的各张样本图像对应的初始特征向量与辅助检测特征向量,更新所述初始特征提取网络中的各个参数,当所述初始特征提取网络对应的损失函数的函数值小于预设阈值时,确定所述初始特征提取网络训练完毕,得到所述图像特征提取网络。
进一步的,所述监督学习网络包括顺次连接的三个卷积层以及一个全连接层,所述训练模块用于通过以下步骤确定辅助检测特征向量:
针对每一张样本图像,将该样本图像依次输入至顺次连接的三个卷积层,得到样本特征向量;
将所述样本特征向量输入至所述全连接层,进行分类得到与该样本图像对应的高光反光特征向量;
比对每一张真实用户样本图像对应的高光反光特征向量以及每一张非真实用户样本图像对应的高光反光特征向量,得到所述辅助检测特征向量。
进一步的,所述训练模块用于通过以下步骤确定辅助检测特征向量:
将所述初始特征向量依次输入至顺次连接的三个卷积层中,得到改变维度后的更新特征向量;
针对每一张样本图像,对该样本图像进行傅里叶变换,得到带有频谱信息的频谱特征向量;
比对每一张真实用户样本图像对应的频谱特征向量以及每一张非真实用户样本图像对应的频谱特征向量,得到所述辅助检测特征向量。
进一步的,所述训练模块在用于基于得到的每一个初始特征向量与对应的所述辅助检测特征向量,更新所述初始特征提取网络中的各个参数时,所述训练模块用于:
将所述每一张样本图像对应的初始特征向量与辅助检测特征向量进行计算,得到带有辅助检测特征信息的目标特征向量;
利用得到的多个目标特征向量反向传播更新所述初始特征提取网络中的各个参数。
本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的人脸图像来源的识别方法的步骤。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述的人脸图像来源的识别方法的步骤。
本申请实施例提供的人脸图像来源的识别方法、装置、存储介质及电子设备,获取待检测用户的待检测人脸图像;将所述待检测人脸图像输入训练好的图像特征提取网络,得到带有辅助检测特征信息的目标特征向量;其中,所述训练好的图像特征提取网络是通过依次连接的初始特征提取网络以及监督学习网络训练得到的;所述辅助检测特征信息通过真实用户样本图像以及非真实用户样本图像对比学习得到,用于辅助判断待检测人脸图像的来源信息;将所述目标特征向量输入至分类识别网络,确定所述待检测人脸图像是否为从真实用户采集的。
这样,通过在初始特征提取网络结构的基础上增加监督学习网络对图像特征提取网络进行训练,得到训练好的图像特征提取网络,获取待检测用户的待检测人脸图像,并将获取到的待检测人脸图像输入至训练好的图像特征提取网络,得到带有辅助检测特征信息的目标特征向量;分类识别网络通过带有辅助检测特征信息的目标特征向量输出待检测人脸图像是否是从真实用户采集的结果,可以提高对人脸图像来源的识别的准确性。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种人脸图像来源的识别方法的流程图;
图2为训练时的网络模型示意图;
图3为对待检测图像进行预测识别的网络模型示意图;
图4为本申请实施例所提供的一种人脸图像来源的识别装置的结构示意图之一;
图5为本申请实施例所提供的一种人脸图像来源的识别装置的结构示意图之二;
图6为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例,都属于本申请保护的范围。
首先,对本申请可适用的应用场景进行介绍。本申请可应用于人脸识别技术领域。
经研究发现,现阶段,对于人脸图像验证的方式一般为利用深度图像判断人脸的3D性,利用深度学习技术,利用摄像头端向用户投射炫光,依据真人人脸与屏幕照片或打印纸张的颜色变化来进行区别是否为真实本人,一般的方案为让用户进行点点头,张张嘴,眨眨眼,摇摇头等一些列动作,采集视频,利用卷积神经网络以及时序网络判断视频中连续帧的人的行为动作变化,来进行身份认证,上述方法中对用户的认证判断方式的判断较为单一,导致这些方法仍然存在无法准确识别照片伪造用户的情况,因此对用户的人脸识别的准确率较低。
基于此,本申请实施例提供了一种人脸图像来源的识别方法,以提高对人脸图像来源的识别的准确性。
请参阅图1,图1为本申请实施例所提供的一种人脸图像来源的识别方法的流程图。如图1中所示,本申请实施例提供的人脸图像来源的识别方法,包括:
S101、获取待检测用户的待检测人脸图像。
该步骤中,通过摄像装置获取待检测用户的待检测人脸图像。
这里,本申请的应用场景可以为在手机解锁、移动支付、远程身份验证等关键登录系统场景中,在上述应用场景中刷脸操作成为了比较便捷的行为方式,在进行刷脸验证的过程中需要获取待检测用户的待检测图像,可以通过设置在手机终端或是验证装置上的摄像装置获取带有待检测用户的人脸的图像,并通过人脸识别技术获取到待检测用户的人脸识别图像。
S102、将所述待检测人脸图像输入训练好的图像特征提取网络,得到带有辅助检测特征信息的目标特征向量;其中,所述训练好的图像特征提取网络是通过依次连接的初始特征提取网络以及监督学习网络训练得到的;所述辅助检测特征信息通过真实用户样本图像以及非真实用户样本图像对比学习得到,用于辅助判断待检测人脸图像的来源信息。
该步骤中,将步骤S101中获取到的待检测用户的待检测人脸图像输入到预先训练好的图像特征提取网络中,得到带有辅助检测特征信息的目标特征向量。其中,辅助检测特征信息通过真实用户样本图像以及非真实用户样本图像对比学习得到,用于辅助判断待检测人脸图像的来源信息。
这里,本申请实施例中的图像特征提取网络在训练时加入了特定成分识别的监督学习网络,使得图像特征提取网络可以学习到监督学习网络中的辅助检测特征信息,从而在进行对待检测图像的识别过程中,可以使得与图像特征提取网络连接的分类识别网络能够更加准确的识别出特征向量是否为真人验证或攻击验证,进而提高对待检测用户提供的待检测人脸图像是否时来源于真实用户的检测的准确性。
这里,具体的训练过程可以是对网络结构的改进,即在原始特征提取层以及全连接层之间增加监督学习网络,使得这两层之间的特征向量在监督学习的情况下学习到样本图像中带有的监督学习的目标成分,从而有效提升全连接层的分类准确性能。
其中,上述监督学习网络包括多种监督网络学习分支。
其中,图像特征提取网络可以选为resnet-18网络。
其中,监督学习网络,预先训练具有识别伪造攻击信息成分的神经网络,其中伪造攻击信息的成分包括,高光反光,纹理,摩尔纹,图像频谱图,图像模糊,黑边白边等信息。
这里,在对图像特征提取网络进行训练时时通过监督学习网络进行训练的,监督学习网络通过真实用户样本图像以及非真实用户样本图像对比学习得到辅助检测特征信息,进而通过反向传播,更新图像特征提取网络,进而更新图像特征提取网络的参数。
进一步的,通过以下步骤训练所述图像特征提取网络:
a1:获取多张样本图像,其中,所述多张样本图像包括真实用户样本图像以及非真实用户样本图像。
这里,获取的多张样本图像可以是历史验证过程中的样本图像,在获取到的多张样本图像中必然包括真实用户样本图像以及非真实用户样本图像,以构成训练的正负样本,以使特征提取网络以及监督学习网络在进行训练的过程中充分学习真实用户样本图像以及非真实用户样本图像中的图像特征。
a2:将每一张样本图像输入至初始特征提取网络,得到每一张样本图像对应的初始特征向量。
该步骤中,将获取到的每一张样本图像输入至初始特征提取网络中,得到与每一张样本图像对应的初始特征图像。
这里,初始特征提取网络是与现有技术中一致的特征提取网络,可以为resnet-18网络。
a3:将每一张样本图像输入至监督学习网络,得到每一张样本图像对应的辅助检测特征向量。
该步骤中,将每一张样本图像输入至监督学习网络,同时得到每一张样本图像对应的辅助检测特征向量。
这里,监督学习网络可以包括用于对人脸检测图像进行高光反光检测的高光反光监督网络以及对待检测图像的频谱进行检测的频谱成分监督网络。
进一步的,当所述监督学习网络为高光反光监督网络时,包括顺次连接的三个卷积层以及一个全连接层,通过以下步骤确定辅助检测特征向量:
b1:针对每一张样本图像,将该样本图像依次输入至顺次连接的三个卷积层,得到样本特征向量。
该步骤中,将获取到的每一张样本图像输入至顺次连接的三个卷积层,通过每一层卷积层的特征提取,得到样本特征向量。
这里,三个卷积层可以分别为pytorch中的conv2d函数,接 batchnorm2d函数,再接ReLU函数。
b2:将所述样本特征向量输入至所述全连接层,进行分类得到与该样本图像对应的高光反光特征向量。
该步骤中,将经过三个卷积层获得的样本特征向量输入至全连接层,进行分类得到该样本图像对应的高光反光特征向量。
这里,在对高光反光监督网络进行训练时,通过对真实用户样本图像以及非真实用户样本图像的特征学习,可以使得训练好后的网络即可有效将一张图片中是否存在高光检测出来。
b3:比对每一张真实用户样本图像对应的高光反光特征向量以及每一张非真实用户样本图像对应的高光反光特征向量,得到所述辅助检测特征向量。
该步骤中,比对每一张样本图像对应的高光反光特征向量,其中样本图像对应的高光反光特征向量包括真实用户样本图像对应的高光反光特征向量以及每一张非真实用户样本图像对应的高光反光特征向量,学习到图像中是否具有高光反光的特征,从而使得训练好的高光反光监督网络在对图像进行特征提取时,输入包含有高光反光特征的辅助检测特征向量。
进一步的,当所述监督学习网络为频谱成分监督网络时,通过以下步骤确定辅助检测特征向量:
c1:将所述初始特征向量依次输入至顺次连接的三个卷积层中,得到改变维度后的更新特征向量。
该步骤中,将通过初始特征向量依次输入至顺次连接的三个卷积层中,得到改变维度后的更新特征向量。
这里,三个卷积层可以分别为pytorch中的conv2d函数,接 batchnorm2d函数,再接ReLU函数。
这里,由于后续需要与频谱特征向量进行计算,初始特征向量与频谱特征向量维度不同,需要将初始特征向量的维度变化成与频谱向量一致的更新特征向量。
c2:针对每一张样本图像,对该样本图像进行傅里叶变换,得到带有频谱信息的频谱特征向量。
该步骤中,针对于每一张样本图像,对该样本图像进行傅里叶变换,从而得到带有频谱信息的频谱特征向量。
这里,针对于每一张样本图像,将样本图像转为灰度图,将灰度图计算快速傅里叶变换,得到频谱图,进而得到带有频谱信息的频谱特征向量。
c3:比对每一张真实用户样本图像对应的频谱特征向量以及每一张非真实用户样本图像对应的频谱特征向量,得到所述辅助检测特征向量。
该步骤中,比对每一张样本图像对应的频谱特征向量,其中样本图像对应的频谱特征向量包括真实用户样本图像对应的频谱特征向量以及每一张非真实用户样本图像对应的频谱特征向量,学习到图像中的频谱特征,从而使得训练好的频谱成分监督网络在对图像进行特征提取时,输入包含有频谱特征的辅助检测特征向量。
a4:基于得到的各张样本图像对应的初始特征向量与辅助检测特征向量,更新所述初始特征提取网络中的各个参数,当所述初始特征提取网络对应的损失函数的函数值小于预设阈值时,确定所述初始特征提取网络训练完毕,得到所述图像特征提取网络。
该步骤中,基于得到的各张样本图像对应的初始特征向量与辅助检测特征向量,反向传播更新初始特征提取网络中的各个参数,当确定出初始特征提取网络对应的损失函数的函数值小于预设阈值时,确定所述初始特征提取网络训练完毕,得到所述图像特征提取网络。
这里,利用监督学习网络得到的辅助检测特征向量对初始特征提取网络进行迭代训练,当确定初始特征提取网络收敛时,确定对初始特征提取网络训练完毕,得到所述图像特征提取网络。
这里,在对初始特征提取网络进行更新后得到的图像特征提取网络,可以输出带有辅助检测信息的特征向量,从而提升分类识别网络的识别准确率。
进一步的,所述基于得到的每一个初始特征向量与对应的所述辅助检测特征向量,更新所述初始特征提取网络中的各个参数,包括以下步骤:
d1:将所述每一张样本图像对应的初始特征向量与辅助检测特征向量进行计算,得到带有辅助检测特征信息的目标特征向量。
该步骤中,将每一张样本图像对应的初始特征向量与辅助检测特征向量进行计算,使得初始特征向量中具有辅助检测特征向量的监督成分,得到带有辅助检测特征信息的目标特征向量。
其中,对初始特征向量与辅助检测特征向量进行的计算可以是mse损失函数计算。
d2:利用得到的多个目标特征向量反向传播更新所述初始特征提取网络中的各个参数。
该步骤中,利用得到的多个目标特征向量反向传播,对初始特征提取网络的参数进行更新。
这里,在对初始特征提取网络的参数进行更新时,可以是一个累积更新的过程,也可以是一个择优更新的过程。例如,累积更新的过程可以是利用多个目标特征向量进行反向传播,当初始特征网络收敛时,将最后一次的初始特征提取网络对应的参数,确定为所述图像特征提取网络的参数;择优更新可以是针对每一个目标特征向量进行反向传播对应的损失函数值,将最小的损失函数指对应的初始特征提取网络对应的参数,确定为所述图像特征提取网络的参数。
进一步的,请参阅图2,图2为训练时的网络模型示意图,如图2中所示,以监督学习网络为高光反光监督网络以及频谱成分监督网络为例,初始特征提取网络接收到样本图像后,进行特征提取,得到的初始特征向量;同时将同一样本图像输入至高光反光监督网络以及频谱成分监督网络,在高光反光监督网络中输入的样本图像经过三层卷积层(第一卷积层、第二卷积层以及第三卷积层),得到带有高光反光特征的辅助检测特征向量;利用辅助检测特征向量以及初始特征向量进行反向传播,更新初始特征网络的参数;在频谱成分监督网络侧将初始特征向量经过三层卷积层,得到转换维度后的更新特征向量,同时对样本图像进行傅里叶变换得到频谱向量,利用频谱向量以及初始特征向量进行反向传播,更新主干网络中的初始特征网络的参数。
值得注意的是,在对初始特征网络进行更新的过程中,高光反光监督网络以及频谱成分监督网络是同时对初始特征网络进行参数更新的。
S103、将所述目标特征向量输入至分类识别网络,确定所述待检测人脸图像是否为从真实用户采集的。
该步骤中,将步骤S102通过图像特征提取网络输出的目标特征向量输入至分类识别网络,确定出待检测用户的待检测人脸图像是否是来源于真实用户。
这里,分类识别网络可以是一个二分类网络,在经过分类识别网络直接输出待检测人脸图像是从真实用户采集或是待检测人脸图像是从真实用户采集的结果。
这里,在本申请实施例中对攻击信息识别的主要是照片攻击信息,分类识别网络主要是识别出用户是否为真实用户验证或为照片等攻击行为。
这样,针对于上述场景,在对待检测用户的待检测人脸图像是否是来源于真实用户的验证后,若是确定出待检测用户的待检测人脸图像的来源是真实用户后,确定待检测用户认证成功,提示用户认证通过,可进行后期操作,如拥有登录系统权限或拥有支付权限等。
进一步的,请参阅图3,图3为对待检测图像进行预测识别的网络模型示意图,如图3中所示,将待检测用户的待检测人脸图像输入后,得到带有辅助检测特征信息的目标特征向量,再经过分类识别网络的识别,输出待检测人脸图像是否为从真实用户采集的检测结果,其中,具体表现形式可以是输出“活体”以及“攻击”的输出结果;这里,“活体”表示待检测人脸图像是从真实用户处采集的;“攻击”表示待检测人脸图像不是从真实用户处采集的,可能是照片伪造等进行伪造的。
本申请实施例提供的人脸图像来源的识别方法,获取待检测用户的待检测人脸图像;将所述待检测人脸图像输入训练好的图像特征提取网络,得到带有辅助检测特征信息的目标特征向量;其中,所述训练好的图像特征提取网络是通过依次连接的初始特征提取网络以及监督学习网络训练得到的;所述辅助检测特征信息通过真实用户样本图像以及非真实用户样本图像对比学习得到,用于辅助判断待检测人脸图像的来源信息;将所述目标特征向量输入至分类识别网络,确定所述待检测人脸图像是否为从真实用户采集的。
这样,通过在初始特征提取网络结构的基础上增加监督学习网络对图像特征提取网络进行训练,得到训练好的图像特征提取网络,获取待检测用户的待检测人脸图像,并将获取到的待检测人脸图像输入至训练好的图像特征提取网络,得到带有辅助检测特征信息的目标特征向量;分类识别网络通过带有辅助检测特征信息的目标特征向量输出待检测人脸图像是否是从真实用户采集的结果,可以提高对人脸图像来源的识别的准确性。
请参阅图4、图5,图4为本申请实施例所提供的一种人脸图像来源的识别装置的结构示意图之一,图5为本申请实施例所提供的一种人脸图像来源的识别装置的结构示意图之二。如图4中所示,所述识别装置400包括:
图像获取模块410,用于获取待检测用户的待检测人脸图像;
向量确定模块420,用于将所述待检测人脸图像输入训练好的图像特征提取网络,得到带有辅助检测特征信息的目标特征向量;其中,所述训练好的图像特征提取网络是通过依次连接的初始特征提取网络以及监督学习网络训练得到的;所述辅助检测特征信息通过真实用户样本图像以及非真实用户样本图像对比学习得到,用于辅助判断待检测人脸图像的来源信息;
图像检测模块430,用于将所述目标特征向量输入至分类识别网络,确定所述待检测人脸图像是否为从真实用户采集的。
进一步的,如图5所示,所述识别装置还包括训练模块440,所述训练模块440用于:
获取多张样本图像,其中,所述多张样本图像包括真实用户样本图像以及非真实用户样本图像;
将每一张样本图像输入至初始特征提取网络,得到每一张样本图像对应的初始特征向量;
将每一张样本图像输入至监督学习网络,得到每一张样本图像对应的辅助检测特征向量;
基于得到的各张样本图像对应的初始特征向量与辅助检测特征向量,更新所述初始特征提取网络中的各个参数,当所述初始特征提取网络对应的损失函数的函数值小于预设阈值时,确定所述初始特征提取网络训练完毕,得到所述图像特征提取网络。
进一步的,所述监督学习网络包括顺次连接的三个卷积层以及一个全连接层,所述训练模块440用于通过以下步骤确定辅助检测特征向量:
针对每一张样本图像,将该样本图像依次输入至顺次连接的三个卷积层,得到样本特征向量;
将所述样本特征向量输入至所述全连接层,进行分类得到与该样本图像对应的高光反光特征向量;
比对每一张真实用户样本图像对应的高光反光特征向量以及每一张非真实用户样本图像对应的高光反光特征向量,得到所述辅助检测特征向量。
进一步的,所述训练模块440用于通过以下步骤确定辅助检测特征向量:
将所述初始特征向量依次输入至顺次连接的三个卷积层中,得到改变维度后的更新特征向量;
针对每一张样本图像,对该样本图像进行傅里叶变换,得到带有频谱信息的频谱特征向量;
比对每一张真实用户样本图像对应的频谱特征向量以及每一张非真实用户样本图像对应的频谱特征向量,得到所述辅助检测特征向量。
进一步的,所述训练模块440在用于基于得到的每一个初始特征向量与对应的所述辅助检测特征向量,更新所述初始特征提取网络中的各个参数时,所述训练模块用于:
将所述每一张样本图像对应的初始特征向量与辅助检测特征向量进行计算,得到带有辅助检测特征信息的目标特征向量;
利用得到的多个目标特征向量反向传播更新所述初始特征提取网络中的各个参数。
本申请实施例提供的人脸图像来源的识别装置,获取待检测用户的待检测人脸图像;将所述待检测人脸图像输入训练好的图像特征提取网络,得到带有辅助检测特征信息的目标特征向量;其中,所述训练好的图像特征提取网络是通过依次连接的初始特征提取网络以及监督学习网络训练得到的;所述辅助检测特征信息通过真实用户样本图像以及非真实用户样本图像对比学习得到,用于辅助判断待检测人脸图像的来源信息;将所述目标特征向量输入至分类识别网络,确定所述待检测人脸图像是否为从真实用户采集的。
这样,通过在初始特征提取网络结构的基础上增加监督学习网络对图像特征提取网络进行训练,得到训练好的图像特征提取网络,获取待检测用户的待检测人脸图像,并将获取到的待检测人脸图像输入至训练好的图像特征提取网络,得到带有辅助检测特征信息的目标特征向量;分类识别网络通过带有辅助检测特征信息的目标特征向量输出待检测人脸图像是否是从真实用户采集的结果,可以提高对人脸图像来源的识别的准确性。
请参阅图6,图6为本申请实施例所提供的一种电子设备的结构示意图。如图6中所示,所述电子设备600包括处理器610、存储器620和总线630。
所述存储器620存储有所述处理器610可执行的机器可读指令,当电子设备600运行时,所述处理器610与所述存储器620之间通过总线630通信,所述机器可读指令被所述处理器610执行时,可以执行如上述图1所示方法实施例中的人脸图像来源的识别方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的人脸图像来源的识别方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种人脸图像来源的识别方法,其特征在于,所述识别方法包括:
获取待检测用户的待检测人脸图像;
将所述待检测人脸图像输入训练好的图像特征提取网络,得到带有辅助检测特征信息的目标特征向量;其中,所述训练好的图像特征提取网络是通过依次连接的初始特征提取网络以及监督学习网络训练得到的;所述辅助检测特征信息通过真实用户样本图像以及非真实用户样本图像对比学习得到,用于辅助判断待检测人脸图像的来源信息;
将所述目标特征向量输入至分类识别网络,确定所述待检测人脸图像是否为从真实用户采集的。
2.根据权利要求1所述的识别方法,其特征在于,通过以下步骤训练所述图像特征提取网络:
获取多张样本图像,其中,所述多张样本图像包括真实用户样本图像以及非真实用户样本图像;
将每一张样本图像输入至初始特征提取网络,得到每一张样本图像对应的初始特征向量;
将每一张样本图像输入至监督学习网络,得到每一张样本图像对应的辅助检测特征向量;
基于得到的各张样本图像对应的初始特征向量与辅助检测特征向量,更新所述初始特征提取网络中的各个参数,当所述初始特征提取网络对应的损失函数的函数值小于预设阈值时,确定所述初始特征提取网络训练完毕,得到所述图像特征提取网络。
3.根据权利要求2所述的识别方法,其特征在于,所述监督学习网络包括顺次连接的三个卷积层以及一个全连接层,通过以下步骤确定辅助检测特征向量:
针对每一张样本图像,将该样本图像依次输入至顺次连接的三个卷积层,得到样本特征向量;
将所述样本特征向量输入至所述全连接层,进行分类得到与该样本图像对应的高光反光特征向量;
比对每一张真实用户样本图像对应的高光反光特征向量以及每一张非真实用户样本图像对应的高光反光特征向量,得到所述辅助检测特征向量。
4.根据权利要求2所述的识别方法,其特征在于,通过以下步骤确定辅助检测特征向量:
将所述初始特征向量依次输入至顺次连接的三个卷积层中,得到改变维度后的更新特征向量;
针对每一张样本图像,对该样本图像进行傅里叶变换,得到带有频谱信息的频谱特征向量;
比对每一张真实用户样本图像对应的频谱特征向量以及每一张非真实用户样本图像对应的频谱特征向量,得到所述辅助检测特征向量。
5.根据权利要求3或4所述的识别方法,其特征在于,所述基于得到的每一个初始特征向量与对应的所述辅助检测特征向量,更新所述初始特征提取网络中的各个参数,包括:
将所述每一张样本图像对应的初始特征向量与辅助检测特征向量进行计算,得到带有辅助检测特征信息的目标特征向量;
利用得到的多个目标特征向量反向传播更新所述初始特征提取网络中的各个参数。
6.一种人脸图像来源的识别装置,其特征在于,所述识别装置包括:
图像获取模块,用于获取待检测用户的待检测人脸图像;
向量确定模块,用于将所述待检测人脸图像输入训练好的图像特征提取网络,得到带有辅助检测特征信息的目标特征向量;其中,所述训练好的图像特征提取网络是通过依次连接的初始特征提取网络以及监督学习网络训练得到的;所述辅助检测特征信息通过真实用户样本图像以及非真实用户样本图像对比学习得到,用于辅助判断待检测人脸图像的来源信息;
图像检测模块,用于将所述目标特征向量输入至分类识别网络,确定所述待检测人脸图像是否为从真实用户采集的。
7.根据权利要求6所述的识别装置,其特征在于,所述识别装置还包括训练模块,所述训练模块用于:
获取多张样本图像,其中,所述多张样本图像包括真实用户样本图像以及非真实用户样本图像;
将每一张样本图像输入至初始特征提取网络,得到每一张样本图像对应的初始特征向量;
将每一张样本图像输入至监督学习网络,得到每一张样本图像对应的辅助检测特征向量;
基于得到的各张样本图像对应的初始特征向量与辅助检测特征向量,更新所述初始特征提取网络中的各个参数,当所述初始特征提取网络对应的损失函数的函数值小于预设阈值时,确定所述初始特征提取网络训练完毕,得到所述图像特征提取网络。
8.根据权利要求7所述的识别装置,其特征在于,所述监督学习网络包括顺次连接的三个卷积层以及一个全连接层,所述训练模块用于通过以下步骤确定辅助检测特征向量:
针对每一张样本图像,将该样本图像依次输入至顺次连接的三个卷积层,得到样本特征向量;
将所述样本特征向量输入至所述全连接层,进行分类得到与该样本图像对应的高光反光特征向量;
比对每一张真实用户样本图像对应的高光反光特征向量以及每一张非真实用户样本图像对应的高光反光特征向量,得到所述辅助检测特征向量。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至5中任一所述的人脸图像来源的识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至5中任一所述的人脸图像来源的识别方法的步骤。
CN202110488314.0A 2021-05-06 2021-05-06 人脸图像来源的识别方法、装置、存储介质及电子设备 Pending CN112906676A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110488314.0A CN112906676A (zh) 2021-05-06 2021-05-06 人脸图像来源的识别方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110488314.0A CN112906676A (zh) 2021-05-06 2021-05-06 人脸图像来源的识别方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN112906676A true CN112906676A (zh) 2021-06-04

Family

ID=76108923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110488314.0A Pending CN112906676A (zh) 2021-05-06 2021-05-06 人脸图像来源的识别方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112906676A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445084A (zh) * 2022-01-24 2022-05-06 支付宝(杭州)信息技术有限公司 具有隐私保护的极速风控智能预测方法和系统
CN114549892A (zh) * 2022-01-14 2022-05-27 阿里巴巴(中国)有限公司 图像处理方法、装置及计算机设备
CN114663936A (zh) * 2022-02-23 2022-06-24 清华大学 一种基于不确定性感知层次监督的人脸伪造检测方法
CN116631108A (zh) * 2023-05-18 2023-08-22 保利物业服务股份有限公司 一种基于人脸识别技术的小区安防方法、装置和设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203305A (zh) * 2016-06-30 2016-12-07 北京旷视科技有限公司 人脸活体检测方法和装置
CN108197525A (zh) * 2017-11-20 2018-06-22 中国科学院自动化研究所 人脸图像生成方法及装置
CN108229325A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸检测方法和系统、电子设备、程序和介质
US20180268203A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Face recognition system for face recognition in unlabeled videos with domain adversarial learning and knowledge distillation
CN109711358A (zh) * 2018-12-28 2019-05-03 四川远鉴科技有限公司 神经网络训练方法、人脸识别方法及系统和存储介质
CN109993124A (zh) * 2019-04-03 2019-07-09 深圳市华付信息技术有限公司 基于视频反光的活体检测方法、装置及计算机设备
US10796134B2 (en) * 2017-09-28 2020-10-06 Nec Corporation Long-tail large scale face recognition by non-linear feature level domain adaptation
CN112329696A (zh) * 2020-11-18 2021-02-05 携程计算机技术(上海)有限公司 人脸活体检测方法、系统、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203305A (zh) * 2016-06-30 2016-12-07 北京旷视科技有限公司 人脸活体检测方法和装置
CN108229325A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸检测方法和系统、电子设备、程序和介质
US20180268203A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Face recognition system for face recognition in unlabeled videos with domain adversarial learning and knowledge distillation
US10796134B2 (en) * 2017-09-28 2020-10-06 Nec Corporation Long-tail large scale face recognition by non-linear feature level domain adaptation
CN108197525A (zh) * 2017-11-20 2018-06-22 中国科学院自动化研究所 人脸图像生成方法及装置
CN109711358A (zh) * 2018-12-28 2019-05-03 四川远鉴科技有限公司 神经网络训练方法、人脸识别方法及系统和存储介质
CN109993124A (zh) * 2019-04-03 2019-07-09 深圳市华付信息技术有限公司 基于视频反光的活体检测方法、装置及计算机设备
CN112329696A (zh) * 2020-11-18 2021-02-05 携程计算机技术(上海)有限公司 人脸活体检测方法、系统、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
杜军平 等: "《跨尺度运动图像的插值、增强与重建》", 30 April 2019, 北京邮电大学出版社 *
杨露菁 等: "《智能图像处理及应用》", 31 March 2019, 北京:中国铁道出版社 *
肖芸榕: "人脸识别系统中的人脸活体检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
高志强 等: "《深度学习 从入门到实战》", 30 June 2018, 中国铁道出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549892A (zh) * 2022-01-14 2022-05-27 阿里巴巴(中国)有限公司 图像处理方法、装置及计算机设备
CN114445084A (zh) * 2022-01-24 2022-05-06 支付宝(杭州)信息技术有限公司 具有隐私保护的极速风控智能预测方法和系统
CN114663936A (zh) * 2022-02-23 2022-06-24 清华大学 一种基于不确定性感知层次监督的人脸伪造检测方法
CN116631108A (zh) * 2023-05-18 2023-08-22 保利物业服务股份有限公司 一种基于人脸识别技术的小区安防方法、装置和设备
CN116631108B (zh) * 2023-05-18 2024-05-24 保利物业服务股份有限公司 一种基于人脸识别技术的小区安防方法、装置和设备

Similar Documents

Publication Publication Date Title
CN112906676A (zh) 人脸图像来源的识别方法、装置、存储介质及电子设备
EP3471023B1 (en) Offline identity authentication method and apparatus
JP7402239B2 (ja) 顔認識方法、ニューラルネットワークのトレーニング方法、顔認識装置、電子機器及びコンピュータ可読記憶媒体
KR101494874B1 (ko) 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체
US20170262472A1 (en) Systems and methods for recognition of faces e.g. from mobile-device-generated images of faces
CN109190470B (zh) 行人重识别方法及装置
CN106570489A (zh) 活体判别方法和装置、身份认证方法和装置
CN106056083B (zh) 一种信息处理方法及终端
KR20170002892A (ko) 위조 지문 검출 방법 및 장치, 지문 인식 방법 및 장치
WO2018082011A1 (zh) 活体指纹识别方法及装置
CN111488798B (zh) 指纹识别方法、装置、电子设备及存储介质
CN111414858A (zh) 人脸识别方法、目标图像的确定方法、装置和电子系统
CN111241873A (zh) 图像翻拍检测方法及其模型的训练方法、支付方法及装置
Yeh et al. Face liveness detection based on perceptual image quality assessment features with multi-scale analysis
CN112699811A (zh) 活体检测方法、装置、设备、储存介质及程序产品
CN115240280B (zh) 人脸活体检测分类模型的构建方法、检测分类方法及装置
CN109543635A (zh) 活体检测方法、装置、系统、解锁方法、终端及存储介质
CN113516107B (zh) 一种图像检测方法
CN115761832A (zh) 人脸活体检测方法、装置、电子设备、车辆及存储介质
CN106599841A (zh) 一种基于全脸匹配的身份验证方法及装置
Kavitha et al. Fuzzy local ternary pattern and skin texture properties based countermeasure against face spoofing in biometric systems
CN110874602A (zh) 一种图像识别方法及装置
Kauba et al. Identifying the origin of iris images based on fusion of local image descriptors and PRNU based techniques
CN119089420A (zh) 基于掌静脉图像的身份验证方法、装置和电子设备
CN111860491B (zh) 一种车辆真伪的认证方法、认证装置以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210604