[go: up one dir, main page]

CN112699797B - 基于联合特征对关系网络的静态人脸表情识别方法及系统 - Google Patents

基于联合特征对关系网络的静态人脸表情识别方法及系统 Download PDF

Info

Publication number
CN112699797B
CN112699797B CN202011612954.XA CN202011612954A CN112699797B CN 112699797 B CN112699797 B CN 112699797B CN 202011612954 A CN202011612954 A CN 202011612954A CN 112699797 B CN112699797 B CN 112699797B
Authority
CN
China
Prior art keywords
static
feature
expression recognition
facial
facial expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202011612954.XA
Other languages
English (en)
Other versions
CN112699797A (zh
Inventor
冯全
吕修旺
姚潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Code Library Data Technology Co ltd
Original Assignee
Changzhou Code Library Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Code Library Data Technology Co ltd filed Critical Changzhou Code Library Data Technology Co ltd
Priority to CN202011612954.XA priority Critical patent/CN112699797B/zh
Publication of CN112699797A publication Critical patent/CN112699797A/zh
Application granted granted Critical
Publication of CN112699797B publication Critical patent/CN112699797B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于联合特征对关系网络的静态人脸表情识别方法及系统，所述方法包括以下步骤：获取静态人脸表情数据；将静态人脸表情数据输入至静态表情识别模型中；通过静态表情识别模型识别人脸表情；静态表情识别模型基于联合特征对关系网络建立。本发明扩大了类间差异并减少了类内差异，提高了人脸表情识别的识别精度。

Description

基于联合特征对关系网络的静态人脸表情识别方法及系统
技术领域
本发明涉及人脸表情识别领域，具体涉及基于联合特征对关系网络的静态人脸表情识别方法及系统。
背景技术
人脸表情识别是人机交互领域中非常重要和有趣的研究领域之一，受到了广大研究者的关注。然而在不受约束的环境下，人的外表会发生很大的变化，人脸表情会存在类内差异大、类间差异小的问题，这使得人脸表情识别变得困难。因此，在不受约束的环境下，更好的人脸表情识别需要在扩大不同表情差异性的同时减少同类表情的差异。
发明内容
针对以上不足，本发明的目的在于提供一种基于联合特征对关系网络的静态人脸表情识别方法及系统，以解决现有技术中存在的人脸表情识别困难的问题。
为达到上述目的，本发明采用的技术方案为：
一种静态人脸表情识别方法，包括以下步骤：
获取静态人脸表情数据；
将静态人脸表情数据输入至静态表情识别模型中；
通过静态表情识别模型识别人脸表情；
静态表情识别模型基于联合特征对关系网络建立。
进一步的，静态表情识别模型的训练过程包括：
获取静态人脸表情数据集；
去除数据集中图像的背景；
对去除背景的图像进行尺度归一化和像素归一化；
通过归一化处理后的图像对静态表情识别模型进行训练。
进一步的，静态表情识别模型包括面部特征编码网络和联合特征对关系网络。
进一步的，通过静态表情识别模型识别人脸表情，包括：
通过面部特征编码网络对面部表情图像进行编码、输出；
将输出的表情特征划分为多个局部块；
通过每个局部块描述面部部分的局部外观块特征；
通过联合特征对关系网络对局部外观块特征进行权值计算，得到注意图；
根据注意图和设定值从局部外观块特征中选取局部外观块特征对；
根据注意图对选取的局部外观块特征对进行注意力加权；
将加权后的局部外观块特征对输入到低秩双线性池中提取联合特征对关系；
将联合特征对关系传入全连接网络中，预测得到人脸表情。
进一步的，面部表情图像的表情特征通过面部特征编码网络的最后一个卷积层进行非线性激活输出。
进一步的，局部外观块特征对的获取包括：
在列方向上堆叠每个局部外观块特征；
将堆叠后的局部外观块特征进行重新排列，形成矩阵。
一种静态人脸表情识别系统，所述系统包括：
获取模块：用于获取静态人脸表情数据；
输入模块：用于将静态人脸表情数据输入至静态表情识别模型中；
识别模块：用于通过静态表情识别模型识别人脸表情，静态表情识别模型基于联合特征对关系网络建立。
一种静态人脸表情识别系统，所述系统包括处理器和存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行上述所述方法的步骤。
与现有技术相比，本发明所达到的有益效果是：
(1)由于人脸中存在一定的表情无关信息，使用联合特征对关系网络对人脸区域的特征进行分区，将特征的重要性进行排序，选取设定值的；局部外观块特征对作为面部表情信息，将剩余的无关信息进行去除，扩大了类间差异并减少了类内差异，提高了表情识别精准度；(2)本发明充分利用面部的表情信息，使用局部外观块特征的相关对及其加权注意得分来表示人脸表情信息，提高了静态表情识别结果的可靠性。
附图说明
图1为联合特征对关系网络的结构图；
图2为特征对重组的过程。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
一种基于联合特征对关系网络的静态人脸表情识别方法，包括以下步骤：
获取静态人脸表情数据；
将静态人脸表情数据输入至静态表情识别模型中；
通过静态表情识别模型识别人脸表情；
静态表情识别模型基于联合特征对关系网络建立。
静态表情识别模型的训练过程如下：
(1)对静态人脸表情数据集进行数据处理；
对人脸图像进行人脸检测，去除背景环境的干扰，并尺度归一化为140×140大小的图像，具体步骤如下：
使用多视角人脸检测器和深度对准网络来检测图像的人脸区域及其面部landmark，当检测失败时，则需要对失败的图像进行丢弃。然后使用检测出的68个面部landmark进行面部对齐，并对图像进行尺度归一化，使其分辨率为大小变为140×140，最后将图像的每个像素除以255使得其归一化到[0,1]的范围内。
(2)构建基于联合特征对关系网络的静态表情识别模型；
基于联合特征对关系网络的静态表情识别模型由面部特征编码网络和联合特征对关系网络组成。
(3)将步骤(1)得到的静态表情数据输入到联合特征对关系网络中进行训练。
通过静态表情识别模型识别人脸表情，包括：
首先利用面部特征编码网络Resnet-101将面部表情图像编码能够表达表情的高维特征，并使用最后一个卷积层(conv5_3)的非线性激活输出作为面部外观表示的特征映射；
将conv5_3输出的表情特征图分为81个局部块(9×9分辨率)并进行重新排列，其中每个局部块用于描述该面部部分的局部外观块特征；首先通过在列方向上堆叠每个局部外观块特征A，将一组局部外观块特征fi重新排列成矩阵形式F＝[f1,…,fi,…,fN]∈RD×N，其中N为局部外观块特征的数量即H×W；
如图1所示，随后使用联合特征对关系网络对局部外观块特征进行权值计算生成注意图，注意图通过有选择地利用给定的信息，提供了一种同时提高准确性和减少输入特征数量的有效方法。
由于只有部分的人脸特征对与表情相关，不相关的部分可能导致神经网络的过拟合。我们需要选择相关的局部外观块特征对，因此根据设定值和注意图从局部外观块特征中选取局部外观块特征对；
由于不同对的局部外观块特征对表情识别的贡献不同，我们应该进一步地对局部外观块特征对进行重新调整，以反映它们对表情的实际影响。在数学上，该过程可以被建模为乘以相应的特征对的双线性注意力得分，即对局部外观块特征对进行注意力加权。
在对特征对进行选择和注意力加权之后，加权后的局部外观块特征对会被传播到低秩双线性池以提取联合特征对关系，随后将联合特征对关系传入两层全连接层中对表情进行预测，得到表情结果。
卷积层的输出可以表示为大小为H×W×D的张量，其中H和W表示每个特征图的高度和宽度，D表示特征图中的通道数量。本质上，卷积层将输入的表情图像划分为H×W大小的子区域，并使用一维特征映射来描述每个子区域内的面部信息。由于卷积层的激活输出可以被视为二维特征的二维阵列，因此本文使用H×W个子区域的每个二维局部外观块特征作为第一面部部分的局部特征表示。而在Resnet-101网络conv5_3输出的特征图中，面部区域被分成81个局部块(9×9)，其中每个局部块用于面部部分的局部外观块特征。因此，我们总共提取了81个局部外观块特征A＝{fi|i＝1,,,81}，其中fi∈R2048。
为了找到人脸表情区域中具有高表情强度的特征，本发明使用联合特征对关系网络对人脸区域进行划分。联合特征对关系网络基于低秩双线性池，它能够提供比线性模型更丰富的表示，并通过考虑每对特征来发现注意力分布以及其表情关注分数。因此，联合特征对关系网络利用所有局部外观块特征对之间的注意特征对关系，提取局部外观块特征对的联合特征对关系。
为了获得局部外观块特征对之间的注意特征对关系和联合特征对关系，我们需要将conv5_3输出的局部外观块特征进行重新排列。首先通过在列方向上堆叠每个局部外观块特征A将一组局部外观块特征fi重新排列成矩阵形式F＝[f1,…,fi,…,fN]∈RD×N，其中N为局部外观块特征的数量即H×W。图2说明了特征重新排列的过程。
局部外观块特征对之间的注意特征对关系在本发明中表现为特征对双线性注意图。注意图通过有选择地利用给定的信息，提供了一种同时提高准确性和减少输入特征数量的有效方法。特征对双线性注意图A∈RN×N可以通过下式得到:
其中Ai,j是低秩双线性对的输出，p表示池化向量，U、V表示线性映射矩阵，σ表示ReLU非线性激活函数，表示逐元素乘法。最终将softmax函数应用于Ai,j。所有上述操作可以被重写为矩阵形式:
为了减少成对的局部外观块特征的数量，我们使用具有特征对双线性关注图的低秩双线性池作为最终的联合特征对关系：
其中，U∈RD×L、V∈RD×L为线性映射。l是特征对关系的低秩双线性合并中通过合并和线性映射矩阵U和V得到的简化和合并特征的维数。而式(3)可视为一对局部外观块特征的双线性模型，A为双线性权重矩阵。式(3)可以重写为:
其中，Fi和Fj分别是输入F的第i个局部外观块特征和j个局部外观块特征。Ul和Vl分别表示U和V矩阵的第Ul列。
最后，通过将r′投影到一个可学习的汇集矩阵P上，得到联合特征对关系r；
r＝PTr′ (5)
其中r∈RC、P∈RL×C，C为联合特征对关系的维数，通过汇集P得到最终的联合特征对关系r。
而又由于只有部分的人脸特征对与表情相关，不相关的部分可能导致神经网络的过拟合。联合特征对关系可以进一步地只选择相关的局部外观块特征对，在此可以选择设定值对双线性关注度分数大的特征对来计算最终的联合特征对关系。其中，设定值默认为500，如下所示:
Φ＝{pi,j|从A中选择出设定值对Ai,j} (6)
其中pi,j表示所选的具有设定值对特征对关注分数高的的FiFj对。
由于不同对的局部外观块特征拥有相等的尺度值，但它们对表情识别的贡献不同。因此，进一步地对局部外观块特征对进行重新调整，以反映它们对表情的实际影响。在数学上，该过程可以被建模为乘以相应的特征对的双线性注意力得分，即注意力加权。因此式(4)可以重写为：
其中wi(k),wj(k)是第k对pi,j的i和j,k表示由对选择层选择的设定值。
由于式(6)不是一个可微函数，它无法更新网络的参数，只能在反向传播期间将梯度从后一层传递到前一层。选出的前K对局部外观块特征对的梯度将从后一层复制到前一层，而丢弃掉的局部外观块特征对的梯度将设置为零。
在对特征对进行选择和注意力加权之后，局部外观块特征的加权对会被传播到低秩双线性池以提取联合特征对关系。将联合特征对关系r传入两层全连接层中，然后对其进行损失函数优化。其中最后一个完全层的输出维度为7维，以作为最后的表情输出结果。
本发明利用面部特征编码网络对人脸表情图像进行特征提取，将人脸表情特征进行9×9局部外观块特征划分，随后联合特征对关系网络利用特征对双线性注意模块得到每对特征块的重要性，并选择局部外观块特征对的设定值对作为表情相关的面部信息，丢弃剩余的表情无关信息，并根据注意图对选取的特征对进行注意力加权，最后利用低秩双线性池化得到联合特征对关系，对表情结果进行预测，得到表情预测结果。
一种静态人脸表情识别系统，所述系统包括：
获取模块：用于获取静态人脸表情数据；
输入模块：用于将静态人脸表情数据输入至静态表情识别模型中；
识别模块：用于通过静态表情识别模型识别人脸表情，静态表情识别模型基于联合特征对关系网络建立。
一种静态人脸表情识别系统，所述系统包括处理器和存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行上述所述方法的步骤。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (4)

1.一种静态人脸表情识别方法，其特征在于，包括以下步骤：
获取静态人脸表情数据；
将静态人脸表情数据输入至静态表情识别模型中；
通过静态表情识别模型识别人脸表情；
静态表情识别模型基于联合特征对关系网络建立；
静态表情识别模型包括面部特征编码网络和联合特征对关系网络；
通过静态表情识别模型识别人脸表情，包括：
通过面部特征编码网络对面部表情图像进行编码、输出；
将输出的表情特征划分为多个局部块；
通过每个局部块描述面部部分的局部外观块特征；
通过联合特征对关系网络对局部外观块特征进行权值计算，得到注意图；
根据注意图和设定值从局部外观块特征中选取局部外观块特征对；
根据注意图对选取的局部外观块特征对进行注意力加权；
将加权后的局部外观块特征对输入到低秩双线性池中提取联合特征对关系；
将联合特征对关系传入全连接网络中，预测得到人脸表情；
联合特征对关系网络利用所有局部外观块特征对之间的注意特征对关系，具体为：
在列方向上堆叠每个局部外观块特征；
将堆叠后的局部外观块特征进行重新排列，形成矩阵；
局部外观块特征对之间的注意特征对关系表现为特征对双线性注意图，特征对双线性注意图通过下式得到:
（1）
其中， 是低秩双线性对的输出，/>表示池化向量，/>、/>表示线性映射矩阵，/>表示ReLU非线性激活函数，/>表示逐元素乘法；/>是输入/>的第/>个局部外观块特征；
将softmax函数应用于，公式（1）被重写为矩阵形式：
（2）
A为双线性权重矩阵；使用具有特征对双线性关注图的低秩双线性池作为最终的联合特征对关系：
（3）
其中， ，/>是特征对关系的低秩双线性合并中通过合并和线性映射矩阵U和V得到的简化和合并特征的维数；
式(3)重写为：
（4）
其中，是输入/>的第/>个局部外观块特征，/>和/>分别表示U和V矩阵的第/>列；
将投影到一个可学习的汇集矩阵P上，得到联合特征对关系r；
（5）
其中，、/>，C为联合特征对关系的维数，通过汇集P得到最终的联合特征对关系r。
2.根据权利要求1所述的一种静态人脸表情识别方法，其特征在于，静态表情识别模型的训练过程包括：
获取静态人脸表情数据集；
去除数据集中图像的背景；
对去除背景的图像进行尺度归一化和像素归一化；
通过归一化处理后的图像对静态表情识别模型进行训练。
3.根据权利要求1所述的一种静态人脸表情识别方法，其特征在于，面部表情图像的表情特征通过面部特征编码网络的最后一个卷积层进行非线性激活输出。
4.一种静态人脸表情识别系统，其特征在于，所述系统包括处理器和存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-3任一项所述方法的步骤。
CN202011612954.XA 2020-12-30 2020-12-30 基于联合特征对关系网络的静态人脸表情识别方法及系统 Expired - Fee Related CN112699797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011612954.XA CN112699797B (zh) 2020-12-30 2020-12-30 基于联合特征对关系网络的静态人脸表情识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011612954.XA CN112699797B (zh) 2020-12-30 2020-12-30 基于联合特征对关系网络的静态人脸表情识别方法及系统

Publications (2)

Publication Number Publication Date
CN112699797A CN112699797A (zh) 2021-04-23
CN112699797B true CN112699797B (zh) 2024-03-26

Family

ID=75512675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011612954.XA Expired - Fee Related CN112699797B (zh) 2020-12-30 2020-12-30 基于联合特征对关系网络的静态人脸表情识别方法及系统

Country Status (1)

Country Link
CN (1) CN112699797B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118711233B (zh) * 2024-06-24 2024-11-22 长春大学 人脸表情识别方法和计算机可读介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042992A1 (ko) * 2011-09-23 2013-03-28 (주)어펙트로닉스 얼굴 표정 인식 방법 및 시스템
CN105095827A (zh) * 2014-04-18 2015-11-25 汉王科技股份有限公司 人脸表情识别装置和方法
CN105825192A (zh) * 2016-03-24 2016-08-03 深圳大学 一种人脸表情识别方法及系统
CN107045618A (zh) * 2016-02-05 2017-08-15 北京陌上花科技有限公司 一种人脸表情识别方法及装置
CN109766840A (zh) * 2019-01-10 2019-05-17 腾讯科技（深圳）有限公司 人脸表情识别方法、装置、终端及存储介质
KR20200000824A (ko) * 2018-06-25 2020-01-03 한국과학기술원 중심 분산 손실 함수를 활용한 딥 러닝 모델 기반의 얼굴 표정 인식 방법
CN111667559A (zh) * 2020-05-27 2020-09-15 西北工业大学 一种基于深度迁移网络的多形态人脸情感生成方法
CN111783622A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人脸表情识别的方法、装置、设备和计算机可读存储介质
CN112016368A (zh) * 2019-05-31 2020-12-01 沈阳新松机器人自动化股份有限公司 一种基于面部表情编码系统的表情识别方法、系统及电子设备
CN112101241A (zh) * 2020-09-17 2020-12-18 西南科技大学 一种基于深度学习的轻量级表情识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042992A1 (ko) * 2011-09-23 2013-03-28 (주)어펙트로닉스 얼굴 표정 인식 방법 및 시스템
CN105095827A (zh) * 2014-04-18 2015-11-25 汉王科技股份有限公司 人脸表情识别装置和方法
CN107045618A (zh) * 2016-02-05 2017-08-15 北京陌上花科技有限公司 一种人脸表情识别方法及装置
CN105825192A (zh) * 2016-03-24 2016-08-03 深圳大学 一种人脸表情识别方法及系统
KR20200000824A (ko) * 2018-06-25 2020-01-03 한국과학기술원 중심 분산 손실 함수를 활용한 딥 러닝 모델 기반의 얼굴 표정 인식 방법
CN109766840A (zh) * 2019-01-10 2019-05-17 腾讯科技（深圳）有限公司 人脸表情识别方法、装置、终端及存储介质
CN112016368A (zh) * 2019-05-31 2020-12-01 沈阳新松机器人自动化股份有限公司 一种基于面部表情编码系统的表情识别方法、系统及电子设备
CN111667559A (zh) * 2020-05-27 2020-09-15 西北工业大学 一种基于深度迁移网络的多形态人脸情感生成方法
CN111783622A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人脸表情识别的方法、装置、设备和计算机可读存储介质
CN112101241A (zh) * 2020-09-17 2020-12-18 西南科技大学 一种基于深度学习的轻量级表情识别方法

Also Published As

Publication number Publication date
CN112699797A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN113393474B (zh) 一种基于特征融合的三维点云的分类和分割方法
CN115222998B (zh) 一种图像分类方法
KR101880901B1 (ko) 기계 학습 방법 및 장치
CN113516133B (zh) 一种多模态图像分类方法及系统
EP2724297B1 (en) Method and apparatus for a local competitive learning rule that leads to sparse connectivity
CN110276274A (zh) 一种多任务的深度特征空间姿态人脸识别方法
CN111582041A (zh) 基于cwt和mlmsffcnn的脑电识别方法
CN116597517B (zh) 一种融合视觉与触觉的多模态针刺手法识别方法以及系统
Verma et al. Residual squeeze CNDS deep learning CNN model for very large scale places image recognition
CN112597324A (zh) 一种基于相关滤波的图像哈希索引构建方法、系统及设备
Gao et al. Natural scene recognition based on convolutional neural networks and deep Boltzmannn machines
Jiang et al. An intelligent recommendation approach for online advertising based on hybrid deep neural network and parallel computing
CN118470322A (zh) 一种小样本三维医疗影像分割系统
CN111488460B (zh) 数据处理方法、装置和计算机可读存储介质
Zhou et al. A multidimensional feature fusion network based on MGSE and TAAC for video-based human action recognition
CN117011943B (zh) 基于多尺度自注意力机制的解耦的3d网络的动作识别方法
CN112699797B (zh) 基于联合特征对关系网络的静态人脸表情识别方法及系统
CN113516670A (zh) 一种反馈注意力增强的非模式图像分割方法及装置
CN117576737A (zh) 基于多连接生成对抗网络的掌纹图像扩充方法与装置
CN117475484A (zh) 基于Conformer和Gabor的掌纹特征融合识别方法与装置
CN117611428A (zh) 一种时装人物图像风格变换方法
CN115100599A (zh) 基于掩码transformer的半监督人群场景异常检测方法
CN115358328A (zh) 一种基于卷积神经网络和胶囊网络的潜在情绪识别方法
Astudillo et al. Classification with stochastic learning methods and convolutional neural networks
CN120355995A (zh) 基于任务自适应的小样本高光谱图像开集识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20240326