CN110970036B - 声纹识别方法及装置、计算机存储介质、电子设备 - Google Patents
声纹识别方法及装置、计算机存储介质、电子设备 Download PDFInfo
- Publication number
- CN110970036B CN110970036B CN201911346904.9A CN201911346904A CN110970036B CN 110970036 B CN110970036 B CN 110970036B CN 201911346904 A CN201911346904 A CN 201911346904A CN 110970036 B CN110970036 B CN 110970036B
- Authority
- CN
- China
- Prior art keywords
- voice
- recognized
- voiceprint
- voiceprint recognition
- acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 65
- 238000001228 spectrum Methods 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 37
- 238000009432 framing Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 21
- 238000010801 machine learning Methods 0.000 claims description 15
- 239000012634 fragment Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000001755 vocal effect Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- RDYMFSUJUZBWLH-UHFFFAOYSA-N endosulfan Chemical compound C12COS(=O)OCC2C2(Cl)C(Cl)=C(Cl)C1(Cl)C2(Cl)Cl RDYMFSUJUZBWLH-UHFFFAOYSA-N 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- NGVDGCNFYWLIFO-UHFFFAOYSA-N pyridoxal 5'-phosphate Chemical compound CC1=NC=C(COP(O)(O)=O)C(C=O)=C1O NGVDGCNFYWLIFO-UHFFFAOYSA-N 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007688 edging Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000013146 percutaneous coronary intervention Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000002105 tongue Anatomy 0.000 description 1
- 210000000515 tooth Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及计算机技术领域，提供了一种声纹识别方法、声纹识别装置、计算机存储介质、电子设备，其中，声纹识别方法包括：获取待识别语音中包含的人声语音；提取人声语音对应的第一声学特征，将第一声学特征输入声纹识别模型中得到待识别语音对应的初步声纹识别结果，其中，初步声纹识别结果包括多种声纹属性分别对应的属性预测结果；根据多种声纹属性分别对应的属性预测结果确定待识别语音对应的说话人识别结果。本公开中的声纹识别方法能够有效区分噪声和人声，提高识别准确度。
Description
技术领域
本公开涉及人工智能领域，特别涉及一种声纹识别方法、声纹识别装置、计算机存储介质及电子设备。
背景技术
声纹(Voiceprint)，是用电声学仪器显示的携带言语信息的声波频谱。人类语言的产生是人体语言中枢与发音器官之间一个复杂的生理物理过程，人在讲话时使用的发声器官(舌、牙齿、喉头、肺、鼻腔)在尺寸和形态方面每个人的差异很大，所以任何两个人的声纹图谱都有差异。每个人的语音声学特征既有相对稳定性，又有变异性，不是绝对的、一成不变的。这种变异可来自生理、病理、心理、模拟、伪装，也与环境干扰有关。尽管如此，由于每个人的发音器官都不尽相同，因此在一般情况下，人们仍能区别不同的人的声音或判断是否是同一人的声音。
目前，一般是基于音频信号的比对来实现声纹内容的识别。一方面，声纹提取时容易将音频中的噪声或环境音被分为人声，影响后续的识别性能；进一步的，需要针对不同的声纹单独建立学习模型，实际应用效率较低；另一方面，游戏中声优的语音时长长短不一，且包含丰富的情感，并且，跨越各个年龄段，因而，模型学习较困难，学习不稳定。
鉴于此，本领域亟需开发一种新的声纹识别方法及装置。
需要说明的是，上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
发明内容
本公开的目的在于提供一种声纹识别方法、声纹识别装置、计算机存储介质及电子设备，进而至少在一定程度上避免了现有技术中的声纹识别方法准确度较低的缺陷。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种声纹识别方法，包括：获取待识别语音中包含的人声语音；提取所述人声语音对应的第一声学特征，将所述第一声学特征输入声纹识别模型中得到所述待识别语音对应的初步声纹识别结果，其中，所述初步声纹识别结果包括多种声纹属性分别对应的属性预测结果；根据所述多种声纹属性分别对应的属性预测结果确定所述待识别语音对应的说话人识别结果。
在本公开的示例性实施例中，所述获取待识别语音中包含的人声语音，包括：提取所述待识别语音对应的第二声学特征；根据人声音素分别确定多段所述第二声学特征中的人声声学特征；根据所述多段所述第二声学特征中的人声声学特征确定所述待识别语音中包含的所述人声语音。
在本公开的示例性实施例中，所述提取所述待识别语音对应的第二声学特征，包括：对所述待识别语音进行预加重处理，得到目标语音信号；对所述目标语音信号进行分帧处理，得到分帧结果；对所述分帧结果进行加窗处理，得到加窗信号；对所述加窗信号进行快速傅里叶变换，得到频谱信息；对所述频谱信息进行取模平方以得到功率谱；将所述功率谱输入三角形滤波器组，得到所述三角形滤波器组输出的对数能量谱；将所述对数能量谱确定为所述待识别语音对应的所述第二声学特征。
在本公开的示例性实施例中，所述方法还包括：将人声音素分别与多段所述第二声学特征进行比对，得到表征比对结果的特征向量；若所述特征向量中的目标分量的数值不是最大值，则确定所述第二声学特征为人声声学特征；获取所述人声声学特征对应的多段人声片段；对所述多段人声片段进行拼接处理，得到所述待识别语音中包含的所述人声语音。
在本公开的示例性实施例中，所述方法还包括：若所述特征向量中的目标分量的数值为最大值，则确定所述第二声学特征为干扰特征；对所述干扰特征对应的语音片段进行剔除处理。
在本公开的示例性实施例中，所述根据所述多种声纹属性分别对应的属性预测结果确定所述待识别语音对应的说话人识别结果，包括：对所述多种声纹属性分别对应的属性预测结果进行累加求和，得到累加值；将数值最大的所述累加值对应的属性预测结果确定为所述待识别语音对应的说话人识别结果。
在本公开的示例性实施例中，所述多种声纹属性至少包括：身份属性、性别属性、年龄属性和语言属性。
在本公开的示例性实施例中，所述方法还包括：对获取到的原始语音样本进行数据增强处理，得到扩展样本；对所述扩展样本进行音素标注，得到样本标签；根据所述原始语音样本和所述样本标签训练机器学习模型，得到所述声纹识别模型。
在本公开的示例性实施例中，所述根据所述原始语音样本和所述样本标签训练机器学习模型，得到所述声纹识别模型，包括：根据交叉熵损失函数对所述原始语音样本和所述样本标签进行收敛，得到所述声纹识别模型。
根据本公开的第二方面，提供一种声纹识别装置，包括:获取模块，用于获取待识别语音中包含的人声语音；信息提取模块，用于提取所述人声语音对应的第一声学特征，将所述第一声学特征输入声纹识别模型中得到所述待识别语音对应的初步声纹识别结果，其中，所述初步声纹识别结果包括多种声纹属性分别对应的属性预测结果；联合优化模块，用于根据所述多种声纹属性分别对应的属性预测结果确定所述待识别语音对应的说话人识别结果。
根据本公开的第三方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的声纹识别方法。
根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面所述的声纹识别方法。
由上述技术方案可知，本公开示例性实施例中的声纹识别方法、声纹识别装置、计算机存储介质及电子设备至少具备以下优点和积极效果：
在本公开的一些实施例所提供的技术方案中，一方面，获取待识别语音中包含的人声语音，能够解决现有技术中误将环境音或噪音判定为人声的技术问题，消除语音中的无效冗余数据，提高后续识别的准确度。提取人声语音对应的第一声学特征，将第一声学特征输入声纹识别模型中得到待识别语音对应的初步声纹识别结果，其中，初步声纹识别结果包括多种声纹属性分别对应的属性预测结果，能够提高识别速度和识别准确度。根据多种声纹属性分别对应的属性预测结果确定待识别语音对应的说话人识别结果，能够对多种声纹属性分别对应的属性预测结果进行联合统计，显著降低模型数量与计算资源，提高模型预测的效率以及识别准确性。
本公开应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开一示例性实施例中声纹识别方法的流程示意图；
图2示出本公开另一示例性实施例中声纹识别方法的流程示意图；
图3示出本公开再一示例性实施例中声纹识别方法的流程示意图；
图4示出本公开又一示例性实施例中声纹识别方法的流程示意图；
图5示出本公开一示例性实施例中声纹识别方法的流程示意图；
图6示出本公开示例性实施例中声纹识别装置的结构示意图；
图7示出本公开示例性实施例中计算机存储介质的结构示意图；
图8示出本公开示例性实施例中电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”和“第二”等仅作为标记使用，不是对其对象的数量限制。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。
目前，一般是基于模板匹配来实现声纹的识别。具体的，一般是基于音频信号的比对来实现声纹内容的识别。一方面，声纹提取时容易将音频中的噪声或环境音被分为人声，影响后续的识别性能；进一步的，需要针对不同的声纹单独建立学习模型，实际应用效率较低；另一方面，游戏中声优的语音时长长短不一，且包含丰富的情感，并且，跨越各个年龄段，因而，模型学习较困难，学习不稳定。
在本公开的实施例中，首先提供了一种声纹识别方法，至少在一定程度上克服现有技术中提供的声纹识别方法准确度较低的缺陷。
图1示出本公开一示例性实施例中声纹识别方法的流程示意图，该声纹识别方法的执行主体可以是对声纹进行识别的服务器。
参考图1，根据本公开的一个实施例的声纹识别方法包括以下步骤：
步骤S110，获取待识别语音中包含的人声语音；
步骤S120，提取人声语音对应的第一声学特征，将第一声学特征输入声纹识别模型中得到待识别语音对应的初步声纹识别结果，其中，初步声纹识别结果包括多种声纹属性分别对应的属性预测结果；
步骤S130，根据多种声纹属性分别对应的属性预测结果确定待识别语音对应的说话人识别结果。
在图1所示实施例所提供的技术方案中，一方面，获取待识别语音中包含的人声语音，能够解决现有技术中误将环境音或噪音判定为人声的技术问题，消除语音中的无效冗余数据，提高后续识别的准确度。提取人声语音对应的第一声学特征，将第一声学特征输入声纹识别模型中得到待识别语音对应的初步声纹识别结果，其中，初步声纹识别结果包括多种声纹属性分别对应的属性预测结果，能够提高识别速度和识别准确度。根据多种声纹属性分别对应的属性预测结果确定待识别语音对应的说话人识别结果，能够对多种声纹属性分别对应的属性预测结果进行联合统计，显著降低模型数量与计算资源，提高模型预测的效率以及识别准确性。
以下对图1中的各个步骤的具体实现过程进行详细阐述：
在步骤S110中，获取待识别语音中包含的人声语音。
在本公开的示例性实施例中，可以获取待识别语音中包含的人声语音。其中，待识别语音可以是游戏中包含的配音人员录制的大量语音对白。
具体的，可以参考图2，图2示出本公开另一示例性实施例中声纹识别方法的流程示意图，具体示出获取待识别语音中包含的人声语音的流程示意图，包含步骤S201-S202，以下结合图2对步骤S110进行解释。
在步骤S201中，提取待识别语音对应的第二声学特征。
在本公开的示例性实施例中，声学特征可以包括MFCC特征(Mel-FrequencyCepstral Coefficients，梅尔频率倒谱系数，简称：MFCC)、PLP(Perceptual LinearPredictive，感知线性预测系数，简称：PLP)、Tandem特征(用ANN输出的先验概率取对数、去相关和降维之后，得到的一种“新的特征”，称为Tandem特征)、Bottleneck特征(瓶颈层，网络在全连接之前的最后一层激活的feature map)和Filterbank特征(相当于不包含离散余弦变换的MFCC特征，与MFCC特征相比，Filterbank特征保留了更多的原始语音特性)。
在本公开的示例性实施例中，以上述第二声学特征为“Filterbank特征”为例进行说明，示例性的，可以参考图3，图3示出本公开再一示例性实施例中声纹识别方法的流程示意图，具体示出获取待识别语音对应的第二声学特征的流程示意图，包含步骤S301-步骤S306，以下结合图3对步骤S201进行说明。
在步骤S301中，对待识别语音进行预加重处理，得到目标语音信号。
在本公开的示例性实施例中，可以对上述待识别语音的语音信号进行预加重处理，得到目标语音信号。预加重是为便于信号的传输或记录，而对其某些频谱分量的幅值相对于其他分量的幅值预先有意予以增强的措施。具体的，可以将上述待识别语音输入一个一阶有限激励响应高通滤波器(high-pass filter，是一种为让某一频率以上的信号分量通过，而对该频率以下的信号分量大大抑制的电容、电感与电阻等器件的组合装置)，使信号的频谱变得平坦，不易受到有限字长效应的影响。
在步骤S302中，对目标语音信号进行分帧处理，得到分帧结果。
在本公开的示例性实施例中，在得到上述目标语音信号之后，可以对上述目标语音信号进行分帧处理，得到分帧结果。将N个采样点集合成一个观测单位，称为帧。通常情况下N的值为256或512，涵盖的时间窗约为20～30ms左右。为了避免相邻两帧的变化过大，因此相邻帧之间有一段重叠区域，此重叠区域包含了N/2或N/3个取样点。示例性的，可以设置语音帧长为32ms，帧移为16ms。进而，对上述目标语音信号分帧处理，得到包含多帧信号的分帧结果。
在步骤S303中，对分帧结果进行加窗处理，得到加窗信号。
在本公开的示例性实施例中，在得到上述分帧结果之后，可以对上述分帧结果进行加窗处理，得到加窗信号。具体的，可以将上述分帧结果中的每一帧信号乘以汉明窗(汉明窗，海明窗，是一个窗函数，这个函数在某一区间有非零值，而在其余区间皆为0)，得到加窗信号，从而，能够避免吉布斯效应(将具有不连续点的周期函数(如矩形脉冲)进行傅立叶级数展开后，选取有限项进行合成。当选取的项数越多，在所合成的波形中出现的峰起越靠近原信号的不连续点。当选取的项数很大时，该峰起值趋于一个常数，大约等于总跳变值的9％。这种现象称为吉布斯效应)，增加帧左端和右端的连续性。
需要说明的是，上述加窗处理所使用的窗函数可以包括矩形窗、高斯窗、汉明窗、Bartlett窗、Blackman窗等，可以根据实际情况自行设定，属于本公开的保护范围。
在步骤S304中，对加窗信号进行快速傅里叶变换，以得到对应的频谱信息。
在本公开的示例性实施例中，在得到上述加窗信号之后，可以对上述加窗信号的各帧信号进行快速傅里叶变换，以将时域信号变换成为信号的功率谱(频域信号)。
具体的，快速傅里叶变换(Fast Fourier Transform，简称：FFT)的计算公式为下述公式(1)：
其中，x(n)为输入的语音信号，N表示傅里叶变换的点数。基于上述计算公式，具体的计算步骤可以分为三步：第一，将1个N点的时域信号分成N个1点的时域信号；第二，计算这N个1点时域信号的频域，得到N个频域的点；第三，将这个N个频域的点按照一定的顺序加起来，就得到对应的频谱信息。
在步骤S305中，对频谱信息进行取模平方以得到功率谱。
在本公开的示例性实施例中，在得到上述频谱信息之后，可以对上述频谱信息进行取模平方以得到功率谱Xa(k)。
在步骤S306中，将功率谱输入三角形滤波器组，得到三角形滤波器组输出的对数能量谱；将上述对数能量谱确定为待识别语音对应的第二声学特征。
在本公开的示例性实施例中，在得到上述功率谱之后，可以将上述功率谱输入至三角形滤波器组中，根据上述三角形滤波器组的输出，得到对数能量谱。
在本公开的示例性实施例中，示例性的，可以预先定义一组有K个滤波器的滤波器组(滤波器的个数和临界带的个数相近)，采用的滤波器为三角滤波器，中心频率为f(m)，m＝1，2，…，k；进而，将上述功率谱通过一组梅尔频谱的三角形滤波器组；最后，基于下述公式(2)计算每个滤波器组输出的对数能量谱：
其中，N为傅里叶变换的点数，M为三角形滤波器的个数，Hm(k)表示第m个三角形滤波器。
在本公开的示例性实施例中，在计算出上述对数能量谱(即Filterbank特征)之后，可以将对数能量谱确定为待识别语音对应的第二声学特征。从而，能够消除语音信号的冗余度，增强说话人之间的可区分性。
继续参考图2，在步骤S202中，根据人声音素分别确定多段第二声学特征中的人声声学特征；根据多段第二声学特征中的人声声学特征，确定待识别语音中包含的人声语音。
在本公开的示例性实施例中，在得到多段上述第二声学特征之后，可以根据人声音素分别确定多段第二声学特征中包含的人声声学特征，进而，确定出待识别语音中包含的人声语音。其中，音素是构成音节的最小单位或最小的语音片段，是从音质的角度划分出来的最小的线性的语音单位，人声音素即人发出的声音的最小语音片段。
具体的，可以参考图4，图4示出本公开又一示例性实施例中声纹识别方法的流程示意图，具体示出确定待识别语音中包含的人声语音的流程示意图，包括步骤S401-步骤S404，以下结合图4对步骤S202进行解释。
在步骤S401中，将人声音素分别与多段第二声学特征进行比对，得到表征比对结果的特征向量。
在本公开的示例性实施例中，可以预先训练一人声检测模型(用于对第二声学特征中的人声和干扰声(即非人声，可以是噪声、环境声音等)进行检测识别的机器学习模型)。人声检测模型的训练过程可以是：预先获取海量的语音样本以及语音样本对应的标签信息(用于标注语音样本是人声还是干扰声)，进一步的，可以将上述语音样本和标签信息输入机器学习模型中，多次调整参数以训练上述机器学习模型，使得机器学习模型的损失函数趋于收敛，以得到一人声检测模型。其中，上述机器学习模型可以是ResNet(ResidualNeural Network，残差神经网络)结构的CNN模型(Convolutional Neural Networks，卷积神经网络，简称：CNN)。
在本公开的示例性实施例中，可以将人声音素分别与多段第二声学特征进行比对，得到表征比对结果的特征向量。具体的，可以设定一滑动窗口(固定的窗口尺寸以及固定的步长)，将第二声学特征对应的特征图从左至右滑动截取，得到多个特征图片段，并将上述特征图片段输入训练好的人声检测模型中，基于人声检测模型将各个滑动窗口内的第二声学特征与预先标注的人声音素进行比对，输出表征比对结果的特征向量。从而，能够增强模型预测的稳定性。
举例而言，当将上述第二声学特征对应的特征图划分为Y个滑动窗口时，上述人声检测模型可以输出Y个特征向量，每个特征向量均为c+1维。示例性的，针对任意一个滑动窗口中包含的第二声学特征，人声检测模型输出的特征向量可以是c+1维的向量[P0,P1,P2,……Pc-1，Pc]，其中，分量P0,P1,P2,……Pc-1表示该滑动窗口被预测为人声的预测概率，目标向量PC则表示干扰声(即非人声，例如：环境音、噪音、静音等)的预测概率。c为正整数，表示音素的总数。
在步骤S402中，若特征向量中的目标分量的数值不是最大值，则确定上述第二声学特征为人声声学特征。
在本公开的示例性实施例中，若上述目标分量PC的数值不是最大值，即若P0,P1,P2,……Pc-1中存在任何一个分量大于目标分量PC时，则可以确定该滑动窗口内的第二声学特征为人声声学特征。
在本公开的示例性实施例中，若上述特征向量中的目标分量的数值为最大值，即目标分量PC大于P0,P1,P2,……Pc-1中的任意一个值，则可以确定该滑动窗口内包含的第二声学特征为干扰特征(即非人声特征)，进而，可以对上述干扰特征对应的语音片段进行剔除处理。从而，能够解决现有技术中误将环境音或噪音判定为人声的技术问题，消除语音中的无效冗余数据，提高后续识别的准确度。
在步骤S403中，获取人声声学特征对应的多段人声片段。
在本公开的示例性实施例中，在确定出上述人声声学特征之后，可以获取上述人声声学特征对应的多段人声片段。参照上述步骤S401的相关解释，在对上述Y个滑动窗口检测完成之后，示例性的，得到的人声片段可以是Y-1段。
在步骤S404中，对多段人声片段进行拼接处理，得到待识别语音中包含的人声语音。
在本公开的示例性实施例中，在得到上述Y-1段人声片段之后，可以对上述Y-1段人声片段进行拼接处理，以得到待识别语音中包含的人声语音。
继续参考图1，在步骤S120中，提取人声语音对应的第一声学特征，将第一声学特征输入声纹识别模型中得到待识别语音对应的初步声纹识别结果。
在本公开的示例性实施例中，在得到上述人声语音之后，可以获取人声语音对应的第一声学特征，具体的，可以参考上述步骤S301-步骤S306的相关解释，首先，对上述人声语音进行预加重、分帧、加窗处理，进而，对加窗处理之后的信号进行快速傅里叶变换，并对快速傅里叶变换之后的频谱信息进行取模平方得到功率谱，进一步的，将功率谱输入三角形滤波器组中，将三角形滤波器组输出的对数能量谱作为上述人声语音对应的第一声学特征。
需要说明的是，对人声语音进行处理时的具体参数设置(例如：分帧帧数、窗函数类型等)均可以根据实际情况自行设定，属于本公开的保护范围。
在本公开的示例性实施例中，在提取出上述第一声学特征之后，可以将上述第一声学特征输入声纹识别模型中，根据声纹识别模型的输出，确定出待识别语音对应的初步声纹识别结果。其中，初步声纹识别结果包括多种声纹属性分别对应的属性预测结果。多种声纹属性至少包括：身份属性(例如：说话人姓名、职业)、性别属性(男或女)、年龄属性(例如：10、20、30等)和语言属性(汉语、英语、韩语等)等，可以根据实际情况自行设定，属于本公开的保护范围。
在本公开的示例性实施例中，示例性的，可以参考图5，图5示出本公开一示例性实施例中声纹识别方法的流程示意图，具体示出训练得到上述声纹识别模型的流程示意图，包括步骤S501-步骤S503，以下结合图5对具体的实施方式进行解释。
在步骤S501中，对获取到的原始语音样本进行数据增强处理，得到扩展样本。
在本公开的示例性实施例中，可以获取海量的原始语音样本，并对上述原始语音样本进行数据增强处理，具体的，可以基于SOX工具(the Swiss Army knife of soundprocessing programs，简称：SOX，一个跨平台支持的命令行工具，用来转换各种不同的计算机音频文件格式，同时还可进行各种特效处理)对原始语音样本进行数据增强处理。从而，能够对样本数量进行扩充，显著改善少量样本下的模型学习性能，增强模型训练时的泛化性能。
在本公开的示例性实施例中，示例性的，在得到一种原始语音数据之后，可以对上述原始语音数据进行数据增强处理，以得到对应的39个扩展样本。示例性的，扩展样本可以包括39种音效(7种基础音效+18种均衡滤波器音效+14种变声音效)，具体的，可以参考如下表1-表3，其中，表1示出上述7种基础音效及其音效参数的示意性表格；表2示出上述18种均衡滤波器音效及其音效参数的示意性表格；表3示出上述14种变音音效及其音效参数的示意性表格。
表1
| 音效名 | 参数 |
| 镶边 | {Effect.COMMAND:'flanger'} |
| 相移1 | {Effect.COMMAND:'phaser 0.8 0.74 3 0.4 0.5-t'} |
| 相移2 | {Effect.COMMAND:'phaser 0.6 0.66 3 0.6 2-t'} |
| 非线性失真1 | {Effect.COMMAND:'overdrive'} |
| 非线性失真2 | {Effect.COMMAND:'overdrive 10 10'} |
| 混响1 | {Effect.COMMAND:'reverb'} |
| 混响2 | {Effect.COMMAND:'reverb 30 30'} |
表2
表3
需要说明的是，上述音效名及其参数设置可以根据实际情况自行设定，属于本公开的保护范围。
在步骤S502中，对扩展样本进行音素标注，得到样本标签。
在本公开的示例性实施例中，在得到上述扩展样本之后，可以对上述扩展样本进行音素标注，以得到样本标签。示例性的，可以对各个扩展样本的说话人身份、说话人身份、说话人年龄和说话人语言等进行标注，得到各个扩展样本的样本标签。
在步骤S503中，根据原始语音样本和样本标签训练机器学习模型，得到声纹识别模型。
在本公开的示例性实施例中，可以根据上述原始语音样本和样本标签训练机器学习模型，得到声纹识别模型。具体的，可以将上述原始语音样本和样本标签输入机器学习模型中，以交叉熵损失函数作为目标函数，对上述原始语音样本和样本标签进行收敛，得到训练后的所述声纹识别模型。其中，上述机器学习模型可以是ResNet结构的CNN模型。
其中，交叉熵损失函数的表达式为：H(p,q)＝-∑p(x)log(q(x))，其中，p表示真实标记的分布，q为训练后的模型的预测标记分布，交叉熵目标函数可以衡量p与q的相似性。通过基于交叉熵损失函数训练机器学习模型，能够保证训练过程简洁有效.易于计算机自适应实现。
具体的，当可识别的声纹属性包括四个类别(身份属性、性别属性、年龄属性、语言属性)时，针对身份属性的识别进行训练时所使用的交叉损失函数可以是Hspeaker(pspeaker,qspeaker)＝-∑pspeaker(x)log(qspeaker(x))。针对性别属性的识别进行训练时所使用的交叉损失函数可以是Hgender(pgender,qgender)＝-∑pgender(x)log(qgender(x))。针对年龄属性的识别进行训练时所使用的交叉损失函数可以是Hage(page,qage)＝-∑page(x)log(qage(x))。针对语言属性的识别进行训练时所使用的交叉损失函数可以是Hlanguage(planguage,qlanguage)＝-∑planguage(x)log(qlanguage(x))。
在本公开的示例性实施例中，在训练得到上述声纹识别模型之后，可以将上述第一声学特征对应的特征图以滑动窗口的形式输入声纹识别模型中，基于声纹识别模型对上述第一声学特征进行识别，进而，根据声纹识别模型的输出，得到待识别语音对应的初步声纹识别结果。初步声纹识别结果可以包括说话人的身份属性对应的身份预测结果、性别属性对应的性别预测结果、年龄属性对应的年龄预测结果以及语言属性对应的语言预测结果中的一种或多种，具体的，可以根据实际情况自行设定，属于本公开的保护范围。
示例性的，以对待识别语音的身份属性进行识别为例进行说明，示例性的，上述声纹识别模型输出的初步声纹识别结果中，身份属性的属性预测结果总共可以包含x种(张三、李四、……、王五等)。
针对每个滑动窗口，声纹识别模型可以输出一个属性预测结果，一个属性预测结果对应一个预测向量。
示例性的，当上述声纹识别模型输出的属性预测结果中，有n个滑动窗口对应的属性预测结果为“张三”时，则相应的，属性预测结果“张三”对应的预测向量个数可以是n个，例如：[a1,b1,c1,……，z1]T，[a2,b2,c2,……，z2]T，……，[an,bn,cn,……，zn]T。当上述声纹识别模型输出的属性预测结果中，有f个滑动窗口对应的属性预测结果为“李四”时，则相应的，属性预测结果“李四”对应的预测向量个数可以是f个，例如：[a11,b11,c11,……，z11]T，[a21,b21,c21,……，z21]T，……，[af1,bf1,cf1,……，zf1]T。
继续参考图1，在步骤S130中，根据多种声纹属性分别对应的属性预测结果确定待识别语音对应的说话人识别结果。
在本公开的示例性实施例中，在得到上述初步声纹识别结果，即上述多种声纹属性分别对应的属性预测结果之后，针对每个声纹属性对应的属性预测结果，可以基于目标函数Hjoint对上述初步声纹识别结果进行联合优化，以确定出上述待识别语音对应的说话人识别结果。示例性的，目标函数Hjoint的表达式可以是：
Hjoint＝Hspeaker(pspeaker,qspeaker)+Hgender(pgender,qgender)+Hage(page,qage)+Hlanguage(planguage,qlanguage)
进而，通过基于上述目标函数Hjoint对上述初步声纹识别结果进行联合优化，具体的，可以将数值最大的分量对应的初步声纹识别结果确定为上述待识别语音对应的说话人识别结果。从而，能够显著降低模型数量与计算资源，提高模型的预测效率。
参照上述步骤的相关解释，可以将上述n个预测向量进行累加求和，得到属性预测结果“张三”对应的累加值S11[a1+a2+……an，b1+b2+……bn，c1+c2+……cn，……，z1+z2+……zn]T。可以将上述f个预测向量进行累加求和，得到属性预测结果“李四”对应的累加值S12[a11+a21+……af1，b11+b21+……bf1，c11+c21+……cf1，……，z11+z21+……zf1]T。则示例性的，识别结果“王五”对应的向量表示可以是S1x。综上，表示身份属性的预测向量可以表示为：预测向量A[S11,S12,……，S1x]。进而，当累加值S11的数值(可以是向量S11的模)最大时，而其对应的属性预测结果为“张三”时，可以将属性预测结果“张三”确定为待识别语音对应的说话人识别结果(即说话人的身份属性对应的识别结果)。
同理，参照上述步骤的相关解释，针对上述性别信息的属性预测结果(预测向量B[S21，S2y]，y表示属性预测结果的种类，例如：男、女等)，进而，当累加值S21的数值(可以是向量S21的模)最大时，而其对应的识别结果为“女”时，则可以将属性预测结果“女”确定为上述待识别语音对应的说话人识别结果(即说话人的性别属性对应的识别结果)。
同理，参照上述步骤的相关解释，针对上述年龄属性的属性预测结果(预测向量C[S31,S32,S33……S3u]，u表示属性预测结果的种类，例如：20岁、30岁、32岁等)，示例性的，当累加值S31的数值(可以是向量S31的模)最大时，而其对应的识别结果为“22”时，则可以将属性预测结果“22”确定为上述待识别语音对应的说话人识别结果(说话人的年龄属性对应的识别结果)。
同理，参照上述步骤的相关解释，针对上述语言属性的属性预测结果(预测向量D[S41,S42,S43……S4v]，v表示属性预测结果的种类，例如：汉语、英语、韩语、法语等)，示例性的，当累加值S41的数值(可以是向量S41的模)最大时，而其对应的识别结果为“汉语”时，则可以将属性预测结果“汉语”确定为上述待识别语音对应的说话人识别结果(说话人的语言属性对应的识别结果)。
从而，能够解决现有技术中当对说话人的不同属性进行识别时，需要针对不同的识别任务建立不同的模型所导致的识别效率较低的技术问题，提高模型的识别效率。
本公开还提供了一种声纹识别装置，图6示出本公开示例性实施例中声纹识别装置的结构示意图；如图6所示，声纹识别装置600可以包括获取模块601、信息提取模块602和联合优化模块603。其中：
获取模块601，用于获取待识别语音中包含的人声语音。
在本公开的示例性实施例中，获取模块用于提取待识别语音对应的第二声学特征；根据人声音素分别确定多段第二声学特征中的人声声学特征；根据所述多段所述第二声学特征中的人声声学特征，获取确定待识别语音中包含的人声语音。
在本公开的示例性实施例中，获取模块用于对待识别语音进行预加重处理，得到目标语音信号；对目标语音信号进行分帧处理，得到分帧结果；对分帧结果进行加窗处理，得到加窗信号；对加窗信号进行快速傅里叶变换，得到频谱信息；对频谱信息进行取模平方以得到功率谱；将功率谱输入三角形滤波器组，得到三角形滤波器组输出的对数能量谱；将对数能量谱确定为待识别语音对应的第二声学特征。
在本公开的示例性实施例中，获取模块用于将人声音素分别与多段第二声学特征进行比对，得到表征比对结果的特征向量；若特征向量中的目标分量的数值不是最大值，则确定第二声学特征为人声声学特征；获取人声声学特征对应的多段人声片段；对多段人声片段进行拼接处理，得到待识别语音中包含的人声语音。
在本公开的示例性实施例中，获取模块用于若特征向量中的目标分量的数值为最大值，则确定第二声学特征为干扰特征；对干扰特征对应的语音片段进行剔除处理。
信息提取模块602，用于提取所述人声语音对应的第一声学特征，将所述第一声学特征输入声纹识别模型中得到所述待识别语音对应的初步声纹识别结果，其中，所述初步声纹识别结果包括多种声纹属性分别对应的属性预测结果。
在本公开的示例性实施例中，信息提取模块用于对获取到的原始语音样本进行数据增强处理，得到扩展样本；对扩展样本进行音素标注，得到样本标签；根据原始语音样本和样本标签训练机器学习模型，得到声纹识别模型。
在本公开的示例性实施例中，信息提取模块用于根据交叉熵损失函数对原始语音样本和样本标签进行收敛，得到声纹识别模型。
在本公开的示例性实施例中，信息提取模块用于将人声音素分别与多段第二声学特征进行比对，得到表征比对结果的特征向量；若特征向量中的目标分量的数值不是最大值，则确定第二声学特征为人声声学特征；获取人声声学特征对应的多段人声片段；对多段人声片段进行拼接处理，得到待识别语音中包含的人声语音。
联合优化模块603，用于根据多种声纹属性分别对应的属性预测结果确定待识别语音对应的说话人识别结果。
在本公开的示例性实施例中，多种声纹属性至少包括：身份属性、性别属性、年龄属性和语言属性。联合优化模块用于对多种声纹属性分别对应的属性预测结果进行累加求和，得到累加值；将数值最大的累加值对应的属性预测结果确定为待识别语音对应的说话人识别结果。
上述声纹识别装置中各模块的具体细节已经在对应的声纹识别方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
在本公开示例性实施方式中，还提供了一种能够实现上述方法的计算机存储介质。其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图7所示，描述了根据本公开的实施方式的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图8来描述根据本公开的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830以及显示单元840。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元810可以执行如图1中所示的：步骤S110，获取待识别语音中包含的人声语音；步骤S120，提取所述人声语音对应的第一声学特征，将所述第一声学特征输入声纹识别模型中得到所述待识别语音对应的初步声纹识别结果，其中，所述初步声纹识别结果包括多种声纹属性分别对应的属性预测结果；步骤S130，根据所述多种声纹属性分别对应的属性预测结果确定所述待识别语音对应的说话人识别结果。
存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。
存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
Claims (10)
1.一种声纹识别方法，其特征在于，包括：
获取待识别语音中包含的人声语音；
提取所述人声语音对应的第一声学特征，将所述第一声学特征输入声纹识别模型中得到所述待识别语音对应的初步声纹识别结果，其中，所述初步声纹识别结果包括多种声纹属性分别对应的属性预测结果；
根据所述多种声纹属性分别对应的属性预测结果确定所述待识别语音对应的说话人识别结果；
其中，所述获取待识别语音中包含的人声语音，包括：
提取所述待识别语音对应的第二声学特征；
将人声音素分别与多段所述第二声学特征进行比对，得到表征比对结果的特征向量；
若所述特征向量中的目标分量的数值不是最大值，则确定所述第二声学特征为人声声学特征；
获取所述人声声学特征对应的多段人声片段；
对所述多段人声片段进行拼接处理，得到所述待识别语音中包含的所述人声语音。
2.根据权利要求1所述的方法，其特征在于，所述提取所述待识别语音对应的第二声学特征，包括：
对所述待识别语音进行预加重处理，得到目标语音信号；
对所述目标语音信号进行分帧处理，得到分帧结果；
对所述分帧结果进行加窗处理，得到加窗信号；
对所述加窗信号进行快速傅里叶变换，得到频谱信息；
对所述频谱信息进行取模平方以得到功率谱；
将所述功率谱输入三角形滤波器组，得到所述三角形滤波器组输出的对数能量谱；
将所述对数能量谱确定为所述待识别语音对应的所述第二声学特征。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述特征向量中的目标分量的数值为最大值，则确定所述第二声学特征为干扰特征；
对所述干扰特征对应的语音片段进行剔除处理。
4.根据权利要求1所述的方法，其特征在于，所述根据所述多种声纹属性分别对应的属性预测结果确定所述待识别语音对应的说话人识别结果，包括：
对所述多种声纹属性分别对应的属性预测结果进行累加求和，得到累加值；
将数值最大的所述累加值对应的属性预测结果确定为所述待识别语音对应的说话人识别结果。
5.根据权利要求4所述的方法，其特征在于，所述多种声纹属性至少包括：身份属性、性别属性、年龄属性和语言属性。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对获取到的原始语音样本进行数据增强处理，得到扩展样本；
对所述扩展样本进行音素标注，得到样本标签；
根据所述原始语音样本和所述样本标签训练机器学习模型，得到所述声纹识别模型。
7.根据权利要求6所述的方法，其特征在于，所述根据所述原始语音样本和所述样本标签训练机器学习模型，得到所述声纹识别模型，包括：
根据交叉熵损失函数对所述原始语音样本和所述样本标签进行收敛，得到所述声纹识别模型。
8.一种声纹识别装置，其特征在于，包括：
获取模块，用于获取待识别语音中包含的人声语音；
信息提取模块，用于提取所述人声语音对应的第一声学特征，将所述第一声学特征输入声纹识别模型中得到所述待识别语音对应的初步声纹识别结果，其中，所述初步声纹识别结果包括多种声纹属性分别对应的属性预测结果；
联合优化模块，用于根据所述多种声纹属性分别对应的属性预测结果确定所述待识别语音对应的说话人识别结果；
其中，所述获取模块，可以被配置为：
提取所述待识别语音对应的第二声学特征；
将人声音素分别与多段所述第二声学特征进行比对，得到表征比对结果的特征向量；
若所述特征向量中的目标分量的数值不是最大值，则确定所述第二声学特征为人声声学特征；
获取所述人声声学特征对应的多段人声片段；
对所述多段人声片段进行拼接处理，得到所述待识别语音中包含的所述人声语音。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述的声纹识别方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所述的声纹识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911346904.9A CN110970036B (zh) | 2019-12-24 | 2019-12-24 | 声纹识别方法及装置、计算机存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911346904.9A CN110970036B (zh) | 2019-12-24 | 2019-12-24 | 声纹识别方法及装置、计算机存储介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110970036A CN110970036A (zh) | 2020-04-07 |
| CN110970036B true CN110970036B (zh) | 2022-07-12 |
Family
ID=70036248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911346904.9A Active CN110970036B (zh) | 2019-12-24 | 2019-12-24 | 声纹识别方法及装置、计算机存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110970036B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230352031A1 (en) * | 2020-08-04 | 2023-11-02 | OTO Systems Inc. | Sample-efficient representation learning for real-time latent speaker state characterisation |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111524521B (zh) * | 2020-04-22 | 2023-08-08 | 北京小米松果电子有限公司 | 声纹提取模型训练方法和声纹识别方法、及其装置和介质 |
| CN111816191A (zh) * | 2020-07-08 | 2020-10-23 | 珠海格力电器股份有限公司 | 语音处理方法、装置、系统及存储介质 |
| CN112053695A (zh) * | 2020-09-11 | 2020-12-08 | 北京三快在线科技有限公司 | 声纹识别方法、装置、电子设备及存储介质 |
| CN112466310A (zh) * | 2020-10-15 | 2021-03-09 | 讯飞智元信息科技有限公司 | 深度学习声纹识别方法、装置、电子设备及存储介质 |
| CN112967718B (zh) * | 2021-04-02 | 2024-04-12 | 深圳吉祥星科技股份有限公司 | 基于声音的投影仪控制方法、装置、设备及存储介质 |
| CN113593582B (zh) * | 2021-06-24 | 2024-05-24 | 青岛海尔科技有限公司 | 智能设备的控制方法和装置、存储介质及电子设备 |
| CN114121023A (zh) * | 2021-11-30 | 2022-03-01 | 深港产学研基地（北京大学香港科技大学深圳研修院） | 说话人分离方法、装置、电子设备及计算机可读存储介质 |
| CN114360510B (zh) * | 2022-01-14 | 2024-12-06 | 腾讯科技（深圳）有限公司 | 一种语音识别方法和相关装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017534905A (ja) * | 2014-10-10 | 2017-11-24 | アリババ グループ ホウルディング リミテッド | 声紋情報管理方法および声紋情報管理装置、ならびに本人認証方法および本人認証システム |
| CN108364654A (zh) * | 2018-01-30 | 2018-08-03 | 网易乐得科技有限公司 | 语音处理方法、介质、装置和计算设备 |
| CN108831487A (zh) * | 2018-06-28 | 2018-11-16 | 深圳大学 | 声纹识别方法、电子装置及计算机可读存储介质 |
| KR20190096618A (ko) * | 2018-02-09 | 2019-08-20 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 기능 실행 방법 |
| CN110473566A (zh) * | 2019-07-25 | 2019-11-19 | 深圳壹账通智能科技有限公司 | 音频分离方法、装置、电子设备及计算机可读存储介质 |
| CN110570873A (zh) * | 2019-09-12 | 2019-12-13 | Oppo广东移动通信有限公司 | 声纹唤醒方法、装置、计算机设备以及存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5623961B2 (ja) * | 2011-03-30 | 2014-11-12 | クラリオン株式会社 | 音声通話装置及び車載装置 |
| CN107886943A (zh) * | 2017-11-21 | 2018-04-06 | 广州势必可赢网络科技有限公司 | 一种声纹识别方法及装置 |
| CN107945786B (zh) * | 2017-11-27 | 2021-05-25 | 北京百度网讯科技有限公司 | 语音合成方法和装置 |
| US10003688B1 (en) * | 2018-02-08 | 2018-06-19 | Capital One Services, Llc | Systems and methods for cluster-based voice verification |
| CN108564940B (zh) * | 2018-03-20 | 2020-04-28 | 平安科技（深圳）有限公司 | 语音识别方法、服务器及计算机可读存储介质 |
| CN108538298B (zh) * | 2018-04-04 | 2021-05-04 | 科大讯飞股份有限公司 | 语音唤醒方法及装置 |
| CN109473108A (zh) * | 2018-12-15 | 2019-03-15 | 深圳壹账通智能科技有限公司 | 基于声纹识别的身份验证方法、装置、设备及存储介质 |
| CN109979439B (zh) * | 2019-03-22 | 2021-01-29 | 泰康保险集团股份有限公司 | 基于区块链的语音识别方法、装置、介质及电子设备 |
-
2019
- 2019-12-24 CN CN201911346904.9A patent/CN110970036B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017534905A (ja) * | 2014-10-10 | 2017-11-24 | アリババ グループ ホウルディング リミテッド | 声紋情報管理方法および声紋情報管理装置、ならびに本人認証方法および本人認証システム |
| CN108364654A (zh) * | 2018-01-30 | 2018-08-03 | 网易乐得科技有限公司 | 语音处理方法、介质、装置和计算设备 |
| KR20190096618A (ko) * | 2018-02-09 | 2019-08-20 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 기능 실행 방법 |
| CN108831487A (zh) * | 2018-06-28 | 2018-11-16 | 深圳大学 | 声纹识别方法、电子装置及计算机可读存储介质 |
| CN110473566A (zh) * | 2019-07-25 | 2019-11-19 | 深圳壹账通智能科技有限公司 | 音频分离方法、装置、电子设备及计算机可读存储介质 |
| CN110570873A (zh) * | 2019-09-12 | 2019-12-13 | Oppo广东移动通信有限公司 | 声纹唤醒方法、装置、计算机设备以及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230352031A1 (en) * | 2020-08-04 | 2023-11-02 | OTO Systems Inc. | Sample-efficient representation learning for real-time latent speaker state characterisation |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110970036A (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110970036B (zh) | 声纹识别方法及装置、计算机存储介质、电子设备 | |
| Deshwal et al. | Feature extraction methods in language identification: a survey | |
| CN114550706B (zh) | 基于深度学习的智慧校园语音识别方法 | |
| KR20130133858A (ko) | 청각 주의 큐를 사용하여 스피치 음절/모음/음의 경계 검출 | |
| CN109036381A (zh) | 语音处理方法及装置、计算机装置及可读存储介质 | |
| Ismail et al. | Mfcc-vq approach for qalqalahtajweed rule checking | |
| Khelifa et al. | Constructing accurate and robust HMM/GMM models for an Arabic speech recognition system | |
| CN111798846A (zh) | 语音命令词识别方法、装置、会议终端及会议终端系统 | |
| Kumar et al. | Improvements in the detection of vowel onset and offset points in a speech sequence | |
| Bawa et al. | Noise robust in-domain children speech enhancement for automatic Punjabi recognition system under mismatched conditions | |
| Priyadarshani et al. | Dynamic time warping based speech recognition for isolated sinhala words | |
| CN118038851A (zh) | 一种多方言语音识别方法、系统、设备及介质 | |
| Chenchah et al. | A bio-inspired emotion recognition system under real-life conditions | |
| CN117496946A (zh) | 语音合成方法、装置、设备及计算机可读介质 | |
| CN114283788A (zh) | 发音评测方法、发音评测系统的训练方法、装置及设备 | |
| CN113763992B (zh) | 语音测评方法、装置、计算机设备和存储介质 | |
| Islam et al. | Noise-robust text-dependent speaker identification using cochlear models | |
| Hafen et al. | Speech information retrieval: a review | |
| Saxena et al. | Extricate features utilizing Mel frequency cepstral coefficient in automatic speech recognition system | |
| Dar et al. | Bi-directional LSTM-based isolated spoken word recognition for Kashmiri language utilizing Mel-spectrogram feature | |
| CN113539243A (zh) | 语音分类模型的训练方法、语音分类方法及相关装置 | |
| CN116564279A (zh) | 一种语音关键词识别方法、装置及相关设备 | |
| Sasmal et al. | Isolated words recognition of Adi, a low-resource indigenous language of Arunachal Pradesh | |
| Ahmed et al. | Enhancing English accent identification in automatic speech recognition using spectral features and hybrid CNN-BiLSTM model | |
| Drăguşin et al. | Command Recognition System Using Convolutional Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |