CN120752697A - 用于生成训练生物特征验证系统的合成简档的系统和方法 - Google Patents
用于生成训练生物特征验证系统的合成简档的系统和方法Info
- Publication number
- CN120752697A CN120752697A CN202480013925.1A CN202480013925A CN120752697A CN 120752697 A CN120752697 A CN 120752697A CN 202480013925 A CN202480013925 A CN 202480013925A CN 120752697 A CN120752697 A CN 120752697A
- Authority
- CN
- China
- Prior art keywords
- biometric
- natural
- individual
- synthetic
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Collating Specific Patterns (AREA)
Abstract
一种方法、计算机程序产品和计算系统,用于生成表示多个自然生物特征简档的统计模型,其中每个自然生物特征简档与个体相关联。生成与个体相关联的自然生物特征简档中的变异性模型。使用从统计模型以及与个体相关联的自然生物特征简档中的变异性模型生成的多个随机样本,来生成多个合成生物特征简档。
Description
相关申请的交叉引用
本申请要求于2023年3月20日提交的美国非临时申请18/186,500的权利,其全部内容通过引用并入本文。
背景技术
生物特征验证系统的目标是生成测量生物特征简档(例如,声纹)和未知生物特征样本或者片段属于同一个体的可能性的识别分数。例如,在说话者验证系统中,识别分数与预定义阈值进行比较以确定声纹和目标语音片段是否来自同一个人。为了训练生物特征验证系统,将标记的生物特征数据提供给生物特征验证系统。然而,常规技术在以训练数据形式暴露敏感生物特征信息时,其方式可能违反法律、政策、或实体及个人的利益。
附图说明
图1是合成简档生成过程的一个实现方式的流程图;
图2是多个自然生物特征简档的示意图;
图3是根据合成简档生成过程的一个实现方式所生成的统计模型的示意图;
图4是根据合成简档生成过程的一个实现方式所生成的多个随机样本的示意图;
图5-图7是根据合成简档生成过程的不同实现方式的自然生物特征简档的变异性模型的示意图;
图8是根据合成简档生成过程的一个实现方式的合成生物特征简档的生成的示意图;
图9-图10是根据合成简档生成过程的不同实现方式对自然生物特征简档进行聚类的模型的示意图;
图11是根据合成简档生成过程的一个实现方式的生物特征验证系统的训练的示意图;
图12是计算机系统以及被耦合到分布式计算网络的合成简档生成过程的示意图。
各个附图中相同的附图标记表示相同的元素。
具体实施方式
如下文将更详细讨论的那样,本公开的实现方式从自然或实际的生物特征简档中生成合成的(即,人工的)生物特征简档,其考虑了多个说话者之间的说话者间分布和特定说话者的说话者内变异性。生物特征简档是可属于特定个体的生物特征信息的表示。例如,生物特征简档包括声纹、面部特征、视网膜扫描、指纹、对话特征(即,基于个人独特语言使用方式的行为生物特征,例如,常用词汇和表达方式)、或其他任何唯一标识特定个人或个体的生物特征。如上所述,生物特征验证系统是使用现有生物特征简档来进行训练的。然而,常规技术在以训练数据暴露敏感生物特征信息时,其方式可能不符合法律、政策、或实体及个人利益。
在一些实现方式中,本公开使用从多个自然生物特征简档生成的统计模型来生成合成生物特征简档,其具有与多个自然生物特征简档相同的生物特征特性分布和特定个体的生物特征特性的变异性。通过统计模型生成新的合成生物特征简档,并且在每个新的合成简档周围投影生物特征特性偏移量,自然或实际的生物特征数据不会被暴露或保留,而是通过合成简档来表示。通过这种方式,具有实际生物特征特性变异性的真实个体的生物特征简档被转换,以增强生物特征验证系统的训练。
在附图和以下描述中阐述了一个或者多个实现方式的细节。根据本说明书、附图、和权利要求的内容,其他特点和优点将变得显而易见。
合成简档生成过程:
参考图1-图12,合成简档生成过程10生成100表示多个自然生物特征简档的统计模型,其中每个自然生物特征简档与个体相关联。生成102与个体相关联的自然生物特征简档中的变异性模型。使用从统计模型和与个体相关联的自然生物特征简档中的变异性模型生成的多个随机样本来生成104多个合成生物特征简档。
在一些实现方式中,合成简档生成过程10生成100表示多个自然生物特征简档的统计模型。如上文所讨论的,生物特征简档是生物特征信息的表示,其唯一地标识特定的个体或个人。例如,生物特征简档包括声纹、面部特征、视网膜扫描、指纹、或其他任何能够唯一标识特定个人或个体的生物特征。自然生物特征简档是可属于真实个人的生物特征简档。在一些实现方式中,自然生物特征简档包括与个体相关联的生物特征信息的向量。参考图2,示出了多个自然生物特征简档(例如,生物特征简档200、202、204、206)。在一些实现方式中,生物特征简档200、202、204、206是生物特征信息的向量。在一个示例中,生物特征简档200、202、204、206是特定个体的声纹。在一些实现方式中,向量是从个体的语音信号中提取的“i-向量”。i-向量或者中间向量是通过从语音信号中提取和处理特定信号特征而生成的语音信号的表示。在另一个示例中,向量是“x-向量”,其是通过神经网络或其他机器学习模型所提取的嵌入。通过这种方式,可以使用向量表示来比较和评估生物特征简档。例如,如图2所示,生物特征简档200、202、204、206被表示为生物特征简档图内的各个点。如下文将更详细讨论的,合成简档生成过程10使用生物特征简档200、202、204、206的分布来生成统计模型并且用于生成合成生物特征简档。
在一些实现方式中,合成简档生成过程10生成100表示多个自然生物特征简档的统计模型。统计模型是关于给定可观测变量(例如,“X”)和目标变量(例如,“Y”)的联合概率分布的统计模型。具体地,统计模型根据概率模型描述如何生成数据集。通过从该模型采样来生成新数据。统计模型的示例包括多变量高斯分布、高斯混合模型、贝叶斯网络、马尔可夫随机场、隐马尔可夫模型(HMM)、生成对抗网络(GAN)等。参考图3的示例,合成简档生成过程10生成统计模型(例如,以同心圆示出的统计模型300,其在生物特征简档图中定义了自然生物特征简档的分布),该统计模型表示自然生物特征简档200、202、204、206的分布。在该示例中,统计模型300针对特定变量或参数定义了多个自然生物特征简档的分布。
在一些实现方式中,生成100统计模型包括为多个生物特征特性生成106多个统计模型。如上文所讨论的,生物特征简档将特定的生物特征信息与具有各种生物特征特性的特定个体关联起来。生物特征特性是针对不同类型的生物特征信息被定义的。对于声音/语音生物特征的示例,多个生物特征特性包括多个声音/语音特性。在一个示例中,多个声音特性包括说话者年龄、说话者语言、和/或说话者性别。例如,这些声音特性会影响特定生物特征简档的分布。假设多个生物特征简档包括50%的英语说话者和50%的德语说话者。在该示例中,不同语言产生的声音特性会在多个生物特征简档中引入不同的分布。因此,合成简档生成过程10生成100多个统计模型(例如,用于英语说话者的统计模型和用于德语说话者的统计模型)。
在另一个示例中,假设多个生物特征简档包括33%的年龄在18-30岁范围内的说话者,33%的年龄在31-50岁范围内的说话者,以及33%的年龄在51-75岁范围内的说话者。在该示例中,不同年龄产生的声音特性可以在多个生物特征简档中引入不同分布。因此,合成简档生成过程10生成106多个统计模型(例如,用于18-30岁说话者的统计模型,用于31-50岁说话者的统计模型,以及用于51-75岁说话者的统计模型)。
在一些实现方式中,合成简档生成过程10为具有多个生物特征特性的多个生物特征简档生成100统计模型。在一个示例中,假设多个生物特征简档包括来自同一性别的年龄在18-30岁范围内的个体的指纹。在此示例中,合成简档产生过程10生成专用于具有多个已知生物特征特性(例如,18-30岁和相同性别)的这些个体的统计模型。通过这种方式,合成简档生成过程10生成100考虑多个生物特征特性的统计模型。
在一些实现方式中,合成简档生成过程10从统计模型生成多个随机样本。来自统计模型的随机样本是遵循统计模型的值的分布的任何值或者值的组合(例如,生物特征信息的向量)。在一些实现方式中,每个随机样本是合成质心。例如参考图4,合成简档生成过程10从统计模型300生成具有与统计模型300相同的值的分布的多个随机样本(例如,多个随机样本400)。通过这种方式,多个随机样本400保持与多个自然生物特征简档相同的统计特性,但是不包括与多个自然生物特征简档相同的生物特征信息。
在一些实现方式中,合成简档生成过程10生成102与个体相关联的自然生物特征简档中的变异性模型。变异性模型是与个体的自然生物特征简档相关联的生物特征特性的变化的表示。例如,假设多个生物特征简档与同一个体相关联。由于每个生物特征简档可以包括不同的生物特征特性,因此对生物特征特性中的变异性建模可以更准确地表示特定个体。理想地,单个个体应当具有独特的生物特征简档,但是在实际中并非如此,因为1)由于个体的声音老化或者身体/健康状况的变化;以及2)生物特征测量技术的限制,使得说话风格、噪音、信道、环境等可以影响所评估的生物特征简档。因此,这些变化在与个体相关联的自然生物特征简档中的变异性模型中被建模。
参考图5,假设多个生物特征特性图形上被表示为独特的点。在这个示例中,生物特征简档的集合或者集(例如,生物特征简档集合500)与同一个体相关联。通过这种方式,生物特征简档集合500表示特定个体的各种生物特征特性。类似地,假设生物特征特性集合(例如,生物特征简档集合502)与另一个体相关联。因此,生物特征简档集合500表示该个体的生物特征特性的变异性。在一些实现方式中,生物特征简档集合500是如上文所描述的使用表示多个自然生物特征简档的统计模型在合成质心周围生成的向量(例如,I-向量、X-向量,嵌入等)集合。
在一些实现方式中,生成102与个体相关联的自然生物特征简档中的变异性模型包括生成108与个体相关联的自然生物特征简档中的变异性的统计模型。参考图6并且如上文所讨论的,合成简档生成过程10生成108生物特征简档图中的特定个体的变异性统计模型(例如,以圆圈示出的变异性统计模型600,其定义了自然生物特征简档的生物特征特性的分布)。在该示例中,变异性统计模型600定义了特定个体的自然生物特征简档的生物特征特性中的变异性在特定变量或参数上的分布。如图6所示,变异性统计模型600包括特定个体的生物特征简档的相同分布,并且变异性统计模型602包括另一个体的生物特征简档的相同分布。
在一些实现方式中,合成简档生成过程10生成与每个唯一个体相关联的每个自然生物特征简档的变异性模型。例如,假设多个自然生物特征简档包括表示四个个体的自然生物特征简档。在此示例中,合成简档生成过程10生成102与四个个体中每一个个体相关联的自然生物特征简档的变异性模型。通过这种方式,如将在下文中更详细讨论的,组合表示自然生物特征简档的分布的统计模型300和表示生物特征简档中说话者特定变异性的统计模型600、602,合成生物特征简档被生成,其包括用户间和用户内的生物特征关系,而不暴露实际的生物特征信息。
在另一个示例中,生成102与个体相关联的自然生物特征简档中的变异性模型的合成简档生成过程10包括直接再现110与个体相关联的自然生物特征简档中的相对变异性。参考图7并且如上文所讨论的,合成简档生成过程10生成102特定个体的生物特征简档之间的变异性模型(例如,被示为圆圈的变异性模型700,其定义了相同图形关系)。在该示例中,变异性模型700包括与图3所示的一个个体相同的相对变异性(例如,图7中的相对方向和位置)。类似地,对于另一个体,变异性模型702包括与图3所示的另一个体相同的相对变异性(例如,图7中的相对方向和位置)。
在一些实现方式中,合成简档生成过程10使用从统计模型和与个体相关联的自然生物特征简档中的变异性模型生成的多个随机样本来生成104多个合成生物特征简档。合成生物特征简档是具有与真实人无关的生物特征信息的人工生物特征简档。这样,合成生物特征简档可以与生物特征验证系统一起使用,而不暴露多个自然生物特征简档的任何生物特征信息。在一些实现方式中,生成104多个合成生物特征简档包括将多个随机样本和变异性模型转换成多个合成生物特征简档。在一些实现方式中,合成简档生成过程10通过生成多个随机样本(每个随机样本定义了合成生物特征简档),并且对个体用户的自然生物特征简档的变异性进行建模来生成多个合成生物特征简档。通过这种方式,通过从统计模型生成多个随机样本并且通过为自然生物特征简档中的变异性生成模型,合成简档生成过程10生成表示自然生物特征简档之间的用户内和用户间的关系的多个合成生物特征简档。
参考图8,假设合成简档生成过程10从统计模型300和变异性模型600以及变异性模型602生成多个随机样本(例如,多个随机样本400)。如上文所讨论的,使用统计模型300,多个随机样本400具有与多个自然生物特征简档200、202、204、206相同的分布。变异性模型600具有一个个体的自然生物特征简档中的变异性的建模分布,而变异性模型602具有另一个个体的自然生物特征简档中的变异性的建模分布。利用多个随机样本400、变异性模型600和变异性模型602,合成简档生成过程10生成多个合成生物特征简档(例如,合成生物特征简档800、802、804、806)。在该示例中,每个合成生物特征简档包括适合统计模型300、变异性模型600、和变异性模型602的生物特征信息,但不属于实际的人或者人群。
在一些实现方式中,合成简档生成过程10使用变异性的统计模型来生成合成生物特征简档。例如,对于统计模型300的每个随机生成的点或者向量,使用随机生成的点作为中心点或者参考点,合成简档生成过程10从变异性的统计模型随机地采样点或者向量。参考图9,假设合成简档生成过程10生成统计模型300和随机样本400。合成简档生成过程10使用来自统计模型300的随机样本(例如,随机样本900)和以随机样本900为中心的变异性模型902来生成104合成生物特征简档。在该示例中,随机点900用作合成地表示自然生物特征简档的向量的中心点或者参考点。
在一些实现方式中,合成简档生成过程10对一组自然生物特征简档进行聚集112。对一组自然生物特征简档进行聚类包括从多个生物特征简档中标识一组生物特征简档,用作合成生物特征简档的基础。例如,假设多个自然生物特征简档包括10000个单独的自然生物特征简档。合成简档生成过程10标识一组自然生物特征简档以用作自然生物特征简档的聚类,而不是生成10000个对应的合成生物特征简档,这可能涉及大量的处理资源。如上文所讨论的,每个自然生物特征简档是向量(例如,I-向量、X-向量,嵌入等)。因此,合成简档生成过程10通过确定所标识的一组自然生物特征简档的平均或者合成表示来对一组自然生物特征简档进行聚类。在一个示例中,合成简档生成过程10将最近的一组5个自然生物特征简档聚类112为群集(例如,其中接近度基于图9所示的数字距离)。
在一些实现方式中,生成104多个合成生物特征简档包括使用经聚类的一组自然生物特征简档来生成114合成生物特征简档。参考图10,假设合成简档生成过程10将多个生物特征简档聚类成八个群集,每个群集具有五个自然生物特征简档。合成简档生成过程10从这八个含有五个接近的自然生物特征简档的群集生成八个代表性生物特征简档(例如,在图10中被示为三角形)。如上文所讨论的,合成简档生成过程10生成100表示多个代表性生物特征简档的统计模型和与同一个体相关联的自然生物特征简档中的变异性的模型。根据统计模型和变异性的模型,合成简档生成过程10通过从统计模型生成多个随机样本来生成多个合成生物特征简档。在这个示例中,合成简档生成过程10以资源高效的方式生成多个经聚类的合成生物特征简档(即,通过在代表性生物特征简档的子集中对自然生物特征简档进行聚类以减少被创建的合成生物特征简档的数量)。
在一些实现方式中,合成简档生成过程10响应于生成多个合成生物特征简档来处置116多个自然生物特征简档。例如,合成简档生成过程10生成100多个合成生物特征简档800、802、804、806,以包括由统计模型300定义的生物特征信息的特征或者属性的分布,而不包括来自多个自然生物特征简档200、202、204、206的生物特征信息。通过这种方式,合成简档生成过程10能够使用包括与多个自然生物特征简档200、202、204、206相同的特征分布的多个合成生物特征简档800、802、804、806来处理目标生物特征信息,而不暴露多个自然生物特征简档200、202、204、206。
因此,响应于生成合成生物特征简档800、802、804、806,合成简档生成过程10处置116多个自然生物特征简档200、202、204、206。在一个示例中,处置116自然生物特征简档包括从存储设备或者其他计算设备删除或者以其他方式移除自然生物特征简档。在该示例中,自然生物特征简档被删除,这提供对各种隐私法律、法规、和其他涉及敏感内容(即与特定个体相关联的生物特征信息)的其他限制的最高级别的遵守。
在另一个示例中,处置116自然生物特征简档包括从生物特征验证系统的纳入范围或者使用中移除自然生物特征简档。在该示例中,来自自然生物特征简档的生物特征信息被用于生成统计模型,但是可以被保留用于其他用途(例如,数据扩充、语音处理(针对声音生物特征信息)、图像处理(针对视网膜或者面部生物特征信息)等)。
在一些实现方式中,合成简档生成过程10使用多个合成生物特征简档来训练118生物特征分类系统。生物特征验证系统是一种硬件和/或软件系统,其通过使用独特的生物特征特性来验证和/或标识个体。例如,与特定个体相关联的生物特征简档被登记在生物特征验证系统中,使得目标生物特征信息与每个登记的生物特征简档进行比较以验证或者标识。在一些实现方式中,当将目标生物特征信息与登记的生物特征简档进行比较时,生物特征验证系统生成识别分数。在一些实现方式中,合成简档生成过程10使用多个合成生物特征简档来训练生物特征验证系统。通过这种方式,生物特征验证系统使用多个合成生物特征简档而被训练118,而不暴露多个自然生物特征简档的生物特征信息。为了训练准确的后端分类器(例如,生物特征验证系统),训练数据应该尽可能(在统计上)匹配在运行时使用期间将出现的数据。鉴于希望训练数据与实际数据相匹配,合成简档生成过程10利用合成数据来模拟训练数据的相同统计空间,从而训练后端以覆盖相同的空间(以及该空间内的相同的分布),从而实现最佳的识别准确率。
参考图11,假设合成简档生成过程10生成104多个合成生物特征简档800、802、804、806。在该示例中,合成简档生成过程10使用多个合成生物特征简档800、802、804、806来训练118生物特征验证系统(例如,生物特征验证系统1100)。
在一些实现方式中,使用以上所描述的方法生成的合成生物特征简档来训练的生物特征验证系统的准确率与使用自然生物特征简档时所观察到的准确率相比只有轻微下降。在一个示例中,假设使用来自15000个说话者的330000个语音(例如,多个自然生物特征简档)和被聚类在3000个组中的多个合成生物特征简档来训练九个生物特征验证模型。在该示例中,结果以等错误率(EER)和两种错误接受率(FA)(值为1%和0.5%)下的错误拒绝率(FR)被报告在下表1中。
表1
如上表1所示,EER的平均准确的下降约为5.5%,FR@FA=1%的平均准确率下降约为8%,FR@FA=0.5%的平均准确率下降约为6%。因此,使用合成生物特征简档所产生的准确率下降是有限的,同时可以保护私人生物特征数据不被用于生物特征验证系统的训练。
系统概述:
参考图12,示出了合成简档生成过程10。合成简档生成过程10可以被实现为服务器端过程、客户端过程、或混合服务器端/客户端过程。例如,合成简档生成过程10可以经由合成简档生成过程10s被实现为纯服务器端过程。备选地,合成简档生成过程10可以经由合成简档生成过程10c1、合成简档生成过程10c2、合成简档生成过程10c3、和合成简档生成过程10c4中的一个或多个被实现为纯客户端过程。备选地,合成简档生成过程10可以经由合成简档生成过程10s结合合成简档生成过程10c1、合成简档生成过程10c2、合成简档生成过程10c3、和合成简档生成过程10c4中的一个或多个被实现为混合服务器端/客户端过程。
因此,本公开中所使用的合成简档生成过程10可以包括合成简档生成过程10s、合成简档生成过程10c1、合成简档生成过程10c2、合成简档生成过程10c3、和合成简档生成过程10c4的任何组合。
合成简档生成过程10s可以是服务器应用并且可以驻留在计算机系统1200上或者被计算机系统1200执行,计算机系统1200可以被连接到网络1202(例如,互联网或者局域网)。计算机系统1200可以包括各种组件,其示例可以包括但不限于:个人计算机、服务器计算机、一系列服务器计算机、小型计算机、大型计算机、一个或多个网络附加存储(NAS)系统、一个或多个存储区域网络(SAN)系统、一个或多个平台即服务(PaaS)系统、一个或多个基础设施即服务(IaaS)系统、一个或多个软件即服务(SaaS)系统、基于云的计算机、以及基于云的存储平台。
SAN包括个人计算机、服务器计算机、一系列服务器计算机、小型计算机、大型计算机、RAID设备、和NAS系统中的一个或多个。计算机系统1200的各个组件可以执行一个或多个操作系统。
合成简档生成过程10s的指令集和子例程(被存储在耦合到计算机系统1200的存储设备1204上)可以由计算机系统1200所包括的一个或多个处理器(未示出)和一个或多个存储器架构(未示出)执行。存储设备1204的示例包括但不限于:硬盘驱动器;RAID设备;随机存取存储器(RAM);只读存储器(ROM);和所有形式的闪存存储设备。
网络1202可以被连接到一个或多个次级网络(例如,网络1204),其示例可以包括但不限于:局域网;广域网;或者内联网。
各种IO请求(例如,IO请求1208)可以从合成简档生成过程10s、合成简档生成过程10c1、合成简档生成过程10c2、合成简档生成过程10c3和/或合成简档生成过程10c4被发送到计算机系统1200。IO请求1208的示例包括但不限于数据写入请求(即,内容写入计算机系统1200的请求)以及数据读取请求(即,从计算机系统1200读取内容的请求)。
可以被存储在耦合到客户端电子设备1218、1220、1222、1224(相应地)的存储设备1210、1212、1214、1216(相应地)上的合成简档生成过程10c1、合成简档生成过程10c2、合成简档生成过程10c3和/或合成简档生成过程10c4的指令集和子例程可以由集成到客户端电子设备1218、1220、1222、1224(相应地)的一个或多个处理器(未示出)和一个或多个存储器架构(未示出)执行。存储设备1210、1212、1214、1216可以包括但不限于:硬盘驱动器;光学驱动器;RAID设备;随机存取存储器(RAM);只读存储器(ROM),以及所有形式的闪存存储设备。客户端电子设备1218、1220、1222、1224的示例可以包括但不限于:个人计算设备1218(例如,智能电话、个人数字助理、膝上型计算机、笔记本计算机、和台式计算机)、音频输入设备1220(例如,手持麦克风、翻领麦克风、嵌入式麦克风(诸如嵌入到眼镜、智能电话、平板计算机和/或手表的麦克风)和音频记录设备)、显示设备1222(例如,平板计算机、计算机监视器、和智能电视)、机器视觉输入设备1224(例如,RGB成像系统、红外成像系统、紫外成像系统、激光成像系统、SONAR成像系统、RADAR成像系统、和热成像系统)、混合设备(例如,包括一个或多个上述参考设备的功能的单个设备;未示出)、音频渲染设备(例如,扬声器系统、耳机系统、或者耳塞系统;未示出)、各种医疗设备(例如,医学成像装置、心脏监测机器、体重计、体温温度计、和血压仪;未示出)以及专用网络设备(未示出)。
用户1226、1228、1230、1232可以直接通过网络1202或者次级网络1206访问计算机系统1200。此外,计算机系统1200可以通过次级网络1202被连接到网络1202,如链路1234所示。
各种客户端电子设备(例如,客户端电子设备1218、1220、1222、1224)可以直接或间接地耦合到网络1202(或网络1206)。例如,个人计算设备1218被示为经由硬连线网络连接直接耦合到网络1202。此外,机器视觉输入设备1224被示为经由硬连线网络连接直接耦合到网络1206。音频输入设备1220被示为经由在音频输入设备1220和无线接入点(即,WAP)1238之间建立的无线通信信道1236而无线地耦合到网络1202,其中无线接入点1238被示为直接耦合到网络1202。WAP 1238可以是例如能够在音频输入设备1220和WAP 1238之间建立无线通信信道1236的IEEE 802.11a、802.11b、802.11g、802.11n、Wi-FiTM、和/或蓝牙TM设备。显示设备1222被示为经由在显示设备1222和WAP 1242之间建立的无线通信信道1240而无线地耦合到网络1202,其中WAP 1242被示为直接耦合到网络1202。
各种客户端电子设备(例如,客户端电子设备1218、1220、1222、1224)可以各自执行操作系统,其中各种客户端电子设备(例如,客户端电子设备1218、1220、1222、1224)和计算机系统1200可以形成模块化系统1244。
概述:
如本领域的技术人员将理解的,本公开可以体现为方法、系统、或计算机程序产品。因此,本公开可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或者结合软件与硬件方面的实施例的形式,这些实施例形式在文本中可以被统称为“电路”、“模块”、或者“系统”。此外,本公开可以采取计算机可用存储介质上的计算机程序产品的形式,其中计算机可用介质中体现有计算机可用程序代码。
任何合适的计算机可用或者计算机可读介质都可以被使用。计算机可用或者计算机可读介质可以是例如但不限于电子、磁性、光学、电磁、红外、或者半导体系统、装置、设备、或者传播介质。计算机可读介质的更具体的示例(非详尽列表)可以包括以下:具有一条或者多条线路的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、诸如支持因特网或内联网的传输介质、或磁存储设备。计算机可用或计算机可读介质也可以是其上打印有程序的纸或另一合适的介质,因为程序可以经由例如对纸或其它介质的光学扫描而被电子捕获,然后被编译、解释、或以合适的方式被处理(如果需要),然后被存储在计算机存储器中。在本文的上下文中,计算机可用或者计算机可读介质可以是能够包含、存储、通信、传播、或者传输程序以供指令执行系统、装置、或者设备使用或者与之结合使用的任何介质。计算机可用介质可以包括嵌入有计算机可用程序代码的传播的数据信号,该传播的数据信号在基带中或者是载波的一部分。计算机可用程序代码可以使用任何合适的介质来传输,包括但不限于因特网、有线线路、光纤电缆、RF等。
用于执行本公开的操作的计算机程序代码可以用面向对象的编程语言来编写。然而,用于执行本公开的操作的计算机程序代码也可以用诸如“C”编程语言或者类似编程语言的常规过程编程语言来编写。程序代码可以完全在用户的计算机上执行、部分在用户的计算机上执行(作为独立的软件包)、部分在用户的计算机上以及部分在远程的计算机上执行或者完全在远程的计算机或者服务器上执行。在后一种情况下,远程计算机可以通过局域网/广域网/因特网被连接到用户的计算机。
参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开。应当理解的是,流程图和/或框图的每个框以及流程图和/或框图的框的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机/专用计算机/其它可编程数据处理装置的处理器,使得经由计算机或其它可编程数据处理装置的处理器执行的指令能够创建用于实现流程图和/或框图的一个或多个框中所指定的功能/动作的装置。
这些计算机程序指令还可以被存储在计算机可读存储器中,该计算机可读存储器可以指示计算机或其他可编程数据处理装置以特定方式运行,使得被存储在计算机可读存储器中的指令产生包括实现流程图和/或框图的一个或多个框中所指定的功能/动作的指令装置的制品。
计算机程序指令还可以被加载到计算机或其他可编程数据处理装置上,以使得在计算机或其他可编程装置上执行一系列操作步骤,从而产生计算机实现的过程,使得在计算机或其他可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个框中所指定的功能/动作的步骤。
附图中的流程图和框图可以示出根据本公开的各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能、和操作。在这点上,流程图或框图中的每个框可以表示模块、段、或代码部分,其包括用于实现(多个)指定逻辑功能的一个或多个可执行指令。还应当注意的是,在一些备选实现方式中,在框中指出的功能可以不按附图中所指出的顺序发生。例如,取决于所涉及的功能,连续示出的两个框实际上可以基本上同时被执行,或者这些框有时可以按照相反的顺序被执行、根本不执行、或者以与任何其他流程图的任何组合方式被执行。还应当注意的是,框图和/或流程图中的每个框,以及框图和/或流程图中的框的组合可以由执行指定功能或动作的基于专用硬件的系统、或专用硬件和计算机指令的组合来实现。
本文中所使用的术语仅用于描述特定实施例,并且不旨在限制本公开。如本文所使用的,单数形式“一(a)”、“一种(an)”、和“该(the)”也旨在包括复数形式,除非上下文另有明确指示。还应当理解的是,术语“包括(comprise)”和/或“包含(comprising)”在本说明书中被使用时,指定所述特征、整数、步骤、操作、元素、和/或组件的存在,但不排除一个或多个其它特征、整数、步骤、操作、元素、组件、和/或其组合的存在或添加。
权利要求中的所有功能附加手段(means or step plus function)元素的相应结构、材料、动作、和等效物旨在包括与其他权利要求中所具体要求保护的元素结合以执行该功能的任何结构、材料、或动作。已出于说明和描述的目的呈现了对本公开的描述,但并不旨在是详尽的或将本公开限于所公开的形式。在不脱离本公开的范围和精神的情况下,许多修改和变化对于本领域的普通技术人员而言将是显而易见的。选择和描述实施例是为了最好地解释本公开的原理和实际应用,并且使本领域的其他普通技术人员能够理解本公开的各种实施例以及适合于预期的特定用途的各种修改。
本文已经描述了许多实现方式。通过如此详细地描述了本申请的公开内容并且通过参考其实施例,显然在不脱离所附权利要求中所限定的本公开的范围的情况下,修改和变化是可能的。
Claims (15)
1.一种计算机实现的方法,所述方法在计算设备上被执行,所述方法包括:
生成表示多个自然生物特征简档的统计模型,其中每个自然生物特征简档与个体相关联;
生成与个体相关联的所述自然生物特征简档中的变异性的模型;以及
使用从所述统计模型以及与个体相关联的所述自然生物特征简档中的所述变异性的模型生成的多个随机样本,来生成多个合成生物特征简档。
2.根据权利要求1所述的计算机实现的方法,其中每个自然生物特征简档包括与个体相关联的生物特征信息的向量。
3.根据权利要求1所述的计算机实现的方法,其中生成所述统计模型包括:生成针对多个生物特征特性的多个统计模型。
4.根据权利要求1所述的计算机实现的方法,其中生成与个体相关联的所述自然生物特征简档中的所述变异性的所述模型包括:生成与所述个体相关联的所述自然生物特征简档中的变异性的统计模型。
5.根据权利要求1所述的计算机实现的方法,其中生成与个体相关联的所述自然生物特征简档中的所述变异性的所述模型包括:直接重现与所述个体相关联的所述自然生物特征简档中的相对变异性。
6.根据权利要求1所述计算机实现方法,还包括:
聚类一组自然生物特征简档。
7.根据权利要求6所述的计算机实现的方法,其中生成所述多个合成生物特征简档包括:使用所聚类的所述一组自然生物特征简档来生成合成生物特征简档。
8.根据权利要求1所述计算机实现方法,还包括:
使用所述多个合成生物特征来训练生物特征分类系统。
9.一种计算系统,包括:
存储器;以及
处理器,用于:生成表示多个声纹的统计模型,其中每个声纹与个体相关联;生成与个体相关联的所述声纹中的变异性的模型;以及使用从所述统计模型和与个体相关联的所述声纹中的所述变异性的模型生成的多个随机样本,来生成多个合成声纹。
10.根据权利要求9所述的计算系统,其中每个声纹包括与个体相关联的声纹信息的向量。
11.根据权利要求9所述的计算系统,其中生成所述统计模型包括:生成针对多个声音特性的多个统计模型。
12.根据权利要求9所述的计算系统,其中所述统计模型是多元高斯分布。
13.根据权利要求9所述的计算系统,其中所述统计模型是高斯混合模型。
14.根据权利要求9所述的计算系统,其中所述处理器还被配置为:
响应于生成所述多个合成声纹来处理所述多个自然声纹。
15.一种计算机程序产品,所述计算机程序产品驻留在计算机可读介质上,所述计算机可读介质上存储有多个指令,所述指令在由处理器执行时,使所述处理器执行操作,所述操作包括:
生成表示多个自然生物特征简档的统计模型,其中每个自然生物特征简档与个体相关联;
生成与个体相关联的所述自然生物特征简档中的变异性的模型;
使用从所述统计模型以及与个体相关联的所述自然生物特征简档中的所述变异性的模型生成的多个随机样本,来生成多个合成生物特征简档;以及
使用所述多个合成生物特征简档来训练生物特征验证系统。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/186,500 | 2023-03-20 | ||
| US18/186,500 US12430414B2 (en) | 2023-03-20 | 2023-03-20 | System and method for generating synthetic profiles for training biometric verification systems |
| PCT/US2024/019303 WO2024196613A1 (en) | 2023-03-20 | 2024-03-11 | System and method for generating synthetic profiles for training biometric verification systems |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN120752697A true CN120752697A (zh) | 2025-10-03 |
Family
ID=90720193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202480013925.1A Pending CN120752697A (zh) | 2023-03-20 | 2024-03-11 | 用于生成训练生物特征验证系统的合成简档的系统和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US12430414B2 (zh) |
| CN (1) | CN120752697A (zh) |
| WO (1) | WO2024196613A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102829378B1 (ko) * | 2023-05-08 | 2025-07-03 | 한국전자통신연구원 | 기 등록된 신원 정보를 신규 신원인식 시스템에 재등록하는 방법 및 장치 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9774596B2 (en) * | 2014-05-23 | 2017-09-26 | Fujitsu Limited | Privacy-preserving biometric authentication |
| US10848508B2 (en) | 2016-09-07 | 2020-11-24 | Patternex, Inc. | Method and system for generating synthetic feature vectors from real, labelled feature vectors in artificial intelligence training of a big data machine to defend |
| WO2018053531A1 (en) * | 2016-09-19 | 2018-03-22 | Pindrop Security, Inc. | Dimensionality reduction of baum-welch statistics for speaker recognition |
| WO2018156782A1 (en) * | 2017-02-24 | 2018-08-30 | Prager Howard | Biometric sensor |
| WO2019090769A1 (zh) | 2017-11-13 | 2019-05-16 | 深圳和而泰智能控制股份有限公司 | 一种人脸脸型识别方法、装置和智能终端 |
| CN108628993B (zh) | 2018-04-28 | 2021-01-05 | 国家基础地理信息中心 | 电子地图自适应分类方法、装置、设备及存储介质 |
| CN113825689A (zh) | 2019-03-29 | 2021-12-21 | 英特尔公司 | 自主交通工具系统 |
| US11711216B1 (en) * | 2019-12-02 | 2023-07-25 | T Stamp Inc. | Systems and methods for privacy-secured biometric identification and verification |
| US11769056B2 (en) | 2019-12-30 | 2023-09-26 | Affectiva, Inc. | Synthetic data for neural network training using vectors |
| AU2021254787A1 (en) * | 2020-04-15 | 2022-10-27 | Pindrop Security, Inc. | Passive and continuous multi-speaker voice biometrics |
| US20230131359A1 (en) * | 2021-10-27 | 2023-04-27 | Nuance Communications | System and Method for Generating Synthetic Cohorts Using Generative Modeling |
| US12399975B2 (en) * | 2022-02-22 | 2025-08-26 | AVAST Software s.r.o. | Synthetic biometrics for user privacy |
| US20250028859A1 (en) * | 2023-07-17 | 2025-01-23 | Nvidia Corporation | Protecting sensitive data associated with training machine learning models |
-
2023
- 2023-03-20 US US18/186,500 patent/US12430414B2/en active Active
-
2024
- 2024-03-11 WO PCT/US2024/019303 patent/WO2024196613A1/en active Pending
- 2024-03-11 CN CN202480013925.1A patent/CN120752697A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240320312A1 (en) | 2024-09-26 |
| WO2024196613A1 (en) | 2024-09-26 |
| US12430414B2 (en) | 2025-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7152514B2 (ja) | 声紋識別方法、モデルトレーニング方法、サーバ、及びコンピュータプログラム | |
| CN106683680B (zh) | 说话人识别方法及装置、计算机设备及计算机可读介质 | |
| JP6429945B2 (ja) | 音声データを処理するための方法及び装置 | |
| US10509895B2 (en) | Biometric authentication | |
| US10699716B2 (en) | Artificial intelligence-based method and device for voiceprint authentication | |
| Dobrišek et al. | Towards efficient multi-modal emotion recognition | |
| CN110289000B (zh) | 一种语音识别方法、装置 | |
| US9947323B2 (en) | Synthetic oversampling to enhance speaker identification or verification | |
| CN111179940A (zh) | 一种语音识别方法、装置及计算设备 | |
| CN107481720A (zh) | 一种显式声纹识别方法及装置 | |
| Naika | An overview of automatic speaker verification system | |
| CN111613230A (zh) | 声纹验证方法、装置、设备及存储介质 | |
| CN107229691B (zh) | 一种用于提供社交对象的方法与设备 | |
| JP7160095B2 (ja) | 属性識別装置、属性識別方法、およびプログラム | |
| CN120752697A (zh) | 用于生成训练生物特征验证系统的合成简档的系统和方法 | |
| Kamiński et al. | Enhancing web application security: Advanced biometric voice verification for two-factor authentication | |
| US20230131359A1 (en) | System and Method for Generating Synthetic Cohorts Using Generative Modeling | |
| CN116486789A (zh) | 语音识别模型的生成方法、语音识别方法、装置及设备 | |
| Islam et al. | BPN Based Likelihood Ratio Score Fusion for Audio‐Visual Speaker Identification in Response to Noise | |
| Lopez‐Otero et al. | Influence of speaker de‐identification in depression detection | |
| Can et al. | A Review of Recent Machine Learning Approaches for Voice Authentication Systems | |
| Folorunso et al. | Laughter signature, a new approach to gender recognition | |
| US11068065B2 (en) | Non-verbal communication tracking and classification | |
| Natasya et al. | Enhancing Two-Factor Authentication with Deep Speaker Recognition on Librispeech Dataset | |
| Chavakula | Analysis of Audio Data to Measure Social Interaction in the Treatment of Autism Spectrum Disorder Using Speaker Diarization and Identification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |