CN115311713A - 终端提取深度学习网络人脸特征值并网内高效复用的方法与系统 - Google Patents

Abstract

本发明提供一种终端提取深度学习网络人脸特征值并网内高效复用的方法与系统,包括：服务端平台，用于管理人脸库数据与终端设备关联许可权限；注册到服务端平台的设备终端，设备终端内置人脸识别软件。服务端平台可智能下发任务分片及将终端设备返回的人脸特征值数据同步至关联的设备终端；接收到的特征值提取任务的设备终端，根据服务端平台下发的人脸数据进行人脸特征值提取，并在提取任务完成后删除特征值提取任务对应的原始人脸数据。本发明通过协调网内终端设备的算力资源，智能分派特征值提取任务并汇聚管理，进而仅下发特征值到终端设备应用，极大的提升了特征提取速度、下发可靠性，以及终端设备的数据安全性。

Description

终端提取深度学习网络人脸特征值并网内高效复用的方法与 系统

技术领域

本发明涉及基于深度学习的人脸识别技术领域，尤其是人脸识别底库内特征值的提取与同步下发，具体而言涉及一种终端提取深度学习网络人脸特征值并网内高效复用的方法与系统。

背景技术

随着以人脸识别为代表的深度学习技术的日渐成熟，内置其算法模型的人脸识别终端设备已经越来越多地进入日常生活，服务于千行百业。此类内置人脸识别模型的人脸识别终端设备，一般是通过终端设备本地或服务端导入人脸数据（即包含人脸的图片、照片数据），终端设备从人脸图片（照片）中进行特征提取，获得对应人脸的深度网络特征值，即人脸特征值，存入人脸底库（也称为人脸特征底库），完成人脸底库构建；后续在终端本地实时拍摄人脸图片，并提取人脸图片对应的深度网络特征值，即人脸特征值，再使用 1:N 搜索匹配技术，在人脸底库进行比对计算，例如基于欧氏距离、相似度的计算、排序和判断，进行人脸识别和比对。

直接在终端设备本地导入并提取特征建人脸库的方式仅局限于少量使用场合。

在大规模部署人脸识别终端设备时，通常是通过服务端平台管理人脸识别的终端设备及人脸库，例如批量导入人脸图片，并下发关联人脸库到终端设备，在终端设备直接提取人脸特征值建本地人脸底库，再进行人脸识别应用。即：服务端平台管理人脸库及权限、终端设备则负责按服务端平台下发的人脸进行特征值提取、建人脸底库，并进行实际人脸采集和人脸比对、识别。

通过这样部署方式，可有效的集中管理人脸库及权限，架构上支持大规模的服务端平台和识别终端的部署。但在实际应用中，由于服务端平台在收到导入的大量人脸数据后，要向所有终端设备下发大量人脸图片数据并提取特征值，会因为网络原因面临数据下发易中断、速度慢，以及终端设备特征值提取速度慢、效率低以及用户个人敏感数据意外留存等诸多问题。

发明内容

针对现有技术存在的技术问题，本发明目的在于提供一种终端提取深度学习网络人脸特征值并网内高效复用的方法与系统，通过协调网内终端设备的算力资源，智能分派特征值提取任务并汇聚管理，进而仅下发特征值到终端设备应用，极大的提升了特征提取速度、下发可靠性，以及终端设备的数据安全性。

根据本发明目的的第一方面提出一种实现终端提取深度学习网络人脸特征值并网内高效复用的系统，包括：

服务端平台，被配置管理人脸库数据与终端设备关联许可权限；

注册到所述服务端平台的多个设备终端，所述设备终端内置有可根据输入的人脸图片进行人脸特征提取和人脸识别的人脸识别软件；

其中，所述服务端平台还被配置用于根据连接到服务端平台的终端设备及其状态智能下发任务分片，所述任务分片为特征值提取任务，以及根据预定规则将终端设备返回的人脸特征值数据同步至关联的设备终端；

接收到的特征值提取任务的设备终端，根据服务端平台下发的人脸数据进行人脸特征值提取，并在提取任务完成后删除特征值提取任务对应的原始人脸数据。

根据本发明目的的第二方面提出一种实现终端提取深度学习网络人脸特征值并网内高效复用的方法，包括以下步骤：

各终端设备上线后，连接并注册到服务端平台，并向服务端平台报告设备信息，所述设备信息包括：设备硬件序列号、设备芯片类型、设备软件版本；

服务端平台根据连接至服务端平台设备终端及其报告的设备信息，动态更新在线设备管理表；

服务端平台接收人脸数据导入，并按照预定规则关联在线的终端设备，然后生成特征值的提取任务以及特征值的同步任务，所述提取任务是指从人脸数据的人脸照片中提取深度学习网络的人脸特征值，所述同步任务是指将提取成功的人脸特征值批量下发至权限关联的终端设备；

服务端平台的任务分片处理模块根据动态更新的在线设备管理表，将提取任务进行任务分片，向连接到服务端平台的在线设备智能下发任务分片；

接收到的特征值提取任务的设备终端，根据服务端平台下发的人脸数据进行人脸特征值提取，在提取任务完成后，删除特征值提取任务对应的原始人脸数据，并向服务端平台返回提取的人脸特征值以及报告自身可利用状态；

任务分片处理模块接收终端设备返回自身可利用状态，并据此决定是否下发下一个任务分片至该终端设备；

任务分片处理模块在接收到各终端设备的分片任务返回结果后，无需等待导入的人脸数据的提取任务全部完成，即按照预定的规则自动向权限关联的终端设备直接批量打包下发人脸特征值数据，批量打包的最小数量可预先配置指定。

由以上本技术方案的系统与方法的实施，本发明提出的在终端提取深度学习网络人脸特征值并网内高效复用的方法与系统，由服务端统一管理任务下发、回收及同步人脸特征值数据，极大的避免了向所有设备均传输大量人脸照片的弊端，且设备侧接收到的任务切片数据在执行完后均做删除处理，因此既确保了设备侧数据安全（设备侧无需保持人脸数据）、也极大的提升了特征值提取速度（所有在线可用设备贡献算力、并行计算）、以及特征值同步速度及可靠性（同步时仅需同步特征值压缩包）。由此，服务端平台所管理的在线终端设备数量越大，人脸底库人数越多，带来的提升将会越明显。

同时，作为并行计算任务实际执行者的终端设备，设备侧可采用智能自适应节流机制，基于其自身任务状态确定是否执行特征值提取的任务分片，优先保障了设备用户使用体验，使得平台下发的计算任务与自身功能性应用之间取得了很好的平衡。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例。

图1是本发明实施例的实现终端提取深度学习网络人脸特征值并网内高效复用系统的示意图。

图2是本发明实施例的服务端平台的示意图。

图3是本发明实施例的特征值提取任务调度及同步处理流程图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

结合图1、2所示示例的实现终端提取深度学习网络人脸特征值并网内高效复用的系统，包括服务端平台100以及设备终端200。

服务端平台100，被配置成用以管理人脸库数据以及管理终端设备关联许可权限。

注册到所述服务端平台的多个设备终端200，可以是例如云台式摄像头、具有图像采集模块的设备终端等，通过适当的方式安装部署在对应的场景中，用于实现现场的人脸图像采集与人脸识别。

应当理解，终端设备200不论采用何种适当的形式，其通常具有数据的通讯、存储和计算模块以及图像采集模块，一个典型的终端设备200的硬件架构包括处理器、存储器、通信模块以及图像采集模块，他们之间通过数据总线进行数据交互与通讯。在一些实施例中，终端设备200还具有外部接口，例如USB模块等，用于接收外部数据的导入。

在本发明的实施例中，设备终端200内置有可根据输入的人脸图片进行人脸特征提取和人脸识别的人脸识别软件。人脸识别软件可采用商用的人脸识别软件或者算法封装的SDK实现，尤其优选的是基于深度学习网络模型的人脸识别算法实现，例如基于CNN网络的人脸识别算法。

在本发明的实施例中，服务端平台100被配置用于根据连接到服务端平台的终端设备200及其状态智能下发任务分片，任务分片是指特征值提取任务，以及根据预定规则将终端设备返回的任务分片处理结果，即提取的人脸特征值数据，同步至关联的设备终端。

其中，接收到的特征值提取任务的设备终端，根据服务端平台下发的人脸数据进行人脸特征值提取，并在提取任务完成后删除特征值提取任务对应的原始人脸数据。

在本发明的实施例中，终端设备均被设置成可自动连接到服务端平台，并将其设备信息注册到平台，由平台统一管理人脸库数据及权限，并下发提取任务或同步特征值数据，在终端设备建立人脸底库，并在终端实现人脸识别应用。

结合图示的示例中，服务端平台100设置有设备管理模块101，被设置用于接收设备终端连接与注册至服务端平台，并接收设备终端报告的设备信息。

在可选的示例中，出于设备及算法版本管理需要，设备信息包括：设备硬件序列号、设备芯片类型以及设备软件版本（人脸识别软件的版本号）。

结合图示的示例中，服务端平台100包括动态管理模块102，动态管理模块102被设置用于根据连接的终端设备及其上报的设备信息动态更新在线设备管理表。

由此，服务端平台接收到设备连接请求及上报信息后，将该设备信息维护到在线设备管理表，后续按实际设备上下线状态动态更新。

结合图示的示例中，服务端平台100设置有人脸库及权限管理模块103，用于根据接收的人脸库数据进行终端设备关联许可。应当理解，人脸库数据是指包含人脸图片的数据集合。人脸图片文件通常比较大，为了达到清晰的裁剪人脸区域、识别人脸关键点以及提取出人脸特征数据，通常需要清晰的人脸图像，其大小一般大小MB级大小，而人脸特征值通常较小，为kb级大小。人脸特征值与相应的人脸照片的数据容量大小比率，在几十分之一到几百分之一之间。

结合图示的示例中，服务端平台100设置有任务分片处理模块104，任务分片处理模块用于根据动态更新的在线设备管理表，向连接到服务端平台的在线设备智能下发任务分片，并接收终端设备返回的人脸特征值数据。

任务分片处理模块104根据接收到的各终端设备返回的人脸特征值数据，无需等待全部任务完成，即按照预定的规则向关联的设备终端直接批量打包同步下发人脸特征值数据，在终端设备构建和更新人脸底库。

其中，批量打包的人脸特征值数据最小数量，可预先配置。

在本发明的实施例中，接收到的特征值提取任务的设备终端被设置成：

在提取任务完成后，向服务端平台返回提取的人脸特征值，并报告自身可利用状态。

由此，服务端平台100的任务分片处理模块104则根据设备终端返回的自身可利用状态决定是否下发下一个任务分片。

例如，终端设备在处理完任务分片（完成对应的特征提取计算处理）后，删除任务分片原始数据（人脸照片），并将已提取的特征值信息，连同自身当前可利用状态上报任务分片处理模块104。

当终端设备自身处于闲置状态时（如当前任务分片处理完成后，无其他高负荷处理），则反馈可继续执行提取任务，通知任务分片处理模块可下发下一分片任务.

当终端设备自身处于忙碌状态时（如当前检测到人脸，须进行人脸识别任务），则反馈不可继续执行提取任务，通知任务分片处理模块本机忙碌，暂时不接受下一分片任务。

当终端设备状态由忙碌转变为闲置时，通知任务分片处理模块本机闲置状态，可继续下发分片任务。

由此，任务分片处理模块104则根据设备终端返回的自身可利用状态进行后续任务的循环下发以及任务处理结果的回收处理，直至全部特征值提取任务完成。

结合以上实施例的系统实现，本发明公开的实施例还提出一种实现终端提取深度学习网络人脸特征值并网内高效复用的方法，包括以下步骤：

各终端设备200上线后，连接并注册到服务端平台100，并向服务端平台100报告设备信息，设备信息包括：设备硬件序列号、设备芯片类型、设备软件版本；

服务端平台100根据连接至服务端平台设备终端200及其报告的设备信息，动态更新在线设备管理表；

服务端平台100接收人脸数据导入，并按照预定规则关联在线的终端设备200，然后生成特征值的提取任务以及特征值的同步任务，提取任务是指从人脸数据的人脸照片中提取深度学习网络的人脸特征值，同步任务是指将提取成功的人脸特征值批量下发至权限关联的终端设备；

服务端平台100的任务分片处理模块104根据动态更新的在线设备管理表，将提取任务进行任务分片，向连接到服务端平台的在线设备智能下发任务分片

接收到的特征值提取任务的设备终端200，根据服务端平台100下发的人脸数据进行人脸特征值提取，在提取任务完成后，删除特征值提取任务对应的原始人脸数据，并向服务端平台100返回提取的人脸特征值以及报告自身可利用状态；

任务分片处理模块104接收终端设备返回自身可利用状态，并据此决定是否下发下一个任务分片至该终端设备；

任务分片处理模块在接收到各终端设备的分片任务返回结果后，无需等待导入的人脸数据的提取任务全部完成，即按照预定的规则自动向权限关联的终端设备直接批量打包下发人脸特征值数据。

其中，批量打包的最小数量可预先配置指定。

如前述系统中所表示的任务分片的循环下发和回收处理，服务端平台100的任务分片处理模块104根据设备终端返回的自身可利用状态决定是否下发下一个任务分片。

例如，终端设备在处理完任务分片（完成对应的特征提取计算处理）后，删除任务分片原始数据（人脸照片），并将已提取的特征值信息，连同自身当前可利用状态上报任务分片处理模块104。

当终端设备自身处于闲置状态时（如当前任务分片处理完成后，无其他高负荷处理），则反馈可继续执行提取任务，通知任务分片处理模块可下发下一分片任务.

当终端设备自身处于忙碌状态时（如当前检测到人脸，须进行人脸识别任务），则反馈不可继续执行提取任务，通知任务分片处理模块本机忙碌，暂时不接受下一分片任务。

当终端设备状态由忙碌转变为闲置时，通知任务分片处理模块本机闲置状态，可继续下发分片任务。

由此，任务分片处理模块104则根据设备终端返回的自身可利用状态进行后续任务的循环下发以及任务处理结果的回收处理，直至全部特征值提取任务完成。

由此，本发明提出的实现终端提取深度学习网络人脸特征值并网内高效复用的系统与方法中，所有设备上线、连接到服务端平台时，均上报设备及特征值版本相关信息，并通过服务端在线设备管理表统一维护及通知到人脸库及权限管理模块；任务分片处理模块，按终端设备可用状态，下发特征值提取任务分片，并回收任务结果；通过设备的关联权限规则，将已提取特征值分批压缩下发至各个设备使用建库；同时，终端设备按自身任务负荷状态，通过通知任务分片处理子模块可否接受新分片任务的方法，智能调节自身任务流量，使得设备仅在闲置时用于提取特征值，可确保设备日常使用体验（不因额外计算任务导致显示卡顿、人脸识别变慢）；通过服务端设备管理模块即时通知设备上下线状态的机制，可使得任务分片处理子模块最大限度的利用在线设备闲置计算资源，进行并行特征值提取处理。

图3表示了根据本发明前述实施例的方法的一个示例性的实施流程，其过程包括：

处理步骤1：各终端设备上线后，自动连接服务端平台，并将自身设备信息注册到平台；设备信息至少应包括：设备硬件序列号、设备芯片类型、设备软件版本；

处理步骤2：服务端平台接收到设备连接请求及上报信息后，将该设备信息维护到在线设备管理表，后续按实际设备上下线状态动态更新；

处理步骤3：新设备上下线状态，即时通知到人脸库及权限管理模块；该模块及其子模块会根据设备在线状态进行智能任务分片下发及任务执行结果回收管理，其中的分片任务即为特征值提取任务；

处理步骤4：在服务端平台导入人脸库，并关联相关在线设备；该操作将产生特征值提取任务，以及提取成功后下发特征值到各权限关联（许可）终端设备的处理；

处理步骤5：添加因步骤 4 操作产生的特征值提取及同步任务到任务分片处理模块；

处理步骤6：将任务按预定规则分片，并以分片为最小原子任务，下发可接受任务的各个在线设备进行特征值提取；

处理步骤7：终端设备在处理完任务分片（完成对应的特征提取计算处理）后，删除任务分片原始数据（人脸照片），并将已提取的特征值信息，连同自身当前可利用状态上报任务分片处理模块。当终端设备自身处于闲置状态时（如当前任务分片处理完成后，无其他高负荷处理），（Y)通知任务分片处理模块可下发下一分片任务；当终端设备自身处于忙碌状态时（如当前检测到人脸，须进行人脸识别），（N）通知任务分片处理模块本机忙碌，暂时不接受下一分片任务；当终端设备状态由忙碌转变为闲置时，通知任务分片处理模块本机闲置状态，可继续下发分片任务；

该处理步骤结束后，均回到【处理步骤 6】，进行后续任务的循环下发、回收处理，直至全部特征值提取任务完成；

处理步骤 8：任务分片处理模块在接收到各设备的分片任务结果（特征值提取结果）后，无需等待全部任务完成，即可按照权限关联的计算结果，自动向相关设备直接批量、打包下发特征值（批量最小数量可配置指定）。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种实现终端提取深度学习网络人脸特征值并网内高效复用的系统，其特征在于，包括：

服务端平台，被配置管理人脸库数据与终端设备关联许可权限；

注册到所述服务端平台的多个设备终端，所述设备终端内置有可根据输入的人脸图片进行人脸特征提取和人脸识别的人脸识别软件；

其中，所述服务端平台还被配置用于根据连接到服务端平台的终端设备及其状态智能下发任务分片，所述任务分片为特征值提取任务，以及根据预定规则将终端设备返回的人脸特征值数据同步至关联的设备终端；

接收到的特征值提取任务的设备终端，根据服务端平台下发的人脸数据进行人脸特征值提取，并在提取任务完成后删除特征值提取任务对应的原始人脸数据。

2.根据权利要求1所述的实现终端提取深度学习网络人脸特征值并网内高效复用的系统，其特征在于，所述服务端平台设置有设备管理模块，被设置用于接收设备终端连接与注册至服务端平台，并接收设备终端报告的设备信息。

3.根据权利要求2所述的实现终端提取深度学习网络人脸特征值并网内高效复用的系统，其特征在于，所述设备信息包括：设备硬件序列号、设备芯片类型以及设备软件版本。

4.根据权利要求2所述的实现终端提取深度学习网络人脸特征值并网内高效复用的系统，其特征在于，所述服务端平台包括动态管理模块，所述动态管理模块被设置用于根据连接的终端设备及其上报的设备信息动态更新在线设备管理表。

5.根据权利要求4所述的实现终端提取深度学习网络人脸特征值并网内高效复用的系统，其特征在于，所述服务端平台设置有任务分片处理模块，所述任务分片处理模块用于根据动态更新的在线设备管理表，向连接到服务端平台的在线设备智能下发任务分片，并接收终端设备返回的人脸特征值数据。

6.根据权利要求5所述的实现终端提取深度学习网络人脸特征值并网内高效复用的系统，其特征在于，所述任务分片处理模块根据接收到的各终端设备返回的人脸特征值数据，无需等待全部任务完成，即按照预定的规则向关联的设备终端直接批量打包同步下发人脸特征值数据，在终端设备构建和更新人脸底库。

7.根据权利要求6所述的实现终端提取深度学习网络人脸特征值并网内高效复用的系统，其特征在于，批量打包的人脸特征值数据最小数量，可预先配置。

8.根据权利要求1-7中任意一项所述的实现终端提取深度学习网络人脸特征值并网内高效复用的系统，其特征在于，所述接收到的特征值提取任务的设备终端被设置成：

在提取任务完成后，向服务端平台返回提取的人脸特征值，并报告自身可利用状态。

9.根据权利要求8所述的实现终端提取深度学习网络人脸特征值并网内高效复用的系统，其特征在于，所述服务端平台被设置成根据设备终端返回的自身可利用状态决定是否下发下一个任务分片。

10.一种实现终端提取深度学习网络人脸特征值并网内高效复用的方法，其特征在于，包括以下步骤：

各终端设备上线后，连接并注册到服务端平台，并向服务端平台报告设备信息，所述设备信息包括：设备硬件序列号、设备芯片类型、设备软件版本；

服务端平台根据连接至服务端平台设备终端及其报告的设备信息，动态更新在线设备管理表；

服务端平台接收人脸数据导入，并按照预定规则关联在线的终端设备，然后生成特征值的提取任务以及特征值的同步任务，所述提取任务是指从人脸数据的人脸照片中提取深度学习网络的人脸特征值，所述同步任务是指将提取成功的人脸特征值批量下发至权限关联的终端设备；

服务端平台的任务分片处理模块根据动态更新的在线设备管理表，将提取任务进行任务分片，向连接到服务端平台的在线设备智能下发任务分片；

接收到的特征值提取任务的设备终端，根据服务端平台下发的人脸数据进行人脸特征值提取，在提取任务完成后，删除特征值提取任务对应的原始人脸数据，并向服务端平台返回提取的人脸特征值以及报告自身可利用状态；

任务分片处理模块接收终端设备返回自身可利用状态，并据此决定是否下发下一个任务分片至该终端设备；

任务分片处理模块在接收到各终端设备的分片任务返回结果后，无需等待导入的人脸数据的提取任务全部完成，即按照预定的规则自动向权限关联的终端设备直接批量打包下发人脸特征值数据，批量打包的最小数量可预先配置指定。

Images