CN107358163A - 基于人脸识别的游客线路跟踪统计方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开了基于人脸识别的游客线路跟踪统计方法，包括获取对应摄像头的视频信息并将其划分为两部分，分别记为第一部分视频信息和第二部分视频信息；根据第一部分视频信息得到第一部分视频信息中各个人脸的特征向量，并形成特征向量集模板库；根据第二部分视频信息得到第二部分视频信息中各个人的特征向量；将第二部分视频信息中的每个人脸的特征向量与特征向量集模板库中的特征向量作对比并得出对比结果；根据对比结果判断第一部分视频信息中的人脸与第二部分视频信息中的人脸是否相同，从而得出对应摄像头所监控区域内的人脸总数。本发明还公开了一种电子设备和计算机可读存储介质。本发明能够高效、快速地对监控区域的人流量进行统计。

Description

基于人脸识别的游客线路跟踪统计方法、电子设备及存储 介质

技术领域

本发明涉及一种图像识别技术领域，尤其涉及一种基于人脸识别的游客线路跟踪统计方法。

背景技术

目前，随着信息化管理日益被重视，大型商场、超市、景区、机场、港口、客运站、火车站等公共区域，都会有针对性的做人流量实时统计、人流流向及分布分析、拥挤程度估计等人流量资料统计，甚至根据人流量进行商业区域规划和分区域制定商铺、销售点、租售价格等。对于如何高效针对视频信息来准确对人流量进行统计，已经成为提高公共区域信息化管理水平的关键，然而现如今单纯地依赖监控设备以及人为的判断，其准确率低、速度慢、效率低下，已经远远不能够满足高效管理的需要。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供基于人脸识别的游客线路跟踪统计方法，其能够解决现有技术中对人流量统计的准确率低下、速度慢的问题。

本发明的目的之二在于提供一种电子设备，其能够解决现有技术中对人流量统计的准确率低下、速度慢的问题。

本发明的目的之三在于提供一种计算机可读存储介质，其能够解决现有技术中对人流量统计的准确率低下、速度慢的问题。

本发明的目的之四在于提供基于人脸识别的游客线路跟踪统计装置，其能够解决现有技术中对人流量统计的准确率低下、速度慢的问题。

本发明的目的之一采用如下技术方案实现：

基于人脸识别的游客线路跟踪统计方法，包括以下步骤：

视频获取步骤：获取对应的摄像头的视频信息并将其划分为两部分，分别记为第一部分视频信息和第二部分视频信息；

特征向量集获取步骤：根据第一部分视频信息得到第一部分视频信息中各个人脸的特征向量，并形成特征向量集模板库；

识别特征向量获取步骤：根据第二部分视频信息得到第二部分视频信息中各个人的特征向量；

对比步骤：将第二部分视频信息中的每个人脸的特征向量与所述特征向量集模板库中的特征向量作对比并得出对比结果；

判断步骤：根据对比结果判断第一部分视频信息中的人脸与第二部分视频信息中的人脸是否相同，从而得出对应摄像头所监控区域内的人脸总数。

进一步地，还包括统计步骤：根据每个摄像头所监控区域内的人脸总数得出所有摄像头所监控的所有人脸的总数以及单位时间内人流总数；根据不同摄像头、对应的摄像头的视频信息拍摄时间以及对应摄像头识别到的对应区域内的所有人脸总数得出对应的单位时间内各区域的人流量总数；

根据人脸的特征向量、平面地图、摄像头的区域、对应的摄像头的视频信息拍摄时间得出特定的人流流向，从而完成对人群的流动线路分析并通过平面地图展示。

进一步地，所述判断步骤还包括将对比结果与预设值作对比，当对比结果大于或等于预设值时，则认为第一部分视频信中的人脸与第二部分视频信息中的人脸相同；当对比结果小于预设值时，则认为第一部分视频信中的人脸与第二部分视频信息中的人脸不同。

进一步地，预设值为80％。

进一步地，所述人脸的特征向量为人脸的面部图像的72个关键点的坐标偏移向量，其计算过程为：

对视频信息连续抽取关键帧图像并依据人脸图像分析得到视频信息中所有人脸的面部图像，并计算每个面部图像在不同面部动作变化时72个关键点的坐标分布情况，从而得到每个面部图像的72个关键点的坐标偏移向量。

本发明的目的之二采用如下技术方案实现：

一种电子设备，包括：一个或多个处理器；

存储器；以及一个或者多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由一个或多个处理器执行，所述程序包括用于执行以下流程：

视频获取步骤：获取对应的摄像头的视频信息并将其划分为两部分，分别记为第一部分视频信息和第二部分视频信息；

特征向量集获取步骤：根据第一部分视频信息得到第一部分视频信息中各个人脸的特征向量，并形成特征向量集模板库；

识别特征向量获取步骤：根据第二部分视频信息得到第二部分视频信息中各个人的特征向量；

对比步骤：将第二部分视频信息中的每个人脸的特征向量与所述特征向量集模板库中的特征向量作对比并得出对比结果；

判断步骤：根据对比结果判断第一部分视频信息中的人脸与第二部分视频信息中的人脸是否相同，从而得出对应摄像头所监控区域内的人脸总数。

进一步地，所述程序还用于执行以下步骤：

统计步骤：根据每个摄像头所监控区域内的人脸总数得出所有摄像头所监控的所有人脸的总数以及单位时间内人流总数；根据不同摄像头、对应的摄像头的视频信息拍摄时间以及对应摄像头识别到的对应区域内的所有人脸总数得出对应的单位时间内各区域的人流量总数；

根据人脸的特征向量、平面地图、摄像头的区域、对应的摄像头的视频信息拍摄时间得出特定的人流流向，从而完成对人群的流动线路分析并通过平面地图展示。

进一步地，所述判断步骤还包括将对比结果与预设值作对比，当对比结果大于或等于预设值时，则认为第一部分视频信中的人脸与第二部分视频信息中的人脸相同；当对比结果小于预设值时，则认为第一部分视频信中的人脸与第二部分视频信息中的人脸不同。

本发明的目的之三采用如下技术方案实现：

一种计算机可读存储介质，其存储用于实现基于人脸识别的游客线路跟踪统计的计算机程序，其中，所述计算机程序使得计算机执行如上述的方法。

本发明的目的之四采用如下技术方案实现：

基于人脸识别的游客线路跟踪统计装置，包括：

视频获取模块，用于获取对应的摄像头的视频信息并将其划分为两部分，分别记为第一部分视频信息和第二部分视频信息；

特征向量集获取模块，用于根据第一部分视频信息得到第一部分视频信息中各个人脸的特征向量，并形成特征向量集模板库；

识别特征向量获取模块，用于根据第二部分视频信息得到第二部分视频信息中各个人的特征向量；

对比模块，用于将第二部分视频信息中的每个人脸的特征向量与所述特征向量集模板库中的特征向量作对比并得出对比结果；

判断模块，用于根据对比结果判断第一部分视频信息中的人脸与第二部分视频信息中的人脸是否相同，从而得出对应摄像头所监控区域内的人脸总数。

相比现有技术，本发明的有益效果在于：

本发明通过人脸识别技术能够对监控视频信息能够高效、实时地实现对视频监控区域中的人流数量进行统计、人流流向线路追踪和区域人流分布的分析。

附图说明

图1为本发明提供基于人脸识别的游客线路跟踪统计方法的方法流程图；

图2为本发明提供基于人脸识别的游客线路跟踪统计装置的装置模块图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例

本发明所涉及到的装置主要包括摄像头、识别模块和统计分析模块。

摄像头用于实时捕捉对应区域内的人流视频信息，本发明中的摄像头可设置有多个，并对其进行编号，每个区域内均设有一摄像头。

识别模块用于获取每个摄像头所拍摄的视频信息，并分别对视频信息抽取关键帧图像，然后对抽取的关键帧图像进行人脸图像分析并得到视频信息中的人脸的面部图像，再根据人脸的面部图像在不同面部动作变化时72个关键点的坐标分布情况计算得出每个人脸的面部图像的72个关键点坐标偏移向量，从而来区分不同的人，统计出每个视频信息中所包含的人脸数量。所述坐标偏移向量也即是指的人脸的面部图像在不同面部动作变化时72个关键点的移动轨迹。

由于人的面部结构及五官形态组合在情绪变化时有显著特征。而通过学习和不断校正，根据面部的眉毛、眼睛、眼角、鼻子、鼻孔、嘴唇、颧骨等面部五官及各个组成部分的结构、轮廓组合特点，查找出能够体现人的脸部表情变化、且在各种光线投射外部环境影响下以及人脸各角度偏移时，具有明确像素点颜色分布特征的、稳定的72个关键点来对人脸进行识别。由于每个人的脸部特征点的移动轨迹是经过几年、甚至是几十年的长期练习形成的，其特征点的移动轨迹较为稳定，因此，我们通过分析视频中各个人脸的特征点的变化在来完成对不同人脸的区分。另外，在构建面部72个关键点时，其主要按3个规则进行特征点的定位，按下面3条规则通过机器筛选过滤后得到:

1、有明确像素点颜色分布特征的；

2、在超过80％的情况下，所指定像素特征点均能获取；

3、特征像素点(区域)在表情变化的过程中均出现像素点的规则移动。

统计分析模块用于接收识别模块对每个摄像头的视频信息的识别结果，进行人流总量统计，各区域内的人流量统计、人群流动线路的分析等等。

具体为：1)、统计所有区域内识别到的不同人脸的总数，计算得出单位时间内人流总量；

2)、根据摄像头的编号、视频信息拍摄时间、各区域识别到的不同人脸总数计算得出单位时间内每个区域人流量总数；

3)、根据识别模块计算的各个不同人脸的面部图像的72个关键点的坐标偏移向量并结合各区域平面地图、摄像头的编号、视频信息拍摄时间来计算特定的人流流向，从而完成人群的流动线路分析，并通过平面地图给予展示。

基于人脸识别的游客线路跟踪统计方法，如图1所示，其包括以下步骤：

S1、获取摄像头的视频信息并将视频信息划分为两部分，分别记为第一部分视频信息和第二部分视频信息。比如按照时间进行划分，将视频的前半段作为第一部分，后半段作为第二部分，或者反之。

S2、根据第一部分视频信息得到第一部分视频信息中各个人脸的特征向量，从而形成特征向量集模板库。本发明采用第一部分视频信息作为训练集学习来建立人脸的特征向量集模板库。

S3、根据第二部分视频信息得到第二部分视频信息中各个人脸的特征向量。

本发明采用第二部分视频信息作为识别特征向量，通过得出第二部分视频信息中的各个人脸的特征向量与根据第一部分视频信息建立的特征向量集模板库来判断第一部分视频信息中的人脸与第二部分视频信息中的人脸是否相同。也即是执行S4、将第二部分视频信息中的每个人脸的特征向量与特性向量集模板库中的特性向量作对比得出对比结果。

S5、根据对比结果判断第一部分视频信息中的人脸与第二部分视频信息中的人脸是否相同，进而得出每个摄像头所监控区域内的人脸总数。

本发明所采用的对比方式为作特征向量的相似度对比，比如当对比结果大于或等于系统的预设值时，则认为第一部分视频信息中的人脸的面部图像与第二部分视频信息中的相同，也即是为同一人；反之不是。优选地，预设值可采用80％。

具体地，对于每个摄像头的视频信息来说，将其分为两部分。比如对前半段的视频信息连续进行关键帧抽取得到关键帧图像，然后根据人脸识别分析得到视频信息中的所有的人脸的面部图像，再根据人脸的各面部图像来构建面部72个关键点，进而得出每个人脸的面部图像在不同面部动作变化时72个关键点的坐标分布情况，以及各个人脸的面部图像的72个关键点的坐标偏移向量集，也即是人脸的特征向量集模板库。然后依据同样的方法计算得出后半段视频中每个人脸的面部图像在不同面部动作变化时72个关键点的坐标偏移向量，并将其与通过前半部分建立的各个人脸的面部图像的72个关键点的坐标偏移向量集中坐标偏移向量作相似度对比，当二者相似度达到一定预设值时，则判断为同一人。在本实施例中通过采用将视频分成两部分，然后通过进行特征对比，但是也不仅仅是上述实施方式，也可以将后半段视频信息中的面部图像作为识别训练建立模板库，而前半段作为识别特征向量，设计者可根据实际情况来进行设计。

优选地，该方法还包括S6、根据所有的摄像头统计各个对应区域的人脸总数可得出单位时间内所有区域内的人流总数；以及根据摄像头的编号、视频信息拍摄时间以及识别到的不同人脸总数得出单位时间内各个摄像头的人流量总数；以及根据不同人脸的特征向量、平面地图、摄像头的编号以及视频信息拍色时间得出特定的人流流向，完成人群的流动线路分析并通过平面地图展示。每个区域内均安装有对应的摄像头，并对摄像头进行编号。

对于每个摄像头来说，根据上述对比得到一个摄像头的视频信息中所有的人脸总数、摄像头的编号、视频信息拍摄时间就可以计算得出单位时间内摄像头的人流量统计。同样的可计算得出所有的摄像头的视频信息中的人脸总数，进而计算得出单位时间内所监控的区域内的人流总数。另外，由于人脸的特征向量的特殊性，还可以判断得出特定人的人流流向，完成人群的流动线路分析。

本发明可应用于在大型商超、游乐场、公园、博物馆、机场、火车站、汽车总站等公共场所布置多个对应区域编号的摄像头，实时采集各区域人流视频信息，并且能够高效、实时地实现对视频监控场景中的人流数量统计、人流流向线路追踪和区域人流分布分析，从而为高效地进行信息化管理、商业决策等提供可靠数据依据。

本发明公开了一种电子设备，包括一个或多个处理器、存储器以及一个或者多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由一个或多个处理器执行，所述程序包括用于执行上述方法，或者本发明的方法存储在可读的存储介质上，并且该方法程序可以被处理器执行。

如图2所示，基于人脸识别的游客线路跟踪统计装置，包括：

视频获取模块，用于获取对应的摄像头的视频信息并将其划分为两部分，分别记为第一部分视频信息和第二部分视频信息；

特征向量集获取模块，用于根据第一部分视频信息得到第一部分视频信息中各个人脸的特征向量，并形成特征向量集模板库；

识别特征向量获取模块，用于根据第二部分视频信息得到第二部分视频信息中各个人的特征向量；

对比模块，用于将第二部分视频信息中的每个人脸的特征向量与所述特征向量集模板库中的特征向量作对比并得出对比结果；

判断模块，用于根据对比结果判断第一部分视频信息中的人脸与第二部分视频信息中的人脸是否相同，从而得出对应摄像头所监控区域内的人脸总数。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.基于人脸识别的游客线路跟踪统计方法，其特征在于包括以下步骤：

视频获取步骤：获取对应摄像头的视频信息并将其划分为两部分，分别记为第一部分视频信息和第二部分视频信息；

特征向量集获取步骤：根据第一部分视频信息得到第一部分视频信息中各个人脸的特征向量，并形成特征向量集模板库；

识别特征向量获取步骤：根据第二部分视频信息得到第二部分视频信息中各个人的特征向量；

对比步骤：将第二部分视频信息中的每个人脸的特征向量与所述特征向量集模板库中的特征向量作对比并得出对比结果；

判断步骤：根据对比结果判断第一部分视频信息中的人脸与第二部分视频信息中的人脸是否相同，从而得出对应摄像头所监控区域内的人脸总数。

2.如权利要求1所述基于人脸识别的游客线路跟踪统计方法，其特征在于：还包括统计步骤：根据每个摄像头所监控区域内的人脸总数得出所有摄像头所监控的所有人脸的总数以及单位时间内人流总数；根据不同摄像头、对应的摄像头的视频信息拍摄时间以及对应摄像头识别到的对应区域内的所有人脸总数得出对应的单位时间内各区域的人流量总数；

根据人脸的特征向量、平面地图、摄像头的区域、对应的摄像头的视频信息拍摄时间得出特定的人流流向，从而完成对人群的流动线路分析并通过平面地图展示。

3.如权利要求1所述基于人脸识别的游客线路跟踪统计方法，其特征在于：所述判断步骤还包括将对比结果与预设值作对比，当对比结果大于或等于预设值时，则认为第一部分视频信中的人脸与第二部分视频信息中的人脸相同；当对比结果小于预设值时，则认为第一部分视频信中的人脸与第二部分视频信息中的人脸不同。

4.如权利要求3所述基于人脸识别的游客线路跟踪统计方法，其特征在于：预设值为80％。

5.如权利要求1所述基于人脸识别的游客线路跟踪统计方法，其特征在于：所述人脸的特征向量为人脸的面部图像的72个关键点的坐标偏移向量，其计算过程为：

对视频信息连续抽取关键帧图像并依据人脸图像分析得到视频信息中所有人脸的面部图像，并计算每个面部图像在不同面部动作变化时72个关键点的坐标分布情况，从而得到每个面部图像的72个关键点的坐标偏移向量。

6.一种电子设备，其特征在于包括：一个或多个处理器；

存储器；以及一个或者多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由一个或多个处理器执行，所述程序包括用于执行以下流程：

视频获取步骤：获取对应的摄像头的视频信息并将其划分为两部分，分别记为第一部分视频信息和第二部分视频信息；

特征向量集获取步骤：根据第一部分视频信息得到第一部分视频信息中各个人脸的特征向量，并形成特征向量集模板库；

识别特征向量获取步骤：根据第二部分视频信息得到第二部分视频信息中各个人的特征向量；

对比步骤：将第二部分视频信息中的每个人脸的特征向量与所述特征向量集模板库中的特征向量作对比并得出对比结果；

判断步骤：根据对比结果判断第一部分视频信息中的人脸与第二部分视频信息中的人脸是否相同，从而得出对应摄像头所监控区域内的人脸总数。

7.如权利要求6所述电子设备，其特征在于：所述程序还用于执行以下步骤：

统计步骤：根据每个摄像头所监控区域内的人脸总数得出所有摄像头所监控的所有人脸的总数以及单位时间内人流总数；根据不同摄像头、对应的摄像头的视频信息拍摄时间以及对应摄像头识别到的对应区域内的所有人脸总数得出对应的单位时间内各区域的人流量总数；

根据人脸的特征向量、平面地图、摄像头的区域、对应的摄像头的视频信息拍摄时间得出特定的人流流向，从而完成对人群的流动线路分析并通过平面地图展示。

8.如权利要求6所述电子设备，其特征在于：所述判断步骤还包括将对比结果与预设值作对比，当对比结果大于或等于预设值时，则认为第一部分视频信中的人脸与第二部分视频信息中的人脸相同；当对比结果小于预设值时，则认为第一部分视频信中的人脸与第二部分视频信息中的人脸不同。

9.一种计算机可读存储介质，其特征在于：其存储用于实现基于人脸识别的游客线路跟踪统计的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任意一项所述的方法。

10.基于人脸识别的游客线路跟踪统计装置，其特征在于包括：

视频获取模块，用于获取对应的摄像头的视频信息并将其划分为两部分，分别记为第一部分视频信息和第二部分视频信息；

特征向量集获取模块，用于根据第一部分视频信息得到第一部分视频信息中各个人脸的特征向量，并形成特征向量集模板库；

识别特征向量获取模块，用于根据第二部分视频信息得到第二部分视频信息中各个人的特征向量；

对比模块，用于将第二部分视频信息中的每个人脸的特征向量与所述特征向量集模板库中的特征向量作对比并得出对比结果；

判断模块，用于根据对比结果判断第一部分视频信息中的人脸与第二部分视频信息中的人脸是否相同，从而得出对应摄像头所监控区域内的人脸总数。