CN112818168B - 基于视频人脸识别对电梯媒体播放序列进行控制的方法 - Google Patents

Abstract

本发明公开了一种基于视频人脸识别对电梯媒体播放序列进行控制的方法。在电梯运行过程中，利用电梯轿厢轿门上安装的视频监控设备，对轿厢内区域正面进行视频采集，将采集到的视频图像传送到轿厢内安装的智能设备进行本地离线的人像特征识别，并通过空间算法识别出无效人像，最后对有效人像特征进行统计，并根据设定好的不同人像特征参数对应的媒体类型权重表，计算出当前采集到的视频图像中的人像特征对应的媒体类型权重排序结果，再利用设定好的不同媒体文件对应的媒体类型权重表，计算出特定的媒体文件播放顺序清单，最终将播放清单传输到轿厢内的媒体播放设备，控制播放设备进行特定媒体内容的播放。

Description

基于视频人脸识别对电梯媒体播放序列进行控制的方法

技术领域

本发明涉及图像识别领域，视频媒体播放控制领域，以及统计学领域，尤其涉及一种基于视频人脸识别对电梯媒体播放序列进行控制的方法。

背景技术

电梯媒体广告已经在日常社会生活中得到了越来越多的应用，由于电梯内空间较小、人流较多，因此广告媒体的播放效果得到了有效的放大。然而传统的电梯媒体广告播放设备，并没有安装感知和输入设备，不论电梯轿厢内有没有人，播放设备都会一直循环播放设定好的广告内容，不论电梯轿厢内有什么样的人，播放设备都会固定按照设定好的广告内容顺序进行播放。这就造成了资源浪费以及广告投放不够精准的问题，广告主的权益没有得到保障，同时也造成了社会资源的极大浪费。有人提出将视频播放控制与电梯控制系统进行融合，通过电梯控制系统来感知电梯运行状态，从而控制播放，避免无人乘梯时仍在播放的问题。但是这种方法存在两个比较严重的问题，第一是电梯品牌众多，控制系统开放性各异、对接复杂度高；第二是电梯控制系统只能感知电梯运行状态，对于梯内人员的情况，只能估算人数，无法精确感知人员特征，无法实现精准内容推送。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于视频人脸识别对电梯媒体播放序列进行控制的方法，利用视频监控图像识别技术实现智能感知从而控制视频播放，节省资源且媒体内容推送更为精准。

本发明的目的是通过以下技术方案实现的：一种基于视频人脸识别对电梯媒体播放序列进行控制的方法，该方法包括：利用电梯轿厢轿门上安装的视频监控设备进行视频图像采集，并将视频图像传输到轿厢内安装的智能设备中进行人像特征识别，然后利用采集到的人像特征参数及设备安装参数进行空间位置计算，利用计算出的水平距离过滤掉无效人像特征，再将有效人像特征经过智能权重匹配算法，形成当前图像对应的媒体类型权重排序结果，利用该排序结果，再计算出媒体文件播放顺序清单，最终将播放顺序清单传输给轿厢内安装的媒体播放设备来播放特定的媒体内容。

进一步地，所述电梯轿厢轿门上安装的视频监控设备，对轿厢内的正面区域进行拍摄，可以有效的拍摄到轿厢内乘梯人群的正面平视人脸图像。

进一步地，所述设备安装参数包含摄像头镜头高度、镜头像素分辨率大小、镜头可视水平视角及垂直视角等。

进一步地，对视频图像进行人像特征识别，采用现有成熟的人脸离线识别AI产品，能够识别出人像数量，每个人像矩形位置大小、年龄、性别、表情、头部姿态、眼部状态以及是否佩戴眼镜等特征。

进一步地，所述利用计算出的水平距离过滤掉无效人像特征具体为：利用设定好的不同人像特征参数对应的人脸平均高度表，可以反查出当前人像对应的真实高度，结合当前人像在图像中的像素位置和大小，估算出当前人像空间位置和摄像头安装位置的水平距离，从而排除小于可信距离或者大于可信距离的无效人像。

进一步地，所述智能权重匹配算法中，设定两个特征匹配查找表，一个是不同人像特征参数对应的媒体类型权重表称为人像类型表，代表可以将人像特征转为类型排序，一个是不同媒体文件对应的媒体类型权重表称为类型文件表，代表可以将类型排序转为文件播放清单。

进一步地，所述人像类型表中，对于不同人像特征参数，可以多个特征参数都有具体值来限定特定人群，也可以通过将其中某个特征参数设定为通值来泛指某类人群，同时对于不同人像特征群体，其媒体类型权重可以包含多个类型的权重值。

进一步地，所述类型文件表中，每一个媒体文件可以包含多个不同媒体类型的权重值。

进一步地，所述媒体类型权重排序过程如下：通过查不同人像特征参数对应的媒体类型权重表，将人像类型表中的每一条记录取出后与当前图像中的每一个人像特征进行比对，如果特征匹配，则将人像类型表中该特征对应的多个媒体类型权重值，都累加到对应的媒体类型项中，最后全部比对完成后，将媒体类型项，按照累加的权重值大小进行排序，最终形成当前图像对应的媒体类型权重排序结果。

进一步地，所述媒体文件播放顺序清单的计算过程如下：按照当前图像对应的媒体类型权重排序结果，按顺序取出每条媒体类型记录，通过查不同媒体文件对应的媒体类型权重表，在类型文件表中，找到含有当前媒体类型记录的文件，并按照类型文件表中该文件对应该媒体类型权重值进行排序，取权重值最大的一个作为结果放入文件播放清单中，当前图像对应的媒体类型权重排序结果全部比对计算完成后，形成了最终的文件播放顺序清单。

本发明的有益效果为：本发明提出的基于视频人脸识别对电梯媒体播放序列进行控制的方法，该方法描述了视频监控设备安装位置及拍摄参数定义，描述了基于图像识别采集到人脸信息特征的定义，描述了利用估算识别出的人脸在三维空间中位置，从而剔除无效人像特征信息的方法，并描述了基于采集到的有效人像特征信息进行智能权重匹配，从而得到当前最适合播放媒体类型排序结果的方法，并描述了基于媒体类型排序结果，利用设定好的媒体文件类型权重，计算出最终媒体文件播放清单的方法；本发明方法能够实现精准的电梯内媒体内容推送。

附图说明

图1视频采集设备安装位置参数示意；

图2视频采集设备拍摄参数示意；

图3人脸识别特征数据示意；

图4人脸三维空间位置估算示意；

图5基于人像特征控制媒体内容播放流程示意；

图6平均人像真实高度XML数据组织形式；

图7不同人像特征对应媒体类型权重表XML数据组织形式；

图8不同媒体文件对应媒体类型权重表XML数据组织形式。

具体实施方式

为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。

应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

本发明实施例提供了一种基于视频人脸识别对电梯媒体播放序列进行控制的方法，该方法主要包括以下几个步骤，其流程如图5所示：

1、设定视频采集设备安装参数

需要设定的视频采集设备安装参数包含摄像头镜头高度dh，如图1所示，以及摄像头镜头拍摄水平视角范围α和垂直视角范围β，如图2所示。镜头拍摄范围参数可从摄像头镜头出厂参数中获取，摄像头镜头高度可在现场安装时通过测量获取。

2、利用离线人脸识别SDK进行图像识别

将视频采集摄像头接入安装在轿厢内的嵌入式智能设备，利用成熟的图像人脸识别AI技术，使用图像识别厂商提供的离线SDK产品，对视频采集摄像头拍摄的视频图像进行人脸识别，识别的特征包含：人脸矩阵在当前图像中的像素位置及大小、人像预估性别、人像预估年龄、人像预估表情、头部姿态、左眼状态、右眼状态及是否佩戴眼镜等，如图3所示。

3、基于像素比例估算人像距离摄像头水平位置

同个人在电梯中前后不同的位置，由视频采集摄像头拍摄到的人脸图像在画面中的大小就会不同，如图4所示。设可视区域截面s为人像在距离d位置时的视频图像，设h为人像在距离d位置时的人脸矩阵像素高度。已知视频采集摄像头垂直视角范围为β，视频采集图像像素分辨率大小为width×height(例如1440×1080)，通过查表，如图6所示，可获取当前人像实际高度的平均值FACE_HEIGHT_VALUE计为fh。因此当前人像距离位置计算公式为：

4、通过有效距离范围限定排除无效人像

由于视频采集摄像头拍摄的图像里可能会有无效人像的干扰数据，如图3所示，因此利用步骤3计算公式估算出的人像距离位置d可作为排除无效人像的特征参数。将最小可信人像距离设定为mind，将最大可信人像距离设定为maxd，如果d＜mind或者d＞maxd，则该距离位置对应的人像判定为无效人像，将当前图像中所有人像进行此项操作，剔除无效人像后，保留的人像为有效人像，用来进行特征媒体类型权重统计排序。

5、对有效人像特征参数进行媒体类型权重统计排序

将有效人像特征个数记为n，将n个人像特征中的第i个人像特征记为face(i)，其对应特征参数的预估年龄记为age(i)，预估性别记为gender(i)，是否戴眼镜记为glass(i)。对于每一个人像特征，使用特征参数查人像类型表，人像类型表数据结构如图7所示，将表中trait记录的个数记为m，将m个记录中第j个记录记为trait(j)，对应的记录中年龄参数值记为age(j)，性别参数值记为gender(j)，是否戴眼镜参数值记为glass(j)。将trait(j)中MEDIA_TYPE个数记为p，第k个媒体类型记为MEDIA_TYPE(k)，其权重值记为WEIGHT_VALUE(k)。从1到n遍历face，对于每一个face(i)，取其特征与人像类型表中的m个记录进行一一比较，如果age(i)∈age(j)&&gender(i)∈gender(j)&&glass(i)∈glass(j)，则将当前trait(j)中的p个MEDIA_TYPE对应的WEIGHT_VALUE值累加到最终媒体类型权重序列中，从1到p遍历当前trait(j)对应的MEDIA_TYPE，当前MEDIA_TYPE(k)对应名称如果与媒体类型权重序列中某一条记录媒体类型名称相同，则将WEIGHT_VALUE(k)值累加到当前记录的权重值上，如果没有一条记录与MEDIA_TYPE(k)相同，则将MEDIA_TYPE(k)对应的媒体类型名称与WEIGHT_VALUE(k)配对作为一条记录，插入媒体类型权重序列。当所有人像特征遍历结束后，使用特征权重值大小，从大到小对媒体类型权重序列进行排序。

6、基于媒体类型权重序列重组待播媒体播放序列

首先清空待播媒体播放序列，利用步骤5中得到的媒体类型权重序列，将媒体类型权重序列中媒体类型权重记录的个数记为t，记录中第g个记录记为record(g)，对应的媒体类型名称记为MEDIA_TYPE(g)，媒体类型权重值记为WEIGHT_VALUE(g)。按顺序遍历媒体类型权重序列，对于当前record(g)，查找类型文件表，类型文件表数据组织形式如图8所示，在类型文件表中遍历所有记录，找到含有MEDIA_TYPE(g)，且记录中对应的权重值最大的一条记录，将记录对应的媒体文件信息加入播放序列。当媒体类型权重序列遍历完成后，形成的播放序列即为最终生成的媒体待播放清单。

在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中基于视频人脸识别对电梯媒体播放序列进行控制的方法中的步骤。

在一个实施例中，提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中基于视频人脸识别对电梯媒体播放序列进行控制的方法中的步骤。其中，存储介质可以为非易失性存储介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (2)

1.一种基于视频人脸识别对电梯媒体播放序列进行控制的方法，其特征在于，所述方法包括：

利用电梯轿厢轿门上安装的视频监控设备，对轿厢内的正面区域进行视频图像采集，有效的拍摄到轿厢内乘梯人群的正面平视人脸图像，并将视频图像传输到轿厢内安装的智能设备中进行人像特征识别，识别出人像数量，每个人像矩形位置大小、年龄、性别、表情、头部姿态、眼部状态以及是否佩戴眼镜；

利用人像特征参数及设备安装参数进行空间位置计算，利用计算出的水平距离过滤掉无效人像特征，具体为：利用设定好的不同人像特征参数对应的人脸平均高度表，反查出当前人像对应的真实高度，结合当前人像在图像中的像素位置和大小，估算出当前人像空间位置和摄像头安装位置的水平距离，从而排除小于可信距离或者大于可信距离的无效人像；

将有效人像特征经过智能权重匹配算法，形成当前图像对应的媒体类型权重排序结果，利用该排序结果计算出媒体文件播放顺序清单；

所述智能权重匹配算法中，设定两个特征匹配查找表，一个是不同人像特征参数对应的媒体类型权重表称为人像类型表，代表将人像特征转为类型排序，一个是不同媒体文件对应的媒体类型权重表称为类型文件表，代表将类型排序转为文件播放清单；

所述人像类型表中，对于不同人像特征参数，多个特征参数都有具体值来限定特定人群，或者通过将其中某个特征参数设定为通值来泛指某类人群，同时对于不同人像特征群体，其媒体类型权重包含多个类型的权重值；

所述类型文件表中，每一个媒体文件包含多个不同媒体类型的权重值；

所述媒体类型权重排序过程如下：通过查不同人像特征参数对应的媒体类型权重表，将人像类型表中的每一条记录取出后与当前图像中的每一个人像特征进行比对，如果特征匹配，则将人像类型表中该特征对应的多个媒体类型权重值，都累加到对应的媒体类型项中，

对有效人像特征参数进行媒体类型权重统计排序：

将有效人像特征个数记为n，将n个人像特征中的第i个人像特征记为face(i)，其对应特征参数的预估年龄记为age(i)，预估性别记为gender(i)，是否戴眼镜记为glass(i)；对于每一个人像特征，使用特征参数查人像类型表，将表中trait记录的个数记为m，将m个记录中第j个记录记为trait(j)，对应的记录中年龄参数值记为age(j)，性别参数值记为gender(j)，是否戴眼镜参数值记为glass(j)；将trait(j)中MEDIA_TYPE个数记为p，第k个媒体类型记为MEDIA_TYPE(k)，其权重值记为WEIGHT_VALUE(k)；从1到n遍历face，对于每一个face(i)，取其特征与人像类型表中的m个记录进行一一比较，如果age(i)∈age(j) &&gender(i)∈gender(j) && glass(i)∈glass(j)，则将当前trait(j)中的p个MEDIA_TYPE对应的WEIGHT_VALUE值累加到最终媒体类型权重序列中，从1到p遍历当前trait(j)对应的MEDIA_TYPE，当前MEDIA_TYPE(k)对应名称如果与媒体类型权重序列中某一条记录媒体类型名称相同，则将WEIGHT_VALUE(k)值累加到当前记录的权重值上，如果没有一条记录与MEDIA_TYPE(k)相同，则将MEDIA_TYPE(k)对应的媒体类型名称与WEIGHT_VALUE(k)配对作为一条记录，插入媒体类型权重序列；当所有人像特征遍历结束后，使用特征权重值大小，从大到小对媒体类型权重序列进行排序；最后全部比对完成后，将媒体类型项，按照累加的权重值大小进行排序，最终形成当前图像对应的媒体类型权重排序结果；

所述媒体文件播放顺序清单的计算过程如下：基于媒体类型权重序列重组待播媒体播放序列：首先清空待播媒体播放序列，利用得到的媒体类型权重序列，将媒体类型权重序列中媒体类型权重记录的个数记为t，记录中第g个记录记为record(g)，对应的媒体类型名称记为MEDIA_TYPE(g)，媒体类型权重值记为WEIGHT_VALUE(g)；按顺序遍历媒体类型权重序列，对于当前record(g)，查找类型文件表，在类型文件表中遍历所有记录，找到含有MEDIA_TYPE(g)，且记录中对应的权重值最大的一条记录，将记录对应的媒体文件信息加入播放序列；当媒体类型权重序列遍历完成后，形成的播放序列即为最终生成的媒体待播放清单；

按照当前图像对应的媒体类型权重排序结果，按顺序取出每条媒体类型记录，通过查不同媒体文件对应的媒体类型权重表，在类型文件表中，找到含有当前媒体类型记录的文件，并按照类型文件表中该文件对应该媒体类型权重值进行排序，取权重值最大的一个作为结果放入文件播放清单中，当前图像对应的媒体类型权重排序结果全部比对计算完成后，形成最终的文件播放顺序清单；

将播放顺序清单传输给轿厢内安装的媒体播放设备来播放特定的媒体内容。

2.根据权利要求1所述的基于视频人脸识别对电梯媒体播放序列进行控制的方法，其特征在于，所述设备安装参数包含摄像头镜头高度、镜头像素分辨率大小、镜头可视水平视角及垂直视角。