CN102567720A

CN102567720A - Flash在线视频的人脸识别方法及人脸识别装置

Info

Publication number: CN102567720A
Application number: CN2011104447218A
Authority: CN
Inventors: 黄一昕
Original assignee: Guangzhou Qianjun Network Technology Co ltd
Current assignee: Guangzhou Qianjun Network Technology Co ltd
Priority date: 2011-12-26
Filing date: 2011-12-26
Publication date: 2012-07-11

Abstract

本发明提供的Flash在线视频的人脸识别方法，首先计算客户端当前的实际资源使用率；根据所述当前的实际资源使用率调节识别参数，根据调节后的识别参数对所述在线视频数据进行采样；通过人脸识别模块对当前所采样的在线视频数据进行人脸识别。本发明提供的Flash在线视频的人脸识别装置，包括处理模块，用于计算客户端当前的实际资源使用率；根据所述当前的实际资源使用率调节识别参数；系统接口，用于根据调节后的识别参数对所述在线视频数据进行采样；人脸识别模块，对当前所采样的在线视频数据进行人脸识别。本发明能够实现对在线视频数据的人脸识别。

Description

Flash在线视频的人脸识别方法及人脸识别装置

技术领域

本发明涉及人脸识别技术，尤其涉及Flash在线视频的人脸识别方法及人脸识别装置。

背景技术

随着互联网在线视频的发展，越来越多的互联网公司采用了Flash在线视频格式。例如国外的Youtube，国内的56，优酷，土豆等，均采用了这种视频格式，目前，在互联网上看到的绝大多数的视频都是基于这种视频格式。在此基础上，也有多种多样的视频交互方式出现，比如在线直播，在线录像，视频监控等。

人脸识别模块是计算机图形学中，对图像或视频中的人脸区域进行识别、判定的一种技术。该人脸识别模块主要依赖与现有技术中仍在不断被完善的人脸识别信息库，英文名称：OpenCV(Open Source Computer VisionLibrary，计算机图像开源框架)。各种编程语言利用该套识别信息库实现人脸识别模块的功能，完成对人脸的识别过程。

由于对人脸识别的数据计算量非常大，市场上并没有对在线视频数据进行运算的人脸识别应用。而目前存在的人脸识别，多数是对单纯图像数据的识别。例如56.com的趣图产品就是一个典型应用范例，该产品的运作过程是：用户首先上传一张带人脸的图片；后台处理程序在接收到该图片之后，利用上面所说的相应计算机开发语言的OpenCV人脸视频库，对图像进行人脸区域进行识别，随之将识别到的区域传递给图像处理程序；图像处理程序对图片进行裁切，将人脸图片数据返回给前端页面，也就是用户能浏览到的网页端，实现对人脸的获取。

目前对视频的人脸识别技术存在以下缺点：1.处理流程繁琐。用户每上传一张图片，都需要经过上传，压缩，服务器上的人脸识别判断，传回图片，展示这些步骤。

2.运行效率低下，应用范围狭窄。由于效率问题无法解决，该类识别应用，只能被使用于图片处理上，同时，与用户的交互是一个非实时的过程，用户体验到的也只是静态的图片生成感受。

发明内容

本发明提供一种Flash在线视频的人脸识别方法及人脸识别装置，能够实现对在线视频数据的人脸识别。

本发明提供的Flash在线视频的人脸识别方法，首先计算客户端当前的实际资源使用率；根据所述当前的实际资源使用率调节识别参数，根据调节后的识别参数对所述在线视频数据进行采样；通过人脸识别模块对当前所采样的在线视频数据进行人脸识别。

本发明提供的Flash在线视频的人脸识别装置，包括处理模块，用于计算客户端当前的实际资源使用率；根据所述当前的实际资源使用率调节识别参数；系统接口，用于根据调节后的识别参数对所述在线视频数据进行采样；人脸识别模块，对当前所采样的在线视频数据进行人脸识别。

本发明将人脸识别技术应用到了Flash在线视频领域中，解决了以往只能对静态图片匹配人脸的问题，让用户能够在看视频、直播或录像等任何与视频相关的交互行为中实时匹配人脸，丰富了用户体验。在最大程度上改善了人脸识别的大运算量对低配置用户系统资源的占用，通过计算用户客户端的资源占用率，动态调整识别参数，从而调整人脸匹配的精度，降低人脸识别数据计算给视频播放所带来的额外压力，使用户能够流畅体验到该技术应用。本发明使得在线视频网站可以发展出更多的增值应用体验，为互联网的发展创造了更大的新鲜感与价值。

附图说明

图1为实施例1的流程图；

图2为实施例4中步骤2和步骤3的流程图；

图3为实施例5中获得保存在线视频数据到内存的权限的流程图；

图4为实施例7中人脸识别装置的原理框图。

具体实施方式

实施例1：由于本发明希望实现识别动态视频中的人脸识别，因此需要对画面进行及时的实时动态计算，假设目前的目标视频尺寸是640x480，帧频是30帧/秒，就意味着需要在一秒内进行30次识别流程。这样无疑会消耗大量的cpu来进行计算。为了解决这一问题，本发明实现了在识别的基础上，根据用户当前的客户端资源占用情况，或者一些特定应用的需求，动态调节识别参数，保证该功能不会影响到用户的视频播放效率。本发明通过以下步骤实现：

Flash播放程序会有一个进程获得当前客户端实时数据，包括cpu使用率、实际运行帧频等，本发明首先根据这些实时数据计算客户端当前的实际源使用率(步骤1)；根据所述当前的实际资源使用率调节识别参数(步骤2)，根据调节后的识别参数对所述在线视频数据进行采样(步骤3)；通过人脸识别模块对当前所采样的在线视频数据进行人脸识别(步骤4)。

作为一个实施例，步骤4中使用的人脸识别模块可以利用现有技术中已有的开源的框架，例如，http://www.libspark.org/browser/as3/Marilena中揭示了将OpenCV人脸识别信息库的数据移植到Flash Actionscript开发语言上的方法。作为一个实施例，通过步骤3将视频的单帧数据捕获后，可以临时存放于内存中当然也可以存储于其他位置。此时就可以将单帧的图片数据通过接口传递到Flash的人脸识别模块进行处理了。作为一个实施例，通过人脸识别模块的实时运算处理后，可以将被识别到的人脸位置等具体数据以事件冒泡的机制返回。如果在传入的图像数据里没有识别到人脸，也会派发相应的事件。

实施例2：在本实施例中，步骤2中的识别参数为在线视频数据的图像采样尺寸。步骤2中根据当前的实际资源使用率，动态调节传入人脸识别模块的图像矩阵，调整所采样的图像数据的尺寸。在步骤3中，传入的图像尺寸越大，匹配的精度越高，但消耗的CPU就越高，匹配所用的时间就越长。在客户端的配置较为低端时，可以实现降低精度来保证视频的正常播放渲染。

实施例3：在本实施例中，步骤2中的识别参数为在线视频数据的图像采样频率。步骤2中根据当前的实际资源使用率，动态调节传入人脸识别模块的采样频率。在步骤3中，采样的频率越高，匹配的平滑度就越高，但消耗的CPU就越大。在客户端的配置较为低端时，可以实现降低匹配平滑度来保证视频的正常播放渲染。

实施例4：作为对上述实施例2和实施例3的进一步改进，本实施例中步骤2的识别参数同时包括图像采样尺寸和图像采样频率，步骤二中对这两种识别参数均进行动态调节，图2为本实施例的流程图，当根据计算出的实际资源占用率判断目前处于过多的CPU消耗时，降低图像采样的图像尺寸和采样频率，按照降低后的图像采样尺寸和采样频率进行采样和人脸识别。否则，以正常参数采样图像并进行人脸识别。

实施例5：本实施例中，步骤3为了对在线视频数据进行采样，就需要通过Flash Actionscript的系统接口获得Flash在线视频每一帧的视频数据。Flash API提供了一种方法可以将屏幕内的屏幕画面数据保存到内存中，代码如下：

bitmapData.draw(保存的屏幕内容)；

在该过程中存在一个问题，由于视频通常不是在用户本地的资源，Flash在安全性方面有所限制，需要顺利保存屏幕画面数据到内存中，因此在执行步骤3之前就需要首先做一些权限的操作，使得被加载的视频可以被捕获。通常会有两类不同的Flash在线视频协议：

1.1http类型视频流数据

通常我们在视频网站上看到的视频都是通过该协议传递到客户端的。对于这种视频，需要加载视频文件所对应的服务器下的跨域策略文件，获得保存该服务器下视频文件内容到内存的权限。具体代码如下：

Security.loadPolicyFile(″http://127.0.0.1/crossdomain.xml″)；

1.2rmpt类型视频流数据

该类视频协议对应的会有一个媒体服务器，比如Adobe公司的FlashMedia Server；简称FMS；开源的Red5服务器等，主要被应用于在线直播、录制视频方面。对于该协议，需要修改某一个应用连接所对应的服务器端ASC角本开放客户端权限，允许客户端的Flash播放程序可以保存数据到内存。具体代码如下：

client.videoSampleAccess＝″/″；

当然，也可以通过直接在服务器的配置文件XML里设置全局权限，配置如下：

上述获得保存在线视频数据到内存的权限的流程图如图3所示。

实施例6：作为对上述各实施例的一个应用，在本实施例中对人脸识别后的单帧数据进行应用处理，例如，根据人脸识别结果就可以提取人脸所在的位置坐标、尺寸，在其基础上实现各类针对动态视频画面的应用。包括，各类元素的人脸跟随效果、人脸区域特效等。

实施例7：与上述实施例1至实施例6相对应，本实施例中提供了相应的人脸识别装置，如图4所示，包括处理模块、系统接口和人脸识别模块，工作原理如下：处理模块计算客户端当前的实际资源使用率；根据所述当前的实际资源使用率调节识别参数；系统接口根据调节后的识别参数对所述在线视频数据进行采样；人脸识别模块对当前所采样的在线视频数据进行人脸识别。另外，针对实施例7，人脸识别装置还可以包括主控制器，人脸识别模块将识别结果返回给主控制器，主控制器对单帧图片进行应用处理。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他任何未背离本发明的精神实质和原理下所作的修改、修饰、替代、组合、简化，均应为等效的置换方式，都应包含在本发明的保护范围之内。

Claims

1.一种Flash在线视频的人脸识别方法，其特征在于，包括步骤：

计算客户端当前的实际资源使用率；

根据所述当前的实际资源使用率调节识别参数，根据调节后的识别参数对所述在线视频数据进行采样；

通过人脸识别模块对当前所采样的在线视频数据进行人脸识别。

2.根据权利要求1所述的人脸识别方法，其特征在于，所述识别参数包括所述在线视频数据的图像采样尺寸。

3.根据权利要求1或2所述的人脸识别方法，其特征在于，所述识别参数包括所述在线视频数据的图像采样频率。

4.根据权利要求3所述的人脸识别方法，其特征在于，对当前所采样的在线视频数据进行人脸识别之后还包括步骤：

提取人脸所在的位置坐标和尺寸，并进行应用处理，所述应用处理包括以下一种或多种：人脸区域特效、各类元素的人脸跟随效果。

5.根据权利要求1的人脸识别方法，其特征在于，对所述在线视频数据进行采样的步骤之前还包括：

如果所述在线视频数据通过http协议传输，则加载所述在线视频数据所对应的服务器中的跨域策略文件，以获得保存该视频数据的权限；

如果所述在线视频数据通过rmpt协议传输，通过以下步骤获得保存该视频数据的权限：client.videoSampleAccess＝″/″或

在所述在线视频数据所对应的服务器中的配置文件设置全局权限，以获得保存该视频数据的权限。

6.一种Flash在线视频的人脸识别装置，其特征在于，包括：

处理模块，用于计算客户端当前的实际资源使用率；根据所述当前的实际资源使用率调节识别参数；

系统接口，用于根据调节后的识别参数对所述在线视频数据进行采样；

人脸识别模块，对当前所采样的在线视频数据进行人脸识别。

7.根据权利要求6所述的人脸识别装置，其特征在于，所述识别参数包括所述在线视频数据的图像采样尺寸。

8.根据权利要求6或7所述的人脸识别装置，其特征在于，所述识别参数包括所述在线视频数据的图像采样频率。

9.根据权利要求8所述的人脸识别装置，其特征在于，还包括主控制器，用于提取人脸所在的位置坐标和尺寸，对当前所传入的图像进行应用处理，所述应用处理包括以下一种或多种：人脸区域特效、各类元素的人脸跟随效果。

10.根据权利要求6的人脸识别装置，其特征在于，如果所述在线视频数据通过http协议传输，系统接口加载所述在线视频数据所对应的服务器中的策略文件，以获得保存该视频数据的权限。

如果所述在线视频数据通过rmpt协议传输，系统接口通过以下步骤获得保存该视频数据的权限：client.videoSampleAccess＝″/″。