CN105721739B - 屏幕影像画面防抖系统及方法 - Google Patents

Abstract

一种屏幕影像画面防抖系统及方法，应用于手持显示设备中，该手持显示设备包括摄像单元及显示屏幕。利用人脸检测与识别技术持续从摄像单元摄取的包括观看者在内的场景中，侦测出观看者的双眼眼球位置构成的连线与显示屏幕的纵轴之间偏移角度与时间的关系、双眼眼球构成的连线的中点位置坐标与时间的关系、双眼眼球之间的距离与时间的关系，根据观看者双眼眼球构成的连线偏移角度结合人眼在显示屏幕中的标准模型，推算出影像画面应调整的显示角度与位置等，从而让观看者视线的水平位置与影像画面显示的水平位置一致或相同。

Description

屏幕影像画面防抖系统及方法

技术领域

本发明涉及一种智能显示技术，特别是涉及一种手持显示设备的屏幕影像画面防抖系统及方法。

背景技术

当今，随着科技的发展，越来越多的智能手持显示设备活跃在电子市场，如手机，平板电脑，MP4，电子书等。这类产品因为其便携性，可以随时随地持于手中使用，但正是这种手持的特性，使得手持设备的稳定完全依靠手的稳定，造成了显示设备播放影像时屏幕画面容易抖动，导致观看者的视线水平位置与影像画面显示的水平位置不一，此时，观看者大脑为配合所看到的影像画面水平位置，将自动调节眼睛的视线位置，时间久了会造成眼球肌肉过度紧绷，影响视力的同时还会造成眼睛斜视等危害。因此，关于消除手持显示设备在播放影像的过程中屏幕影像画面防抖的技术变成了需求。

发明内容

鉴于以上内容，有必要提供一种屏幕影像画面防抖系统及方法，能够使观看者在观看手持显示设备屏幕影像画面的过程中，使影像画面相对于人眼稳定显示。

一种屏幕影像画面防抖系统，运行于手持显示设备中，该手持显示设备包括摄像单元及显示屏幕，该系统包括：第一创建模型模块，用于创建观看者最佳握持所述手持显示设备时观看者人眼在显示屏幕中的标准模型，及观看者最佳观看显示屏幕时影像画面在显示屏幕中的标准模型；侦测模块，用于观看者在观看影像画面的过程中，利用人脸检测与识别技术持续从摄像单元摄取的包括观看者在内的场景中侦测出观看者人眼区域；第二创建模型模块，用于将侦测模块实时侦测出的观看者的双眼眼球位置构成的连线与显示屏幕纵轴之间偏移角度与时间的关系θ(t)、双眼眼球构成的连线的中点位置坐标与时间的关系P(t)＝P(x(t),y(t))、双眼眼球之间的距离与时间的关系L(t)作为观看者观看显示屏幕时观看者人眼在显示屏幕中的时间模型；分析模块，用于实时分析所述观看者人眼在显示屏幕中的时间模型与所述观看者人眼在显示屏幕中的标准模型是否相同；及当所述观看者人眼在显示屏幕中的时间模型与所述观看者人眼在显示屏幕中的标准模型不相同时，通过调整模块调整影像画面的水平线与显示屏幕纵轴之间的角度θ'(t)，影像画面的中心位置P'(x(t),y(t))，影像画面的对角线长度L'(t)。

一种屏幕影像画面防抖方法，运行于手持显示设备中，该手持显示设备包括摄像单元及显示屏幕，该方法包括：创建观看者最佳握持所述手持显示设备时观看者人眼在显示屏幕中的标准模型，及观看者最佳观看显示屏幕时影像画面在显示屏幕中的标准模型；观看者在观看影像画面的过程中，利用人脸检测与识别技术持续从摄像单元摄取的包括观看者在内的场景中侦测出观看者人眼区域；将侦测模块实时侦测出的观看者的双眼眼球位置构成的连线与显示屏幕纵轴之间偏移角度与时间的关系θ(t)、双眼眼球构成的连线的中点位置坐标与时间的关系P(t)＝P(x(t),y(t))、双眼眼球之间的距离与时间的关系L(t)作为观看者观看显示屏幕时观看者人眼在显示屏幕中的时间模型；实时分析所述观看者人眼在显示屏幕中的时间模型与所述观看者人眼在显示屏幕中的标准模型是否相同；及当所述观看者人眼在显示屏幕中的时间模型与所述观看者人眼在显示屏幕中的标准模型不相同时，调整影像画面的水平线与显示屏幕纵轴之间的角度θ'(t)，影像画面的中心位置P'(x(t),y(t))，影像画面的对角线长度L'(t)。

相较于现有技术，本发明所述的屏幕影像画面防抖系统及方法，能够在观看者观看手持显示设备屏幕影像画面的过程中，利用安装在手持显示设备的摄像单元结合人脸识别技术持续对观看者脸部、眼睛区域与眼球位置进行判别，自动根据测得的观看者双眼眼球构成的连线偏移角度，自动调整影像画面的显示角度，使影像画面相对于人眼稳定显示，有效避免因上下左右前后抖动或者旋转等不稳定的运动，导致观看的视线水平位置与影像画面显示的水平位置不一，从而造成眼睛疲劳、观看影像模糊的问题发生。

附图说明

图1是本发明屏幕影像画面防抖系统较佳实施例的运行环境示意图。

图2是一种手持显示设备的正面示意图。

图3是本发明屏幕影像画面防抖系统较佳实施例的功能模块图。

图4是本发明屏幕影像画面防抖方法较佳实施例的流程图。

图5是观看者最佳握持手持显示设备时观看者人眼在显示屏幕中的标准模型示意图。

图6是观看者最佳观看显示屏幕时影像画面在显示屏幕中的标准模型示意图。

图7是观看者观看显示屏幕时观看者人眼在显示屏幕中的时间模型示意图。

图8是采用影像画面防抖方法调整影像画面显示的示意图。

主要元件符号说明

手持显示设备 1

摄像单元 10

显示屏幕 12

屏幕影像画面防抖系统 14

第一创建模型模块 140

侦测模块 142

第二创建模型模块 144

分析模块 146

调整模块 148

微处理器 16

存储装置 18

具体实施方式

请同时参阅图1和图2所示，其中，图1是本发明屏幕影像画面防抖系统较佳实施例的运行环境示意图，图2是一种手持显示设备的正面示意图。在本实施例中，所述的屏幕影像画面防抖系统14安装并运行于手持显示设备1中。所述手持显示设备1，还包括，但不仅限于，摄像单元10、显示屏幕12、微处理器16及存储装置18。所述手持显示设备1可以是手机、平板电脑、MP4、电子书等任何具备显示屏幕12的显示设备。本实施例中以手机为例进行说明本发明。

所述摄像单元10为一种影像摄取设备，例如数字摄像机等，可以是安装于所述手持显示设备1的正前方，也可以是外挂于所述手持显示设备1的正前方，用于当观看者通过手持显示设备1观看影像画面的过程中，对显示屏幕12的前方包括观看者在内的场景进行拍摄，以摄取包含观看者在内的场景影像。

所述的显示屏幕12位于所述手持显示设备1的正面，用于播放并显示影像画面。

参阅图3所示，是本发明屏幕影像画面防抖系统较佳实施例的功能模块图。在本实施例中，本发明所述的屏幕影像画面防抖系统14可以被分割成一个或多个模块，所述一个或多个模块均被存储于手持显示设备1的存储装置18中，并由一个或多个微处理器16(本实施例为一个处理器)所执行，以完成本发明。

所述的屏幕影像画面防抖系统14包括第一创建模型模块140、侦测模块142、第二创建模型模块144、分析模块146及调整模块148。本发明所称的模块是指能够完成特定功能的一系列计算机程序段，比程序更适合于描述软件在手持显示设备1中的执行过程。关于各功能模块140-148的功能说明将在下图4的流程图中作具体描述。

参阅图4所示，是本发明屏幕影像画面防抖方法较佳实施例的流程图。

在本实施例中，所述屏幕影像画面防抖方法应用在显示屏幕12中，在观看者观看显示屏幕12影像画面的过程中，持续对显示屏幕12的前方包括观看者在内的场景进行拍摄，以摄取包含观看者在内的场景影像，并对摄取的影像进行脸部识别，本实施例中用到的人脸识别技术因其比较成熟，在此不做过多解释。根据该屏幕影像画面防抖方法可有效避免观看者因握持手持显示设备抖动或者旋转等不确定运动而使观看视线与影像画面的显示角度出现差异，造成眼睛疲劳等问题发生。

步骤41，第一创建模型模块140创建观看者最佳握持所述手持显示设备1时观看者人眼在显示屏幕12中的标准模型及观看者最佳观看显示屏幕12时影像画面在显示屏幕12中的标准模型。要求观看者握持手持显示设备1时，在显示屏幕12的影像画面中，观看者的双眼眼球位置构成的连线与显示屏幕12横向轴线平行、观看者的双眼眼球位置构成的连线与显示屏幕12纵向轴线垂直。

在本实施例中，以显示屏幕12的左下角为坐标原点，以显示屏幕12的横向轴线为坐标的X轴，以显示屏幕12的纵向轴线为坐标的Y轴。根据人脸检测与识别技术取得显示屏幕12的影像画面中观看者双眼眼球构成的连线的中点位置坐标、双眼眼球之间的距离、双眼眼球构成的连线与显示屏幕12纵向轴线之间的角度等数据作为观看者最佳握持所述手持显示设备1时观看者人眼在显示屏幕12中的标准模型，并将所述的人眼在显示屏幕12中的标准模型存储于存储装置18中，作为后续判断观看者眼部位置是否变更的依据，以及作为后续如何调整显示屏幕12使之播放影像画面时相对于观看者人眼保持一致的参照。

同时参考图5和图6所示，其中，图5是观看者最佳握持手持显示设备时观看者人眼在显示屏幕中的标准模型示意图，图6是观看者最佳观看显示屏幕时影像画面在显示屏幕中的标准模型示意图。

在本实施例中，显示屏幕12的影像画面中观看者双眼眼球构成的连线的中点位置坐标为P0、双眼眼球之间的距离为L0、双眼眼球构成的连线与显示屏幕12Y轴之间的角度为θ0，且θ0＝90°。影像画面的水平线与显示屏幕12Y轴之间的角度为θ'0，且θ'0＝90°，影像画面的中心位置为P'0，影像画面的对角线长度为L'0。

步骤42，在观看者观赏影像画面过程中，侦测模块142利用摄像单元10持续对显示屏幕12的前方包含观看者在内的场景进行拍摄，以取得包含观看者在内的场景影像。

步骤43，侦测模块142根据人脸检测与识别技术从摄像单元10摄得的包含观看者在内的场景影像中，侦测出观看者的脸部区域。根据脸部区域中的眼球特征从场景影像的脸部区域侦测出观看者的双眼眼球位置，并侦测出观看者的双眼眼球位置构成的连线与显示屏幕12Y轴之间偏移角度、双眼眼球构成的连线的中点位置坐标、双眼眼球之间的距离。

步骤S44，第二创建模块144创建观看者观看显示屏幕12时观看者人眼在显示屏幕12中的时间模型。具体地是将侦测模块144实时侦测出的观看者的双眼眼球位置构成的连线与显示屏幕12的Y轴之间偏移角度与时间的关系、双眼眼球构成的连线的中点位置坐标与时间的关系、双眼眼球之间的距离与时间的关系作为观看者人眼在显示屏幕12中的时间模型。

图7是观看者观看显示屏幕时观看者人眼在显示屏幕中的时间模型示意图。

在本实施例中，观看者的双眼眼球位置构成的连线与显示屏幕12的Y轴之间偏移角度与时间的关系为θ(t)、双眼眼球构成的连线的中点位置坐标与时间的关系为P(t)＝P(x(t),y(t))、双眼眼球之间的距离与时间的关系为L(t)。

步骤S45，分析模块146实时分析所述观看者人眼在显示屏幕12中的时间模型与所述观看者人眼在显示屏幕12中的标准模型是否相同。若所述观看者人眼在显示屏幕12中的时间模型与所述观看者人眼在显示屏幕12中的标准模型不相同，则执行步骤46；若所述观看者人眼在显示屏幕12中的时间模型与所述观看者人眼在显示屏幕12中的标准模型相同，则返回步骤42，继续利用摄像单元10持续对显示屏幕12的前方包含观看者在内的场景进行拍摄。

步骤S46，调整模块148根据观看者双眼眼球构成的连线偏移角度及所述观看者人眼在显示屏幕12中的标准模型推算出影像画面的水平线与显示屏幕纵轴之间的角度θ'(t)，影像画面的中心位置P'(x(t),y(t))，影像画面的对角线长度L'(t)。

图8是采用影像画面防抖方法调整影像画面显示的示意图。

为了保持观看者观看的显示屏幕12的水平位置与影像画面显示的水平位置一致或相同，应当满足：L'(t)/L'0＝k*L0/L(t)，θ'(t)＝θ(t)，P'(x(t),y(t))-P'(0)＝P(x(t),y(t))-P(0)。所述k为一固定正常数。

应当说明的是，采用屏幕影像画面防抖方法调整影像画面的显示角度时，调整模块148保持显示屏幕12的外边框不动，仅旋转显示屏幕12上影像画面显示的角度，使显示屏幕12上影像画面显示的角度与观看者人眼偏移的角度一致，让观看者观看的显示屏幕12的水平位置与影像画面显示的水平位置一致或相同。

另外，为避免观看者在观看显示屏幕12的影像画面过程中，对观看者眼部连线倾斜角度判别过于敏锐而导致对影像画面的显示角度调整过于频繁，给观看者观看影像画面造成困扰，调整模块148将在侦测出观看者双眼眼球位置构成的连线偏移一预设时间段后方进行调整。所述一预设时间段可以是，例如3秒钟，或者调整模块148将在侦测出观看者双眼眼球位置构成的连线偏移一预设角度后方进行调整。所述一预设角度可以是，例如5°。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换都不应脱离本发明技术方案的精神和范围。

Claims (4)

1.一种屏幕影像画面防抖系统，运行于手持显示设备中，该手持显示设备包括摄像单元及显示屏幕，其特征在于，该系统包括：

第一创建模型模块，用于创建观看者最佳握持所述手持显示设备时观看者人眼在显示屏幕中的标准模型，及观看者最佳观看显示屏幕时影像画面在显示屏幕中的标准模型；

侦测模块，用于在观看者观看影像画面的过程中，利用人脸检测与识别技术持续从摄像单元摄取的包括观看者在内的场景影像中侦测出观观看者脸部区域，并根据脸部区域中的眼球特征从场景影像的脸部区域侦测出观看者的双眼眼球位置；

第二创建模型模块，用于将侦测模块实时侦测出的观看者的双眼眼球位置构成的连线与显示屏幕纵轴之间偏移角度与时间的关系θ(t)、双眼眼球构成的连线的中点位置坐标与时间的关系P(t)＝P(x(t),y(t))、双眼眼球之间的距离与时间的关系L(t)作为观看者观看显示屏幕时观看者人眼在显示屏幕中的时间模型；

分析模块，用于实时分析所述观看者人眼在显示屏幕中的时间模型与所述观看者人眼在显示屏幕中的标准模型是否相同；及

调整模块，用于当所述观看者人眼在显示屏幕中的时间模型与所述观看者人眼在显示屏幕中的标准模型不相同时，调整影像画面的水平线与显示屏幕纵轴之间的角度θ'(t)，影像画面的中心位置P'(x(t),y(t))，影像画面的对角线长度L'(t)，

其中，所述观看者人眼在显示屏幕中的标准模型包括观看者在显示屏幕的影像画面中双眼眼球构成的连线的中点位置坐标为P0、双眼眼球之间的距离为L0、双眼眼球构成的连线与显示屏幕纵轴之间的角度为θ0，且θ0＝90°；

所述影像画面在显示屏幕中的标准模型包括影像画面的水平线与显示屏幕纵轴之间的角度为θ'0，且θ'0＝90°，影像画面的中心位置为P'0，影像画面的对角线长度为L'0；

所述调整模块的调整满足：

L(t)/L'0＝k*L0/L(t)，θ'(t)＝θ(t)，P'(x(t),y(t))-P'(0)＝P(x(t),y(t))-P(0)，

其中所述k为一固定正常数。

2.如权利要求1所述的屏幕影像画面防抖系统，其特征在于，所述调整模块将在侦测出观看者双眼眼球位置构成的连线偏移一预设时间段后，或者将在侦测出观看者双眼眼球位置构成的连线偏移一预设角度后，调整影像画面显示的角度。

3.一种屏幕影像画面防抖方法，运行于手持显示设备中，该手持显示设备包括摄像单元及显示屏幕，其特征在于，该方法包括：

创建观看者最佳握持所述手持显示设备时观看者人眼在显示屏幕中的标准模型，及观看者最佳观看显示屏幕时影像画面在显示屏幕中的标准模型；

在观看者观看影像画面的过程中，利用人脸检测与识别技术持续从摄像单元摄取的包括观看者在内的场景影像中侦测出观观看者脸部区域，并根据脸部区域中的眼球特征从场景影像的脸部区域侦测出观看者的双眼眼球位置；

将侦测模块实时侦测出的观看者的双眼眼球位置构成的连线与显示屏幕纵轴之间偏移角度与时间的关系θ(t)、双眼眼球构成的连线的中点位置坐标与时间的关系P(t)＝P(x(t),y(t))、双眼眼球之间的距离与时间的关系L(t)作为观看者观看显示屏幕时观看者人眼在显示屏幕中的时间模型；

实时分析所述观看者人眼在显示屏幕中的时间模型与所述观看者人眼在显示屏幕中的标准模型是否相同；及

当所述观看者人眼在显示屏幕中的时间模型与所述观看者人眼在显示屏幕中的标准模型不相同时，调整影像画面的水平线与显示屏幕纵轴之间的角度θ'(t)，影像画面的中心位置P'(x(t),y(t))，影像画面的对角线长度L'(t)，

其中，所述观看者人眼在显示屏幕中的标准模型包括观看者在显示屏幕的影像画面中双眼眼球构成的连线的中点位置坐标为P0、双眼眼球之间的距离为L0、双眼眼球构成的连线与显示屏幕纵轴之间的角度为θ0，且θ0＝90°；

所述影像画面在显示屏幕中的标准模型包括影像画面的水平线与显示屏幕纵轴之间的角度为θ'0，且θ'0＝90°，影像画面的中心位置为P'0，影像画面的对角线长度为L'0；

所述调整影像画面的调整满足：

L’(t)/L'0＝k*L0/L(t)，θ'(t)＝θ(t)，P'(x(t),y(t))-P'(0)＝P(x(t),y(t))-P(0)，

其中所述k为一固定正常数。

4.如权利要求3所述的屏幕影像画面防抖方法，其特征在于，在侦测出观看者双眼眼球位置构成的连线偏移一预设时间段后，或者在侦测出观看者双眼眼球位置构成的连线偏移一预设角度后，调整影像画面显示的角度。

Images