CN116962899A - 用于去除眩光点的图像处理方法及其系统 - Google Patents

Abstract

本披露内容涉及一种用于去除出现在所捕获图像上的眩光点的图像处理方法。该方法包括通过第一照明源朝向第一凝视发射第一光线，以及通过第二照明源朝向第二凝视发射第二光线。图像传感器捕获包括该第一凝视的图像的第一凝视图像，并且捕获包括该第二凝视的图像的第二凝视图像。饱和点去除算法在所捕获的该第一凝视图像与所捕获的该第二凝视图像之间选择主凝视图像，其中，所选择的该主凝视图像适合于去除眩光点以产生用于判断凝视方向的结果凝视图像，以用于眼睛跟踪功能。还披露了一种图像处理系统、一种计算机程序产品以及一种计算机可读介质。

Description

用于去除眩光点的图像处理方法及其系统

技术领域

本披露内容涉及图像处理，并且特别地涉及为识别出现在图像中的眩光点而进行的图像处理。更具体地，本披露内容描述了一种用于去除眩光点并从经处理的图像预测凝视方向以用于眼睛跟踪应用的方法和系统。

背景技术

眼睛跟踪应用在电子行业已经存在多年了。眼睛跟踪功能已经应用于医疗领域、比如头戴式显示器等消费电子产品、增强现实(AR)或虚拟现实(VR)应用。

近年来，出于舒适和安全的原因，眼睛跟踪功能的应用也吸引了汽车行业，以跟踪驾驶员的凝视方向来确定在驾驶员的视线内显示车辆信息的最佳位置。然而，在机动车辆的客舱内进行眼睛跟踪具有许多挑战。首先，客舱的光线通常较暗，因此所捕获的图像通常需要进行一些处理来提取信息。其次，出于照明目的，眼睛跟踪应用通常需要聚光灯源，而该光源可能是由客舱内的反射表面引起的杂散光源。有时，驾驶员也可能佩戴有护目镜，比如眼镜或太阳镜，这使得来自聚光灯的光线被反射并朝向眼角膜发射，然后在图像中表现为眩光点，覆盖所捕获的角膜图像的区域。

减少所捕获图像上显现的眩光点的传统技术是使用光学元件(比如放置在相机镜头前方的滤光器)来实现一定程度的偏振。然而，使用偏振滤光器来实现偏振的缺点是相机接收的光通量减少，即，光吸收大大减少。另一种已知的技术是使用相对于驾驶员而策略性地放置的多个照明器，使得控制朝向驾驶员眼角膜的光线发射。然而，由于达到期望的技术结果所需的电子部件数量的增加，这种系统设计起来复杂且昂贵。无论上述挑战如何，机动车辆的驾驶舱通常会受到空间制约，因此这种系统设计并非在所有类型的机动车辆中都是可行的，特别是客车。

由此，可以看出，在机动车辆的驾驶舱内进行眼睛跟踪的挑战仍未解决。

发明内容

因此，需要提供一种用于识别出现在所捕获图像上的眩光点的方法及其系统，该方法和系统克服或至少改善了上述问题。此外，通过随后结合附图和本披露内容的背景技术而给出的详细描述和所附权利要求，其他期望的特征和特点将变得显而易见。

本披露内容的目的是通过提供独立权利要求的主题来改善凝视方向预测不准确的问题。

本披露内容的目的通过一种用于去除出现在所捕获图像上的眩光点的图像处理方法来实现，其中，该方法包括：

·

o通过第一照明源，朝向第一凝视发射第一光线；

以及

o通过第二照明源，朝向第二凝视发射第二光线；

·通过图像传感器，捕获：

o包括该第一凝视的图像的第一凝视图像；

以及

o包括该第二凝视的图像的第二凝视图像；

该方法的特征在于，

·通过饱和点去除算法，在以下两者之间选择主凝视图像：

o所捕获的该第一凝视图像；

以及

o所捕获的该第二凝视图像；

其中，该主凝视图像被选择用于饱和点去除过程，以产生用于判断凝视方向的结果凝视图像，以用于眼睛跟踪应用。

本披露内容的上述方面的优点提供了一种从所捕获的具有用户的第一凝视和第二凝视的两个或更多个图像中选择主图像的方法，以便为眩光点去除处理做准备。理想情况下，主图像的选择依据如下：图像中不存在重叠的眩光点干扰闪光点位置。因此，前述图像处理方法的处理时间更快，并且提供了确定凝视方向的可靠结果，因为重叠的眩光点更难与闪光点区分开。

优选的是如上所述的方法或如上所述的作为优选的方法，其中，该方法进一步包括：

·通过该饱和点去除算法，识别出现在所选择的该主凝视图像中的以下各项：

o类似于眩光点的至少一个饱和点；

和/或

o类似于闪光点的饱和点。

本披露内容的上述方面的优点是通过识别类似于眩光点的至少一个饱和点的位置和/或类似于闪光点的饱和点的位置来选择主图像以用于眩光去除处理。该步骤的优点在于，在左凝视图像或右凝视图像中没有识别出眩光点的情况下，选择没有识别出眩光点的凝视图像作为默认的主图像。这避免了选择具有重叠点的凝视图像，选择具有重叠点的凝视图像可能会使识别和去除眩光点变得很费时。以这种方式，所披露的方法仅从所捕获的多个凝视图像中选择最有希望的凝视图像作为主凝视图像。

优选的是如上所述的方法或如上所述的作为优选的方法，该方法进一步包括：

通过该饱和点去除算法，从所选择的该主凝视图像中去除该类似于眩光点的至少一个饱和点。

本披露内容的上述方面的优点是处理所选择的主凝视，使得主凝视图像上没有眩光点出现。这允许饱和点去除算法识别去除了眩光点的主凝视图像中存在的闪光点，从而可以判断凝视方向，以便为眼睛跟踪功能做准备。

优选的是如上所述的方法或如上所述的作为优选的方法，该方法进一步包括：

通过该图像传感器以连续交替的顺序捕获该第一凝视图像和该第二凝视图像。

本披露内容的上述方面的优点是以交替模式或顺序连续获得图像，以改善对在多种场景下捕获的凝视图像的观察。有利地，这增大了观察覆盖范围的机会，使得在至少一种类型的场景中可以总是观察到凝视方向。进一步地，该方法将有效帧速率降低了一半。例如，当图像传感器以60帧每秒(fps)操作时，实际可用的图像帧速率会降低到30fps，这有利于以较高的准确性观察动作或行为。

优选的是如上所述的方法或如上所述的作为优选的方法，其中，该连续交替的顺序包括：

在初始序列中，

响应于朝向该第一凝视发射该第一光线，捕获该第一凝视图像；以及

在后续序列中，

响应于朝向该第二凝视发射该第二光线，捕获该第二凝视图像。

本披露内容的上述方面的优点是应用交替开关模式来使照明源交替地接通和断开。举例来说，当图像传感器捕获第一凝视图像时，交替开关模式可以在第二照明源断开的同时接通第一照明源，并且随后，在第二照明源接通的同时断开第一照明源。这种先照亮第一凝视、然后照亮第二凝视的交替开关模式使帧率降低了一半。在大多数情况下，虽然捕获了两个不同的凝视图像，但是第一凝视的位置和第二凝视的位置将是接近相同的位置。这是通过使两个照明源保持在相对较近的物理距离来实现的，也就是说，各自的部件相距小于10cm。

优选的是如上所述的方法或如上所述的作为优选的方法，其中，该连续交替的顺序进一步包括：

通过该饱和点去除算法，连续执行：

用于捕获该第一凝视图像的一个初始序列，然后是用于捕获该第二凝视图像的一个后续序列。

本披露内容的上述方面的优点是在连续的顺序中连续地捕获第一凝视图像、然后是第二凝视图像，以实现帧率的降低，从而实现更好的观察覆盖范围。

优选的是如上所述的方法或如上所述的作为优选的方法，其中，该连续交替的顺序进一步包括：

通过该饱和点去除算法，连续执行：

用于捕获该第一凝视图像的初始序列中的至少两个序列，然后是

用于捕获该第二凝视图像的后续序列中的至少两个序列。

本披露内容的上述方面的优点是在连续的顺序中连续地捕获至少两个第一凝视图像、然后是至少两个第二凝视图像，以实现帧率的降低，从而提高所捕获凝视图像的观察覆盖范围。

优选的是如上所述的方法或如上所述的作为优选的方法，其中，识别该类似于眩光点的饱和点和识别该类似于闪光点的饱和点进一步包括：

通过该饱和点去除算法，通过将所捕获的该第一凝视图像与所捕获的该第二凝视图像进行比较来识别至少一个饱和像素区域。

本披露内容的上述方面的优点是提供一种识别出现在所捕获图像上的眩光点的方法。类似于眩光点的区域可以是饱和像素。为了区分眩光点和闪光点，该算法可以进一步进行区域尺寸比较，其中，眩光点具有较大的高度像素化或饱和像素区域。

优选的是如上所述的方法或如上所述的作为优选的方法，其中：

通过该饱和点去除算法，将该饱和像素区域分类为该类似于眩光点的饱和点。

本披露内容的上述方面的优点是通过使饱和像素或饱和点作为潜在眩光点进行关联来识别眩光点，以便为眩光点去除过程做准备。

优选的是如上所述的方法或如上所述的作为优选的方法，其中：

通过该饱和点去除算法，从该主凝视图像中去除该类似于眩光点的饱和像素区域；以及

通过该饱和点去除算法，将该类似于眩光点的饱和像素区域替换为从所捕获的该第一凝视图像之一或所捕获的该第二凝视图像之一获得的对应区域。

本披露内容的上述方面的优点是通过将去除的点替换为对应的区域以补充主图像中的现有信息来最小化由于去除像素饱和点而导致的信息损失。这样，本发明的这个方面减轻了信息的损失。

优选的是如上所述的方法或如上所述的作为优选的方法，该方法进一步包括：

通过该饱和点去除算法，确定该结果凝视图像中存在的闪光点。

本披露内容的上述方面的优点是确定结果图像中存在的闪光点，以确定凝视方向。

优选的是如上所述的方法或如上所述的作为优选的方法，该方法进一步包括：

通过该饱和点去除算法，根据在该结果图像上确定的该闪光点的位置，判断凝视方向，以用于眼睛跟踪应用。

本披露内容的上述方面的优点是从结果图像中判断用户或驾驶员的凝视方向，以用于后续眼睛跟踪应用。

本披露内容的目的通过一种用于处理图像以用于眼睛跟踪应用的系统来实现，其中，该系统包括：

·第一照明源，该第一照明源可操作以朝向第一凝视发射第一光线；以及

·第二照明源，该第二照明源可操作以朝向第二凝视发射第二光线；

·图像传感器，该图像传感器可操作以捕获：

o包括该第一凝视的图像的第一凝视图像；

以及

o包括该第二凝视的图像的第二凝视图像；

以及

·处理单元，该处理单元可操作以处理由该图像传感器捕获的图像，其特征在于：

·该系统进一步包括饱和点去除算法，该饱和点去除算法可操作以进行以下操作：

o在所捕获的该第一凝视图像与所捕获的该第二凝视图像之间选择主凝视图像，

其中，该主凝视图像被选择用于眩光点去除，以产生用于判断凝视方向的结果凝视图像，以用于眼睛跟踪应用。

本披露内容的上述方面的优点是提供了一种用于图像处理的系统，其通过从所捕获的具有驾驶员的第一凝视和第二凝视的两个或更多个图像中选择主图像，以便为眩光点去除处理做准备。理想情况下，主图像的选择依据如下：图像中不存在重叠的眩光点干扰闪光点位置。因此，上述图像处理系统的处理时间更快。

优选的是如上所述的系统或如上所述的作为优选的系统，其中：

该图像传感器、该第一照明源和该第二照明源被集成为单个模块。

本披露内容的上述方面的优点是提供了单个模块，该单个模块包括图像传感器、第一照明源和第二照明源，使得第一照明源和第二照明源可以被设计为与用户的第一凝视和第二凝视基本上在一条直线上。更有利地，图像传感器可以布置在这两个照明源之间，使得所捕获图像上的眩光点可以通过物理方式被分离出来。

优选的是如上所述的系统或如上所述的作为优选的系统，其中：

该第一照明源和该第二照明源中的每一个可操作以交替模式接通和断开，使得：

当该第一照明源接通时，该第二照明源断开；并且

当该第一照明源断开时，该第二照明源接通。

本披露内容的上述方面的优点是将图像传感器的帧率降低了一半，并且更有利地增加了观察覆盖范围，使得在至少一种类型的场景中可以观察到多个凝视方向。在本文的上下文中，不同类型的场景可以适用于操作机动车辆的用户。

本披露内容的目的通过本文定义的计算机程序产品来实现，该计算机程序产品致使如上文定义的系统执行上文披露的方法的步骤。

本披露内容的上述方面的优点是提供了一种适合于图像处理的计算机程序产品，其通过从所捕获的具有驾驶员的第一凝视和第二凝视的两个或更多个图像中选择主图像，以便为眩光点去除处理做准备。

本披露内容的目的通过计算机可读介质来实现，该计算机可读介质上存储有如本文定义的计算机程序产品，该计算机程序产品致使如上文定义的系统执行上文披露的方法的步骤。

本披露内容的上述方面的优点是提供了一种适合于图像处理的计算机可读介质，其通过从所捕获的具有驾驶员的第一凝视和第二凝视的两个或更多个图像中选择主图像，以便为眩光点去除处理做准备。

附图说明

本披露内容的其他目的和方面通过以下参考附图对实施例的描述将变得显而易见，在附图中：

图1示出了根据示例性实施例的图像处理系统的系统框图。

图2示出了根据示例性实施例的图像处理系统的光开关时间图。

图3a示出了根据示例性实施例的图像处理系统的示意图。

图3b示出了根据示例性实施例的图像处理系统的示意图。

图4a示出了根据示例性实施例的由图像处理系统捕获的凝视图像。

图4b示出了根据示例性实施例的由图像处理系统捕获的凝视图像。

图4c示出了根据示例性实施例的由图像处理系统捕获的凝视图像。

图4d示出了根据示例性实施例的用于点替换过程的图像。

图5示出了根据示例性实施例的图像处理方法的流程图。

在参考以上附图描述的各种实施例中，在若干透视图和/或配置中，相似的附图标记指代相似的部件。

具体实施方式

以下详细描述本质上仅是示例性的，并不旨在限制本披露内容或本披露内容的应用和用途。此外，无意受本披露内容的前述背景技术或以下详细描述中呈现的任何理论的约束。本披露内容的意图是呈现一种用于去除出现在所捕获图像上的眩光点的图像处理方法及其系统。

在下文中，术语“闪光”是指从表面反射的小闪光的反射。在本文使用的上下文中，‘闪光点’可以指出现在用户眼睛或凝视的角膜上的小闪光的反射。闪光点的位置用于确定或判断用户的凝视方向。

术语“眩光”是指朝向人眼的角膜发射的一束强光，在某些情况下，眩光可能导致暂时性失明。举例来说，‘眩光点’可能在图像中表现为亮点。此后，在本文使用的上下文中，‘眩光点’是一个看起来是饱和像素或饱和的区域。在本文的上下文中,‘眩光点’是由至少一个照明光源从反射表面(比如，用户的护目镜)反射而导致的。至少一个照明光源是必要的，以生成出现在所捕获图像中的闪光点。

本文使用的术语“处理单元”可以广义地包含通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等等。在某些情况下，“处理单元”可以指专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)等。术语“处理单元”可以指处理设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核的结合、或任何其他这样的配置。“处理单元”可以包括存储器，用于加载指令序列，致使“处理单元”执行动作步骤。术语“存储器”应该广义地被解释为包含能够存储电子信息的任何电子部件。术语“存储器”可以指各种类型的处理器可读介质，比如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、闪存、磁或光学数据存储装置、寄存器等。“存储器”被认为与处理器电子通信，条件是处理器可以从存储器读取信息和/或向存储器写入信息。与处理器成一体的存储器与处理器电子通信。此后，术语“处理单元”也可以被理解为包含使用单个集成电路(IC)芯片的“片上系统”(SoC)，该集成电路芯片包含集成在单个基板上的多个资源、计算单元、处理器和/或核。单个SOC可以包含用于数字、模拟、混合信号和射频功能的电路系统，以及任何数量的通用和/或专用处理器(数字信号处理器、调制解调器处理器、视频处理器等)、存储器块(例如，ROM、RAM、闪存等)。除非另外特别说明，否则“处理单元”不限于硬件电路系统和软件的任何特定组合，也不限于由处理单元执行的指令的任何特定源。

在本披露内容的上下文中使用的术语“第一”、“第二”等可以指根据各种示例性实施例的对不同元件的修改，但不限于此。这些表达可以用于将一个元件与另一个元件区分开来，而不考虑重要性排序。举例来说，“第一凝视图像”和“第二凝视图像”可以指不同的凝视图像，例如，左眼图像或右眼图像或者左眼图像和后一左眼图像，而不考虑重要性的次序。类似地，在不脱离本披露内容的范围的情况下，第一凝视图像可以被称为第二凝视图像，并且反之亦然。

系统框图

图1示出了根据示例性实施例的图像处理系统的系统框图100。系统100包括主板102和成像板104。主板102包括其上存储有饱和点去除算法118的处理单元118、以及用于向比如成像板104等电子部件供应电力的电源。成像板104包括电子部件，这些电子部件包括第一照明源106、第二照明源108和布置在第一照明源106与第二照明源108之间的图像传感器110。合适类型的照明源的示例可以是发光二极管(LED)、垂直腔面发射激光器(VCSEL)以及更具体的是红外(IR)LED。如果选择IR LED作为照明源，则近红外(NIR)图像传感器将是适合使用的图像传感器。电子部件由驱动器电路116、116’驱动，这些驱动器电路从电源120接收电力。如从图1中可以观察到，由电源120供应到电子部件的电力由电力线124表示。可选地，成像板104可以包括定位在第一照明源106和第二照明源108前方的照明光学器件112、112’。可选地，成像光学器件114可以定位在图像传感器110的前方。物体或用户126之间的光功率传输使用光功率线122来展示。当由图像传感器110捕获图像时，数据信息被传输到处理单元118，以通过饱和点去除算法128进行处理。

在优选实施例中，图像传感器110、第一照明源106和第二照明源108被集成为单个模块。这种优选配置要求这两个照明源在物理上被布置为其间定位有图像传感器，使得由用户的护目镜引起的图像上的眩光点可以通过物理方式被分离出来。尽管在照明源与图像传感器之间不存在优选距离，但是照明源与图像传感器之间的更大距离有助于减少出现在所捕获图像中的重叠眩光点。只要闪光点在所捕获图像中仍然可见，就可以调整距离。在优选实施例中，第一照明源与第二照明源之间的距离相距大约10cm，并且更优选地相距小于10cm。

光开关模式时间图

图2示出了根据示例性实施例的图像处理系统的光开关时间图200。

在时间图200中，每个时间频率周期由方波表示。例如，从顶部开始的第一个方波表示图像传感器100以帧为单位(即，帧n、帧n+1、帧n+2和帧n+3)捕获图像的频率，其中，帧与帧(例如，帧n与帧n+1)之间定义有图像帧数据。从顶部开始的第二个方波表示第一照明源106的时间频率周期，该时间频率周期由交替接通和断开的可编程逻辑控制。类似地，从顶部开始的最后一个或第三个方波表示第三照明源108的时间频率周期，该时间频率周期的打开和关闭由控制逻辑控制交替进行。这种电路控制信号可以通过使用主板102的通用输入/输出(GPIO)、编程软件或附加的可编程逻辑器件来实现。

在如图2所示的示例性实施例中，当针对第一照明源106的控制信号打开时，针对第二照明源108的控制信号关闭，并且图像传感器110捕获第一图像。当针对第一照明源106的控制信号关闭时，针对第二照明源108的控制信号打开，并且图像传感器110捕获第二图像。因此，使用这种控制逻辑实现交替开关模式。当由系统100实施时，由图像传感器110以使第一照明源106和第二照明源108交错接通/断开的方式捕获图像。

示意图

为了说明在交替模式下捕获图像的方面，图3a的300a示出了用户左眼的交替开关模式的示意图，并且图3b的300b示出了用户右眼的交替开关模式。

在300a中，示出了用户的第一凝视302和第二凝视304，其分别表示用户的左眼和右眼。在该示例性示例中，用户佩戴有护目镜306，这是从反射表面反射的光线朝向用户的眼角膜发射的常见原因，因此导致所捕获的图像中出现眩光点。这通常是由于光线从护目镜表面的一部分(例如，护目镜的框架)反射发射到眼角膜。

在该示例性实施例中，用户面对单个模块(A)，该模块包括第一照明源106、第二照明源108和图像传感器110。应用如在图2中解释的交替开关模式，接通第一照明源106，从而朝向用户的第一凝视302或左凝视发射第一光线。第二照明源108保持断开，因此没有光线被发射到用户的第二凝视304或右眼。响应于朝向第一凝视发射第一光线，图像传感器100捕获用户的第一凝视图像或左眼图像。

在300b中，接通第二照明源108，从而朝向用户的第二凝视304或右凝视发射第一光线。第一照明源106保持断开，因此没有光线被发射到用户的第一凝视302或左眼。响应于朝向第二凝视发射第二光线，图像传感器100捕获用户的第二凝视图像或第二眼图像。

捕获第一凝视图像和第二凝视图像的上述交替顺序可以是连续的。该交替顺序可以是左眼-右眼的顺序，或者是左眼-左眼、然后是右眼-右眼、再是左眼-左眼的顺序。也就是说，在不脱离本披露内容的主要发明概念的情况下，图像传感器110可以替代性地先捕获左凝视图像、然后捕获右凝视图像，或者先捕获两个左凝视图像、然后捕获两个右凝视图像。进一步地，对本领域技术人员来说显而易见的是，对本文披露的方法进行修改(例如，延长照明源的接通时间、增加图像传感器的曝光时间、调整增益设置、动态地调整照明源的驱动电流、和/或改进光学设计)可以在不偏离本发明主要概念的情况下产生更好的结果。

通过应用上述交替照明开关方法，所捕获的一个图像或若干图像可以用于眼睛跟踪应用。可以通过饱和点去除算法选择主图像以用于进一步处理，从而确定凝视方向。因此，本文披露的系统的有效帧速率降低了一半。举例来说，如果图像传感器以60帧每秒(fps)操作，则实际可用的图像帧速率会降低到30fps。降低有效帧速率的主要优点是增加观察覆盖范围，以得到在不同观察场景下捕获的至少两个图像。尽管帧速率有点降低，但是降低的帧速率仍然足以满足需要眼睛跟踪功能的机动车辆应用，例如，机动车辆中的驾驶员监控功能。因此，通过降低实际可用的图像帧速率，处理单元或饱和点去除算法能够以非常省时的方式识别眩光点或凝视方向，并且准确性较高。在机动车辆内的眼睛跟踪应用的背景下，时间效率对于确保安全是很重要的，例如，当在驾驶员的视线内显示车辆信息时。

示例性实施例1

在下文中，使用图4a至图4d讨论的示例性实施例展示了在两个凝视图像中识别的多个饱和点，以用于在选择主凝视图像期间进行比较。具体地，引用以下元素以示出可能出现在所捕获图像中的眩光点的类型，其中：

·元素406表示所捕获的图像中的、由从护目镜内表面反射的左照明源引起的眩光点，

·元素408表示所捕获的图像中的、由从护目镜外表面反射的左照明源引起的眩光点，

·元素410表示所捕获的图像中的、由从护目镜内表面反射的右照明源引起的眩光点，

·元素412表示所捕获的图像中的、由从护目镜外表面反射的右照明源引起的眩光点，

·元素414表示当接通左照明源时在所捕获的图像中产生阴影效果的虚拟眩光点区域，

·元素416表示当接通右照明源时在所捕获的图像中产生阴影效果的虚拟眩光点区域；以及

·元素418表示出现在所捕获图像中的闪光点。

为了简洁清楚起见，在图4a至图4d所示的以下实施例中，第一照明源106应被称为左照明源，并且第二照明源108应被称为右照明源。

图4a示出了根据示例性实施例的由图像处理系统100捕获的凝视图像400a。如本文所披露的，主凝视图像的选择是为了从所捕获的所有凝视图像中确定最理想或最有希望的凝视图像，而不管是用户的左眼还是右眼。这减少了执行后续眩光点去除步骤所需的时间，从而提供了更快的图像处理方法。

如图4a所示，比较两个左眼图像以用于主凝视图像的选择。凝视图像420示出了当与向右眼发射光线相对应的照明源接通时所捕获的左眼图像。相反，凝视图像422表示当与向左眼发射光线相对应的照明源接通时所捕获的左眼图像。换句话说，凝视图像420示出了当第二照明源108接通时所捕获的第一图像，而凝视图像422示出了当第一照明源108接通时所捕获的第一图像。如从图4a可以观察到，元素414、410、414’和412在凝视图像420上表现为眩光点，但是没有重叠的眩光点覆盖用户眼睛图像302的闪光点418。饱和点去除算法于是可以选择左侧凝视图像422或424中的任一个作为主图像，并且连续使用所选择的同一主凝视图像进行进一步处理，以便为需要眼睛跟踪功能的应用做准备。

示例性实施例2

图4b示出了根据示例性实施例的由图像处理系统100捕获的第一凝视图像420和第二凝视图像422。第一凝视图像420表示当右侧照明源108接通时所捕获的左眼图像，而第二凝视图像422表示当左侧照明源106接通时所捕获的左眼图像。第一凝视图像420看起来具有眩光点，即，图像中出现的元素414、414’、410和412。类似地，第二凝视图像422具有出现在所捕获图像上的眩光点元素406、408、416、416’。由于元素416是由从护目镜的内表面反射的右照明引起的虚拟眩光点，因此只有第一凝视图像420具有重叠的眩光点覆盖闪光点418。在这种场景下，饱和点去除算法128将眩光点或元素412识别为高度饱和点或饱和像素点。饱和点去除算法128可以选择凝视图像422作为主凝视图像以用于眼睛跟踪功能处理，因为基于凝视图像420与凝视图像422的比较，凝视图像422被认为是更有希望定位到闪光点的图像。

示例性实施例3

图4c示出了根据示例性实施例的由图像处理系统100捕获的第一凝视图像424和第二凝视图像426。

在该示例性实施例中，第一凝视图像424表示当左照明源106接通时所捕获的用户的左眼302，并且第二凝视图像426表示当左照明源106接通时所捕获的用户的右眼304，用于主凝视图像的选择。在该示例性实施例中，第一凝视图像424中闪光点的位置被眩光点覆盖，特别地元素406与闪光点418重叠。因此，饱和点去除算法128将第二凝视图像426选择为主凝视图像以进行进一步图像处理，从而基于所选择的主凝视图像来判断凝视方向。

示例性实施例4

图4d示出了根据示例性实施例的由图像处理系统100捕获的第一凝视图像420和第二凝视图像422。

在示例性实施例中，由处理单元计算在所选择的主凝视图像上识别的饱和点或饱和像素点的加权中心。如图4d所示，通用形状(例如，圆形区域(或任何其他适用的形状))覆盖了在所选择的凝视图像之一(即，第一凝视图像420)中识别的饱和像素点的整个区域。在接下来的步骤中，使用相同的通用形状来覆盖所选择的另一凝视图像(即，第二凝视图像)，其具有相似的加权中心并且被替换为包含在通用形状中的像素。在该示例中，替换区域可以是如第一凝视图像420中所示的元素414，看起来是由如第二图像422中所示的元素408表示的包围区域。有利地，这种对应像素区域或对应像素点的替换过程减轻了眩光点去除过程期间的信息损失。

方法/饱和点去除算法

图5示出了根据示例性实施例的图像处理方法的流程图500。

在示例性实施例中，在步骤502处，朝向第一凝视发射第一光线，并且由图像传感器捕获第一凝视图像。在下一步骤504中，朝向第二凝视发射第二光线，并且由图像传感器捕获第二凝视图像。在这两个步骤502和504中，图像传感器可以是同一图像传感器。

在另一示例性实施例中，重复步骤502，使得在初始序列中捕获两个第一凝视图像，并且在后续序列中，重复步骤504，使得在后续序列中捕获两个第二凝视图像。

在步骤506中，通过比较所捕获的至少两个不同的凝视图像并识别没有眩光点与闪光点重叠或者眩光点覆盖闪光点的重叠区域最小的凝视图像，执行主凝视图像的选择过程。一旦选择完成，就在步骤508中产生主凝视图像。步骤506和508可以由饱和点去除算法来执行。

在步骤510中，饱和点去除算法识别类似于眩光点的至少一个饱和点以及类似于闪光点的饱和点。类似于眩光点的饱和点的识别可以基于以下两个标准，即，(1)饱和点仅出现在用于主图像选择的两个凝视图像之一中；(2)与类似于闪光点的点相比，眩光点的尺寸更大。饱和点可以被分类为饱和像素点。

如果在所选择的主凝视图像中识别出饱和点或眩光点，则在下一步骤512中执行眩光点去除过程(见下面的解释)。如果在所选择的主凝视图像中没有识别出眩光点，则在步骤516中产生主凝视图像作为结果图像，以用于眼睛跟踪应用。

可选地，可以执行步骤514，以将从主凝视图像中去除的眩光点替换为从第一凝视图像或第二凝视图像获得的对应区域或对应像素点。根据这两个图像中的哪一个被选择为主凝视图像，另一个图像就被用于替换对应的区域或对应的像素点。该步骤514的优点是减轻由于步骤512中的眩光点去除过程而造成的数据信息的损失。

一旦步骤514完成，就在步骤516处产生结果图像。结果图像中存在的闪光点可以用于判断用户的凝视方向，以用于眼睛跟踪应用。

因此，可以看出，已经提供了一种用于从图像中去除眩光点以用于眼睛跟踪应用的图像处理方法和系统，其具有较高的准确性、快速的处理时间和降低的图像帧速率。更有利地，图像帧速率的降低使得能够对移动物体进行快速图像处理，并提供观察覆盖范围，以产生在不同类型的场景下捕获的多个图像，以用于判断凝视方向。虽然在本披露内容的前述详细描述中已经呈现了示例性实施例，但是应当理解，存在大量的变型。

进一步应当理解的是，示例性实施例仅仅是示例，并不旨在以任何方式限制本披露内容的范围、适用性、操作或配置。相反，前述详细描述将向本领域技术人员提供用于实施本披露内容的示例性实施例的便利路线图，应当理解，在不脱离所附权利要求中阐述的本披露内容的范围的情况下，可以对示例性实施例中描述的元件的功能和布置以及操作方法进行各种改变。

附图标记清单

Claims (17)

1.一种用于去除出现在所捕获图像上的眩光点的图像处理方法(500)，该方法(500)包括：

·

o通过第一照明源(106)，朝向第一凝视发射第一光线；

以及

o通过第二照明源(108)，朝向第二凝视发射第二光线；

·通过图像传感器(110)，捕获(502，504)：

o包括该第一凝视的图像的第一凝视图像；

以及

o包括该第二凝视的图像的第二凝视图像；

该方法的特征在于，

·通过饱和点去除算法(128)，在以下两者之间选择主凝视图像：

o所捕获的该第一凝视图像；

以及

o所捕获的该第二凝视图像；

其中，该主凝视图像被选择用于饱和点去除过程，以产生用于判断凝视方向的结果凝视图像(514)，以用于眼睛跟踪应用。

2.如权利要求1所述的方法(500)，进一步包括：

·通过该饱和点去除算法(128)，识别(506)出现在所选择的该主凝视图像中的以下各项：

o类似于眩光点(406，408，410，412，414，416)的至少一个饱和点；

和/或

o类似于闪光点的饱和点。

3.如权利要求1至2所述的方法(500)，进一步包括：

通过该饱和点去除算法(128)，从所选择的该主凝视图像中去除(510)该类似于眩光点(406，408，410，412，414，416)的至少一个饱和点。

4.如权利要求1所述的方法(500)，进一步包括：

通过该图像传感器(110)以连续交替的顺序捕获该第一凝视图像和该第二凝视图像。

5.如权利要求4所述的方法，其中，该连续交替的顺序包括：

在初始序列中，

响应于朝向该第一凝视发射该第一光线，捕获该第一凝视图像；以及

在后续序列中，

响应于朝向该第二凝视发射该第二光线，捕获该第二凝视图像。

6.如权利要求4至5所述的方法(500)，其中，该连续交替的顺序进一步包括：

通过该饱和点去除算法(128)，连续执行：

用于捕获该第一凝视图像的一个初始序列，然后是用于捕获该第二凝视图像的一个后续序列。

7.如权利要求4至5所述的方法(500)，其中，该交替的顺序进一步包括：

通过该饱和点去除算法(128)，连续执行：

用于捕获该第一凝视图像的初始序列中的至少两个序列，然后是

用于捕获该第二凝视图像的后续序列中的至少两个序列。

8.如权利要求1至5以及6或7所述的方法(500)，其中，识别该类似于眩光点(406，408，410，412，414，416)的饱和点和识别该类似于闪光点的饱和点进一步包括：

通过该饱和点去除算法(128)，通过将所捕获的该第一凝视图像与所捕获的该第二凝视图像进行比较来识别至少一个饱和像素区域。

9.如权利要求1至8所述的方法(500)，进一步包括：

通过该饱和点去除算法，将该饱和像素区域分类为该类似于眩光点的饱和点。

10.如权利要求1至9所述的方法，进一步包括：

通过该饱和点去除算法(128)，从该主凝视图像中去除(510)该类似于眩光点(406，408，410，412，414，416)的饱和像素区域；以及

通过该饱和点去除算法(128)，将该类似于眩光点(406，408，410，412，414，416)的饱和像素区域替换(512)为从所捕获的该第一凝视图像之一或所捕获的该第二凝视图像之一获得的对应区域。

11.如权利要求1至10所述的方法(500)，进一步包括：

通过该饱和点去除算法(128)，确定该结果凝视图像中存在的闪光点(418)。

12.如权利要求11所述的方法(500)，进一步包括：

通过该饱和点去除算法，根据在该结果图像上确定的该闪光点(418)的位置，判断凝视方向，以用于眼睛跟踪应用。

13.一种用于图像处理以用于眼睛跟踪应用的系统(100)，该系统(100)包括：

·第一照明源(106)，该第一照明源可操作以朝向第一凝视发射第一光线；以及

·第二照明源(108)，该第二照明源可操作以朝向第二凝视发射第二光线；

·图像传感器(110)，该图像传感器可操作以捕获：

o包括该第一凝视(302)的图像的第一凝视图像；

以及

o包括该第二凝视(304)的图像的第二凝视图像；

以及

·处理单元(118)，该处理单元可操作以处理由该图像传感器(110)捕获的图像，

其特征在于：

·该系统(100)进一步包括饱和点去除算法(128)，该饱和点去除算法可操作以进行以下操作：

o在所捕获的该第一凝视图像与所捕获的该第二凝视图像之间选择主凝视图像，

其中，该主凝视图像被选择用于眩光点去除，以产生用于判断凝视方向的结果凝视图像，以用于眼睛跟踪应用。

14.如权利要求13所述的系统(100)，其中，该图像传感器(110)、该第一照明源(106)和该第二照明源(108)被集成为单个模块(A)。

15.如权利要求13或13至14所述的系统(100)，其中，

该第一照明源(106)和该第二照明源(108)中的每一个可操作以交替模式接通和断开，使得：

当该第一照明源(106)接通时，该第二照明源(108)断开；并且

当该第一照明源(106)断开时，该第二照明源(108)接通。

16.一种计算机程序产品，包括使如权利要求13至15所述的系统(100)执行如权利要求1至12所述的方法(500)的步骤的指令。

17.一种计算机可读介质，其上存储有如权利要求16所述的计算机程序。