CN114600165A - 用于使用偏振提示表面建模的系统和方法 - Google Patents

Abstract

一种用于表面建模的计算机实现方法包括：接收物理物体的表面的一个或多个偏振原始帧，所述偏振原始帧借由偏振滤波器以不同的线性偏振角度捕获；从所述偏振原始帧提取一个或多个偏振表示空间中的一个或多个第一张量；以及基于所述一个或多个偏振表示空间中的所述一个或多个第一张量检测所述物理物体的所述表面的表面特性。

Description

用于使用偏振提示表面建模的系统和方法

相关申请的交叉参考

本申请要求在2019年9月17日向美国专利商标局申请的第62/901,731号美国临时专利申请和在2020年3月29日向美国专利商标局申请的第63/001,445号美国临时专利申请的优先权和益处，其全部公开内容通过引用并入本文。

技术领域

本公开的实施例的方面涉及计算机视觉和使用机器视觉对物体表面建模的领域。

背景技术

由于各种原因，在制造中通常需要大规模表面建模。一个应用领域是汽车和汽车部件的制造，其中使用计算机视觉或机器视觉的表面建模提供了用于自动检查扫描表面的方法，这可提高效率且使制造成本降低。

大规模表面建模还可应用于其他场合，诸如实验室工作和对大规模制造之外的个别工件的检查。

发明内容

本公开的实施例的方面涉及通过使用光偏振(例如，光波的旋转)来向特性化物体的表面的过程提供附加信息通道的表面建模。本公开的实施例的方面可应用于诸如制造的场景，其中表面特性化用以执行物体检查作为质量保证过程的组成部分，诸如检测在生产线上生产的有缺陷的货物并且移除或修复那些有缺陷的物体。

根据本公开的一个实施例，一种用于表面建模的计算机实现方法包括：接收物理物体的表面的一个或多个偏振原始帧，所述偏振原始帧由包括偏振滤波器的偏振相机以不同偏振捕获；从所述偏振原始帧提取一个或多个偏振表示空间中的一个或多个第一张量；以及基于所述一个或多个偏振表示空间中的所述一个或多个第一张量检测所述物理物体的所述表面的表面特性。

一个或多个偏振表示空间中的一个或多个第一张量可包括：线性偏振度(DOLP)表示空间中的DOLP图像；以及线性偏振角(AOLP)表示空间中的AOLP图像。

所述一个或多个第一张量还可包括一个或多个非偏振表示空间中的一个或多个非偏振张量，以及所述一个或多个非偏振张量可包括强度表示空间中的一个或多个强度图像。

所述一个或多个强度图像可包括：第一颜色强度图像；第二颜色强度图像；以及第三颜色强度图像。

所述表面特性可包括对所述物理物体的所述表面中的缺陷的检测。

检测所述表面特性可包括：加载与所述物理物体的所述表面的位置相对应的存储模型；以及根据所述存储模型和所述一个或多个偏振表示空间中的所述一个或多个第一张量来计算所述表面特性。

所述存储模型可包括所述一个或多个偏振表示空间中的一个或多个参考张量，以及计算所述表面特性可包括计算所述一个或多个偏振表示空间中的所述一个或多个参考张量与所述一个或多个第一张量之间的差。

所述差可使用菲涅耳距离来计算。

所述存储模型可包括参考三维网格，以及计算所述表面特性可包括：基于所述一个或多个偏振表示空间中的所述一个或多个第一张量来计算所述物理物体的所述表面的三维点云；以及计算所述三维点云与所述参考三维网格之间的差。

所述存储模型可包括经训练的统计模型，所述经训练的统计模型被配置为基于所述一个或多个偏振表示空间中的所述一个或多个第一张量来计算表面特性的预测。

所述经训练的统计模型可包括异常检测模型。

所述经训练的统计模型可包括被训练以检测所述物理物体的所述表面中的缺陷的卷积神经网络。

所述经训练的统计模型可包括被训练以检测缺陷的经训练的分类器。

根据本公开的一个实施例，一种用于表面建模的系统包括：包括偏振滤波器的偏振相机，所述偏振相机被配置为以不同偏振捕获偏振原始帧；以及包括处理器和存储指令的存储器的处理系统，所述指令在由所述处理器执行时使所述处理器：接收物理物体的表面的一个或多个偏振原始帧，所述偏振原始帧对应于光的不同偏振；从所述偏振原始帧提取一个或多个偏振表示空间中的一个或多个第一张量；以及基于所述一个或多个偏振表示空间中的所述一个或多个第一张量检测所述物理物体的所述表面的表面特性。

所述一个或多个偏振表示空间中的所述一个或多个第一张量可包括：线性偏振度(DOLP)表示空间中的DOLP图像；以及线性偏振角(AOLP)表示空间中的AOLP图像。

所述一个或多个第一张量还可包括一个或多个非偏振表示空间中的一个或多个非偏振张量，所述一个或多个非偏振张量可包括强度表示空间中的一个或多个强度图像。

所述一个或多个强度图像可包括：第一颜色强度图像；第二颜色强度图像；以及第三颜色强度图像。

所述表面特性可包括对所述物理物体的所述表面中的缺陷的检测。

存储器还可存储指令，当由处理器执行指令时，使得处理器通过以下步骤来检测所述表面特性：加载与所述物理物体的所述表面的位置相对应的存储模型；以及根据所述存储模型和所述一个或多个偏振表示空间中的所述一个或多个第一张量来计算所述表面特性。

所述存储模型可包括所述一个或多个偏振表示空间中的一个或多个参考张量，并且所述存储器还可存储指令，所述指令在由所述处理器执行时使所述处理器通过计算所述一个或多个偏振表示空间中的所述一个或多个参考张量与所述一个或多个第一张量之间的差来计算所述表面特性。

所述差可使用菲涅耳距离来计算。

所述存储模型可包括参考三维网格，以及所述存储器还可存储指令，所述指令在由所述处理器执行时使所述处理器通过以下步骤来计算所述表面特性：基于所述一个或多个偏振表示空间中的所述一个或多个第一张量来计算所述物理物体的所述表面的三维点云；以及计算所述三维点云与所述参考三维网格之间的差。

所述存储模型可包括经训练的统计模型，所述经训练的统计模型被配置为基于所述一个或多个偏振表示空间中的所述一个或多个第一张量来计算所述表面特性的预测。

所述经训练的统计模型可包括异常检测模型。

所述经训练的统计模型可包括被训练以检测所述物理物体的所述表面中的缺陷的卷积神经网络。

所述经训练的统计模型可包括被训练以检测缺陷的经训练的分类器。

附图说明

附图与说明书一起说明了本发明的示例性实施例，并且与说明书描述一起用于解释本发明的原理。

图1A是根据本公开一个实施例的借由表面特性化系统被检查的物体(例如，汽车)的表面的示意性描绘。

图1B是根据本公开一个实施例的表面特性化系统的示意性框图。

图2A是一个场景的图像或强度图像，其中一个真实的透明球放置在描绘了包含两个透明球(“欺骗者”)和一些背景杂物的另一个场景的照片打印件上。

图2B描述了利用以基于掩模区域的卷积神经网络(Mask Region-basedConvolutional Neural Network)(掩模R-CNN(Mask R-CNN))计算的重叠分割掩模(overlaid segmentation mask)的图2A的强度图像识别透明球的实例，其中真实的透明球被正确地识别为实例，并且两个欺骗者被不正确地识别为实例。

图2C是根据本发明一个实施例的从场景的所捕获的偏振原始帧计算的偏振角图像。

图2D示出了根据本发明实施例的利用以使用偏振数据计算的重叠分割掩模的图2A的强度图像，其中真实透明球被正确地识别为实例，并且两个欺骗被正确地排除为实例。

图3是光与透明物体和非透明物体的相互作用(例如，漫射和/或反射)的高阶描绘。

图4是到折射率约为1.5的表面在入射角范围内的透射与反射的光的能量的图。

图5是根据本发明一个实施例的用于基于偏振数据计算表面特性化输出的处理电路100的框图。

图6是根据本发明的一个实施例的用于基于输入图像执行表面特性化以计算表面特性化输出的方法的流程图。

图7A是根据本发明一个实施例的特征提取器的框图。

图7B是绘示根据本发明一个实施例的用于从偏振原始帧提取特征的方法的流程图。

图8A是根据本发明一个实施例的预测器的框图。

图8B是描述根据本发明的一个实施例的用于检测物体表面特性的方法的流程图。

具体实施方式

在以下详细描述中，通过说明的方式，仅示出和描述了本发明的某些示例性实施例。如本领域技术人员将认识到的，本发明可以以许多不同的形式实施，并且不应被解释为限于本文阐述的实施例。在整个说明书中，类似的附图标记表示类似的元件。

如本文所使用的，术语“表面建模(surface modeling)”指的是捕获关于真实世界物体(real-world object)的表面的信息，诸如表面的三维形状，并且还可以包括捕获关于表面的颜色(或“纹理”)信息和关于表面的反射率的其他信息(例如，双向反射分布函数或BRDF)。

表面轮廓检查在分析表面的固有形状和曲率属性或特性时是重要的。真实世界物体的表面建模在许多需要表面特性化的领域中具有应用。例如，在制造业中，表面建模可用于执行对通过制造流程生产的物体的检查，从而使得能够检测物体(或制造的货物或工件)中的缺陷并且从制造流中移除那些有缺陷的物体。一个应用领域是汽车和汽车部件的制造，诸如在有缺陷的汽车部件的自动检测中，其中计算机视觉或机器视觉系统(例如，使用一个或多个相机)捕获汽车部件的图像并生成关于部件质量的分类结果和/或其他检测信息，诸如窗户是否被刮擦或门板是否有凹痕。应用使用计算机视觉的表面建模技术来执行扫描表面的自动检查，诸如通过在制造或组装过程中早期检测错误，提高了效率并降低了制造成本。

与例如通过物理触摸探测对象的接触式三维(3-D)扫描仪相比，计算机视觉和机器视觉技术使得能够进行快速且无接触的表面建模。然而，无论是被动地(例如，没有额外的照明)还是主动地(例如，具有可发射结构光的主动照明装置)执行的比较性计算机视觉技术可能都无法可靠地确定可被称为“光学挑战性(optically challenging)”的表面特性类别。这些可能是缺陷的颜色与缺陷出现的表面的背景颜色非常相似的情况。例如，在表面的标准彩色图像中可能经常难以看到的诸如玻璃窗中或光泽涂料的透明涂层中的划痕和已涂料或未涂料的金属表面中的浅凹痕等缺陷，因为由于这些缺陷所导致的颜色(或纹理)变化可能相对较小。换句话说，缺陷的颜色和无缺陷(或“干净的”)表面的颜色之间的对比度可能相对较小，诸如在已涂料门板中的凹痕与无凹痕部分具有相同颜色的情况下。

因此，本公开的实施例的一些方面涉及基于物体的偏振特征来检测物体中的缺陷，如基于使用一个或多个偏振相机(例如，在光路中包括偏振滤波器的相机)对被检查物体捕获的原始(raw)偏振帧来计算的。在一些实施例中，偏振增强成像可提供对表面形状的特性化(characterization)的数量级改进，包括表面法线的检测方向的准确度。美观的光滑表面不能具有凸起或凹陷，凸起或凹陷本质上是局部曲率变化，而这又由它们的表面法线表示限定。因此，本公开的一些实施例可应用于工业部件的高精度制造中的平滑度检测和形状保真度。一种使用情况涉及在制造的部件离开装配线以交付给最终客户之前对它们进行检查。在许多制造系统中，制造的部件在传送系统上(例如，在传送带上)以高速率离开装配线，并且为了提高吞吐量，要求在部件仍在移动时进行检查，并且在部件之间具有非常短的时间。

因此，本公开的实施例的一些方面涉及用于表面特性化(surfacecharacterization)的系统和方法，包括通过捕获要被特性化的表面的偏振原始帧，并且基于那些偏振原始帧计算特性化，诸如检测表面中的缺陷。

图1A是根据本公开的一个实施例的借由表面特性化系统被检查的物体(例如，汽车)的表面的示意性描绘。在图1A所示的布置中，被检查物体1可以在场景或环境内。例如，在工厂或其它制造厂的环境中，被检查物体1可以位于装配线上，并且可以在诸如传送带或高架传送机(例如，高架链式传送机)的传送系统40上运动。被检查物体1可以具有一个或多个表面(在图1A中标记为表面2、表面3和表面4)，其由一个或多个偏振相机10成像。偏振相机10可以安装在安装座上，其中该安装座可以是可移动安装座，其诸如在机械臂32的末端执行器上，或者可以是固定安装座，其例如固定在传送系统上方或者作为传送系统的一部分的台架(gantry)34上。偏振相机10捕获被检查物体1的各个表面2、3和4的偏振原始帧(图像)18，其中每个偏振相机10在其光路中包括偏振滤波器。

图1B是根据本发明一个实施例的表面特性化系统的示意性框图。特别地，图1B描述了所述偏振相机10中被配置用于对被检查物体1的表面2成像的偏振相机10。在图1B所示的实施例中，偏振相机10具有带视场(field of view)的透镜12，其中透镜12和相机10被定向为使得视场包含被检查表面(例如，被检查物体1的被检查表面2)。透镜12被配置成将来自场景(例如，来自被检查表面)的光引导(例如，将光聚焦)到诸如图像传感器14(例如，互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)之类的光敏介质上。

偏振相机10还包括置于场景1和图像传感器14之间的光路中的偏振器或偏振滤波器或偏振掩模(polarization mask)16。根据本公开的各种实施例，偏振器或偏振掩模16被配置为使得偏振相机10能够利用以各种指定角度设置的偏振器(例如，以45°旋转或以60°旋转或以非均匀间隔旋转)来捕获场景1的图像。

作为一个示例，图1B示出了一个实施例，其中偏振掩模16是以类似于彩色相机的红-绿-蓝(RGB)滤色器(例如，拜尔滤波器(Bayer filter))的方式与图像传感器14的像素栅格对准的偏振马赛克(polarization mosaic)。以类似于滤色器马赛克如何基于波长对入射光进行过滤以使得图像传感器14中的每个像素根据马赛克的滤色器的图案接收光谱的特定部分(例如，红色、绿色或蓝色)中的光的方式，使用偏振马赛克的偏振掩模16基于线性偏振对光进行过滤以使得不同像素以不同的线性偏振角度(例如，以0°、45°、90°和135°，或以0°、60°度和120°)接收光。因此，使用诸如图1所示的偏振掩模16的偏振相机10能够同时或同步捕获四种不同线性偏振的光。偏振相机的一个例子是由俄勒冈州威尔逊维尔(Wilsonville)的

系统公司(

Systems,Inc.)生产的

S偏振相机(

S Polarization Camera)。

虽然以上描述涉及使用偏振马赛克的偏振相机的一些可能的实现，但是本公开的实施例不限于此，并且涵盖能够以多个不同偏振捕获图像的其他类型的偏振相机。例如，偏振掩模16可以具有少于四个偏振或多于四个不同的偏振，或者可以具有在与上文所述角度不同的角度处的偏振(例如，在0°、60°和120°的偏振角度处或在0°、30°、60°、90°、120°和150°的偏振角度处)。作为另一示例，偏振掩模16可使用诸如电光调制器(例如，可包括液晶层)的电子控制的偏振掩模来实现，其中掩模的各自像素的偏振角可被独立地控制，使得图像传感器14的不同部分接收具有不同偏振的光。作为另一示例，电光调制器可被配置为在捕获不同帧时传输不同线性偏振的光，例如，使得相机以整个偏振掩模被顺序地设置为不同线性偏振器角度(例如，顺序地设置为：0度；45度；90度；或135度)来捕获图像。作为另一个例子，偏振掩模16可包括机械旋转的偏振滤波器，使得偏振相机10捕获不同的偏振原始帧，其中偏振滤波器相对于镜头12机械旋转以将不同偏振角度的光传输到图像传感器14。此外，虽然上述例子涉及使用线性偏振滤波器，但是本公开的实施例不限于此，并且还包括使用包括圆偏振滤波器(例如，具有四分之一波片的线性偏振滤波器)的偏振相机。因此，在本公开的各种实施例中，偏振相机使用偏振滤波器来以不同光偏振捕获多个偏振原始帧，诸如不同的线性偏振角度和不同的圆偏振(例如，手性(handedness))。

结果，偏振相机10捕获包括被检查目标1的被检查表面2的场景的多个输入图像18(或偏振原始帧)。在一些实施例中，每个偏振原始帧18对应于在偏振滤波器或偏振器后以不同的偏振角度φ_pol(例如，0度、45度、90度或135度)拍摄的图像。与从相对于场景的不同位置和定向捕获偏振原始帧相反，从相对于场景1的基本上相同的位姿捕获每个偏振原始帧18(例如，利用偏振滤波器以0度、45度、90度或135度捕获的图像全部由处于同一位置和定向的同一偏振相机100捕获)。偏振相机10可被配置成检测电磁谱的各种不同部分中的光，诸如电磁谱的人类可见部分、人类可见谱的红色、绿色和蓝色部分以及电磁谱的不可见部分，例如红外和紫外。

在本公开的一些实施例中，诸如上述实施例中的一些，不同的偏振原始帧由同一的偏振相机10捕获，并且因此可从相对于场景1的基本上相同的位姿(例如，位置和定向)捕获。然而，本公开的实施例不限于此。例如，偏振相机10可在不同的偏振原始帧之间相对于场景1移动(例如，当在不同的时间捕获与不同的偏振角度相对应的不同的原始偏振原始帧时，诸如在机械旋转偏振滤波器的情况下)，这是因为偏振相机10已经移动或者因为物体1已经移动(例如，如果物体在移动的传送器系统上)。在一些实施例中，不同的偏振相机在不同的时间捕获物体的图像，但是是以相对于物体基本上相同的位姿(例如，不同的相机在传送系统中的不同点处捕获物体的相同表面的图像)。因此，在本公开的一些实施例中，使用偏振相机10以相对于被检查物体1和/或被检查表面2的不同位姿或相同相对位姿捕获不同偏振原始帧。

偏振原始帧18被提供给处理电路100，下面将更详细地描述，其基于偏振原始帧18计算特性化输出20。在图1B所示的实施例中，特性化输出20包括表面2的图像中检测到缺陷(例如，汽车车门中的凹痕)的区域21。

图2A、2B、2C和2D提供了背景，用于说明根据本公开的实施例的通过比较方法(comparative approach)和语义分割(semantic segmentation)或实例分割(instancesegmentation)基于偏振原始帧而计算的分割图(segmentation map)。更详细地，图2A是一个场景的图像或强度图像，其中一个真实的透明球放置在描绘了包含两个透明球(“欺骗者”)和一些背景杂物的另一场景的照片打印件上。图2B示出了重叠在图2A的强度图像上以基于掩模区域的卷积神经网络(Mask Region-based Convolutional Neural Network)(掩模R-CNN(Mask R-CNN))计算的分割掩模使用不同的线图案识别透明球的实例，其中真实的透明球被正确地识别为实例，并且两个欺骗者被不正确地识别为实例。换句话说，掩模R-CNN算法被欺骗，以致将两个欺骗透明球标记为场景中的实际透明球的实例。

图2C是根据本发明的一个实施例的从场景的所捕获的偏振原始帧计算的线性偏振角(angle of linear polarization,AOLP)图像。如图2C所示，透明物体在诸如AOLP域的偏振空间中具有非常独特的纹理，其中在边缘上存在几何相关特征标记(signature)，并且在线性偏振角下在透明物体的表面上出现明显不同的或独特的或特定的图案。换句话说，透明物体的内在纹理(例如，与从通过透明物体可见的背景表面所取的外在纹理相反)在图2C的偏振角图像中比在图2A的强度图像中更可见。

图2D示出了根据本发明的实施例的利用以使用偏振数据计算的重叠分割掩模的图2A的强度图像，其中真实透明球被正确地使用重叠线图案识别为一实例，并且两个欺骗者被正确地排除为实例(例如，与图2B相反，图2D不包括两个欺骗者上的重叠线图案)。虽然图2A、2B、2C和2D示出了与在存在欺骗透明物体的情况下检测真实透明物体相关的示例，但是本公开的实施例不限于此，并且还可以应用于其他光学挑战性物体，诸如透明、半透明和非亚光(non-matte)或非朗伯(non-Lambertian)物体，以及非反射性(例如，亚光黑物体)和多径引入物体(multipath inducing object)。

因此，本公开的实施例的一些方面涉及从偏振原始帧提取表示空间(representation space)中的张量(或第一表示空间中的第一张量，诸如偏振特征图(polarization feature map))，以作为输入提供给表面特性化算法或其他计算机视觉算法。第一表示空间中的这些第一张量可以包括对与从场景接收的光的偏振有关的信息进行编码的偏振特征图，诸如图2C所示的AOLP图像、线性偏振度(degree of linearpolarization,DOLP)特征图等(例如，从偏振原始帧的各自偏振原始帧的斯托克斯矢量(Stokes vector)或变换的其他组合)。在一些实施例中，这些偏振特征图与非偏振特征图(例如，诸如图2A中所示的图像的强度图像)一起使用，以提供语义分割算法使用的附加信息通道。

虽然本发明的实施例不限于与特定表面特性化算法一起使用，但是本发明的实施例的一些方面涉及用于透明物体(例如，车辆的玻璃窗和透明的涂料的光泽层)或其他光学挑战性物体(例如，透明的、半透明的、非朗伯的、多径引入物体和非反射的(例如，非常暗的)物体)的基于偏振的表面特性化的深度学习框架，其中这些框架可以被称为偏振卷积神经网络(偏振CNN(Polarized CNN))。该偏振CNN框架包括适合于处理偏振的特定纹理的主干，并且可以与诸如掩模R-CNN的其他计算机视觉架构耦合(例如，以形成偏振掩模R-CNN架构)，以产生用于透明物体和其他光学挑战性物体的准确且鲁棒(robust)的特性化的解决方案。此外，该方法可应用于混有透明和非透明(例如，不透明(opaque)物体)的场景，并且可用于特性化被检查的一个或多个物体的透明、半透明、非朗伯、多径引入、暗的和浑浊表面。

偏振特征表示空间

本公开的实施例的一些方面涉及用于在操作650中从偏振原始帧提取特征(feature)的系统和方法，其中这些提取特征在操作690中用于物体的表面中的光学挑战性特性的鲁棒检测。相反，仅依赖于强度图像的比较技术可能无法检测这些光学挑战性特征或表面(例如，比较图2A的强度图像与图2C的AOLP图像，如上面所讨论的)。在此将使用术语“第一表示空间”中的“第一张量”来指代从由偏振相机捕获的偏振原始帧18计算(例如，提取)的特征，其中这些第一表示空间至少包括偏振特征空间(例如，包含关于由图像传感器检测的光的偏振的信息的诸如AOLP和DOPL的特征空间)，并且还可包括非偏振特征空间(例如，不需要关于到达图像传感器的光的偏振的信息的特征空间，诸如仅基于在没有任何偏振滤波器的情况下捕获的强度图像计算的图像)。

光和透明物体之间的相互作用是丰富且复杂的，但是物体的材料决定了其在可见光下的透明度。对于许多透明的家用物品，大部分可见光直接通过，而一小部分(约4％至约8％，取决于折射率)被反射。这是因为光谱的可见部分中的光具有不足以激发透明物体中的原子的能量。结果，透明物体后面的(或通过透明物体可见的)物体纹理(例如，外观)主导透明物体的外观。例如，当看桌子上的透明玻璃杯(glass cup)或平底玻璃杯(tumbler)时，玻璃杯的另一侧(例如桌子的表面)上的物体的外观通常主导透过杯所看到的。当试图仅仅基于强度图像来检测诸如玻璃窗和涂料的光泽透明层的透明物体的表面特性时，此属性导致一些困难：

图3是光与透明物体和非透明物体的相互作用(例如，漫射和/或反射)的高阶描绘。如图3所示，偏振相机10捕获场景的偏振原始帧，该场景包括在不透明背景物体303前面的透明物体302。到达偏振相机10的图像传感器14的光线310包含来自透明物体302和背景物体303的偏振信息。与从背景物体303反射并穿过透明物体302的光313相比，来自透明物体302的反射光312的一小部分被严重偏振，因此对偏振测量具有大的影响。

类似地，达到物体表面的光线可以以各种方式与表面的形状相互作用。例如，具有光泽涂料的表面可以表现得基本上类似于如图3所示的不透明物体前面的透明物体，其中光线与光泽涂料的透明或半透明层(或透明涂层)之间的相互作用使得从表面反射的光基于透明或半透明层的特性(例如，基于层的厚度和表面法线)而被偏振，其被编码在到达图像传感器的光线中。类似地，如下面关于由偏振定形状(shape from polarization)(SfP)理论更详细讨论的，表面形状(例如，表面法线的方向)的变化可以引起由物体表面反射的光的偏振的显著变化。例如，光滑表面通常可以始终表现出相同的偏振特性，但是表面中的划痕或凹痕改变了那些区域中的表面法线的方向，并且到达划痕或凹痕的光可能以不同于物体表面的其他部分中的方式被偏振、衰减或反射。光和物质之间的相互作用的模型通常考虑三项基础：几何形状、照明和材料。几何形状基于材料的形状。照明包括照明的方向和颜色。材料可以由光的折射率或角反射/透射来参数化。这个角反射被称为双向反射分布函数(bi-directional reflectance distribution function,BRDF)，尽管其它函数形式可以更精确地表示某些情况。例如，双向次表面散射分布函数(bidirectional subsurfacescattering distribution function,BSSRDF)在呈现次表面散射的材料(例如大理石或蜡)的背景下将更准确。

到达偏振相机10的图像传感器16的光线310具有三个可测量分量：光的强度(强度图像/I)、线性偏振光的百分比或比例(线性偏振度/DOLP/ρ)和线性偏振的方向(线性偏振角/AOLP/φ)。这些属性对关于被成像物体的表面曲率和材料的信息进行编码，其可被预测器800使用来检测透明物体，如下文更详细地描述的。在一些实施例中，预测器800可基于通过半透明物体的光和/或与多径引入物体或通过非反射性物体(例如，亚光黑色物体)相互作用的光的类似偏振属性来检测其他光学挑战性物体。

因此，本发明实施例的一些方面涉及使用特征提取器700来计算一个或多个第一表示空间中的第一张量，其可包括基于强度I、DOLPρ和AOLPφ的导出(derived)特征图。特征提取器700通常可将信息提取到包括诸如“偏振图像”的偏振表示空间(或偏振特征空间)的第一表示空间(或第一特征空间)中，换言之，基于偏振原始帧提取的、否则无法从强度图像(例如，由不包括偏振滤波器或用于检测到达其图像传感器的光的偏振的其他机构的相机捕获的图像)可计算的图像，其中这些偏振图像可包括DOLPρ图像(在DOLP表示空间或特征空间中)、AOLPφ图像(在AOLP表示空间或特征空间中)、从斯托克斯矢量计算的偏振原始帧的其他组合、以及从偏振原始帧计算的信息的其他图像(或更通常地，第一张量或第一特征张量)。第一表示空间可包括非偏振表示空间，诸如强度I表示空间。

在每个像素处测量强度I、DOLPρ和AOLPφ需要在偏振滤波器(或偏振器)后以不同角度φ_pol拍摄的场景的3个或更多偏振原始帧(例如，因为有三个未知值需要确定：强度I、DOLPρ和AOLPφ)。例如，上文描述的

S偏振相机以偏振角φ_pol为0度、45度、90度或135度捕捉偏振原始帧，从而产生四个偏振原始帧

在此表示为I₀，I₄₅，I₉₀和I₁₃₅。

每个像素处

与强度I、DOLPρ和AOLPφ之间的关系可表示为：

因此，借由四个不同的偏振原始帧

(I₀,I₄₅,I₉₀和I₁₃₅)，可使用四个等式的系统来求解强度I、DOLPρ和AOLPφ。

由偏振定形状(SfP)理论(参见，例如，Gary A Atkinson和Edwin R Hancock的Recovery of surface orientation from diffuse polarization.IEEE transactionson image processing,15(6):1653-1664,2006.)说明当漫反射占主导时，物体表面法线的折射率(n)、方位角(θ_a)和天顶角(θ_z)与来自该物体的光线的φ和ρ分量之间的关系遵循以下特性：

φ＝θ_a (3)

以及当镜面反射占主导时：

其中，在这两种情况下，ρ都随着θ_z的增加呈指数增加，且如果折射率相同，镜面反射比漫反射偏振得多。

因此，本公开的实施例的一些方面涉及应用SfP理论以基于表面的原始偏振帧18来检测表面的形状(例如，表面的定向)。该方法使得能够在不使用其他用于确定物体形状的计算机视觉技术(诸如飞行时间(time-of-flight,ToF)深度感测和/或立体视觉技术)的情况下特性化物体的形状，尽管本公开的实施例可以结合这样的技术使用。

更正式地，本公开的实施例的方面涉及计算第一表示空间中的第一张量50，包括在操作650中基于由偏振相机10捕获的偏振原始帧提取偏振表示空间中的第一张量，诸如形成偏振图像(或提取导出偏振特征图)。

来自透明物体的光线有两个组分：包括反射强度I_r、反射DOLPρ_r和反射AOLPφ_r的反射部分，及包括折射强度I_t、折射DOLPρ_t和折射AOLPφ_t的折射部分。在结果图像中的单个像素的强度可以写为：

I＝I_r+I_t (6)

当具有线性偏振角φ_pol的偏振滤波器被置于相机前时，在给定像素处的值是：

根据L_r,ρ_r,φ_r,I_t,ρ_t和φ_t求解上述表达式，求出DOLPρ图像中的像素值和AOLPφ图像中的像素值：

因此，根据本公开的一个实施例，上面的等式(7)、(8)和(9)提供了用于形成第一表示空间中第一张量50的模型，包括强度图像I、DOLP图像ρ和AOLP图像φ，其中，使用偏振图像或偏振表示空间中的张量(包括基于等式(8)和(9)的DOLP图像ρ和AOLP图像φ)使得能够可靠地检测物体的光学挑战性表面特性，而这通常无法由仅使用强度I图像作为输入的比较系统检测到。

更详细地说，诸如DOLP图像ρ和AOLP图像φ的偏振表示空间中的第一张量(在导出特征图50之中)，可揭示物体的表面特性，否则该物体可能在强度I域中表现为无纹理。透明物体可能具有在强度域I中不可见的纹理，因为该强度严格依赖于I_r/I_t的比率(参见等式(6))。与I_t＝0的不透明物体不同，透明物体传输大部分入射光，只反射一小部分入射光。作为另一个例子，在强度I域(例如，不考虑光的偏振的域)中，其他光滑表面(或其他粗糙表面中的光滑部分)的形状中的薄的或小的偏差可能基本上不可见或具有低对比度，但是在诸如DOLPρ或AOLPφ的偏振表示空间中可能是非常可见的或具有高对比度。

因此，获取表面形貌的一种示例性方法是结合几何正则化(geometricregularization)使用偏振提示。菲涅尔方程(Fresnel equation)将AOLPφ和DOLPρ与表面法线相关联。通过利用所谓的表面的偏振图案(polarization pattern)，这些方程对于异常检测可能是有益的。偏振图案是大小为[M，N，K]的张量，其中M和N分别是水平和垂直像素尺寸，其中K是偏振数据信道，其大小可以变化。例如，如果忽略圆偏振，只考虑线性偏振，那么K将等于二，因为线性偏振具有偏振角和偏振度(AOLPφ和DOLPρ)二者。与莫尔图案(Moire pattern)类似，在本公开的一些实施例中，特征提取模块700提取偏振表示空间(例如，AOLP空间和DOLP空间)中偏振图案。在上面所示的图1A和图1B中所示的示例性特性化输出20中，水平和垂直尺寸对应于由偏振相机10捕获的表面2的窄条带(strip)或块(patch)的横向视场。然而，这是一种示例性情况：在各种实施例中，表面的条带或块可以是垂直的(例如，与宽相比高得多)、水平的(例如，与高相比宽得多)，或者具有趋向于更接近正方形的更常规的视场(FoV)(例如，宽与高的比为4:3或16:9)。

虽然前面的讨论提供了在使用具有一个或多个线性偏振滤波器的偏振相机捕捉对应于不同线性偏振角度的偏振原始帧并计算诸如DOLP和AOLP的线性偏振表示空间中的张量的情况下，基于线性偏振的偏振表示空间的具体示例，但本公开的实施例不限于此。例如，在本公开的一些实施例中，偏振相机包括一个或多个圆偏振滤波器，其被配置为仅通过圆偏振光，并且其中圆偏振表示空间中的偏振图案或第一张量进一步从偏振原始帧提取。在一些实施例中，圆偏振表示空间中的这些附加张量单独使用，在其他实施例中，它们与诸如AOLP和DOLP的线性偏振表示空间中的张量一起使用。例如，包括偏振表示空间中的张量的偏振图案可包括圆偏振空间、AOLP和DOLP中的张量，其中偏振图案可以具有维度[M，N，k]，其中K是三，以进一步包括圆偏振表示空间中的张量。

图4是折射率约为1.5的表面在入射角范围内的透射与反射的光的能量的图。如图4所示，透射能量(图4中用实线示出)和反射能量(图4中用虚线示出)的线的斜率在低入射角(例如，在更接近垂直于表面平面的角度)下相对较小。这样，当入射角较低时(例如，接近垂直于表面，换句话说，接近表面法线)，在偏振图案中可能难以检测到表面角度的小差异(低对比度)。另一方面，反射能量的斜率随着入射角的增大而从平坦开始增大，透射能量的斜率随着入射角的增大而从平坦开始减小(以具有较大的绝对值)。在图4所示的折射率为1.5的示例中，两条线的斜率基本上从大约60°的入射角开始更陡，并且它们的斜率在大约80°的入射角非常陡。对于不同的材料，曲线的特定形状可根据材料的折射率而改变。因此，以对应于曲线的较陡部分的入射角(例如，接近平行于表面的角度，诸如在折射率为1.5的情况下为约80°，如图4所示)捕获被检查表面的图像可以提高偏振原始帧18中的表面形状变化的对比度和可检测性，并且可以提高偏振表示空间中的张量中的这种特征的可检测性，因为入射角的小变化(由于表面法线的小变化)可以引起所捕获的偏振原始帧中的大变化。

依据本公开实施例的一些方面涉及提供从偏振原始帧提取的第一表示空间中的第一张量(例如，包括偏振表示空间中的特征图)，作为对预测器的输入，用于计算或检测透明物体的表面特性和/或被检查物体的其他光学挑战性表面特性。这些第一张量可包括导出特征图，其可包括强度特征图I、线性偏振度(DOLP)ρ特征图和线性偏振角(AOLP)φ特征图，其中线性偏振度(DOLP)ρ特征图和线性偏振角(AOLP)φ特征图是偏振表示空间中的偏振特征图或张量的示例，参考对与偏振相机检测到的光的偏振有关的信息进行编码的特征图。在一些实施例中，偏振表示空间中的特征图或张量被作为输入提供给例如检测算法，利用SfP理论来特性化由偏振相机10成像的物体的表面的形状。

基于偏振特征的表面特性化

如图1A和1B所示，本发明的实施例的各方面涉及用于通过使用一个或多个偏振相机10捕获物体1的表面的图像来执行对被检查物体的表面特性化的系统和方法，偏振相机10捕获偏振原始帧18，偏振原始帧18由处理系统或处理电路100分析。表面的特性化可包括检测光学挑战性的表面特性，例如，使用不使用偏振信息的比较计算机视觉或机器视觉技术可能难以或不可能检测的表面特性。虽然本公开的实施例的一些方面涉及与制造产品中的缺陷(例如，诸如裂纹、撕裂、涂料或染料的不均匀施加、表面污染物的存在、无意的表面不规则或与参考模型的其他几何偏差等的缺陷)相对应的表面特性，但是本公开的实施例不限于此，并且可以应用于检测其他表面特性，诸如检测不同类型的材料之间的位置边界、测量材料在整个区域上的折射率的均匀性、特性化施加到材料的部分的表面处理的几何形状(例如，材料的蚀刻和/或材料在表面上的沉积)等。

图5是根据本发明一个实施例的用于基于偏振数据计算表面特性化输出的处理电路100的框图。图6是根据本发明的一个实施例的用于基于输入图像执行表面特性化以计算表面特性化输出的方法600的流程图。

根据本公开的各种实施例，使用被配置为执行如下文更详细描述的各种操作的一个或多个电子电路来实现处理电路100。电子电路的类型可以包括中央处理单元(CPU)、图形处理单元(GPU)、人工智能(AI)加速器(例如，向量处理器，其可包括被配置为高效地执行神经网络所共有的操作(诸如点积和softmax(归一化指数函数))的向量算术逻辑单元)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理器(DSP)等。例如，在一些情况下，本公开的实施例的方面以存储在非易失性计算机可读存储器中的程序指令来实现，其中，当由电子电路(例如，CPU、GPU、AI加速器或其组合)执行时，执行本文描述的操作以从输入偏振原始帧18计算特性化输出20。由处理电路100执行的操作可由单个电子电路(例如，单个CPU、单个GPU等)来执行，或者可在多个电子电路之间分配(例如，多个GPU或与GPU结合的CPU)。多个电子电路可彼此在本地(例如，位于同一管芯上、位于同一封装内、或位于同一嵌入式装置或计算机系统内)和/或可彼此远离(例如，通过诸如蓝牙的个人局域网的网络、通过诸如本地有线和/或无线网络的局域网、和/或通过诸如互联网的广域网进行通信，在这种情况下，一些操作在本地执行而其他操作在云计算服务托管的服务器上执行)。操作以实现处理电路100的一个或多个电子电路在本文中可被称为计算机或计算机系统，其可包括存储指令的存储器，所述指令在由一个或多个电子电路执行时实现本文描述的系统和方法。

如图5所示，在一些实施例中，处理电路100包括特征提取器或特征提取系统700和预测器800(例如，经典计算机视觉预测算法和/或诸如经训练的神经网络之类的经训练的统计模型)，该预测器被配置为基于特征提取系统700的输出来计算关于物体的表面特性的预测输出20(例如，统计预测)。虽然本公开的一些实施例在本文中是在用于检测制造物体的表面中的缺陷的表面特性化系统的上下文中描述的，其中检测那些表面缺陷可能具有光学挑战性，但是本公开的实施例不限于此。例如，本公开的实施例的一些方面可以应用于用于特性化由检测具有光学挑战性的材料制成的或具有检测具有光学挑战性的表面特性的物体的表面的技术，诸如半透明物体、多径引入物体、不完全或基本上亚光的或朗伯的物体和/或非常暗的物体的表面。这些光学挑战性物体包括难以通过使用由对光的偏振不敏感的相机系统捕获的图像(例如，基于由在光路中不具有偏振滤波器的相机捕获的图像或者其中不同图像不基于不同偏振角捕获图像)来分辨或检测的物体及其表面特性。例如，这些表面特性可具有与所述特性所出现的表面非常相似的表面外观或颜色(例如，凹痕具有与底层材料相同的颜色，并且诸如玻璃的透明材料上的划痕可能也是基本上透明的)。另外，虽然本公开的实施例在本文中是在检测光学挑战性表面特性的上下文中描述的，但是本公开的实施例不限于仅检测光学挑战性表面缺陷。例如，在一些实施例中，预测器800被配置为(例如，使用训练数据训练统计模型)检测光学挑战性的表面特性以及在不使用偏振信息的情况下可鲁棒地检测的表面特性二者。

偏振可用于检测表面特性或特征，否则当单独使用强度信息(例如，颜色强度信息)时，该表面特性或特征将是光学挑战性的。例如，偏振信息可以检测物体表面中的几何形状的变化和材料的变化。材料的变化(或材料变化)，例如不同类型材料之间的边界(例如，黑路上的黑色金属物体或表面上的无色液体两者在颜色空间中可能都是基本上不可见的，但是在偏振空间中都将具有对应的偏振特征标记)，在偏振空间中可能是更可见的，因为不同材料的折射率的差异引起光的偏振的变化。同样，各种材料的镜面反射性(specularity)的差异导致偏振旋转相位角的不同变化，也导致偏振空间中的可检测特征，否则在不使用偏振滤波器的情况下，该可检测特征可能是检测具有光学挑战性的。因此，这导致对比度出现在偏振表示空间中的图像或张量中，其中在强度空间(例如，不考虑光的偏振的颜色表示空间)中计算出的张量的对应区域可能无法捕获这些表面特性(例如，其中这些表面特性在这些空间中具有低对比度或者可能是不可见的)。光学挑战性表面特性的示例包括：表面的特定形状(例如，表面的平滑度和与理想的或可接受的物理设计公差的偏差)；表面粗糙度和表面粗糙度图案的形状(例如，透明物体和机加工部件的表面中的有意蚀刻、划痕和边缘)、机加工部件和模制部件的边缘处的毛刺和飞边等等。偏振对于检测具有相同颜色但具有不同材料属性(例如散射或折射率)的物体也是有用的。

如图6所示，例如参考图1B，在操作610中，处理电路100捕获被检查物体1的表面2的偏振原始帧18。例如，在一些实施例中，处理电路100控制一个或多个偏振相机10以捕获描绘物体的特定表面2的偏振原始帧18。在本公开的各种实施例中，可使用一个或多个检测系统来触发对被检查物体的特定表面的捕获，诸如机械开关触发器(例如，当物体的一部分或传送器系统闭合电子开关以用信号通知物体的当前位置时)、激光触发器(例如，当物体1的一部分阻挡激光束到达检测器时)或光学触发器(例如，相机系统检测到物体出现在特定位置处)。

返回参考图1A，根据本公开的实施例的偏振增强成像系统或表面特性化系统可使用安装在位于传送带周围的台架上或安装在机器人臂的末端执行器上的偏振相机10，其可用于随着物体1在传送带上移动时提供物体1的基于块(patch-based)的图像(例如，物体1的表面的图像或块或条带)。在本公开的一些实施例中，系统自动地重新定位附接到可移动安装座的偏振相机10，以将偏振相机10置于使得光在表面上的入射角处于图4所示曲线的更陡或更高对比度部分的位姿(例如，基于场景中的被检查表面和光源的一般定向)。在本公开的一些实施例中，照明源(例如，运行灯或闪光灯)也可被置于固定位置或附接到可移动安装座(例如，刚性地附接到对应的偏振相机或附接到可独立移动的可移动安装座)，以使得物体的表面形状特征更容易可被检测的入射角(例如，以高入射角)，用光照射物体的表面。

因此，在本公开的一些实施例中，在操作610中捕获被检查物体1的表面2的偏振原始帧18包括根据待特性化的表面2的特定特性移动偏振相机10和/或照明源以相对于被检查表面2定位姿。例如，在一些实施例中，这涉及自动定位偏振相机10和/或照明源，使得来自照明源的光以高入射角(例如，大约80度)照射表面2。在本公开的一些实施例中，高入射角可能是可行的特定位置将基于待检查的表面的特定形状而变化(例如，车门的设计可包括具有显著不同的表面法线的不同部分，诸如门把手处的凹陷、门与窗相接的边缘、以及为了风格和/或空气动力学的门的主表面中的凹陷)。

在本公开的一些实施例中，处理电路100加载与被检查物体的类型或类别相关联的配置文件(profile)，其中该配置文件包括偏振相机10要被移动至相对于被检查物体1的一个或多个位姿的集合。具有不同形状的物体的不同类型或类别可与不同的配置文件相关联，而相同类型或类别的制造物体预期具有相同形状。(例如，不同型号的车辆可能具有不同的形状，并且这些不同型号的车辆可能混合在一条装配线上。因此，处理电路100可从不同配置文件的集合中选择与当前正在检查的车辆类型相对应的配置文件。)因此，偏振相机10可以自动地移动通过存储在配置文件中的一系列位姿，以捕获被检查物体1的表面的偏振原始帧18。

在图5和图6所示的实施例中，在操作650中，处理电路100的特征提取系统700从场景的输入偏振原始帧18提取一个或多个第一表示空间中的一个或多个第一特征图50(包括各种偏振表示空间中的偏振图像或偏振特征图)。

图7A是根据本发明一个实施例的特征提取器700的框图。

图7B是绘示根据本发明一个实施例的用于从偏振原始帧提取特征的方法的流程图。在图7A所示的实施例中，特征提取器700包括强度提取器720，其被配置为提取强度表示空间中的强度图像I52(例如，根据等式(7)，作为非偏振表示空间的一个示例)，和偏振特征提取器730，其被配置为提取一个或多个偏振表示空间中的特征。在本公开的一些实施例中，省略了强度提取器720，并且特征提取器不提取强度图像I52。

如图7B所示，在操作650中提取偏振图像可包括在操作651中根据第一斯托克斯矢量从偏振原始帧提取第一偏振表示空间中的第一张量。在操作652中，特征提取器700进一步从偏振原始帧中提取第二偏振表示空间中的第二张量。例如偏振特征提取器730可包括被配置为提取DOLPρ图像54(例如，根据等式(8)的第一偏振图像或第一张量，其中DOLP作为第一偏振表示空间)的DOLP提取器740和被配置为从所提供的偏振原始帧18提取AOLPφ图像56(例如，根据等式(9)的第二偏振图像或第二张量，其中AOLP作为第二偏振表示空间)的AOLP提取器760。此外，在各种实施例中，特征提取系统700在两个或更多个表示空间(例如，n个表示空间)中提取两个或更多个不同的张量(例如，n个不同的张量)，其中在操作614中提取第n张量。如上所述，在本公开的一些实施例中，偏振特征提取器730在包括线性偏振表示空间(例如，从使用线性偏振滤波器捕获的偏振原始帧中提取前述AOLP和DOLP表示空间中的张量)和圆偏振表示空间(例如，从使用圆偏振滤波器捕获的偏振原始帧中提取的张量)的偏振表示空间中提取偏振特征。在各种实施例中，表示空间包括但不限于偏振表示空间。

偏振表示空间可包括根据斯托克斯矢量的偏振原始帧的组合。作为进一步的例子，偏振表示可包括根据一个或多个图像处理滤波器(例如，用于增加图像对比度的滤波器或去噪滤波器)对偏振原始帧的修改或变换。然后，第一偏振表示空间中的特征图52、54和56可以被提供给预测器800，用于基于特征图50检测表面特性。

虽然图7B示出了在多于两个不同的表示空间中从偏振原始帧18提取两个或更多个不同张量的情况，但本发明的实施例不限于此。例如，在本公开的一些实施例中，从偏振原始帧18提取偏振表示空间中就一个张量。例如，原始帧的一个偏振表示空间是AOLPφ，另一个是DOLPρ(例如，在一些应用中，AOLP可足以检测透明物体的表面特性或诸如半透明、非朗伯、多径引入和/或非反射物体的其他光学挑战性物体的表面特性)。

因此，从偏振原始帧18提取诸如偏振特征图或偏振图像的特征产生第一张量50，光学挑战性表面特性可自其从被检查物体表面图像被检测。在一些实施例中，由特征提取器700提取的第一张量可以是与可能在偏振原始帧中展现的潜在(underlying)物理现象(例如，如上所述，线性偏振空间中的AOLP和DOLP图像的计算以及圆偏振空间中的张量的计算)相关的明确的导出特征(例如，由人类设计者手工制得)。在本公开的一些附加实施例中，特征提取器700提取其他非偏振特征图或非偏振图像，诸如不同颜色光(例如，红、绿和蓝光)的强度图和强度图的变换(例如，将图像处理滤波器应用于强度图)。在本公开的一些实施例中，特征提取器700可被配置为提取通过基于标记的训练数据的端到端监督训练过程自动学习的一个或多个特征(例如，不由人手动指定的特征)。在一些实施例中，这些学习特征提取器可包括深度卷积神经网络，其可与传统计算机视觉滤波器(例如，哈尔小波变换(Haar wavelet transform)、坎尼边缘检测器(Canny edge detector)等)结合使用。

基于包括偏振表示空间的表示空间中的张量的表面特性化

由特征提取系统700提取的第一表示空间中的特征图50(包括偏振图像)作为输入被提供给处理电路100的预测器800，其在操作690中实现一个或多个预测模型以计算表面特性化输出20。

在预测器800是缺陷检测系统的情况下，预测可以是表面2的图像20(例如，强度图像)，其中，图像的一部分被标记21或突出显示为包含缺陷。在一些实施例中，缺陷检测系统的输出是分割图(segmentation map)，其中每个像素可以与该像素对应于表面特性化系统被训练以检查的物体中可能发现的各种可能类别(或类型)的表面特性(例如，缺陷)的位置的一个或多个置信度、或者该像素对应于被检查物体表面的图像中的异常状况的置信度相关联。在预测器是分类系统的情况下，预测可包括多个类别和图像描绘每个所述类别的实例(例如，图像描绘各种类型的缺陷或不同类型的表面特性，诸如光滑玻璃、蚀刻玻璃、刮擦玻璃等)的相应置信度。在预测器800是经典计算机视觉预测算法的情况下，预测器可计算检测结果(例如，通过将第一表示空间中的所提取的特征图与第一表示空间中的模型特征图进行比较来检测缺陷，或者识别在预期平滑的区域中的特征图中具有急剧或不连续变化的边缘或区域)。

在图5所示的实施例中，预测器800实现缺陷检测系统，并在操作690计算包括检测缺陷的位置的表面特性输出20，其是基于从输入偏振原始帧18提取的经提取的第一表示空间中的第一张量50计算的。如上所述，特征提取系统700和预测器800使用被配置为执行其操作的一个或多个电子电路来实现，如下面更详细描述的。

根据本公开的各种实施例，由一个或多个偏振相机10成像的物体1的表面2根据与该表面相关联的模型来特性化。由根据本发明实施例的表面特性化系统执行的表面特性化的具体细节取决于特定应用和被特性化的表面。

继续上面检测汽车表面上的缺陷的例子，由于制造各种部件的位置和方法以及由于不同部件所使用的材料类型，不同类型的缺陷可能出现在汽车的不同表面上。例如，已涂料金属门板可能表现出的缺陷类型(例如，划痕、凹痕)与玻璃窗的(例如，划痕、碎片和裂纹)不同，而玻璃窗可能表现出的缺陷与塑料部件中发现的那些缺陷(例如，前灯罩，其也可能表现出划痕、碎片和裂纹，但也可能包含预期的和有意的表面不规则，包括诸如表面隆起和凸起以及脱膜顶销痕(ejector pin mark))不同。

作为另一个例子，在机加工的金属部件中，一些表面可以预期是光滑和有光泽的，而其它表面可以预期是粗糙的或具有特定的物理图案(例如，凹槽、凸起或随机纹理的图案)，其中机加工部件的不同表面可以具有不同的公差。

图8A是根据本发明一个实施例的预测器的框图。如图8A所示，预测器800接收第一表示空间中的输入张量50。预测器800可包括与预期要由表面特性化系统分析的不同类型的表面相关联的模型810的集合。在图8A所示的实施例中，预测器800可存取m个不同的模型(例如，存储在处理电路100的存储器中的不同模型)。例如，第一模型811可与门板的主表面相关联，第二模型812可与门板的把手部分相关联，第m模型814可与尾灯相关联。

图8B是描述根据本发明的一个实施例的用于检测物体表面特性的方法690的流程图。在操作691，处理系统100从模型810的集合中选择对应于当前表面的模型。在一些实施例中，基于存储在与被检查物体1相关联并且与偏振相机10捕获偏振原始帧18的特定位姿相关联的配置文件中的元数据来选择特定模型。

在本公开的一些实施例中，被检查物体的定向从一个物体到下一个物体是一致的。例如，在汽车制造的情况下，每个装配的汽车可以是其前端在前地沿着传送系统移动(例如，与一些移动是驾驶员侧在前，以及一些移动是车辆的后部在前相反)。因此，基于关于汽车在传送系统上的位置及其速度的已知信息，可以可靠地捕获被检查物体1的不同表面的图像。例如，位于汽车驾驶员侧特定高度的相机可预期对汽车的保险杠、挡泥板、轮槽、驾驶员侧门、后围板和后保险杠的特定部分进行成像。基于传送系统的速度和汽车进入表面特性化系统的视场的触发时间，根据与物体的类型(例如，汽车的类型、类别或型号)相关联的配置文件，将预计在不同时间对汽车的各种表面进行成像。

在一些实施例中，被检测物体的定向可能是不一致的，且因此可以使用单独的配准(registration)过程来确定哪些表面正被偏振相机10成像。在这些实施例中，配置文件可包括被检测物体的三维(3-D)模型(例如，物理物体的计算机辅助设计或CAD模型，或者三维网格或点云模型)。因此，在一些实施例中，应用同时定位和映射(SLAM)算法来确定被检查物体的哪些部分正由偏振相机10成像，并且使用所确定的位置来识别3-D模型上的对应位置，从而使得能够确定3-D模型的哪些表面由偏振相机10成像。例如，关键点检测算法可用于检测物体的独特部分，并且关键点用于将3-D模型的定向与被检查物理物体1的定向匹配。

这样，在本公开的一些实施例中，预测系统800的表面配准模块820基于与物体相关联的配置文件将由偏振相机捕获的偏振原始帧18(和/或表示空间中的张量50)与被检查物体的特定部分配准，以从模型810的集合选择与由偏振原始帧18成像的当前表面相关联的模型。

在操作693中，处理系统使用表面分析器830应用选择的模型以计算当前表面的表面特性化输出20。下面将更详细地描述根据本公开的各种实施例的各种类型的模型的细节以及由表面分析器830基于这些不同类型的模型执行的特定操作。

通过与设计模型和表示性模型比较的表面特性化

在本公开的一些实施例中，存储模型包括从被检查物体的表示性模型(例如，设计模型)计算的表示空间中的特征图，并且表面分析器将从捕获的偏振原始帧18计算的特征图与存储的相同表示空间中的表示性(例如，理想的)特征图进行比较。

例如，如上所述，在本公开的一些实施例中，表示空间包括线性偏振度(DOLP)ρ和和线性偏振角(AOLP)φ。在一些这样的实施例中，模型810包括所述表面的参考2-D和/或3-D模型(例如，CAD模型)，其具有它们的固有表面法线。这些固有表面参考模型有时被称为设计表面法线且是表面的设计目标(例如，表面的理想形状)，且因此它们表示了被检查的块(patch)(例如，由偏振原始帧18的集合所成像的表面的块)的基本事实(ground truth)。

在这样的实施例中，特征提取系统700使用由偏振定形状(SfP)提取表面法线，且这些表面法线由表面配准模块820与表面的对应部分的参考2-D和/或3-D模型(例如，CAD模型)对准。

在该实施例中，表面分析器830执行从偏振原始帧18计算的表示空间中的张量50所表示的表面法线与来自模型810中的对应者的设计表面法线之间的比较，以找到差异区域，由此识别和标记不同的区域。例如，从原始偏振帧18计算的表示空间中的张量50的部分，其与设计表面法线的对应部分(在与张量50相同的表示空间中)的不同大于阈值量，被标记为差异或潜在缺陷，而不同小于阈值的其他部分被标记为干净的(例如，无缺陷的)。在本公开的各种实施例中，可以基于例如针对被检查表面的设计公差和系统的灵敏度(例如，根据系统中的噪声水平，诸如偏振相机10的图像传感器14中的传感器噪声)来设置该阈值。

另外，假定感兴趣区域具有所计算的表面法线和从选自于模型810的模型所加载的设计目标的表面的3D坐标两者，则在一些实施例中，表面分析器830将所述区域转换成表示被成像表面的形状的3D点云(例如，使用由偏振定形状等式)，并且表面分析器830对所生成的3D点云执行进一步检查和分析，诸如通过将3D点云的形状与参考3D模型中的对应表面的形状进行比较。所述比较可包括迭代地重新定向点云以最小化点云中的点与参考3-D模型的表面之间的距离，其中点云中与被检查表面的参考3-D模型区域的表面相距大于阈值距离的点，偏离参考模型并且可能对应于几何缺陷(例如，凹痕、毛刺或其他表面不规则)。

作为另一个例子，满足相同公差的制造部件在类似的照明下将具有基本相同的偏振图案(例如，具有由于制造公差引起的变化的相同的偏振图案)。理想或预期或参考部分的偏振图案将被称为模板偏振图案或参考张量(其将对应于从模型810集合中选择的模型)。在这些实施例中，特征提取系统700提取被检查物体的表面的测量偏振图案(例如，上述AOLP和DOLP特征图的第一表示空间中的测量张量)。如果物体的表面包含异常，诸如表面中的微小凹痕，则该异常将出现在测量的偏振图案中，从而导致其分类为与第一表示空间中的模板偏振图案或参考张量不同的异常偏振图案(或具有包含异常的区域，诸如图1B中所示的区域21)。另一方面，无缺陷表面将生成与模板偏振图案或参考张量(在容差内)匹配的测量偏振图案(例如，当测量偏振图案匹配时，则其被分类为干净偏振图案)。

本公开的实施例的一些方面涉及用于比较模板偏振图案和测量偏振图案的数学运算。在一些实施例中，计算模板和异常偏振图案之间的减法或算术差以比较所述图案。然而，如图4所示，菲涅耳方程模拟入射角与透射的能量和反射的能量之间的非线性关系，其中曲线的形状根据折射率而偏移(图4示出了折射率为1.5的示例曲线)。在不同入射角度，表面法线的类似改变所反射的能量的这种非线性改变可能使得难以执行偏振图案之间的比较(例如，比较模板偏振图案与测量偏振图案)。例如，在60度附近的入射角的1度变化(例如，60度的平均入射角和引起入射角到60.5度的0.5度变化的表面法线变化)，将具有比在10度附近的类似变化(例如，0度的平均入射角和引起入射角到0.5度的0.5度变化的表面法线变化)更大的反射能量变化。换句话说，这些实施例将使用线性度量来比较非线性现象，这可能在曲线的较平坦的邻域(例如，具有较小一阶导数的曲线部分)中引起可检测性问题，或者可能在曲线的较陡峭的邻域(例如，具有较大一阶导数的曲线部分)中引起信号的饱和或溢出。

因此，本公开的实施例的一些方面涉及使用菲涅耳减法(Fresnel subtraction)来计算菲涅耳距离，来以考虑入射角与反射或透射的能量之间的非线性关系的方式比较模板偏振图案和测量偏振图案。因此，根据本公开的实施例的一些方面，菲涅耳减法是允许表面法线的线性比较的非线性算子。实际上，菲涅耳减法使图4所示的曲线线性化，使得30度的相对微表面偏离能够用一致的异常评分(例如，根据菲涅耳距离计算的异常评分)来表示，而不管原始定向是在0°还是60°(例如，表面上的平均入射角)。换句话说，根据本公开的实施例，使用菲涅耳减法计算菲涅耳距离，其中两个偏振图案之间的菲涅耳距离基本上独立于表面的原始定向(例如，基本上独立于表面上的平均入射角)。在本公开的一些实施例中，使用符号回归(symbolic regression)的图案匹配技术来参数性地学习菲涅耳减法函数。在本公开的一些实施例中，根据材料的折射率和表面的定向，基于已知的菲涅耳方程，在数值上近似菲涅耳减法函数，诸如通过将测量的反射光除以在表面上的光的近似入射角(例如，在表面的基本上平面的局部块上的平均入射角)处反射的能量的百分比，基于表面法线的变化小到足以在曲线的基本上或足够线性的邻域内的假设。在本公开的一些实施例中，基于材料性质的先验知识，例如材料的折射率，导出闭合式方程。

因为菲涅耳方程是折射率相关的，所以菲涅耳减法也取决于材料的折射率(例如，图4中所示的曲线的形状根据折射率而偏移)。制造部件在不同的块中(例如，在不同的表面上)可具有不同的折射率。在本公开的一些实施例中，根据应用基于平衡关于物体的不同表面的灵敏度需要来选择标准折射率(例如，制造部件的接触表面可能比那些制造部件的非接触表面更重要，并且因此可以选择更接近接触表面的折射率)。例如，标准折射率可以被设置为1.5，并且被假定为足够接近。

在本公开的一些实施例中，使用设计表面法线执行局部校准，以确定每个块的局部平滑折射率，从而能实现为每个块定制的更高精度菲涅耳减法。在一些实施例中，通过假设折射率是在不同像素上不变的标量常数并且使用来自不同像素的信息来估计给定材料的折射率值，来执行局部校准。在一些实施例中，通过使用Proceedings of the IEEEInternational Conference on Computer Vision，2015，Kadambi、Achuta等人的“Polarized 3d:High-quality depth sensing with polarization cues.”的“refractive distortion”部分中描述的技术估计折射率值，来执行局部校准。

因此，本公开的实施例的一些方面涉及通过将从被检查物体捕获的偏振原始帧提取的测量特征图或张量与对应于参考或模板物体的参考张量或参考特征图或模板特征图(例如，基于来自诸如CAD模型的设计的理想表面，或基于已知良好物体的测量)进行比较来检测缺陷。

使用异常检测算法的表面特征检测

在本公开的一些实施例中，使用异常检测来检测表面特征。例如，在一些情况下，可以预期从被检查物体的一个实例到下一个实例的一些显著变化。例如，制造流程可能导致材料所呈现的偏振图案的不规则和不均匀变化。虽然这些变化可能在制造公差内，但是这些变化可能不与相对于整个物体的特定物理位置对齐。例如，根据特定玻璃片的冷却过程，玻璃窗可能从一个窗到下一个窗呈现一些不一致的偏振图案。然而，偏振图案的不一致性可能使得难以检测缺陷。例如，如果“参考”玻璃窗用于生成模板偏振图案，那么如果阈值被设置得太低，则该模板偏振图案与来自另一玻璃窗的测量的偏振图案之间的差异可能导致缺陷的检测，但是如果阈值被设置得较高，则缺陷可能未被检测到。一些实施例使用自适应阈值和/或基于物理学的先验而设置的阈值。例如，如果表面是弯曲的，则具有高曲率的区域更可能具有较强的偏振信号。因此，在一些实施例中，此区域设置的阈值与估计或预期为平坦的区域的阈值不同。这种自适应阈值化可以非常大(例如，阈值可以在不同表面之间相差几个数量级)，因为偏振强度可以在看起来大部分平坦对弯曲的表面之间变化两个数量级。

因此，本公开的实施例的一些方面涉及用以检测物体中的表面特征的异常检测方法。例如，在本公开的一些实施例中，从已知良好参考样本的大集合中提取表示空间中的张量。表示空间中的这些参考张量可以根据自然变化(例如，它们的偏振图案的自然变化)而彼此不同。因此，可以对表示空间中的这些参考张量计算一个或多个概要度量以聚类各种参考张量，诸如计算DOLP的最大值和最小值，或者特性化表面的不同部分上的AOLP的分布，或者不同级别的DOLP中的过渡的平滑度。然后，可以将已知良好物体的集合的这些概要度量的统计分布存储为用于特性化表面的存储模型810的一部分。

在本公开的这些实施例中，基于该方法，存储模型810包括异常检测模型作为用于物体的特定表面的一般预期特性的统计模型，其基于原始偏振帧18(或表示空间中的计算张量50)的配准被加载，根据对来自被检查表面的计算张量50执行的测量来计算类似的概要度量。如果用于被检查表面的这些概要度量在来自异常检测模型中表示的已知良好样本的度量的分布内，则表面的此特定部分可以被标记为干净或无缺陷。另一方面，如果这些测量中的一个或多个在测量分布之外(例如，与已知良好样本的分布相距大于阈值距离，诸如与平均值相距大于两个标准差)，则该表面可被标记为包含缺陷。

使用经训练的卷积神经网络的表面特性检测

在本公开的一些实施例中，存储模型810包括被训练以基于表示空间中的所提供的张量来检测物体的表面中的一个或多个缺陷的经训练的卷积神经网络(CNN)。这些CNN可基于标记的训练数据(例如，其中表示空间中的训练张量被用于训练神经网络的连接的权重以根据标记的训练数据计算标记缺陷部分的输出的数据)来训练。

在本公开的一些实施例中，使用以下中的一者或多者来实现模型：编码器-解码器神经网络(encoder-decoder neural networks)或用于缺陷的语义分割的U-网架构(U-netarchitecture)。U-net使得能够传播多尺度(multiscale)信息。在本公开的一些实施例中，使用偏振训练数据(例如，包括偏振原始帧作为训练输入和分割掩模作为标记的训练输出的训练数据)来训练用于语义分割和/或实例分割的CNN架构。

使用深度实例分割的本公开的一个实施例基于对基于掩模区域的卷积神经网络(掩模R-CNN)架构的修改以形成偏振掩模R-CNN架构。掩模R-CNN通过取得输入图像x，该输入图像x是图像强度值的H×W×3张量(例如，高乘宽乘红色、绿色和蓝色通道中颜色强度)，并且使该输入图像x通过主干网络：C＝B(x)来工作。主干网络B(x)负责从输入图像提取有用的学习特征，并且可以是任何标准CNN架构，诸如AlexNet(参见，例如，Krizhevsky,Alex,Ilya Sutskever和Geoffrey E.Hinton.的“ImageNet classification with deepconvolutional neural networks.”Advances in neural information processingsystems.2012.)、VGG(参见，例如，Simonyan,Karen和Andrew Zisserman.的“Very deepconvolutional networks for large-scale image recognition.”arXiv预印本arXiv:1409.1556(2014).)、ResNet-101(参见，例如，Kaiming He,Xiangyu Zhang,Shaoqing Ren和Jian Sun.的Deep residual learning for image recognition.在Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition中，第770–778页,2016.)、MobileNet(参见，例如，Howard,Andrew G.等人的“Mobilenets:Efficientconvolutional neural networks for mobile vision applications.”arXiv预印本arXiv:1704.04861(2017).)、MobileNetV2(参见，例如，Sandler,Mark等人的“MobileNetV2:Inverted residuals and linear bottlenecks.”Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition.2018.)以及MobileNetV3(参见，例如，Howard,Andrew等人的“Searching for MobileNetV3.”Proceedings of the IEEE International Conference on Computer Vision.2019.)。

主干网络B(x)输出张量的集合，例如，C＝{C₁，C₂，C₃，C₄，C₅}，其中每个张量c_i表示不同的分辨率(resolution)特征图。这些特征图然后被组合在特征金字塔网络(featurepyramid network,FPN)(参见，例如，Tsung-Yi Lin,Piotr Doll′ar,Ross Girshick,Kaiming He,Bharath Hariharan和Serge Belongie的Feature pyramid networks forobject detection.在Proceedings of the IEEE Conference on Computer Vision andPattern Recognition中，第2117–2125页,2017.)中、用区域建议网络(region proposalnetwork,RPN)(参见，例如，Shaoqing Ren,Kaiming He,Ross Girshick和Jian Sun.的Faster r-cnn:Towards real-time object detection with region proposalnetworks.在Advances in Neural Information Processing Systems中，第91–99页，2015.)处理，且最后通过输出子网络(参见，例如，上述Ren等人及He等人)以产生类、边界框、和像素级(pixel-wise)分割。这些与用于实例分割的非最大抑制合并。

在一些实施例中，使用掩模R-CNN架构作为偏振掩模R-CNN架构的一个组成部分，该偏振掩模R-CNN架构配置成获取若干输入张量，包括偏振表示空间中的张量，并计算第二表示空间中的多尺度第二张量。在一些实施例中，不同的第一表示空间中的张量被称为处于不同的“模式(mode)”，并且每个模式的张量可被提供给每个模式的独立掩模R-CNN主干。这些主干中的每一个计算多个尺度或分辨率下的模式张量(例如，对应于输入第一张量的不同缩放版本)，并且融合在不同模式的每个尺度下计算的模式张量以生成每个尺度的融合张量。然后可以将融合张量或第二张量提供给预测模块，所述预测模块被训练成基于融合张量或第二张量计算预测(例如，表面特性的识别)。在2020年3月29日向美国专利商标局申请的第63/001,445号美国临时专利申请和在2020年8月28日向美国专利商标局申请的第PCT/US20/48604号国际专利申请中更详细地描述了偏振掩模R-CNN结构，其全部公开内容通过引用并入本文。

虽然本公开的一些实施例涉及使用包括掩模R-CNN主干的偏振CNN架构的表面特性化，但是本公开的实施例不限于此，并且可以以类似的方式修改诸如AlexNet、VGG、MobileNet、MobileNetV2、MobileNetV3等的其他主干来代替一个或多个(例如，代替全部)掩模R-CNN主干。

因此，在本公开的一些实施例中，通过以下步骤计算表面特性化结果20：将包括偏振特征表示空间中的张量的第一张量提供给诸如偏振掩模R-CNN架构的经训练的卷积神经网络(CNN)来计算分割图，其中分割图识别输入图像(例如，输入偏振原始帧)的与特定表面特性(例如，诸如裂纹、凹痕、不均匀涂料、表面污染物的存在等的表面缺陷，或诸如表面平滑度对粗糙度、表面平坦度对曲率等的表面特征)相对应的位置或部分。

使用分类器的表面特性检测

在本公开的一些实施例中，不是使用卷积神经网络来识别被检查表面的包含各种感兴趣的表面特性(例如，包含缺陷)的区域，而是模型810包括将给定输入分类到一个或多个类别中的经训练的分类器。例如，经训练的分类器可计算特征输出20，其包括长度等于分类器被训练检测的不同的可能表面特性的数量的向量，其中向量中的每个值对应于输入图像描绘相应表面特性的置信度。

分类器可被训练成获取固定大小的输入图像，其中输入可通过以下步骤被计算：例如从原始偏振帧提取第一表示空间中的第一张量并且将整个第一张量作为输入提供给分类器或者将第一张量划分成固定大小的区块(block)。在本公开的各种实施例中，分类器可包括例如支持向量机、深度神经网络(例如，深度全连接神经网络)等。

用于训练统计模型的训练数据

本公开的实施例的一些方面涉及准备用于训练用于检测表面特征的统计模型的训练数据。在一些情况下，手动标记(例如，人类标记)的训练数据可以是可用的，诸如以使用偏振相机手动捕获物体的表面的偏振原始帧并且标记图像中作为包含感兴趣的表面特性(例如，不同类型的材料之间的边界、诸如凹痕和裂纹的缺陷的位置、或者诸如预期是平滑的表面的粗糙部分的表面不规则)之区域的形式。可使用这些手动标记的训练数据作为训练集的一部分，用于训练统计模型，诸如如上所述的异常检测器或卷积神经网络。

虽然手动标记的训练数据通常被认为是良好的训练数据，但是可能存在其中该手动标记的数据可能不足以大到训练良好的统计模型的情况。因此，本公开的实施例的一些方面还涉及扩充训练数据集，其可包括合成附加训练数据。

在本公开的一些实施例中，计算机图形技术被用于合成具有和不具有感兴趣的表面特性的训练对象数据。例如，当训练检测器检测表面缺陷时，无缺陷表面的偏振原始帧可与描绘诸如裂纹、碎片、毛刺、不均匀涂料等缺陷的偏振原始帧组合。这些独立的图像可以使用计算机图形技术(例如，图像编辑工具，用以将缺陷的偏振原始帧图像程序化地克隆或合成到无缺陷表面的偏振原始帧上，以模拟或合成包含缺陷的表面的偏振原始帧)来组合，合成的缺陷可以置于干净表面的物理上合理的位置上(例如，门板中的凹痕的图像被合成到门板会遭凹陷的部分的图像中，并且不置于物理上不现实的区域中，例如玻璃窗上，同样地，玻璃表面中的碎片可被合成到玻璃表面中，但不被合成到塑料装饰的图像上)。

作为另一示例，在本公开的一些实施例中，生成对抗性网络(generativeadversarial network,GAN)被训练以生成合成数据，其中生成性网络被训练以合成描绘缺陷的表面的偏振原始帧，并且判断网络被训练以确定其输入是真实的偏振原始帧还是(例如，通过生成性网络)合成的。

在本公开的一些实施例中，使用被称为“域随机化”的技术来对模拟或合成的训练数据添加基于“随机”图像的扰动，以使得合成的训练数据更接近地类似真实世界数据。例如，在本公开的一些实施例中，将旋转扩充(rotation augmentation)应用于训练数据，以利用各种特征的旋转版本来扩充训练数据。这对于在自然图像中未良好表现的具有极端纵横比的缺陷(例如，划痕)的检测的准确性可能是特别有益的。

在本公开的各种实施例中，基于对应的技术使用训练数据来训练统计模型。例如，在使用异常检测方法的实施例中，对良好数据的集合计算各种统计，诸如良好数据点的均值和方差，以确定阈值距离(例如，两个标准差)，用于确定给定样本是可接受的还是异常的(例如，有缺陷的)。在使用诸如卷积神经网络(例如，偏振掩模R-CNN)的神经网络的实施例中，训练过程可包括根据反向传播算法更新神经网络的各层的神经元之间的连接的权重，并且使用梯度下降来迭代地调整权重以最小化神经网络的输出与标记的训练数据之间的误差(或损失)。

因此，本公开的实施例的方面提供了用于自动特性化表面的系统和方法，例如用于随着制造零件滚离装配线时自动检查制造零件。这些自动化过程使得能够节约制造商的成本，不仅通过检查中的自动化和随之减少的人工劳动，而且还通过对产品本身的异常的鲁棒且准确的处理(例如，从制造流中自动移除有缺陷的产品)。

虽然已经结合某些示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的实施例，相反，本发明旨在覆盖包括在所附权利要求及其等同物的精神和范围内的各种修改和等同布置。

Claims (26)

1.一种用于表面建模的计算机实现方法，所述方法包括：

接收物理物体的表面的一个或多个偏振原始帧，所述偏振原始帧由包括偏振滤波器的偏振相机以不同偏振捕获；

从所述偏振原始帧提取一个或多个偏振表示空间中的一个或多个第一张量；以及

基于所述一个或多个偏振表示空间中的所述一个或多个第一张量检测所述物理物体的所述表面的表面特性。

2.根据权利要求1所述的计算机实现方法，其中所述一个或多个偏振表示空间中的所述一个或多个第一张量包括：

线性偏振度(DOLP)表示空间中的DOLP图像；以及

线性偏振角(AOLP)表示空间中的AOLP图像。

3.根据权利要求1所述的计算机实现方法，其中所述一个或多个第一张量还包括一个或多个非偏振表示空间中的一个或多个非偏振张量，以及

其中，所述一个或多个非偏振张量包括强度表示空间中的一个或多个强度图像。

4.根据权利要求3所述的计算机实现方法，其中，所述一个或多个强度图像包括：

第一颜色强度图像；

第二颜色强度图像；以及

第三颜色强度图像。

5.根据权利要求1、2、3或4所述的计算机实现方法，其中所述表面特性包括对所述物理物体的所述表面中的缺陷的检测。

6.根据权利要求5所述的计算机实现方法，其中，检测所述表面特性包括：

加载与所述物理物体的所述表面的位置相对应的存储模型；以及

根据所述存储模型和所述一个或多个偏振表示空间中的所述一个或多个第一张量来计算所述表面特性。

7.根据权利要求6所述的计算机实现方法，其中，所述存储模型包括所述一个或多个偏振表示空间中的一个或多个参考张量，以及

其中，计算所述表面特性包括计算所述一个或多个偏振表示空间中的所述一个或多个参考张量与所述一个或多个第一张量之间的差。

8.根据权利要求7所述的计算机实现方法，其中，所述差使用菲涅耳距离来计算。

9.根据权利要求6所述的计算机实现方法，其中，所述存储模型包括参考三维网格，以及

其中，计算所述表面特性包括：

基于所述一个或多个偏振表示空间中的所述一个或多个第一张量来计算所述物理物体的所述表面的三维点云；以及

计算所述三维点云与所述参考三维网格之间的差。

10.根据权利要求6所述的计算机实现方法，其中，所述存储模型包括经训练的统计模型，所述经训练的统计模型被配置为基于所述一个或多个偏振表示空间中的所述一个或多个第一张量来计算所述表面特性的预测。

11.根据权利要求10所述的计算机实现方法，其中所述经训练的统计模型包括异常检测模型。

12.根据权利要求10所述的计算机实现方法，其中所述经训练的统计模型包括被训练以检测所述物理物体的所述表面中的缺陷的卷积神经网络。

13.根据权利要求10所述的计算机实现方法，其中所述经训练的统计模型包括被训练以检测缺陷的经训练的分类器。

14.一种用于表面建模的系统，所述系统包括：

包括偏振滤波器的偏振相机，所述偏振相机被配置为以不同偏振捕获偏振原始帧；以及

包括处理器和存储指令的存储器的处理系统，所述指令在由所述处理器执行时使所述处理器：

接收物理物体的表面的一个或多个偏振原始帧，所述偏振原始帧对应于光的不同偏振；

从所述偏振原始帧提取一个或多个偏振表示空间中的一个或多个第一张量；以及

基于所述一个或多个偏振表示空间中的所述一个或多个第一张量检测所述物理物体的所述表面的表面特性。

15.根据权利要求14所述的系统，其中所述一个或多个偏振表示空间中的所述一个或多个第一张量包括：

线性偏振度(DOLP)表示空间中的DOLP图像；以及

线性偏振角(AOLP)表示空间中的AOLP图像。

16.根据权利要求14所述的系统，其中所述一个或多个第一张量还包括一个或多个非偏振表示空间中的一个或多个非偏振张量，以及

其中，所述一个或多个非偏振张量包括强度表示空间中的一个或多个强度图像。

17.根据权利要求16所述的系统，其中，所述一个或多个强度图像包括：

第一颜色强度图像；

第二颜色强度图像；以及

第三颜色强度图像。

18.根据权利要求14、15、16或17所述的系统，其中所述表面特性包括对所述物理物体的所述表面中的缺陷的检测。

19.根据权利要求18所述的系统，其中所述存储器还存储指令，所述指令在由所述处理器执行时使所述处理器通过以下步骤来检测所述表面特性：

加载与所述物理物体的所述表面的位置相对应的存储模型；以及

根据所述存储模型和所述一个或多个偏振表示空间中的所述一个或多个第一张量来计算所述表面特性。

20.根据权利要求19所述的系统，其中，所述存储模型包括所述一个或多个偏振表示空间中的一个或多个参考张量，以及

其中所述存储器还存储指令，所述指令在由所述处理器执行时使所述处理器通过计算所述一个或多个偏振表示空间中的所述一个或多个参考张量与所述一个或多个第一张量之间的差来计算所述表面特性。

21.根据权利要求20所述的系统，其中，所述差使用菲涅耳距离来计算。

22.根据权利要求19所述的系统，其中，所述存储模型包括参考三维网格，以及

其中，所述存储器还存储指令，所述指令在由所述处理器执行时使所述处理器通过以下步骤来计算所述表面特性：

基于所述一个或多个偏振表示空间中的所述一个或多个第一张量来计算所述物理物体的所述表面的三维点云；以及

计算所述三维点云与所述参考三维网格之间的差。

23.根据权利要求19所述的系统，其中，所述存储模型包括经训练的统计模型，所述经训练的统计模型被配置为基于所述一个或多个偏振表示空间中的所述一个或多个第一张量来计算所述表面特性的预测。

24.根据权利要求23所述的系统，其中所述经训练的统计模型包括异常检测模型。

25.根据权利要求23所述的系统，其中所述经训练的统计模型包括被训练以检测所述物理物体的所述表面中的缺陷的卷积神经网络。

26.根据权利要求23所述的系统，其中所述经训练的统计模型包括被训练以检测缺陷的经训练的分类器。

Images