CN111066065A - 用于混合深度正则化的系统和方法 - Google Patents

Abstract

公开了根据本发明的各种实施方案的用于混合深度正则化的系统和方法。在本发明的一个实施方案中，提供了一种深度感测系统，所述系统包括：多个相机；处理器；和存储器，所述存储器包含图像处理应用程序。所述图像处理应用程序可引导所述处理器从多个视点获得多个图像的图像数据，所述图像数据包括参照图像和至少一个另选视图图像；使用第一深度估计过程生成原始深度标测图，以及置信度标测图；并且生成正则化的深度标测图。所述正则化的深度标测图可通过以下方式生成：使用不同的第二深度估计过程计算辅助深度标测图；以及基于所述置信度标测图通过从所述原始深度标测图和所述辅助深度标测图中选择深度估计来计算复合深度标测图。

Description

用于混合深度正则化的系统和方法

技术领域

本发明整体涉及估计图像中的深度，并且更具体地，涉及用于混合深度正则化的系统和方法。

背景技术

计算机立体视觉用于多种情景，以使用来自两个不同视点的图像数据从场景获得三维(3D)信息。立体视觉的应用包括娱乐、机器人、增强现实和其他情景中的3D显示，以辨别其中的对象的位置。使用视差原理或通过比较场景的两个不同视图内的对象的位置，可提取相对深度信息，以形成深度标测图，该深度标测图指示场景中的对象与视点的距离。

发明内容

根据本发明的各种实施方案，公开了用于混合深度正则化的系统和方法。

在本发明的一个实施方案中，提供了一种深度感测系统，该系统包括：多个相机；处理器；存储器，该存储器包含图像处理应用程序。该图像处理应用程序引导处理器使用多个相机从多个视点获得多个图像的图像数据，其中所述多个图像的图像数据包括参照图像和至少一个另选视图图像；使用第一深度估计过程、使用参照图像的图像数据和至少一个另选视图图像的图像数据，生成原始深度标测图和置信度标测图，该原始深度标测图包含该参照图像内的像素的深度估计，该置信度标测图描述原始深度标测图内包含的深度估计的可靠性；并且生成正则化的深度标测图。通过以下方式生成该正则化的深度标测图：使用不同的第二深度估计过程计算包含参照图像内的像素的深度估计的辅助深度标测图；以及通过从原始深度标测图和辅助深度标测图中选择深度估计来计算复合深度标测图，其中当该深度估计由置信度标测图指示为可靠时，从该原始深度标测图中选择参照图像中的像素的深度估计。

在另一个实施方案中，该复合深度标测图为第一复合深度标测图，并且该图像处理应用程序还引导处理器通过计算第二复合深度标测图来生成正则化的深度标测图。通过以下方式计算该第二复合深度标测图：将平滑滤波器应用到第一复合深度标测图中的深度估计；使用滤波后的第一复合深度标测图计算边缘标测图，其中该边缘标测图指示参照图像内形成边缘的一部分的像素；以及通过从原始深度标测图和滤波后的第一复合深度标测图中选择深度估计来计算第二复合深度标测图，其中当该边缘标测图指示深度估计为相对于形成边缘的一部分的参照图像的像素时，从该原始深度标测图中选择参照图像中的像素的深度估计。

在另一个实施方案中，该平滑滤波器为中值滤波器。

在再一个实施方案中，该图像处理应用程序还引导处理器通过将边缘保留滤波器应用到第二复合深度标测图来生成正则化的深度标测图。

在又一个实施方案中，该图像处理应用程序还引导处理器将边缘保留滤波器应用到由边缘标测图指示为包含深度中断部分的第二复合深度标测图的至少一个区。

在再一个实施方案中，该边缘保留滤波器为具有使用原始深度标测图和参照图像确定的权重的双边滤波器。

在又一个实施方案中，该图像处理应用程序还引导处理器通过以下方式来计算第二复合深度标测图：将边缘检测应用到滤波后的第一复合深度标测图，以得到边缘检测深度标测图；以及扩张该边缘检测深度标测图，以得到边缘标测图。

在另外的实施方案中，该图像处理应用程序还引导处理器通过以下方式生成正则化的深度标测图：识别参照图像中的第一组边缘；识别边缘标测图中的第二组边缘，所述第一组边缘和所述第二组边缘指示具有深度中断部分的区；基于第一组边缘和第二组边缘来计算第二复合深度标测图中的区域的一组权重；以及将边缘保留滤波器应用到使用该组权重的第二复合深度标测图。

在其他实施方案中，该图像处理应用程序还引导处理器通过测量在参照图像和至少一个另选视图图像之间的可观察视差，使用参照图像的图像数据和至少一个另选视图图像的图像数据，生成原始深度标测图和置信度标测图，该原始深度标测图包含参照图像内的像素的深度估计，该置信度标测图描述深度标测图内包含的深度估计的可靠性。

在再一个实施方案中，该图像处理应用程序还引导处理器通过以下方式基于在参照图像和至少一个另选视图图像之间所测量的可观察视差来估计深度：通过将参照图像中的像素与基于使用成本函数的多个深度样本确定的至少一个另选视图图像中的像素的相似度进行比较来测量视差；通过识别采样深度来估计参照图像中像素的深度，在该采样深度处，参照图像中的像素的成本函数将最强匹配指示为像素的估计深度。

在再一个实施方案中，该图像处理应用程序还引导处理器使用在每个采样深度处使用成本函数确定的成本在存储器中构建成本体积。

在又一个实施方案中，该图像处理应用程序还引导处理器基于成本体积来计算辅助深度标测图。

在另一个实施方案中，该图像处理应用程序还引导处理器使用第二深度估计过程计算辅助深度标测图，包括：对参照图像和成本体积进行降采样；以及使用成本体积估计深度以在参照图像的无纹理区中的辅助深度标测图内实施平滑深度过渡。

在又一个实施方案中，当来自置信度标测图的像素的置信度值高于阈值时，该图像处理应用程序还引导处理器通过确定来自原始深度标测图的像素的深度估计可靠，从而计算复合深度标测图。

在再一个实施方案中，该图像处理应用程序还引导处理器：使用至少一个标准识别参照图像和至少一个另选视图图像内的至少一个对应区；基于所识别的至少一个对应区来生成相对于参照图像和至少一个另选视图图像的二进制图像；当偏移对应于多个深度样本时，减去参照图像和至少一个另选视图图像的偏移版本，以针对多个深度样本中的每一个产生偏移和减去图像；识别偏移和减去图像内的边界；识别偏移和减去图像内的边界的区域；并且基于深度样本来确定参照图像中的所识别区的边界处像素的深度估计，在该深度样本处，偏移和减去图像中的边界区域被最小化。

根据另一个实施方案，深度感测方法包括：使用多个相机从多个视点获得多个图像的图像数据，其中所述多个图像的图像数据包括参照图像和至少一个另选视图图像；使用第一深度估计过程、使用参照图像的图像数据和至少一个另选视图图像的图像数据，生成原始深度标测图和置信度标测图，该原始深度标测图包含参照图像内的像素的深度估计，该置信度标测图描述原始深度标测图内包含的深度估计的可靠性；以及生成正则化的深度标测图。通过以下方式生成该正则化的深度标测图：使用不同的第二深度估计过程计算包含参照图像内的像素的深度估计的辅助深度标测图；以及通过从原始深度标测图和辅助深度标测图中选择深度估计来计算复合深度标测图，其中当该深度估计由置信度标测图指示为可靠时，从该原始深度标测图中选择参照图像中的像素的深度估计。

在又一个实施方案中，该复合深度标测图为第一复合深度标测图，并且生成正则化的深度标测图还包括：通过以下方式计算第二复合深度标测图：将平滑滤波器应用到第一复合深度标测图中的深度估计；使用滤波后的第一复合深度标测图计算边缘标测图，其中该边缘标测图指示参照图像内形成边缘的一部分的像素；以及通过从原始深度标测图和滤波后的第一复合深度标测图中选择深度估计来计算第二复合深度标测图，其中当该边缘标测图指示深度估计为相对于形成边缘的一部分的参照图像的像素时，从该原始深度标测图中选择参照图像中的像素的深度估计。

在再一个实施方案中，该平滑滤波器为中值滤波器。

在又一个实施方案中，生成正则化的深度标测图还包括将边缘保留滤波器应用到第二复合深度标测图。

在另外的实施方案中，该深度感测方法还包括将边缘保留滤波器应用到由边缘标测图指示为包含深度中断部分的第二复合深度标测图的至少一个区。

在另一个实施方案中，该边缘保留滤波器为具有使用原始深度标测图和参照图像确定的权重的双边滤波器。

在再一个实施方案中，生成正则化的深度标测图还包括：识别参照图像中的第一组边缘；识别边缘标测图中的第二组边缘，所述第一组边缘和所述第二组边缘指示具有深度中断部分的区；基于第一组边缘和第二组边缘来计算第二复合深度标测图中的区域的一组权重；以及将边缘保留滤波器应用到使用该组权重的第二复合深度标测图。

在再一个实施方案中，还包括测量在参照图像和至少一个另选视图图像之间的可观察视差，其中使用参照图像的图像数据和至少一个另选视图图像的图像数据，生成原始深度标测图和置信度标测图，该原始深度标测图包含参照图像内的像素的深度估计，该置信度标测图描述深度标测图内包含的深度估计的可靠性。

在又一个实施方案中，该深度感测方法还包括通过以下方式基于在参照图像和至少一个另选视图图像之间所测量的可观察视差来估计深度：通过将参照图像中的像素与基于使用成本函数的多个深度样本确定的至少一个另选视图图像中的像素的相似度进行比较来测量视差；以及通过识别采样深度来估计参照图像中像素的深度，在该采样深度处，参照图像中的像素的成本函数将最强匹配指示为像素的估计深度。

在另一个实施方案中，该深度感测方法还包括使用在每个采样深度处使用成本函数确定的成本生成成本体积。

在另一个实施方案中，该深度感测方法还包括基于成本体积来计算辅助深度标测图。

在另一个实施方案中，使用第二深度估计过程计算辅助深度标测图包括：对参照图像和成本体积进行降采样；以及使用成本体积估计深度以在参照图像的无纹理区中的辅助深度标测图内实施平滑深度过渡。

在再一个实施方案中，当来自置信度标测图的像素的置信度值高于阈值时，计算复合深度标测图还包括通过确定来自原始深度标测图的像素的深度估计可靠。

在又一个实施方案中，计算第二复合深度标测图还包括：将边缘检测应用到滤波后的第一复合深度标测图，以得到边缘检测深度标测图；以及扩张该边缘检测深度标测图，以得到边缘标测图。

在再一个实施方案中，该深度感测方法还包括：使用至少一个标准识别参照图像和至少一个另选视图图像内的至少一个对应区；基于所识别的至少一个对应区来生成相对于参照图像和至少一个另选视图图像的二进制图像；当偏移对应于多个深度样本时，减去参照图像和至少一个另选视图图像的偏移版本，以针对多个深度样本中的每一个产生偏移和减去图像；识别偏移和减去图像内的边界；识别偏移和减去图像内的边界的区域；以及基于深度样本来确定参照图像中的所识别区的边界处的像素的深度估计，在该深度样本处，偏移和减去图像中的边界区域被最小化。

附图说明

图1A至图1B示出了图像和对应的深度标测图。

图2示出了根据本发明实施方案的混合深度正则化方法的概念图。

图3为示出了根据本发明实施方案的混合深度正则化过程的流程图。

图4A示出了根据本发明实施方案的混合深度正则化过程的一个具体实施中的归一化阶段之后的参照图像。

图4B示出了根据本发明实施方案的来自混合深度正则化过程的一个具体实施中的视差阶段的原始深度标测图。

图4C示出了根据本发明实施方案的来自混合深度正则化过程中的视差阶段的二进制置信度标测图。

图4D示出了根据本发明实施方案在混合深度正则化过程中具有使用半全局匹配(SGM)的辅助深度估计的深度标测图。

图4E示出了根据本发明实施方案的混合深度正则化过程中的第一复合深度标测图。

图4F示出了根据本发明实施方案的混合深度正则化过程中的中值滤波深度标测图。

图4G示出了根据本发明实施方案的混合深度正则化过程中的深度中断部分的二进制边缘标测图。

图4H示出了根据本发明实施方案的混合深度正则化过程中的第二复合深度标测图。

图4I示出了根据本发明实施方案的混合深度正则化过程中的最终正则化的深度标测图。

图5A为示出了根据本发明实施方案用于计算第一复合深度标测图的过程的流程图。

图5B为示出了根据本发明实施方案用于在可被部分遮挡的平坦区的边界处获得可靠深度估计的过程的流程图。

图5C为示出了根据本发明实施方案用于从阵列相机获得图像数据的遮挡区中的可靠深度估计的过程的流程图。

图5D示出了根据本发明实施方案的方向分区的示例。

图5E示出了根据本发明实施方案的捕获图像。

图5F示出了根据本发明实施方案使用通用SGM技术的图5E的捕获图像的原始深度标测图和正则化的深度标测图。

图5G示出了根据本发明实施方案使用具有遮挡处理的SGM的图5E的捕获图像的原始深度标测图和正则化的深度标测图。

图6为示出了根据本发明实施方案用于计算第二复合深度标测图的过程的流程图。

图7为示出了根据本发明实施方案用于计算第二复合深度标测图的另一过程的流程图。

图8为示出了根据本发明实施方案的用于生成正则化的深度标测图的过程的流程图。

图9概念性地示出了根据本发明实施方案的包括图像处理系统的系统，该图像处理系统被配置为执行混合深度正则化。

图10概念性地示出了根据本发明实施方案的被配置为执行混合深度正则化的图像处理系统。

具体实施方式

现在转到附图，根据本发明的各种实施方案，示出了用于混合深度正则化的系统和方法。在许多应用中，希望实时呈现3D显示。作为示例而非限制，増强现实(AR)可用于在真实世界物理环境的情景中提供计算机生成的视频、图形和/或声音。AR可用于娱乐(诸如但不限于游戏)，并且可采用一种或多种各种显示技术诸如头戴式显示器、监视器和/或手持设备。出于实时AR目的，还应实时计算场景的对应深度数据，以便提供用于呈现3D显示的相关信息。然而，用于实时应用的深度数据通常嘈杂且不准确。

正则化是一种根据先验或边信息对计算模型施加约束、以防止模型中的变量受嘈杂或不完整测量组的影响的技术。具体地，就来自无源立体系统的深度估计而言，仅可在存在明确特征的情况下很好地限定视差测量。空间周期性图案或无纹理区很难形成，因为潜在的大量视差可从本地对应搜索产生最小化成本。非朗伯表面、遮挡、空间变化的镜片特性以及许多其他因素也可将误差引入通过观察场景的多个图像中明显的视差而获得的深度估计中。可采用深度正则化减轻由场景和系统特性引起的视差估计中的噪声和误差。

在本发明的许多实施方案中，用于改善深度标测图质量的过程能够被实时地执行，并且可例如以高达并且超过25帧/秒的速率在低功率模式的移动处理器上运行。在本发明的多个实施方案中，深度正则化过程采用深度正则化(其在传统上同时优化所有像素)和基于场景中不同区的特性的各种其他滤波技术的混合过程，以提高计算效率。在多个实施方案中，将场景内的区域分类成不同类型的区并且使用区特定的技术进行处理，其中仅使用计算密集型深度正则化技术处理某些区。本文讨论的成本函数、滤波器和参数为具体示例，并且本发明的范围不限于这些具体约束。下文进一步讨论根据本发明的各种实施方案用于执行混合深度正则化的系统和方法。

用于执行混合深度正则化的过程

深度标测图为包含与从视点到场景内可视对象表面的距离有关的信息的图像或图像通道。以举例的方式，图1A中示出了一个图像并且图1B中示出了该图像对应的深度标测图。虽然接下来的大量讨论涉及彩色图像和深度标测图之间的对应关系，但是出于获得深度数据的唯一目的，可采集图像数据。因此，根据本发明的许多实施方案的混合深度正则化过程生成深度标测图，但不生成该深度标测图的对应彩色图像。图1B中的深度标测图指示到场景中的各种对象和背景的距离。存在采用两个或更多个相机阵列、能够从可见光和/或近红外光谱捕获图像数据并产生对应深度标测图的各种成像系统，包括(但不限于)下述文献中描述的阵列相机系统：授予Venkataraman等人的名称为“Multi-Baseline CameraArray System Architecture for Depth Augmentation in VR/AR Applications”的美国专利公布No.2016/0309134，以及授予Venkataraman等人的名称为“Capturing andProcessing of Images Using Monolithic Camera Array with HeterogeneousImagers”的美国专利公布No.2011/0069189。美国专利公布2016/0309134和2011/0069189内关于不同阵列相机架构(包括单片阵列相机、非单片阵列相机和阵列相机阵列)的具体实施的公开内容据此全文以引用方式并入本文。

根据本发明的许多实施方案的用于混合深度正则化的过程用于改善深度标测图的准确性。在许多实施方案中，该混合深度正则化过程能够实时执行以提供用于多种目的的深度信息，包括(但不限于)预览通过融合和/或其他计算成像技术生成的图像，并且/或者生成用于増强现实和混合现实显示的用户界面。深度正则化过程类似于授予Yang等人的名称为“Systems and Methods for Depth-Assisted Perspective DistortionCorrection”的美国专利公布No.2015/0091900中描述的过程，通过増加先验光滑性和其他约束的相关成本函数，以及同时解决所有像素的结果优化问题，来全局性地估计深度。在特定计算带宽和存储器限制的情况下，该方法可能不实用。此外，移动芯片集的不同部件诸如数字/图像信号处理器(DSP/ISP)、中央处理单元(CPU)或图形处理单元(GPU)可更适合于不同的任务并且具有不同的资源来执行总体过程的不同模块。

图2示出了根据本发明实施方案的具有输入和输出的混合深度正则化方法200的概念图。由图中按行表示的三个阶段210、220和230中的每一个处理场景中具有类似特性的像素。根据本发明的某些实施方案，第一阶段210确定图像中无纹理区(即，不具有明显特征的区)的深度。在第二阶段220中，对所得的深度标测图进行去噪并检测深度中断部分。最后在第三阶段230中，处理所检测到的深度边缘，使其与图像边缘一致。

在本发明的多个实施方案中，这些阶段可依序而不是并行地运行，以获得较好的深度标测图质量。作为示例而非限制，在第二阶段220中使用来自第一阶段210的输出可得到更好的性能，且深度中断部分检测的步骤更少、参数化更少、误报率更低。这些有益效果可继而减少第三阶段230中所需的计算，该第三阶段可被认为是过程的计算密集型部分。

在图3中示出了根据本发明的另一个实施方案的混合深度正则化过程300的流程图。过程300包括获取(302)描述(诸如经由相机的立体配置)从多个视点捕获的图像的图像数据。该图像数据可包括参照图像、原始深度标测图和置信度标测图。参照图像通常为从多个视点中的一个捕获的图像(与从虚拟视点合成的图像相对)，并且基于视差原理计算原始深度标测图和置信度标测图。深度标测图描述从给定视点到图像数据内可视对象表面的距离，并且置信度标测图描述原始深度标测图中的深度预测的强度。在若干实施方案中，该图像数据可包含在与授予Venkataraman等人的名称为“Systems and Methods for DecodingLight Field Image Files”的美国专利8,542,933中描述的任何图像文件格式类似的图像文件内。关于存储图像数据、深度标测图数据和辅助数据(诸如但不限于置信度标测图数据和遮挡像素数据)，以及从图像文件中提取图像数据、深度标测图数据和辅助数据的美国专利8,542,933中的公开内容据此全文以引用方式并入。在其他实施方案中，可根据具体应用的要求适当利用用于存储图像数据的多种技术中的任一种。图4A至图4C中示出了参照图像400、原始深度标测图410和置信度标测图420的示例。

在过程300的第一阶段中，可获得图像无纹理区的深度估计。第一复合深度标测图440(如图4E所示)可使用置信度标测图420针对参照图像400基于原始深度标测图410和辅助深度估计(如图4D所示的标测图430)来计算(304)。在许多实施方案中，通过利用在生成第一深度标测图中利用的匹配成本(通常称为成本体积)来生成辅助深度估计，以生成受到一致性约束的深度估计。在多个实施方案中，辅助深度估计优先考虑视差转换中的平滑性。在其他实施方案中，可利用多种过程中的任一种在无纹理区中生成具有高置信度的辅助深度估计。在过程300的第二阶段中，第二复合深度标测图470(如图4H所示)可基于第一复合深度标测图440来计算(306)。这可使用中值滤波器来执行，从而得到中值滤波标测图450(如图4F所示)，以及基于边缘检测的边缘标测图460(如图4G所示)。最后，在过程300的第三阶段中，正则化的深度标测图480(如图4I所示)可通过将双边滤波器应用到第二复合深度标测图470中具有使用参照图像400和边缘标测图460识别的深度中断部分的区上来形成(308)。图4A至图4I示出了根据本发明实施方案的混合深度正则化过程的潜在输入和输出，但是仅用作示例而不旨在限制本发明的范围。如上所述，可在混合深度正则化期间利用参照图像，然后在输出正则化的深度标测图之前将其丢弃。根据本发明的各种实施方案的混合深度正则化过程的具体输出在很大程度上取决于给定应用的要求。在以下章节中描述了可在根据多个实施方案的各种阶段中执行过程的更多细节。

尽管上文参考图1A至图1B以及图4A至图4I描述了用于混合深度正则化的具体过程，但是可利用根据本发明实施方案多种过程中的任一种来实时地改善深度标测图质量。下文进一步讨论根据本发明实施方案的混合深度正则化过程的第一阶段的过程。

阶段1：平坦区

根据本发明的许多实施方案的混合深度正则化过程的第一阶段的责任是获得图像中较大的、无纹理区的深度估计。在许多缺乏可靠数据和可信深度估计的区中，全局方法可能非常适合该阶段。

在根据本发明的一个实施方案的混合深度正则化的第一阶段中，可使用图5A所示的过程500计算第一复合深度标测图。如果原始深度标测图包括初始深度估计，并且置信度标测图包括初始深度估计的置信度值，则可确定(502)像素的初始深度估计的置信度值是否高于阈值。阈值可预先确定，并且可根据应用的具体要求进行调节。当置信度值高于阈值时，可为该像素选择(504)该初始深度估计。当置信度值不高于阈值时，可替代地选择(506)针对该像素的辅助深度估计。

可使用多种过程中的一种或多种计算辅助深度估计。在本发明的一些实施方案中，该图像数据包括指示视差阶段期间像素的匹配成本值的成本体积，并且可基于参照图像和该成本体积来计算辅助深度估计。在这种情况下，术语“成本体积”是指在每个深度样本处针对每一个像素考虑的该像素的相似度量度(也称为成本)。基于每个像素的指示最佳匹配的成本来生成典型的深度标测图。成本体积提供关于其他深度的信息，在所述其他深度处，像素具有类似成本函数。在平坦区中，成本体积可能指示多个深度，在所述多个深度处，从另选的视点观察到类似的像素。确定具有高置信度的深度处的像素位置可能具有单个深度，在该单个深度处，匹配度量显著地强于在初始深度估计过程中其他采样深度处的匹配度量。

在某些实施方案中，使用图像数据的二次采样版本获得辅助深度估计，以提高效率。可采用各种方法来计算辅助深度估计。作为示例而非限制，一种此类方法为H.Hirschmuller，“Accurate and efficient stereo processing by semi-globalmatching and mutual information”，2005IEEE计算机学会计算机视觉和模式识别(CVPR’05)会议，(Washington,DC,USA)，第807-814页，IEEE计算机学会，2005中讨论的半全局匹配(SGM)技术，该文献的相关公开内容据此以引用方式并入。该方法使用一系列一维优化，而不是解决完整的全局二维问题，以便节省计算。

为了填充场景的平坦区，在本发明的一些实施方案中，SGM可利用降采样来执行，诸如(但不限于)1/16的相机分辨率(在每个方向上进行4×二次采样)，以进一步减少填充这些区所涉及的计算的量。来自该流程的视差阶段和归一化的参照图像的成本体积可通过SGM技术进行降采样和处理。所得的深度标测图可使用最邻近的插值进行放大。所得的SGM输出可用作一组辅助深度估计。如上所述，该过程通过基于包括(但不限于)深度估计的置信度值超过阈值置信度水平的标准来确定是否利用通过诸如(但不限于)SGM的过程或来自原始深度标测图的初始深度估计生成的辅助深度估计来形成复合深度标测图。当特定像素的原始深度估计具有相关联的高置信度量度时，通常使用该初始值。在其他区中，SGM估计可认为是更可靠的。该第一复合深度标测图可用作混合深度正则化过程的第二阶段的输入。虽然使用SGM来生成辅助估计可在高帧速率下有效地实现实时深度正则化，但是可利用多种技术中的任一种来生成具有在低置信度水平下确定的原始深度估计的原始深度标测图中的像素的深度估计。例如，根据本发明的许多实施方案的混合深度正则化过程利用与授予Srikanth等人的名称为“System and Methods for Depth Regularization andSemiautomatic Interactive Matting Using RGB-D Images”的美国专利公布No.2015/0254868中描述的方法类似的拉普拉斯方法。

当尝试确定平坦或无纹理区的可靠深度估计时，可遇到的一个问题是，诸如SGM和/或拉普拉斯方法的方法依赖于在无纹理区的边缘处的可靠深度估计。当无纹理区是图像的前景的一部分时，无纹理区边缘处的深度估计通常是足够可靠的。当无纹理区定位于前景对象后时，则无纹理区的一部分可能在用于生成深度估计的场景的所有图像中均不可视。当从少数相机(诸如立体对)估计原始深度标测图时，该问题可能尤其严重。当使用单对图像估计深度时，由于前景对象的遮挡，在参照图像中可视的无纹理区的一部分在第二图像(通常称为另选视图图像)中可能不可视。当来自参照图像中的区在另选视图图像中被遮挡时，参照图像中针对该区的深度估计是不可靠的，因为另选视图图像中不存在对应的区。因此，尝试使用来自遮挡区(即，在一个或多个另选视图图像中不可视的区)的深度估计来估计平坦区中的深度的过程可能会将误差从遮挡区传播到针对平坦区的其余部分生成的深度估计中的至少一部分。在多个实施方案中，识别遮挡区，并且将来自遮挡区的深度估计从用于生成辅助深度估计的过程中排除。这样，可忽略高度不可靠深度估计，从而提高使用来自原始深度标测图和辅助深度估计的置信深度估计生成的复合深度标测图的准确性。

在若干实施方案中，可识别平坦区中被遮挡的部分，并且可通过执行额外的深度估计过程(诸如图5B所示)来获得平坦区中被遮挡的部分的可靠深度估计。在多个实施方案中，深度估计过程涉及识别平坦区，然后通过比较参照图像和至少一个另选视图图像中平坦区的位置来确定所识别的平坦区之间的视差。如上所述，作为前景对象表面的平坦区在参照图像和另选视图图像中将具有类似的形状(变化的来源可包括但不限于导致不同视觉壳体的表面曲率)。当平坦区被前景对象部分遮挡时，该平坦区在图像中的每一个中将具有不同的形状。在许多实施方案中，可利用形成遮挡平坦区的像素来为参照图像和另选视图图像中的每一个生成二进制掩码。在不同的视差偏移处减去参照图像和另选视图图像将产生二进制图像，该二进制图像示出了平坦区在每个视差偏移(即，每个采样深度)处不重叠的程度。当偏移(即，采样的深度)对应于场景内的平坦区的实际深度时，非重叠区将减小。遮挡的存在意味着平坦区具有不同的形状。因此，非重叠区将在平坦区的实际深度处被最小化，但是可能不会被完全消除。当接近平坦区的实际深度时，非重叠区将在平坦区的边缘处形成边界。在若干实施方案中，通过确定使边缘中的每个边缘处的边界非重叠部分最小化的视差偏移，来获得平坦区的多个边界处的深度估计。可通过沿偏移的方向进行扫描以识别由减去图像内的重叠区分隔的不同非重叠区，来确定边缘。这样，该过程可确定不具有均匀深度的平坦区的边界处的可靠深度估计。

在图5B中示出了用于确定在参照图像中可视并且在另选视图图像中可被部分遮挡的平坦区的边缘处的可靠深度估计的过程。过程550包括识别(555)参照图像和另选视图图像中每一个中的一个或多个平坦区，以及随后为参照图像和另选视图图像中的每一个中识别的平坦区生成(557)二进制掩码。在涉及减去(560)参照图像和另选视图图像的偏移二进制掩码的多个视差偏移(对应于离散深度样本)中的每个视差偏移处执行比较。然后可在每个视差偏移处确定(565)在每个边界处的非重叠像素的数量。

在若干实施方案中，对参照图像和另选视图图像进行修正，以使得参照图像和另选视图图像的行对应于捕获图像的两个相机之间的核线。当以此方式修正时，与边界相关联的非重叠像素的数量可通过对每一列中的非重叠像素进行求和来确定。可基于包括低于阈值的像素数的列来识别边缘。因此，可对构成边缘的相邻列中的非重叠像素的总数进行求和。总和被最小化的视差偏移可用作在平坦区边缘处像素的可靠深度估计。在其他实施方案中，对应于平坦区的边缘的非重叠像素的数量可以满足给定应用的要求的多种方式中的任一种来确定。

再次参见在图5B中示出的过程550，可基于在平坦区边缘处产生非重叠像素的最小和的视差偏移来确定参照图像中在平坦区边缘处的像素的深度估计。然后在以与上文概述的过程类似的方式生成(575)辅助深度估计之前，可利用这些深度估计修改(570)来自原始深度标测图的深度估计。

虽然上文参考图5B描述了用于获得在平坦区边缘处的可靠深度估计的具体过程，但是确定可靠深度估计的多种过程中的任一种随后可用作种子，以确定可根据给定应用的要求适当利用平坦区内的其他像素的深度估计(包括涉及使用降采样图像的过程)。

在本发明的若干实施方案中，可通过将阵列划分为相机的组并计算每个组的单独成本体积来修改SGM技术，以使用包括三个或更多个相机的阵列相机来处理遮挡，其中所有组中均包括参照相机。对于每个组，可从参照相机的视点计算相对于来自在不同深度处的不同图像的像素的匹配程度的成本体积。使用SGM，可基于每个相机组中的相机的布置来汇总方向子集中的每个成本体积的成本。例如，如果阵列的左半部分用作一个相机组，则可从源自像素左侧的方向汇总成本。一旦针对每个相机组汇总了成本，就可合并汇总的成本体积。这可使用各种方法来完成，诸如(但不限于)通过针对每个像素和深度水平确定来自每个相机组的最小成本，或者以非线性方式，如果来自每个相机组的匹配成本低于某个阈值，通过对它们进行求和，否则采用最小值。

在SGM中，如果针对深度d处的像素x的数据项或视差匹配成本体积(x为像素的2D位置索引，d为深度或视差索引)可表示为

C(x，d)

并且在跨具有类似强度的像素的先前项或深度平滑性可表示为

其中y∈N(x)表示x的邻域，并且

则全局成本函数项表示为

图5C示出了根据本发明实施方案用于从阵列相机获得图像数据的遮挡区中的可靠深度估计的过程。过程580包括在两个主要阶段中执行的遮挡处理，这两个主要阶段包括经由SGM的视差匹配成本计算和密集深度估计。在第一阶段，为増加视差匹配成本体积提供遮挡区有用信息的可能性，可相对于参照相机将相机阵列细分(582)成两个组G₁和G₂。然后可计算(584)两个相应的匹配成本C₁和C₂，其中

其中δ_n(d)表示在深度d处针对相机n的视差引起的偏移。

可针对每个深度确定(586)权重：

其中b_i为子组G_i中的最大基线并且γ是基于参照像素在x处的强度I_ref(x)的阈值。

然后可获得(588)最终成本体积：

C(x，d)＝α₁(x，d)*C₁(x，d)+α₂(x，d)*C₂(x，d)

其中α₁+α₂＝1。

在本发明的许多实施方案中，之后可采用SGM以使用方向分区来处理遮挡。在通用版本的SGM中，对来自所有方向的能量进行求和。作为示例而非限制，假设有八个方向0至7，

其中

在根据本发明的一些实施方案的方向分区中，可修改SGM技术以汇总(590)对应于相机组的方向子集的成本，然后合并(592)汇总的成本体积。作为示例而非限制，假设有八个方向分区0至7(如图5D所示)，其中

D₀＝{0，1，2，3，4}

D₁＝{0，4，5，6，7}

最小能量可从D₀和D₁中选择。因此，

其中

虽然上述讨论假设跨8个方向使用SGM，但是应当可以理解，可利用任意数量的方向，并以适合于相机阵列内相机相对位置的方式对这些方向进行分区。在本发明的多个实施方案中，上述方法用较小的存储器开销执行成本比较，即可在遮挡区中提供改善的深度估计。基于相机布置，由遮挡而引起的高成本可在来自深度边缘的可预测方向上发生，因此该知识可用在使用SGM或其他优化方法的成本汇总中。此外，成本体积可自动地结合所有遮挡区的最佳匹配成本。在许多实施方案中，类似于上文描述的这些方法可利用矢量化，因此使用CPU上的矢量指令来执行优化是可能的。

在本发明的一个另选实施方案中，可为每个子组保留单独的成本(例如，C₁和C₂)，并且可基于方向分区使用C_i获得两个能量项。在本发明的其他实施方案中，用于处理视差匹配中的可视性的另选方案可包括，例如但不限于，在每个深度处仅接受最小成本、在每个x处接受具有最少的最小成本的子组的整个成本块ci(x)，或者接受估计背景深度的子组的整个成本块。在美国专利8,619,082中描述了根据本发明的各种实施方案用于确定具有可利用的最小成本的子组的过程，来自该专利的相关的公开内容据此全文以引用方式并入本文，所述相关的公开内容包括与使用由相机的阵列获得的图像的子集的深度估计有关的公开内容。

图5G示出了根据本发明实施方案的使用具有遮挡处理的SGM的捕获图像595a(图5E所示)的原始深度标测图595d和正则化的深度标测图595e的示例。与使用针对相同的捕获图像595a的通用SGM具体实施所形成的图5F的原始深度标测图595b和正则化的深度标测图595c相比，可观察到使用遮挡处理减少深度渗出后，遮挡区处的深度估计得到显著改善。

虽然上文参考图5C至图5G描述了用于处理来自阵列相机的图像数据中的遮挡的具体过程，但是可根据给定应用的要求适当利用使用阵列相机配置提供遮挡区中的深度估计的多种过程中的任一种。此外，尽管上文参考图5A描述了混合深度正则化过程的第一阶段的具体过程，但是根据本发明实施方案，可根据具体应用的要求适当利用多种过程中的任一种。下文进一步讨论根据本发明的各种实施方案的混合深度正则化过程的第二阶段的过程。

阶段2：纹理区

在根据本发明的若干实施方案的混合深度正则化过程的第二阶段中，可从深度标测图中去除噪声并且随后检测深度中断部分。噪声可来自如上所述的视差误差、来自辅助深度估计过程(诸如但不限于用于生成辅助深度估计(例如SGM)的过程)的伪影，以及第一阶段中不连贯的组成部分。由于估计置信度本身时出错，因此置信深度估计也可能有噪声。此外，为了进行深度边缘检测，可期望去除噪声以避免误检测。由于除了深度中断部分之外，深度信息通常为非常低的频率，因此本发明的一些实施方案可过度平滑以便改善性能，其中对深度中断部分进行独立处理。

接收第一复合深度标测图作为来自第一阶段的输入后，第二阶段可使用与图6所示的过程600相似的过程计算第二复合深度标测图。可将中值滤波器应用(602)到第一复合深度标测图，从而得到中值滤波深度标测图。随后可将边缘检测应用(604)到该中值滤波深度标测图，以得到边缘检测深度标测图。可扩张(606)该边缘检测深度标测图，以形成边缘标测图。扩张过程可涉及确定边缘标测图中围绕边缘的区。在许多情况下，由于参照图像中的边缘旁的可视场景的一部分在另选视图图像中被遮挡，因此靠近前景对象边缘的深度估计可能是不可靠的。如下文进一步讨论的，这些深度估计的不可靠性可导致来自前景对象的可靠深度估计的深度渗出。因此，扩张边缘标测图使得能够识别靠近可发生高置信度深度估计边缘渗出的边缘的像素，并且避免在第一复合深度标测图的中值滤波期间对其进行处理。在许多实施方案中，边缘标测图用于使用边缘标测图基于中值滤波深度标测图和原始深度标测图来形成(608)第二复合深度标测图。

在原始深度标测图包括初始深度估计，并且中值滤波深度标测图包括中值滤波深度估计的情况下，可根据本发明的某些实施方案使用图7所示的过程700进一步形成第二复合深度标测图。可基于边缘标测图来确定(702)像素是否在边缘内。如果是，则可为该像素选择(704)该初始深度估计；如果否，则可为该像素选择(706)该中值滤波深度估计。

作为示例而非限制，来自前一阶段的输入的第一复合深度标测图可利用滤波器诸如(但不限于)9×9中值滤波器进行滤波。可应用索贝尔边缘检测，然后应用5×5箱结构元件进行扩张。所得的二进制掩码可指示应当由正则化过程的第三阶段和最后阶段处理的像素。根据本发明的一些实施方案，扩张边缘标测图以获得二元掩码可使得能够校正深度渗出，或深度和图像边缘的不对准。如上所述，深度渗出通常表现为向超出遮挡对象边界的背景中的像素分配前景深度。深度渗出可由于视差阶段的成本汇总和深度正则化的当前阶段中的中值滤波而发生。因此，可扩张边缘标测图以便将像素分配到估计不一定是可靠的边缘的邻区中，以便在后续阶段中使用双边滤波进行处理。

在本发明的某些实施方案中，可将扩张元件设定为中值窗口尺寸的一半，以使得对在所检测到的深度边缘的任一侧上的渗出加以说明。増大中值窗口尺寸可降低所检测到的边缘的数量，但是所需的扩张元件的増大的尺寸可通过扩宽每个所检测到的边缘的区来平衡这种效应。因此，掩码中的像素总数与中值窗口尺寸保持大致恒定。应当理解的是，根据本发明的各种实施方案，可根据给定应用的要求适当利用用于检测边缘和扩张边缘的任一侧上的边缘掩码的多种技术中的任一种。

一旦获得表示深度边缘的二进制掩码，就可使用深度边缘二进制掩码来选择在第二复合深度标测图内利用的深度估计的源，从而由中值滤波深度标测图和原始深度标测图形成第二复合深度标测图。该组成部分在下一阶段将被正则化的区域中补足原始估计，并且在其他任何地方使用中值滤波值(来自辅助和可信初始深度估计)。

尽管上文参考图6至图7描述了混合深度正则化过程的第二阶段的具体过程，但是根据本发明实施方案，可根据具体应用的要求适当利用多种过程中的任一种。下文进一步讨论根据本发明的各种实施方案的在混合深度正则化过程中利用的用于正则化边缘(即，深度标测图中的深度中断部分)周围的深度的过程。

阶段3：深度中断部分

在许多实施方案中，混合深度正则化过程单独地处理图像中包含相对较大的深度变化的区(通常称为深度中断部分)。这些区域通常包含深度标测图的高频内容，并且可能需要大量处理以在其中实施亮度深度边缘相关。

在多个实施方案中，可将深度标测图用作在围绕深度中断部分的区中执行正则化的过程800的输入，该深度标测图已被处理以使该深度标测图(诸如但不限于)使用参考图7和图8描述的方法类似的方法生成的第二复合深度标测图)的各个区中的深度估计正则化。如图8所示，可识别(802)参照图像中的第一组边缘，并识别(804)边缘标测图中的第二组边缘。这些第一组边缘和第二组边缘可指示具有深度中断部分的区。然后可基于第一组边缘和第二组边缘来计算(806)第二复合深度标测图中的区域的一组权重。这些权重指示像素与其周围像素之间的深度和强度和/或颜色信息的相似度。使用计算的权重组，可将边缘保留滤波器诸如(但不限于)双边滤波器应用(808)到第二复合深度标测图，以创建最终正则化的深度标测图。

作为示例而非限制，为实现边缘对准，可使用联合双边加权中值滤波器。根据图像计算出的双边权重可允许在深度标测图上进行图像域边缘引导的滤波。基于这些权重选择中值可为来自底层原始深度估计的噪声提供稳健性，并且进一步保留边缘。可采用来自下述文献中的技术：Z.Ma、K.He、Y.Wei、J.Sun和E.Wu，“Constant time weighted medianfiltering for stereo matching and beyond”，2013IEEE国际计算机视觉会议，第49-56页，2013年12月，该文献的相关公开内容据此以引用方式并入。

可将双边滤波器窗口尺寸设定为例如17×17，约为上述部分的示例中的中值窗口尺寸的两倍。可这样做以使得当窗口对中在深度边缘上时，其支撑的区仍将包括此前滤波的、非嘈杂的数据的约50％。其他参数诸如在高斯权重中使用的范围和域标准偏差可根据经验来确定。

在本发明的一些实施方案中，以较低分辨率计算中值和/或其他统计值以减少计算。给定窗口中的深度测量的统计值可不随分辨率而显著变化，因此，在不分析窗口中的每个像素的情况下，可在深度边缘像素处计算高分辨率估计。例如，在17×17窗口中，可基于窗口中的289个像素的1/4来计算中值。这可使得计算速度的显著増加，同时基本不牺牲深度质量。

在许多情况下，在该阶段处理10-20％的像素。然而，由于较大的窗口尺寸、像素权重计算和存储器存取次数，来自该阶段的计算可能是整个深度正则化过程的昂贵部分。由该阶段提供的深度和图像边缘的对准对于诸如添加散景效果和将虚拟对象插入到场景中的应用可意义重大。

尽管上文参考图8描述了用于混合深度正则化过程的最终阶段的涉及具体类型的边缘保留滤波器的具体过程，但是根据本发明的各种实施方案，可根据给定应用的要求适当利用包括用于平滑噪声同时保留深度中断部分的多种技术中的任一种的多种过程中的任一种。下文进一步讨论根据本发明实施方案的各种混合深度正则化过程的结果。

结果

在图4A至图4I中示出了根据本发明实施方案的执行混合深度正则化过程所获得的结果的示例，其中示出了在混合深度正则化过程的各个阶段期间所获得的各种中间计算产物。图4A至图4I示出了针对数据集的实时混合深度正则化的输入、中间结果和最终输出。场景由深度后退的纹理化桌面、在其顶部的不同距离处的三个正面平行的盒子和基本上无纹理的背景组成。归一化的参照图像400还显露跨场景投射了红外(IR)图案，尽管该红外图案在背景中看起来微弱。在该特定示例中，可忽略图4A至图4I中图像大约10％的底部。这是在阵列中的相机之间没有视场重叠的区域，因此这里的数据可认为是无意义的。

来自该流程的视差阶段的原始深度标测图410是期望使用混合深度正则化进行改善的初始深度标测图。可以看出，纹理区域的估计看起来是合理的，而大多数其他地方的估计有噪声，并且大背景区的深度是错误的。同样来自该流程的视差阶段的置信度标测图420标记像素，其中原始深度估计被认为是可靠的。图4A至图4C中的三幅图像连同来自视差阶段的成本体积(未图示)一起形成混合深度正则化的第一阶段的输入。

图4D示出了从使用与上述SGM过程类似的SGM技术的处理中输出(和升采样)的一组辅助深度估计430的示例。虽然围绕盒子和桌面的远侧部分的深度可被认为是未充分形成的，但是已实现了其在平坦背景区中提供相符的估计的目的。一些拖影伪影已引入到背景中，这是平坦区中SGM的典型特征。来自第一阶段的输出即第一复合深度标测图440比原始深度标测图410更符合。

图4F中示出了对来自第一阶段的输出进行中值滤波的结果。在该中值滤波深度标测图450中，已去除许多噪声并且已减轻来自SGM的伪影。在图4G中示出了通过在中值滤波深度标测图上进行边缘检测后进行扩张而获得的深度边缘460的二进制标测图。在该示例中，大多数深度边缘已被可靠地检测，误报极少。已标记盒子和桌子的边缘，并且已忽略桌子的渐进式衰退。这里可观察到中值滤波器对于降噪的重要性，因为图4E中的边缘检测(在中值滤波之前)通常包含更多的误报。图4H中示出了第二阶段的输出，即由图4B、图4F和图4G形成的第二复合深度标测图470。该结果具有远少于图4E的第一复合深度标测图440的噪声。

在最终阶段，在由边缘标测图460中的正值限定的像素位置处对从第二阶段输出的第二复合深度标测图进行滤波。图4I中示出了最终正则化的深度标测图480。双边滤波器主要实现图像和深度标测图之间的边缘一致性，这可认为是中值滤波深度标测图450和最终输出480之间的主要差异。它还可校正由于深度边缘检测中的误报而引起的误差，如在将最终输出480与第二复合深度标测图470、第一复合深度标测图440和初始原始深度标测图410的输出进行比较时可观察到的那样。

尽管上文参考图4A至图4I描述了针对混合深度正则化过程的一个特定具体实施的具体输入、中间结果和最终输出，但是根据本发明实施方案，在实施过程中可观察到符合具体应用的要求的多种结果中的任一种。下文进一步讨论根据本发明的实施方案用于执行混合深度正则化的系统。

用于执行混合深度正则化的系统

根据本发明的各种实施方案用于执行混合深度正则化的系统可定位于网络内的任何地方。如上所述，在具有立体相机配置的AR情景中，用于执行混合深度正则化的技术在改善深度标测图质量方面尤其有效，并且因此在改善3D显示方面尤其有效。因此，捕获图像的相机本身可经由软件被配置为能够自动地和/或在用户的引导下对所捕获的图像执行混合深度正则化的图像处理系统。在多个实施方案中，图像和/或3D环境可使用多种不同的通信技术在网络上共享，这些通信技术包括(但不限于)在线多人游戏的情景下的同步内容管理系统(即，自动协调从一台设备到另一台设备的图像复制的服务器)。在许多实施方案中，接收由相机捕获的立体图像的服务器可被软件配置为执行混合深度正则化。应当理解的是，网络内的几乎任何计算设备均可被配置为根据本发明的各种实施方案执行符合具体应用的要求的透视畸变校正。

图9中示出了根据本发明的各种实施方案的被配置为捕获图像并执行混合深度正则化的计算设备。系统900包括被配置为捕获图像数据和对应的深度标测图数据的多个相机906和908。尽管根据本发明的若干实施方案示出了单独的相机，但是应当理解，用于从不同视点捕获场景的两个或更多个图像的任何设备(诸如但不限于具有两个相机的手持移动电话、网络摄像机和/或头戴式耳机或护目镜)均可用于捕获、传输和/或处理图像。相机906和908可包括两个类似的相机、一个彩色相机和一个黑白相机(该黑白相机还可在近红外光谱的至少一部分内成像)、两个具有不同视场的类似相机和/或能够捕获立体图像的任何其他配置。此外，可使用可捕获深度信息和图像数据的单个移动相机和/或多种其他相机系统中的任一个，将与上述的这些深度正则化过程类似的过程应用到深度标测图。

相机907和908可经由网络902将图像数据和深度标测图数据传输到图像处理服务器904。系统900内的任何计算设备可潜在地用于执行混合深度正则化。在多个实施方案中，相机906和908(或包括两个相机的设备)包括将相机配置为对由相机捕获或存储的图像执行混合深度正则化的软件。在若干实施方案中，图像处理服务器904可对从相机接收的图像执行混合深度正则化。最终正则化的深度标测图和/或使用该正则化的深度标测图生成的显示可直接或间接地传输至服务器904内的显示器，或远程传输至其他设备诸如但不限于包括相机阵列的头戴式耳机或其他设备。

图10中示出了根据本发明实施方案的可用于自动执行混合深度正则化的图像处理系统。图像处理系统1000包括处理器1010、存储器1020、网络接口1030、(可选的)显示器接口1040和(可选的)相机接口1050。服务器通常将不需要显示器接口或相机接口，并且许多包括显示器的计算设备不包括相机接口。存储器1020包括图像处理应用程序1060、图像和深度标测图数据1070、中间正则化结果1075和最终正则化的深度标测图1080。图像处理应用程序可使用上述任何技术将处理器配置为执行混合深度正则化，以产生用于3D显示的正则化的深度标测图。

尽管上文参考图9和图10描述了具体的图像共享系统和图像处理系统，但是根据本发明实施方案，可根据给定应用的要求适当利用多种计算设备中的任一种来采集、共享和/或执行图像的混合深度正则化。

虽然以上说明含有本发明的许多具体实施方案，但这些都不应理解为对本发明范围的限制，而应理解为其一个实施方案的示例。因此，本发明的范围不应由所示实施方案确定，而应由所附权利要求及其等同物确定。

Claims (20)

1.一种深度感测系统，包括：

多个相机；

处理器；

存储器，所述存储器包含图像处理应用程序；

其中所述图像处理应用程序引导所述处理器：

使用所述多个相机从多个视点获得多个图像的图像数据，其中所述多个图像的所述图像数据包括参照图像和至少一个另选视图图像；

使用第一深度估计过程、使用所述参照图像的所述图像数据和所述至少一个另选视图图像的所述图像数据，生成原始深度标测图和置信度标测图，所述原始深度标测图包含所述参照图像内的像素的深度估计，所述置信度标测图描述所述原始深度标测图内包含的深度估计的可靠性；以及

通过以下方式生成正则化的深度标测图：

使用不同的第二深度估计过程计算包含所述参照图像内的像素的深度估计的辅助深度标测图；以及

通过从所述原始深度标测图和所述辅助深度标测图中选择深度估计来计算复合深度标测图，其中当所述深度估计由所述置信度标测图指示为可靠时，从所述原始深度标测图中选择所述参照图像中的像素的深度估计。

2.根据权利要求1所述的深度感测系统，其中所述复合深度标测图为第一复合深度标测图，并且所述图像处理应用程序还引导所述处理器通过以下方式生成正则化的深度标测图：

通过以下方式计算第二复合深度标测图：

将平滑滤波器应用到所述第一复合深度标测图中的深度估计；

使用所述滤波后的第一复合深度标测图计算边缘标测图，其中所述边缘标测图指示所述参照图像内形成边缘的一部分的像素；以及

通过从所述原始深度标测图和所述滤波后的第一复合深度标测图中选择深度估计来计算第二复合深度标测图，其中当所述边缘标测图指示所述深度估计为相对于形成边缘的一部分的所述参照图像的像素时，从所述原始深度标测图中选择所述参照图像中的像素的深度估计。

3.根据权利要求2所述的深度感测系统，其中所述图像处理应用程序还引导所述处理器将边缘保留滤波器应用到由所述边缘标测图指示为包含深度中断部分的所述第二复合深度标测图的至少一个区。

4.根据权利要求2所述的深度感测系统，其中所述图像处理应用程序还引导所述处理器通过以下方式来计算所述第二复合深度标测图：

将边缘检测应用到所述滤波后的第一复合深度标测图，以得到边缘检测深度标测图；以及

扩张所述边缘检测深度标测图，以得到所述边缘标测图。

5.根据权利要求1所述的深度感测系统，其中所述图像处理应用程序还引导所述处理器通过测量在所述参照图像和所述至少一个另选视图图像之间的可观察视差，使用所述参照图像的所述图像数据和所述至少一个另选视图图像的所述图像数据，生成原始深度标测图和置信度标测图，所述原始深度标测图包含所述参照图像内的像素的深度估计，所述置信度标测图描述包含在所述深度标测图内的深度估计的可靠性。

6.根据权利要求5所述的深度感测系统，其中所述图像处理应用程序还引导所述处理器通过以下方式基于在所述参照图像和所述至少一个另选视图图像之间测量的可观察视差来估计深度：

通过将所述参照图像中的像素与基于使用成本函数的多个深度样本确定的所述至少一个另选视图图像中的像素的相似度进行比较来测量视差；以及

通过识别所述采样深度来估计所述参照图像中所述像素的深度，在所述采样深度处，所述参照图像中的像素的所述成本函数将最强匹配指示为所述像素的所述估计深度。

7.根据权利要求6所述的深度感测系统，其中所述图像处理应用程序还引导所述处理器：

使用在每个采样深度处使用所述成本函数确定的成本在存储器中构建成本体积；以及

基于所述成本体积来计算所述辅助深度标测图。

8.根据权利要求7所述的深度感测系统，其中所述图像处理应用程序还引导所述处理器使用第二深度估计过程计算所述辅助深度标测图，包括：

对所述参照图像和所述成本体积进行降采样；以及

使用所述成本体积估计深度，以在所述参照图像的无纹理区中的所述辅助深度标测图内实施平滑深度过渡。

9.根据权利要求1所述的深度感测系统，其中当来自所述置信度标测图的像素的置信度值高于阈值时，所述图像处理应用程序还引导所述处理器通过确定来自所述原始深度标测图的像素的深度估计可靠，从而计算所述复合深度标测图。

10.根据权利要求1所述的深度感测系统，其中所述图像处理应用程序还引导所述处理器：

使用至少一个标准识别所述参照图像和所述至少一个另选视图图像内的至少一个对应区；

基于所述识别的至少一个对应区来生成相对于所述参照图像和所述至少一个另选视图图像的二进制图像；

当偏移对应于多个深度样本时，减去所述参照图像和所述至少一个另选视图图像的所述偏移版本，以针对所述多个深度样本中的每一个产生偏移和减去图像；

识别所述偏移和减去图像内的边界；

识别所述偏移和减去图像内的所述边界的区域；并且

基于所述深度样本来确定所述参照图像中的所识别区的边界处像素的深度估计，在所述深度样本处，所述偏移和减去图像中的所述边界区域被最小化。

11.一种深度感测方法，包括：

使用所述多个相机从多个视点获得多个图像的图像数据，其中所述多个图像的图像数据包括参照图像和至少一个另选视图图像；

使用第一深度估计过程、使用所述参照图像的图像数据和所述至少一个另选视图图像的图像数据，生成原始深度标测图和置信度标测图，所述原始深度标测图包含所述参照图像内的像素的深度估计，所述置信度标测图描述所述原始深度标测图内包含的深度估计的可靠性；以及

通过以下方式生成正则化的深度标测图：

使用不同的第二深度估计过程计算包含所述参照图像内的像素的深度估计的辅助深度标测图；以及

通过从所述原始深度标测图和所述辅助深度标测图中选择深度估计来计算复合深度标测图，其中当所述深度估计由所述置信度标测图指示为可靠时，从所述原始深度标测图中选择所述参照图像中的像素的深度估计。

12.根据权利要求11所述的深度感测方法，其中所述复合深度标测图为第一复合深度标测图，并且生成正则化的深度标测图还包括：

通过以下方式计算第二复合深度标测图：

将平滑滤波器应用到所述第一复合深度标测图中的深度估计；

使用所述滤波后的第一复合深度标测图计算边缘标测图，其中所述边缘标测图指示所述参照图像内形成边缘的一部分的像素；以及

通过从所述原始深度标测图和所述滤波后的第一复合深度标测图中选择深度估计来计算第二复合深度标测图，其中当所述边缘标测图指示所述深度估计为相对于形成边缘的一部分的所述参照图像的像素时，从所述原始深度标测图中选择所述参照图像中的像素的深度估计。

13.根据权利要求12所述的深度感测方法，还包括将边缘保留滤波器应用到由所述边缘标测图指示为包含深度中断部分的所述第二复合深度标测图的至少一个区。

14.根据权利要求12所述的深度感测方法，其中计算所述第二复合深度标测图还包括：

将边缘检测应用到所述滤波后的第一复合深度标测图，以得到边缘检测深度标测图；以及

扩张所述边缘检测深度标测图，以得到所述边缘标测图。

15.根据权利要求11所述的深度感测方法，还包括测量在所述参照图像和所述至少一个另选视图图像之间的可观察视差，其中使用所述参照图像的所述图像数据和所述至少一个另选视图图像的所述图像数据，生成原始深度标测图和置信度标测图，所述原始深度标测图包含所述参照图像内的像素的深度估计，所述置信度标测图描述包含在所述深度标测图内的深度估计的可靠性。

16.根据权利要求15所述的深度感测方法，还包括通过以下方式基于在所述参照图像和所述至少一个另选视图图像之间测量的可观察视差来估计深度：

通过将所述参照图像中的像素与基于使用成本函数的多个深度样本确定的所述至少一个另选视图图像中的像素的相似度进行比较来测量视差；以及

通过识别所述采样深度来估计所述参照图像中所述像素的深度，在所述采样深度处，所述参照图像中的像素的所述成本函数将最强匹配指示为所述像素的所述估计深度。

17.根据权利要求16所述的深度感测方法，还包括：

使用在每个采样深度处使用所述成本函数确定的成本生成成本体积；以及

基于所述成本体积来计算所述辅助深度标测图。

18.根据权利要求17所述的深度感测方法，其中使用第二深度估计过程计算所述辅助深度标测图包括：

对所述参照图像和所述成本体积进行降采样；以及

使用所述成本体积估计深度，以在所述参照图像的无纹理区中的所述辅助深度标测图内实施平滑深度过渡。

19.根据权利要求11所述的深度感测方法，其中当来自所述置信度标测图的像素的置信度值高于阈值时，计算所述复合深度标测图还包括确定来自所述原始深度标测图的像素的深度估计可靠。

20.根据权利要求11所述的深度感测方法，还包括：

使用至少一个标准识别所述参照图像和所述至少一个另选视图图像内的至少一个对应区；

基于所述识别的至少一个对应区来生成相对于所述参照图像和所述至少一个另选视图图像的二进制图像；

当偏移对应于多个深度样本时，减去所述参照图像和所述至少一个另选视图图像的所述偏移版本，以针对所述多个深度样本中的每一个产生偏移和减去图像；

识别所述偏移和减去图像内的边界；

识别所述偏移和减去图像内的所述边界的区域；以及

基于所述深度样本来确定所述参照图像中的所识别区的边界处像素的深度估计，在所述深度样本处，所述偏移和减去图像中的所述边界区域被最小化。

Images