CN114758165B - 一种基于分层聚类和边界增强的深度图上采样方法及装置 - Google Patents

Abstract

本发明公开了一种基于分层聚类和边界增强的深度图上采样方法和装置，涉及深度图上采样技术领域。本发明不仅对低分辨深度图进行预处理，将其分成深度连续区域和深度不连续区域，深度连续区域的种子像素直接进行插值，深度不连续区域的目标像素是本发明需要进行处理的，减少目标数量，提高计算效率。本发明还利用初始素描图算法对高分辨彩色图像进行预处理，利用各向异性滤波器获取平滑的均匀区域和增强的图像边界，并且对于颜色相近的深度不连续区域，利用素描图的边界信息进行处理，有助于后续精细的图像分割。在进行深度图上采样时，提出了一种分层分类别的上采样方法，可以对目标像素进行分类插值，有效防止了深度不连续区域的深度混淆伪影。

Description

一种基于分层聚类和边界增强的深度图上采样方法及装置

技术领域

本发明涉及深度图上采样技术领域，特别涉及一种基于分层聚类和边界增强的深度图上采样方法及装置。

背景技术

近年来，在各种三维应用中，如智能人机交互、三维场景重建、机器人自主导航等，三维深度信息的采集具有重要的作用。然而，由于制造成本高，深度传感器的分辨率发展缓慢，远远落后于需求。激光扫描方法不适合实时应用，且设备非常昂贵，而被动立体视觉方法既不能消除遮挡，也不能解决渲染过程中的无纹理问题。由彩色相机和深度传感器组成的融合相机系统因其低成本而被广泛应用于深度采集。典型的深度相机是Time-of-flight(ToF)相机和结构光相机(如Kinect)，但它们所获取的深度图都存在分辨率低、深度信息丢失以及噪声干扰等问题，限制了其应用和发展。深度图上采样方法可以在硬件无法取得突破性进展的现状下，利用算法处理从深度相机获取到的低质量深度图中重建出高质量的深度图，具有很高的研究价值和现实意义。现有的上采样方法通常是利用深度相机获取的低分辨深度图和同场景的高分辨彩色图像来重建高分辨深度图。由于深度上采样可以利用配准后的高分辨彩色图像作为辅助引导信息，因此和普通图像超分辨重建相比，其采样率相对较高，上采样深度更准确。

常用的深度图上采样方法有基于全局优化和基于滤波的方法。基于全局优化的方法主要有基于马尔科夫随机场的方法和总广义变分方法，通过优化能量函数得到高分辨深度图，这些方法解决了超平滑问题，但在优化过程中带来了误差传播，导致边界区域出现锯齿伪影，而且复杂的迭代计算使得此类方法无法进行实时应用。

基于滤波的方法主流是由Kopf等人(DOI：10.1145/1239451.1239547)提出的联合双边上采样JBU方法，用两个高斯核(空间核和颜色核)的乘法将低分辨深度插值到高分辨网格中，空间核表示深度图中的空间距离，颜色核表示光学彩色图像中的色差。该方法非常快，但是会在某些边界区域产生关键性的伪影，导致生成边缘模糊的高分辨深度图。大量的研究工作都是围绕该方法进行改进。例如，Y.S.Ho等人(DOI：10.1049/el.2013.3956)提出一种联合双边加局部最小(JBLM)滤波方法，主要提出边界处理的思想，具体来说，深度图分为两部分：同质区域和深度不连续区域。在同质区域采用JBU方法，在边界区域即深度不连续区域采用局部最小滤波器。该方法在不增加计算量和存储成本的前提下，减小了边界区域的深度掺混现象。Ming-Yu Liu等人(DOI：10.1109/CVPR.2013.29)提出经典的联合测地上采样JGU方法，给出目标像素到种子像素的测地距离的定义。在高分辨网格图中，种子像素是低分辨深度图中已知的点，目标像素是深度未知且待插值的点。首先，计算从当前目标到所有种子像素的测地距离，找到离当前目标最近的几个种子，利用高斯滤波将这些种子的值传递给当前目标。作为一种全局算法，它可以找到更接近当前目标像素的种子，并利用这些种子进一步提供精确的深度边界来完成插值。然而，当跨越深度边界的图像颜色非常丰富时，就会出现严重的深度掺混伪影。

2020年，公开号为CN111489383A的“基于深度边缘点与彩色图像的深度图像上采样方法及系统”先根据不同情况对低分辨深度图中的不可靠点进行标记和修正，再进行双三次插值，得到初始化上采样深度图。然后用Sobel算子对其进行边缘点提取，获取低分辨深度边缘图，并映射到高分辨网格上，同时基于结构一致性对初始化上采样深度图进行像素点分类，将真实边缘像素点映射至边缘增强的低分辨深度图中，通过设置影响因子对深度可靠像素区域进行修正，得到高分辨深度图。该方法可有效增强细节边缘区域，完成深度缺失部分的重建。但是处理过程繁琐复杂，预处理过程仅针对低分辨深度图，降低了效率，上采样因子增大时效果降低。

2021年，武军安(DOI：10.3788/IRLA20200081)使用双三次插值对低分辨深度图进行初始上采样，并作为导向滤波的输入图像。利用多尺度Canny边缘检测提取可靠边缘区域，根据与高分辨灰度图像的边缘相似性提取公共边缘区域，对于初始化上采样的低分辨深度图中属于公共边缘区域的像素点，根据与高分辨灰度图像边缘位置关系进行分类，重新对导向滤波器的系数进行加权，提高上采样深度图的质量。该方法计算效率较高，可为实时应用提供可靠数据，但对于复杂纹理信息的重建效果较差。

2021年，万琴(DOI：10.3778/j.issn.1002-8331.1912-0463)提出一种基于深度置信度的分层联合双边滤波深度图修复算法，在深度退化模型的基础上提出深度置信度测量，将单个像素之间的左右一致性扩展为邻域化计算，设定阈值，将像素分为高置信度、低置信度和被遮挡像素。基于深度置信度动态估计像素权重，选择相应的滤波器大小，利用分层联合双边滤波进行深度修复，获取高质量的深度图。该方法的分层指的是根据深度像素分类，重新定义联合双边滤波器的权重，从而简化算法、提高效率。但是，该方法对颜色相似的深度图的修复效果欠佳。

发明内容

本发明要解决的技术问题，在于提供一种基于分层聚类和边界增强的深度图上采样方法及装置，通过分别对低分辨深度图和高分辨彩色图像进行预处理，然后利用聚类算法对深度图进行分层插值，有效提高深度图上采样的效率和精确性，防止深度不连续区域的深度混淆伪影。

第一方面，本发明提供了一种基于分层聚类和边界增强的深度图上采样方法，包括：图像预处理过程以及分层深度图上采样过程；

所述图像预处理过程包括：

对低分辨深度图进行预处理，划分为深度连续区域和深度不连续区域，得到预处理深度图D_I；将位于所述深度连续区域的像素作为种子像素，用于插值；将位于所述深度不连续区域的像素作为目标像素，通过种子像素对所述进行目标像素插值；

利用初始素描图模型对高分辨彩色图像进行处理，得到一个原始草图和一个可素描图像，利用所述可素描图像对所述高分辨彩色图像进行平滑处理，实现快速有效的聚类；在平滑的高分辨彩色图像中加入所述原始草图，增强图像边界，得到高分辨灰度图I_R；

所述分层深度图上采样过程包括：

对预处理深度图D_I进行分层插值，每一层均先利用k-means聚类方法将所述高分辨灰度图I_R分成k_n类，每一类包含数个不连续区域，再对每个区域利用最近邻联合双边NJB插值方法对目标像素进行插值，其中，k_n为第n层聚类的类别数量；当最后一层插值完成后，几乎所有目标像素都被插值，对于剩余的未被插值的目标像素，利用后平滑操作进行删除。

进一步地，所述图像预处理过程中，对低分辨深度图进行预处理，采用双线性滤波和阈值函数进行区域划分。

进一步地，所述图像预处理过程中，初始素描图模型具体如下：

p(I)＝p(I_Φ)p(Φ_sk)p(Φ_nsk)

其中，p(Φ_sk)表示可素描部分，p(Φ_nsk)表示不可素描部分，p(I_Φ)表示Gestalt字段模型。

进一步地，所述k-means聚类的类别数k_n是逐层递减的，实现对图像进行由细到粗的分割。

进一步地，所述分层深度图上采样过程中，对每个区域利用最近邻联合双边NJB插值方法对目标像素进行插值，具体为：

假设当前插值区域内包含T个目标像素和S个种子像素，对每个目标像素，先在它周围找到几个最近的种子，并确保被选择的种子在所述S个种子像素中，然后利用选定的种子通过联合双边滤波对当前目标像素进行插值：

其中，L表示被选择的种子的个数，g_d(t,s_l)和g_c(t,s_l)分别表示关于空间距离和色差的高斯核，具体如下：

其中，d(t,s_l)为当前目标像素t和被选择的种子像素s_l之间的几何距离，d_σ和c_σ为给定的尺度参数。

第二方面，本发明提供了一种基于分层聚类和边界增强的深度图上采样装置，包括：图像预处理模块以及分层深度图上采样模块；

所述图像预处理模块，用于对低分辨深度图进行预处理，划分为深度连续区域和深度不连续区域，得到预处理深度图D_I；将位于所述深度连续区域的像素作为种子像素，用于插值；将位于所述深度不连续区域的像素作为目标像素，通过种子像素对所述进行目标像素插值；利用初始素描图模型对高分辨彩色图像进行处理，得到一个原始草图和一个可素描图像，利用所述可素描图像对所述高分辨彩色图像进行平滑处理，实现快速有效的聚类；在平滑的高分辨彩色图像中加入所述原始草图，增强图像边界，得到高分辨灰度图I_R；

所述分层深度图上采样模块，用于对预处理深度图D_I进行分层插值，每一层均先利用k-means聚类方法将所述高分辨灰度图I_R分成k_n类，每一类包含数个不连续区域，再对每个区域利用最近邻联合双边NJB插值方法对目标像素进行插值，其中，k_n为第n层聚类的类别数量；当最后一层插值完成后，几乎所有目标像素都被插值，对于剩余的未被插值的目标像素，利用后平滑操作进行删除。

进一步地，所述图像预处理模块中，对低分辨深度图进行预处理，采用双线性滤波和阈值函数进行区域划分。

进一步地，所述图像预处理模块中，初始素描图模型具体如下：

p(I)＝p(I_Φ)p(Φ_sk)p(Φ_nsk)

其中，p(Φ_sk)表示可素描部分，p(Φ_nsk)表示不可素描部分，p(I_Φ)表示Gestalt字段模型。

进一步地，所述k-means聚类的类别数k_n是逐层递减的，实现对图像进行由细到粗的分割。

进一步地，所述分层深度图上采样模块中，对每个区域利用最近邻联合双边NJB插值方法对目标像素进行插值，具体为：

假设当前插值区域内包含T个目标像素和S个种子像素，对每个目标像素，先在它周围找到几个最近的种子，并确保被选择的种子在所述S个种子像素中，然后利用选定的种子通过联合双边滤波对当前目标像素进行插值：

其中，L表示被选择的种子的个数，g_d(t,s_l)和g_c(t,s_l)分别表示关于空间距离和色差的高斯核，具体如下：

其中，d(t,s_l)为当前目标像素t和被选择的种子像素s_l之间的几何距离，d_σ和c_σ为给定的尺度参数。

本发明实施例至少具有如下技术效果或优点：

1、在进行图像预处理时，本专利不同于现有方法，不仅对低分辨深度图进行预处理，利用双线性滤波和阈值函数进行区域划分，将其分成深度连续区域和深度不连续区域(即边界区域)，连续区域的种子像素直接进行插值，不连续区域的目标像素是本专利需要进行处理的，减少目标数量，提高计算效率。同时，本专利还利用初始素描图算法对高分辨彩色图像进行预处理，将其分为素描图和可素描图，利用各向异性滤波器获取平滑的均匀区域和增强的图像边界，并且对于颜色相近的深度不连续区域，利用素描图的边界信息进行处理，有助于后续精细的图像分割。

2、在进行深度图上采样时，本专利提出了一种分层分类别的上采样方法，将图像分割成多个不连通区域，用同一区域内的种子像素对目标像素进行插值。方法首先利用k-means聚类算法，将高分辨彩色图进行分层分类，第一层需要将图像分割成相对较多的类别，确保所有的深度不连续点都被分割到不同区域，类别数逐层递减。由于预处理过程中对高分辨彩色图像进行了同质区域的平滑和边界区域的增强，因此，可以对目标像素进行分类插值，有效防止了深度不连续区域的深度混淆伪影。

3、在进行目标像素的插值时，提出基于最近邻联合双边插值法，对每个目标像素，选择几个最近邻的种子像素进行联合双边滤波插值，选取种子像素的过程是以目标像素为中心进行搜索，最大搜索半径的大小随着层数增加而减小。对于一些不良像素在分层插值中无法填充，也利用了类似于双边滤波的方法进行处理，有效提高深度图上采样的效率和精确性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明实施例一中方法中的流程图

图2为本发明整体方案技术框架示意图；

图3为本发明分层深度图上采样过程的流程图；

图4为本发明搜索种子和目标像素的示例；

图5为本发明搜索L个种子像素用于当前目标的插值的示意图；

图6为本发明实施例二中装置的结构示意图。

具体实施方式

本申请实施例通过提供一种基于分层聚类和边界增强的深度图上采样方法及装置，通过分别对低分辨深度图和高分辨彩色图像进行预处理，然后利用聚类算法对深度图进行分层插值，有效提高深度图上采样的效率和精确性，防止深度不连续区域的深度混淆伪影。

本申请实施例中的技术方案，总体思路如下：

(1)对低分辨深度图进行预处理，将其分为深度连续区域和深度不连续区域，采用不同方法分别进行上采样，节省处理时间，提高效率。

(2)利用初始素描图算法(Primal sketch)对高分辨彩色图像进行处理，得到一个原始草图和一个可素描图像，一方面，利用可素描图像对高分辨彩色图像进行平滑处理，实现快速有效的聚类；另一方面，在平滑的高分辨彩色图像中加入原始草图，增强图像边界，可有助于保持深度边界，并使其尽可能与高分辨彩色图像的边界重叠。

(3)对深度图进行分层插值，每一层包含两个步骤：

1)利用k-means聚类方法将预处理的高分辨彩色图像分成k类，每一类包含数个不连续区域；

2)对每个区域，利用最近邻联合双边NJB插值方法对目标像素进行插值。

为了找到最精确的种子进行插值，需要对图像进行由细到粗的分割，即k-means聚类的类别数k是递减的。

(4)当最后一层插值完成后，几乎所有目标像素都被插值，对于一些剩余的目标，利用后平滑操作进行删除。

整体方案技术框图如图2所示，分为两个过程，图像的预处理过程以及分层深度图上采样过程。

一、图像的预处理过程

主要包括两个图像预处理过程，分别作用于低分辨深度图和高分辨彩色图像。预处理A从连续区域中分离出深度不连续区域，即边界区域。位于连续区域的像素称为种子像素，用于插值；位于不连续区域的像素称为目标像素，通过种子像素进行插值。预处理B引入初始素描图算法进行图像平滑和高分辨彩色图像的边界增强。

1)低分辨深度图的预处理A

针对深度图纹理简单、颜色信息较少的特点，采用双线性滤波和阈值函数进行区域划分，使得种子像素数量增加，目标像素数量减少，大大节省了计算时间。首先，利用双线性插值法将低分辨深度图放大至与高分辨彩色图像相同的大小，称之为中间上采样深度图利用如式(1)所示的滑窗函数将其分为深度不连续区域和连续区域，

其中，N_d(i)表示以像素i为中心的矩形框；Th_D为阈值，用于估计N_d(i)属于连续区域还是不连续区域。如果N_d(i)中像素的最大深度差比阈值大，那么N_d(i)属于深度不连续区域，区域内像素是目标像素，否则，N_d(i)属于深度连续区域，N_d(i)中的像素是种子像素，直接进行插值，从而得到预处理的深度图D_I。

2)高分辨彩色图像的预处理B

由于YCbCr色彩空间的图像在描述人类视觉上更具有优越性，因此，利用初始素描图算法对高分辨彩色图像的灰度图(高分辨灰度图像)进行精细的分割。初始素描图模型可以简单描述成：

p(I)＝p(I_Φ)p(Φ_sk)p(Φ_nsk) (2)

其中，p(Φ_sk)表示可素描部分，p(Φ_nsk)表示不可素描部分，即原始草图，p(I_Φ)表示Gestalt字段模型。

通过初始素描模型，得到原始草图S_g和可素描图S_i。原始草图S_g提供了清晰的图像边界，可素描图S_i描述了图像的结构，同时对结构的内部进行模糊。因此，利用它们通过各向异性滤波器对高分辨灰度图像进行平滑，得到增强的图像边界和平滑的均匀区域：

式中，I为高分辨灰度图像，N(i)表示像素i的8个邻域，f_ij为各向异性核函数：

式中，像素i表示需要进行平滑的当前点，像素j表示i的邻域像素之一，j_p表示沿着像素i的一个方向上ω个邻域像素之一，σ_A、σ_B和C_t为三个给定的参数。

第一种情况表示当前像素和它的邻域像素不在目标边界，即它们在相同的同质区域。对当前像素i进行平滑，为了增加像素j的权值，可以将参数σ_A设置得相对大一些。

第二种情况只限制了位于目标边界的当前像素i，因此，它包含了相邻像素j是否位于边界上的情况。同时，为了加强边界，参数σ_B不应该设置得太大。

第三种情况表示当前像素i不位于目标边界但是其邻域像素j位于边界。在这种情况下，C_t应该足够大，以降低边界像素j对当前像素i的影响。

从而，可以得到滤波后的高分辨图像I_F，对均匀区域进行了平滑，并有效增强了边界。

上述过程有助于后续基于k-means的图像分割。但在一些深度不连续区域，颜色非常相似，像素将被错误地聚集到相同的类别。这是因为k-means聚类是基于像素的，即将数值相近的像素划分为同一类。也就是说，当颜色相近的区域属于不同的深度场时，会导致错误分割。为了解决这个问题，素描图S_g的边界信息将加入到滤波后的高分辨图像I_F中，

因此，跨越深度边界的区域将被分割成不连通的区域。最终，获得预处理图像I_R用于后续的图像分割。

二、分层深度图上采样过程

提出分层深度图上采样方法，利用种子像素对预处理深度图D_I中的目标像素进行插值。为了避免深度掺混伪影，获得准确的深度边界，首先将图像分割成多个不连通的区域，然后用同一区域内的种子对每个区域内的目标进行插值。

1)基于k-means的高分辨灰度图像分割

首先，基于k-means聚类算法，将高分辨灰度图I_R分割成k_n类，其中k_n来自给定的类别编号集合。图2给出了本方法的流程图，本方法是逐层完成的，N表示总层数。在第一层，需要将图像分割成相对较多的类别，以确保所有的深度不连续点都被分割到不同的区域。但同时也存在不包含种子像素区域的目标无法插值的问题。因此，类别数k_n是逐层递减的。

假设训练集为{x₁,x₂,…,x_y}，k-means聚类是将观测值y分成k类C＝{C_1,C_2,…,C_k}(k≤y)，以最小化类内平方和，其目标是找到C，使得

式中，μ_p表示C_p中所有点的均值。可以看出，k-means算法需要不断调整样本分类，计算新的聚类中心，当训练集包含大量数据时，算法收敛速度非常慢。因此，可以预先对输入的预处理的高分辨图像I_R进行随机采样，以提高效率。由于事先对高分辨彩色图像进行了同质区的平滑和边界增强，对其进行k-means分割可以得到更明确的界限。

2)搜索相应的种子和目标

假设在第n层，高分辨灰度图像I_R被分割成k_n类，并得到聚类图像Ω，如图4(a)所示。在聚类图像Ω中，每个灰度级表示不同的类别Ω_i＝{Ω|Ω(j)＝i}，i＝1～k_n。然后将每个Ω_i划分成M个不连续区域。如图3所示的方法，利用位于Ω_im(m＝1,…,M)的种子像素对相同区域的目标进行插值。图4(b)中的黑灰色像素表示Ω_i中的种子，白色像素表示对应目标。通过这些方法可以有效搜索到相应的种子和目标。为了节省插值时间，一些只包含几十个像素的非常小的区域将被忽略，它们很容易在最后平滑过程中进行填充。

3)基于最近邻联合双边的插值方法

假设当前插值区域内包含T个目标像素和S个种子像素。如图3所示，对每个目标像素先在它周围找到几个最近的种子，并确保被选择的种子在之前的S个种子像素中。然后利用选定的种子通过联合双边滤波对当前目标像素进行插值：

式中，L表示被选择的种子的个数。g_d(t,s_l)和g_c(t,s_l)分别表示关于空间距离和色差的高斯核：

式中，d(t,s_l)为当前目标像素t和被选择的种子像素s_l之间的几何距离，d_σ和c_σ为给定的尺度参数。值得一提的是s_l与t在同一个区域，关键问题是如何确定当前区域Ω_im里L个对应的种子像素。

举例说明，放大图4(b)中的灰色方框区域如图5所示，假设图5中黑色交叉点为当前目标像素为了得到L个最近的种子像素，以为中心生成一个正方形的搜索窗口。从搜索半径ω＝1出发，搜索满足像素都是种子和像素与当前目标像素同样位于当前区域Ω_im这两个条件的像素。如果找不到满足条件的像素，则以步长为1增加搜索半径ω。一旦搜寻到一个这样的像素，就停止搜索。所有满足上述条件且位于当前搜索窗口(图4蓝框)上的像素都用于插值。搜索窗口的半径ω应该是递减的，且不大于给定的最大搜索半径W_n，n表示第n层。这意味着W_n与k_n是一一对应的。W_n随着层数增加而减少。这是因为种子在一开始相对较少，距离目标较远。但随着插值量的增加，距离目标的距离逐渐减小。

基于k-means的图像分割至少可以分为两大类，即k_n≥2，这将导致一些不良像素在分层插值过程中无法填充。为了移除这些不良像素，提出了一种类似于双边滤波的方法，对不良像素进行处理。假设u是不良像素之一，

式中，N_s(u)是以u为中心的矩形搜索窗口，大小由经验确定。d(u,v)表示几何距离，I为最初的高分辨彩色图像。这样，就可以得到边界清晰的上采样深度图。

实施例一

本实施例提供一种基于分层聚类和边界增强的深度图上采样方法，如图1所示，包括：图像预处理过程以及分层深度图上采样过程；

所述图像预处理过程包括：

对低分辨深度图进行预处理，划分为深度连续区域和深度不连续区域，得到预处理深度图D_I；将位于所述深度连续区域的像素作为种子像素，用于插值；将位于所述深度不连续区域的像素作为目标像素，通过种子像素对所述进行目标像素插值；

利用初始素描图模型对高分辨彩色图像进行处理，得到一个原始草图和一个可素描图像，利用所述可素描图像对所述高分辨彩色图像进行平滑处理，实现快速有效的聚类；在平滑的高分辨彩色图像中加入所述原始草图，增强图像边界，得到高分辨灰度图I_R；

所述分层深度图上采样过程包括：

对预处理深度图D_I进行分层插值，每一层均先利用k-means聚类方法将所述高分辨灰度图I_R分成k_n类，每一类包含数个不连续区域，再对每个区域利用最近邻联合双边NJB插值方法对目标像素进行插值，其中，k_n为第n层聚类的类别数量；当最后一层插值完成后，几乎所有目标像素都被插值，对于剩余的未被插值的目标像素，利用后平滑操作进行删除。

在一种可能的实现方式中，所述图像预处理过程中，对低分辨深度图进行预处理，采用双线性滤波和阈值函数进行区域划分。

具体地，所述图像预处理过程中，初始素描图模型具体如下：

p(I)＝p(I_Φ)p(Φ_sk)p(Φ_nsk)

其中，p(Φ_sk)表示可素描部分，p(Φ_nsk)表示不可素描部分，p(I_Φ)表示Gestalt字段模型。

较佳地，所述k-means聚类的类别数k_n是逐层递减的，实现对图像进行由细到粗的分割。

在一种可能的实现方式中，所述分层深度图上采样过程中，对每个区域利用最近邻联合双边NJB插值方法对目标像素进行插值，具体为：

假设当前插值区域内包含T个目标像素和S个种子像素，对每个目标像素，先在它周围找到几个最近的种子，并确保被选择的种子在所述S个种子像素中，然后利用选定的种子通过联合双边滤波对当前目标像素进行插值：

其中，L表示被选择的种子的个数，g_d(t,s_l)和g_c(t,s_l)分别表示关于空间距离和色差的高斯核，具体如下：

其中，d(t,s_l)为当前目标像素t和被选择的种子像素s_l之间的几何距离，d_σ和c_σ为给定的尺度参数。

基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。

实施例二

在本实施例中提供了一种基于分层聚类和边界增强的深度图上采样装置，如图6所示，包括：图像预处理模块以及分层深度图上采样模块；

所述图像预处理模块，用于对低分辨深度图进行预处理，划分为深度连续区域和深度不连续区域，得到预处理深度图D_I；将位于所述深度连续区域的像素作为种子像素，用于插值；将位于所述深度不连续区域的像素作为目标像素，通过种子像素对所述进行目标像素插值；利用初始素描图模型对高分辨彩色图像进行处理，得到一个原始草图和一个可素描图像，利用所述可素描图像对所述高分辨彩色图像进行平滑处理，实现快速有效的聚类；在平滑的高分辨彩色图像中加入所述原始草图，增强图像边界，得到高分辨灰度图I_R；

所述分层深度图上采样模块，用于对预处理深度图D_I进行分层插值，每一层均先利用k-means聚类方法将所述高分辨灰度图I_R分成k_n类，每一类包含数个不连续区域，再对每个区域利用最近邻联合双边NJB插值方法对目标像素进行插值，其中，k_n为第n层聚类的类别数量；当最后一层插值完成后，几乎所有目标像素都被插值，对于剩余的未被插值的目标像素，利用后平滑操作进行删除。

在一种可能的实现方式中，所述图像预处理模块中，对低分辨深度图进行预处理，采用双线性滤波和阈值函数进行区域划分。

具体地，所述图像预处理模块中，初始素描图模型具体如下：

p(I)＝p(I_Φ)p(Φ_sk)p(Φ_nsk)

其中，p(Φ_sk)表示可素描部分，p(Φ_nsk)表示不可素描部分，p(I_Φ)表示Gestalt字段模型。

较佳地，所述k-means聚类的类别数k_n是逐层递减的，实现对图像进行由细到粗的分割。

在一种可能的实现方式中，所述分层深度图上采样模块中，对每个区域利用最近邻联合双边NJB插值方法对目标像素进行插值，具体为：

假设当前插值区域内包含T个目标像素和S个种子像素，对每个目标像素，先在它周围找到几个最近的种子，并确保被选择的种子在所述S个种子像素中，然后利用选定的种子通过联合双边滤波对当前目标像素进行插值：

其中，L表示被选择的种子的个数，g_d(t,s_l)和g_c(t,s_l)分别表示关于空间距离和色差的高斯核，具体如下：

其中，d(t,s_l)为当前目标像素t和被选择的种子像素s_l之间的几何距离，d_σ和c_σ为给定的尺度参数。

由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

1、在进行图像预处理时，本专利不同于现有方法，不仅对低分辨深度图进行预处理，利用双线性滤波和阈值函数进行区域划分，将其分成深度连续区域和深度不连续区域(即边界区域)，连续区域的种子像素直接进行插值，不连续区域的目标像素是本专利需要进行处理的，减少目标数量，提高计算效率。同时，本专利还利用初始素描图算法对高分辨彩色图像进行预处理，将其分为素描图和可素描图，利用各向异性滤波器获取平滑的均匀区域和增强的图像边界，并且对于颜色相近的深度不连续区域，利用素描图的边界信息进行处理，有助于后续精细的图像分割。

2、在进行深度图上采样时，本专利提出了一种分层分类别的上采样方法，将图像分割成多个不连通区域，用同一区域内的种子像素对目标像素进行插值。方法首先利用k-means聚类算法，将高分辨彩色图进行分层分类，第一层需要将图像分割成相对较多的类别，确保所有的深度不连续点都被分割到不同区域，类别数逐层递减。由于预处理过程中对高分辨彩色图像进行了同质区域的平滑和边界区域的增强，因此，可以对目标像素进行分类插值，有效防止了深度不连续区域的深度混淆伪影。

3、在进行目标像素的插值时，提出基于最近邻联合双边插值法，对每个目标像素，选择几个最近邻的种子像素进行联合双边滤波插值，选取种子像素的过程是以目标像素为中心进行搜索，最大搜索半径的大小随着层数增加而减小。对于一些不良像素在分层插值中无法填充，也利用了类似于双边滤波的方法进行处理，有效提高深度图上采样的效率和精确性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (10)

1.一种基于分层聚类和边界增强的深度图上采样方法，其特征在于，包括：图像预处理过程以及分层深度图上采样过程；

所述图像预处理过程包括：

对低分辨深度图进行预处理，划分为深度连续区域和深度不连续区域，得到预处理深度图D _I；将位于所述深度连续区域的像素作为种子像素，用于插值；将位于所述深度不连续区域的像素作为目标像素，通过种子像素对所述低分辨深度图进行目标像素插值；

利用初始素描图模型对高分辨彩色图像进行处理，得到一个原始草图和一个可素描图像，利用所述可素描图像对所述高分辨彩色图像进行平滑处理，实现快速有效的聚类；在平滑的高分辨彩色图像中加入所述原始草图，增强图像边界，得到高分辨灰度图I _R；

所述分层深度图上采样过程包括：

对预处理深度图D _I进行分层插值，每一层均先利用k-means聚类方法将所述高分辨灰度图I _R分成k _n类，每一类包含数个不连续区域，再对每个区域利用最近邻联合双边NJB插值方法对目标像素进行插值，其中，k _n为第n层聚类的类别数量；当最后一层插值完成后，几乎所有目标像素都被插值，对于剩余的未被插值的目标像素，利用后平滑操作进行删除。

2.根据权利要求1所述的方法，其特征在于：所述图像预处理过程中，对低分辨深度图进行预处理，采用双线性滤波和阈值函数进行区域划分。

3.根据权利要求1所述的方法，其特征在于：所述图像预处理过程中，初始素描图模型具体如下：

其中，表示可素描部分，表示不可素描部分，表示Gestalt字段模型。

4.根据权利要求1所述的方法，其特征在于：所述k-means聚类的类别数k _n是逐层递减的，实现对图像进行由细到粗的分割。

5.根据权利要求1所述的方法，其特征在于：所述分层深度图上采样过程中，对每个区域利用最近邻联合双边NJB插值方法对目标像素进行插值，具体为：

假设当前插值区域内包含T个目标像素和S个种子像素，对每个目标像素，先在它周围找到几个最近的种子，并确保被选择的种子在所述S个种子像素中，然后利用选定的种子通过联合双边滤波对当前目标像素进行插值：

其中，L表示被选择的种子的个数，和分别表示关于空间距离和色差的高斯核，具体如下：

其中，为当前目标像素t和被选择的种子像素s _l之间的几何距离，和为给定的尺度参数。

6.一种基于分层聚类和边界增强的深度图上采样装置，其特征在于，包括：图像预处理模块以及分层深度图上采样模块；

所述图像预处理模块，用于对低分辨深度图进行预处理，划分为深度连续区域和深度不连续区域，得到预处理深度图D _I；将位于所述深度连续区域的像素作为种子像素，用于插值；将位于所述深度不连续区域的像素作为目标像素，通过种子像素对所述低分辨深度图进行目标像素插值；利用初始素描图模型对高分辨彩色图像进行处理，得到一个原始草图和一个可素描图像，利用所述可素描图像对所述高分辨彩色图像进行平滑处理，实现快速有效的聚类；在平滑的高分辨彩色图像中加入所述原始草图，增强图像边界，得到高分辨灰度图I _R；

所述分层深度图上采样模块，用于对预处理深度图D _I进行分层插值，每一层均先利用k-means聚类方法将所述高分辨灰度图I _R分成k _n类，每一类包含数个不连续区域，再对每个区域利用最近邻联合双边NJB插值方法对目标像素进行插值，其中，k _n为第n层聚类的类别数量；当最后一层插值完成后，几乎所有目标像素都被插值，对于剩余的未被插值的目标像素，利用后平滑操作进行删除。

7.根据权利要求6所述的装置，其特征在于：所述图像预处理模块中，对低分辨深度图进行预处理，采用双线性滤波和阈值函数进行区域划分。

8.根据权利要求6所述的装置，其特征在于：所述图像预处理模块中，初始素描图模型具体如下：

其中，表示可素描部分，表示不可素描部分，表示Gestalt字段模型。

9.根据权利要求6所述的装置，其特征在于：所述k-means聚类的类别数k _n是逐层递减的，实现对图像进行由细到粗的分割。

10.根据权利要求6所述的装置，其特征在于：所述分层深度图上采样模块中，对每个区域利用最近邻联合双边NJB插值方法对目标像素进行插值，具体为：

假设当前插值区域内包含T个目标像素和S个种子像素，对每个目标像素，先在它周围找到几个最近的种子，并确保被选择的种子在所述S个种子像素中，然后利用选定的种子通过联合双边滤波对当前目标像素进行插值：

其中，L表示被选择的种子的个数，和分别表示关于空间距离和色差的高斯核，具体如下：

其中，为当前目标像素t和被选择的种子像素s _l之间的几何距离，和为给定的尺度参数。