CN116433698A - 一种图像信息确定方法、设备和计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开一种图像信息确定方法，包括：获取样本图像和样本图像的样本深度图、样本图像的样本遮挡边缘二值图和样本图像的样本遮挡边缘方向图；获取每一样本图像的不同层次的样本特征图，基于不同层次的样本特征图、样本深度图、样本遮挡边缘二值图和样本遮挡边缘方向图，对初始遮挡边缘检测模型和初始深度预测模型进行模型训练，得到具有遮挡边缘检测和深度估计功能的目标模型；对待处理图像进行特征提取得到待处理图像的不同层次的待处理特征图；基于目标模型对待处理特征图进行处理得到待处理图像的深度图、待处理图像的遮挡边缘二值图和待处理图像的遮挡边缘方向图。本申请实施例还公开一种图像信息确定设备和计算机可读存储介质。

Description

一种图像信息确定方法、设备和计算机可读存储介质

技术领域

本申请涉及通信领域中的图像信息确定技术，尤其涉及一种图像信息确定方法、设备和计算机可读存储介质。

背景技术

估计场景深度作为场景理解中最为底层的任务，目前工业上常用双目相机或者高质量激光雷达来获取。但是双目相机受双目基线的限制，深度估计的范围有限；高质量的激光雷达在价格上又是居高不下，很难大规模的运用在各种场景中。基于此，目前提出了一个计算机视觉基础任务-单目深度估计任务。且，相关技术中的深度学习的单目深度估计的方法的主要思路基本都是基于编码器-解码器的网络架构，利用损失函数约束预测深度图和实际深度图之间的差距来确定深度值的。同时，遮挡边缘检测是基于图像边缘检测提出的更具有挑战性的任务，具体是需要定位感兴趣前景物体的边缘，同时对边缘两侧的前景背景或者前景前景在空间中的前后关系表达出来。

但是，相关技术的遮挡边缘检测的方案中无法充分利用遮挡边缘和深度方向之间的关联性，特征提取器也无法充分提取相关特征。并且，现有的单目深度估计方案因为具有深度落差(也就是遮挡边缘)，导致深度图存在比较严重的失真。

发明内容

为解决上述技术问题，本申请实施例期望提供一种图像信息确定方法、设备和计算机可读存储介质，解决了相关技术中存在无法充分利用遮挡边缘和深度方向之间的关联性，且深度图存在比较严重的失真的问题，充分利用了遮挡边缘和深度方向之间的关联性，减少了遮挡边缘的误检和漏检情况的发生，且提高了深度图的回归精度。

本申请的技术方案是这样实现的：

一种图像信息确定方法，所述方法包括：

获取样本图像和所述样本图像的样本深度图、所述样本图像的样本遮挡边缘二值图和所述样本图像的样本遮挡边缘方向图；

获取每一样本图像的不同层次的样本特征图，并基于所述不同层次的样本特征图、所述样本深度图、所述样本遮挡边缘二值图和所述样本遮挡边缘方向图，对初始遮挡边缘检测模型和初始深度预测模型进行模型训练，得到目标模型；其中，所述目标模型具有遮挡边缘检测和深度估计功能；

对待处理图像进行特征提取，得到所述待处理图像的不同层次的待处理特征图；

基于所述目标模型对所述待处理特征图进行处理，得到所述待处理图像的深度图、所述待处理图像的遮挡边缘二值图和所述待处理图像的遮挡边缘方向图。

上述方案中，所述获取每一样本图像的不同层次的样本特征图，包括：

采用残差网络对所述每一样本图像进行特征提取，得到所述每一样本图像的不同层次的样本特征图。

上述方案中，所述基于所述不同层次的样本特征图、所述样本深度图、所述样本遮挡边缘二值图和所述样本遮挡边缘方向图，对初始遮挡边缘检测模型和初始深度预测模型进行模型训练，得到目标模型，包括：

基于第一特征解码器、第二特征解码器和所述样本特征图中目标层次的特征图，得到第一中间特征图和第二中间特征图；其中，所述初始遮挡边缘检测模型中包括所述第一特征解码器；所述初始深度预测模型中包括所述第二特征解码器；

采用所述初始遮挡边缘检测模型中的特征融合模块对所述样本图像的每一层次的特征图进行处理，得到融合特征图；

基于所述融合特征图、所述第一中间特征图和所述第二中间特征图，确定预测深度图、预测遮挡边缘二值图和预测遮挡边缘方向图；

基于所述预测深度图、所述预测遮挡边缘二值图、所述预测遮挡边缘方向图、所述样本深度图、所述样本遮挡边缘二值图、所述样本遮挡边缘方向图和目标损失函数，进行模型训练更新所述初始遮挡边缘检测模型和所述初始深度预测模型中的参数直到满足目标条件，以得到所述目标模型。

上述方案中，所述基于第一特征解码器、第二特征解码器和所述样本特征图中目标层次的特征图，得到第一中间特征图和第二中间特征图，包括：

采用目标实例分割网络对所述样本特征图的最深层次的特征图进行处理，得到深度特征图；

采用所述第一特征解码器和所述第二特征解码器对所述深度特征图进行处理，得到所述第一中间特征图和所述第二中间特征图；其中，所述第一特征解码器和所述第二特征解码器包括多层反卷积模块。

上述方案中，所述采用所述第一特征解码器和所述第二特征解码器对所述深度特征图进行处理，得到所述第一中间特征图和所述第二中间特征图，包括：

确定所述第一特征解码器的第一参数和第二参数，并确定所述第二特征解码器的第三参数和第四参数；

采用所述第一特征解码器的第一层反卷积层和所述第二特征解码器的第一层反卷积层，对所述深度特征图进行反卷积处理得到第一层第一特征图和第一层第二特征图；

基于所述第一参数、第i层第一特征图、第三参数和第i层第二特征图，确定第i+1层第一输入特征图；其中，i为大于1的正整数；

基于所述第二参数、第i层第一特征图、第四参数和第i层第二特征图，确定第i+1层第二输入特征图；

采用所述第一特征解码器的第i+1层反卷积层对所述第i+1层第一输入特征图进行处理，并采用所述第二特征解码器的第i+1层反卷积层对所述第i+1层第二输入特征图进行处理，直到采用所述第一特征解码器和所述第二特征解码器的最后一层反卷积层进行了处理，得到所述第一中间特征图和所述第二中间特征图。

上述方案中，所述采用所述初始遮挡边缘检测模型中的特征融合模块对所述样本图像的每一层次的特征图进行处理，得到融合特征图，包括：

采用所述特征融合模块对所述样本图像的每一层次的特征图进行卷积处理，并对进行了卷积处理的所述每一层次的特征图进行反卷积处理得到多个第三中间特征图；

将所述多个第三中间特征图在通道维度上进行连接，得到所述融合特征图。

上述方案中，所述基于所述融合特征图、所述第一中间特征图和所述第二中间特征图，确定预测深度图、预测遮挡边缘二值图和预测遮挡边缘方向图，包括：

将所述融合特征图分别与所述第一中间特征图和所述第二中间特征图在通道维度上进行连接，得到第一连接特征图和第二连接特征图；

采用卷积层对所述第二连接特征图进行处理得到所述预测遮挡边缘二值图和所述预测遮挡边缘方向图，并采用所述卷积层对所述第二连接特征图进行处理得到所述预测深度图；其中，所述卷积层中不具有激活函数。

上述方案中，所述方法还包括：

确定遮挡边缘检测任务的第一损失函数和深度估计任务的第二损失函数；

确定所述遮挡边缘检测任务的第一权重和所述深度估计任务的第二权重；

基于所述第一权重、所述第一损失函数、所述第二权重和所述第二损失函数，确定所述目标损失函数。

一种图像信息确定设备，所述设备包括：处理器、存储器和通信总线；

所述通信总线用于实现处理器和存储器之间的通信连接；

所述处理器用于执行存储器中存储的图像信息确定程序，以实现上述的图像信息确定方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的图像信息确定方法的步骤。

本申请实施例所提供的图像信息确定方法、设备和计算机可读存储介质，获取样本图像和样本图像的样本深度图、样本图像的样本遮挡边缘二值图和样本图像的样本遮挡边缘方向图，获取每一样本图像的不同层次的样本特征图，并基于不同层次的样本特征图、样本深度图、样本遮挡边缘二值图和样本遮挡边缘方向图，对初始遮挡边缘检测模型和初始深度预测模型进行模型训练，得到具有遮挡边缘检测和深度估计功能的目标模型；对待处理图像进行特征提取，到待处理图像的不同层次的待处理特征图，基于目标模型对待处理特征图进行处理，得到待处理图像的深度图、待处理图像的遮挡边缘二值图和待处理图像的遮挡边缘方向图，如此，可以生成具有遮挡边缘检测和深度估计功能的目标模型，并采用该目标模型对待处理图像的待处理特征图进行处理，可以得到待处理图像的深度图、待处理图像的遮挡边缘二值图和待处理图像的遮挡边缘方向图，从而解决了相关技术中存在无法充分利用遮挡边缘和深度方向之间的关联性，且深度图存在比较严重的失真的问题，充分利用了遮挡边缘和深度方向之间的关联性，减少了遮挡边缘的误检和漏检情况的发生，且提高了深度图的回归精度。

附图说明

图1为本申请的实施例提供的一种图像信息确定方法的流程示意图；

图2为本申请的实施例提供的另一种图像信息确定方法的流程示意图；

图3为本申请的实施例提供的一种图像信息确定方法中确定预测遮挡边缘二值图、预测遮挡边缘方向图和预测深度图的示意图；

图4为本申请的实施例提供的又一种图像信息确定方法的流程示意图；

图5为本申请实施例提供的一种图像信息确定设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请的实施例提供一种图像信息确定方法，该方法可以应用于图像信息确定设备中，参照图1所示，该方法包括以下步骤：

步骤101、获取样本图像和样本图像的样本深度图、样本图像的样本遮挡边缘二值图和样本图像的样本遮挡边缘方向图。

在本申请实施例中，样本图像可以是预先获取的多张具有深度的图像；每一张样本深度图可以指的是表征每一张样本图像的深度信息的图像；每一张样本遮挡边缘二值图可以是表征每一张样本图像的遮挡边缘的黑白图像；每一张样本遮挡边缘方向图可以是表征每一张样本图像的遮挡边缘的方向信息的图像。

步骤102、获取每一样本图像的不同层次的样本特征图，并基于不同层次的样本特征图、样本深度图、样本遮挡边缘二值图和样本遮挡边缘方向图，对初始遮挡边缘检测模型和初始深度预测模型进行模型训练，得到目标模型。

其中，目标模型具有遮挡边缘检测和深度估计功能。

在本申请实施例中，样本特征图可以是能够表征样本图像的不同层次的特征信息的图像；样本特征图可以是对每一样本图像进行特征提取后得到的。目标模型，可以是采用神经网络算法基于不同层次的样本特征图、样本深度图、样本遮挡边缘二值图、样本遮挡边缘方向图以及目标损失函数，对初始遮挡边缘检测模型和初始深度预测模型进行模型训练后得到的。

步骤103、对待处理图像进行特征提取，得到待处理图像的不同层次的待处理特征图。

在本申请实施例中，对待处理图像进行特征提取的方法可以与对每一样本图像进行特征提取的方法相同；也就是说，待处理特征图可以是能够表征待处理图像的不同层次的特征信息的图像。

步骤104、基于目标模型对待处理特征图进行处理，得到待处理图像的深度图、待处理图像的遮挡边缘二值图和待处理图像的遮挡边缘方向图。

在本申请实施例中，可以是将待处理特征图输入至目标模型中，目标模型对待待处理特征图进行深度估计和遮挡边缘检测后即可以得到待处理图像的深度图、待处理图像的遮挡边缘二值图和待处理图像的遮挡边缘方向图。

本申请的实施例所提供的图像信息确定方法，获取样本图像和样本图像的样本深度图、样本图像的样本遮挡边缘二值图和样本图像的样本遮挡边缘方向图，获取每一样本图像的不同层次的样本特征图，并基于不同层次的样本特征图、样本深度图、样本遮挡边缘二值图和样本遮挡边缘方向图，对初始遮挡边缘检测模型和初始深度预测模型进行模型训练，得到具有遮挡边缘检测和深度估计功能的目标模型；对待处理图像进行特征提取，到待处理图像的不同层次的待处理特征图，基于目标模型对待处理特征图进行处理，得到待处理图像的深度图、待处理图像的遮挡边缘二值图和待处理图像的遮挡边缘方向图，如此，可以生成具有遮挡边缘检测和深度估计功能的目标模型，并采用该目标模型对待处理图像的待处理特征图进行处理，可以得到待处理图像的深度图、待处理图像的遮挡边缘二值图和待处理图像的遮挡边缘方向图，从而解决了相关技术中存在无法充分利用遮挡边缘和深度方向之间的关联性，且深度图存在比较严重的失真的问题，充分利用了遮挡边缘和深度方向之间的关联性，减少了遮挡边缘的误检和漏检情况的发生，且提高了深度图的回归精度。

基于前述实施例，本申请的实施例提供一种图像信息确定方法，参照图2所示，该方法包括以下步骤：

步骤201、图像信息确定设备获取样本图像和样本图像的样本深度图、样本图像的样本遮挡边缘二值图和样本图像的样本遮挡边缘方向图。

步骤202、图像信息确定设备采用残差网络对每一样本图像进行特征提取，得到每一样本图像的不同层次的样本特征图。

在本申请实施例中，残差网络可以指的是残差网络(Residual Network，ResNet)50；基于此，如图3所示，图像信息确定设备可以采用ResNet50对每一样本图像进行特征提取，得到每一样本图像的至少五个层次的样本特征图。在一种可行的实现方式中，每一层次的样本特征图的尺度分别为对应的样本图像的尺寸的1/2、1/4、1/8、1/16和1/32，通道数量分别为128、256、512、1024和2048。

步骤203、图像信息确定设备基于第一特征解码器、第二特征解码器和样本特征图中目标层次的特征图，得到第一中间特征图和第二中间特征图。

其中，初始遮挡边缘检测模型中包括第一特征解码器；初始深度预测模型中包括第二特征解码器。

在本申请实施例中，图像信息确定设备可以基于初始遮挡边缘检测模型中的第一特征解码器和目标层次的特征图得到第一中间特征图；同时，基于初始深度预测模型中的第二特征解码器和目标层次的特征图得到第二中间特征图。需要说明的是，第一特征解码器和第二特征解码器均是采用多个反卷积模块堆叠而成的。

步骤204、图像信息确定设备采用初始遮挡边缘检测模型中的特征融合模块对样本图像的每一层次的特征图进行处理，得到融合特征图。

在本申请实施例中，图像信息确定设备可以采用初始遮挡边缘检测模型中的特征融合模块对样本图像的每一层次的特征图进行卷积和反卷积处理，并对处理后的特征图进行连接得到融合特征图。

需要说明的是，步骤203和步骤204在执行上可以不分先后顺序，也就是说，步骤203和步骤204可以是同时执行的；或者，可以是步骤204先执行，步骤203后执行；或者，可以是步骤203先执行，步骤204后执行。

步骤205、图像信息确定设备基于融合特征图、第一中间特征图和第二中间特征图，确定预测深度图、预测遮挡边缘二值图和预测遮挡边缘方向图。

其中，图像信息确定设备可以将融合特征图和第一中间特征图进行处理，得到预测遮挡边缘二值图和预测遮挡边缘方向图；同时，可以将融合特征图和第二中间特征图进行处理得到预测深度图。

步骤206、图像信息确定设备基于预测深度图、预测遮挡边缘二值图、预测遮挡边缘方向图、样本深度图、样本遮挡边缘二值图、样本遮挡边缘方向图和目标损失函数，进行模型训练更新初始遮挡边缘检测模型和初始深度预测模型中的参数直到满足目标条件，以得到目标模型。

其中，目标模型具有遮挡边缘检测和深度估计功能。

在本申请实施例中，图像信息确定设备可以采用神经网络算法，采用目标损失函数将预测深度图和样本深度图进行比对处理，并基于比对结果确定初始深度预测模型中的参数是否需要更新；同时，采用目标损失函数将预测遮挡边缘二值图和样本遮挡边缘二值图，以及将预测遮挡边缘方向图和样本遮挡边缘方向图进行比对处理，并基于比对结果确定初始遮挡边缘检测模型中的参数是否需要更新；如果比对结果表明预测深度图和样本深度图的误差较大，且预测遮挡边缘二值图和样本遮挡边缘二值图的误差较大，以及预测遮挡边缘方向图和样本遮挡边缘方向图的误差较大，则继续对初始初始遮挡边缘检测模型和初始深度预测模型进行模型训练已更新初始遮挡边缘检测模型和初始深度预测模型中的参数，直到预测深度图和样本深度图的误差在目标阈值范围内，且预测遮挡边缘二值图和样本遮挡边缘二值图的误差在目标阈值范围内，以及预测遮挡边缘方向图和样本遮挡边缘方向图的误差在目标阈值范围内；此时，就可以认为模型训练完成了进而得到目标模型。其中，目标条件指的是预测深度图和样本深度图的误差在目标阈值范围内，且预测遮挡边缘二值图和样本遮挡边缘二值图的误差在目标阈值范围内，以及预测遮挡边缘方向图和样本遮挡边缘方向图的误差在目标阈值范围内。

步骤207、图像信息确定设备对待处理图像进行特征提取，得到待处理图像的不同层次的待处理特征图。

需要说明的是，待处理特征图可以是图像信息确定设备采用ResNet50进行特征提取后得到的。

步骤208、图像信息确定设备基于目标模型对待处理特征图进行处理，得到待处理图像的深度图、待处理图像的遮挡边缘二值图和待处理图像的遮挡边缘方向图。

需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。

本申请的实施例所提供的图像信息确定方法，可以生成具有遮挡边缘检测和深度估计功能的目标模型，并采用该目标模型对待处理图像的待处理特征图进行处理，可以得到待处理图像的深度图、待处理图像的遮挡边缘二值图和待处理图像的遮挡边缘方向图，从而解决了相关技术中存在无法充分利用遮挡边缘和深度方向之间的关联性，且深度图存在比较严重的失真的问题，充分利用了遮挡边缘和深度方向之间的关联性，减少了遮挡边缘的误检和漏检情况的发生，且提高了深度图的回归精度。

基于前述实施例，本申请的实施例提供一种图像信息确定方法，参照图4所示，该方法包括以下步骤：

步骤301、图像信息确定设备获取样本图像和样本图像的样本深度图、样本图像的样本遮挡边缘二值图和样本图像的样本遮挡边缘方向图。

步骤302、图像信息确定设备采用残差网络对每一样本图像进行特征提取，得到每一样本图像的不同层次的样本特征图。

步骤303、图像信息确定设备采用目标实例分割网络对样本特征图的最深层次的特征图进行处理，得到深度特征图。

在本申请实施例中，目标实例分割网络可以指的是特征空间金字塔(SpatialPyramid Pooling，SPP)模块；也就是说，可以采用SPP模块对样本特征图中的最深的一个层次的特征图进行表达力能力提升处理，得到深度特征图。

步骤304、图像信息确定设备采用第一特征解码器和第二特征解码器对深度特征图进行处理，得到第一中间特征图和第二中间特征图。

其中，第一特征解码器和第二特征解码器包括多层反卷积模块。初始遮挡边缘检测模型中包括第一特征解码器；初始深度预测模型中包括第二特征解码器。

在本申请实施例中，图像信息确定设备可以采用第一特征解码器和第二特征解码器结合起来对深度特征图进行处理得到第一中间特征图和第二中间特征图。也就是，如图3所示，针对每一层特征图，可以将第一特征解码器的参数和第二特征解码器的参数结合进行训练，进而得到第一中间特征图和第二中间特征图。

需要说明的是，步骤304可以通过以下步骤来实现：

步骤304a、图像信息确定设备确定第一特征解码器的第一参数和第二参数，并确定第二特征解码器的第三参数和第四参数。

在本申请实施例中，第一参数可以用α1表示，第二参数可以用β1表示；第三参数可以用α2表示，第四参数可以用β2表示。

步骤304b、图像信息确定设备采用第一特征解码器的第一层反卷积层和第二特征解码器的第一层反卷积层，对深度特征图进行反卷积处理得到第一层第一特征图和第一层第二特征图。

其中，可以采用第一特征解码器的第一层反卷积层对深度特征图进行反卷积处理得到第一层第一特征图；同时，采用第二特征解码器的第一层反卷积层对深度特征图进行反卷积处理得到第一层第二特征图。

步骤304c、图像信息确定设备基于第一参数、第i层第一特征图、第三参数和第i层第二特征图，确定第i+1层第一输入特征图。

其中，i为大于1的正整数。

步骤304d、图像信息确定设备基于第二参数、第i层第一特征图、第四参数和第i层第二特征图，确定第i+1层第二输入特征图。

步骤304e、图像信息确定设备采用第一特征解码器的第i+1层反卷积层对第i+1层第一输入特征图进行处理，并采用第二特征解码器的第i+1层反卷积层对第i+1层第二输入特征图进行处理，直到采用第一特征解码器和第二特征解码器的最后一层反卷积层进行了处理，得到第一中间特征图和第二中间特征图。

在本申请实施例中，如图3所示，以具有五层特征图为例进行说明：可以将第一参数和第一层第一特征图的乘积，与第三参数和第一层第二特征图的乘积相加，得到第二层第一输入特征图；同时，可以将第二参数和第一层第一特征图的乘积，与第四参数和第一层第二特征图的乘积相加，得到第二层第二输入特征图；之后，采用第一特征解码器的第二层反卷积层对第二层第一输入特征图进行反卷积处理得到第三层第一输入特征图；同时，采用第二特征解码器的第二层反卷积层对第二层第二输入特征图进行反卷积处理得到第三层第二输入特征图；依次；依此类推，直到采用第一特征解码器和第二特征解码器的第五层反卷积层对第五层第一输入特征图和第五层第二输入特征图进行了反卷积处理，从而得到第一中间特征图和第二中间特征图。

步骤305、图像信息确定设备采用特征融合模块对样本图像的每一层次的特征图进行卷积处理，并对进行了卷积处理的每一层次的特征图进行反卷积处理得到多个第三中间特征图。

需要说明的是，可以将每一层次的特征图输入特征融合模块中，特征融合模块分别对五个不同尺度的特征图先经过一次1*1的卷积处理，从而降低每一层次的特征图通道数量至64，然后对践行了卷积处理的每一层次的特征图进行一次反卷积将图像的分辨率提升到和样本图像的分辨率一致，从而得到多组五个第三中间特征图。

步骤306、图像信息确定设备将多个第三中间特征图在通道维度上进行连接，得到融合特征图。

在本申请实施例中，可以将每一组五个第三中间特征图在通道维度上进行连接，得到多个融合特征图。此外，融合特征图的通道数量可以是320。

需要说明的是，步骤303-304与步骤305-306在执行上可以不分先后顺序，也就是说，步骤303-304与步骤305-306可以是同时执行的；或者，可以是步骤305-306先执行，步骤303-304后执行；或者，可以是步骤303-304先执行，步骤305-306后执行。

步骤307、图像信息确定设备将融合特征图分别与第一中间特征图和第二中间特征图在通道维度上进行连接，得到第一连接特征图和第二连接特征图。

需要说明的是，可以将这个通道数量为320的融合特征图与第一中间特征图在通道维度上进行连接得到第一连接特征图；同时，将通道数量为320的融合特征图与第二中间特征图在通道维度上进行连接得到第二连接特征图。

步骤308、图像信息确定设备采用卷积层对第二连接特征图进行处理得到预测遮挡边缘二值图和预测遮挡边缘方向图，并采用卷积层对第二连接特征图进行处理得到预测深度图。

其中，卷积层中不具有激活函数。

步骤309、图像信息确定设备基于预测深度图、预测遮挡边缘二值图、预测遮挡边缘方向图、样本深度图、样本遮挡边缘二值图、样本遮挡边缘方向图和目标损失函数，进行模型训练更新初始遮挡边缘检测模型和初始深度预测模型中的参数直到满足目标条件，以得到目标模型。

步骤310、图像信息确定设备对待处理图像进行特征提取，得到待处理图像的不同层次的待处理特征图。

步骤311、图像信息确定设备基于目标模型对待处理特征图进行处理，得到待处理图像的深度图、待处理图像的遮挡边缘二值图和待处理图像的遮挡边缘方向图。

基于前述实施例，在本申请其他实施例中，步骤309之前还可以包括以下步骤：

步骤312、图像信息确定设备确定遮挡边缘检测任务的第一损失函数和深度估计任务的第二损失函数。

步骤313、图像信息确定设备确定遮挡边缘检测任务的第一权重和深度估计任务的第二权重。

步骤314、图像信息确定设备基于第一权重、第一损失函数、第二权重和第二损失函数，确定目标损失函数。

在本申请实施例中，可以将第一权重与第一损失函数相乘，并将第二权重和第二损失函数相乘后求和，得到目标损失函数。

需要说明的是，为了更好的指导模型优化，需要将遮挡边缘检测任务和深度估计任务的损失函数进行合并；假设遮挡边缘检测任务的损失函数为Locc，对应的第一权重为λ1，深度估计任务的损失函数为Ldep，对应的第二权重为λ2。则目标损失函数可定义为Ltotal＝λ1Locc+λ2Ldep。

在本申请实施例中，利用遮挡边缘检测来提升单目深度估计任务的性能，设计了一个多任务模型框架。但是，相关技术只是将这个两个任务单独进行学习，既依赖大量的数据集去学习到足够的特征，并且缺乏额外的信息进行指导，只能达到有限精度。采用多任务学习的方式，能够使遮挡边缘检测任务和深度估计任务的特征进行互补融合，互相指导，不需要大量的数据集就能学习到足够的语义特征用于后续预测，还能同时提升目标模型的性能。

需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。

本申请的实施例所提供的图像信息确定方法，可以生成具有遮挡边缘检测和深度估计功能的目标模型，并采用该目标模型对待处理图像的待处理特征图进行处理，可以得到待处理图像的深度图、待处理图像的遮挡边缘二值图和待处理图像的遮挡边缘方向图，从而解决了相关技术中存在无法充分利用遮挡边缘和深度方向之间的关联性，且深度图存在比较严重的失真的问题，充分利用了遮挡边缘和深度方向之间的关联性，减少了遮挡边缘的误检和漏检情况的发生，且提高了深度图的回归精度。

基于前述实施例，本申请的实施例提供一种图像信息确定设备，该设备可以应用于图1、2和4对应的实施例提供的图像信息确定方法中，参照图5所示，该设备可以包括：处理器41、存储器42和通信总线43，其中：

通信总线43用于实现处理器41和存储器42之间的通信连接；

处理器41用于执行存储器42中存储的图像信息确定程序，以实现以下步骤：

获取样本图像和样本图像的样本深度图、样本图像的样本遮挡边缘二值图和样本图像的样本遮挡边缘方向图；

获取每一样本图像的不同层次的样本特征图，并基于不同层次的样本特征图、样本深度图、样本遮挡边缘二值图和样本遮挡边缘方向图，对初始遮挡边缘检测模型和初始深度预测模型进行模型训练，得到目标模型；

其中，目标模型具有遮挡边缘检测和深度估计功能；

对待处理图像进行特征提取，得到待处理图像的不同层次的待处理特征图；

基于目标模型对待处理特征图进行处理，得到待处理图像的深度图、待处理图像的遮挡边缘二值图和待处理图像的遮挡边缘方向图。

在本申请的其他实施例中，处理器41用于执行存储器42中存储的获取每一样本图像的不同层次的样本特征图，以实现以下步骤：

采用残差网络对每一样本图像进行特征提取，得到每一样本图像的不同层次的样本特征图。

在本申请的其他实施例中，处理器41用于执行存储器42中存储的基于不同层次的样本特征图、样本深度图、样本遮挡边缘二值图和样本遮挡边缘方向图，对初始遮挡边缘检测模型和初始深度预测模型进行模型训练，得到目标模型，以实现以下步骤：

基于第一特征解码器、第二特征解码器和样本特征图中目标层次的特征图，得到第一中间特征图和第二中间特征图；

其中，初始遮挡边缘检测模型中包括第一特征解码器；初始深度预测模型中包括第二特征解码器；

采用初始遮挡边缘检测模型中的特征融合模块对样本图像的每一层次的特征图进行处理，得到融合特征图；

基于融合特征图、第一中间特征图和第二中间特征图，确定预测深度图、预测遮挡边缘二值图和预测遮挡边缘方向图；

基于预测深度图、预测遮挡边缘二值图、预测遮挡边缘方向图、样本深度图、样本遮挡边缘二值图、样本遮挡边缘方向图和目标损失函数，进行模型训练更新初始遮挡边缘检测模型和初始深度预测模型中的参数直到满足目标条件，以得到目标模型。

在本申请的其他实施例中，处理器41用于执行存储器42中存储的基于第一特征解码器、第二特征解码器和样本特征图中目标层次的特征图，得到第一中间特征图和第二中间特征图，以实现以下步骤：

采用目标实例分割网络对样本特征图的最深层次的特征图进行处理，得到深度特征图；

采用第一特征解码器和第二特征解码器对深度特征图进行处理，得到第一中间特征图和第二中间特征图；

其中，第一特征解码器和第二特征解码器包括多层反卷积模块。

在本申请的其他实施例中，处理器41用于执行存储器42中存储的采用第一特征解码器和第二特征解码器对深度特征图进行处理，得到第一中间特征图和第二中间特征图，以实现以下步骤：

确定第一特征解码器的第一参数和第二参数，并确定第二特征解码器的第三参数和第四参数；

采用第一特征解码器的第一层反卷积层和第二特征解码器的第一层反卷积层，对深度特征图进行反卷积处理得到第一层第一特征图和第一层第二特征图；

基于第一参数、第i层第一特征图、第三参数和第i层第二特征图，确定第i+1层第一输入特征图；其中，i为大于1的正整数；

基于第二参数、第i层第一特征图、第四参数和第i层第二特征图，确定第i+1层第二输入特征图；

采用第一特征解码器的第i+1层反卷积层对第i+1层第一输入特征图进行处理，并采用第二特征解码器的第i+1层反卷积层对第i+1层第二输入特征图进行处理，直到采用第一特征解码器和第二特征解码器的最后一层反卷积层进行了处理，得到第一中间特征图和第二中间特征图。

在本申请的其他实施例中，处理器41用于执行存储器42中存储的采用初始遮挡边缘检测模型中的特征融合模块对样本图像的每一层次的特征图进行处理，得到融合特征图，以实现以下步骤：

采用特征融合模块对样本图像的每一层次的特征图进行卷积处理，并对进行了卷积处理的每一层次的特征图进行反卷积处理得到多个第三中间特征图；

将多个第三中间特征图在通道维度上进行连接，得到融合特征图。

在本申请的其他实施例中，处理器41用于执行存储器42中存储的基于融合特征图、第一中间特征图和第二中间特征图，确定预测深度图、预测遮挡边缘二值图和预测遮挡边缘方向图，以实现以下步骤：

将融合特征图分别与第一中间特征图和第二中间特征图在通道维度上进行连接，得到第一连接特征图和第二连接特征图；

采用卷积层对第二连接特征图进行处理得到预测遮挡边缘二值图和预测遮挡边缘方向图，并采用卷积层对第二连接特征图进行处理得到预测深度图；

其中，卷积层中不具有激活函数。

在本申请的其他实施例中，处理器41用于执行存储器42中存储的图像信息确定程序，还可以实现以下步骤：

确定遮挡边缘检测任务的第一损失函数和深度估计任务的第二损失函数；

确定遮挡边缘检测任务的第一权重和深度估计任务的第二权重；

基于第一权重、第一损失函数、第二权重和第二损失函数，确定目标损失函数。

需要说明的是，本实施例中处理器所执行的步骤的具体实现过程，可以参照图1、2和4对应的实施例提供的图像信息确定方法中的实现过程，此处不再赘述。

本申请的实施例所提供的图像信息确定设备，可以生成具有遮挡边缘检测和深度估计功能的目标模型，并采用该目标模型对待处理图像的待处理特征图进行处理，可以得到待处理图像的深度图、待处理图像的遮挡边缘二值图和待处理图像的遮挡边缘方向图，从而解决了相关技术中存在无法充分利用遮挡边缘和深度方向之间的关联性，且深度图存在比较严重的失真的问题，充分利用了遮挡边缘和深度方向之间的关联性，减少了遮挡边缘的误检和漏检情况的发生，且提高了深度图的回归精度。

基于前述实施例，本申请的实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现图1、2和4对应的实施例提供的图像信息确定方法中的步骤。

需要说明的是，上述计算机可读存储介质可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所描述的方法。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像信息确定方法，其特征在于，所述方法包括：

获取样本图像和所述样本图像的样本深度图、所述样本图像的样本遮挡边缘二值图和所述样本图像的样本遮挡边缘方向图；

获取每一样本图像的不同层次的样本特征图，并基于所述不同层次的样本特征图、所述样本深度图、所述样本遮挡边缘二值图和所述样本遮挡边缘方向图，对初始遮挡边缘检测模型和初始深度预测模型进行模型训练，得到目标模型；其中，所述目标模型具有遮挡边缘检测和深度估计功能；

对待处理图像进行特征提取，得到所述待处理图像的不同层次的待处理特征图；

基于所述目标模型对所述待处理特征图进行处理，得到所述待处理图像的深度图、所述待处理图像的遮挡边缘二值图和所述待处理图像的遮挡边缘方向图。

2.根据权利要求1所述的方法，其特征在于，所述获取每一样本图像的不同层次的样本特征图，包括：

采用残差网络对所述每一样本图像进行特征提取，得到所述每一样本图像的不同层次的样本特征图。

3.根据权利要求1所述的方法，其特征在于，所述基于所述不同层次的样本特征图、所述样本深度图、所述样本遮挡边缘二值图和所述样本遮挡边缘方向图，对初始遮挡边缘检测模型和初始深度预测模型进行模型训练，得到目标模型，包括：

基于第一特征解码器、第二特征解码器和所述样本特征图中目标层次的特征图，得到第一中间特征图和第二中间特征图；其中，所述初始遮挡边缘检测模型中包括所述第一特征解码器；所述初始深度预测模型中包括所述第二特征解码器；

采用所述初始遮挡边缘检测模型中的特征融合模块对所述样本图像的每一层次的特征图进行处理，得到融合特征图；

基于所述融合特征图、所述第一中间特征图和所述第二中间特征图，确定预测深度图、预测遮挡边缘二值图和预测遮挡边缘方向图；

基于所述预测深度图、所述预测遮挡边缘二值图、所述预测遮挡边缘方向图、所述样本深度图、所述样本遮挡边缘二值图、所述样本遮挡边缘方向图和目标损失函数，进行模型训练更新所述初始遮挡边缘检测模型和所述初始深度预测模型中的参数直到满足目标条件，以得到所述目标模型。

4.根据权利要求3所述的方法，其特征在于，所述基于第一特征解码器、第二特征解码器和所述样本特征图中目标层次的特征图，得到第一中间特征图和第二中间特征图，包括：

采用目标实例分割网络对所述样本特征图的最深层次的特征图进行处理，得到深度特征图；

采用所述第一特征解码器和所述第二特征解码器对所述深度特征图进行处理，得到所述第一中间特征图和所述第二中间特征图；其中，所述第一特征解码器和所述第二特征解码器包括多层反卷积模块。

5.根据权利要求4所述的方法，其特征在于，所述采用所述第一特征解码器和所述第二特征解码器对所述深度特征图进行处理，得到所述第一中间特征图和所述第二中间特征图，包括：

确定所述第一特征解码器的第一参数和第二参数，并确定所述第二特征解码器的第三参数和第四参数；

采用所述第一特征解码器的第一层反卷积层和所述第二特征解码器的第一层反卷积层，对所述深度特征图进行反卷积处理得到第一层第一特征图和第一层第二特征图；

基于所述第一参数、第i层第一特征图、第三参数和第i层第二特征图，确定第i+1层第一输入特征图；其中，i为大于1的正整数；

基于所述第二参数、第i层第一特征图、第四参数和第i层第二特征图，确定第i+1层第二输入特征图；

采用所述第一特征解码器的第i+1层反卷积层对所述第i+1层第一输入特征图进行处理，并采用所述第二特征解码器的第i+1层反卷积层对所述第i+1层第二输入特征图进行处理，直到采用所述第一特征解码器和所述第二特征解码器的最后一层反卷积层进行了处理，得到所述第一中间特征图和所述第二中间特征图。

6.根据权利要求3所述的方法，其特征在于，所述采用所述初始遮挡边缘检测模型中的特征融合模块对所述样本图像的每一层次的特征图进行处理，得到融合特征图，包括：

采用所述特征融合模块对所述样本图像的每一层次的特征图进行卷积处理，并对进行了卷积处理的所述每一层次的特征图进行反卷积处理得到多个第三中间特征图；

将所述多个第三中间特征图在通道维度上进行连接，得到所述融合特征图。

7.根据权利要求3或6所述的方法，其特征在于，所述基于所述融合特征图、所述第一中间特征图和所述第二中间特征图，确定预测深度图、预测遮挡边缘二值图和预测遮挡边缘方向图，包括：

将所述融合特征图分别与所述第一中间特征图和所述第二中间特征图在通道维度上进行连接，得到第一连接特征图和第二连接特征图；

采用卷积层对所述第一连接特征图进行处理得到所述预测遮挡边缘二值图和所述预测遮挡边缘方向图，并采用所述卷积层对所述第二连接特征图进行处理得到所述预测深度图；其中，所述卷积层中不具有激活函数。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

确定遮挡边缘检测任务的第一损失函数和深度估计任务的第二损失函数；

确定所述遮挡边缘检测任务的第一权重和所述深度估计任务的第二权重；

基于所述第一权重、所述第一损失函数、所述第二权重和所述第二损失函数，确定所述目标损失函数。

9.一种图像信息确定设备，其特征在于，所述设备包括：处理器、存储器和通信总线；

所述通信总线用于实现处理器和存储器之间的通信连接；

所述处理器用于执行存储器中存储的图像信息确定程序，以实现如权利要求1～8任一项所述的图像信息确定方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至8中任一项所述的图像信息确定方法的步骤。

Images