CN117036695B - 一种基于光滑性约束的深度神经网络图像分割方法 - Google Patents

Abstract

本发明提供一种基于光滑性约束的深度神经网络图像分割方法，采用基于曲线演化的光滑性损失计算方法作为神经网络分割模型的损失函数，本发明损失函数首先将分割标签转换为符号距离函数，提出了基于距离惩罚的内容损失度量，对于分割错误的像素点，其损失大小与距离标签边界的距离正相关，有效避免了出现误分割的小区域；然后，提出了无监督的长度损失度量，该度量基于水平集方法最小化预测Mask的边界长度，保证分割结果的光滑性。最后，为了解决由于长度损失函数可能过度约束导致预测图中分割目标消失从而误分的情况，提出了面积弥补损失度量，来为分割图像的过程中提供一个向外的“弥补”损失。

Description

一种基于光滑性约束的深度神经网络图像分割方法

技术领域

本发明属于深度神经网络技术领域，具体来说，涉及了一种基于光滑性约束的深度神经网络图像分割方法。

背景技术

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。随着近年来深度学习的迅速发展，深度神经网络（Deep Neural Network，DNN）以其强大的特征提取能力在图像分析能力在图像分析领域取得了巨大进步。其构造过程主要包含两部分：模型结构设计和模型参数训练。

损失函数是评估模型预测值和真实标签的距离度量方法，其对提高模型分割的准确性和稳定性起着重要作用，基于图像分割的损失函数大致可分为四类：基于分布的损失、基于区域的损失、基于边界的损失和基于复合的损失。

最常用的基于分布的损失函数是交叉熵损失函数（Binary Cross-Entropy），在分类任务中，经常采用Sigmoid或者Softmax激活函数+交叉熵损失函数。当前景像素的数量远远小于背景像素的数量时，即y=0的数量远大于y=1的数量，损失函数中y=0的成分就会占据主导，数据集发生倾斜现象，最终导致模型预测结果严重偏向背景，在实际应用过程中表现较差。此外还有在交叉熵损失函数的基础上进行正样本加权的加权交叉熵损失函数（Weighted Binary Cross-Entropy），它可以在样本数量不均衡的情况下可以获得更好的效果，但需要人为的调整困难样本的权重，调参难度较大。

常见的基于区域的损失函数有由Dice系数改编而成的Dice损失函数（DiceLoss）。但是Dice损失函数对小目标十分不利，因为在只有前景和背景的情况下，小目标一旦有部分像素预测错误，将会导致Dice大幅度的变动，从而导致梯度变化剧烈，训练不稳定。此外，Dice损失函数对FP和FN进行同等加权，在实践中会导致分割图像精度高但召回率低。

第三类损失函数是基于边界的损失函数，如Hausdorff距离损失（HausdorffDistance Loss）。但是由于其非凸性，因此并未广泛使用。最后一类损失函数是基于复合的损失函数，如指数对数损失函数（ExponentialLogarithmic Loss）。它可以使网络被迫关注预测不准的部分，以合并更精细的分割边界和准确的数据分布。但其新增添的参数权重，给调参带来不小的麻烦。

虽然已有的损失函数取得了较大的进步，然而这些损失函数依然是基于点对比的损失度量，即将分割结果的像素点与对应标签进行逐个比对。这种方式难以从全局的角度度量分割结果的准确性，从而导致分割结果不光滑，以及出现误分割的小区域。

发明内容

本发明的目的是针对现有多电平逆变器的不足，提出一种基于光滑性约束的深度神经网络图像分割方法，具体方案如下：

本发明第一方面提供一种用于神经网络分割模型的基于曲线演化的光滑性损失函数，包括：

用于图像分割时，对分割图像的像素点进行损失度量的基于距离惩罚的内容损失函数L_content；

用于图像预测时，预测Mask的边界长度的无监督的长度损失函数L_length；以及，

用于图像分割过程中，弥补长度损失函数L_length过度约束导致的过度分割预测的面积弥补损失函数L_area；

基于曲线演化的光滑性损失函数convLetLoss定义为：

其中，α为长度损失函数L_length的权重，β为面积弥补损失函数L_area的权重，w为图像宽度。

本发明第二方面提供一种基于光滑性约束的深度神经网络分割模型，采用所述的基于曲线演化的光滑性损失函数作为神经网络分割模型的损失函数。

本发明第三方面提供一种基于光滑性约束的深度神经网络分割装置：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行指令时，实现所述的基于光滑性约束的深度神经网络分割模型。

本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说：

本发明方法首先将分割标签转换为符号距离函数，提出了一种基于距离惩罚的内容损失度量，对于分割错误的像素点，其损失大小与距离标签边界的距离正相关，从而有效避免了出现误分割的小区域；然后，提出了一种无监督的长度损失度量，该度量基于水平集方法最小化预测Mask的边界长度，从而保证分割结果的光滑性。最后，为了解决由于长度损失函数可能过度约束导致预测图中分割目标消失从而误分的情况，提出了一种面积弥补损失度量，来为分割图像的过程中提供一个向外的“弥补”损失，从而解决已有损失函数分割结果不光滑以及出现误分割的小区域问题。

附图说明

图1为本发明实施例1中的真实轮廓标签经过距离变换后的图像。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚完整的描述，但本发明并不限于这些实施方式：

实施例1

一种用于神经网络分割模型的基于曲线演化的光滑性损失计算方法，包括：

内容损失度量

在图像分割时，采用基于距离惩罚的内容损失函数L_content对分割图像的像素点进行损失度量。

神经网络分割模型在执行分割任务时属于有监督训练的一类，因此需要在神经网络分割模型执行图像分割任务前，对图像的真实轮廓标签初始化为SDF形式。本实施例利用距离变化函数来进行这一初始化过程。在原始轮廓标签中一般设置背景的像素值为0，分割目标区域的像素值为1。距离变换函数用于计算每个像素离最近0值像素的距离，像素点的损失大小与距离轮廓标签边界的距离正相关，输入是一个灰度图像。如图1所示，经过距离变换后图像上越亮的点，表示离零点的距离越远。

为使神经网络分割模型能够输出类似于SDF的形式，需要将网络最后一层输出层的将激活函数设为LeakyRelu函数，不同于常用的Sigmoid和Relu函数，LeakyRelu函数是广泛使用的ReLu激活函数的变体，该函数输出对负值输入有很小的坡度。由于导数总是不为零，这能减少静默神经元的出现，允许基于梯度的学习，解决了Relu函数进入负区间后，神经元不学习问题。LeakyRelu保留了负轴的值，使得负轴的信息不会全部丢失。

LeakyRelu激活函数定义如下：

基于距离惩罚的内容损失函数L_content定义为：

令Ω∈R为图像区域，：Ω→R为神经网络分割模型输出的分割结果，：Ω→R为手工描绘结果转换后的距离图。

长度损失度量

在图像预测时，采用无监督的长度损失函数L_length预测Mask的边界长度。

通过内容损失函数来训练神经网络模型还存在着不足，如无法保证分割边缘的光滑性，对此，本实施例定义了以下长度损失度量：

P(x，y)=0表示神经网络预测的目标边界，L_length沿着目标边界进行积分等同于计算边界点的个数，即边界长度。在反向传播过程中，最小化L_length意味着使包围相同面积的曲线段最短，即曲线最光滑，从而保证了预测边界的光滑性。

在面积弥补损失函数L_area中，积分区域为边界点集合P(x，y)=0，由于P的理想取值只有正负，同时由于P定义在离散空间中，因而其取值没有0值。因此，需要将神经网络分割模型输出P按以下公式进行转换：

其中，H(x)为Heaviside函数，其定义如下：

经Heaviside函数变换后，在目标区域内的取值为0，在背景区域的取值为1，因此，边界点集合P(x,y)=0可以表示为在图像区域内梯度非0的点的集合，即边界点集合可定义为：，其中，的梯度模长大于0的点，梯度非0的点；

因此，长度损失函数L_length可使用以下公式代替：

需要说明的是，Heaviside函数在x=0处导数区域无穷，可能导致神经网络分割模型在训练过程中梯度无法更新的问题，对此，本实施例采用以下函数来近似Heaviside函数：

为系数，用于缩放x的权重大小，在交叉熵与本函数的对比实验中，设为了1，在消融实验中，设为了0.25，该权重对实验有一定影响；

在反向传播过程中，使用以下函数来代替Heaviside函数的导数，即狄拉克函数：

。

面积弥补损失度量

为了解决在分割图像时长度损失度量可能过度约束从而导致过度分割预测图中分割目标消失，以及对边界模糊目标可能向内分割过度的问题的问题，定义了面积弥补损失函数L_area，在分割的过程中提供一个向外的“弥补”损失从而解决这一问题。

其中，面积弥补损失函数L_area定义为：

其中，w为图像宽度。

基于曲线演化的光滑性损失函数

采用基于曲线演化的光滑性损失函数ConvLetLoss计算，定义为：

其中，α为长度损失函数L_length的权重，用以提升在分布不同数据集上的表现；β为面积弥补损失函数L_area的权重，为负数。为了保证内容损失函数和长度损失函数的取值区间一致性，在基于曲线演化的光滑性损失函数ConvLetLoss中，对长度损失函数进行了权重为4倍图像宽度的加权操作。

可以使用其他一些损失函数比如交叉熵，Dice Loss等在ACDC2017左心室内，外膜数据上进行试验，但是对于易误分的小区域以及边界粗糙区域进行实验表明，本文提出的方法在Dice系数，HD、JSC、APD等评价指标上整体表现得更好。还可以在原有损失函数上加入长度损失度量L_length和面积弥补损失度量L_area,结果表明，本专利提出的方法比原有损失函数方法在评价指标上表现得更好，证明本实施例中提出的L_length和L_area为提升分割精度的有效部分。

实施例2

本实施例提供一种基于光滑性约束的深度神经网络分割模型，采用实施例1所述的基于曲线演化的光滑性损失计算方法作为神经网络分割模型的损失函数。

实施例3

本实施例提供一种基于光滑性约束的深度神经网络分割装置，包括

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行指令时，实现实施例2所述的基于光滑性约束的深度神经网络分割模型。

其中，存储器例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序（Boot Loader）以及其他程序等。

装置还可以包括输入输出接口、网络接口、存储接口等。这些接口以及存储器和处理器之间例如可以通过总线连接。其中，输入输出接口为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口为各种联网设备提供连接接口。存储接口为SD卡、U盘等外置存储设备提供连接接口。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机程序代码的计算机非瞬时性可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解为可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

Claims (7)

1.一种用于神经网络分割模型的基于曲线演化的光滑性损失计算方法，其特征在于，包括：

在图像分割时，采用基于距离惩罚的内容损失函数L_content对分割图像的像素点进行损失度量；

所述基于距离惩罚的内容损失函数L_content定义为：

,

令Ω∈R为图像区域，：Ω→R为神经网络分割模型输出的分割结果，：Ω→R为手工描绘结果转换后的距离图；w为图像宽度；

在图像预测时，采用无监督的长度损失函数L_length预测Mask的边界长度；以及，

在图像分割过程中，采用面积弥补损失函数L_area弥补长度损失函数L_length过度约束导致的过度分割、预测；

所述长度损失函数L_length定义为：

,

▽表示为梯度，为经Heaviside函数变换的结果，即：

,

其中，H(x)为Heaviside函数，其定义如下：

；

面积弥补损失函数L_area定义为：

,

采用基于曲线演化的光滑性损失函数convLetLoss计算，定义为：

,

其中，α为长度损失函数L_length的权重，β为面积弥补损失函数L_area的权重，w为图像宽度。

2.根据权利要求1所述的基于曲线演化的光滑性损失计算方法，其特征在于，该基于曲线演化的光滑性损失函数还包括：

神经网络分割模型在执行图像分割任务前，对图像的真实轮廓标签初始化为SDF形式。

3.根据权利要求2所述的基于曲线演化的光滑性损失计算方法，其特征在于，利用距离变化函数实现初始化过程：

在原始轮廓标签中，设置背景的像素值为0，分割目标区域的像素值为1；

计算轮廓标签中每个像素离最近0值像素的距离；

像素点的损失大小与距离轮廓标签边界的距离正相关。

4.根据权利要求2所述的基于曲线演化的光滑性损失计算方法，其特征在于，将神经网络分割模型最后一层输出层的激活函数设为LeakyRelu函数。

5.根据权利要求1所述的基于曲线演化的光滑性损失计算方法，其特征在于：在神经网络分割模型训练过程中，采用以下函数来近似Heaviside函数：

,

为为系数，用于缩放x的权重大小；

在反向传播过程中，使用狄拉克函数来代替Heaviside函数的导数，其中：

。

6.一种基于光滑性约束的深度神经网络分割模型的构建方法，其特征在于：采用权利要求1-5任一项所述的基于曲线演化的光滑性损失计算方法作为神经网络分割模型的损失函数。

7.一种基于光滑性约束的深度神经网络分割装置，其特征在于：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行指令时，实现权利要求6所述的基于光滑性约束的深度神经网络分割模型。