CN116665906A - 基于相似性孪生网络的静息态功能磁共振脑龄预测方法 - Google Patents

Abstract

本发明提供了一种基于相似性孪生网络的静息态功能磁共振脑龄预测方法，属于医学图像智能诊断技术领域，解决了传统脑龄预测方法中准确性和稳定性不足的技术问题。其技术方案为：包括以下步骤：S1：采集被试的功能性磁共振成像rs‑fMRI数据；S2：构建孪生神经网络；S3：设计特征相似性与标签相似性度量模块；S4：定义置信度评估脑龄预测模块；S5：将测试数据集中的脑部影像数据输入到该模型中进行分析，从而得出每个测试数据样本的预测脑龄。本发明的有益效果为：预测准确率高，对脑影像数据进行精确的预测，帮助医生更准确地评估患者的脑龄。

Description

基于相似性孪生网络的静息态功能磁共振脑龄预测方法

技术领域

本发明涉及医学图像智能诊断技术领域，尤其涉及基于相似性孪生网络的静息态功能磁共振脑龄预测方法。

背景技术

随着年龄的增长，人类的认知能力也会随之下降，大脑的不同部位在衰老过程中呈现非线性关系，而受到创伤的患者的大脑衰老程度更加不确定。随着脑龄概念的出现，对脑龄的研究也呈指数级增长，除了预测大脑年龄，研究人员还探索了不同的大脑老化模式，以及与认知损伤、死亡率、心血管疾病等相关的预测应用，以应用于临床诊断。随着人类年龄的增长，发病率和死亡率的风险也逐渐增加。在宏观层面上，这会导致脑室扩大等生理变化。在微观层面上，线粒体变化等现象也会随之出现。因此，脑龄的研究对于开发适用于临床的生物模型非常重要，这些模型可以用来预测衰老或患病中的大脑健康状态。

传统的基于特征工程的脑龄预测方法存在一些技术缺陷。传统的方法通常使用基于特征工程的方法来提取输入影像的特征，这些方法需要人为选择和设计特征提取器，很难处理高维复杂数据，且易受到噪声和干扰的影响，这些限制导致传统方法的性能往往不稳定，无法在各种不同数据集上获得一致的结果。其次，传统方法忽略了神经网络结构的影响，在神经网络中，每个层的权重和偏差是网络学习的关键因素，不同的神经网络结构具有不同的学习能力和表达能力，因此选择合适的神经网络结构对于脑龄预测任务至关重要。

发明内容

本发明的目的在于提供一种基于相似性孪生网络的静息态功能磁共振脑龄预测方法，旨在提高脑龄预测的准确性和泛化能力，并在脑科学研究和临床医学中有着广泛的应用前景。孪生神经网络可以自动学习输入影像的特征，并通过比较输入影像的相似性来实现脑龄预测任务。相似性孪生神经网络还可以处理多模态输入数据，并具有良好的泛化性能。

为了实现上述发明目的，本发明采用以下技术方案：基于相似性孪生网络的静息态功能磁共振脑龄预测方法，包括以下步骤：

S1：采集被试的功能性磁共振成像数据，形成原始样本集，所述原始样本集的样本包括被试的静息态功能磁共振成像及其对应的实际年龄信息，然后进行预处理，对静息态功能磁共振成像进行了切片计时和头部运动相关性等操作，将预处理后的数据转化为三维的图像数据，其次，将预处理后的图像数据和对应的被试实际年龄一一对应，形成样本集，其中，样本集包括多组图像数据及其对应的实际年龄信息，最后将样本集划分为训练样本集和测试样本集；

S2：构建孪生神经网络，使用基于全卷积神经网络的双卷积神经网络作为分支网络，并对其修改使得两条路径的网络共享参数，该网络由两部分组成：用于从一对输入图像中提取深度特征的卷积神经网络主干提取深度特征和用于将提取的深度特征融合到相似性度量的主干

S3：设计特征相似性与标签相似性度量模块，记为在第一道输入已知的rs-fMRI，经过卷积和汇集，得到特征信息集合Z_x，在第二道输入未知的rs-fMRI，通过同样的操作得到这组未知的特征向量集合Z_y，其中rs-fMRI表示静息态功能磁共振成像，然后将得到的特征对采用余弦距离CS()来描述相似度，通过训练数据来学习一个转换矩阵，最后使用对比损失作为损失函数来训练相似性学习，对相似性损失函数进行优化；

S4：定义置信度评估脑龄预测模块，选择三组相似度最高的已知大脑年龄标签，预测的大脑年龄p＝mean(p₁,p₂,p₃)是三组相似度最高的已知大脑年龄的平均值，其中p为预测大脑年龄，p₁,p₂,p₃为已知的三组相似度最高的大脑年龄标签，mean()为平均值；

S5：将测试数据集中的脑部影像数据输入到该模型中进行分析，从而得出每个测试数据样本的预测脑龄。

作为本发明提供的一种基于相似性孪生网络的静息态功能磁共振脑龄预测方法进一步优化方案，所述步骤S2的具体步骤如下：

步骤S2.1：分别将rs-fMRI图像1和rs-fMRI图像2同时送入一个孪生卷积神经网络，分别得到第一道特征信息Z_x，第二道特征信息Z_y；

步骤S2.2：输入的图像将经过卷积和池化等操作，双通路卷积融合网络架构采用参数共享，并搭建两个卷积神经网络，每条卷积神经网络的通道数为C，2C，4C，8C，8C，

4C，其中C为初始的通道数；

步骤S2.3：该网络提取特征部分结构由六个模块组成，前五个模块相同，依次为卷积层，标准化层，卷积层，非线性激活函数层，第五个模块和第六个模块中加入一个dropout层，以解决过拟合问题，第六个模块包含了一个卷积核大小为1的卷积层；

步骤S2.3：定义相似性度量的结果E(x_i,y_i)

其中，Φ()是特征提取网络，为相似度测量模块，b是偏置，x_i为第一道特征张量，y_i为第二道特征张量，i为第i个特征向量；

步骤S2.4：使用对比损失函数L(Y,x_i,y_i)评估孪生神经网络区分给定的多种图像的效果，如果输入成对样本之间不相似，那么它们在特征空间中的距离将会变小，这会导致损失值的增加：

其中，D为孪生神经网络输出之间的相似性距离，P为输入样本的特征维数，Y则为输入样本是否相似的标签，Y＝1代表输入样本较为相似，Y＝0代表输入样本不相似，m为设定的阈值，N为数据的个数。

作为本发明提供的一种基于相似性孪生网络的静息态功能磁共振脑龄预测方法进一步优化方案，所述步骤S3的具体步骤如下：

步骤S3.1：给定从输入图像对中提取的4D第一道特征张量Z_x和第二道特征张量Z_y，其中Z_x＝{x₁,x₂,...,x_i,...,x_n}和Z_y＝{y₁,y₂,...,y_i,...,y_n}为训练样本中标注年龄的rs-fMRI图像集，n为训练数据集中rs-fMRI图像的个数，训练样本中rs-MRI图像的第一道年龄集为L_x＝{x'₁,x'₂,...x'_n}，第二道年龄集为L_y＝{y'₁,y'₂,...y'_n}，其中x'_i,y'_i分别为第一道特征张量x_i所对应年龄和第二道特征张量y_i所对应年龄；

步骤S3.2：将得到的特征分为两组，即训练集的特征向量如下，其中(x₁,y₁)表示一个样本集合：

步骤S3.3：用余弦距离来描述每一组图像的相似度，余弦距离CS(x_i,y_i,A)由下式给出：

其中，上标T表示矩阵的转置，A是一个在变换后的子空间中计算余弦相似度的线性变换矩阵，同时每一组年龄的相似度余弦距离CS(x'_i,y'_i,A)由下式给出：

向量之间的余弦相似度f(A)定义如下：

其中，α和β是关于A的给定参数，α用于平衡正样本和负样本对边际的贡献，β控制了最大化阈值，A₀是预定义的矩阵，||A-A₀||表示A和A₀之间的距离，N为数据的个数；

步骤S3.4：将目标函数分为两项:g(A)和h(A)：

h(A)＝β||A-A₀||² (8)

g(A)是每个样本的一个简单投票方案，通过交叉验证来确定α的值，h(A)是将矩阵A正则化，使其尽可能接近于预定义的矩阵A₀；

步骤S3.5：将特征之间的相似性CS(x_i,y_i,A)，以及在相似性度量的模块样本标签的相似度CS(x'_i,y'_i,A)融合，紧接着将输出的特征之间的相似性和样本标签之间的相似性f(A)，损失函数根据相似性进行计算和反向传播从而优化网络，得到最佳的网络模型。

与现有技术相比，本发明的有益效果为：

1.自动学习特征：相似性孪生神经网络可以通过训练自动学习输入影像的特征，无需手动选择和设计特征提取模块，这种自动化的特征学习能够更加准确地捕捉影像中的信息，提高预测准确性；此外，相似性孪生神经网络可以处理高维度数据，捕捉到更多的细节信息，提高了神经网络对复杂数据的表达能力，更适用于需要对数据进行复杂建模的任务。

2.处理多模态数据：相似性孪生神经网络能够同时处理多模态输入数据，融合多种信息来提高预测准确性，对于脑龄预测任务而言，相似性孪生神经网络可以同时使用结构和功能磁共振成像数据，融合多种信息提高预测准确性。

3.提高预测准确性：相似性孪生神经网络通过比较输入影像的相似性来实现脑龄预测任务，该方法对影像数据的处理方式更加精确，能够更好地预测被试者的脑龄；相比传统方法，相似性孪生神经网络不需要人工设计特征提取器，从而避免了人工选择参数、特征提取方法带来的不确定性，预测效果更为准确。

4.泛化能力强：相似性孪生神经网络具有良好的泛化性能，能够处理高维复杂数据，并且对噪声和干扰具有较好的鲁棒性；相似性孪生神经网络能够从样本中学习到一般性规律，从而对未见过的样本具有较好的泛化能力，有效避免了过拟合现象；这使得相似性孪生神经网络可以适用于处理更广泛的数据。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，用于解释本发明，并不构成对本发明的限制。

图1为本发明的基于相似性孪生网络的静息态功能磁共振脑龄预测方法的整体框架图。

图2为本发明的基于相似性孪生网络的静息态功能磁共振脑龄预测方法的相似性孪生卷积神经网络模型结构图。

图3为本发明的基于相似性孪生网络的静息态功能磁共振脑龄预测方法的脑龄预测模块图。

图4为本发明的基于相似性孪生网络的静息态功能磁共振脑龄预测方法的孪生神经网络模块图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

参见图1至图4，本实施例提供其技术方案为，一种基于相似性孪生网络的静息态功能磁共振脑龄预测方法，数据集中第一对图片x₁，y₁为例，从载入数据到得出分类结果，其中包括以下步骤：

S1：采集被试的功能性磁共振成像数据，形成原始样本集，所述原始样本集的样本包括被试的功能性磁共振影像数据及其对应的实际年龄信息，然后进行预处理，对静息态磁共振影像图像进行了切片计时和头部运动相关性等操作，将预处理后的数据转化为三维的图像数据，其次，将预处理后的图像数据和对应的被试实际年龄一一对应，形成样本集，其中，样本集包括多组图像数据及其对应的实际年龄信息，最后将样本集划分为训练样本集和测试样本集；

S2：构建孪生神经网络，使用基于全卷积神经网络的双卷积神经网络作为分支网络，并对其修改使得两条路径的网络共享参数，该网络由两部分组成：用于从一对输入图像中提取深度特征的卷积神经网络主干提取深度特征和用于将提取的深度特征融合到相似性度量的主干

S3：设计特征相似性与标签相似性度量模块在第一道输入一组已知的rs-fMRI，经过卷积和汇集，得到特征信息Z_x，在第二道输入一组未知的rs-fMRI，通过同样的操作得到这组未知的特征向量Z_y，其中rs-fMRI表示静息态功能磁共振成像，然后将得到的特征对采用余弦距离CS()来描述相似度，通过训练数据来学习一个转换矩阵，最后使用对比损失作为损失函数来训练相似性学习，对相似性损失函数进行优化；

S4：定义置信度评估脑龄预测模块，选择三组相似度最高的已知大脑年龄标签，预测的大脑年龄p＝mean(p₁,p₂,p₃)是三组相似度最高的已知大脑年龄的平均值其中p为预测大脑年龄，p₁,p₂,p₃为已知的三组相似度最高的大脑年龄标签，mean()为平均值；

S5：将测试数据集中的脑部影像数据输入到该模型中进行分析，从而得出每个测试数据样本的预测脑龄。

具体地，所述步骤S2的具体步骤如下：

步骤S2.1：分别将rs-fMRI图像1和rs-fMRI图像2同时送入一个孪生卷积神经网络，分别得到第一道特征信息Z_x，第二道特征信息Z_y；

步骤S2.2：输入的图像将经过卷积和池化等操作，双通路卷积融合网络架构采用参数共享，并搭建两个卷积神经网络，每条卷积神经网络的通道数为16，32，64，128，128；

步骤S2.3：该网络提取特征部分结构由六个模块组成，前五个模块相同，依次为卷积层，标准化层，卷积层，非线性激活函数层，第五个模块和第六个模块中加入一个dropout层，以解决过拟合问题，第六个模块包含了一个卷积核大小为1的卷积层；

步骤S2.3：定义相似性度量的结果E(x₁,y₁)，用于计算实例x₁和y₁之间的距离：

其中，Φ()是特征提取网络，为相似度测量模块，b是偏置，x₁为第一道特征张量的第1个特征向量，y₁为第二道特征张量的第1个特征向量，x₁和y₁的中间部分如下：

步骤S2.4：使用对比损失函数L(Y,x₁,y₁)评估孪生神经网络区分给定的多种图像的效果，如果输入成对样本之间不相似，那么它们在特征空间中的距离将会变小，这会导致损失值的增加：

其中，D为孪生神经网络输出之间的相似性距离，P为输入样本的特征维数，这里P＝4，Y则为输入样本是否相似的标签，这里的输入样本较为相似，故Y＝1，即得到：

其中，m为设定的阈值，这里设置为0.5D，N为数据的个数。

作为本实施例提供的基于相似性孪生网络的静息态功能磁共振脑龄预测方法，所述步骤S3的具体步骤如下：

步骤S3.1：给定从输入图像对中提取的4D第一道特征张量Z_x和第二道特征张量Z_y，其中Z_x＝{x₁,x₂,...,x_i,...,x_n}和Z_y＝{y₁,y₂,...,y_i,...,y_n}为训练样本中标注年龄的rs-fMRI图像集，n为训练数据集中rs-fMRI图像的个数，训练样本中rs-MRI图像的第一道年龄集为L_x＝{x'₁,x'₂,...x'_n}，第二道年龄集为L_y＝{y'₁,y'₂,...y'_n}，其中x'₁,y'₁分别为第一道年龄和第二道年龄，这里分别为45和48；

步骤S3.2：将得到的特征分为两组，即训练集的特征向量如下：

步骤S3.3：用余弦距离来描述每一组图像的相似度，余弦距离CS(x₁,y₁,A)由下式给出：

其中，上标T表示矩阵的转置，A是一个在变换后的子空间中计算余弦相似度的线性变换矩阵，将矩阵带入并经过矩阵运算得出结果：

同时每一组年龄的相似度余弦距离CS(x'_i,y'_i,A)由下式给出：

得到最终结果CS(x'₁,y'₁,A)＝0.786，向量之间的余弦相似度f(A)定义如下：

其中，α和β是关于A的给定参数，α用于平衡正样本和负样本对边际的贡献，β控制了最大化阈值，设置为0.1，A₀是预定义的矩阵，||A-A₀||表示A和A₀之间的距离，该函数会经过多轮的矩阵求和计算，最终得到相似性f(A)＝0.805；

步骤S3.4：将目标函数分为两项:g(A)和h(A)：

h(A)＝β||A-A₀||² (20)

g(A)是每个样本的一个简单投票方案，通过交叉验证来确定α的值，经过第一轮的计算，得到α的值为0.2，h(A)是将矩阵A正则化，使其尽可能接近于预定义的矩阵A₀；

步骤S3.5：将特征之间的相似性CS(x₁,y₁,A)，以及在相似性度量的模块样本标签的相似度CS(x'₁,y'₁,A)融合，紧接着将输出的特征之间的相似性和样本标签之间的相似性f(A)，损失函数根据相似性进行计算和反向传播从而优化网络，得到最佳的网络模型。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.基于相似性孪生网络的静息态功能磁共振脑龄预测方法，其特征在于，包括以下步骤：

S1：采集被试的功能性磁共振成像数据，形成原始样本集，所述原始样本集的样本包括被试的静息态功能磁共振成像rs-fMRI及其对应的实际年龄信息，然后进行预处理，对静息态功能磁共振成像rs-fMRI进行了切片计时和头部运动相关性操作，将预处理后的数据转化为三维的图像数据，其次，将预处理后的图像数据和对应的被试实际年龄一一对应，形成样本集，其中，样本集包括多组图像数据及其对应的实际年龄信息，最后将样本集划分为训练样本集和测试样本集；

S2：构建孪生神经网络，使用基于全卷积神经网络的双卷积神经网络作为分支网络，并对其修改使得两条路径的网络共享参数，该网络由两部分组成：用于从一对输入图像中提取深度特征的卷积神经网络主干提取深度特征和用于将提取的深度特征融合到相似性度量的主干

S3：设计特征相似性与标签相似性度量模块，记为在第一道输入已知的rs-fMRI，经过卷积和汇集，得到特征信息集合Z_x，在第二道输入未知的rs-fMRI，通过同样的操作得到这组未知的特征向量集合Z_y，其中rs-fMRI表示静息态功能磁共振成像，然后将得到的特征对采用余弦距离CS()来描述相似度，通过训练数据来学习一个转换矩阵，最后使用对比损失作为损失函数来训练相似性学习，对相似性损失函数进行优化；

S4：定义置信度评估脑龄预测模块，选择三组相似度最高的已知大脑年龄标签，预测的大脑年龄p＝mean(p₁,p₂,p₃)是三组相似度最高的已知大脑年龄的平均值，其中p为预测大脑年龄，p₁,p₂,p₃为已知的三组相似度最高的大脑年龄标签，mean()为平均值；

S5：将测试数据集中的脑部影像数据输入到该模型中进行分析，从而得出每个测试数据样本的预测脑龄。

2.根据权利要求1所述的基于相似性孪生网络的静息态功能磁共振脑龄预测方法，其特征在于，所述步骤S2的具体步骤如下：

步骤S2.1：分别将rs-fMRI图像1和rs-fMRI图像2同时送入一个孪生卷积神经网络，分别得到第一道特征信息Z_x，第二道特征信息Z_y；

步骤S2.2：输入的图像将经过卷积和池化等操作，双通路卷积融合网络架构采用参数共享，并搭建两个卷积神经网络，每条卷积神经网络的通道数为C，2C，4C，8C，8C，4C，其中C为初始的通道数；

步骤S2.3：该网络提取特征部分结构由六个模块组成，前五个模块相同，依次为卷积层，标准化层，卷积层，非线性激活函数层，第五个模块和第六个模块中加入一个dropout层，以解决过拟合问题，第六个模块包含了一个卷积核大小为1的卷积层；

步骤S2.3：定义相似性度量的结果E(x_i,y_i)

其中，Φ()是特征提取网络，为相似度测量模块，b是偏置，x_i为第一道特征张量，y_i为第二道特征张量，i为第i个特征向量；

步骤S2.4：使用对比损失函数L(Y,x_i,y_i)评估孪生神经网络区分给定的多种图像的效果，如果输入成对样本之间不相似，那么它们在特征空间中的距离将会变小，这会导致损失值的增加：

其中，D为孪生神经网络输出之间的相似性距离，P为输入样本的特征维数，Y则为输入样本是否相似的标签，Y＝1代表输入样本较为相似，Y＝0代表输入样本不相似，m为设定的阈值，N为数据的个数。

3.根据权利要求1所述的基于相似性孪生网络的静息态功能磁共振脑龄预测方法，其特征在于，所述步骤S3的具体步骤如下：

步骤S3.1：给定从输入图像对中提取的4D第一道特征张量Z_x和第二道特征张量Z_y，其中Z_x＝{x₁,x₂,...,x_i,...,x_n}和Z_y＝{y₁,y₂,...,y_i,...,y_n}为训练样本中标注年龄的rs-fMRI图像集，n为训练数据集中rs-fMRI图像的个数，训练样本中rs-MRI图像的第一道年龄集为L_x＝{x'₁,x'₂,...x'_n}，第二道年龄集为L_y＝{y'₁,y'₂,...y'_n}，其中x'_i,y'_i分别为第一道特征张量x_i所对应年龄和第二道特征张量y_i所对应年龄；

步骤S3.2：将得到的特征分为两组，即训练集的特征向量如下，其中(x₁,y₁)表示一个样本集合：

步骤S3.3：用余弦距离来描述每一组图像的相似度，余弦距离CS(x_i,y_i,A)由下式给出：

其中，上标T表示矩阵的转置，A是一个在变换后的子空间中计算余弦相似度的线性变换矩阵，同时每一组年龄的相似度余弦距离CS(x'_i,y'_i,A)由下式给出：

向量之间的余弦相似度f(A)定义如下：

其中，α和β是关于A的给定参数，α用于平衡正样本和负样本对边际的贡献，β控制了最大化阈值，A₀是预定义的矩阵，||A-A₀||表示A和A₀之间的距离，N为数据的个数；

步骤S3.4：将目标函数分为两项:g(A)和h(A)：

h(A)＝β||A-A₀||² (8)

g(A)是每个样本的一个简单投票方案，通过交叉验证来确定α的值，h(A)是将矩阵A正则化，使其尽可能接近于预定义的矩阵A₀；

步骤S3.5：将特征之间的相似性CS(x_i,y_i,A)，以及在相似性度量的模块样本标签的相似度CS(x'_i,y'_i,A)融合，紧接着将输出的特征之间的相似性和样本标签之间的相似性f(A)，损失函数根据相似性进行计算和反向传播从而优化网络，得到最佳的网络模型。