CN112750110A - 基于神经网络对肺部病灶区进行评估的评估系统和相关产品 - Google Patents

Abstract

本发明涉及一种基于神经网络对肺部病灶区进行评估的评估系统和相关产品。所述评估系统包括处理子系统和神经网络子系统，其中处理子系统包括一个或多个处理器，并且神经网络子系统包括第一神经网络单元和第二神经网络单元，其中第一神经网络单元接收并处理与肺部病灶区图像的几何特征相关的张量数据，以获得目标向量数据。第二神经网络单元接收并且处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果。利用本发明的方案，可以提取出肺部病灶区域的高阶几何特征并且对包括新冠肺炎的肺部疾病进行有效评估和预测。

Description

基于神经网络对肺部病灶区进行评估的评估系统和相关产品

技术领域

本发明总体上涉及图像处理领域。更具体地，本发明涉及一种基于神经网络对肺部病灶区进行评估的评估系统、计算设备和计算机可读存储介质。

背景技术

众所周知，肺部病灶区域图像中包含有助于对肺部疾病临床诊断的丰富信息，因此对该肺部病灶区域的图像特征进行有效的提取和分析显得尤为重要。目前传统的处理方式是提取病灶区域的影像学特征，并将影像学特征用于后续的分析和研究，以期对病灶区域做出评价。然而，如何有效地提取病灶区域的特征并且基于该特征对病灶区域进行有效的评估和预测成为亟需解决的问题，特别是当该肺部病灶区域包括新冠状病毒所感染的区域。

发明内容

为了至少解决上面的技术问题，本发明提供一种基于神经网络模型对肺部病灶区进行评估的设备。具体来说，本发明使用了基于神经网络的技术来接收并处理图像数据以输出用于评估肺部病灶区域的评估结果。利用该评估结果，本发明的方案可以对肺部病灶区随时间的发展情况进行预测。为此，本发明在如下的多个方面提供相应的解决方案。

在第一方面中，本发明一种基于神经网络模型对肺部病灶区进行评估的评估系统，包括：一个或多个处理器；第一神经网络单元；第二神经网络单元；以及一个或多个计算机可读存储介质，其存储有实现所述第一神经网络单元和第二神经网络单元的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得：第一神经网络单元接收并处理与肺部病灶区图像相关的图像数据，以获得目标向量数据，其中所述图像数据包含与肺部病灶区图像相关的原始数据和/或与肺部病灶区图像的几何特征相关的张量数据；以及第二神经网络单元接收并且处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果。

在一个实施例中，所述肺部病灶区图像是感染有新冠状病毒的肺部区域图像，并且所述第一神经网络单元包括多个编码器和特征提取器，其中：所述多个编码器中的每个编码器包括多个卷积层，其配置用于对所述图像数据进行多层卷积处理，以从所述图像数据获得针对于不同几何特征的多个特征向量；以及所述特征提取器，其配置成对所述多个特征向量执行特征融合操作，以获得所述目标向量数据。

在一个实施例中，所述多个卷积层串行连接，并且串行连接的最后一个卷积层的输出端连接到所述特征提取器的输入端。

在一个实施例中，所述特征融合操作包括对所述多个特征向量执行数据拼接操作，以便输出所述目标向量数据。

在一个实施例中，所述第二神经网络单元包括长短期记忆神经网络，其配置成接收和处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果。

在一个实施例中，与所述肺部病灶区图像相关的图像数据包括在多个不同时刻获取的、与肺部病灶区相关的多组图像子数据。

在一个实施例中，所述张量数据包括三维张量数据，并且所述一个或多个计算机可读存储介质还存储有获得所述三维张量数据的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得：基于所述原始数据来生成四面体网格；以及利用所述四面体网格来确定几何特征，并且将所述几何特征表示为三维张量数据。

在一个实施例中，所述几何特征包括里奇曲率、梯度或者平均曲率，并且所述评估结果包括所述肺部病灶区的病灶质量信息，该病灶质量信息至少用于预测或判断感染所述新冠状病毒的患者的病情严重程度和/或病情发展趋势。

在第二方面中，本发明提供一种计算设备，其包括如上所述的评估系统。

在第三方面中，本发明提供一种计算机可读存储介质，其包括用于基于神经网络模型对肺部病灶区进行评估的计算机程序，当所述计算机程序由设备的一个或多个处理器执行时，使得所述设备执行前述的评估系统的操作。

通过上述在多个方面对本发明方案的描述，本领域技术人员可以理解本发明的方案能够高效地利用神经网络技术来对图像数据进行分析和评估，从而对包括在图像中的肺部病灶区的发展做出合理的评估和预测。在一个应用场景中，当肺部病灶区包括感染有新冠状病毒的病灶区时，通过利用本发明的设备对其进行评估，可以预测新冠肺炎的严重程度及进展可能，从而能够为患者提供有效的医学干预。进一步，本发明的张量数据包括提取自肺部病灶区的几何特征的数据，使得到的评估结果对于患者的病情更具有解释性，从而令评估结果更为准确和更具参考性。另外，本发明的神经网络单元利用特征融合操作来对数据进行融合，从而能够有效地提取和处理图像数据中的特征，由此提高了预测和评估的准确性。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：

图1是示出根据本发明实施例的基于神经网络对肺部病灶区进行评估的系统架构图；

图2是示出根据本发明实施例的用于处理肺部病灶区图像的方法的流程图；

图3是示出根据本发明实施例的用于生成二维网格的方法的示例性流程图；

图4是示出根据本发明实施例的四面体网格的示意图；

图5是示出根据本发明实施例的利用几何特征值替换体素值的方法流程图；

图6是示出根据本发明实施例的部分网格顶点及其邻边的示例性示意图；

图7是示出根据本发明实施例的第一神经网络单元的操作框图；

图8示出根据本发明实施例的编码器的操作框图；

图9是示出根据本发明实施例的第一神经网络单元和第二神经网络单元的操作框图；

图10是示出根据本发明实施例的第二神经网络单元的操作原理图；以及

图11是示出根据本发明实施例的用于对肺部病灶区进行评估的计算设备的方框图。

具体实施方式

下面将结合附图对本发明实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本发明为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本发明的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是示出根据本发明实施例的基于神经网络对肺部病灶区进行评估的系统架构图。

如图中所示，该系统包括计算机X线断层摄影机(即“CT”机)102，其用于对患者的患病部位或疑似患病部位的层面进行扫描，以得到三维立体图像数据。在本发明的上下文，这里的患病部位可以是肺部，特别是可能感染或已经感染有新冠状病毒的肺部区域。由此，通过CT机的扫描，可以得到本发明的三维图像数据104，如图中所示出的感染有新冠状病毒的肺部区域。

在获得上述的三维图像数据后，本发明的评估系统106(其布置在图中所示的计算机上)利用存储器来对该三维图像数据进行保存。尽管图中未示出，在一些场景中，还可以对该保存前的三维图像数据进行一些预处理，例如包括将该三维图像数据进行三角网格化，以得到例如二维网络。

进一步如图1中所示，本发明的评估系统106可以包括处理子系统112 和神经子系统114。在一个实施例中，该处理子系统包括一个或多个处理器，其可以包括通用处理器(“CPU”)或专用图形处理器(“GPU”)。进一步，本发明的神经网络子系统114可以包括第一神经网络单元112和第二神经网络单元114。

作为示例，本发明的上述第一神经网络单元和第二神经网络单元可以实现为存储于计算机可读存储介质(图中未示出)上的程序指令。根据不同的应用场景，此处的计算机可读存储介质可以是一个或者多个，并且可以是能够存储程序指令的各类存储介质。在执行本发明的评估任务期间，处理器可以执行计算机可读存储介质上存储的程序指令，从而该程序指令的运行实现了本发明的第一神经网络单元和第二神经网络单元执行的操作。

具体地，当处理器执行前述一个或者多个程序指令时，本发明的第一神经网络单元可以配置成接收并处理与肺部病灶区图像相关的图像数据，以获得目标向量数据。在一个实施例中，所述图像数据包含与肺部病灶区图像(例如图1中左侧所示的肺部病灶区图像104)的几何特征相关的张量数据。相应地，本发明的第二神经网络单元可以配置成接收并且处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果(例如以质量或体积比的形式来反映)。

在一个应用场景中，上述图像数据还可以是包含与肺部病灶区域相关的原始数据和/或与肺部病灶区域的几何特征相关的二维数据。在一个实施例中，与患者的肺部病灶区域相关的图像区域的原始数据可以通过例如电子计算机断层扫描技术或设备所获得的CT图像数据。在一个实现场景中，与所述肺部病灶区图像相关的图像数据包括在多个不同时刻获取的、与肺部病灶区相关的多组图像子数据(如图1中104所示)。

基于上述描述，上述计算机可读存储介质还存储有获得所述张量数据的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得基于原始数据来生成四面体网格；以及利用所述四面体网格来确定几何特征，并且将所述几何特征表示为三维张量数据。

在一个实施例中，本发明设备中的第一神经网络单元可以包括多个编码器和特征提取器(例如图7中所示出的)。在一个实现场景中，前述的多个编码器中的每个编码器可以包括多个卷积层，其配置用于对图像数据进行多层卷积处理，以从所述图像数据获得针对于不同几何特征的多个特征向量。在一个实施例中，每个编码器中的多个卷积层可以串行连接，并且串行连接的最后一个卷积层的输出端可以连接至所述特征提取器的输入端。在一个实现场景中，特征提取器可以配置用于对前述多个特征向量执行特征融合操作，以获得目标向量数据。作为示例，特征融合操作可以包括对多个特征向量执行数据拼接操作，以便输出所述目标向量数据。

在一个实施例中，本发明设备的第二神经网络单元包括长短期记忆神经网络(“Long Short-Term Memory”，简写为“LSTM”)，其配置成接收和处理上述的目标向量数据，以输出用于评估所述肺部病灶区的评估结果。在一个应用场景中，所述评估结果可以包括肺部病灶区的病灶质量信息，该病灶质量信息至少用于预测或判断感染所述新冠状病毒的患者的病情严重程度和/或病情发展趋势。

上文结合图1对本发明的评估系统以及其中的设备进行了描述。下面将结合图2-图6对本发明如何进行前述的几何特征的提取进行详细地描述。

图2是示出根据本发明多个实施例的处理肺部病灶区图像的方法200 的流程图。需要注意的是，本发明的方法200可以通过包括例如计算机的各类计算设备来实施，而其中涉及到的肺部病灶区域的三维图像数据可以是通过例如电子计算机断层扫描(ComputedTomography，简写为“CT”) 技术或设备所获得的三维图像数据。进一步，本发明的肺部病灶区域的三维图像数据中包含立方体结构，如体积元素(简称“体素”)。

正如本领域技术人员所知，体素主要用于三维成像、科学数据与医学成像领域，其是数字数据在三维空间上所能进行分割和识别的最小单位。进一步，体素的数值(简称“体素值”)可以表示不同的特性。例如，在“CT”图像中，前述的体素值是亨氏单位(HounsfieldUnit，简写为“HU”)。

如图2中所示，在步骤202处，方法200可以获取肺部病灶区域的三维图像数据。在一个实施例中，可以通过支持CT技术的设备来获取三维图像数据并且通过计算来获得本发明的体素值。在该情形中，体素值是图像的灰度值(即下文本发明实施例中讨论涉及的灰度值)。附加地，可以对前述的灰度值进行转换以获得CT值，其单位是上述的亨氏单位。

在基于例如上述讨论的CT技术获得三维图像数据后，在步骤204处，方法200可以根据肺部病灶区域的三维图像数据来生成由多个顶点连接而成的四面体网格。在一个实施例中，本发明生成四面体网格的操作可以包括生成四面体网格的边界，接着再生成四面体网格的内部顶点。在该情形中，四面体网格的边界可以是根据三维图像数据的边界生成的二维网格，并且四面体网格的内部顶点可以是体素的顶点。进一步地，将生成的二维网格作为四面体网格的边界，由此可以利用该边界来获得四面体网格外表面的先验信息，从而加快了四面体网格的生成速度。进一步地，本发明实施例通过构建(或者说重建)四面体网格，可以对肺部病灶区域的形状进行精确描述。进一步，本发明可以通过该四面体网格来确定高阶几何参数 (例如梯度)的位置，以便为后续对肺部病灶区域的分析提供更为准确的数据。在一个实施例中，生成四面体网格的操作也可以通过软件包来自动实现，例如可以选择包含三维约束三角剖分四面体化(Constrained Delaunay Tetrahedralization，简称“CDT”)功能的软件包来直接生成四面体网格。

在通过步骤204生成四面体网格后，流程前进到步骤206处。在该步骤206处，方法200利用所述顶点处的体素值来确定所述顶点处的几何特征值。如前所述，顶点处的体素值可以直接通过支持例如CT技术的装置或者设备来获得，并且获得的体素值通常是CT图像(即本发明实施例中的肺部病灶区域图像)的灰度值，该灰度值可以是0-255之间的任一对应值。根据本发明的一个或多个实施例，前述的几何特征可以包括但不限于里奇曲率、梯度或者平均曲率。接着，在步骤208处，方法200利用所述几何特征值来替换所述体素值，以实现对肺部病灶区域的几何特征提取。

根据不同的实施场景，本发明的几何特征可以是上述的里奇曲率、梯度或者平均曲率中的一种，从而相应地计算该顶点处的里奇曲率值、梯度值或者平均曲率值。基于此，利用前述步骤206处获得的四面体网格顶点处的里奇曲率值、梯度值或者平均曲率值作为该顶点处的灰度值，以用来替换体素值。在一个实施例中，这里获得的里奇曲率值、梯度值或者平均曲率值可以是具有多个维度的张量数据，例如三维张量数据，以用于例如深度卷积网络的特征提取等操作。

上文结合图2对本发明的关于肺部病灶区的几何特征提取进行了描述。基于上文的描述，本领域技术人员可以理解本发明通过对病灶区域重建四面体网格，并基于四面体网格顶点处的体素值来计算几何特征值，例如里奇曲率值、梯度值或者平均曲率值。进一步地，利用获得的几何特征值替换顶点处的体素值，从而提取几何特征。在一个实施例中，可以将该几何特征表示为三维张量数据，以便于后续的研究和分析，包括例如用于神经网络模型的训练和预测评估等。

结合上述描述，本发明通过对肺部病灶区域(包括新冠肺炎)图像的高阶几何特征的提取，使得得到的几何特征数据包含了更加丰富的特征信息，从而能够反映肺部病灶图像区域本质几何属性。同时，与传统的特征提取相比，本发明基于肺部病灶区域图像提取的高阶几何特征更具可解释性，以用于从多个方面和角度对肺部疾病进行评估。进一步地，通过利用本发明获得的高阶几何特征，并将其表示为三维张量，以作为例如深度神经网络的机器学习算法的训练数据，可以训练获得针对于病灶发展趋势的预测模型，从而对病灶区域的发展做出准确预测，以便进行有效的人为干预。

图3是示出根据本发明多个实施例的用于生成二维网格的方法300的示例性流程图。结合上文对图2的描述，本领域技术人员可以理解四面体网格的边界可以是根据三维图像数据的边界生成的二维网格。由此，本发明提出利用图3示出的方法300来获得前述的二维网格。这里需要指出的是方法300是图2所示方法200中部分步骤的具体实现方式，因此关于方法200所做的相应描述也同样适用于下文对于方法300的讨论。

如图3中所示，在步骤302处，方法300利用布尔型变量来标记所述三维图像区域，例如包括新冠肺炎的三维图像区域。在一个实施场景中，本领域技术人员可以理解二维网格的生成，其实质是对于布尔型变量(bool) 数据外表面的网格生成。具体地，可以利用bool标记病灶区域的三维图像区域，并令其为f(Ω)，其中f为光滑函数，Ω为所述三维图像存在的区域。接着，在步骤304处，方法200根据标记后的三维图像区域来生成所述二维网格。例如，基于前述标记的三维图像区域f(Ω)，可以通过f^-1(1)表示内部体素，f^-1(0)表示外部体素，而f^-1(a)(其中0<a<1)则表示三维图像数据的边界，并通过光滑插值计算f函数的a等值面网格。在一个实施场景中，可以利用例如计算几何算法库(ComputationalGeometry Algorithms Library，“CGAL”)执行前述插值来生成二维网格。

在生成上述二维网格后，本领域技术人员可以对该二维网格进行前述的“CDT”处理，从而保证二维网格和四面体网格的边界一致性。也就是说，使得生成的二维网格恰好是四面体网格的边界。进一步地，本领域技术人员还可以对四面体网格进行更强的限制，即将三维数据的体素顶点作为四面体网格的内部顶点。由此，基于获得的二维网格和体素顶点，最终生成由多个顶点连接而成的四面体网格。为了便于理解，图4示出了根据本发明实施例生成的四面体网格的一部分的示例性示意图。根据获得的四面体网格，可以利用该网格各顶点处的灰度值以确定该网格顶点处的几何特征值。在一个实施例中，几何特征值可以是里奇曲率值、梯度值或者平均曲率值。进一步地，利用前述几何特征值替换四面体网格顶点处的体素值。

图5是示出根据本发明多个实施例的用于利用几何特征值替换体素值的方法500的流程图。这里需要理解的是方法500是图2所示方法200中部分步骤的一种具体实现方式，因此关于方法200所做的相应描述也同样适用于方法500。

根据前文的描述，在生成由多个顶点连接而成的四面体网格后，在步骤502处，方法500可以根据前述生成的四面体网格的网格顶点处的体素值来计算所述顶点处的里奇曲率值、梯度值或平均曲率值。在一个实施场景中，可以通过下面所描述的数学操作来计算里奇曲率值。首先，可以定义四面体网格中的顶点邻接的边的权值F(e)，并将其表示为：

其中，ω_e表示边e的权值，

和

分别表示顶点v₁和v₂处的权重，

表示所有与顶点v₁邻接的边(不包括边e)，

表示所有与顶点v₂邻接的边(不包括边e)。为了便于理解，图6示出了根据本发明多个实施例的部分网格顶点及其邻边的示例性示意图。

如图6所示，v₁和v₂可以表示上述生成的四面体网格中共边的两个顶点，e为顶点v₁和顶点v₂的连接边。进一步，顶点v₁还包括与其邻接的边

以及

类似地，顶点v₂也包括与其邻接的边

以及

在一个实施例中，将顶点v₁处的权重定义为

顶点v₂处的权重定义为

前述权重

和

可以是顶点v₁和顶点v₂处的体素值(即灰度值)。由此，基于顶点v₁和顶点v₂处的权重

和

可以获得v₁和v₂共边e的权重ω_e：

结合上述公式(1)和公式(2)可以获得四面体网格中的顶点邻接的边的权值F(e)。基于前述获得的权重F(e)，进一步地根据如下公式可以获得每个顶点处的里奇曲率Ric：

在上述公式(3)中，e_v表示与顶点v相邻接的边，e_v～v表示所有与顶点 v相邻的边，deg(v)可以表示e_v的个数，也即点v相邻的边的个数。在该情形下，里奇曲率值的计算结果是一个数值。

在另一个实施例中，可以只基于上述公式(1)和公式(2)来计算四面体网格中的顶点邻接的边的权重。例如，可以分别计算顶点处相互正交的三个轴(即x轴、y轴、z轴)上的权重，将该三个轴的权重作为里奇曲率值。前述三个轴重可以表示三维张量的张量数据。由此，里奇曲率值可以被表示为三维张量。

上文就如何计算获得里奇曲率值进行了示例性的描述。关于上述提到的几何特征值涉及的梯度值，在一个实施场景中，可以首先采用高斯函数对四面体网格进行卷积，基于卷积后的四面体网格计算其梯度。进一步地，对获得的梯度计算其模长。采用数学方式将四面体网格的梯度值计算表示为

具体地，G表示方差为σ的高斯分布，*表示卷积，f表示四面体网格中的体素值(即灰度值)。针对高斯卷积运算，本领域技术人员可以通过图像处理软件(例如MATLAB)直接调用高斯滤波函数来进行计算。需要理解的是，在该情形下，前述获得顶点处的梯度值是一个实数。本领域技术人员还可以通过分别计算顶点处的三个轴(即x轴、y轴、z轴) 的偏导数，以该三个轴上的偏导数作为三维张量的三个维度上的张量数据。由此，梯度值也可以被表示为三维张量。

进一步，关于上述提到的几何特征值还涉及的平均曲率，在又一个实施场景中，假设病灶区域图像为函数F，并且顶点x所在的等值面的法向量为

则可以将顶点x处的平均曲率K定义为：

上述等值面可以理解成是具有相同灰度值的点的集合所组成的曲面。对于三维数据来说，其可以看成是多个前述等值面的集合。需要理解的是，基于前述定义获得的平均曲率是一个实数。由此，平均曲率可以直接采用基于公式(4)计算得到的实数表示。

返回到图5，基于上述获得里奇曲率值、梯度值或者平均曲率值后，接着方法500前进至步骤504。在该步骤504处，方法400利用所述里奇曲率值、梯度值或平均曲率值来替换所述顶点处的体素值。具体来说，可以将每个顶点处的体素值替换成上述获得的里奇曲率值、梯度值或平均曲率值，其中里奇曲率值和梯度值可以表示为三维张量。由此，本发明通过确定里奇曲率值、梯度值或平均曲率值而实现了对肺部病灶区域、特别是新冠肺炎病灶区的几何特征的提取。

结合上述描述，本发明实施例通过对肺部病灶区域提取高阶几何特征值，例如里奇曲率值、梯度值或者平均曲率值，并且将里奇曲率值和梯度值表示三维张量。进一步地，本发明实施例肺部病灶区域的体素值替换成前述几何特征值，方便了后续的分析和研究。在一个实现场景中，本领域技术人员可以将获得的包括新冠肺炎图像的几何特征值作为数据源，应用于例如神经网络的人工智能架构中，并且经过训练或深度学习，可以获得针对肺部病灶区域发展趋势的预测模型。由此，本发明的高阶几何特征可以用于对肺部病灶区域的发展做出准确预测，以便医护人员进行及时有效的救治。

在基于结合上述图2-图6所描述的提取方式来获取包括所述几何特征的图像数据后(例如三维张量数据)或者是通过CT技术采集到的原始数据后，由于该图像数据通常采用0到255范围内的灰度值表示，因此通常需要对获取到的图像数据进行预处理。在一个实施例中，本发明提出利用最大-最小(max-min)准则将图像数据的灰度值归一化至0到1之间的浮点数。接着，本发明的第一神经网络单元接收该预处理后的图像数据，并对其进行处理以获取目标向量数据。在应用本发明的几何特征提取方案的实施场景中，前述图像数据还可以是与目标图像区域的几何特征相关的一维数据和/或三维数据。

图7是示出根据本发明实施例的第一神经网络单元112的操作框图。需要理解的是，图7所示第一神经网络单元是图1所示评估系统106中的第一神经网络单元的一种具体实施方式。由此，关于图1描述的评估系统 106的相关细节和特征也适用于图7的描述。

如图所示，图中左侧虚线框中表示不同类型的图像数据，从上到下依次表示原始数据701、三维数据702、二维数据703以及一维数据704。在一个实施例中，一维数据可以存储为TXT格式，其大小可以是1*400(即一行400个数据位)；二维数据可以存储为图片(例如png)格式，其像素大小例如可以是256*256。三维数据可以存储为nii格式，其尺寸大小可以是512位*512位*512位。如前所述，本发明的方案提出使用max-min 准则对上述的图像数据进行归一化处理，从而保持处理后的数据格式和尺寸大小不变。

在接收到上述的图像数据(例如经归一化预处理的图像数据)后，本发明的第一神经网络单元112首先将图像数据通过不同的编码器来提取不同类型的图像数据对应的特征向量。

具体来说，编码器1对原始数据701进行处理以输出特征向量701-1。类似地，三维数据702、二维数据703以及一维数据704可以分别通过编码器2、编码器3以及编码器4提取出相对应的特征向量702-1、特征向量 703-1以及特征向量704-1。需要理解的是，图7中所示的图像数据维度的维度数和编码器的个数仅仅是示例性而非限制性的，本领域技术人员可以根据需求选择其他的图像数据格式或类型。例如，在一些应用场景中，可以采用原始数据、一维到三维数据中的任意一种数据来用于评估。在另一些应用场景中，可以将前述的原始数据以及一维到三维数据中的任意两种或多种进行组合以用于评估。因此，本发明在数据格式和数据使用方式等方面并不作任何的限制。类似地，本发明也对与前述数据格式相对应的编码器的数目和类型不做任何的限制。

在一个实施例中，本发明的上述编码器可以通过神经网络中的卷积层 (或者说卷积算子)来实现。在一个实现场景中，可以通过如图8中所示出的包括两个卷积层和一个自适应卷积层的层结构来实现对数据的编码操作，以获得如上所述的特征向量数据，具体描述如下。

图8示出根据本发明实施例的编码器800的操作框图。可以理解的是该编码器800可以是图7中的编码器1-编码器4中任意之一。如图中所示，该编码器800可以包括卷积层801、卷积层802以及一个自适应卷积层803。假设该图中左侧数据是上述图中的二维数据703(例如提取的高斯曲率、平均曲率或者共形因子表示成的图片)，该编码器800设定为上述图7中的编码器3。由此，二维数据703经过编码器800中的卷积层801进行第一次卷积。接着，经过卷积层802进行第二次卷积，并可选地经过自适应卷积803进行第三次卷积获得特征向量703-1。类似的，通过如上所述的编码器处理，可以获得如图7中的特征向量702-1、特征向量703-1以及特征向量704-1。

根据实际的应用场景，本发明的上述编码器中的前两个卷积层可以分别采用128和64个卷积核来执行卷积操作。在该情形下，输入可以分别是256*256和128*128大小的特征图，而输出可以分别是128*128和64*64 大小的特征图。对于第三个卷积层来说，其可以是使用32个卷积核的自适应卷积层，并且其输出是大小为32*32的特征图。这里，增加自适应卷积层的目的仅仅是为了固定编码器的输出大小，即使得本披露的编码器总出输出固定大小的特征图，例如前述的32*32的特征图。基于此，本领域技术人员可以理解本发明的自适应卷积层是可选的设置，并且在其他的一些应用场景中，可以不使用或由另一卷积层来代替。进一步，本发明的神经网络中的卷积核大小均可以是3*3的阵列，并可以采用均匀分布来初始化。

结合图7和图8所示内容，本领域技术人员可以理解本发明的第一神经网络单元中的多个编码器中的多个卷积层串行连接，并且串行连接的最后一个卷积层的输出端连接至第一神经网络单元的特征提取器(即图7中的特征提取器705)的输入端。就图8所示的卷积层结构来说，编码器中的自适应卷积层803的输出端连接至特征提取器的输入端，以便由特征提取器对多个向量数据执行数据拼接操作来获取目标向量数据。

参考图7所示出的特征提取器705，其对例如上述的四种特征向量执行特征融合操作(也即图中中间虚线框中的操作)。具体地，首先对特征向量701-1、特征向量702-1、特征向量703-1以及特征向量704-1分别进行一次卷积获得各自的卷积结果，再将每个特征向量的卷积结果进行融合 (例如拼接)来获取目标向量数据706。例如将特征向量702-1、特征向量 703-1以及特征向量704-1各自的卷积结果与特征向量701-1的卷积结果进行拼接获得特征向量701-2。类似地，将特征向量701-1、特征向量703-1 以及特征向量704-1各自的卷积结果与特征向量702-1的卷积结果进行拼接获得特征向量702-2。由此，还可以获得特征向量703-2、特征向量704-2。接着，对于特征向量701-2、特征向量702-2、特征向量703-2以及特征向量704-2再执行多次(例如两次)前述操作可以获得特征向量701-10、特征向量702-10、特征向量703-10以及特征向量704-10，并且将其拼接形成目标向量数据706。

在一个实施场景中，上述卷积采用的卷积核的大小可以是3*3、1*1 (与其本身卷积时)，卷积次数可以是三次，本发明对此不作限制。此外，目标向量数据的维数也可以根据需求设定，本发明也不作限制。例如，本发明中获得的目标向量数据是1024维，并且该目标向量数据涉及病人一次CT所获得的图像数据。在应用于病灶区图像分析的场景中，通常可以分别采集病人不同时期的多个CT图像，并且基于上述第一神经网络单元描述的操作，从而获得不同时期下的多个目标向量数据，以作为第二神经网络单元的输入端，例如图9中所示。

图9是示出根据本发明实施例的第一神经网络单元和第二神经网络单元的操作框图。图中最左侧表示采集到病人在Tn个时期下的图像数据(例如CT1图像数据、CT2图像数据以及CTn图像数据)，第一神经网络单元112分别接收前述图像数据并对其进行处理，从而分别获取到T1时刻的目标向量数据901、T2时刻的目标向量数据902以及T刻时期的目标向量数据910。接着，第二神经网络单元114接收获取到多个目标向量数据，并对其处理最终获得病灶区域的评估结果。在一个实施例中，第二神经网络单元可以是长短期记忆神经网络(Long Short-Term Memory，“LSTM”)，例如图10中所示出的。

图10是示出根据本发明实施例的第二神经网络单元114的操作原理图。如上所述，本发明的第二神经网络单元在一个实施场景中可以实现为 LSTM神经网络，并且该LSTM神经网络中可以包括输入层、一个或多个隐藏层以及输出层。

如图10中所示，代表患者CT_t时期、CT_t-1时期以及CT_t+1时期的图像数据，经过第一神经网络单元特征融合，分别获得目标向量数据X_t、目标向量数据X_t-1以及目标向量数据X_t+1。LSTM神经网络以目标向量数据X_t、目标向量数据X_t-1以及目标向量数据X_t+1作为输入，并利用目标向量数据 X_t和前一时刻病人第t-1次CT的记忆S_t-1来计算当前时刻病人第t次CT 的记忆S_t。类似地，可以基于病人第t次CT的记忆S_t计算病人第t+1次 CT的记忆S_t+1。在一个实施场景中，可以多次重复前述操作(例如调整输入层到隐藏层的权重U、隐藏层到输出层的权重V以及上一时刻隐藏层到当前时刻隐藏层的权重W)并完成计算所有时刻下的记忆，最终获取输出 Ot，该Ot即为评估结果。通常情况下，前述评估结果可以表示为质量(例如病灶区域的质量)以及体积比(病灶区域与整个图像的体积比)。通过分析该评估结果，可以确定图像数据中的目标特征随时间发展的情形。例如，当该图像数据是包含新冠肺炎病灶区域的图像数据时，可以对该新冠肺炎的当前状态及发展进行评估和预测。

例如，通过本发明前述从包含新冠肺炎区域的病灶区所提取的高阶几何特征，本发明设备的用户(例如医护专业人员)可以通过分析评估结果所反映的肺部感染区域的质量或者体积比来确定当前用户的病情严重程度。进一步，由于本发明的神经网络单元对数据在时间维度上进行处理，用户基于评估结果也可以评估患者的病情发展状况。例如，当质量或体积比呈逐渐减小或下降的趋势，则可以判断患者有望在一定时间内康复。相对而言，当质量或体积比呈增大或上升的趋势，则可以判断患者的病情在一定程度上有可能进一步恶化。在该情形中，医护人员可以对患者及时进行必要的救治，以便控制病情的发展并防止病情的进一步恶化。

尽管上文没有提及本发明的神经网络单元的训练过程，但基于本发明公开的内容，本领域技术人员可以理解本发明的神经网络单元可以通过训练数据来进行训练，从而获得具有高精度的神经网络单元。例如，在神经网络训练的前向传播过程中，本发明可以利用通过结合图2-图6所获得的包括几何特征的图像数据(例如三维张量数据)来对本发明的神经网络单元进行训练，并且将训练结果与预期的结果(或称真实值)进行比较以获得相应的损失函数。进一步，在神经网络训练的反向传播过程中，本发明利用获得的损失函数并基于例如梯度下降算法来对权重(例如图10中的权重U、V以及W)进行更新，以减小输出Ot与真实值的误差。

结合上述描述，利用本发明实施例的图像评估系统，可以通过第一神经网络单元对图像数据进行特征融合来获取目标向量数据，第二神经网络单元对目标向量数据处理获得图像的评估结果。例如，可以将病人的CT 图像输入本发明图像评估系统，由此直接获得病人的病灶区域的评估结果 (例如质量和体积比)。通过对该质量或者体积比对病人的病情以及病灶区域的发展趋势进行预测，以便人工干预。

图11是示出根据本发明实施例的用于基于神经网络模型对肺部病灶区进行评估的设备1100的框图。如图11所示，设备1100可以包括中央处理单元(“CPU”)1111，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备1100还可以包括大容量存储器1112和只读存储器(“ROM”)1113，其中大容量存储器1112 可以配置用于存储各类数据，例如包括各种与病灶区域相关的图像数据、算法数据、中间结果和运行设备1100所需要的各种程序。只读存储器 (“ROM”)1113可以配置成存储对于设备1100的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。

可选地，设备1100还可以包括其他的硬件平台或组件，例如示出的张量处理单元(“TPU”)1114、图形处理单元(“GPU”)1115、现场可编程门阵列(“FPGA”)1116和机器学习单元(“MLU”)1117。可以理解的是，尽管在本发明的设备1100中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备1100可以仅包括CPU来实现本发明的肺部病灶区的评估操作。

在一些实施例中，为了便于数据与外部网络的传递和交互，本发明的设备1100还包括通信接口1118，从而可以通过该通信接口1118连接到局域网/无线局域网(“LAN/WLAN”)1105，进而可以通过LAN/WLAN 连接到本地服务器1106或连接到因特网(“Internet”)1107。替代地或附加地，本发明的设备1100还可以通过通信接口1118基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代(“3G”)、第4代(“4G”) 或第5代(“5G”)的无线通信技术。在一些应用场景中，本发明的设备 1100还可以根据需要访问外部网络的服务器1108以及可能的数据库1109，以便获得各种已知的图像模型、数据和模块，并且可以远程地存储各种数据，例如用于呈现或评估病灶区域图像的各类数据。

本发明的设备1100的外围设备可以包括显示装置1102、输入装置 1103和数据传输接口1104。在一个实施例中，显示装置1102可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本发明的显示病灶区域图像的运算过程或者最终结果进行语音提示和/或图像视频显示。输入装置1103可以包括例如键盘、鼠标、麦克风、姿势捕捉相机，或其他输入按钮或控件，其配置用于接收病灶区域图像数据的输入和/或用户指令。数据传输接口1104可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机系统接口(“SCSI”)、串行ATA、火线(“FireWire”)、PCI Express和高清多媒体接口(“HDMI”)等，其配置用于与其他设备或系统的数据传输和交互。根据本发明的方案，该数据传输接口1104可以接收来自于CT设备(如图1中所示CT设备102) 的病灶区域图像或病灶区域图像数据，并且向设备1100传送包括病灶区域的图像数据或各种其他类型的数据和结果。

本发明的设备1100的上述CPU 1111、大容量存储器1112、只读存储器ROM 1113、TPU 1114、GPU 1115、FPGA 1116、MLU 1117和通信接口1118可以通过总线1119相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线1119，CPU 1111可以控制设备1100 中的其他硬件组件及其外围设备。

以上结合图11描述了可以用于执行本发明的基于神经网络对肺部病灶区进行评估的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本发明的实现方式和实现实体并不受其限制，而是可以在不偏离本发明的精神下做出改变。

还应当理解，本发明示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的，例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。

应当理解，本发明的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本发明。如在本发明说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。虽然本发明的实施方式如上，但所述内容只是为便于理解本发明而采用的实施例，并非用以限定本发明的范围和应用场景。任何本发明所述技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种基于神经网络对肺部病灶区进行评估的评估系统，包括：

处理子系统，其包括一个或多个处理器；

神经网络子系统，其包括第一神经网络单元和第二神经网络单元；以及

一个或多个计算机可读存储介质，其存储有实现所述神经网络子系统的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得：

第一神经网络单元接收并处理与肺部病灶区图像相关的图像数据，以获得目标向量数据，其中所述图像数据包含与肺部病灶区图像的几何特征相关的张量数据；以及

第二神经网络单元接收并且处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果。

2.根据权利要求1所述的评估系统，其中所述肺部病灶区图像是感染有新冠状病毒的肺部区域图像，并且所述第一神经网络单元包括多个编码器和特征提取器，其中：

所述多个编码器中的每个编码器包括多个卷积层，其配置用于对所述图像数据进行多层卷积处理，以从所述图像数据获得针对于不同几何特征的多个特征向量；以及

所述特征提取器，其配置成对所述多个特征向量执行特征融合操作，以获得所述目标向量数据。

3.根据权利要求2所述的评估系统，其中所述多个卷积层串行连接，并且串行连接的最后一个卷积层的输出端连接到所述特征提取器的输入端。

4.根据权利要求2所述的评估系统，其中所述特征融合操作包括对所述多个特征向量执行数据拼接操作，以便输出所述目标向量数据。

5.根据权利要求4所述的评估系统，其中所述第二神经网络单元包括长短期记忆神经网络，其配置成接收和处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果。

6.根据权利要求1所述的评估系统，其中与所述肺部病灶区图像相关的图像数据包括在多个不同时刻获取的、与肺部病灶区相关的多组图像子数据。

7.根据权利要求6所述的评估系统，其中所述张量数据包括三维张量数据，并且所述一个或多个计算机可读存储介质还存储有获得所述三维张量数据的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得：

基于原始数据来生成四面体网格；以及

利用所述四面体网格来确定几何特征，并且将所述几何特征表示为三维张量数据。

8.根据权利要求7所述的评估系统，其中所述几何特征包括里奇曲率、梯度或者平均曲率，并且所述评估结果包括所述肺部病灶区的病灶质量信息，该病灶质量信息至少用于预测或判断感染所述新冠状病毒的患者的病情严重程度和/或病情发展趋势。

9.一种计算设备，其包括根据权利要求1-8的任意一项所述的评估系统。

10.一种计算机可读存储介质，其包括用于基于神经网络对肺部病灶区进行评估的计算机程序，当所述计算机程序由设备的一个或多个处理器执行时，使得所述设备执行根据权利要求1-8中任意一项所述的评估系统的操作。

Images