[go: up one dir, main page]

CN117576387B - 多模态脑肿瘤图像分割方法、装置、电子设备和存储介质 - Google Patents

多模态脑肿瘤图像分割方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN117576387B
CN117576387B CN202311451746.XA CN202311451746A CN117576387B CN 117576387 B CN117576387 B CN 117576387B CN 202311451746 A CN202311451746 A CN 202311451746A CN 117576387 B CN117576387 B CN 117576387B
Authority
CN
China
Prior art keywords
image
feature
brain tumor
features
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311451746.XA
Other languages
English (en)
Other versions
CN117576387A (zh
Inventor
刘瑜
董玉淋
姜智卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202311451746.XA priority Critical patent/CN117576387B/zh
Publication of CN117576387A publication Critical patent/CN117576387A/zh
Application granted granted Critical
Publication of CN117576387B publication Critical patent/CN117576387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种多模态脑肿瘤图像分割方法、装置、电子设备和存储介质，属于医学图像分割技术领域，方法包括：获取第一脑肿瘤图像和第二脑肿瘤图像；基于双分支网络和空间位置激活模块分别对第一脑肿瘤图像和第二脑肿瘤图像中的每一MRI图像进行特征提取，得到第一目标图像特征以及第二目标图像特征；根据第一目标图像特征和第二目标图像特征，得到分割结果。本发明将多模态多尺度特征融合应用于MRI图像分割，双分支网络和空间位置激活模块在特征提取阶段对不同模态的MRI图像特征提取进行相互指导，能够更加精准地提取到多模态特征，还利用多尺度特征聚合模块在特征融合阶段将提取到的多尺度特征进行融合，进一步提升图像分割任务准确度。

Description

多模态脑肿瘤图像分割方法、装置、电子设备和存储介质
技术领域
本发明涉及医学图像分割技术领域，尤其涉及一种多模态脑肿瘤图像分割方法、装置、电子设备和存储介质。
背景技术
在现实的脑肿瘤治疗过程中，医生通常会根据不同模态磁共振成像(MagneticResonance Imaging，MRI)图像来识别与分析病人的脑胶质瘤病灶区域。用于生物医学图像分割的卷积网络(U-Net)在医学图像分割领域表现出强大的性能，其带有跳转连接的编码器-解码器框架成为了脑肿瘤图像分割的主流框架，很多后续的网络模型都以U-Net为骨干网络。随着自注意力模型transformer的兴起，将transformer应用到U-Net模型中，增强脑肿瘤图像分割的特征提取效果。
现有的脑肿瘤图像分割方法只是增强了模型特征提取的效果，并未实现不同模态数据融合，图像分割任务准确度较低。
发明内容
本发明提供一种多模态脑肿瘤图像分割方法、装置、电子设备和存储介质，用以解决现有技术中仅增强了模型特征提取的效果，并未实现不同模态数据融合，图像分割任务准确度较低的缺陷。
本发明提供一种多模态脑肿瘤图像分割方法，包括：
获取第一脑肿瘤图像和第二脑肿瘤图像，所述第一脑肿瘤图像和所述第二脑肿瘤图像均包括至少一模态MRI图像；
基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述MRI图像和所述第二脑肿瘤图像中的每一所述MRI图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征；
根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果。
根据本发明提供的一种多模态脑肿瘤图像分割方法，所述双分支网络包括第一分支单元和第二分支单元，所述第一分支单元包括第一卷积块和至少一第二卷积块，所述第二分支单元包括第三卷积块和至少一第四卷积块，每一所述第二卷积块和每一所述第四卷积块分别连接一所述空间位置激活模块；
对应的，所述基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述MRI图像和所述第二脑肿瘤图像中的每一所述MRI图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征，包括：
基于所述第一卷积块和所述第二卷积块依次对所述第一脑肿瘤图像进行特征提取，得到第一图像特征；
基于所述第三卷积块和所述第四卷积块依次对所述第二脑肿瘤图像进行特征提取，得到第二图像特征；
基于所述第二卷积块对应的所述空间位置激活模块对所述第一图像特征进行特征提取，得到第一图像空间特征；
基于所述第四卷积块对应的所述空间位置激活模块对所述第二图像特征进行特征提取，得到第二图像空间特征；
根据所述第一图像特征和所述第二图像空间特征，得到所述第一目标图像特征；
根据所述第二图像特征和所述第一图像空间特征，得到所述第二目标图像特征。
根据本发明提供的一种多模态脑肿瘤图像分割方法，所述根据所述第一图像特征和所述第二图像空间特征，得到所述第一目标图像特征，包括：
所述第一图像特征和所述第二图像空间特征的乘积与所述第一图像特征相加，得到所述第一目标图像特征；
对应的，所述根据所述第二图像特征和所述第一图像空间特征，得到所述第二目标图像特征，包括：
所述第二图像特征和所述第一图像空间特征的乘积与所述第二图像特征相加，得到所述第二目标图像特征。
根据本发明提供的一种多模态脑肿瘤图像分割方法，所述第一分支单元的输出端和所述第二分支单元的输出端分别连接一解码器，以确定所述第一分支单元的损失和所述第二分支单元的损失，所述第一分支单元的损失和所述第二分支单元的损失还用于输入预设的总损失函数中以更新所述双分支网络的权重参数。
根据本发明提供的一种多模态脑肿瘤图像分割方法，所述根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果，包括：
基于预设的多尺度特征聚合模块对所述第一目标图像特征和所述第二目标图像特征进行特征融合，得到图像融合特征；
基于预设的解码器对所述图像融合特征进行解码处理，得到所述分割结果。
根据本发明提供的一种多模态脑肿瘤图像分割方法，所述多尺度特征聚合模块包括金字塔卷积单元、上采样单元、注意力单元和聚合单元，所述金字塔卷积单元用于分别提取所述第一目标图像特征和所述第二目标图像特征的全局信息和局部信息；所述上采样单元用于对所述全局信息和所述局部信息进行上采样和拼接处理，得到目标特征；所述注意力单元用于对所述目标特征进行特征重构；所述聚合单元用于对全局信息、局部信息和重构后的特征进行聚合，得到所述图像融合特征。
根据本发明提供的一种多模态脑肿瘤图像分割方法，所述对所述目标特征进行特征重构，包括：
根据所述目标特征，确定一维注意力图和二维注意力图；
根据所述一维注意力图和所述二维注意力图分别对所述目标特征进行逐元素相乘，对乘积进行拼接操作，完成特征重构。
本发明还提供一种多模态脑肿瘤图像分割装置，包括：
获取模块，用于获取第一脑肿瘤图像和第二脑肿瘤图像，所述第一脑肿瘤图像和所述第二脑肿瘤图像均包括至少一模态MRI图像；
第一确定模块，用于基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述MRI图像和所述第二脑肿瘤图像中的每一所述MRI图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征；
第二确定模块，用于根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多模态脑肿瘤图像分割方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多模态脑肿瘤图像分割方法。
本发明提供的多模态脑肿瘤图像分割方法、装置、电子设备和存储介质，获取第一脑肿瘤图像和第二脑肿瘤图像，所述第一脑肿瘤图像和所述第二脑肿瘤图像均包括至少一模态MRI图像；基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述MRI图像和所述第二脑肿瘤图像中的每一所述MRI图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征；根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果。本发明将多模态特征融合应用于MRI图像分割，双分支网络和空间位置激活模块在特征提取阶段可以对不同模态的MRI图像特征提取进行相互指导，防止单尺度特征造成的信息丢失，从而能够更加精准地提取到多模态特征，从而提升图像分割任务准确度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的多模态脑肿瘤图像分割方法的流程示意图；
图2是本发明提供的多模态互导融合网络的结构示意图；
图3是本发明提供的图1中步骤S120的流程示意图；
图4是本发明提供的空间位置激活模块的结构示意图；
图5是本发明提供的图1中步骤S130的流程示意图；
图6是本发明提供的多尺度特征聚合模块的结构示意图；
图7是本发明与现有方法的图像分割结果比较图；
图8是本发明提供的多模态脑肿瘤图像分割装置的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
现有技术中，transformer与U-Net模型的融合模型包括SwinUNet、UNETR、SegTransVAE和NestedFormer等。具体来说，SwinUNet基于Swin Transformer block，构建了一个具有跳跃连接的对称编码器-解码器体系结构。在编码器中实现了从局部到全局的自注意；在解码器中，将全局特征上采样到输入分辨率，进行相应的像素级分割预测。UNETR利用一个纯transformer作为编码器，从embedded input patches中学习上下文信息。从transformer编码器中提取的表示通过多分辨率的skip connections与解码器合并，以预测分割输出。SegTransVAE建立在编码器-解码器架构之上，利用带有变分自动编码器(VAE)分支的变换器连接到网络，与分割一起重建输入图像。NestedFormer也是基于多编码器和单解码器结构，在不同模态的高级表示上执行嵌套多模态融合，并在较低尺度上应用模态敏感门控(MSG)以实现更高效的跳跃连接。
然而，上述融合模型仅增强了模型特征提取的效果，并没有针对多模态MRI数据的互补性等特点，专门设计多模态数据的融合方法。与此同时，现有的这些方法忽略了数据不同尺度的特征，从而不能很好地融合全局和局部的语义信息。
为此，本发明设计了一种基于多尺度的多模态互导融合网络，可用于多模态医学图像分割，表示为MMFA-Net，包括1)双分支网络，用于作为编码器来提取不同模态的特征；2)空间位置激活(SPA)模块，帮助编码器更准确地提取不同模态的特征；3)多尺度特征聚合(MFA)模块，用于融合不同模态之间的多尺度特征。本发明提供的网络能够更加准确地提取到多个模态更加全面的特征，同时为了对不同尺度、不同模态的特征进行更加彻底的融合。本发明还设计一个针对不同尺度特征进行融合的模块，从而能够更加充分地利用不同维度的语义信息，提升在下游分割任务中的准确度。
下面结合实施例对本发明进行详细阐述。
图1是本发明提供的多模态脑肿瘤图像分割方法的流程示意图，如图1所示，本发明提供一种多模态脑肿瘤图像分割方法，基于多模态互导融合网络实现，包括：
S110，获取第一脑肿瘤图像和第二脑肿瘤图像，所述第一脑肿瘤图像和所述第二脑肿瘤图像均包括至少一模态MRI图像；多模态数据之间存在许多差异，可根据多模态图像之间的结构相似性，将不同模态的图像组合为第一脑肿瘤图像和第二脑肿瘤图像。具体的，MRI图像一般包含四种模态：T1、T2、T1ce、Flair。T1ce模态图像是在T1模态图像中加入显影剂后形成的，图像结构比较相似，本发明将T1模态图像和T1ce模态图像合并作为第一脑肿瘤图像，T2模态图像和Flair模态图像合并为第二脑肿瘤图像。
S120，基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述MRI图像和所述第二脑肿瘤图像中的每一所述MRI图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征；
具体的，双分支网络用于分别提取第一脑肿瘤图像的细节信息和第二脑肿瘤图像的细节信息，在特征提取阶段，每个模态图像的特征通过空间位置激活模块去指导另一个模态图像去学习彼此的位置先验知识。由于不同模态图像关注的区域不同，空间位置激活模块就是利用当前模态图像的位置先验去引导另一模态图像关注当前模态图像的空间显著特征。
S130，根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果。
具体的，对所述第一目标图像特征和所述第二目标图像特征进行融合，产生最终的图像分割结果。
可以理解的是，本发明将多模态特征融合应用于MRI图像分割，双分支网络和空间位置激活模块在特征提取阶段可以对不同模态的MRI图像特征提取进行相互指导，防止单尺度特征造成的信息丢失，从而能够更加精准地提取到多模态特征，从而提升图像分割任务准确度。
图2是本发明提供的多模态互导融合网络的结构示意图，如图2所示，在上述实施例的基础上，作为一个可选的实施例，所述双分支网络包括第一分支单元和第二分支单元，所述第一分支单元包括第一卷积块和至少一第二卷积块，所述第二分支单元包括第三卷积块和至少一第四卷积块，每一所述第二卷积块和每一所述第四卷积块分别连接一所述空间位置激活模块。具体的，第一卷积块和第三卷积块仅用于提取图像的细节特征，并未与空间位置激活模块连接。第二卷积块和第四卷积块均与空间位置激活模块连接，其数量可根据需求设置。卷积块的局部窗口机制可以有效地提取MRI图像的细节信息。此外，卷积块共享参数的特性可以减少网络的参数。
可选的，双分支网络采用3D U-Net作为骨干网络，网络采用独立的分支去提取模态特征，双分支网络的卷积块表示为和其中，为第一卷积块，为第二卷积块，为第三卷积块，为第四卷积块。
所述第一分支单元的输出端和所述第二分支单元的输出端分别连接一解码器，以确定所述第一分支单元的损失和所述第二分支单元的损失，所述第一分支单元的损失和所述第二分支单元的损失还用于输入预设的总损失函数中以更新所述双分支网络的权重参数。具体的，在双分支网络训练过程中，可分别提取非模态特征，将每个分支提取的特征直接输入到解码器中，并计算两个分支的损失，并在迭代中将其添加到整体损失函数中，从而更准确地迭代和预测，训练完成后，双分支网络可用于提取不同模态图像的特征。
图3是本发明提供的图1中步骤S120的流程示意图，如图3所示，对应的，所述基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述MRI图像和所述第二脑肿瘤图像中的每一所述MRI图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征，包括：
S310，基于所述第一卷积块和所述第二卷积块依次对所述第一脑肿瘤图像进行特征提取，得到第一图像特征；
S320，基于所述第三卷积块和所述第四卷积块依次对所述第二脑肿瘤图像进行特征提取，得到第二图像特征；S310和S320的顺序可调整；
S330，基于所述第二卷积块对应的所述空间位置激活模块对所述第一图像特征进行特征提取，得到第一图像空间特征；
S340，基于所述第四卷积块对应的所述空间位置激活模块对所述第二图像特征进行特征提取，得到第二图像空间特征；S330和S340的顺序可调整；
S350，根据所述第一图像特征和所述第二图像空间特征，得到所述第一目标图像特征；
S360，根据所述第二图像特征和所述第一图像空间特征，得到所述第二目标图像特征，S350和S360的顺序可调整。
可选的，所述根据所述第一图像特征和所述第二图像空间特征，得到所述第一目标图像特征，包括：
所述第一图像特征和所述第二图像空间特征的乘积与所述第一图像特征相加，得到所述第一目标图像特征；
对应的，所述根据所述第二图像特征和所述第一图像空间特征，得到所述第二目标图像特征，包括：
所述第二图像特征和所述第一图像空间特征的乘积与所述第二图像特征相加，得到所述第二目标图像特征。
图4是本发明提供的空间位置激活模块的结构示意图，如图4所示，每一第二卷积块和每一第四卷积块的输出特征和经过空间位置激活模块分别得到和然后每个模块特定的编码在每一段的输出特征表示计算方式分别为：
其中，代表逐元素相加，代表逐元素相乘。
可以理解的是，本发明提供了一种双分支网络的结构构成的技术方案，将双分支网络和空间位置激活模块(SPA)结合后的编码器部分，在特征提取阶段相互指导不同模态进行特征提取，双分支网络为彼此提供信息的同时又防止单尺度特征造成的信息丢失，从而能够更加精准地提取到多模态、多尺度的特征。
图5是本发明提供的图1中步骤S130的流程示意图，如图5所示，在上述实施例的基础上，作为一个可选的实施例，所述根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果，包括：
S510，基于预设的多尺度特征聚合模块对所述第一目标图像特征和所述第二目标图像特征进行特征融合，得到图像融合特征；
S520，基于预设的解码器对所述图像融合特征进行解码处理，得到所述分割结果。解码器利用编码器四个阶段的聚合特征作为输入，为了处理不同尺度的特征，所有的输入通过双线性插值操作处理所有特征到同一尺度，最后通过拼接和卷积进行融合，产生最终的分割结果。
图6是本发明提供的多尺度特征聚合模块的结构示意图，如图6所示，可选的，所述多尺度特征聚合模块包括金字塔卷积单元、上采样单元、注意力单元和聚合单元，所述金字塔卷积单元用于分别提取所述第一目标图像特征和所述第二目标图像特征的全局信息和局部信息；所述上采样单元用于对所述全局信息和所述局部信息进行上采样和拼接处理，得到目标特征；所述注意力单元用于对所述目标特征进行特征重构；所述聚合单元用于对全局信息、局部信息和重构后的特征进行聚合，得到所述图像融合特征。
可选的，所述对所述目标特征进行特征重构，包括：
根据所述目标特征，确定一维注意力图和二维注意力图；根据所述一维注意力图和所述二维注意力图分别对所述目标特征进行逐元素相乘，对乘积进行拼接操作，完成特征重构。
可选的，本发明提出一个多尺度的多尺度特征聚合模块去保证跨模态特征的有效融合，多尺度特征聚合(MFA)模块的输入为双分支网络的两个不同网络分支的聚合特征：
MFA模块根据输入的融合特征Fi中建模局部和全局的互补关系，更确切地说，MFA模块构建了一个金字塔卷积结构，首先使用全局平均池化层和7x7x7的3D卷积层用来提取全局的表示，然后使用3x3x3的3D卷积层和5x5x5的D卷积层来捕获特征的局部细节信息，这些多尺度卷积层的输出最终通过上采样到H×W×D后进行拼接，拼接后的特征经过1x1x1的卷积层得到目标特征目标特征经过一个注意力层进行特征重构。具体地，给定特征图注意力单元利用输入特征推理出通道上的1D注意力图和2D空间上的注意力图重构后的特征的计算公式如下：
其中，[·,·]为拼接操作，为逐元素相乘。
图像融合特征的计算公式如下：
可以理解的是，本发明通过多尺度特征聚合模块对多模态、多尺度的特征，进行更加全面的融合，从而将融合后的特征用于下游分割任务中，显示出了优异的图像分割性能。
综上所述，本发明是一种基于多模态MRI数据的全新的用于医学图像分割的多尺度特征聚合网络，通过双分支网络可以独立地从不同模态的MRI图像中提取语义特征。空间位置激活模块可用于融合两个分支之间不同模态图像特征的位置信息。多尺度特征聚合模块可将双分支网络提取的不同尺度的特征连接起来，获得丰富的全局和局部信息，并将丰富的信息结合起来进一步提高分割精度。本发明提取并融合脑肿瘤的多模态MRI图像的多尺度特征，以提高病变区域的分割性能。
本发明与现有方法在BraTS2020数据集上的性能数据如表1所示。
表1
本发明与现有方法在BraTS2021数据集上的性能数据如表2所示。
表2
本发明与现有方法在ISBI数据集上的性能数据如表3所示。
表3
采用本发明进行消融实验的研究数据如表4和表5所示，表4为不同输入组合对多模态数据的影响数据，表5为本发明在BraTS2021数据集上不同模块的消融研究数据。
表4
表5
表1-表5中，评价指标Dice系数表示分割结果与实际值的相似度，值越大越相似；HD95系数表示分割结果与实际值之间的距离，值越小越相似，本发明与现有技术相比，评价Dice分数增加了约百分之三。
图7是本发明与现有方法的图像分割结果比较图，如图7所示，图中，从左到右依次为输入图像、Groundtruth分割结果、3D UNet分割结果、UNETR分割结果、SegTransVAE分割结果、NestedFormer分割结果、本发明分割结果，本发明的DBN和SPA模块可以更好地提取不同尺度和不同模态的特征，而MFA模块可以更好地融合这些特征中的全局和局部信息，使得本发明在脑肿瘤分割的精度更优。
下面对本发明提供的多模态脑肿瘤图像分割装置进行描述，下文描述的多模态脑肿瘤图像分割装置与上文描述的多模态脑肿瘤图像分割方法可相互对应参照。
图8是本发明提供的多模态脑肿瘤图像分割装置的结构示意图，如图8所示，本发明还提供一种多模态脑肿瘤图像分割装置，包括：
获取模块810，用于获取第一脑肿瘤图像和第二脑肿瘤图像，所述第一脑肿瘤图像和所述第二脑肿瘤图像均包括至少一模态MRI图像；
第一确定模块820，用于基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述MRI图像和所述第二脑肿瘤图像中的每一所述MRI图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征；
第二确定模块830，用于根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果。
作为一个实施例，所述双分支网络包括第一分支单元和第二分支单元，所述第一分支单元包括第一卷积块和至少一第二卷积块，所述第二分支单元包括第三卷积块和至少一第四卷积块，每一所述第二卷积块和每一所述第四卷积块分别连接一所述空间位置激活模块；
对应的，所述第一确定模块820还用于：
基于所述第一卷积块和所述第二卷积块依次对所述第一脑肿瘤图像进行特征提取，得到第一图像特征；
基于所述第三卷积块和所述第四卷积块依次对所述第二脑肿瘤图像进行特征提取，得到第二图像特征；
基于所述第二卷积块对应的所述空间位置激活模块对所述第一图像特征进行特征提取，得到第一图像空间特征；
基于所述第四卷积块对应的所述空间位置激活模块对所述第二图像特征进行特征提取，得到第二图像空间特征；
根据所述第一图像特征和所述第二图像空间特征，得到所述第一目标图像特征；
根据所述第二图像特征和所述第一图像空间特征，得到所述第二目标图像特征。
作为一个实施例，所述第一确定模块820还用于：
所述第一图像特征和所述第二图像空间特征的乘积与所述第一图像特征相加，得到所述第一目标图像特征；
对应的，所述根据所述第二图像特征和所述第一图像空间特征，得到所述第二目标图像特征，包括：
所述第二图像特征和所述第一图像空间特征的乘积与所述第二图像特征相加，得到所述第二目标图像特征。
作为一个实施例，所述第一分支单元的输出端和所述第二分支单元的输出端分别连接一解码器，以确定所述第一分支单元的损失和所述第二分支单元的损失，所述第一分支单元的损失和所述第二分支单元的损失还用于输入预设的总损失函数中以更新所述双分支网络的权重参数。
作为一个实施例，所述第二确定模块830还用于：
基于预设的多尺度特征聚合模块对所述第一目标图像特征和所述第二目标图像特征进行特征融合，得到图像融合特征；
基于预设的解码器对所述图像融合特征进行解码处理，得到所述分割结果。
作为一个实施例，所述多尺度特征聚合模块包括金字塔卷积单元、上采样单元、注意力单元和聚合单元，所述金字塔卷积单元用于分别提取所述第一目标图像特征和所述第二目标图像特征的全局信息和局部信息；所述上采样单元用于对所述全局信息和所述局部信息进行上采样和拼接处理，得到目标特征；所述注意力单元用于对所述目标特征进行特征重构；所述聚合单元用于对全局信息、局部信息和重构后的特征进行聚合，得到所述图像融合特征。
作为一个实施例，所述第二确定模块830还用于：
根据所述目标特征，确定一维注意力图和二维注意力图；
根据所述一维注意力图和所述二维注意力图分别对所述目标特征进行逐元素相乘，对乘积进行拼接操作，完成特征重构。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行多模态脑肿瘤图像分割方法，该方法包括：
获取第一脑肿瘤图像和第二脑肿瘤图像，所述第一脑肿瘤图像和所述第二脑肿瘤图像均包括至少一模态MRI图像；
基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述MRI图像和所述第二脑肿瘤图像中的每一所述MRI图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征；
根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行多模态脑肿瘤图像分割方法，该方法包括：
获取第一脑肿瘤图像和第二脑肿瘤图像，所述第一脑肿瘤图像和所述第二脑肿瘤图像均包括至少一模态MRI图像；
基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述MRI图像和所述第二脑肿瘤图像中的每一所述MRI图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征；
根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行多模态脑肿瘤图像分割方法，该方法包括：
获取第一脑肿瘤图像和第二脑肿瘤图像，所述第一脑肿瘤图像和所述第二脑肿瘤图像均包括至少一模态MRI图像；
基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述MRI图像和所述第二脑肿瘤图像中的每一所述MRI图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征；
根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种多模态脑肿瘤图像分割方法，其特征在于，包括：
获取第一脑肿瘤图像和第二脑肿瘤图像，所述第一脑肿瘤图像和所述第二脑肿瘤图像均包括至少一模态MRI图像；
基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述MRI图像和所述第二脑肿瘤图像中的每一所述MRI图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征；空间位置激活模块利用当前模态图像的位置先验去引导另一模态图像关注当前模态图像的空间显著特征；
根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果；
所述双分支网络包括第一分支单元和第二分支单元，所述第一分支单元包括第一卷积块和至少一第二卷积块，所述第二分支单元包括第三卷积块和至少一第四卷积块，每一所述第二卷积块和每一所述第四卷积块分别连接一所述空间位置激活模块；
对应的，所述基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述MRI图像和所述第二脑肿瘤图像中的每一所述MRI图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征，包括：
基于所述第一卷积块和所述第二卷积块依次对所述第一脑肿瘤图像进行特征提取，得到第一图像特征；
基于所述第三卷积块和所述第四卷积块依次对所述第二脑肿瘤图像进行特征提取，得到第二图像特征；
基于所述第二卷积块对应的所述空间位置激活模块对所述第一图像特征进行特征提取，得到第一图像空间特征；
基于所述第四卷积块对应的所述空间位置激活模块对所述第二图像特征进行特征提取，得到第二图像空间特征；
根据所述第一图像特征和所述第二图像空间特征，得到所述第一目标图像特征；
根据所述第二图像特征和所述第一图像空间特征，得到所述第二目标图像特征；
所述根据所述第一图像特征和所述第二图像空间特征，得到所述第一目标图像特征，包括：
所述第一图像特征和所述第二图像空间特征的乘积与所述第一图像特征相加，得到所述第一目标图像特征；
对应的，所述根据所述第二图像特征和所述第一图像空间特征，得到所述第二目标图像特征，包括：
所述第二图像特征和所述第一图像空间特征的乘积与所述第二图像特征相加，得到所述第二目标图像特征。
2.根据权利要求1所述的多模态脑肿瘤图像分割方法，其特征在于，所述第一分支单元的输出端和所述第二分支单元的输出端分别连接一解码器，以确定所述第一分支单元的损失和所述第二分支单元的损失，所述第一分支单元的损失和所述第二分支单元的损失还用于输入预设的总损失函数中以更新所述双分支网络的权重参数。
3.根据权利要求1所述的多模态脑肿瘤图像分割方法，其特征在于，所述根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果，包括：
基于预设的多尺度特征聚合模块对所述第一目标图像特征和所述第二目标图像特征进行特征融合，得到图像融合特征；
基于预设的解码器对所述图像融合特征进行解码处理，得到所述分割结果。
4.根据权利要求3所述的多模态脑肿瘤图像分割方法，其特征在于，所述多尺度特征聚合模块包括金字塔卷积单元、上采样单元、注意力单元和聚合单元，所述金字塔卷积单元用于分别提取所述第一目标图像特征和所述第二目标图像特征的全局信息和局部信息；所述上采样单元用于对所述全局信息和所述局部信息进行上采样和拼接处理，得到目标特征；所述注意力单元用于对所述目标特征进行特征重构；所述聚合单元用于对全局信息、局部信息和重构后的特征进行聚合，得到所述图像融合特征。
5.根据权利要求4所述的多模态脑肿瘤图像分割方法，其特征在于，所述对所述目标特征进行特征重构，包括：
根据所述目标特征，确定一维注意力图和二维注意力图；
根据所述一维注意力图和所述二维注意力图分别对所述目标特征进行逐元素相乘，对乘积进行拼接操作，完成特征重构。
6.一种多模态脑肿瘤图像分割装置，其特征在于，包括：
获取模块，用于获取第一脑肿瘤图像和第二脑肿瘤图像，所述第一脑肿瘤图像和所述第二脑肿瘤图像均包括至少一模态MRI图像；
第一确定模块，用于基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述MRI图像和所述第二脑肿瘤图像中的每一所述MRI图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征；空间位置激活模块利用当前模态图像的位置先验去引导另一模态图像关注当前模态图像的空间显著特征；
第二确定模块，用于根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果；
所述双分支网络包括第一分支单元和第二分支单元，所述第一分支单元包括第一卷积块和至少一第二卷积块，所述第二分支单元包括第三卷积块和至少一第四卷积块，每一所述第二卷积块和每一所述第四卷积块分别连接一所述空间位置激活模块；
对应的，所述基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述MRI图像和所述第二脑肿瘤图像中的每一所述MRI图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征，包括：
基于所述第一卷积块和所述第二卷积块依次对所述第一脑肿瘤图像进行特征提取，得到第一图像特征；
基于所述第三卷积块和所述第四卷积块依次对所述第二脑肿瘤图像进行特征提取，得到第二图像特征；
基于所述第二卷积块对应的所述空间位置激活模块对所述第一图像特征进行特征提取，得到第一图像空间特征；
基于所述第四卷积块对应的所述空间位置激活模块对所述第二图像特征进行特征提取，得到第二图像空间特征；
根据所述第一图像特征和所述第二图像空间特征，得到所述第一目标图像特征；
根据所述第二图像特征和所述第一图像空间特征，得到所述第二目标图像特征；
所述根据所述第一图像特征和所述第二图像空间特征，得到所述第一目标图像特征，包括：
所述第一图像特征和所述第二图像空间特征的乘积与所述第一图像特征相加，得到所述第一目标图像特征；
对应的，所述根据所述第二图像特征和所述第一图像空间特征，得到所述第二目标图像特征，包括：
所述第二图像特征和所述第一图像空间特征的乘积与所述第二图像特征相加，得到所述第二目标图像特征。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述多模态脑肿瘤图像分割方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述多模态脑肿瘤图像分割方法。
CN202311451746.XA 2023-11-02 2023-11-02 多模态脑肿瘤图像分割方法、装置、电子设备和存储介质 Active CN117576387B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311451746.XA CN117576387B (zh) 2023-11-02 2023-11-02 多模态脑肿瘤图像分割方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311451746.XA CN117576387B (zh) 2023-11-02 2023-11-02 多模态脑肿瘤图像分割方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN117576387A CN117576387A (zh) 2024-02-20
CN117576387B true CN117576387B (zh) 2024-12-13

Family

ID=89861480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311451746.XA Active CN117576387B (zh) 2023-11-02 2023-11-02 多模态脑肿瘤图像分割方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN117576387B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118052795B (zh) * 2024-02-29 2024-10-25 深圳大学 多模态脑肿瘤图像分割方法、系统、设备及介质
CN120070480B (zh) * 2025-04-28 2025-07-22 厦门工学院 一种脑肿瘤成像的多模态分割方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188410A (zh) * 2023-02-10 2023-05-30 广东省人民医院 基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230237649A1 (en) * 2020-04-15 2023-07-27 Children's Hospital Medical Center Systems and Methods for Quantification of Liver Fibrosis with MRI and Deep Learning
CN113951866B (zh) * 2021-10-28 2024-12-03 北京深睿博联科技有限责任公司 一种基于深度学习的子宫肌瘤诊断方法及装置
CN114612479B (zh) * 2022-02-09 2023-03-24 苏州大学 基于全局与局部特征重建网络的医学图像分割方法和装置
CN114693929A (zh) * 2022-03-31 2022-07-01 西南科技大学 一种rgb-d双模态特征融合的语义分割方法
CN115909326B (zh) * 2022-10-31 2025-06-20 西北工业大学 基于伪蒙版引导特征聚合的医学图像分割模型
CN116758005B (zh) * 2023-05-16 2025-09-30 北方民族大学 一种面向pet/ct医学图像的检测方法
CN117237627A (zh) * 2023-08-30 2023-12-15 琼台师范学院 一种多模态mri脑肿瘤图像分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188410A (zh) * 2023-02-10 2023-05-30 广东省人民医院 基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NestedFormer: Nested Modality-Aware Transformer for Brain Tumor Segmentation;Xing Z, Yu L, Wan L, et al.;《International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland》;20220916;140-150页 *

Also Published As

Publication number Publication date
CN117576387A (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN117576387B (zh) 多模态脑肿瘤图像分割方法、装置、电子设备和存储介质
CN111951280B (zh) 图像分割方法、装置、设备及存储介质
CN111862251B (zh) 医学图像重建技术的方法、装置、存储介质和电子设备
CN111028242A (zh) 一种肿瘤自动分割系统、方法及电子设备
CN110782462A (zh) 一种基于双流特征融合的语义分割方法
KR101917947B1 (ko) 딥러닝을 사용하여 재발 부위를 예측하고, pet 이미지를 생성하는 방법과 장치
CN117197627B (zh) 一种基于高阶退化模型的多模态图像融合方法
CN109410261A (zh) 基于金字塔池化模块的单目图像深度估计方法
CN112037171B (zh) 基于多模态特征融合的多任务mri脑瘤图像分割方法
CN112132770A (zh) 图像修复的方法、装置、计算机可读介质及电子设备
CN109598732B (zh) 一种基于三维空间加权的医学图像分割方法
CN118334006B (zh) 一种基于多模态影像进行三维病灶定位的处理方法和装置
CN117635563A (zh) 一种基于模态交叉注意力的多模态mri脑肿瘤图像分割方法
CN113920132B (zh) 基于多尺度特征学习网络的冠脉cta分割方法和系统
CN115620108A (zh) 基于空间注意力和可逆神经网络的多模态医学图像融合方法
CN117152176B (zh) 一种皮肤病变图像分割方法、计算机设备及介质
CN111862261B (zh) 一种flair模态磁共振影像生成方法及系统
CN117974683A (zh) 一种医学图像分割方法、装置、设备及介质
CN119169125A (zh) 基于ssm多模态医学图像生成方法、系统和可读存储介质
CN118470081A (zh) 一种轻量的单目内窥镜深度估计模型的搭建方法
CN115375715B (zh) 目标提取方法、装置、电子设备及存储介质
CN112966670A (zh) 人脸识别方法、电子设备及存储介质
CN112836602A (zh) 基于时空特征融合的行为识别方法、装置、设备及介质
CN119418366A (zh) 轻量化的小目标害虫检测方法、装置及电子设备
Fan et al. EGFNet: Efficient guided feature fusion network for skin cancer lesion segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant