CN109949318A - 基于多模态影像的全卷积神经网络癫痫病灶分割方法 - Google Patents
基于多模态影像的全卷积神经网络癫痫病灶分割方法 Download PDFInfo
- Publication number
- CN109949318A CN109949318A CN201910173556.3A CN201910173556A CN109949318A CN 109949318 A CN109949318 A CN 109949318A CN 201910173556 A CN201910173556 A CN 201910173556A CN 109949318 A CN109949318 A CN 109949318A
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- convolution kernel
- mri
- pet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 16
- 230000003902 lesion Effects 0.000 title abstract description 22
- 206010015037 epilepsy Diseases 0.000 title abstract description 21
- 210000004556 brain Anatomy 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 40
- 230000004913 activation Effects 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 13
- 230000001037 epileptic effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 210000003625 skull Anatomy 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000013461 design Methods 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 2
- 239000000654 additive Substances 0.000 claims 1
- 230000000996 additive effect Effects 0.000 claims 1
- 230000008602 contraction Effects 0.000 claims 1
- 238000005192 partition Methods 0.000 claims 1
- 238000011084 recovery Methods 0.000 claims 1
- 238000003325 tomography Methods 0.000 claims 1
- 238000002600 positron emission tomography Methods 0.000 abstract description 34
- 238000002595 magnetic resonance imaging Methods 0.000 description 36
- 238000003384 imaging method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 210000005013 brain tissue Anatomy 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 210000004872 soft tissue Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 2
- 238000002603 single-photon emission computed tomography Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 206010051290 Central nervous system lesion Diseases 0.000 description 1
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 208000032612 Glial tumor Diseases 0.000 description 1
- 206010018338 Glioma Diseases 0.000 description 1
- 208000019695 Migraine disease Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 206010008118 cerebral infarction Diseases 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000002418 meninge Anatomy 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 206010027599 migraine Diseases 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于多模态影像的全卷积神经网络癫痫病灶分割方法，主要解决现有技术对癫痫影像中病灶难分割的问题。其实现方法是：将原始脑部MRI影像和PET影像调整到同一分辨率空间，并进行边缘裁剪；将裁剪后的MRI/PET影像划分为训练集和测试集；搭建全卷积神经网络Y‑Net；将训练集输入到Y‑Net网络中进行训练，并对训练好的Y‑Net网络中卷积层的卷积核参数进行存储；将存储的卷积核参数载入到已构建的Y‑Net网络，并输入测试集，得到癫痫病灶的自动分割结果。本发明具有易于分割，且分割精度高的优点，可用于分割脑部核磁共振影像MRI和正电子发射断层扫描影像PET中的癫痫病灶区域。
Description
技术领域
本发明是属于图像处理技术领域，特别是涉及一种多模态影像病灶分割方法，可用于分割脑部核磁共振影像MRI和正电子发射断层扫描影像PET中的癫痫病灶区域。
背景技术
随着计算机技术以及医学成像技术的快速发展，很多医学成像技术纷纷涌现，例如计算机断层扫描CT、三维超声成像、正电子发射断层扫描PET、核磁共振成像MRI、单光子发射计算机断层SPECT、漫射加权成像DWI、功能磁共振FMRI等。在临床医学中，医学影像发挥的作用越来越大，尤其是磁共振、脑部CT和脑电波等。医学图像已成为医生诊断和治疗病人的重要工具和手段。
由于核磁共振技术对软组织有较好的成像效果，因此针对脑组织的成像手段多采用核磁共振技术。核磁共振成像有两种加权图，分别为T1加权图和T2加权图，其中T1加权图主要用于观察软组织的解剖结构，T2加权图主要用于观察组织病变。正电子发射断层扫描PET成像技术，通过对注射的放射性同位素的衰变成像，能够检测软组织的功能性变化，监测软组织是否处于正常代谢状态。而大脑属于软组织，常归采用核磁共振成像技术来观察脑组织影像表现，应用核磁共振技术检查脑部的疾病有很多，例如：脑溢血、大脑胶质瘤、脑梗、脑中风、偏头痛、脑膜炎等，近年来在癫痫病诊断领域也应用了核磁共振成像和正电子发射断层扫描成像技术进行检查。
医学发现，通过观察含有癫痫病灶的核磁共振T2加权图和PET功能成像，得知癫痫病灶与健康组织的影像表现几乎相同，病灶可辨识度太差，病灶区域边缘不够明显，不利于癫痫病灶的术前准确定位，对多模态影像中癫痫病灶的分割提出了严峻的挑战。
在图像分割领域中，目前较为流行的是水平集方法，分为基于边缘的水平集方法和基于区域的水平集方法。基于边缘的水平集模型主要利用边缘信息来分割图像，该模型对初始化条件和噪声较为敏感，当目标边缘比较模糊时其分割效果便不尽人意。基于区域的水平集分割模型虽对噪声不敏感，但容易过分割。以上提到的分割方法往往需要大量的先验知识，而对于癫痫病灶这种弱目标，很难提供有效的先验信息，且分割结果容易出现过分割，把健康脑组织划分为病灶区域，容易诱导医生手术中损伤健康脑组织，不仅降低癫痫病手术的治疗效果，而且破坏健康脑组织的生理功能，造成恶劣的手术并发症。
发明内容
本发明的目的在于针对上述方法的不足，提出基于多模态影像的全卷积神经网络癫痫病灶分割方法，以避免对先验知识的依赖，实现自动分割，提高对癫痫病多模态影像的分割精度。
为实现以上目的，本发明的技术解决方案如下：
(1)校正多模态影像分辨率，获取多模态影像训练样本集和测试样本集：
将核磁共振影像MRI和正电子断层扫描影像PET变换到同一分辨率空间，依据影像生成时间、头骨外形轮廓对MRI影像与PET影像进行配对，得到脑部多模态影像配对数据集，变换分辨率公式如下：
其中A为变换分辨率以后PET影像尺寸，b为MRI分辨率,B为MRI影像尺寸，a为PET影像分辨率；
裁剪配对影像中的无效边缘部分，应用随机选择的方法按照7：3的比例划分为脑部MRI/PET多模态影像训练样本集和测试样本集，并同时划分手动标签；
(2)搭建多模态全卷积神经网络模型：
设计一个四十层的多模态全卷积神经网络，其前三十五层网络成对分布，第三十六层进行特征融合，一直到第四十层输出分割结果，形成Y字形网络模型结构，并命名为Y-Net网络；
(3)将脑部多模态MRI/PET影像训练集和对应的手动标签输入到Y-Net网络模型中进行训练，学习癫痫病灶的影像特征，得到卷积核参数和偏置参数，并存储；
(4)将(3)得到的卷积核参数和偏置参数载入Y-Net网络模型中，以设定各个网络层的参数，得到拟合好癫痫病灶的Y-Net网络；
(5)将测试数据集输入到拟合好癫痫病灶的Y-Net网络中进行预测，得到脑部MRI/PET影像测试集的癫痫病灶分割结果，并显示。
本发明与现有技术相比具有如下优点：
1、本发明能够同时充分应用处于不同分辨率空间的核磁共振影像和正电子发射断层扫描影像。
2、本发明与传统的分割方法相比，不需要人为给定先验信息，能够充分学习MRI/PET多模态医学影像中癫痫病灶区域的影像特征，且在Y-Net网络训练完毕后，能够自动的分割MRI/PET多模态脑部影像中的癫痫病灶。
3、本发明与经典的分割网络U-Net相比，通过搭建的多模态全卷积神经网络能够同时利用核磁共振影像和正电子发射断层扫描影像进行图像分割，提高了分割精度。
附图说明
图1是本发明的实现流程图；
图2是为MRI/PET多模态影像中的原始影像和调整分辨率以后的影像；
图3本发明中搭建的全卷积神经网络结构图；
图4为调整分辨率后且实施边缘裁剪操作的多模态影像图，手动标签图和分割结果图。
具体实施方式
下面结合附图对本发明的具体实施步骤及效果做进一步详细描述。
参照图1，本实例的实现步骤如下：
步骤1：对MRI/PET影像预处理。
1a)将核磁共振影像MRI和正电子断层扫描影像PET变换到同一分辨率空间，如图2所示，其中图2(a)为调整分辨率之前的MRI影像，图2(b)为调整分辨率之前的PET影像，图2(c)为调整分辨率之后的MRI影像，图2(d)为调整分辨率之后的PET影像；
1b)依据影像生成时间、头骨外形轮廓把MRI影像和PET影像配对，得到脑部多模态影像配对数据集，依据以上数据集的共性，对配对影像进行边缘裁剪，图4(a)、图4(b)分别为边缘裁剪后的MRI影像和PET影像；
1c)对边缘裁剪后的MRI/PET影像对进行数据扩充操作，其扩充手段有镜像变换、反转变换、剪切变换、小角度旋转以及像素值抖动；
1d)应用随机选择的方法按照7：3的比例划分为脑部MRI/PET多模态影像训练样本集和测试样本集，并同时划分手动标签。
步骤2：构造全卷积神经网络Y-Net
利用python编程语言，结合深度学习工具包keras，构造全卷积神经网络Y-Net，结果如图3，该网络共有40层。
参照图3，全卷积神经网络的各层结构如下：
第一层为输入层，输入图像尺寸为320*288；
第二层为卷积层，卷积核个数为64，卷积核尺寸为3*3，步长为1，激活函数为修正线性单元函数；
第三层为卷积层，其与第二层参数设置相同；
第四层为池化层，池化窗口为2*2，步长为2；
第五层为卷积层，卷积核个数为128，卷积核尺寸为3*3，步长为1，激活函数为修正线性单元函数；
第六层为卷积层，其与第五层参数设置相同；
第七层为池化层，池化窗口为2*2，步长为2；
第八层为卷积层，卷积核个数为256，卷积核尺寸为3*3，步长为1，激活函数为修正线性单元函数；
第九层为卷积层，其与第八层参数设置相同；
第十层为池化层，池化窗口为2*2，步长为2；
第十一层为卷积层，卷积核个数为512，卷积核尺寸为3*3，步长为1，激活函数为修正线性单元函数；
第十二层为卷积层，其与第十一层参数设置相同；
第十三层为Dropout层，对网络连接参数进行随机断开，以抑制过拟合；
第十四层为池化层，池化窗口为2*2，步长为2；
第十五层为卷积层，卷积核个数为1024，卷积核尺寸为3*3，步长为1，激活函数为修正线性单元函数；
第十六层为卷积层，其与第十五层参数设置相同；
第十七层为Dropout层，用于对网络连接参数进行随机断开，以抑制过拟合；
第十八层为上采样层，上采样窗口为2*2，用于对收缩的特征进行尺寸复原；
第十九层为卷积层，卷积核个数为512，卷积核尺寸为3*3，步长为1，激活函数为修正线性单元函数；
第二十层为融合层，用于将第十九层和第十三层的输出特征图进行叠加融合；
第二十一层为卷积层，卷积核个数为512，卷积核尺寸为3*3，步长为1，激活函数为修正线性单元函数；
第二十二层为卷积层，其与第二十一层参数设置相同；
第二十三层为上采样层，上采样窗口为2*2，用于对收缩的特征进行尺寸复原；
第二十四层为卷积层，卷积核个数为256，卷积核尺寸为3*3，步长为1，激活函数为修正线性单元函数；
第二十五层为融合层，用于将第二十四层和第九层的输出特征图进行叠加融合；
第二十六层为卷积层，卷积核个数为256，卷积核尺寸为3*3，步长为1，激活函数为修正线性单元函数；
第二十七层为卷积层，其与第二十六层参数设置相同；
第二十八层为上采样层，上采样窗口为2*2，对收缩的特征进行尺寸复原；
第二十九层为卷积层，卷积核个数为128，卷积核尺寸为3*3，步长为1，激活函数为修正线性单元函数；
第三十层为融合层，用于将第二十九层和第六层的输出特征图进行叠加融合；
第三十一层为卷积层，卷积核个数为128，卷积核尺寸为3*3，步长为1，激活函数为修正线性单元函数；
第三十二层为卷积层，其与第三十一层参数设置相同；
第三十三层为上采样层，上采样窗口为2*2，对收缩的特征进行尺寸复原；
第三十四层为卷积层，卷积核个数为64，卷积核尺寸为3*3，步长为1，激活函数为修正线性单元函数；
第三十五层为融合层，用于将第三十四层和第三层的输出特征图进行叠加融合；
以上三十五层的网络为成对结构，两个输入层分别输入MRI和PET影像数据集；
第三十六层为融合层，用于将以上第三十五层的两中模态的特征数据叠加融合；
第三十七层为卷积层，卷积核个数为64，卷积核尺寸3*3，步长为1，激活函数均为修正线性单元函数；
第三十八层为卷积层，卷积核个数为16，卷积核尺寸3*3，步长为1，激活函数均为修正线性单元函数；
第三十九层为卷积层，卷积核个数为8，卷积核尺寸3*3，步长为1，激活函数均为修正线性单元函数；
第四十层为卷积层，卷积核个数为1，卷积核尺寸3*3，步长为1，激活函数均为修正线性单元函数。
步骤3：对全卷积神经网络进行训练
将步骤1中的训练样本集和标签输入到步骤2构建的Y-Net网络中，通过Adam优化方法进行迭代优化150次，得到训练好的全卷积神经网络，并对训练好的Y-Net网络中的卷积核参数和偏置参数进行存储
步骤4：对多模态MRI/PET脑部影像病灶进行分割
4a)将步骤3存储的卷积核参数和偏置参数载入到步骤2构造好的Y-Net网络；
4b)将步骤1中构造好的测试数据集输入到4a)载入参数的Y-Net网络，得到测试数据集的癫痫病灶分割结果。
步骤5：多模态脑部影像癫痫病灶分割结果显示
将步骤1中划分的手动标签和步骤4中的分割结果进行轮廓线检测，将检测好的轮廓线绘制在步骤1中划分的对应核磁共振影像中，结果如图4，其中图4(c)为手动标签图，图4(d)为分割结果图，图4(e)为绘制轮廓线的核磁共振影像。
本发明的效果仿真条件及仿真结果
1.仿真条件：
本发明的仿真试验平台是Intel Core i7-6900K CPU 3.2GHz，内存为64GB，显卡为Nvidia Titan X Pascal的PC机，计算机软件配置为Python3.6，keras2.1.3,tensorflow1.1.0。
数据由西门子公司的MRI/PET一体扫描仪对头部进行横断方向扫描获取。
MRI/PET影像具体参数如下表1：
表1 MRI/PET影像
表1中Slice-thickness为影像扫描层厚，单位为毫米；Resolution为扫描分辨率，单位为像素每毫米；Space between slices为扫描影像层间距离，单位为毫米。
2.仿真内容
用本发明方法对表1描述的MRI/PET影像进行分割，分割结果如表2：
表2 分割结果
| 数据集扩充倍数 | 3 | 5 | 7 |
| 测试集影像数 | 72 | 108 | 144 |
| 平均Dice交并比 | 0.46 | 0.6 | 0.53 |
其中表2中Dice交并比值，表示本发明的分割准确率，其通过如下公式计算得到：
式中A为图4(c)中白色区域的面积，B图4(d)中白色区域的面积。
由表二可见，本发明的分割结果的准确率最高能达到60％左右。
Claims (6)
1.基于多模态影像的全卷积神经网络癫痫病灶分割方法，其特征在于，包括如下：
(1)校正多模态影像分辨率，获取多模态影像训练样本集和测试样本集：
将核磁共振影像MRI和正电子断层扫描影像PET变换到同一分辨率空间，依据影像生成时间、头骨外形轮廓对MRI影像与PET影像进行配对，得到脑部多模态影像配对数据集，变换分辨率公式如下：
其中A为变换分辨率以后PET影像尺寸，b为MRI分辨率,B为MRI影像尺寸，a为PET影像分辨率；
裁剪配对影像中的无效边缘部分，应用随机选择的方法按照7：3的比例划分为脑部MR/PET多模态影像训练样本集和测试样本集，并同时划分手动标签；
(2)搭建多模态全卷积神经网络模型：
设计一个四十层的多模态全卷积神经网络，其前三十五层网络成对分布，第三十六层进行特征融合，一直到第四十层输出分割结果，形成Y字形网络模型结构，并命名为Y-Net网络；
(3)将脑部多模态MRI/PET影像训练集和对应的手动标签输入到Y-Net网络模型中进行训练，学习癫痫病灶的影像特征，得到卷积核参数和偏置参数，并存储；
(4)将(3)得到的卷积核参数和偏置参数载入Y-Net网络模型中，以设定各个网络层的参数，得到拟合好癫痫病灶的Y-Net网络；
(5)将测试数据集输入到拟合好癫痫病灶的Y-Net网络中进行预测，得到脑部MRI/PET影像测试集的癫痫病灶分割结果，并显示。
2.根据权利要求1所述的方法，其中(2)搭建的Y-Net网络模型的前35层网络结构分别应用于MRI和PET影像，得到MRI影像和PET影像的特征图，第36层基于第35层的特征图进行特征融合，第37层到第40层为卷积层。
3.根据权利要求2所述的方法，其中，前35层的网络结构如下：
第一层为输入层，输入图像尺寸为320*288；
第二层、第三层，第五层、第六层，第八层、第九层，第十一层、第十二层，第十五层、第十六层，第十九层，第二十一层、第二十二层，第二十四层，第二十六层、第二十七层，第二十九层，第三十一层、第三十二层，第三十四层，均采用卷积核个数不同的卷积层；
第四层、第七层、第十层、第十四层均为池化层，池化窗口均为2*2，步长均为2；
第十三层、第十七层均为Dropout层，用于对网络连接参数进行随机断开，以抑制过拟合；
第十八层、第二十三层、第二十八层、第三十三层均为上采样层，上采样窗口均为2*2，用于对收缩的特征图进行尺寸复原；
第二十层为融合层，用于把第十九层和第十三层的输出特征图进行叠加融合；
第二十五层为融合层，用于把第二十四层和第九层的输出特征图进行叠加融合；
第三十层为融合层，用于把第二十九层和第六层的输出特征图进行叠加融合；
第三十五层为融合层，用于把第三十四层和第三层的输出特征图进行叠加融合；
以上三十五层的网络结构成对构造，两个输入层分别输入MRI和PET影像数据集。
4.根据权利要求3所述的方法，其中各卷积层的卷积核参数设置如下：
第二层、第三层的卷积核个数均为64，
第五层、第六层的卷积核个数均为128，
第八层、第九层的卷积核个数均为256，
第十一层、第十二层的卷积核个数均为512，
第十五层、第十六层的卷积核个数均为1024，
第十九层的卷积核个数为512，
第二十一层、第二十二层的卷积核个数均为512，
第二十四层的卷积核个数为256，
第二十六层、第二十七层的卷积核个数均为256，
第二十九层的卷积核个数为128，
第三十一层、第三十二层的卷积核个数均为128，
第三十四层的卷积核个数为64，
每个卷积核的尺寸均为3*3，步长为1，激活函数为修正线性单元函数。
5.根据权利要求2所述的方法，其中，后5层的网络结构如下：
第三十六层为融合层，用于把两种模态的第35层特征数据叠加融合；
第三十七、三十八、三十九、四十层分别为四个卷积层，卷积核个数分别为64、16、8、1，卷积核尺寸均为3*3，步长均为1，激活函数均为修正线性单元函数。
6.根据权利要求书1所述的方法，其中(2)搭建的Y-Net网络模型，其配置包括优化方法、学习率、损失函数、激活函数：
网络模型优化方法采用Adam，学习率为0.0001，损失函数采用交叉熵损失函数Q(m)，
交叉熵损失函数Q(m)表示如下：
其中xm为MRI/PET影像中的每个像素点，nm为该图像像素点总数，ym为标签序列中对应像素点的值，am为分割结果中对应像素点的值。
激活函数采用修正线性单元函数y，修正先行单元函数y表示如下：
其中x为激活函数输入值，y为激活函数值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910173556.3A CN109949318B (zh) | 2019-03-07 | 2019-03-07 | 基于多模态影像的全卷积神经网络癫痫病灶分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910173556.3A CN109949318B (zh) | 2019-03-07 | 2019-03-07 | 基于多模态影像的全卷积神经网络癫痫病灶分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109949318A true CN109949318A (zh) | 2019-06-28 |
| CN109949318B CN109949318B (zh) | 2023-11-14 |
Family
ID=67009315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910173556.3A Active CN109949318B (zh) | 2019-03-07 | 2019-03-07 | 基于多模态影像的全卷积神经网络癫痫病灶分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109949318B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111667486A (zh) * | 2020-04-29 | 2020-09-15 | 杭州深睿博联科技有限公司 | 一种基于深度学习的多模态融合胰腺分割方法和系统 |
| CN111784653A (zh) * | 2020-06-28 | 2020-10-16 | 西安电子科技大学 | 基于形状约束的多尺度网络mri胰腺轮廓定位方法 |
| WO2020215672A1 (zh) * | 2019-08-05 | 2020-10-29 | 平安科技（深圳）有限公司 | 医学图像病灶检测定位方法、装置、设备及存储介质 |
| KR20210027057A (ko) * | 2019-08-30 | 2021-03-10 | 재단법인 아산사회복지재단 | 인공 신경망을 이용하여 관심 부피 영역을 추출하는 방법 및 상기 방법을 수행하는 관심 부피 영역 추출 장치 |
| CN112494028A (zh) * | 2019-09-13 | 2021-03-16 | 通用电气公司 | 使用多模态成像的活检工作流程 |
| CN113345576A (zh) * | 2021-06-04 | 2021-09-03 | 江南大学 | 一种基于深度学习多模态ct的直肠癌淋巴结转移诊断方法 |
| CN114463456A (zh) * | 2021-12-31 | 2022-05-10 | 深圳先进技术研究院 | 基于pet/mr成像系统的自动脑区分割方法及装置 |
| CN115018836A (zh) * | 2022-08-08 | 2022-09-06 | 四川大学 | 一种癫痫病灶自动分割与预测方法、系统及设备 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016033458A1 (en) * | 2014-08-29 | 2016-03-03 | The University Of North Carolina At Chapel Hill | Restoring image quality of reduced radiotracer dose positron emission tomography (pet) images using combined pet and magnetic resonance (mr) |
| US20160093048A1 (en) * | 2014-09-25 | 2016-03-31 | Siemens Healthcare Gmbh | Deep similarity learning for multimodal medical images |
| CN107220980A (zh) * | 2017-05-25 | 2017-09-29 | 重庆理工大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
| CN107506797A (zh) * | 2017-08-25 | 2017-12-22 | 电子科技大学 | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 |
| US20180032846A1 (en) * | 2016-08-01 | 2018-02-01 | Nvidia Corporation | Fusing multilayer and multimodal deep neural networks for video classification |
| US20180108139A1 (en) * | 2016-10-19 | 2018-04-19 | U.S. Department Of Veterans Affairs | System And Method For N-Dimensional Image Segmentation Using Convolutional Neural Networks |
| EP3355270A1 (en) * | 2017-01-27 | 2018-08-01 | AGFA Healthcare | Multi-class image segmentation method |
| US20180218502A1 (en) * | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
| US20180225822A1 (en) * | 2017-02-08 | 2018-08-09 | Siemens Healthcare Gmbh | Hierarchical Learning of Weights of a Neural Network for Performing Multiple Analyses |
| US20180259608A1 (en) * | 2015-11-29 | 2018-09-13 | Arterys Inc. | Automated cardiac volume segmentation |
| CN108648172A (zh) * | 2018-03-30 | 2018-10-12 | 四川元匠科技有限公司 | 一种基于3D-Unet的CT图肺结节检测系统 |
| CN108830209A (zh) * | 2018-06-08 | 2018-11-16 | 西安电子科技大学 | 基于生成对抗网络的遥感图像道路提取方法 |
| CN108846432A (zh) * | 2018-06-06 | 2018-11-20 | 深圳神目信息技术有限公司 | 一种基于深度学习对胸部ct影像的分类方法 |
| CN109087327A (zh) * | 2018-07-13 | 2018-12-25 | 天津大学 | 一种级联全卷积神经网络的甲状腺结节超声图像分割方法 |
| CN109087318A (zh) * | 2018-07-26 | 2018-12-25 | 东北大学 | 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法 |
| CN109409503A (zh) * | 2018-09-27 | 2019-03-01 | 深圳市铱硙医疗科技有限公司 | 神经网络的训练方法、图像转换方法、装置、设备及介质 |
-
2019
- 2019-03-07 CN CN201910173556.3A patent/CN109949318B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016033458A1 (en) * | 2014-08-29 | 2016-03-03 | The University Of North Carolina At Chapel Hill | Restoring image quality of reduced radiotracer dose positron emission tomography (pet) images using combined pet and magnetic resonance (mr) |
| US20160093048A1 (en) * | 2014-09-25 | 2016-03-31 | Siemens Healthcare Gmbh | Deep similarity learning for multimodal medical images |
| US20180259608A1 (en) * | 2015-11-29 | 2018-09-13 | Arterys Inc. | Automated cardiac volume segmentation |
| US20180032846A1 (en) * | 2016-08-01 | 2018-02-01 | Nvidia Corporation | Fusing multilayer and multimodal deep neural networks for video classification |
| US20180108139A1 (en) * | 2016-10-19 | 2018-04-19 | U.S. Department Of Veterans Affairs | System And Method For N-Dimensional Image Segmentation Using Convolutional Neural Networks |
| US20180218502A1 (en) * | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
| EP3355270A1 (en) * | 2017-01-27 | 2018-08-01 | AGFA Healthcare | Multi-class image segmentation method |
| US20180225822A1 (en) * | 2017-02-08 | 2018-08-09 | Siemens Healthcare Gmbh | Hierarchical Learning of Weights of a Neural Network for Performing Multiple Analyses |
| CN107220980A (zh) * | 2017-05-25 | 2017-09-29 | 重庆理工大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
| CN107506797A (zh) * | 2017-08-25 | 2017-12-22 | 电子科技大学 | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 |
| CN108648172A (zh) * | 2018-03-30 | 2018-10-12 | 四川元匠科技有限公司 | 一种基于3D-Unet的CT图肺结节检测系统 |
| CN108846432A (zh) * | 2018-06-06 | 2018-11-20 | 深圳神目信息技术有限公司 | 一种基于深度学习对胸部ct影像的分类方法 |
| CN108830209A (zh) * | 2018-06-08 | 2018-11-16 | 西安电子科技大学 | 基于生成对抗网络的遥感图像道路提取方法 |
| CN109087327A (zh) * | 2018-07-13 | 2018-12-25 | 天津大学 | 一种级联全卷积神经网络的甲状腺结节超声图像分割方法 |
| CN109087318A (zh) * | 2018-07-26 | 2018-12-25 | 东北大学 | 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法 |
| CN109409503A (zh) * | 2018-09-27 | 2019-03-01 | 深圳市铱硙医疗科技有限公司 | 神经网络的训练方法、图像转换方法、装置、设备及介质 |
Non-Patent Citations (16)
| Title |
|---|
| MEHMET AYG UN等: "Multi Modal Convolutional Neural Networks for Brain Tumor Segmentation", 《ARXIV.ORG》 * |
| MEHMET AYG UN等: "Multi Modal Convolutional Neural Networks for Brain Tumor Segmentation", 《ARXIV.ORG》, 17 September 2018 (2018-09-17), pages 1 - 8 * |
| XIANGMING ZHAO等: "Tumor Co-Segmentation in PET/CT using Multi-Modality Fully Convolutional Neural Network", 《PHYSICS IN MEDICINE & BIOLOGY》 * |
| XIANGMING ZHAO等: "Tumor Co-Segmentation in PET/CT using Multi-Modality Fully Convolutional Neural Network", 《PHYSICS IN MEDICINE & BIOLOGY》, vol. 64, no. 1, 21 December 2018 (2018-12-21), pages 3 - 9, XP020332988, DOI: 10.1088/1361-6560/aaf44b * |
| ZHE GUO等: "Deep Learning-Based Image Segmentation on Multimodal Medical Imaging", 《IEEE TRANSACTIONS ON RADIATION AND PLASMA MEDICAL SCIENCES》 * |
| ZHE GUO等: "Deep Learning-Based Image Segmentation on Multimodal Medical Imaging", 《IEEE TRANSACTIONS ON RADIATION AND PLASMA MEDICAL SCIENCES》, vol. 3, no. 2, 31 January 2019 (2019-01-31), pages 162 - 169, XP011712828, DOI: 10.1109/TRPMS.2018.2890359 * |
| 凌彤等: "利用多模态U形网络的CT图像前列腺分割", 智能系统学报, vol. 13, no. 06, pages 981 - 988 * |
| 卢旭等: "基于卷积神经网络的糖尿病视网膜眼底图像出血病变检测", 视频应用与工程, vol. 43, no. 01, pages 84 - 89 * |
| 周鲁科等: "基于U-net网络的肺部肿瘤图像分割算法研究", 《信息与电脑(理论版)》 * |
| 周鲁科等: "基于U-net网络的肺部肿瘤图像分割算法研究", 《信息与电脑(理论版)》, no. 05, 15 March 2018 (2018-03-15), pages 1 - 2 * |
| 方俊鹏: "基于U形深度网络的MRI分割方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
| 方俊鹏: "基于U形深度网络的MRI分割方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 1, 15 January 2019 (2019-01-15), pages 060 - 336 * |
| 朱婷等: "基于多通路CNN的多模态MRI神经胶质瘤分割", 计算机应用与软件, vol. 35, no. 04, pages 220 - 226 * |
| 沈海洋等: "基于人工神经网络的肺癌识别", 电子技术与软件工程, pages 240 - 241 * |
| 胡鹏辉等: "基于全卷积神经网络的肛提肌裂孔智能识别", 《深圳大学学报理工版》 * |
| 胡鹏辉等: "基于全卷积神经网络的肛提肌裂孔智能识别", 《深圳大学学报理工版》, vol. 35, no. 3, 30 May 2018 (2018-05-30), pages 316 - 323 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020215672A1 (zh) * | 2019-08-05 | 2020-10-29 | 平安科技（深圳）有限公司 | 医学图像病灶检测定位方法、装置、设备及存储介质 |
| US11961227B2 (en) | 2019-08-05 | 2024-04-16 | Ping An Technology (Shenzhen) Co., Ltd. | Method and device for detecting and locating lesion in medical image, equipment and storage medium |
| KR102388204B1 (ko) | 2019-08-30 | 2022-04-19 | 재단법인 아산사회복지재단 | 인공 신경망을 이용하여 관심 부피 영역을 추출하는 방법 및 상기 방법을 수행하는 관심 부피 영역 추출 장치 |
| KR20210027057A (ko) * | 2019-08-30 | 2021-03-10 | 재단법인 아산사회복지재단 | 인공 신경망을 이용하여 관심 부피 영역을 추출하는 방법 및 상기 방법을 수행하는 관심 부피 영역 추출 장치 |
| CN112494028A (zh) * | 2019-09-13 | 2021-03-16 | 通用电气公司 | 使用多模态成像的活检工作流程 |
| CN111667486A (zh) * | 2020-04-29 | 2020-09-15 | 杭州深睿博联科技有限公司 | 一种基于深度学习的多模态融合胰腺分割方法和系统 |
| CN111667486B (zh) * | 2020-04-29 | 2023-11-17 | 杭州深睿博联科技有限公司 | 一种基于深度学习的多模态融合胰腺分割方法和系统 |
| CN111784653B (zh) * | 2020-06-28 | 2023-08-01 | 西安电子科技大学 | 基于形状约束的多尺度网络mri胰腺轮廓定位方法 |
| CN111784653A (zh) * | 2020-06-28 | 2020-10-16 | 西安电子科技大学 | 基于形状约束的多尺度网络mri胰腺轮廓定位方法 |
| CN113345576A (zh) * | 2021-06-04 | 2021-09-03 | 江南大学 | 一种基于深度学习多模态ct的直肠癌淋巴结转移诊断方法 |
| CN114463456A (zh) * | 2021-12-31 | 2022-05-10 | 深圳先进技术研究院 | 基于pet/mr成像系统的自动脑区分割方法及装置 |
| WO2023124888A1 (zh) * | 2021-12-31 | 2023-07-06 | 深圳先进技术研究院 | 基于pet/mr成像系统的自动脑区分割方法及装置 |
| CN115018836A (zh) * | 2022-08-08 | 2022-09-06 | 四川大学 | 一种癫痫病灶自动分割与预测方法、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109949318B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949318A (zh) | 基于多模态影像的全卷积神经网络癫痫病灶分割方法 | |
| CN108257134B (zh) | 基于深度学习的鼻咽癌病灶自动分割方法和系统 | |
| US10853941B2 (en) | Registration method and system for non-rigid multi-modal medical image | |
| US12354232B2 (en) | Spatiotemporal resolution enhancement of biomedical images | |
| Li et al. | Deepvolume: Brain structure and spatial connection-aware network for brain mri super-resolution | |
| CN111754553B (zh) | 多模态扫描图像配准方法、装置、计算机设备和存储介质 | |
| CN106600571A (zh) | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 | |
| CN115830016B (zh) | 医学图像配准模型训练方法及设备 | |
| CN105741241B (zh) | 基于合成增强图像的肿瘤区域图像增强方法及系统 | |
| CN101887581B (zh) | 图像融合方法及设备 | |
| CN106934821A (zh) | 一种基于icp算法和b样条的锥形束ct和ct图像配准方法 | |
| CN110838140A (zh) | 基于混合监督学习的超声和核磁图像配准融合方法及装置 | |
| EP1728213A1 (en) | Method and apparatus for identifying pathology in brain images | |
| CN115272261B (zh) | 一种基于深度学习的多模态医学图像融合方法 | |
| CN110251231A (zh) | 超声三维重建的方法及装置 | |
| CN110751651A (zh) | 基于多尺度迁移学习的mri胰腺图像分割方法 | |
| CN113223028A (zh) | 一种基于mr和ct的多模态肝脏肿瘤分割方法 | |
| CN116797519A (zh) | 脑胶质瘤分割和三维可视化模型训练方法及系统 | |
| CN114926487A (zh) | 多模态影像脑胶质瘤靶区分割方法、系统及设备 | |
| CN106709920B (zh) | 血管提取方法及其装置 | |
| CN107516314A (zh) | 医学图像超体素分割方法和装置 | |
| Peng et al. | A histogram-driven generative adversarial network for brain MRI to CT synthesis | |
| US20230206477A1 (en) | Image processing method, image processing device, program, and trained model | |
| Mikaeili et al. | Estimating rotation angle and transformation matrix between consecutive ultrasound images using deep learning | |
| CN112508880A (zh) | 颅内血管图像配准方法、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |