[go: up one dir, main page]

CN110675357A - 图像优化网络的训练和图像优化方法、装置及设备 - Google Patents

图像优化网络的训练和图像优化方法、装置及设备 Download PDF

Info

Publication number
CN110675357A
CN110675357A CN201910940690.1A CN201910940690A CN110675357A CN 110675357 A CN110675357 A CN 110675357A CN 201910940690 A CN201910940690 A CN 201910940690A CN 110675357 A CN110675357 A CN 110675357A
Authority
CN
China
Prior art keywords
image
network
subnetwork
quality level
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910940690.1A
Other languages
English (en)
Inventor
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Zhihe Medical Technology Co ltd
Original Assignee
Neusoft Medical Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Medical Systems Co Ltd filed Critical Neusoft Medical Systems Co Ltd
Priority to CN201910940690.1A priority Critical patent/CN110675357A/zh
Publication of CN110675357A publication Critical patent/CN110675357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开涉及一种图像优化网络的训练和图像优化方法、装置及设备。所述图像优化网络的训练方法包括：将预先获得的对照样本图像中第一质量级的样本图像输入至生成子网络；利用所述生成子网络对第一质量级的样本图像进行变换，生成变换图像；将所述生成子网络输出的变换图像和对应的第二质量级的样本图像，随机输入至所述判别子网络，所述判别子网络对输入图像的来源进行判别，输出来源判别结果；通过最小化所述生成子网络的网络损失和所述判别子网络的网络损失，对所述优化网络的参数进行调整，完成训练的图像优化网络中的生成子网络，能够将第一质量级的图像变换为质量级别接近于第二质量级的图像。

Description

图像优化网络的训练和图像优化方法、装置及设备
技术领域
本公开涉及医疗设备技术领域，尤其涉及一种图像优化网络的训练和图像优化方法、装置及设备。
背景技术
PET/CT是将PET与CT两种影像设备结合的一种影像设备。在PET/CT设备环境保持不变的前提下，PET/CT图像，尤其是PET图像质量与扫描时间与患者注射药物剂量正相关。在一定时间与注射剂量前提下，扫描时间越长、注射药物剂量越大扫描出的PET图像质量越高。但同时，PET/CT长时间扫描、高剂量扫描可能对患者造成不便和一定程度上的伤害。
如何在小注射量、快速扫描的情况下，获得高质量的PET/CT图像，是当前急需解决的难题。
发明内容
本公开提供了一种图像优化网络的训练方案和图像优化方案。具体地，本公开是通过如下技术方案实现的：
第一方面，提供一种图像优化网络的训练方法，所述图像优化网络包括生成子网络和判别子网络，所述方法包括：将预先获得的对照样本图像中第一质量级的样本图像输入至所述生成子网络，其中，所述对照样本图像包括针对同一受检体的同一部位进行PET/CT扫描获得的两张样本图像，所述两张样本图像对应的质量分类信息分别为第一质量级和第二质量级；利用所述生成子网络对所述第一质量级的样本图像进行变换，生成变换图像；将所述生成子网络输出的变换图像和对应的第二质量级的样本图像，随机输入至所述判别子网络，所述判别子网络对输入图像的来源进行判别，输出来源判别结果；通过最小化所述生成子网络的网络损失和所述判别子网络的网络损失，对所述优化网络的参数进行调整，其中，所述生成子网络的网络损失包括所述变换图像被所述判别子网络正确判别的损失，以及所述变换图像与对应的第二质量级的样本图像之间的差异。
可选地，所述图像优化网络还包括分类子网络，所述分类子网络是利用所述对照样图像预先训练的；所述方法还包括：利用所述分类子网络获得所述变换图像的特征以及对应的第二质量级的样本图像的图像；所述最小化所述生成子网络的网络损失和所述判别子网络的网络损失，还包括：最小化所述变换图像的特征与对应的第二质量级的样本图像的特征之间的差异。
可选地，所述方法还包括：对所获取的多组对照样本图像进行增广，包括对所述对照样本图像进行旋转操作和/或对称操作；以及，对增广后的对照样本图像进行归一化操作。
可选地，所述获取多组对照样本图像，包括：通过分别以第一剂量和第二剂量进行扫描，获得分别对应于第一质量级和第二质量级的两张样本图像；和/或，通过分别以第一设定时间和第二设定时间进行扫描，获得分别对应于第一质量级和第二质量级的两张样本图像。
可选地，所述方法还包括：利用所述生成子网络对于对照样本图像中第一质量级的样本图像进行变换，并将所生成的变换图像与对应的第二质量级的样本图像进行对比，在差异小于设定阈值时，停止对所述图像优化网络的训练。
第二方面，提供一种图像优化方法，所述方法包括：获取PET/CT扫描图像；将所述扫描图像输入至图像优化网络，得到优化后的扫描图像，其中，所述图像优化网络利用本公开任一实施例所述的图像优化网络的训练方法训练得到。
第三方面，提供一种图像优化网络的训练装置，所述图像优化网络包括生成子网络和判别子网络，所述装置包括：输入单元，用于将预先获得的对照样本图像中第一质量级的样本图输入至所述生成子网络，其中，所述对照样本图像包括针对同一受检体的同一部位进行PET/CT扫描获得的两张样本图像，所述两张样本图像对应的质量分类信息分别为第一质量级和第二质量级；变换单元，用于利用所述生成子网络对所述第一质量级的样本图像进行变换，生成变换图像；判别单元，用于将所述生成子网络输出的变换图像和对应的第二质量级的样本图像，随机输入至所述判别子网络，所述判别子网络对输入图像的来源进行判别，输出来源判别结果；调整单元，用于通过最小化所述生成子网络的网络损失和所述判别子网络的网络损失，对所述优化网络的参数进行调整，其中，所述生成子网络的网络损失包括所述变换图像被所述判别子网络正确判别的损失，以及所述变换图像与对应的第二质量级的样本图像之间的差异。
第四方面，提供一种图像优化装置，所述装置包括：获取单元，用于获取PET/CT扫描图像；优化单元，用于将所述扫描图像输入至图像优化网络，得到优化后的扫描图像，其中，所述图像优化网络利用本公开任一实施例所述的图像优化网络的训练方法训练得到。
第五方面，提供一种图像优化网络的训练设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例所述的图像优化网络的训练方法。
第六方面，提供一种图像优化设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例所述的图像优化方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例中，利用PET/CT设备获取真实的对照样本图像对图像优化网络进行训练,每组样本图像中的两张样本图像分别对应第一质量级和第二质量级，通过同时优化用于对第一质量级的样本图像进行变换的生成子网络的网络损失，以及用于判别输入图像来源来的判别子网络的网络损失，使得生成子网络能够将第一质量级的图像变换为质量级别接近于第二质量级的图像。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入公开中并构成本公开的一部分，示出了符合本公开的实施例，并与公开一起用于解释本公开的原理。
图1是本公开一示例性实施例示出的PET/CT设备的应用场景示意图；
图2是本公开一示例性实施例示出的一种图像优化网络的训练方法的流程图；
图3是本公开一示例性实施例示出的一种图像优化网络的结构示意图；
图4是本公开一示例性实施例示出的一种生成子网络的结构示意图；
图5是本公开一示例性实施例示出的一种判别子网络的结构示意图；
图6是本公开一示例性实施例示出的另一种图像优化网络的结构示意图；
图7是本公开一示例性实施例示出的一种分类子网络的结构示意图；
图8A、8B、8C是用于对图像优化网络进行测试的第一质量级的样本图像、变换图像以及对应的第二质量级的样本图像；
图9是本公开一示例性实施例示出的一种图像优化网络的训练装置的示意图；
图10是本公开一示例性实施例示出的一种图像优化网络的训练设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1示出了PET/CT设备的应用场景示意图。本领域技术人员应当理解，以下对PET/CT设备中的PET设备和CT设备的描述，也适用于分立的PET设备和CT设备。
图1所示的PET/CT设备包括CT成像设备11和PET成像设备12，该PET/CT设备可以对同一被检对象同时进行CT扫描和PET扫描，也可以分别进行CT扫描和PET扫描。
其中，CT成像设备11包括机架13，机架13上设有X射线源15和相对于X射线源15设置的探测器阵列17。X射线源15可向被检对象18发射X射线。探测器阵列17探测穿过被检对象18的衰减的X射线，并产生表示探测到的X射线的强度的电信号。CT成像设备11将电信号转换为表示X射线衰减的投影数据，根据投影数据重建CT断层图像。在扫描过程中，机架13以及安装在其上的组件，例如X射线源15和探测器阵列17，围绕旋转中心旋转。承载台14将被检对象18的至少一部分移入机架开口16内。
PET成像设备12包括PET探测器(未图示)，用来探测伽马光子，将光信号转化为电信号。放射性核素在被检对象18内部发生湮灭，生成一对方向基本相反的伽马光子,经处理可推断示踪剂在人体的分布情况，从分子水平上反映人体组织的生理、病理、生化及代谢等改变，尤其适合人体生理功能方面的研究。
CT成像设备11利用人体各种组织对X线的吸收能力不等的特性，通过经人体衰减的X线进行重建计算，以获得图像矩阵。由于CT成像设备对组织的密度分辨率较高，适用于反应器官的结构。、
在PET/CT设备环境保持不变的前提下，PET/CT图像，尤其是PET图像的质量与扫描时间以及患者注射药物剂量正相关，扫描时间越长、注射药物剂量越大，扫描出的PET/CT图像质量越高。同时PET/CT在扫描过程中要求患者保持静止体位，且进行PET/CT扫描的患者大多数为肿瘤患者或脑部疾病患者，长时间保持静止体位(通常时间为10到20分钟)难以坚持。
为了在小注射量、快速扫描的情况下，获得高质量的PET/CT图像，本公开提出一种图像优化网络的训练方法。如图2所示，该方法包括步骤201～204。
在步骤201中，将预先获得的对照样本图像中第一质量级别的样本图像输入至所述生成子网络。所述对照样本图像包括针对同一受检体的同一部位进行PET/CT扫描获得的两张样本图像，所述两张样本图像对应的质量分类信息分别为第一质量级和第二质量级；
在本公开实施例中，可以利用PET/CT设备获取的样本图像集对图像优化网络进行训练。该样本图像集包括多组对照样本图像，每组样本对照图像所包括的两张样本图像分别对应于第一质量级和第二质量级，此处的质量级例如可以指PET/CT图像的清晰度、分辨率等等。
在一些实施例中，可以定义第一质量级低于第二质量级，此时可以称第一质量级的样本图像为低质量样本图像，称第二质量级的样本图像为高质量样本图像。
在PET/CT设备的扫描过程中，可以将采用低剂量的注射药物所获得的扫描图像定义为低质量图像；相应地，将采用高剂量的注射药物所获得的扫描图像定义为高质量图像。此处的低剂量和高剂量的具体值可以根据对图像质量的要求具体设置。并且，可以将快速进行扫描所获得的扫描图像定义为低质量图像，将慢速扫描获得的图像定义为高质量图像。同理，此处的快速和慢速所对应的具体扫描速度值可以根据对图像质量的要求具体设置。
在一些实施例中，可以通过分别以第一剂量(低剂量)和第二剂量(高剂量)进行扫描，获得分别对应于第一质量级(低质量)和第二质量级(高质量)的两张样本图像；和/或通过分别以第一设定时间(对应于快速)和第二设定时间(对应于慢速)进行扫描，获得分别对应于第一质量级(低质量)和第二质量级(高质量)的两张样本图像。
在一个示例中可以准备200组低剂量扫描图像与200组对应的高剂量扫描图像，以及准备800组快速扫描图像与800组慢速扫描图像，构成样本图像集。也即，该样本图像集包括1000组对照样本图像，也即包括1000张高质量样本图像，以及相对应的1000张低质量样本图像。
在一些实施例中，可以对上述多组对照样本图像进行增广。其中，对每组对照样本图像中的第一质量级样本图像和对应的第二质量级样本图像时用相同的操作方式进行数据增广。所进行的增广操作例如包括旋转操作，和/或对称操作，其中，旋转操作和对称操作可随机使用。
以前述1000组对照样本图像为例，进行增广后，可以得到3000组对照样本图像，每组同样包括第一质量级样本图像和第二质量级样本图像。
同时，还可以对增广后的对照样本图像进行归一化操作。
在步骤202中，利用生成子网络对第一质量级的样本图像进行变换，生成变换图像。
在本公开实施例中，生成子网络用于对输入的对照样本图像中，质量级较低的样本图像进行变换，生成高质量的变换图像。例如，对于输入生成子网络的一对分别为第一质量级和第二质量级的样本图像，其中，第一质量级低于第二质量级，那么该生成子网络对第一质量级的样本图像进行变换，生成质量得到提高的变换图像；对于所输入的第二质量级的样本图像，生成子网络不对其进行变换，直接进行输出。也即，所述生成子网络所输出的变换图像是根据一组对照样本图像中第一质量级的样本图像变换生成的，该组对照样本图像中第二质量级的样本图像是与该变换图像相对应的。对于生成子网络所输出的变换图像，可以确定与其对应的第二质量级的样本图像。
在步骤203中，将所述生成子网络输出的变换图像和对应的第二质量级的样本图像，随机输入至所述判别子网络，所述判别子网络对输入图像的来源进行判别，输出来源判别结果。
在图像优化网络的训练过程中，随机地将生成子网络所生成的变换图像或对应的第二质量级的样本图像(也即真实样本图像)传送给判别子网络，判别子网络对输入图像的来源进行判别，也即判断所输入的图像，是由生成子网络生成的，还是真实样本。对于输入图像是由生成子网络生成的情况，所述判别子网络输出为假或0；对于输入图像是真实样本的情况，所述判别子网络输出为真或1。
在步骤204中，通过最小化所述生成子网络的网络损失和所述判别子网络的网络损失，对所述优化网络的参数进行调整。
所述生成子网络的网络损失包括所生成的变换图像被所述判别子网络正确判别的损失，以及所述生成子网络所生成的变换图像与对应的第二质量级的样本图像之间的损失；所述判别子网络的网络损失包括对于输入图像来源的判断的损失。
假设生成子网络G的输入数据为z，输出数据为G(z)。判别子网络D的输入或者为G(z)或者为xreal。判别子网络D尽量使得输出D(G(z))＝0且D(xreal)＝1，而生成子网络G要尽量使得D(G(z))＝1。也即，对于生成子网络的训练目标是使判别子网络无法正确判断输入图像来自生成子网络还是来自真的样本图像；而判断子网络的训练目标是可以正常地判断输入图像的来源。通过最小化所述生成子网络的网络损失和判别子网络的网络损失，对所述优化网络的参数进行调整。通过对所述生成子网络的网络参数进行调整，使所述生成子网络所生成的变换图像不断地接近对应的第二质量级的样本图像(真实的样本图像)，并使所述判别子网络越来越难以判断所述输入图像的来源；同时又对所述判别子网络的网路进行调整，使得其判别输入图像来源的能力越来越强。在迭代次数达到设定数目时，或者算法收敛时，生成子网络所生成的变换图像与真实的样本图像具有相同的数据分布，此时图像优化网络能够实现将第一质量级的样本图像变换为第二质量级的输出图像，也即将低质量样本图像变换为高质量输出图像。
在一个示例中，可以使用批量训练的方法，每批16张样本图像；初始学习率为10-4；迭代2000轮。
在本公开实施例中，利用PET/CT设备获取真实的对照样本图像对图像优化网络进行训练，每组样本图像中的两张样本图像分别对应第一质量级和第二质量级，通过同时优化用于对第一质量级的样本图像进行变换的生成子网络的网络损失，以及用于判别输入图像来源来的判别子网络的网络损失，使得生成子网络能够将第一质量级的图像变换为质量级别接近于第二质量级的图像。
图3示出本公开一示例性实施例示出的一种图像优化网络的结构示意图。如图3所示，所述图像优化网络包括生成子网络31和判别子网络32。
在如图3所示的图像优化网络的训练过程中，将每组对照样本图像中的第一质量级的样本图像(低质量样本图像)输入至生成子网络31中进行变换，生成变换图像。所述变换图像和该组对照样本图像中的第二质量级的样本图像(高质量样本图像)随机输入至判别子网络32，判别子网络32对输入图像的来源进行判别，具体过程参见步骤203的描述。
在本公开实施例中，可以基于TensorFlow框架来搭建图像优化网络。
其中，生成子网络的结构如图4所示。该生成子网络使用若干个残差模块42组成的网络作为主体网络，例如可以使用8个残差模块。为了加速模型收敛，网络中每个卷积层后加入了批量正则化(Batch Normalizaiton，BN)层。由于该网络中不包含全连接模块，理论上可以接收任意分辨率图像作为输入，该网络中也不包含任何上采样与下采样层，输入数据与输出数据分辨率完全相同。为了使经过每个卷积层的数据尺寸不变，对每个卷积层进行对齐(SAME PADDING)操作，激活层使用线性整流函数(Rectified Linear Unit，ReLU)。生成子网络的输入是第一质量级图像，即低质量图像，输出为对应的第二质量级图像，即对应的高质量图像。理想情况下，生成子网络要让判别子网络无法正确判断数据来自生成子网络还是来自真实图像。
判别子网络的结构如图5所示，其包含了若干个由卷积层和批正则化层组成的模块52，并且包含了全连接层。该网络的最后一层可以是sigmoid激活函数，其输出值是(0，1)区间的数，表示数据是真实数据的概率。该网络的输入为一张高质量的图像，该图像可能是生成子网络生成的变换图像，也可能是真实的图像，该网络输出二分类结果。理想情况下判别子络可以正确判断任意一张输入图像的来源。
在一些实施例中，所述图像优化网络还包括分类子网络，所述分类子网络是利用所述对照样图像预先训练的。所述分类子网络用于获取所述变换图像的特征以及对应的第二质量级的样本图像的图像。在对所述图像优化网络的参数进行调整时，进一步通过最小化所述变换图像的特征与对应的第二质量级的样本图像的特征之间的差异，来实现网络参数的优化。应当注意的是，由于该分类子网络是预先训练好的，因此在图像优化网络的优化过程中，所述分类子网络的网络参数不进行调整，而对是所述生成子网络和所述判别子网络的网络参数进行调整。
图6示出本公开一示例性实施例示出的一种图像优化网络的结构示意图。如图6所示，所述图像优化网络包括生成子网络61、判别子网络62和分类子网络63。
其中，分类子网络63是利用与训练该图像优化网络相同的样本图像集预先训练的，例如，利用上述3000组对照样本图像(高质量样本图像和低质量样本图像各3000张)作为输入，该分类子网络63对输入图像的质量级别进行判断，输出为0或1的判断结果，分别表示低质量图像或高质量图像。通过对分类子网络63进行训练，使得其能够学习所输入的PET/CT图像的特征，包括所输入的变换图像，以及对应的第二质量级的样本图像(也即真实的高质量样本图像)。在如图6所示的图像优化网络的训练过程中，将每组对照样本图像中的第一质量级的样本图像(低质量样本图像)输入至生成子网络61中进行变换，生成变换图像。所述变换图像和该组对照样本图像中的第二质量级的样本图像(高质量样本图像)随机输入至判别子网络62，判别子网络62对输入图像的来源进行判别，具体过程参见步骤203的描述。同时，所述变换图像和对应的第二质量级的样本图像输入至预先训练好的分类子网络63，分类子网络63能够学习输入图像的特征，从而输出变换图像的特征以及对应的特征质量级的样本图像的输出特征。通过同时最小化生成子网络61所生成的变换图像被判别子网络62正确判别的损失、所述变换图像与对应的第二质量级的样本图像之间的差异，以及判别子网络62的网络损失，来对生成子网络61和判别子网络62的网络参数进行调整。在迭代次数达到设定数目时，或者算法收敛时，生成子网络61将第一质量级的样本图像变换为第二质量级的样本图像，也即将低质量的样本图像变换为高质量的样本图像，同时由于在损失函数中加入了特征损失，因此保留了图像更多的纹理特征。而在PET/CT诊断中，通过图像纹理信息能够确定病灶点大小，因此纹理信息对于疾病诊断有着重要意义。
分类子网络的结构如图7所示，其包含了若干个卷积层，例如16个卷积层，每两个卷积层后具有一个最大池化层。该网络的输出结果为二分类结果，表示是高质量图像或低质量图像。该网络是预先训练的，能够学习PET/CT图像的特征，所学习的特征可用于计算网络损失，参与该图像优化网络的网络参数的优化。
在本公开实施例中，生成子网络的损失函数g1oss包括如下部分：
gloss＝mseloss+ggenloss+featureloss (1)
其中，mseloss为生成子网络输出的变换图像与对应的第二质量的图像之间的均方误差(Mean Square Error，MSE)，最小化mseloss可以得到高峰值信噪比(Peak SignalNoise Rate，PSNR)的图像；ggenloss为生成子网络所生成的变换图像被判别子网络正常判断的损失；featureloss为生成子网络所生成的变换图像的特征与对应的第二质量级图像的特征之间的差异。
以上三部分损失函数具体公式如下：
Figure BDA0002222797500000111
其中，W、H分别表示输入图像的长与宽，HQ表示高质量图像，LQ表示低质量图像，GθG表示生成子网络。
其中，DθD表示判别子网络。
Figure BDA0002222797500000121
其中，Φi,j表示第j个卷积层之后、第i个最大池化层之前的特征图。
在一些实施例中，还可以利用以下方法对图像优化网络进行测试：利用所述生成子网络对于对照样本图像中第一质量级的样本图像进行变换，并将所生成的变换图像与对应的第二质量级的样本图像进行对比，在差异小于设定阈值时，停止对所述图像优化网络的训练。其中，所述设定阈值的具体数值可以根据对图像质量的要求具体设置。
图8A示出对照样本图像中第一质量级的样本图像；图8B示出利用训练完成的图像优化网络中的生成子网络对于图8A中图像进行变换，所生成的变换图像；图8C示出与该变换图像对应的第二质量级的样本图像。由图8A～8C可见，训练完成的图像优化网络所生成的高质量图像，与样本图像集中的高质量图像，可以达到相近的清晰度和分辨率。
本公开还提出了一种图像优化方法，包括：获取PET/CT扫描图像；将所述扫描图像输入至像优化网络，得到优化后的扫描图像，其中，所述图像优化网络根据本公开任一实施例所述的图像优化网络的训练方法训练得到。
上述所示流程中的各个步骤，其执行顺序不限制于流程图中的顺序。此外，各个步骤的描述，可以实现为软件、硬件或者其结合的形式，例如，本领域技术人员可以将其实现为软件代码的形式，可以为能够实现所述步骤对应的逻辑功能的计算机可执行指令。当其以软件的方式实现时，所述的可执行指令可以存储在存储器中，并被系统中的处理器执行。
图9示出了本公开至少一个实施例提出的一种图像优化网络的训练装置的示意图。如图9所示，所述装置包括：输入单元901，用于将预先获得的对照样本图像中第一质量级别的样本图像输入至所述生成子网络，其中，所述对照样本图像包括针对同一受检体的同一部位进行PET/CT扫描获得的两张样本图像，所述两张样本图像对应的质量分类信息分别为第一质量级和第二质量级；变换单元902，用于利用所述生成子网络对第一质量级的样本图像进行变换，生成变换图像；判别单元903，用于将所述生成子网络输出的变换图像和对应的第二质量级的样本图像，随机输入至所述判别子网络，所述判别子网络对输入图像的来源进行判别，输出来源判别结果；调整单元904，用于通过最小化所述生成子网络的网络损失和所述判别子网络的网络损失，对所述优化网络的参数进行调整，其中，所述生成子网络的网络损失包括所述变换图像被所述判别子网络正确判别的损失，以及所述变换图像与对应的第二质量级的样本图像之间的差异。
本公开至少一个实施例还提供了一种图像优化装置，其包括：获取单元，用于获取PET/CT扫描图像；优化单元，用于将所述扫描图像输入至图像优化网络，得到优化后的扫描图像，其中，所述图像优化网络利用本公开任一实施例所述的图像优化网络的训练方法训练得到。
参见图10，为本公开至少一个实施例提供的图像优化网络的训练设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例所述的图像优化网络的训练方法。
本公开至少一个实施例还提供了一种图像优化设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例所述的图像优化方法。
在本公开实施例中，计算机可读存储介质可以是多种形式，比如，在不同的例子中，所述机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。特殊的，所述的计算机可读介质还可以是纸张或者其他合适的能够打印程序的介质。使用这些介质，这些程序可以被通过电学的方式获取到(例如，光学扫描)、可以被以合适的方式编译、解释和处理，然后可以被存储到计算机介质中。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (10)

1.一种图像优化网络的训练方法，其特征在于，所述图像优化网络包括生成子网络和判别子网络，所述方法包括：
将预先获得的对照样本图像中第一质量级的样本图像输入至所述生成子网络，其中，所述对照样本图像包括针对同一受检体的同一部位进行PET/CT扫描获得的两张样本图像，所述两张样本图像对应的质量分类信息分别为第一质量级和第二质量级；
利用所述生成子网络对所述第一质量级的样本图像进行变换，生成变换图像；
将所述生成子网络输出的变换图像和对应的第二质量级的样本图像，随机输入至所述判别子网络，所述判别子网络对输入图像的来源进行判别，输出来源判别结果；
通过最小化所述生成子网络的网络损失和所述判别子网络的网络损失，对所述优化网络的参数进行调整，其中，所述生成子网络的网络损失包括所述变换图像被所述判别子网络正确判别的损失，以及所述变换图像与对应的第二质量级的样本图像之间的差异。
2.根据权利要求1所述的方法，其特征在于，所述图像优化网络还包括分类子网络，所述分类子网络是利用所述对照样图像预先训练的；所述方法还包括：
利用所述分类子网络获得所述变换图像的特征以及对应的第二质量级的样本图像的图像；
所述最小化所述生成子网络的网络损失和所述判别子网络的网络损失，还包括：
最小化所述变换图像的特征与对应的第二质量级的样本图像的特征之间的差异。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
对所获取的多组对照样本图像进行增广，包括对所述对照样本图像进行旋转操作和/或对称操作；以及，
对增广后的对照样本图像进行归一化操作。
4.根据权利要求1所述的方法，其特征在于，所述获取多组对照样本图像，包括：
通过分别以第一剂量和第二剂量进行扫描，获得分别对应于第一质量级和第二质量级的两张样本图像；和/或，
通过分别以第一设定时间和第二设定时间进行扫描，获得分别对应于第一质量级和第二质量级的两张样本图像。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用所述生成子网络对于对照样本图像中第一质量级的样本图像进行变换，并将所生成的变换图像与对应的第二质量级的样本图像进行对比，在差异小于设定阈值时，停止对所述图像优化网络的训练。
6.一种图像优化方法，其特征在于，包括：
获取PET/CT扫描图像；
将所述扫描图像输入至图像优化网络，得到优化后的扫描图像，其中，所述图像优化网络利用权利要求1至5任一项所述的图像优化网络的训练方法训练得到。
7.一种图像优化网络的训练装置，其特征在于，所述图像优化网络包括生成子网络和判别子网络，所述装置包括：
输入单元，用于将预先获得的对照样本图像中第一质量级的样本图输入至所述生成子网络，其中，所述对照样本图像包括针对同一受检体的同一部位进行PET/CT扫描获得的两张样本图像，所述两张样本图像对应的质量分类信息分别为第一质量级和第二质量级；
变换单元，用于利用所述生成子网络对所述第一质量级的样本图像进行变换，生成变换图像；
判别单元，用于将所述生成子网络输出的变换图像和对应的第二质量级的样本图像，随机输入至所述判别子网络，所述判别子网络对输入图像的来源进行判别，输出来源判别结果；
调整单元，用于通过最小化所述生成子网络的网络损失和所述判别子网络的网络损失，对所述优化网络的参数进行调整，其中，所述生成子网络的网络损失包括所述变换图像被所述判别子网络正确判别的损失，以及所述变换图像与对应的第二质量级的样本图像之间的差异。
8.一种图像优化装置，其特征在于，所述装置包括：
获取单元，用于获取PET/CT扫描图像；
优化单元，用于将所述扫描图像输入至图像优化网络，得到优化后的扫描图像，其中，所述图像优化网络利用权利要求1至5任一项所述的图像优化网络的训练方法训练得到。
9.一种图像优化网络的训练设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至5任一所述的方法。
10.一种图像优化设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求6所述的方法。
CN201910940690.1A 2019-09-30 2019-09-30 图像优化网络的训练和图像优化方法、装置及设备 Pending CN110675357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910940690.1A CN110675357A (zh) 2019-09-30 2019-09-30 图像优化网络的训练和图像优化方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910940690.1A CN110675357A (zh) 2019-09-30 2019-09-30 图像优化网络的训练和图像优化方法、装置及设备

Publications (1)

Publication Number Publication Date
CN110675357A true CN110675357A (zh) 2020-01-10

Family

ID=69080517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910940690.1A Pending CN110675357A (zh) 2019-09-30 2019-09-30 图像优化网络的训练和图像优化方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110675357A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127371A (zh) * 2020-03-30 2020-05-08 南京安科医疗科技有限公司 图像增强参数自动优化方法、存储介质和x射线扫描装置
CN114255268A (zh) * 2020-09-24 2022-03-29 武汉Tcl集团工业研究院有限公司 视差图处理、深度学习模型训练方法及相关设备
CN115393458A (zh) * 2022-08-24 2022-11-25 上海科技大学 基于循环一致的双域pet-ct图像合成方法、系统及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法
US20190035118A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. System and method for image conversion
US20190209867A1 (en) * 2017-11-08 2019-07-11 Shanghai United Imaging Healthcare Co., Ltd. System and method for diagnostic and treatment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190035118A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. System and method for image conversion
US20190209867A1 (en) * 2017-11-08 2019-07-11 Shanghai United Imaging Healthcare Co., Ltd. System and method for diagnostic and treatment
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JELMER M. WOLTERINK ET AL.: "Generative Adversarial Networks for Noise Reduction in Low-Dose CT", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
QINGSONG YANG ET AL.: "CT Image Denoising with Perceptive Deep Neural Network", 《ARXIV:1702.07019V1》 *
QINGSONG YANG ET AL.: "Low Dose CT Image Denoising Using a Generative Adversarial Network with Wasserstein Distance and Perceptual Loss", 《ARXIV:1708.00961V2》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127371A (zh) * 2020-03-30 2020-05-08 南京安科医疗科技有限公司 图像增强参数自动优化方法、存储介质和x射线扫描装置
CN114255268A (zh) * 2020-09-24 2022-03-29 武汉Tcl集团工业研究院有限公司 视差图处理、深度学习模型训练方法及相关设备
CN114255268B (zh) * 2020-09-24 2025-05-27 武汉Tcl集团工业研究院有限公司 视差图处理、深度学习模型训练方法及相关设备
CN115393458A (zh) * 2022-08-24 2022-11-25 上海科技大学 基于循环一致的双域pet-ct图像合成方法、系统及设备

Similar Documents

Publication Publication Date Title
US11941786B2 (en) Image noise reduction method and device
KR102210474B1 (ko) 양전자방출 단층촬영 시스템 및 그것을 이용한 영상 재구성 방법
CN109938764B (zh) 一种基于深度学习的自适应多部位扫描成像方法及其系统
JP2020036877A (ja) 反復的画像再構成フレームワーク
US11756161B2 (en) Method and system for generating multi-task learning-type generative adversarial network for low-dose PET reconstruction
EP3338636B1 (en) An apparatus and associated method for imaging
JP2021018109A (ja) 医用画像処理装置、医用画像診断装置及び核医学診断装置
JP2021013725A (ja) 医用装置
CN110675357A (zh) 图像优化网络的训练和图像优化方法、装置及设备
US20210225491A1 (en) Diagnostic image converting apparatus, diagnostic image converting module generating apparatus, diagnostic image recording apparatus, diagnostic image converting method, diagnostic image converting module generating method, diagnostic image recording method, and computer recordable recording medium
US11672498B2 (en) Information processing method, medical image diagnostic apparatus, and information processing system
CN117152365B (zh) 一种口腔cbct超低剂量成像的方法、系统及装置
US11663756B2 (en) Scatter correction for X-ray imaging
CN111670461B (zh) 具有经改进的定量分析的低辐射剂量计算机断层摄影灌注(ctp)
Ozaki et al. Fast statistical iterative reconstruction for mega-voltage computed tomography
US11810228B2 (en) Network determination of limited-angle reconstruction
CN117115046B (zh) 一种放疗cbct稀疏采样影像增强的方法、系统及装置
KR20200057463A (ko) 진단 영상 변환 장치, 진단 영상 변환모듈 생성 장치, 진단 영상 촬영 장치, 진단 영상 변환 방법, 진단 영상 변환모듈 생성 방법, 진단 영상 촬영 방법, 및 컴퓨터 판독 가능한 기록매체
JP7681419B2 (ja) 画像処理装置、画像処理方法および断層画像取得システム
US12248045B2 (en) Collocated PET and MRI attenuation map estimation for RF coils attenuation correction via machine learning
US20220215599A1 (en) Systems and methods for motion estimation in pet imaging using ai image reconstructions
CN114945845A (zh) 减弱分布图像生成装置、图像处理装置、放射线断层摄影系统、减弱分布图像生成方法、图像处理方法
KR102829435B1 (ko) 3차원 의료영상의 단면간 해상도 향상 장치 및 방법
Chen et al. “One-Shot” Reduction of Additive Artifacts in Medical Images
US20250022582A1 (en) Apparatus and method for deep learning-based medical image style neutralization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230411

Address after: Room 308, No. 177-2 Chuangxin Road, Hunnan District, Shenyang City, Liaoning Province, 110167

Applicant after: Shenyang Zhihe Medical Technology Co.,Ltd.

Address before: 110167 No. 177-1 Innovation Road, Hunnan District, Shenyang City, Liaoning Province

Applicant before: Shenyang Neusoft Medical Systems Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110

RJ01 Rejection of invention patent application after publication