CN116883430A - 影像分割方法、装置、设备、存储介质和程序产品 - Google Patents
影像分割方法、装置、设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN116883430A CN116883430A CN202310836170.2A CN202310836170A CN116883430A CN 116883430 A CN116883430 A CN 116883430A CN 202310836170 A CN202310836170 A CN 202310836170A CN 116883430 A CN116883430 A CN 116883430A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- network
- sub
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种影像分割方法、装置、设备、存储介质和程序产品。所述方法包括:获取输入的交互式文本以及医学影像;所述交互式文本用于指示对所述医学影像所要执行的目标分割任务;根据所述交互式文本确定与所述目标分割任务匹配的目标分割子网络;根据预设的公共分割网络和所述目标分割子网络确定影像分割网络;所述公共分割网络用于对所述医学影像与其他影像中相关的任务进行分割;采用所述影像分割网络对所述医学影像进行分割,确定所述医学影像的目标分割结果。采用本方法能够实现对各类医学影像的分割。
Description
技术领域
本申请涉及医学影像处理技术领域,特别是涉及一种影像分割方法、装置、设备、存储介质和程序产品。
背景技术
随着医学影像技术和神经网络技术的不断发展,将神经网络技术和医学影像技术结合起来对患者进行图像分析的应用越来越广泛。目前在采用医学影像对患者进行图像分析时,可以先采用基于神经网络的分割模型对医学影像进行分割处理,以从医学影像中分割出病灶区域,之后可以继续对病灶区域进行图像分析处理。
目前,随着语言视觉技术的不断发展,在分割时可以针对不同的分割对象训练各自基于语言视觉的分割模型,从而实现对该分割对象的图像分割。
然而,上述技术难以适用各类医学影像的分割任务。
发明内容
基于此,有必要针对上述技术问题,提供一种能够适用各类医学影像的分割任务的影像分割方法、装置、设备、存储介质和程序产品。
第一方面,本申请提供了一种影像分割方法,该方法包括:
获取输入的交互式文本以及医学影像;上述交互式文本用于指示对医学影像所要执行的目标分割任务;
根据交互式文本确定与目标分割任务匹配的目标分割子网络;
根据预设的公共分割网络和目标分割子网络确定影像分割网络;上述公共分割网络用于对医学影像与其他影像中相关的任务进行分割;
采用影像分割网络对医学影像进行分割,确定医学影像的目标分割结果。
在其中一个实施例中,上述根据交互式文本确定与目标分割任务匹配的目标分割子网络,包括:
对交互式文本进行编码处理,确定编码文本;上述编码文本中包括目标分割任务;
将编码文本在预设的多个路由模块中进行分割子网络选择处理,确定与目标分割任务匹配的目标分割子网络;各路由模块中均包括至少一个候选分割子网络。
在其中一个实施例中,上述将编码文本在预设的多个路由模块中进行分割子网络选择处理,确定与目标分割任务匹配的目标分割子网络,包括:
将编码文本输入至各路由模块中进行路径选择处理,确定在各路由模块中选择的候选分割子网络;
将在各路由模块中选择的候选分割子网络确定为目标分割子网络。
在其中一个实施例中,上述将在各路由模块中选择的候选分割子网络确定为目标分割子网络,包括:
将在各路由模块中选择的候选分割子网络按照相应的路由模块之间的连接关系进行连接,获得目标分割子网络。
在其中一个实施例中,上述公共分割网络包括多个下采样模块,各下采样模块用于对医学影像进行不同分辨率的下采样处理;
上述目标分割子网络包括多个分割子网络,各分割子网络用于对医学影像进行不同分辨率的上采样处理。
在其中一个实施例中,上述根据预设的公共分割网络和目标分割子网络确定影像分割网络,包括:
将公共分割网络的各下采样模块分别和目标分割子网络中相应的分割子网络进行连接,获得影像分割网络。
在其中一个实施例中,上述对交互式文本进行编码处理,确定编码文本,包括:
采用语言模型对交互式文本进行编码处理,确定编码文本。
在其中一个实施例中,上述采用影像分割网络对医学影像进行分割,确定医学影像的目标分割结果,包括:
采用影像分割网络对医学影像进行分割,确定医学影像的初始分割结果;
若初始分割结果不满足分割需求,则获取新的交互式文本;上述新的交互式文本为针对初始分割结果中不满足分割需求的局部分割结果或整体分割结果所设定的文本;
返回执行上述根据交互式文本确定与目标分割任务匹配的目标分割子网络的步骤,直至新的初始分割结果满足分割需求,获得目标分割结果。
第二方面,本申请还提供了一种影像分割装置,该装置包括:
获取模块,用于获取输入的交互式文本以及医学影像;上述交互式文本用于指示对医学影像所要执行的目标分割任务;
分割子网络确定模块,用于根据交互式文本确定与目标分割任务匹配的目标分割子网络;
影像分割网络确定模块,用于根据预设的公共分割网络和目标分割子网络确定影像分割网络;上述公共分割网络用于对医学影像与其他影像中相关的任务进行分割;
分割模块,用于采用影像分割网络对医学影像进行分割,确定医学影像的目标分割结果。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取输入的交互式文本以及医学影像;上述交互式文本用于指示对医学影像所要执行的目标分割任务;
根据交互式文本确定与目标分割任务匹配的目标分割子网络;
根据预设的公共分割网络和目标分割子网络确定影像分割网络;上述公共分割网络用于对医学影像与其他影像中相关的任务进行分割;
采用影像分割网络对医学影像进行分割,确定医学影像的目标分割结果。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取输入的交互式文本以及医学影像;上述交互式文本用于指示对医学影像所要执行的目标分割任务;
根据交互式文本确定与目标分割任务匹配的目标分割子网络;
根据预设的公共分割网络和目标分割子网络确定影像分割网络;上述公共分割网络用于对医学影像与其他影像中相关的任务进行分割;
采用影像分割网络对医学影像进行分割,确定医学影像的目标分割结果。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取输入的交互式文本以及医学影像;上述交互式文本用于指示对医学影像所要执行的目标分割任务;
根据交互式文本确定与目标分割任务匹配的目标分割子网络;
根据预设的公共分割网络和目标分割子网络确定影像分割网络;上述公共分割网络用于对医学影像与其他影像中相关的任务进行分割;
采用影像分割网络对医学影像进行分割,确定医学影像的目标分割结果。上述影像分割方法、装置、设备、存储介质和程序产品,通过获取医学影像以及输入的指示对医学影像所要执行的目标分割任务的交互式文本,然后根据交互式文本确定与目标分割任务匹配的目标分割子网络,以及根据预设的公共分割网络和目标分割子网络确定影像分割网络后,采用影像分割网络对医学影像进行分割获得医学影像的目标分割结果;其中,公共分割网络用于对医学影像与其他影像中相关的任务进行分割。该方法中,由于可以基于不同分割任务的交互式文本确定不同的分割子网络,并将不同的分割子网络与公共分割网络进行组合,获得不同的影像分割网络并对医学影像进行分割,这样可以实现对不同分割任务或多分割任务的医学影像进行分割,同时影像分割网络中也结合了对各类影像的相关任务进行分割的公共分割网络,因此可以提升影像分割网络的泛化性能。
附图说明
图1为一个实施例中计算机设备的内部结构图;
图2为一个实施例中影像分割方法的流程示意图;
图3为另一个实施例中影像分割方法的流程示意图;
图4为另一个实施例中影像分割方法的流程示意图;
图5为另一个实施例中路由模块的结构示例图;
图6为另一个实施例中影像分割网络的架构示例图;
图7为另一个实施例中影像分割方法的流程示意图;
图8为另一个实施例中影像分割方法的具体流程示意图;
图9为一个实施例中影像分割装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
多模态学习是指利用人工智能的方法来处理和理解多源模态信息,这里的多模态信息可以是图像、图像的模态、语言、离散指令集、影响报告等信息,这些多模态信息在图文检索、视觉问答、视觉语言导航、多模态对话等有广泛的应用。目前常见的视觉模型通常采用单任务的形式,每个任务都从零开始训练,各个任务之间也无法相互借鉴,单任务数据量大小的限制会带来一系列的偏置问题,对于比较相似的任务可以相互促进结果性能的提升,实际应用时,性能往往依赖任务数据分布,泛化效果不佳。近年来,基于大数据的预训练技术通过使用大量数据学到更多的通用信息,并方便的迁移到下游任务中,本质则是不同的任务相互借鉴各自学到的知识。深度学习见证了语言模型的兴起,例如BERT、GPT,而针对语言参与的视觉问题,目前也有一些工作,例如CLIP(Contrastive Language-ImagePretraining,对比语言图像预训练),其将语言信息和图像信息联合训练。在大规模的图像-文本上,利用对比损失将图像和文本的编码器进行训练,实现图像和文本编码器结果的匹配,但是该工作只能应用于图像分类任务或者图像检索任务,无法得到需要输出掩码的图像分割结果。可见,上述技术均无法实现对各类医学影像的分割任务。
本申请实施例提供的影像分割方法,可以应用于计算机设备,该计算机设备可以是服务器或终端,以终端为例,其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种影像分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,如图2所示,提供了一种影像分割方法,以该方法应用于图1中的计算机设备为例进行说明,该方法可以包括以下步骤:
S202,获取输入的交互式文本以及医学影像;上述交互式文本用于指示对医学影像所要执行的目标分割任务。
其中,医学影像可以是包括待测部位或待测区域的影像,可以是二维或三维图像。医学影像的获取方式可以是通过对待测部位或待测区域进行扫描后并进行图像重建获得的医学影像,或者还可以是预先从云端或服务器中获得存储的医学影像,或者还可以是其他获取方式,这里不作具体限定。
对于输入的交互式文本,可以是用户在计算机设备的显示界面上输入的,该交互式文本可以是用户需要对医学影像进行分割时输入的,可以指示对医学影像要执行的目标分割任务,这里的目标分割任务比如可以是分割医学影像中的待测部位或待测区域,或者还可以是分割待测部位或待测区域中的子区域等等,或者还可以是其他形式的分割任务。
对于用户输入的交互式文本,可以是采用语音形式输入,然后对输入的语音进行识别以及转文本处理后即可获得输入的交互式文本;或者也可以直接输入文本形式的交互式文本;或者也可以采用其他形式输入以获得交互式文本,这里不作具体限定。对于输入的交互式文本,其可以指示对医学影像所要执行的目标分割任务,例如可以是具体需要分割的部位或区域的名称或标识,或者也可以是需要分割的部位或区域的特征,或者还可以是进一步精细分割的任务,或者还可以是其他情况。以肺部分割为例,例如输入的交互式文本可以是“左肺”、“肺叶”、“精确分割”、“肺动脉中的充盈缺失部分”等。
S204,根据交互式文本确定与目标分割任务匹配的目标分割子网络。
在本步骤中,可以预先为不同的分割任务设置不同的分割子网络,使得不同的分割子网络可以执行不同的分割任务,从而实现对不同分割目标的精准分割。
这里不同的分割子网络可以是对各个医学影像中不相关的分割任务所单独设置的分割子网络,一般各个分割子网络可以是具有完全不同结构的分割子网络,或者也可以是具有部分相同结构的分割子网络。
上述在获得用户输入的交互式文本之后,就可以从交互式文本中获得用户所想要执行的目被分割任务,比如分割左肺,这样就可以根据目标分割任务匹配出合适的目标分割子网络。
一般分割任务的精度要求越高,则所需要分割子网络的结构越复杂;而对于精度要求并不高的分割任务,则采用的分割子网络可以选择较为简单的结构,这样可以基于不同分割任务的精度需求匹配不同的分割子网络,从而可以满足各类分割任务的需求,同时也可以保证不会过度浪费分割网络资源。
需要说明的是,不同的分割任务对应不同的子网络,通过不同分割任务的文本可以选择不同的目标分割子网络。而对于具有相似性的文本,其中包括的分割任务也具有相似性,那么一般可能对应的目标分割子网络也是相同或接近的;例如“肾”和“肾肿瘤”实质上属于具有相似性的文本,在对文本中的“肾”或者“肾肿瘤”等任务进行分割时,很大可能会选择相似的分割子网络。
S206,根据预设的公共分割网络和目标分割子网络确定影像分割网络;上述公共分割网络用于对医学影像与其他影像中相关的任务进行分割。
其中,预设的公共分割网络可以是对各类医学影像中具有关联性的任务进行分割的任务,例如可以包括特征提取、特征图采样处理(例如可以包括下采样和/或上采样等)、卷积处理等等,对于这些在每个分割任务中具有关联性的任务,其可以是不论何种分割任务均需要执行的任务,可以记为公共分割任务,之后可以将这些公共分割任务设置成公共分割网络;然后在上述获得目标分割任务匹配的目标分割子网络之后,就可以将公共分割网络和确定的目标分割子网络两者结合起来构成影像分割网络,该影像分割网络可以是专门对该目标分割网络进行分割的分割网络。
对于将公共分割网络和确定的目标分割子网络两者结合起来构成影像分割网络,可以是按照分割网络执行目标分割任务的顺序将公共分割网络和目标分割子网络两者结合起来,获得影像分割网络。
上述将各分割影像中具有关联性的分割任务或公共分割任务采用公共分割网络来表示,这样不同的分割任务均可以共用该第一个公共分割网络,从而可以实现降低为每个分割任务均设置一个相应的分割网络的成本,同时可以提升确定的影像分割网络的通用性。
S208,采用影像分割网络对医学影像进行分割,确定医学影像的目标分割结果。
在本步骤中,在获得针对目标分割任务的影像分割网络之后,可以采用该影像分割网络对该医学影像执行该目标分割任务,最终获得与该目标分割任务相对应的目标分割结果。例如输入的交互式文本中的目标分割任务为“左肺”,输入的医学影像为胸部CT影像,则最终获得的目标分割结果为左肺的分割掩膜。再例如目标分割任务也可以是需要分割目标的特征,比如输入的交互式文本中的目标分割任务为“肺动脉中的充盈缺失部分”,输入的医学影像为胸部CT影像,则最终获得的目标分割结果为肺栓塞的分割结果。
由上述描述可知,通过为不同的分割任务匹配相适应的分割子网络,同时将不同的分割子网络均与对各医学影像中相关任务进行分割的公共分割网络进行组合,这样就可以获得不同分割任务对应的影像分割网络,提升最终获得的影像分割网络的通用性;同时各个分割任务之间也可以相互借鉴,从而可以通过不同的分割任务促进影像分割网络的性能提升,提升影像分割网络的分割性能。
需要说明的是,本申请实施例的方法可以应用于医学影像的分割中,例如一扫多查应用中对影像中的多个器官结构以及多种包含病灶的区域的分割。以肺部病灶分割为例,可以实现器官和病灶多个任务的分割功能。另外,本实施例中可以通过融合指令集及文本等其他模态信息(例如上述的输入交互式文本),输入需要分割器官、病灶的名称或具体的特征,可以快速且准确地得到相应的分割结果。
上述影像分割方法中,通过获取医学影像以及输入的指示对医学影像所要执行的目标分割任务的交互式文本,然后根据交互式文本确定与目标分割任务匹配的目标分割子网络,以及根据预设的公共分割网络和目标分割子网络确定影像分割网络后,采用影像分割网络对医学影像进行分割获得医学影像的目标分割结果;其中,公共分割网络用于对医学影像与其他影像中相关的任务进行分割。该方法中,由于可以基于不同分割任务的交互式文本确定不同的分割子网络,并将不同的分割子网络与公共分割网络进行组合,获得不同的影像分割网络并对医学影像进行分割,这样可以实现对不同分割任务或多分割任务的医学影像进行分割,同时影像分割网络中也结合了对各类影像的相关任务进行分割的公共分割网络,因此可以提升影像分割网络的泛化性能。
上述实施例中提到了可以通过用户输入的交互式文本确定目标分割任务对应的目标分割子网络,以下实施例就对该过程的一种可能的实施方式进行说明。
在另一个实施例中,提供了另一种影像分割方法,在上述实施例的基础上,如图3所示,上述S204可以包括以下步骤:
S302,对交互式文本进行编码处理,确定编码文本;上述编码文本中包括目标分割任务。
在本步骤中,在获得交互式文本之后,由于交互式文本可能不是计算机的编码语言,因此需要对交互式文本进行编码处理,以使其符合计算机的编码语言形式。
作为可选的实施例,可以是采用语言模型对交互式文本进行编码处理,确定编码文本。其中,语言模型可以是预训练好的模型,具体的训练过程这里不做说明。总之训练好的语言模型可以进行文本理解、分析、编码等处理,最终可以生成编码的文本。这里的语言模型例如可以是Transformer模型。
本步骤中在获得用户输入的交互式文本之后,可以将该交互式文本输入至语言模型中进行编码处理,对交互式文本进行编码(encoder)处理,获得编码好的文本,记为编码文本。这里的编码文本可以是由一个或多个文本向量构成,该编码文本中可以包括对医学影像所要执行的目标分割任务。
S304,将编码文本在预设的多个路由模块中进行分割子网络选择处理,确定与目标分割任务匹配的目标分割子网络;各路由模块中均包括至少一个候选分割子网络。
其中,每个路由模块中均包括至少一个候选分割子网络,各路由模块中包括的候选分割子网络可以相同,也可以不同。对于一个路由模块而言,其中包括多个候选分割子网络时,这多个候选分割子网络可以是不同的候选分割子网络,例如可以是各候选分割子网络的网络结构不同,比如各候选分割子网络可以是采用不同类型的卷积块构成,或者可以是采用相同类型的卷积块但是不同数量的卷积块构成,或者还可以是采用不同类型的卷积块以及不同数量的卷积块构成,或者还可以是其他情况。总之,对于每个路由模块,其中均可以包括不同的多个候选分割子网络,也可以只包括一个候选分割子网络。
另外,对于上述每个路由模块中包括的候选分割子网络,不同的路由模块及其中不同的候选分割子网络的组合,一般对应不同的分割任务,通常分割任务越简单,则分割网络结构越简单。
上述在获得编码文本之后,可以将编码文本与预设的多个路由模块中的候选分割子网络进行分割任务匹配,例如可以是将编码文本分别与各路由模块同时进行匹配,或者可以是将编码文本先输入至第一个路由模块中进行匹配,结合第一个路由模块输出的结果与编码文本再在第二各路由模块中进行匹配,后续依次匹配完各个路由模块,最终获得与编码文本中的目标分割任务所匹配的目标分割子网络。这里的目标分割子网络可以由一个路由模块中的候选分割子网络构成,也可以由多个路由模块中的候选分割子网络构成。
对于上述在预设的多个路由模块中进行分割子网络选择处理,可以是通过预先训练影像分割网络时保存的对应关系确定的,该对应关系中可以包括不同分割任务与各自对应的网络路径,网络路径中就包括各路由模块中选择的候选分割子网络。
影像分割网络训练过程可以是:获取样本及其分割掩膜,以及获得样本输入文本;将样本输入文本输入至初始影像分割网络中的各个路由模块,通过softmax层进行网络路径选择,通过选择得到的路径进行分割,获得对应于该样本输入文本输出的分割结果。之后计算选择出的路径下的分割结果和相应的分割掩膜的损失,并回传损失对初始影像分割网络的权重以及各个路由模块的权重进行训练,最终获得训练好的影像分割网络。
上述在训练过程中将每个样本输入文本和对应的最优网络路径对应起来,即可获得上述对应关系,这里的最优网络路径就是从各路由模块中选择的,对相应的样本输入文本分割效果最优的候选分割子网络。
本实施例中,在获得交互式文本之后可以对交互式文本进行编码处理以获得包括目标分割任务的编码文本,然后将编码文本在预设的多个路由模块中进行子网络匹配处理,获得与目标分割任务匹配的目标分割子网络,这样通过编码以及多个路由模块中的候选子网络匹配处理,使得可以快速且准确地匹配到相应的目标分割子网络,提升影像分割的效率和准确性。另外,通过对输入的交互式文本进行编码处理以获得编码文本,这样可以便于计算机设备快速执行后续的分割子网络匹配过程,进一步提升影像分割的效率。
上述实施例中提到了可以通过在多个路由模块中进行匹配以获得目标分割子网络,以下实施例就对该过程的一种可能的实施方式进行说明。
在另一个实施例中,提供了另一种影像分割方法,在上述实施例的基础上,如图4所示,上述S304可以包括以下步骤:
S402,将编码文本输入至各路由模块中进行路径选择处理,确定在各路由模块中选择的候选分割子网络。
在本步骤中,路由模块指的是可以进行网络路径选择的模块,参见图5所示,每个路由模块(Router)中均可以包括至少一条网络路径,每个网络路径对应一个候选分割子网络,不同的网络路径上的候选分割子网络可以是不同的分割子网络,具体可以参见上述S304中的不同的候选分割子网络。
上述可以先将交互式文本进行编码处理,在获得包括目标分割任务的编码文本之后,可以是将编码文本分别输入至各个路由模块中分别进行匹配,在各个路由模块中分别匹配出合适的候选分割子网络。示例地,参见图6所示的影像分割网络的架构图,其中的自适应路由即这里的路由模块,图中的Prompt即这里的编码文本,可以将Prompt分别输入至各自适应路由模块中进行网络路径匹配,最终获得在各自适应路由模块中匹配或选择的候选分割子网络。
这里具体在各路由模块中匹配时,可以使用基于统计的、稀疏的或者统计的网络路径来选择候选分割子网络,比如可以预先设置好不同的分割任务对应的不同网络路径,然后在获得不同的分割任务的编码文本之后,就可以在各路由模块中匹配出对应的网络路径,即获得在各路由模块中匹配的候选分割子网络。
S404,将在各路由模块中选择的候选分割子网络确定为目标分割子网络。
在本步骤中,在各路由模块中均选择或匹配出合适的候选分割子网络之后,可以将各个选择出来的候选分割子网络组合起来,即可获得目标分割任务对应的目标分割子网络。一般这里每个路由模块中均会选择一个相应的候选分割子网络。
具体在组合各候选分割子网络时,作为可选的实施例,可以是将在各路由模块中选择的候选分割子网络按照相应的路由模块之间的连接关系进行连接,获得目标分割子网络。
这里在组合各候选分割子网络时,也可以预先获得各路由模块之间的连接关系,然后可以按照各路由模块之间的连接关系,将在各路由模块中选择的候选分割子网络连接起来,即可获得目标分割子网络。示例地,这里可以继续参见图6所示的影像分割网络的架构图,其中在最底部的路由模块中选择的候选分割子网络,其输出与上一层的路由模块中选择的候选分割子网络的输入连接,然后该上一层的路由模块中选择的候选分割子网络的输出又与上上一层的路由模块中选择的候选分割子网络的输入连接,以此类推即可对各路由模块中选择的候选分割子网络进行连接,获得目标分割子网络。
需要说明的是,不同的分割任务对网络模型的功能和性能要求也不同,例如肺野、心脏分割只需简单的网络模型结构即可完成,而肺血管这种比较精细的结构则需要相对复杂的网络模型结构。此外,不同的分割任务对网络模型的精度和性能要求也不同。本申请实施例中引入多路由模块的选择机制,不同网络路径的网络模型的复杂性也是不同的。每个路由模块中可以包括不同的候选分割子网络,每个候选分割子网络可以是一条网络路径,每个网络路径中的参数量或者任务功能或者能达到的分割精度等可以是不同的,这样可以将不同参数量、不同任务功能和不同分割精度的分割子网络与公共分割网络结合起来,组成一个通用网络模型,并对该通用网络模型进行训练,这样可以较为简单地实现对影像分割网络的训练。
本实施例中,通过将编码文本输入至各路由模块中进行路径选择处理以获得在各路由模块中选择的候选分割子网络,并将各选择的候选分割子网络组合起来确定目标分割子网络,这里通过在各路由模块中均选择编码文本对应的候选分割子网络,可以提升最终确定的目标分割子网络的效率。另外,将各选择的候选分割子网络按照相应的路由模块之间的连接关系进行连接以获得目标分割子网络,可以保证快速获得准确的目标分割子网络。另外,通过提供更多可选的分割子网络,从而可以提升网络模型的分割性能。
上述实施例中提到了可以将公共分割网络和针对不同分割任务所确定的目标分割任务结合起来获得相应的影像分割网络,以下实施例就对公共分割网络以及目标分割子网络的部分结构进行说明。
在另一个实施例中,在上述实施例的基础上,上述公共分割网络包括多个下采样模块,各下采样模块用于对医学影像进行不同分辨率的下采样处理;上述目标分割子网络包括多个分割子网络,各分割子网络用于对医学影像进行不同分辨率的上采样处理。
继续参见图6所示的影像分割网络的架构图,其中的多个Transformer Layer(Transformer层)以及多个Conv Blocks(卷积块)共同构成公共分割网络,其中的Transformer Layer可以称为下采样模块,主要用于对输入的医学影像进行不同分辨率的下采样处理,也就是说每个Transformer Layer对医学影像所进行的下采样处理的分辨率可以是不同的;Conv Blocks主要对医学影像进行特征提取或者对下采样后的医学影像进行特征提取,获得下采样特征图。
另外,图中各个路由模块(也即图中的自适应路由)中选择的候选分割子网络可以分别对公共分割网络中各个Conv Blocks输出的下采样特征图进行相应分辨率的上采样处理,获得不同分辨率的上采样特征图。其中,每个路由模块的输入中可以加入前一层上采样的结果以及本层的下采样结果(例如图中连接C可以结合本层下采样的结果以及前一层上采样的结果),以使得后续网络模块可以结合前面的网络模块的输入,结合的特征越多,则最终输出的分割结果越准确。
需要说明的是,一般各层的下采样的分辨率和上采样的分辨率可以是相同的,比如图中包括5个Transformer Layer,输入的医学影像的分辨率是512*512,则进行5次下采样处理后,获得的分辨率从上到下依次是:512*512、256*256、128*128、64*64、32*32,相应的上采样各层的分辨率从下到上依次是:32*32、64*64、128*128、256*256、512*512。
在上述说明了公共分割网络以及目标分割子网络的架构之后,就可以将公共分割网络和目标分割子网络组合起来获得目标分割子网络,作为可选的实施例,上述S206可以包括:
将公共分割网络的各下采样模块分别和目标分割子网络中相应的分割子网络进行连接,获得影像分割网络。
在本步骤中,上述公共分割网络部分可以作为编码器encoder,目标分割子网络可以作为解码器decoder,两者组合使用。也即在获得公共分割网络的各个下采样模块以及卷积模块之后,可以按照如图6所示的方式将公共分割网络中的各个下采样模块以及卷积模块与相应的路由模块进行适应性连接,即将公共分割网络中的各个下采样模块以及卷积模块的输出作为相应的路由模块的输入,同时结合前面层的输出,最终获得组合的影像分割网络。
另外,需要说明的是,上述各路由模块类似于包括多个网络路径的多路开关,在获得输入的交互式文本并进行编码之后,可以通过编码文本在各路由模块中选择合适的候选分割子网络,选择的候选分割子网络即可以认为是在其相应的路由模块中闭合了对应的开关,可将该选择的候选分割子网络的路径与公共分割网络以及前后层的路由模块之间进行连接或导通,获得针对目标分割任务的影像分割网络。
本实施例中,公共分割网络包括多个对医学影像进行不同分辨率下采样处理的下采样模块,目标分割子网络包括多个对医学影像进行上采样的分割子网络,这样可以明确公共分割网络以及目标分割子网络各自的功能,使得最终可以获得较为准确的影像分割网络。另外,将公共分割网络中的下采样模块与目标分割子网络中相应的分割子网络进行连接可以获得影像分割网络,这样可以快速构建好针对特定分割任务的影像分割网络,进而提升影像分割效率。
在实际影像分割过程中,有可能一次分割所获得的影像分割结果并不能很好的满足用户的需求,因此就需要多次进行分割,以下实施例就对具体如何进行多次分割的过程进行说明。
在另一个实施例中,提供了另一种影像分割方法,在上述实施例的基础上,如图7所示,上述S208可以包括以下步骤:
S502,采用影像分割网络对医学影像进行分割,确定医学影像的初始分割结果。
在本步骤中,在上述获得交互式文本的编码文本之后,可以通过交互式文本在各路由模块中选择出合适的候选分割子网络,然后和公共分割网络连接获得针对该编码文本中的目标分割任务的影像分割网络。之后可以将医学影像输入至该影像分割网络中进行分割处理,获得医学影像的分割结果,这里第一次获得的分割结果可以记为初始分割结果。
S504,若初始分割结果不满足分割需求,则获取新的交互式文本;上述新的交互式文本为针对初始分割结果中不满足分割需求的局部分割结果或整体分割结果所设定的文本。
在本步骤中,分割需求可以是根据实际分割情况所设定的需求,比如分割结果需要达到的具体分割精度等。
在获得初始分割结果之后,可以通过人工基于经验判定该初始分割结果是否满足分割需求,也可以是自动判定初始分割结果是否满足分隔需求,若不满足分割需求,则需要重新对医学影像进行分割。
在重新对医学影像进行分割时,具体执行何种分割任务可以通过用户重新输入的交互式文本确定。也就是说,在确定初始分割结果不满足分割需求时,用户可以重新输入新的交互式文本,该新的交互式文本中可以包括对医学影像重新分割的需求,比如可以包括对初始分割结果中不满足分割需求的局部分割结果或整体分割结果所设定的文本,例如可以使输入“精确分割”、“重新分割”等新的交互式文本。
S506,返回执行上述根据交互式文本确定与目标分割任务匹配的目标分割子网络的步骤,直至新的初始分割结果满足分割需求,获得目标分割结果。
在本步骤中,在上述获得用户输入的新的交互式文本之后,可以返回执行上述S204-S208的步骤,也就是说,可以将新的交互式文本输入至各路由模块中进行匹配或选择,获得选择的各候选分割子网络,进而获得新的目标分割子网络,然后将新的目标分割子网络和公共分割网络组合起来获得新的影像分割网络,并将医学影像重新输入至新的影像分割网络中进行分割处理,获得新的分割结果。之后可以判断新的分割结果是否满足分割需求,若新的分割结果满足分割需求,则将本次的分割结果作为最终的目标分割结果。若新的分割结果不满足分割需求,则重新获取新的交互式文本,然后再重复执行S204-S208的步骤,最终获得目标分割结果。
本实施例中,通过影像分割网络对医学影像进行分割以获得初始分割结果,并在初始分割结果不满足分割需求时获取新的交互式文本,并重复执行根据交互式文本确定目标分割子网络以及影像分割网络并对医学影像进行分割的步骤,直至满足分割需求时获得目标分割结果,这里可以重复输入交互式文本并不断对分割结果进行调整,使得可以较为容易地实现对医学影像的精细分割,提升用户的使用体验。
以下给出一个详细实施例来对本申请的技术方案进行说明,在上述实施例的基础上,如图8所示,该方法可以包括以下步骤:
S1,获取输入的交互式文本以及医学影像;上述交互式文本用于指示对医学影像所要执行的目标分割任务;
S2,对交互式文本进行编码处理,确定编码文本;上述编码文本中包括目标分割任务;
S3,将编码文本输入至各路由模块中进行路径选择处理,确定在各路由模块中选择的候选分割子网络;
S4,将在各路由模块中选择的候选分割子网络按照相应的路由模块之间的连接关系进行连接,获得目标分割子网络;
S5,将公共分割网络的各下采样模块分别和目标分割子网络中相应的分割子网络进行连接,获得影像分割网络;
S6,采用影像分割网络对医学影像进行分割,确定医学影像的初始分割结果;
S7,判断初始分割结果是否满足分割需求,若不满足,则返回执行S1-S7,否则执行S8;
S8,将本次的初始分割结果作为目标分割结果。
由上述描述可知,本实施例中的影像分割网络包括两部分,一部分为公共分割网络,主要对各医学影像中相关的任务进行分割或处理,另一部分为自适应选择的目标分割子网络,具体每个目标分割子网络选择的候选分割子网络由输入的交互式文本确定,其中不同的交互式文本的信息表示不同的分割目标,从而可以基于不同的交互式文本在各路由模块中选择不同的网络路径,实现不同的分割任务。这样可以使相关的分割任务共享更多的参数,而不相干的分割任务之间尽量减少干扰,从而可以获得针对不同分割任务的影像分割网络,提升影像分割网络的分割性能。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的影像分割方法的影像分割装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个影像分割装置实施例中的具体限定可以参见上文中对于影像分割方法的限定,在此不再赘述。
在一个实施例中,如图9所示,提供了一种影像分割装置,包括:获取模块、分割子网络确定模块、影像分割网络确定模块和分割模块其中:
获取模块,用于获取输入的交互式文本以及医学影像;上述交互式文本用于指示对医学影像所要执行的目标分割任务;
分割子网络确定模块,用于根据交互式文本确定与目标分割任务匹配的目标分割子网络;
影像分割网络确定模块,用于根据预设的公共分割网络和目标分割子网络确定影像分割网络;上述公共分割网络用于对医学影像与其他影像中相关的任务进行分割;
分割模块,用于采用影像分割网络对医学影像进行分割,确定医学影像的目标分割结果。
在另一个实施例中,提供了另一种影像分割装置,在上述实施例的基础上,上述分割子网络确定模块,可以包括:
编码单元,用于对交互式文本进行编码处理,确定编码文本;上述编码文本中包括目标分割任务;
选择单元,用于将编码文本在预设的多个路由模块中进行分割子网络选择处理,确定与目标分割任务匹配的目标分割子网络;各路由模块中均包括至少一个候选分割子网络。
可选的,上述编码单元,具体用于采用语言模型对交互式文本进行编码处理,确定编码文本。
在另一个实施例中,提供了另一种影像分割装置,在上述实施例的基础上,上述选择单元,可以包括:
选择子单元,用于将编码文本输入至各路由模块中进行路径选择处理,确定在各路由模块中选择的候选分割子网络;
子网络确定子单元,用于将在各路由模块中选择的候选分割子网络确定为目标分割子网络。
可选的,上述子网络确定子单元,具体用于将在各路由模块中选择的候选分割子网络按照相应的路由模块之间的连接关系进行连接,获得目标分割子网络。
在另一个实施例中,在上述实施例的基础上,上述公共分割网络包括多个下采样模块,各下采样模块用于对医学影像进行不同分辨率的下采样处理;上述目标分割子网络包括多个分割子网络,各分割子网络用于对医学影像进行不同分辨率的上采样处理。
在另一个实施例中,提供了另一种影像分割装置,在上述实施例的基础上,上述影像分割网络确定模块,具体用于将公共分割网络的各下采样模块分别和目标分割子网络中相应的分割子网络进行连接,获得影像分割网络。
在另一个实施例中,提供了另一种影像分割装置,在上述实施例的基础上,上述分割模块,可以包括:
分割单元,用于采用影像分割网络对医学影像进行分割,确定医学影像的初始分割结果;
获取单元,用于若初始分割结果不满足分割需求,则获取新的交互式文本;上述新的交互式文本为针对初始分割结果中不满足分割需求的局部分割结果或整体分割结果所设定的文本;
返回单元,用于返回执行上述根据交互式文本确定与目标分割任务匹配的目标分割子网络的步骤,直至新的初始分割结果满足分割需求,获得目标分割结果。
上述影像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取输入的交互式文本以及医学影像;上述交互式文本用于指示对医学影像所要执行的目标分割任务;根据交互式文本确定与目标分割任务匹配的目标分割子网络;根据预设的公共分割网络和目标分割子网络确定影像分割网络;上述公共分割网络用于对医学影像与其他影像中相关的任务进行分割;采用影像分割网络对医学影像进行分割,确定医学影像的目标分割结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对交互式文本进行编码处理,确定编码文本;上述编码文本中包括目标分割任务;将编码文本在预设的多个路由模块中进行分割子网络选择处理,确定与目标分割任务匹配的目标分割子网络;各路由模块中均包括至少一个候选分割子网络。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将编码文本输入至各路由模块中进行路径选择处理,确定在各路由模块中选择的候选分割子网络;将在各路由模块中选择的候选分割子网络确定为目标分割子网络。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将在各路由模块中选择的候选分割子网络按照相应的路由模块之间的连接关系进行连接,获得目标分割子网络。
在一个实施例中,上述公共分割网络包括多个下采样模块,各下采样模块用于对医学影像进行不同分辨率的下采样处理;上述目标分割子网络包括多个分割子网络,各分割子网络用于对医学影像进行不同分辨率的上采样处理。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将公共分割网络的各下采样模块分别和目标分割子网络中相应的分割子网络进行连接,获得影像分割网络。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
采用语言模型对交互式文本进行编码处理,确定编码文本。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
采用影像分割网络对医学影像进行分割,确定医学影像的初始分割结果;若初始分割结果不满足分割需求,则获取新的交互式文本;上述新的交互式文本为针对初始分割结果中不满足分割需求的局部分割结果或整体分割结果所设定的文本;返回执行上述根据交互式文本确定与目标分割任务匹配的目标分割子网络的步骤,直至新的初始分割结果满足分割需求,获得目标分割结果。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取输入的交互式文本以及医学影像;上述交互式文本用于指示对医学影像所要执行的目标分割任务;根据交互式文本确定与目标分割任务匹配的目标分割子网络;根据预设的公共分割网络和目标分割子网络确定影像分割网络;上述公共分割网络用于对医学影像与其他影像中相关的任务进行分割;采用影像分割网络对医学影像进行分割,确定医学影像的目标分割结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对交互式文本进行编码处理,确定编码文本;上述编码文本中包括目标分割任务;将编码文本在预设的多个路由模块中进行分割子网络选择处理,确定与目标分割任务匹配的目标分割子网络;各路由模块中均包括至少一个候选分割子网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将编码文本输入至各路由模块中进行路径选择处理,确定在各路由模块中选择的候选分割子网络;将在各路由模块中选择的候选分割子网络确定为目标分割子网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将在各路由模块中选择的候选分割子网络按照相应的路由模块之间的连接关系进行连接,获得目标分割子网络。
在一个实施例中,上述公共分割网络包括多个下采样模块,各下采样模块用于对医学影像进行不同分辨率的下采样处理;上述目标分割子网络包括多个分割子网络,各分割子网络用于对医学影像进行不同分辨率的上采样处理。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将公共分割网络的各下采样模块分别和目标分割子网络中相应的分割子网络进行连接,获得影像分割网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
采用语言模型对交互式文本进行编码处理,确定编码文本。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
采用影像分割网络对医学影像进行分割,确定医学影像的初始分割结果;若初始分割结果不满足分割需求,则获取新的交互式文本;上述新的交互式文本为针对初始分割结果中不满足分割需求的局部分割结果或整体分割结果所设定的文本;返回执行上述根据交互式文本确定与目标分割任务匹配的目标分割子网络的步骤,直至新的初始分割结果满足分割需求,获得目标分割结果。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取输入的交互式文本以及医学影像;上述交互式文本用于指示对医学影像所要执行的目标分割任务;根据交互式文本确定与目标分割任务匹配的目标分割子网络;根据预设的公共分割网络和目标分割子网络确定影像分割网络;上述公共分割网络用于对医学影像与其他影像中相关的任务进行分割;采用影像分割网络对医学影像进行分割,确定医学影像的目标分割结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对交互式文本进行编码处理,确定编码文本;上述编码文本中包括目标分割任务;将编码文本在预设的多个路由模块中进行分割子网络选择处理,确定与目标分割任务匹配的目标分割子网络;各路由模块中均包括至少一个候选分割子网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将编码文本输入至各路由模块中进行路径选择处理,确定在各路由模块中选择的候选分割子网络;将在各路由模块中选择的候选分割子网络确定为目标分割子网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将在各路由模块中选择的候选分割子网络按照相应的路由模块之间的连接关系进行连接,获得目标分割子网络。
在一个实施例中,上述公共分割网络包括多个下采样模块,各下采样模块用于对医学影像进行不同分辨率的下采样处理;上述目标分割子网络包括多个分割子网络,各分割子网络用于对医学影像进行不同分辨率的上采样处理。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将公共分割网络的各下采样模块分别和目标分割子网络中相应的分割子网络进行连接,获得影像分割网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
采用语言模型对交互式文本进行编码处理,确定编码文本。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
采用影像分割网络对医学影像进行分割,确定医学影像的初始分割结果;若初始分割结果不满足分割需求,则获取新的交互式文本;上述新的交互式文本为针对初始分割结果中不满足分割需求的局部分割结果或整体分割结果所设定的文本;返回执行上述根据交互式文本确定与目标分割任务匹配的目标分割子网络的步骤,直至新的初始分割结果满足分割需求,获得目标分割结果。
需要说明的是,本申请所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经过各方充分授权的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种影像分割方法,其特征在于,所述方法包括:
获取输入的交互式文本以及医学影像;所述交互式文本用于指示对所述医学影像所要执行的目标分割任务;
根据所述交互式文本确定与所述目标分割任务匹配的目标分割子网络;
根据预设的公共分割网络和所述目标分割子网络确定影像分割网络;所述公共分割网络用于对所述医学影像与其他影像中相关的任务进行分割;
采用所述影像分割网络对所述医学影像进行分割,确定所述医学影像的目标分割结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述交互式文本确定与所述目标分割任务匹配的目标分割子网络,包括:
对所述交互式文本进行编码处理,确定编码文本;所述编码文本中包括所述目标分割任务;
将所述编码文本在预设的多个路由模块中进行分割子网络选择处理,确定与所述目标分割任务匹配的目标分割子网络;各所述路由模块中均包括至少一个候选分割子网络。
3.根据权利要求2所述的方法,其特征在于,所述将所述编码文本在预设的多个路由模块中进行分割子网络选择处理,确定与所述目标分割任务匹配的目标分割子网络,包括:
将所述编码文本输入至各所述路由模块中进行路径选择处理,确定在各所述路由模块中选择的候选分割子网络;
将在各所述路由模块中选择的候选分割子网络确定为所述目标分割子网络。
4.根据权利要求3所述的方法,其特征在于,所述将在各所述路由模块中选择的候选分割子网络确定为所述目标分割子网络,包括:
将在各所述路由模块中选择的候选分割子网络按照相应的路由模块之间的连接关系进行连接,获得所述目标分割子网络。
5.根据权利要求2-4任一项所述的方法,其特征在于,所述公共分割网络包括多个下采样模块,各所述下采样模块用于对所述医学影像进行不同分辨率的下采样处理;
所述目标分割子网络包括多个分割子网络,各所述分割子网络用于对所述医学影像进行不同分辨率的上采样处理。
6.根据权利要求1所述的方法,其特征在于,所述采用所述影像分割网络对所述医学影像进行分割,确定所述医学影像的目标分割结果,包括:
采用所述影像分割网络对所述医学影像进行分割,确定所述医学影像的初始分割结果;
若所述初始分割结果不满足分割需求,则获取新的交互式文本;所述新的交互式文本为针对所述初始分割结果中不满足分割需求的局部分割结果或整体分割结果所设定的文本;
返回执行所述根据所述交互式文本确定与所述目标分割任务匹配的目标分割子网络的步骤,直至新的初始分割结果满足分割需求,获得所述目标分割结果。
7.一种影像分割装置,其特征在于,所述装置包括:
获取模块,用于获取输入的交互式文本以及医学影像;所述交互式文本用于指示对所述医学影像所要执行的目标分割任务;
分割子网络确定模块,用于根据所述交互式文本确定与所述目标分割任务匹配的目标分割子网络;
影像分割网络确定模块,用于根据预设的公共分割网络和所述目标分割子网络确定影像分割网络;所述公共分割网络用于对所述医学影像与其他影像中相关的任务进行分割;
分割模块,用于采用所述影像分割网络对所述医学影像进行分割,确定所述医学影像的目标分割结果。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310836170.2A CN116883430A (zh) | 2023-07-07 | 2023-07-07 | 影像分割方法、装置、设备、存储介质和程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310836170.2A CN116883430A (zh) | 2023-07-07 | 2023-07-07 | 影像分割方法、装置、设备、存储介质和程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116883430A true CN116883430A (zh) | 2023-10-13 |
Family
ID=88267342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310836170.2A Pending CN116883430A (zh) | 2023-07-07 | 2023-07-07 | 影像分割方法、装置、设备、存储介质和程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883430A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109690554A (zh) * | 2016-07-21 | 2019-04-26 | 西门子保健有限责任公司 | 用于基于人工智能的医学图像分割的方法和系统 |
| CN115104124A (zh) * | 2019-12-16 | 2022-09-23 | 瓦里安医疗系统国际股份公司 | 用于利用多个解剖结构分割模型在医学成像中进行自动分割的系统和方法 |
-
2023
- 2023-07-07 CN CN202310836170.2A patent/CN116883430A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109690554A (zh) * | 2016-07-21 | 2019-04-26 | 西门子保健有限责任公司 | 用于基于人工智能的医学图像分割的方法和系统 |
| CN115104124A (zh) * | 2019-12-16 | 2022-09-23 | 瓦里安医疗系统国际股份公司 | 用于利用多个解剖结构分割模型在医学成像中进行自动分割的系统和方法 |
Non-Patent Citations (1)
| Title |
|---|
| 管子玉;谢飞;任文研;沈雪敏;许鹏飞;王和旭;: "基于多任务学习的口腔白斑与扁平苔藓的分割与识别", 西北大学学报(自然科学版), no. 01, 9 January 2020 (2020-01-09) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114708465B (zh) | 图像分类方法、装置、电子设备与存储介质 | |
| CN115115772B (zh) | 基于三维影像的关键结构重建方法、装置和计算机设备 | |
| CN113313162A (zh) | 一种多尺度特征融合目标检测的方法及系统 | |
| CN112330684B (zh) | 对象分割方法、装置、计算机设备及存储介质 | |
| CN111598111A (zh) | 三维模型生成方法、装置、计算机设备及存储介质 | |
| WO2021179692A1 (zh) | 头部ct图像分割方法、装置、电子设备及存储介质 | |
| CN115457261B (zh) | 医学图像小病灶分割方法、存储介质和电子设备 | |
| CN117953321A (zh) | 缺陷图像生成方法、装置、计算机设备及存储介质 | |
| CN115100185B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN119359850B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| CN117934654B (zh) | 图像生成模型训练、图像生成方法、装置和计算机设备 | |
| CN115797495A (zh) | 一种句子-字符语义空间融合感知的文本生成图像的方法 | |
| CN114627099A (zh) | 图像分割方法、装置、计算机设备、存储介质和程序产品 | |
| KR102128789B1 (ko) | 심층 합성곱 뉴럴 네트워크를 위한 효율적인 팽창 합성곱 기법을 제공하는 방법 및 장치 | |
| CN113610856B (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| CN118397017A (zh) | 颈动脉壁分割方法、装置、计算机设备和存储介质 | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| CN120182612B (zh) | 基于多尺度特征融合的图像语义分割方法、装置及介质 | |
| CN116524070A (zh) | 一种基于文本的场景图片编辑方法及系统 | |
| CN111192320A (zh) | 一种位置信息确定方法、装置、设备和存储介质 | |
| CN113947521A (zh) | 基于深度神经网络的图像分辨率转换方法及装置、终端设备 | |
| CN116883430A (zh) | 影像分割方法、装置、设备、存储介质和程序产品 | |
| CN116977352B (zh) | 斑块分割方法、装置和计算机可读存储介质 | |
| CN116403142B (zh) | 视频处理方法、装置、电子设备及介质 | |
| CN116975651A (zh) | 相似度确定模型处理方法、目标对象搜索方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 200030No. 701 Yuncheng Road, Xuhui District, Shanghai20th, 21st and 22nd floors (nominal floors are 23rd, 25th and 26th) Applicant after: Shanghai United Imaging Intelligent Technology Co., Ltd. Address before: 200232 No. 701, Yunjin Road, Xuhui District, Shanghai 23rd floor, 25th floor, 26th floor Applicant before: SHANGHAI UNITED IMAGING INTELLIGENT MEDICAL TECHNOLOGY Co.,Ltd. Country or region before: China |