CN119206065B - 一种基于超声心动图的右心室三维重建方法及相关装置 - Google Patents
一种基于超声心动图的右心室三维重建方法及相关装置 Download PDFInfo
- Publication number
- CN119206065B CN119206065B CN202411274856.8A CN202411274856A CN119206065B CN 119206065 B CN119206065 B CN 119206065B CN 202411274856 A CN202411274856 A CN 202411274856A CN 119206065 B CN119206065 B CN 119206065B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- voxel
- data
- contour
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Computer Graphics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于超声心动图的右心室三维重建方法及相关装置,涉及深度学习和三维重建领域,方法包括:获取超声心动图中心脏右心室的轮廓标注数据;根据轮廓标注数据在三维体素空间生成轮廓点体素数据和三维轮廓点的密集凸包体素数据;将轮廓点体素数据和密集凸包体素数据输入到训练后的全卷积神经网络模型中,得出心脏右心室的三维体素模型。本发明可基于超声心动图准确快捷的构建右心室三维模型。
Description
技术领域
本申请涉及深度学习和三维重建领域,特别是涉及一种基于超声心动图的右心室三维重建方法、装置、设备、介质及产品。
背景技术
超声心动图具有实时性高,对人体无害,成本低,便携性高等优点,是心血管疾病最常见的诊断手段。利用超声心动图重建心脏心室的三维模型,一方面可以低成本且便捷地帮助重现心室的三维模型辅助手术,同时可以帮助进行心室疾病和心功能指标的检测,比如,帮助测量在评估心脏功能时最常见的参数:射血分数(EF)。在计算EF值时,需要测量心室在收缩末期以及收缩末期的容积。然而,由于右心室的形状不规则,其容积通常很难被直接测量。因此,利用超声图像右心室轮廓进行三维重建对测量心功能三维指标和重现三维模型辅助手术都具有重要意义。
超声心动图数据具有图像截面平行以及稀疏的数据特点。超声心动图是医生手持探头在病人胸腔处不同位置和角度对心脏探测的剖面图,因此超声心动图图像的剖面图首先是几何关系随机的非平行截面数据,另外鉴于肋骨遮挡等条件限制,超声心动图图像的截面一般较为稀疏。因此,基于超声心动图轮廓的右心室三维重建具有较大的难度。
目前利用超声心动图进行右心室三维重建过程主要由基于知识方法(KBR)完成。医生需要在超声心动图上标记出代表右心室各个解剖学结构的关键点坐标值,然后KBR算法根据解剖学结构关键点对一个模板模型变形进行三维重建。但是这样的过程费时、费力,需要操作人员具有一定的专业知识且准确率不可控。目前还没有一种能够快速且准确地在超声的轮廓图像上进行三维重建的自动化方法。
人工智能的发展同时推动着计算机视觉应用的发展,利用深度学习解决三维重建的问题,目前最常见的方法是利用深度学习模型进行多视角三维重建。然而在超声心动图上利用标记轮廓进行三维重建,由于超声心动图的数据特点,无法直接利用多视角三维重建模型。多视角三维重建要求输入一物体在不同视角下的图像对物体进行三维重建,显然超声心动图的轮廓数据不满足多视角重建的输入要求,因此为了利用深度学习强大的三维重建能力需要设计全新的适应超声心动图轮廓右心室三维重建的算法框架。
发明内容
本申请的目的是提供一种基于超声心动图的右心室三维重建方法及相关装置,可基于超声心动图准确快捷的构建右心室三维模型。
为实现上述目的,本申请提供了如下方案:
第一方面,本申请提供了一种基于超声心动图的右心室三维重建方法,包括:
获取超声心动图中心脏右心室的轮廓标注数据;
根据所述轮廓标注数据在三维体素空间生成轮廓点体素数据和三维轮廓点的密集凸包体素数据;
将所述轮廓点体素数据和所述密集凸包体素数据输入到训练后的全卷积神经网络模型中,得出心脏右心室的三维体素模型。
第二方面,本申请提供了一种基于超声心动图的右心室三维重建装置,包括:
数据获取单元,用于获取超声心动图中心脏右心室的轮廓标注数据;
三维体素数据生成单元,用于根据所述轮廓标注数据在三维体素空间生成轮廓点体素数据和三维轮廓点的密集凸包体素数据;
三维重建单元,用于将所述轮廓点体素数据和所述密集凸包体素数据输入到训练后的全卷积神经网络模型中,得出心脏右心室的三维体素模型。
第三方面,本申请提供了一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现所述的基于超声心动图的右心室三维重建方法。
第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的基于超声心动图的右心室三维重建方法。
第五方面,本申请提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现所述的基于超声心动图的右心室三维重建方法。
根据本申请提供的具体实施例,本申请公开了以下技术效果:
本申请提供了一种基于超声心动图的右心室三维重建方法及相关装置,根据轮廓标注数据在三维体素空间生成轮廓点体素数据和三维轮廓点的密集凸包体素数据,将轮廓点体素数据和密集凸包体素数据输入到训练后的全卷积神经网络模型中,得出心脏右心室的三维体素模型。其中,针对心超图像的特点使用双通道数据采样构造体素数据,因而可以向全卷积神经网络模型中输入任何截面数量和截面几何关系的超声心动图数据;对于稀疏的超声心动图数据算法仍然保有良好的鲁棒性,仍然可以保证较高的算法精度。在实际应用中,本发明的三维重建自动化方案具有快速、准确的优点,能够大幅度减少手动计算的工作量和时间,能够准确快捷的构建出右心室三维模型。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例中一种基于超声心动图的右心室三维重建方法的应用环境图;
图2为本申请一实施例提供的一种基于超声心动图的右心室三维重建方法的流程示意图;
图3为本申请一实施例提供的全卷积神经网络模型的一种示例结构示意图;
图4为本申请一实施例提供的全卷积神经网络模型的右心室三维预测结构与右心室三维真实结构对比示意图;
图5为本申请一实施例提供的一种基于超声心动图的右心室三维重建装置的功能模块示意图;
图6为本申请一实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请实施例提供的基于超声心动图的右心室三维重建方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以单独设置,也可以集成在服务器104上,也可以放在云上或其他服务器上。终端102可以将超声心动图中心脏右心室的轮廓标注数据向服务器104发送,服务器104接收到超声心动图中心脏右心室的轮廓标注数据后,对于超声心动图中心脏右心室的轮廓标注数据,服务器104根据所述轮廓标注数据在三维体素空间生成轮廓点体素数据和三维轮廓点的密集凸包体素数据;
将所述轮廓点体素数据和所述密集凸包体素数据输入到训练后的全卷积神经网络模型中,得出心脏右心室的三维体素模型。服务器104可以将得到的心脏右心室的三维体素模型向终端102进行反馈。此外,在一些实施例中,基于超声心动图的右心室三维重建方法也可以单独由服务器104或者终端102实现,如可以由终端102直接针对超声心动图中心脏右心室的轮廓标注数据进行心脏右心室的三维重建,也可以由服务器104从数据存储系统中获取超声心动图中心脏右心室的轮廓标注数据,并针对超声心动图中心脏右心室的轮廓标注数据进行心脏右心室的三维重建。
其中,终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现,还可以是云服务器。
在一个示例性的实施例中,如图2所示,提供了一种基于超声心动图的右心室三维重建方法,该方法由计算机设备执行,具体可以由终端或服务器等计算机设备单独执行,也可以由终端和服务器共同执行,在本申请实施例中,以该方法应用于图1中的服务器104为例进行说明,包括以下步骤201至步骤203。
步骤201,获取超声心动图中心脏右心室的轮廓标注数据。
超声心动图的轮廓标注数据包括心室的超声心动图数据和在该超声心动图数据中标记出的心室的表面轮廓,其中心室轮廓是在超声心动图中手动标记的心室轮廓线。
在该步骤中,还可以获取超声心动图采集设备的三维参数,包括3D变换参数和校准参数。
步骤202,根据所述轮廓标注数据在三维体素空间生成轮廓点体素数据(对应图3中的contours)和三维轮廓点的密集凸包体素数据(对应图3中的convex hull)。
步骤203,将所述轮廓点体素数据和所述密集凸包体素数据输入到训练后的全卷积神经网络模型(对应图3中的深度学习网络)中,得出心脏右心室的三维体素模型。
实施上述的步骤201至步骤203,提供了一套在心脏超声图像的基础上,直接获得右心室三维模型的自动化方法框架。与现有方法(比如:基于知识的重建方法KBR)不同,本发明使用双通道数据采样和基于深度神经网络技术,可以输入任何截面数量和截面几何关系的超声心动图数据;对于稀疏的超声心动图数据算法仍然保有良好的鲁棒性,仍然可以保证较高的算法精度。在实际应用中,这种自动化方案具有快速、准确的优点,能够大幅度减少手动计算的工作量和时间,大大提高三维重建的效率。
本申请另一个示例性的实施例中,在超声心动图的轮廓上首先进行点采样,然后对这些采样的二维点利用超声采集设备的三维参数进行三维空间矩阵变换,得到这些二维点在三维空间中的点集。也就是说,从超声心动图轮廓上采样一组点,以使这些点在轮廓上均匀分布。这样得到了一个二维点的坐标集合。接下来,对这些二维点坐标进行维度扩充,将其转换为三维点的坐标集合。为了将二维点坐标映射到三维空间中,利用超声采集设备中的信息生成三维变换矩阵,之后将三维点坐标与三维空间矩阵相乘,得到轮廓采样点的三维坐标集合,即得到了三维轮廓采样点集合。在双通道处理中,采用两个通道来处理三维轮廓点数据。第一个通道对三维轮廓点进行点采样。具体而言,以原点为中心,在一个三维体素空间中创建一个体素网格,例如网格的大小为128*128*128,并且每个体素的边长为固定值(例如0.016)。然后,在这个体素网格中对三维轮廓采样点进行采样(三维轮廓采样点对应的体素值为1,非三维轮廓采样点的体素值为0),得到一个表示三维轮廓采样点分布的体素数据,即轮廓点体素数据。同时,另一个通道对三维轮廓采样点进行凸包求解,并在同样的三维体素空间中进行密集凸包采样(三维密集凸包在体素空间中的值表示为为1(凸包表面和内部点的体素值为1),非密集凸包点的体素值为0)。具体而言,对三维轮廓采样点进行凸包操作(采用现有的凸包算法实现的,例如quickhull凸包算法),得到表示三维轮廓采样点凸包形状的体素数据,即密集凸包体素数据,其大小与体素网格的大小相同为128*128*128。最后,通过融合双通道的数据,得到后续步骤中神经网络模型所需的输入数据,大小为2*128*128*128。因此,本发明中,步骤202,根据所述轮廓标注数据在三维体素空间生成轮廓点体素数据和三维轮廓点的密集凸包体素数据,具体包括:
(1)在超声心动图的心脏右心室标记轮廓上进行均匀分布的点采样,得到轮廓采样点。
(2)利用超声心动图数据的3D变换参数和校准参数对所述轮廓采样点进行三维空间矩阵变换,得到三维轮廓采样点。
为了保持一致性,对三维轮廓采样点的坐标进行归一化处理,确保其坐标范围在一个固定的范围(-1到1)内。因此,得出三维轮廓采样点后,还包括,进一步对三维轮廓采样点进行归一化处理,得到归一化的三维轮廓采样点,并记录归一化的放缩比率。
(3)在三维体素空间中表示所述三维轮廓采样点,得到轮廓点体素数据。
(4)根据所述三维轮廓采样点确定所述三维轮廓点的密集凸包。
(5)将所述三维轮廓点的密集凸包在所述三维体素空间中进行体素化,得到所述密集凸包体素数据。
本申请另一个示例性的实施例中,本发明设计的全卷积神经网络模型具有编码器-解码器结构,编码器与解码器一起组成一个编码解码结构的U型网络。编码器负责对输入数据进行特征提取和下采样处理;解码器则负责将编码器提取的特征图恢复到原始分辨率,并生成最终的三维体素重建结果。编码器与解码器通过跳跃连接(skip connections)相连进行特征融合。全卷积神经网络模型的输入三维数据尺寸为C*D*H*W的体素数据,C表示通道数,D表示深度,H表示高度,W表示宽度;全卷积神经网络模型中解码器输出大小为D*H*W的体素数据。
如图3所示,所述全卷积神经网络模型包括编码器和解码器。
所述编码器包括输入卷积模块、若干个编码卷积模块和若干个下采样模块;所述解码器包括若干个解码卷积模块、若干个跳跃连接模块、若干个上采样模块和输出卷积模块。图3中,给出了一种示例,编码卷积模块、下采样模块、解码卷积模块、跳跃连接模块和上采样模块均采用4个,当然还可以根据需求选择其他数值,这里不做任何限定。
按照编码器至解码器的数据流方向,定义若干个编码卷积模块为第一编码卷积模块、...、第n编码卷积模块、...、第N编码卷积模块,若干个下采样模块为第一下采样模块、...、第n下采样模块、...、第N下采样模块。
按照编码器至解码器的数据流反方向,定义若干个解码卷积模块为第一解码卷积模块、...、第n解码卷积模块、...、第N解码卷积模块,若干个跳跃连接模块为第一跳跃连接模块、...、第n跳跃连接模块、...、第N跳跃连接模块,若干个上采样模块为第一上采样模块、...、第n上采样模块、...、第N上采样模块。
所述输入卷积模块的输入为所述轮廓点体素数据和所述密集凸包体素数据;所述输入卷积模块的输出连接第一编码卷积模块的输入和第一跳跃连接模块的输入。
所述第一编码卷积模块的输出连接所述第一下采样模块的输入,所述第一下采样模块的输出分别连接第二编码卷积模块的输入和第二跳跃连接模块的输入。
所述第n编码卷积模块的输出连接所述第n下采样模块的输入,所述第n下采样模块的输出分别连接第n+1编码卷积模块的输入和第n+1跳跃连接模块的输入;n=2,...,N-1。
所述第N编码卷积模块的输出连接所述第N下采样模块的输入;所述第N下采样模块的输出连接所述第N解码卷积模块的输入。
第N解码卷积模块的输出连接第N上采样模块的输入,第N上采样模块的输出连接第N跳跃连接模块的输入,第N跳跃连接模块的输出连接第N-1解码卷积模块的输入。
第n解码卷积模块的输出连接第n上采样模块的输入,第n上采样模块的输出连接第n跳跃连接模块的输入,第n跳跃连接模块的输出连接第n-1解码卷积模块的输入。
第一解码卷积模块的输出连接第一上采样模块的输入,第一上采样模块的输出连接第一跳跃连接模块的输入,第一跳跃连接模块的输出连接输出卷积模块的输入,输出卷积模块的输出为心脏右心室的三维体素模型。
本申请另一个示例性的实施例中,如图3所示,在执行步骤203“将所述轮廓点体素数据和所述密集凸包体素数据输入到训练后的全卷积神经网络模型中,得出心脏右心室的三维体素模型”之后,还包括:
对所述心脏右心室的三维体素模型按照所述归一化的放缩比率进行还原;计算还原后的三维体素模型的体积;根据所述还原后的三维体素模型的舒张和收缩末期的体积计算射血分数。
在预测结果上进行简单的比例还原后处理操作,得到对应右心室在特定循环周期下的容积。最后选取其右心室舒张末期和收缩末期的心室容积结果,计算其射血分数指标。
本申请另一个示例性的实施例中,在执行步骤203“将所述轮廓点体素数据和所述密集凸包体素数据输入到训练后的全卷积神经网络模型”之前,还包括:对所述全卷积神经网络模型进行训练,配置好合适的软硬件环境对全卷积神经网络模型进行训练。训练时优化器使用Adam进行迭代,初始学习率为1e-6,学习率调整策略采用余弦退火策略,batchsize为24。使用二类别的交叉熵和Dice系数的混合函数作为损失函数进行训练。
具体训练过程为:
(a)获取超声心动图中心脏右心室的轮廓标注样本数据。
获取多个心脏病人心脏不同周期的超声心动图图像以及对应的右心室轮廓标注、超声心动图数据的3D变换参数和校准参数。
(b)根据所述轮廓标注样本数据在三维体素空间生成轮廓点体素样本数据和三维轮廓点的密集凸包体素样本数据。
(c)将所述轮廓点体素样本数据和所述密集凸包体素样本数据输入到所述全卷积神经网络模型中,直至模型的损失误差收敛或训练迭代次数达到预设迭代次数,得出所述训练后的全卷积神经网络模型。
训练完成后,进一步利用测试集进行模型效果的验证,将测试集中的轮廓点体素样本数据和密集凸包体素样本数据输入到全卷积神经网络模型,得出了测试样本预测出的右心室三维体素模型,之后按照归一化放缩率进行还原后,与真实的右心室三维模型进行对比,对比结果如图4所示,可以看到本发明能够基于超声心动图轮廓对右心室三维模型进行准确而高效的预测。
本实施例中,针对心超图像的特点使用双通道数据采样构造体素数据,然后通过深度学习网络在三维体素空间中进行预测,最后得到三维数据的右心室模型。首先,根据标注了右心室轮廓的超声心动图图像生成双通道的点采样和密集凸包采样体素数据作为神经网络的输入;然后,采用基于编码-解码的全卷积神经网络进行三维右心室模型的重建;接着在预测结果上进行一系列的后处理测量操作,最后得到右心室三维模型和心功能三维指标数据。
本申请还提供一种应用场景,该应用场景应用上述的基于超声心动图的右心室三维重建方法。具体地:本实施例提供的基于超声心动图的右心室三维重建方法,可以应用中在右心室三维重建场景中。右心室三维重建场景包括数据获取环节和三维重建环节;超声心动图轮廓标注数据从数据获取环节进入三维重建环节。本实施例提供的基于超声心动图的右心室三维重建方法中获取超声心动图中心脏右心室的轮廓标注数据属于数据获取环节,根据轮廓标注数据在三维体素空间生成轮廓点体素数据和三维轮廓点的密集凸包体素数据,将轮廓点体素数据和密集凸包体素数据输入到训练后的全卷积神经网络模型中,得出心脏右心室的三维体素模型属于三维重建环节。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的基于超声心动图的右心室三维重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个基于超声心动图的右心室三维重建装置实施例中的具体限定可以参见上文中对于基于超声心动图的右心室三维重建方法的限定,在此不再赘述。
在一个示例性的实施例中,如图5所示,提供了一种基于超声心动图的右心室三维重建装置包括:
数据获取单元M1,用于获取超声心动图中心脏右心室的轮廓标注数据。
三维体素数据生成单元M2,用于根据所述轮廓标注数据在三维体素空间生成轮廓点体素数据和三维轮廓点的密集凸包体素数据。
三维重建单元M3,用于将所述轮廓点体素数据和所述密集凸包体素数据输入到训练后的全卷积神经网络模型中,得出心脏右心室的三维体素模型。
在一示例性的实施例中,提供了一种计算机设备,该计算机设备可以是服务器或者终端,其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频标签处理数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于超声心动图的右心室三维重建方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个示例性的实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个示例性的实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个示例性的实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive RandomAccess Memory,MRAM)、铁电存储器(Ferroelectric RandomAccess Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccess Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static RandomAccess Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccessMemory,DRAM)等。
本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种基于超声心动图的右心室三维重建方法,其特征在于,所述基于超声心动图的右心室三维重建方法包括:
获取超声心动图中心脏右心室的轮廓标注数据;
根据所述轮廓标注数据在三维体素空间生成轮廓点体素数据和三维轮廓点的密集凸包体素数据;
将所述轮廓点体素数据和所述密集凸包体素数据输入到训练后的全卷积神经网络模型中,得出心脏右心室的三维体素模型;
其中,根据所述轮廓标注数据在三维体素空间生成轮廓点体素数据和三维轮廓点的密集凸包体素数据,具体包括:
在超声心动图的心脏右心室标记轮廓上进行均匀分布的点采样,得到轮廓采样点;
利用超声心动图数据的3D变换参数和校准参数对所述轮廓采样点进行三维空间矩阵变换,得到三维轮廓采样点;
在三维体素空间中表示所述三维轮廓采样点,得到轮廓点体素数据;
根据所述三维轮廓采样点确定所述三维轮廓点的密集凸包;
将所述三维轮廓点的密集凸包在所述三维体素空间中进行体素化,得到所述密集凸包体素数据。
2.根据权利要求1所述的基于超声心动图的右心室三维重建方法,其特征在于,在执行步骤“在三维体素空间中表示所述三维轮廓采样点,得到轮廓点体素数据”之前,所述基于超声心动图的右心室三维重建方法还包括:
对所述三维轮廓采样点进行归一化处理,得到归一化的三维轮廓采样点,并记录归一化的放缩比率。
3.根据权利要求1所述的基于超声心动图的右心室三维重建方法,其特征在于,所述全卷积神经网络模型包括编码器和解码器;
所述编码器包括输入卷积模块、若干个编码卷积模块和若干个下采样模块;所述解码器包括若干个解码卷积模块、若干个跳跃连接模块、若干个上采样模块和输出卷积模块;
按照编码器至解码器的数据流方向,定义若干个编码卷积模块为第一编码卷积模块、...、第n编码卷积模块、...、第N编码卷积模块,若干个下采样模块为第一下采样模块、...、第n下采样模块、...、第N下采样模块;
按照编码器至解码器的数据流反方向,定义若干个解码卷积模块为第一解码卷积模块、...、第n解码卷积模块、...、第N解码卷积模块,若干个跳跃连接模块为第一跳跃连接模块、...、第n跳跃连接模块、...、第N跳跃连接模块,若干个上采样模块为第一上采样模块、...、第n上采样模块、...、第N上采样模块;
所述输入卷积模块的输入为所述轮廓点体素数据和所述密集凸包体素数据;所述输入卷积模块的输出连接第一编码卷积模块的输入和第一跳跃连接模块的输入;
所述第一编码卷积模块的输出连接所述第一下采样模块的输入,所述第一下采样模块的输出分别连接第二编码卷积模块的输入和第二跳跃连接模块的输入;
所述第n编码卷积模块的输出连接所述第n下采样模块的输入,所述第n下采样模块的输出分别连接第n+1编码卷积模块的输入和第n+1跳跃连接模块的输入;n=2,...,N-1;
所述第N编码卷积模块的输出连接所述第N下采样模块的输入;所述第N下采样模块的输出连接所述第N解码卷积模块的输入;
第N解码卷积模块的输出连接第N上采样模块的输入,第N上采样模块的输出连接第N跳跃连接模块的输入,第N跳跃连接模块的输出连接第N-1解码卷积模块的输入;
第n解码卷积模块的输出连接第n上采样模块的输入,第n上采样模块的输出连接第n跳跃连接模块的输入,第n跳跃连接模块的输出连接第n-1解码卷积模块的输入;
第一解码卷积模块的输出连接第一上采样模块的输入,第一上采样模块的输出连接第一跳跃连接模块的输入,第一跳跃连接模块的输出连接输出卷积模块的输入,输出卷积模块的输出为心脏右心室的三维体素模型。
4.根据权利要求2所述的基于超声心动图的右心室三维重建方法,其特征在于,在执行步骤“将所述轮廓点体素数据和所述密集凸包体素数据输入到训练后的全卷积神经网络模型中,得出心脏右心室的三维体素模型”之后,所述基于超声心动图的右心室三维重建方法还包括:
对所述心脏右心室的三维体素模型按照所述归一化的放缩比率进行还原;
计算还原后的三维体素模型的体积;
根据所述还原后的三维体素模型的舒张和收缩末期的体积计算射血分数。
5.根据权利要求1所述的基于超声心动图的右心室三维重建方法,其特征在于,在执行步骤“将所述轮廓点体素数据和所述密集凸包体素数据输入到训练后的全卷积神经网络模型”之前,还包括:对所述全卷积神经网络模型进行训练,具体包括:
获取超声心动图中心脏右心室的轮廓标注样本数据;
根据所述轮廓标注样本数据在三维体素空间生成轮廓点体素样本数据和三维轮廓点的密集凸包体素样本数据;
将所述轮廓点体素样本数据和所述密集凸包体素样本数据输入到所述全卷积神经网络模型中,直至模型的损失误差收敛或训练迭代次数达到预设迭代次数,得出所述训练后的全卷积神经网络模型。
6.一种基于超声心动图的右心室三维重建装置,其特征在于,所述基于超声心动图的右心室三维重建装置包括:
数据获取单元,用于获取超声心动图中心脏右心室的轮廓标注数据;
三维体素数据生成单元,用于根据所述轮廓标注数据在三维体素空间生成轮廓点体素数据和三维轮廓点的密集凸包体素数据;
其中,根据所述轮廓标注数据在三维体素空间生成轮廓点体素数据和三维轮廓点的密集凸包体素数据,具体包括:
在超声心动图的心脏右心室标记轮廓上进行均匀分布的点采样,得到轮廓采样点;
利用超声心动图数据的3D变换参数和校准参数对所述轮廓采样点进行三维空间矩阵变换,得到三维轮廓采样点;
在三维体素空间中表示所述三维轮廓采样点,得到轮廓点体素数据;
根据所述三维轮廓采样点确定所述三维轮廓点的密集凸包;
将所述三维轮廓点的密集凸包在所述三维体素空间中进行体素化,得到所述密集凸包体素数据;
三维重建单元,用于将所述轮廓点体素数据和所述密集凸包体素数据输入到训练后的全卷积神经网络模型中,得出心脏右心室的三维体素模型。
7.一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-5中任一项所述的基于超声心动图的右心室三维重建方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-5中任一项所述的基于超声心动图的右心室三维重建方法。
9.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-5中任一项所述的基于超声心动图的右心室三维重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202411274856.8A CN119206065B (zh) | 2024-09-11 | 2024-09-11 | 一种基于超声心动图的右心室三维重建方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202411274856.8A CN119206065B (zh) | 2024-09-11 | 2024-09-11 | 一种基于超声心动图的右心室三维重建方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN119206065A CN119206065A (zh) | 2024-12-27 |
| CN119206065B true CN119206065B (zh) | 2025-07-04 |
Family
ID=94050321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202411274856.8A Active CN119206065B (zh) | 2024-09-11 | 2024-09-11 | 一种基于超声心动图的右心室三维重建方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN119206065B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216956A (zh) * | 2007-12-29 | 2008-07-09 | 浙江工业大学 | 基于nurbs的心脏三维表示方法 |
| CN103765159A (zh) * | 2011-09-02 | 2014-04-30 | 皇家飞利浦有限公司 | 使用概率体素绘图的快速密集点云成像 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5347003B2 (ja) * | 2011-09-30 | 2013-11-20 | 富士フイルム株式会社 | 医用画像処理装置および方法ならびにプログラム |
| US9875581B2 (en) * | 2014-10-31 | 2018-01-23 | The Regents Of The University Of California | Automated 3D reconstruction of the cardiac chambers from MRI or ultrasound |
| US12133762B2 (en) * | 2021-05-05 | 2024-11-05 | Board Of Trustees Of Southern Illinois University | Three-dimensional modeling and assessment of cardiac tissue |
-
2024
- 2024-09-11 CN CN202411274856.8A patent/CN119206065B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216956A (zh) * | 2007-12-29 | 2008-07-09 | 浙江工业大学 | 基于nurbs的心脏三维表示方法 |
| CN103765159A (zh) * | 2011-09-02 | 2014-04-30 | 皇家飞利浦有限公司 | 使用概率体素绘图的快速密集点云成像 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN119206065A (zh) | 2024-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20100130878A1 (en) | Systems, apparatus and processes for automated blood flow assessment of vasculature | |
| CN109727197B (zh) | 一种医学图像超分辨率重建方法 | |
| WO2023044605A1 (zh) | 极端环境下脑结构的三维重建方法、装置及可读存储介质 | |
| CN116630531A (zh) | 一种基于点云上采样的肋骨三维重建方法及系统 | |
| CN117710514A (zh) | 动态磁共振成像方法、模型训练方法、装置、设备及介质 | |
| CN118037615A (zh) | 一种肿瘤分割引导的磁共振图像翻译方法、系统、设备及介质 | |
| CN118710812A (zh) | 一种基于面绘制的神经外科图像三维重建方法 | |
| CN119206065B (zh) | 一种基于超声心动图的右心室三维重建方法及相关装置 | |
| CN119991777B (zh) | 一种标准化脑血管特征提取方法、设备及介质 | |
| WO2022163513A1 (ja) | 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置 | |
| Zhu et al. | Effects of differential geometry parameters on grid generation and segmentation of mri brain image | |
| CN118396922B (zh) | 医学图像生成方法、装置、计算机设备和存储介质 | |
| CN115953602A (zh) | 图像匹配方法、装置和位姿获取模型训练方法、装置 | |
| CN118247458A (zh) | 一种基于参数化模型的轻量化手部网格重建方法和系统 | |
| CN118781259A (zh) | 基于单视点x光片的三维ct重建方法 | |
| CN114820566A (zh) | 基于医学影像的微循环阻力系数测量方法和装置 | |
| CN119313845B (zh) | 心脏结构重建神经网络训练、心脏结构重建方法及产品 | |
| CN119131298B (zh) | 基于超声心动图的心脏腔室三维重建方法及相关装置 | |
| CN119257634B (zh) | 一种基于数据降维与单应变换的超声探头标定方法及装置 | |
| CN114814687B (zh) | 磁共振成像方法、装置、计算机设备、介质和程序产品 | |
| CN115937280B (zh) | 图像匹配方法、装置和计算机设备 | |
| Khaleel et al. | 3D surface reconstruction of coronary artery trees for vessel locations’ detection | |
| CN120278965A (zh) | 基于语义与拓扑一致性的超声图像质量评价方法 | |
| JP2025137369A (ja) | 4d呼吸運動合成用の画像レジストレーション方法及びシステム | |
| CN120918666A (zh) | 心率分析方法、装置、设备、存储介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |