CN111166388A - 基于二维超声影像认知构建三维模型的方法及装置 - Google Patents

Abstract

本发明实施例提供了一种基于二维超声影像认知构建三维模型的方法及装置，方法包括：通过若干个切面采集标的物的二维超声波影像；获取超声波二维影像中包含的关键解剖学结构点的点云数据；通过解剖学结构点的识别和标注，获取包含解剖结构点位置，姿态，切面信息，和解剖结构信息的点云数据。依托有关标的物结构的知识库，以及点云数据，认知解剖学结构点相互间的位置和姿态。形成三维空间的点云，构建标的物初始三维模型。并通过多个二维切面与三维初始模型交互切口的匹配和拟合，获取精准的三维模型。应用本发明实施例，可以构建三维模型。

Description

基于二维超声影像认知构建三维模型的方法及装置

技术领域

本发明涉及：新一代信息技术，生物工程，大数据，智能制造和人工自能领域，具体涉及一种基于二维超声影像认知构建形状发生不规则变化标的物三维模型的方法。

背景技术

超声波设备是广泛应用的医疗检测设备之一。

现有技术中，申请号为201811041673.6的发明专利申请公开了一种基于三维轮廓测量的三维超声成像系统，包括超声探头、超声设备、超声探头三维测量模块和PC机，其中，超声探头三维测量模块包括两台相机，PC机包括超声图像三维重建模块和时间同步模块。以超声图像为基础，采用三维轮廓测量技术获得每帧二维超声图像在空间中的三维位置信息，依据每帧二维超声图像的三维位置信息，对二维超声图像进行三维重建。，公开了一种超声成像系统，该系统使用单一采集模式来以高采集帧率采集回波数据帧。三个图像处理器使用回波数据从相同的回波数据产生解剖图像、机械功能图像和血液动力学图像。显示器同时显示解剖图像、机械功能图像和血液动力学图像。

但是，现有技术中是通过对二维超声波影像边缘的追溯，并根据设定的算法构建三维的模型。然而，有些器官发生病变后，其病变后的形状不规则，并且伴随着病情的发展发生进一步的不规则变化。比如：心脏的右心室异常肥大，如果右心室的边缘超过了二维心脏超声波设备的扫描范围后，传统的三维模型的构建方法由于无法追溯边缘，会将所追溯到的边缘与模型中假设的心脏的形状进行匹配，进而推测出心脏的三维模型；类似的，对于其他器官也是按照上述方法操作。但是，器官病变之后的形状是无法预知的。也就是说：对于变形的趋势可以预测的标的物，检测的结果比较理想。对于形状发生不可预测变化标的物，标的物的实际形状与设定的模型的吻合性降低。尤其是在“标的物”超出超声波“扇面”的覆盖范围，影像的边缘模糊或者缺失的情况下，检测结果的器官的形状其实与真实的器官的形状可能存在很大的差异。

因此，现有技术存在构建的三维模型准确度较差的技术问题。

发明内容

本发明所要解决的技术问题在于如何提供一种基于二维超声影像认知构建三维模型的方法及装置以提高三维超声模型的准确度。

本发明通过以下技术手段实现解决上述技术问题的：

本发明实施例提供了一种基于二维超声影像认知构建三维模型的方法，所述方法包括：

采集标的物的若干个选定切面的二维超声波影像，其中，所述标的物包括心脏；

获取所述超声波二维影像解剖结构的点云数据，其中，所述点云数据包括：图像上该点的位置坐标值、姿态，该点所在的切面

获取解剖学结构点的标识，将解剖学属性添加到点云数据，其中，所述解剖学结构点是三维模型的骨架，是构建三维模型边缘的关键点，且待建模标的物的解剖结构点包括：心尖、心室隔、三尖瓣以及心内膜中的一种或组合；

根据点云数据以及预先构建的标的物构造原理的知识库，认知解剖学结构点之间的相对位置和姿态，形成三维空间的点云，构建初始三维模型；

根据点云数据以及预先构建的标的物构造原理的知识库，认知解剖学结构点之间的相对位置和姿态，形成三维空间的点云，构建初始三维模型。

应用本发明实施例，通过医学影像的认知获取不规则变化标的物精准的三维模型；解剖学结构点在不同切面上的“点云数据”，认知解剖学结构点之间的相对位置和姿态，形成“医学点云”的方法，构建出“不规则变化标的物”精准的三维模型，相对于现有技术，不依赖于影像边缘的追溯和形状的假设，解决了传统的心脏超声技术，由于二维影像边缘模糊，或者缺失，难以构建精准三维模型的难题。

可选的，所述切面包括：超声常规的切面、辅助切面。

可选的，所述获取解剖学结构点的标识，将解剖学属性添加到点云数据，包括：

通过解剖学结构点的标识，将解剖结构特征参数添加到点云数据，获取包含解剖学结构点位置，姿态，切面特征，解剖学特征的点云数据。

可选的，所述将解剖结构特征参数添加到点云数据，包括：

人工识别出解剖学结构点对应的解剖结构属性，将解剖结构属性作为解剖学结构点的属性标签并添加到点云数据。

可选的，所述根据二维影像对初始的三维初始模型进行校准，进而得到目标三维模型，包括：

将多个二维影像与三维初始模型切口的完全匹配，校准三维初始模型，获取精准的三维模型。

本发明实施例还提供了一种基于二维超声影像认知构建三维模型的装置，所述装置包括：

采集模块，用于采集标的物的若干个选定切面的二维超声波影像，其中，所述标的物包括心脏；

获取模块，用于获取所述超声波二维影像解剖结构的点云数据，其中，所述点云数据包括：图像上该点的位置坐标值、姿态，该点所在的切面；

获取解剖学结构点的标识，将解剖学属性添加到点云数据，其中，所述解剖学结构点是三维模型的骨架，是构建三维模型边缘的关键点，且待建模标的物的解剖结构点包括：心尖、心室隔、三尖瓣以及心内膜中的一种或组合；

认知模块，用于根据点云数据以及预先构建的标的物构造原理的知识库，认知解剖学结构点之间的相对位置和姿态，形成三维空间的点云，构建初始三维模型；

拟合模块，用于根据二维影像对初始的三维初始模型进行校准，进而得到目标三维模型。

可选的，所述切面包括：超声常规的切面、辅助切面。

可选的，所述获取模块，用于：

通过解剖学结构点的标识，将解剖结构特征参数添加到点云数据，获取包含解剖学结构点位置，姿态，切面特征，解剖学特征的点云数据。

可选的，所述获取模块，用于：

人工识别出解剖学结构点对应的解剖结构属性，将解剖结构属性作为解剖学结构点的属性标签并添加到点云数据。

可选的，所述拟合模块，用于：

将多个二维影像与三维初始模型切口的完全匹配，校准三维初始模型，获取精准的三维模型。

本发明的优点在于：

应用本发明实施例，通过医学影像的认知获取不规则变化标的物精准的三维模型；解剖学结构点在不同切面上的“点云数据”，认知解剖学结构点之间的相对位置和姿态，形成“医学点云”的方法，构建出“不规则变化标的物”精准的三维模型，相对于现有技术，不依赖于影像边缘的追溯和形状的假设，解决了传统的心脏超声技术，由于二维影像边缘模糊，或者缺失，难以构建精准三维模型的难题。

附图说明

图1为本发明实施例提供的一种基于二维超声影像认知构建三维模型的方法的流程示意图；

图2为本发明实施例提供的一种基于二维超声影像认知构建三维模型的原理示意图；

图3为本发明实施例提供的一种基于二维超声影像认知构建三维模型的装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

图1为本发明实施例提供的一种基于二维超声影像认知构建三维模型的方法的流程示意图；图2为本发明实施例提供的一种基于二维超声影像认知构建三维模型的原理示意图；如图1和图2所示，方法包括：

S101：采集标的物在若干个选定切面的二维超声波影像；

S102：获取所述超声波二维影像中包含的点云数据，其中，所述点云数据包括：图像上该点的位置和姿态。

S103：通过解剖学结构点的标识，获取所述超声波二维影像上解剖学结构点的点云数据。该点云数据包含解剖学结构特征参数，其中，所述解剖学结构点是构建三维模型的骨架，是三维模型边缘上的点。关键解剖学结构点包括：心尖、心室隔、三尖瓣以及心内膜等。在不同切面上标识的解剖学结构点是上述解剖结构中的一种或组合；

S104：根据点云数据以及预先构建的标的物构造原理的知识库，认知解剖学结构点之间的相对位置和姿态，形成三维空间的点云，构建初始三维模型。

S105：通过二维影像与三维初始模型的交互切口的完全匹配校准初始三维模型，进而得到精准的三维模型。

示例性的，本发明在形状发生不规则变化标的物(如心脏的右心室)多个切面的影像上标注解剖学结构点，获取点云，构建三维模型，下面以心脏右心室为例对本发明实施例进行说明。

对应于S101步骤，选取右心室的多个切面，所选取的切面之间的延展方向均不同。本发明实施例选择心脏超声常规的切面作为主要切面，如：采集“心尖四腔”，“胸骨旁短轴”，“胸骨旁长轴”切面等若干个个常用切面；以及少量辅助切面，以满足右心室异常变形，或者特殊声窗的需求。在实际应用中，辅助切面的数量可以根据右心室变形程度进行选择。

将平行于正视图的切面作为第一个切面(如：心尖四腔)，还可以将与右心室的短轴切面作为第二个切面，将右心室的长轴切面作为第三个切面，还可以根据患者右心室的实际情况选择其他辅助切面。

对应于S102步骤，通过超声波探头扫描以及位置跟踪获取标的物上的点的位置和姿态。所述点云数据包括：二维图像上该点的位置坐标值、姿态。通常情况下，姿态是指点的方位。在本发明实施例中使用申请号为201710692552.7，名称为二维超声影像序列上的任意点构建点云数据的方法及系统的专利申请中提供的方法，获取所述切面上的图像中包含的各个解剖学结构点对应的点云数据，其具体过程如下：

S1绑定步骤：将二维超声波影像采集探头与探头位姿传感器进行绑定，获取超声波探头的位姿信息；

S2基准点确定步骤：以该二维影像基准点为圆心建立二维坐标系，该二维影像上的每个点都具有在该坐标系内的唯一坐标，根据该二维影像内任意点的坐标以及该二维影像基准点的位姿信息，通过处理器计算出任意一二维影像内的任意一点相对于系统基准点的位姿信息。其中探头位姿传感器是位置跟踪系统的组成部分。位置跟踪系统还包括发射器等组件，发射器所处的位置设置为系统基准点。

S3二维影像采集步骤：通过超声波探头采集目标物体的二维影像；每个二维影像上的任意点都具有不同的位置信息，其中二维影像上任意点的位置信息，可以通过二维影像所建立的二维坐标X轴，Y轴上的像素点确定，该二维影像的原点可以是二维超声波影像采集探头的扫描发射点；

S4位姿信息采集步骤：通过探头位置追踪系统获取超声波探头的位姿信息；

S5探头位姿信息存储步骤：将超声波探头采集的二维影像信息及探头位置追踪系统采集的探头位姿信息进行整合，存储为包含位姿信息的BITMAP格式的二维影像文件；

S6点的位姿信息确定步骤：通过点在二维影像上的位置信息，以及探头的位姿信息，获取二维影像上任意点的位姿信息；

S7点云数据构成步骤：处理器将不同二维影像序列上的任意点的位姿信息进行整合，构成点云数据。通过同样的方法，处理器就可以确定该二维影像上的任何点相对于系统基准点的位姿信息，二维影像序列上的任意点的位姿信息的集合，就构成了点云数据。

不同切面上的解剖学结构点，是标的物上的解剖结构在不同切面上的投影，本步骤中映射到三维空间中的点云数据包括：解剖结构点在三维空间的位置信息(X，Y，Z)，姿态信息(X(X，Y，Z)，Y(X，Y，Z)，Z(X，Y，Z))。

在本步骤中，基于二维超声波影像的采集，以及采集探头位姿的追踪，可以获取所述二维超声波影像上任意点的位姿信息；通过对不同切面二维超声波影像上关键解剖学结构点的识别和标注，获取每一个关键解剖学结构点的“点云数据”，为该“点云数据”增加了“什么样的切面”和“什么样的解剖结构”特征参数。

对应于S103步骤，在各个影像切面上，由医生、影像师(超声科医师)人工识别出解剖学结构。然后，通过标注的方法，将解剖结构属性作为所述解剖学结构点的属性标签，添加到点云数据中，从而获取包含切面特征和解剖结构特征参数的新的“点云数据”。例如，识别出某个解剖学结构点属性为心尖、还是属性为心室隔、还是属性为三尖瓣、还是属性为心内膜。在实际应用中，分别在各个切面上的点云数据进行标注，在针对一个切面上的一个解剖学结构的点云数据进行标注时，可以选择一个以上的点进行标注。另外，切面上应当包括了右心室的完整区域。

需要强调的是，解剖学结构点为解剖学结构上的点。

对应于S104步骤，依托知识库的支持认知解剖学结构点之间的相对位置关系，其中，知识库中包括了形态不规则变化的标的物构造原理的知识、不同解剖结构的逻辑关系，即各个解剖学结构点之间的邻接关系，上下、左右、前后方位关系。因此，可以将多个切面的“点云数据”发送到“知识库”，通过“点云数据”的拟合，认知“解剖学结构点之间的相对位置和姿态，即可以根据点云数据对解剖学结构点之间相对位置进行调节，形成三维空间的“点云”，进而可以得到右心室的三维初始模型。

对应于S105步骤，针对不同角度，不同方位的二维影像与三维初始模型构成的多个交互切口中每一个切口，二维影像中的切口要与三维初始模型的切口需要完全吻合，模型才是正确的，从而起到了反向校准三模模型精准度的作用。

应用本发明实施例，通过医学影像的认知获取不规则变化标的物精准的三维模型；解剖学结构点在不同切面上的“点云数据”，认知解剖学结构点之间的相对位置和姿态，形成“医学点云”的方法，构建出“不规则变化标的物”精准的三维模型，相对于现有技术，不依赖于影像边缘的追溯和形状的假设，解决了传统的心脏超声技术，由于二维影像边缘模糊，或者缺失，难以构建精准三维模型的难题。

实施例2

图3为本发明实施例提供的一种基于二维超声影像认知构建三维模型的装置的结构示意图，如图3所示，所述装置包括：

采集模块301，用于采集标的物的若干个选定切面的二维超声波影像，其中，所述标的物包括心脏；

获取模块302，用于获取所述超声波二维影像解剖结构的点云数据，其中，所述点云数据包括：图像上该点的位置坐标值、姿态，该点所在的切面；

获取解剖学结构点的标识，将解剖学属性添加到点云数据，其中，所述解剖学结构点是三维模型的骨架，是构建三维模型边缘的关键点，且待建模标的物的解剖结构点包括：心尖、心室隔、三尖瓣以及心内膜中的一种或组合；

认知模块303，用于根据点云数据以及预先构建的标的物构造原理的知识库，认知解剖学结构点之间的相对位置和姿态，形成三维空间的点云，构建初始三维模型。

拟合模块304，用于根据二维影像对初始的三维初始模型进行校准，进而得到目标三维模型。

应用本发明实施例，通过医学影像的认知获取不规则变化标的物精准的三维模型；解剖学结构点在不同切面上的“点云数据”，认知解剖学结构点之间的相对位置和姿态，形成“医学点云”的方法，构建出“不规则变化标的物”精准的三维模型，相对于现有技术，不依赖于影像边缘的追溯和形状的假设，解决了传统的心脏超声技术，由于二维影像边缘模糊，或者缺失，难以构建精准三维模型的难题。

在本发明实施例的一种具体实施方式中，所述获取模块302，用于：

通过解剖学结构点的标识，将解剖结构特征参数添加到点云数据，获取包含解剖学结构点位置，姿态，切面特征，解剖学特征的点云数据。

具体的，获取模块302包括：

绑定单元3021：将二维超声波影像采集探头与探头位姿传感器进行绑定，获取超声波探头的位姿信息；

基准点确定步单元3022：以该二维影像基准点为圆心建立二维坐标系，该二维影像上的每个点都具有在该坐标系内的唯一坐标，根据该二维影像内任意点的坐标以及该二维影像基准点的位姿信息，通过处理器计算出任意一二维影像内的任意一点相对于系统基准点的位姿信息。其中探头位姿传感器是位置跟踪系统的组成部分。位置跟踪系统还包括发射器等组件，发射器所处的位置设置为系统基准点。

二维影像采集单元3023：通过超声波探头采集目标物体的二维影像；每个二维影像上的任意点都具有不同的位置信息，其中二维影像上任意点的位置信息，可以通过二维影像所建立的二维坐标X轴，Y轴上的像素点确定，该二维影像的原点可以是二维超声波影像采集探头的扫描发射点；

位姿信息采集单元3023：通过探头位置追踪系统获取超声波探头的位姿信息；

探头位姿信息存储单元3024：将超声波探头采集的二维影像信息及探头位置追踪系统采集的探头位姿信息进行整合，存储为包含位姿信息的BITMAP格式的二维影像文件；

点的位姿信息确定单元3025：通过点在二维影像上的位置信息，以及探头的位姿信息，获取二维影像上任意点的位姿信息；

点云数据构成单元3026：处理器将不同二维影像序列上的任意点的位姿信息进行整合，构成点云数据。通过同样的方法，处理器就可以确定该二维影像上的任何点相对于系统基准点的位姿信息，二维影像序列上的任意点的位姿信息的集合，就构成了点云数据。

在本发明实施例的一种具体实施方式中，所述拟合模块304，用于：

将多个二维影像与三维初始模型切口的完全匹配，校准三维初始模型，获取精准的三维模型。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于二维超声影像认知构建三维模型的方法，其特征在于，所述方法包括：

采集标的物的若干个选定切面的二维超声波影像，其中，所述标的物包括心脏；

获取所述超声波二维影像解剖结构的点云数据，其中，所述点云数据包括：图像上该点的位置坐标值、姿态，该点所在的切面；

获取解剖学结构点的标识，将解剖学属性添加到点云数据，其中，所述解剖学结构点是三维模型的骨架，是构建三维模型边缘的关键点，且待建模标的物的解剖结构点包括：心尖、心室隔、三尖瓣以及心内膜中的一种或组合；

根据点云数据以及预先构建的标的物构造原理的知识库，认知解剖学结构点之间的相对位置和姿态，形成三维空间的点云，构建初始三维模型；

根据二维影像对初始的三维初始模型进行校准，进而得到目标三维模型。

2.根据权利要求1所述的一种基于二维超声影像认知构建三维模型的方法，其特征在于，所述切面包括：超声常规的切面、辅助切面。

3.根据权利要求1所述的一种基于二维超声影像认知构建三维模型的方法，其特征在于，所述获取解剖学结构点的标识，将解剖学属性添加到点云数据，包括：

通过解剖学结构点的标识，将解剖结构特征参数添加到点云数据，获取包含解剖学结构点位置，姿态，切面特征，解剖学特征的点云数据。

4.根据权利要求3所述的一种基于二维超声影像认知构建三维模型的方法，其特征在于，所述将解剖结构特征参数添加到点云数据，包括：

人工识别出解剖学结构点对应的解剖结构属性，将解剖结构属性作为解剖学结构点的属性标签并添加到点云数据。

5.根据权利要求1所述的一种基于二维超声影像认知构建三维模型的方法，其特征在于：所述根据二维影像对初始的三维初始模型进行校准，进而得到目标三维模型，包括：

将多个二维影像与三维初始模型切口的完全匹配，校准三维初始模型，获取精准的三维模型。

6.一种基于二维超声影像认知构建三维模型的装置，其特征在于，所述装置包括：

采集模块，用于采集标的物的若干个选定切面的二维超声波影像，其中，所述标的物包括心脏；

获取模块，用于获取所述超声波二维影像解剖结构的点云数据，其中，所述点云数据包括：图像上该点的位置坐标值、姿态，该点所在的切面；

获取解剖学结构点的标识，将解剖学属性添加到点云数据，其中，所述解剖学结构点是三维模型的骨架，是构建三维模型边缘的关键点，且待建模标的物的解剖结构点包括：心尖、心室隔、三尖瓣以及心内膜中的一种或组合；

认知模块，用于根据点云数据以及预先构建的标的物构造原理的知识库，认知解剖学结构点之间的相对位置和姿态，形成三维空间的点云，构建初始三维模型；

拟合模块，用于根据二维影像对初始的三维初始模型进行校准，进而得到目标三维模型。

7.根据权利要求6所述的一种基于二维超声影像认知构建三维模型的装置，其特征在于，所述切面包括：超声常规的切面、辅助切面。

8.根据权利要求6所述的一种基于二维超声影像认知构建三维模型的装置，其特征在于，所述获取模块，用于：

通过解剖学结构点的标识，将解剖结构特征参数添加到点云数据，获取包含解剖学结构点位置，姿态，切面特征，解剖学特征的点云数据。

9.根据权利要求8所述的一种基于二维超声影像认知构建三维模型的装置，其特征在于，所述获取模块，用于：

人工识别出解剖学结构点对应的解剖结构属性，将解剖结构属性作为解剖学结构点的属性标签并添加到点云数据。

10.根据权利要求6所述的一种基于二维超声影像认知构建三维模型的装置，其特征在于，所述拟合模块，用于：

将多个二维影像与三维初始模型切口的完全匹配，校准三维初始模型，获取精准的三维模型。

Images