CN109171817B - 三维乳腺超声扫描方法及超声扫描系统 - Google Patents

Abstract

本申请涉及超声扫描领域，公开了一种三维乳腺超声扫描方法及超声扫描系统。可以准确地自动确定乳头相对于侧边超声图像的位置。该方法中，将探头放置在乳房中央位置进行超声扫描，得到第一超声图像，同时摄像头拍摄包含标记环的第一视频图像，其中第一超声图像覆盖乳头位置；根据第一超声图像确定乳头位置；将探头放置在乳房的侧边位置进行超声扫描，得到第二超声图像，同时摄像头拍摄包含标记环的第二视频图像；对第一和第二视频图像进行图像分析，根据第一和第二视频图像中标记环的位置，确定第二超声图像相对于乳头位置的相对位置。

Description

三维乳腺超声扫描方法及超声扫描系统

技术领域

本申请涉及超声扫描领域，特别涉及乳腺超声扫描技术。

背景技术

目前在使用自动乳腺超声扫描系统自动乳腺超声扫描系统对乳房进行扫描时，一次自动扫描的三维图像可以覆盖乳房的部分区域。在诊断或者筛查中，为了覆盖全部乳房，通常操作人员需要将超声波探头分别放置在乳房的三个位置，以获得三个三维图像来覆盖整个乳房区域。这三个位置通常为AP(乳房中央)，MED(乳房内侧)，LAT(乳房外侧)，如图1所示为右侧乳房的三个位置。获得的三维图像也会被标注为相应的位置以方便医生读片。而这个标注行为通常是操作人员手动在扫描工作站中输入。在获得图像中，由于需要确定图像像素相对乳头的位置，在扫描结束后工作人员需要手动在扫描图像上标注乳头位置信息，从而在发现病灶的时候可以根据超声波扫描图像，确定病灶相对于乳头的相对位置。

现有技术的问题在于，如果超声波扫描图像是在两侧位置的，有可能扫描图像当中没有覆盖乳头，此时只能够根据经验估计一下乳头的大致位置，如果在两侧图像发现病灶的话，病灶相对于乳头的相对位置就有可能不太准确。

发明内容

本申请的目的在于提供一种三维乳腺超声扫描方法及超声扫描系统，可以自动确定当前扫描图像的扫描位置，并可以准确地自动确定乳头相对于侧边超声图像的位置。

为了解决上述问题，本申请公开了一种使用超声扫描系统进行三维乳腺超声扫描的方法，该系统包括机械手和摄像头，该机械手的一端设置有超声扫描探头，该机械手上设置有标记环，该标记环随着该探头的移动而移动，该方法包括：

将该探头放置在乳房中央位置进行超声扫描，得到第一超声图像，同时该摄像头拍摄包含该标记环的第一视频图像，其中该第一超声图像覆盖乳头位置；

根据该第一超声图像确定乳头位置；

将该探头放置在该乳房的侧边位置进行超声扫描，得到第二超声图像，同时该摄像头拍摄包含该标记环的第二视频图像；

对该第一和第二视频图像进行图像分析，根据该第一和第二视频图像中该标记环的位置，确定该第二超声图像相对于该乳头位置的相对位置。

在一优选例中，该标记环是并列的多个不同颜色的环。

在一优选例中，该对该第一和第二视频图像进行图像分析，进一步包括：

计算该探头的实际物理移动距离，其中，移动距离＝(标记环实际直径/标记环边长像素数)×标记环在该第一和第二视频图像中的移动像素；

根据该探头的实际物理移动距离，计算该第二超声图像与该乳头位置的相对位移。

在一优选例中，该相对位置包括：该探头在该乳房哪一侧，和/或，该第二超声图像与该乳头位置的相对位移。

在一优选例中，该对该第一和第二视频图像进行图像分析的步骤之后，还包括：

根据该第一和第二视频图像中该标记环的位置，拼接该第一和第二超声图像。

在一优选例中，该对该第一和第二视频图像进行图像分析的步骤中，还包括：

在该第二超声图像中确定病灶位置；

根据根据该第一和第二视频图像中该标记环的位置，确定该病灶位置和该乳头位置的相对位移矢量。

在一优选例中，该侧边位置包括乳房内侧和乳房外侧。

在一优选例中，该第二超声图像不覆盖该乳头位置。

在一优选例中，该摄像头的位置和拍摄参数是固定的。

本申请还公开了一种超声扫描系统，包括：

包括机械手、摄像头和计算模块；

该机械手的一端设置有超声扫描探头，该机械手上设置有标记环，该标记环随着该探头的移动而移动；

该摄像头用于拍摄包含该标记环的视频图像；

该计算模块用于根据该摄像头拍摄的视频图像中识别出该标记环的位置，并根据该标记环位置的变化计算该探头的位移。

与现有技术相比，本申请的技术方案可以准确地自动确定乳头相对于侧边超声图像的位置，包括自动确定当前超声图像在哪一侧的扫描位置,进而可以精确地确定病灶相对于乳头的相对位置。

进一步地，使用多色环作为标记环，可以提高标记环被正确识别的准确率。

进一步地，根据已知的标记环大小和在视频图像中所占的像素，可以计算出每一个像素对应的物理长度，可以计算出探头的移动距离，进而计算出第二超声图像中的与乳头位置的物理相对位移。

进一步地，固定位置的摄像头所拍摄的第一和第二视频图像的背景是不移动的，在计算标记环的相对移动时计算量较小。

本申请的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本申请上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。

附图说明

图1是现有技术中对右侧乳房进行乳腺超声扫描时，AP、MED和LAT三个位置的示意图；

图2是本申请第一实施方式中一种使用超声扫描系统进行三维乳腺超声扫描的方法的流程示意图；

图3是本申请第一和第二实施方式中超声扫描系统的主要部件结构示意图；

图4是本申请一个实施例中，以标记环为红绿两色为例的计算机处理流程示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

部分概念的说明：

AP:乳房中央物理位置

MED:乳房内侧(靠近中轴线)物理位置

LAT:乳房外侧(靠近手臂)物理位置

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种使用超声扫描系统进行三维乳腺超声扫描的方法。图2是该使用超声扫描系统进行乳腺超声扫描的方法的流程示意图。图3示出了该方法所使用的超声扫描系统，其包括机械手302和摄像头301，机械手的一端设置有超声扫描探头304，机械手上设置有标记环303，标记环随着探头的移动而移动。

乳腺超声扫描的方法包括：

在步骤201中，将探头放置在乳房中央位置进行超声扫描，得到第一超声图像，同时摄像头拍摄包含标记环的第一视频图像，其中第一超声图像覆盖乳头位置。

此后进入步骤202，根据第一超声图像确定乳头位置。可选地，通过图像分析或图像识别的方式确定乳头位置。可选地，通过提供人机交互界面，操作员使用鼠标、触摸屏等输入工具在第一超声图像上输入乳头位置。

此后进入步骤203，将探头放置在乳房的侧边位置(例如MED位置，或LAT位置)进行超声扫描，得到第二超声图像，同时摄像头拍摄包含标记环的第二视频图像。通常第二超声图像中不覆盖乳头位置。可选地，在一些应用场景中，侧边位置也可以不是规范的MED或LAT位置，而是不覆盖乳头的任意的其他侧边位置。

此后进入步骤204，对第一和第二视频图像进行图像分析，根据第一和第二视频图像中标记环的位置，确定第二超声图像相对于乳头位置的相对位置。可选地，相对位置包括探头在乳房哪一侧(例如MED位置，或LAT位置)。可选地，相对位置包括第二超声图像与乳头位置的相对位移。

上面的流程是三维乳腺超声扫描工作流程，通过该工作流程可以准确地自动确定乳头相对于侧边超声图像的位置，从而方便医生准确有效的报告图像上病变相对于乳头的位置，包括自动确定当前超声图像在哪一侧(例如MED位置，或LAT位置)的扫描位置，进而可以精确地确定病灶相对于乳头的相对位置。使用该流程，可以使得所有的扫描图像都含有乳头位置信息，对于医生的读片有很大的帮助。

优选地，标记环是并列的多个不同颜色的环。使用多色环作为标记环，可以提高标记环被正确识别的准确率。例如，多色是红色和绿色，因为红色和绿色在病房中出现的概率比较小，而且同时并排出现的概率更要小得多，所以红绿双色的标记环被识别出来的准确率高。又如，多色也可以是其他颜色的组合，如红色、绿色和蓝色的3色组合，黄色和紫色的组合等等。可选地，标记环也可以是单色环，最好该单色环的色彩与病房内其他的颜色都不相同。

可选地，步骤204还进一步包括以下子步骤：

子步骤1，计算探头的实际物理移动距离，其中，移动距离＝(标记环实际直径/标记环边长像素数)*标记环在第一和第二视频图像中的移动像素。其中标记环在视频图像中体现为矩形，矩形的一个边长(通常是较长的边长)对应标记环的直径。标记环的实际直径(物理直径)是可以预先测量得到的。

子步骤2，根据探头的实际物理移动距离，计算第二超声图像与乳头位置的相对位移。

根据已知的标记环大小和在视频图像中所占的像素，可以计算出每一个像素对应的物理长度，可以计算出探头的移动距离，进而计算出第二超声图像中的与乳头位置的物理相对位移。固定位置的摄像头所拍摄的第一和第二视频图像的背景是不移动的，在计算标记环的相对移动时计算量较小。

可选地，步骤204之后，还可以根据第一和第二视频图像中标记环的位置，拼接第一和第二超声图像。在一个实施例中，可以将AP、MED、和LAT三个位置的超声图像拼接起来，形成一个乳房的完整超声图像。

可选地，步骤204中还可以包括以下子步骤：

在第二超声图像中确定病灶位置。

根据根据第一和第二视频图像中标记环的位置，确定病灶位置和乳头位置的相对位移矢量。

摄像头的位置和拍摄参数有多种实现方式。可选地，摄像头的位置和拍摄参数是固定的。可选地，摄像头的位置和拍摄参数也可以是变化的，此时需要通过传感器或其他手段获得摄像头的位置和拍摄参数，这些信息将用于计算标记环的相对移动。可选地，摄像头位置不变，但拍摄参数是可以变化的，此时需要从摄像头获得拍摄第一和第二视频图像时的拍摄参数，以用于计算标记环的相对移动。拍摄参数包括光圈、快门、缩放、增益等等。

为了更好地理解该实施方式，下面说明本申请的一个例子。

如图3所示，一个可以实时获取图片的高清摄像头固定在右侧固定不动的金属杆上，将标记环(具有单一或多种颜色的圆环，直径及高度已知)固定在可以随自动机械手活动的自由杆上，摄像头正对标记环水平放置，因此标记环在摄像头实时图像中呈单一或多种颜色的矩形。用视频采集程序读取摄像头获取的图像并运用颜色、形状、位置多重信息识别目标标志物。

具体流程是，用户选择扫描的乳房(左乳或者右乳)，然后首先根据系统提示，扫描AP(乳房正中央)位置。此时用户需要将机械手放置在乳房正上方，乳头位于机械手中心。扫描过程中，我们的视频追踪系统记录标记环在视频图像上的位置。

AP位置扫描结束后，当用户移动机械手去扫描MED或者LAT位置的图像时，机械手发生位置变化。由于摄像头绝对物理位置不变，标记环随着机械手移动而发生水平位移，标记环在视频图像上的位置也发生改变。通过目标追踪，我们可以再次计算标记环在视频图像上的轮廓位置和横移距离。通过轮廓位置可自动判断扫描位置，通过横移距离可自动计算乳头的相对位置并在图像中自动标定出来。以左乳为例，当扫描左乳时候，如果标记环位置相较扫描AP时向右移动，说明机械手位置在AP位置的左边，此时扫描的位置为LAT。如果标记环位置相较扫描AP时向左移动，说明机械手位置在AP位置的右边，此时扫描的位置为MED。同理我们可以获得扫描右乳时的位置信息。

由于标记环在视频图像上显示为矩形，根据此矩形的边长像素值和圆环实际的直径可得到单位物理尺寸在图像中对应的像素数目，根据矩形在图像中移动的距离可按比例获取机械手实际移动的物理距离(见以下公式)。

移动距离＝(标记环实际直径/标记环边长像素数)×标记环图像中移动像素

以标记环为红绿两色为例，计算机处理流程如图4所示。该流程具体步骤如下：

先读取视频端口图像，将图像转为HSV颜色空间的颜色信息(当然也可以是其他的颜色空间，如RBG等)。

分别寻找所有绿色和红色的矩形并定位其位置。

将大小、位置和形状最接近的红、绿色矩形定义为标记环。

然后根据当前是左乳还是右乳的信息，结合标记环左移还是右移的信息，确定当前超声扫描图像在乳房的哪一侧(左乳的LAT、或者左乳的MED、或者右乳的MED、或者右乳的LAT)。

然后根据像素位移精确计算相关的物理位移(例如超声扫描探头的物理位移，乳头相对于当前超声扫描图像的位移，当前超声扫描图像中的病灶相对于乳头的位移)，并自动标记乳头相对于当前超声扫描图像的位置。

根据三次扫描图像(AP、LAT和MED)的物理空间位置和乳头标记可以得到乳房整体扫描部位的物理全貌。

本发明第二实施方式涉及一种超声扫描系统。如图3所示，该超声扫描系统包括：

包括机械手302、摄像头301和计算模块。

机械手的一端设置有超声扫描探头304，机械手上设置有标记环303，标记环随着探头的移动而移动。

摄像头用于拍摄包含标记环的视频图像。

计算模块用于根据摄像头拍摄的视频图像中识别出标记环的位置，并根据标记环位置的变化计算探头的位移。根据探头的位移，结合对超声图像的图像分析，可以进一步计算出其他的信息，例如，当前超声图像在哪一侧(例如MED位置，或LAT位置)，某个超声图像与乳头位置的相对位移、某个超声图像中的病灶与乳头位置的相对位移。计算模块在图3中没有示出，该计算模块从摄像头和超声扫描探头获取数据(包括视频图像和超声扫描图像)，完成相关的计算。

优选地，标记环是并列的多个不同颜色的环。使用多色环作为标记环，可以提高标记环被正确识别的准确率。

第一实施方式是对本实施方式提出的系统的应用方法，其中涉及系统的技术细节在本实施方式中完全可以使用，这里不再重复了。

对于上述方法实施例中设计的可以在计算机上执行的步骤，本发明实施例还提供一种计算机存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本发明的各方法实施方式。此外，本发明实施例还提供一种超声扫描系统，其中包括用于存储计算机可执行指令的存储器，以及，处理器；该处理器用于在执行该存储器中的计算机可执行指令时实现上述各方法实施方式中的步骤。

需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。

在本申请提及的所有文献都在本申请中引用作为参考，就如同每一篇文献被单独引用作为参考那样。此外应理解，在阅读了本申请的上述讲授内容之后，本领域技术人员可以对本申请作各种改动或修改，这些等价形式同样落于本申请所要求保护的范围。

Claims (8)

1.一种使用超声扫描系统进行乳腺超声扫描的方法，其特征在于，所述系统包括机械手和摄像头，所述机械手的一端设置有超声扫描探头，所述机械手上设置有标记环，所述标记环随着所述探头的移动而移动，所述标记环是并列的多个不同颜色的环，所述摄像头正对所述标记环水平放置，所述方法包括：

将所述探头放置在乳房中央位置进行超声扫描，得到第一超声图像，同时所述摄像头拍摄包含所述标记环的第一视频图像，其中所述第一超声图像覆盖乳头位置；

根据所述第一超声图像确定乳头位置；

将所述探头放置在所述乳房的侧边位置进行超声扫描，得到第二超声图像，同时所述摄像头拍摄包含所述标记环的第二视频图像；

对第一和第二视频图像进行图像分析，根据所述第一和第二视频图像中所述标记环的位置，确定所述第二超声图像相对于所述乳头位置的相对位置，其中，进一步包括：

计算所述探头的实际物理移动距离，其中，移动距离＝(标记环实际直径/标记环边长像素数)×标记环在所述第一和第二视频图像中的移动像素；其中所述标记环在视频图像中体现为矩形，矩形的一个边长对应标记环实际直径；

根据所述探头的实际物理移动距离，计算所述第二超声图像与所述乳头位置的相对位移。

2.根据权利要求1所述的使用超声扫描系统进行乳腺超声扫描的方法，其特征在于，所述相对位置包括：所述探头在所述乳房哪一侧，和/或，所述第二超声图像与所述乳头位置的相对位移。

3.根据权利要求1所述的使用超声扫描系统进行乳腺超声扫描的方法，其特征在于，所述对所述第一和第二视频图像进行图像分析的步骤之后，还包括：

根据所述第一和第二视频图像中所述标记环的位置，拼接所述第一和第二超声图像。

4.根据权利要求1所述的使用超声扫描系统进行乳腺超声扫描的方法，其特征在于，所述对所述第一和第二视频图像进行图像分析的步骤中，还包括：

在所述第二超声图像中确定病灶位置；

根据所述第一和第二视频图像中所述标记环的位置，确定所述病灶位置和所述乳头位置的相对位移矢量。

5.根据权利要求1至4中任一项所述的使用超声扫描系统进行乳腺超声扫描的方法，其特征在于，所述侧边位置包括乳房内侧和乳房外侧。

6.根据权利要求1至4中任一项所述的使用超声扫描系统进行乳腺超声扫描的方法，其特征在于，所述第二超声图像不覆盖所述乳头位置。

7.根据权利要求1至4中任一项所述的使用超声扫描系统进行乳腺超声扫描的方法，其特征在于，所述摄像头的位置和拍摄参数是固定的。

8.一种超声扫描系统，其特征在于，包括：

包括机械手、摄像头和计算模块；

所述机械手的一端设置有超声扫描探头，所述机械手上设置有标记环，所述标记环随着所述探头的移动而移动；所述标记环是并列的多个不同颜色的环；

所述摄像头正对所述标记环水平放置，用于拍摄包含所述标记环的视频图像；

所述计算模块用于根据所述摄像头拍摄的视频图像中识别出所述标记环的位置，并根据所述标记环位置的变化计算所述探头的位移；

其中，将所述探头放置在乳房中央位置进行超声扫描，得到第一超声图像，同时所述摄像头拍摄包含所述标记环的第一视频图像，其中所述第一超声图像覆盖乳头位置；

根据所述第一超声图像确定乳头位置；

将所述探头放置在所述乳房的侧边位置进行超声扫描，得到第二超声图像，同时所述摄像头拍摄包含所述标记环的第二视频图像；

所述计算模块被配置为计算所述探头的实际物理移动距离，并根据所述探头的实际物理移动距离，计算所述第二超声图像与所述乳头位置的相对位移，其中，实际物理移动距离＝(标记环实际直径/标记环边长像素数)×标记环在第一和第二视频图像中的移动像素，所述标记环在视频图像中体现为矩形，矩形的一个边长对应标记环实际直径。

Images