CN120916701A - 用于从超声探头获取和分析图像的装置诊断系统和方法 - Google Patents

Abstract

一种方法包括：获得在第一时间使用第一探头装置获取的被探测区域的第一帧，以及用于获取第一帧的第一组控制参数。处理第一帧包括：至少部分地基于第一组控制参数在第一帧中减小第一探头特定效应之后，从第一帧分割特征。方法包括：在第一帧包含存在于使用第二组控制参数在早于第一时间的时间获取的第二帧中的相应属性：在第一帧和第二帧中，显示与相应属性的差异有关的信息。第二帧是在第二帧中减小一个或多个第二探头特定效应之后，通过处理从第二帧分割的一个或多个特征而获得的。

Description

用于从超声探头获取和分析图像的装置诊断系统和方法

技术领域

所公开的实施方式总体上涉及用于利用超声探头的系统、方法和装置。

背景技术

超声成像是一种使用声波来产生在由声波探测的区域内的结构或特征的图像的成像方法。在生物或医疗应用中，可以实时捕获超声图像以示出内部器官的移动以及流过血管的血液。这些图像可以为诊断和指导对各种疾病和病症的治疗提供有价值的信息。

发明内容

医疗超声是基于传播的声波在不同组织之间的界面处的反射的成像模态。超声成像相对于其他成像模态的优点可以包括以下中的一个或多个：(1)其非侵入性，(2)其降低的成本，(3)其便携性，以及(4)其提供良好时间分辨率(例如毫秒级或更好)的能力。医疗保健提供者可以在床边使用即时超声(POCUS)作为用于回答临床问题(例如，患者是否具有发展的髋关节发育不良)的实时工具。受过训练的临床医生可以执行获取任务和解释超声图像的任务，而不需要放射科医师分析由受过高度训练的技术人员获取的超声图像。根据超声检查的细节，可能仍然存在高度专业化的训练，以学习用于获取作为高质量图像的医疗相关图像的不同协议。

在一些实施例中，在以适当的方式定位患者之后，临床医生将超声探头定位在患者的身体上并且手动开始寻找允许临床医生做出准确诊断的适当(例如，最佳)图像。获取适当的图像可能是通过试错法执行的耗时的活动，并且可能需要对人体解剖结构的广泛了解。对于一些病症的诊断，临床医生可能需要对获取的图像执行手动测量。此外，放射学中的重复任务引起的疲劳可能导致诊断错误的数量的增加和诊断准确性降低。

计算机辅助诊断(CAD)系统可以帮助临床医生获取更高质量的图像，并且自动分析和测量超声图像中的相关特征。本文描述的方法、系统和装置可以具有一个或多个优点，包括：(1)在机器学习算法中结合医疗专家领域知识，以用于利用有限数量的实例进行有效学习的能力，(2)解释机器学习算法的输出的能力，以及(3)考虑利用来自不同制造商的探头获取的图像的概率分布之间的差异的能力。缺乏考虑使用不同探头获取的图像的概率分布之间的差异的能力的系统可能不能确保对利用第一探头(例如，来自第一制造商的探头)获取的图像进行工作的自动化系统也将对利用第二探头(例如，来自不同于第一制造商的第二制造商的探头)获取的图像进行工作，从而阻碍了自动分析超声图像并且向临床医生提供指导以帮助他们在更少时间内获取更好超声图像的产品的成功开发。

在一些实施例中，本文描述的方法、系统和装置提供超声图像的与装置无关的评估，并且向用户提供指导以帮助他们获取满足进行诊断的最低要求的图像。

在一些实施例中，使用复查扫描自动跟踪感兴趣的解剖结构随时间的演变，例如以监测患者体内肿瘤的存在或特性，然后形成在不同时间点获取的超声图像序列。在一些实施例中，跟踪/复查过程包括自动地(例如，无需来自超声系统的操作者的附加输入)：(1)识别不同图像中随时间的同一感兴趣的解剖结构，(2)通过提取每个不同图像中的相关特征的集合来表征感兴趣的解剖结构，以及(3)比较随时间提取的特征。

在一些实施例中，为了将新图像中感兴趣的解剖结构与过去获取的图像中的解剖结构进行比较，患者和探头的定位应当尽可能类似于获取原始图像的定位。由于可能没有存储关于定位的信息，因此获取具有足够质量以进行有意义比较的感兴趣的解剖区域的图像可能是非常具有挑战性的。当用不同的探头获取图像时，由于图像的质量可能变化，因此这个问题可能变得甚至更有挑战性。

因此，需要开发一种方法，其允许临床医生在复查扫描中使用超声成像自动、快速且可靠地识别和表征感兴趣的解剖结构，而不管用于获取这种图像的超声装置或探头如何。

便携式(例如，手持和/或电池供电的)超声装置能够产生高质量图像，因为它们包含许多(例如，数百或数千个)换能器，每个换能器可以产生声波并接收回波以创建超声图像。如本文所公开的，超声探头(或计算装置)通过提供关于如何定位超声探头的指导来指导操作者，以便获得包含感兴趣的解剖结构的高质量帧。

本公开的系统、方法和装置均具有若干创新方面，根据一些实施例，可以单独地或作为组合从创新方面中的一个或多个得出本文所公开的期望属性。

根据一些实施例，一种随时间跟踪结构的方法包括：在包括一个或多个处理器和存储器的计算机系统处：获得在第一时间使用第一探头装置获取的被探测区域的第一帧，以及用于获取第一帧的第一组控制参数；处理第一帧以获得第一帧的第一组属性，其中，处理第一帧包括至少部分地基于第一组控制参数在第一帧中减小一个或多个第一探头特定效应之后，从第一帧分割一个或多个特征。根据确定第一帧包含存在于使用第二组控制参数在早于第一时间的时间获取的第二帧中的相应属性，方法包括基于在第一时间和较早时间之间的第一帧和第二帧，在用户界面上显示与相应属性中的差异有关的信息。第二帧是在第二帧中减小一个或多个第二探头特定效应之后，通过处理从第二帧分割的一个或多个特征而获得的。

根据一些实施例，超声探头包括多个换能器和控制单元。控制单元被配置为执行本文公开的任何方法。

根据一些实施例，计算机系统包括一个或多个处理器和存储器。存储器存储指令，当由一个或多个处理器执行时，所述指令使计算机系统执行本文公开的任何方法。

根据本公开的一些实施例，一种非暂态计算机可读存储介质存储计算机可执行指令。计算机可执行指令在由计算机系统的一个或多个处理器执行时，使计算机系统执行本文公开的任何方法。

注意，上述各种实施例可以与本文所述的任何其它实施例组合。说明书中描述的特征和优点不是包括一切的，并且特别地，考虑到附图、说明书和权利要求书，许多附加的特征和优点对本领域的普通技术人员来说将是显而易见的。此外，应当注意，在说明书中使用的语言主要是出于可读性和指导性的目的而选择的，并且可能不是为了描绘或限制本发明的主题而选择的。

附图说明

下文将结合附图描述所公开的方面，提供附图以说明而非限制所公开的方面，其中相同的附图标记表示相同的元件。

图1示出了根据一些实施例的用于对患者成像的超声系统。

图2示出了根据一些实施例的超声装置的框图。

图3示出了根据一些实施例的计算装置的框图。

图4是根据一些实施例的用于获取超声图像的与装置无关的指导系统中的工作流程。

图5A和图5B提供了根据一些实施例的获取用于诊断髋关节发育不良的医疗超声图像的示例。

图6示出了根据一些实施例的用于将领域特定知识编码到机器学习算法中的多任务方法的示例。

图7示出了根据一些实施例的在机器学习模型中结合领域特定知识的示例。

图8是根据一些实施例的用于执行与装置无关的超声图像后续获取的工作流程。

图9示出了根据一些实施例的自动识别相关的感兴趣的结构的系统的示例输入和示例输出。

图10示出了根据一些实施例的用于将感兴趣的解剖结构映射到模板的示例过程。

图11示出了根据一些实施例的用于识别感兴趣的解剖结构的示例。

图12示出了根据一些实施例的甲状腺结节内的固体和囊性部分的识别。

图13A至图13C示出了根据一些实施例的随时间跟踪结构的方法的流程图。

图14示出了根据一些实施例的用于随时间跟踪结构的方法的流程图。

现在将参考实施方式，其示例在附图中示出。在以下描述中，阐述了许多具体细节以便提供对本发明的透彻理解。然而，对于本领域的普通技术人员来说，显然可以在不需要这些具体细节中的一些的情况下实施本发明。

具体实施方式

图1示出了根据一些实施例的用于对患者成像的超声系统。

在一些实施例中，超声装置200是便携式手持装置。在一些实施例中，超声装置200包括探头部分，该探头部分包括换能器(例如，换能器220，图2)。在一些实施例中，换能器被布置成阵列。在一些实施例中，超声装置200包括集成控制单元和用户界面。在一些实施例中，超声装置200包括探头，其与控制单元和位于探头本身的外壳外部的用户界面通信。在操作期间，超声装置200 (例如，经由换能器)产生向患者110的器官(诸如心脏或肺)传输的声波。要被成像的内部器官或（一个或多个）其他对象可以将声波120的一部分向超声装置200的探头部分反射，所述声波的一部分由换能器220接收。在一些实施例中，超声装置200将接收到的信号发送到计算装置130，其使用接收到的信号来创建也被称为超声波扫描图的图像150。在一些实施例中，计算装置130包括用于显示超声图像的显示装置140，以及其他输入和输出装置(例如，键盘、触控屏、操纵杆、触控板和/或扬声器)。

图2示出了根据一些实施例的示例超声装置200的框图。

在一些实施例中，超声装置200包括一个或多个处理器202、一个或多个通信接口204 (例如，（一个或多个）网络接口)、存储器206和用于互连这些组件的一个或多个通信总线208 (有时称为芯片组)。

在一些实施例中，超声装置200包括便于用户输入的一个或多个输入接口210。例如，在一些实施例中，输入接口210包括(一个或多个)端口212和(一个或多个)按钮214。在一些实施例中，(一个或多个)端口可以用于接收用于对超声装置200供电或充电的线缆，或者用于促进超声探头与其他装置(例如，计算装置130、计算装置300、显示装置140、打印装置和/或其他输入输出装置和附件)之间的通信。

在一些实施例中，超声装置200包括电源216。例如，在一些实施例中，超声装置200是电池供电的。在一些实施例中，超声装置由连续AC电源供电。

在一些实施例中，超声装置200包括探头部分，该探头部分包括换能器220，其也可以被称为收发器或成像器。在一些实施例中，换能器220基于光声或超声效应。对于超声成像，换能器220向待成像的目标(例如，目标器官、血管等)发送超声波。换能器220接收从身体组织反射的反射声波(例如，回声)。然后将反射波转换成电信号和/或超声图像。在一些实施例中，超声装置200的探头部分与超声装置的计算和控制部分分开地容纳。在一些实施例中，超声装置200的探头部分被集成在与超声装置200的计算和控制部分相同的外壳中。在一些实施例中，超声装置的计算和控制部分的一部分被集成在与探头部分相同的外壳中，并且超声装置的计算和控制部分的一部分被实现在单独的外壳中，该单独的外壳与集成有超声装置的探头部分的部分通信地耦接。在一些实施例中，超声装置的探头部分具有针对相应扫描器类型(例如，线性、凸形、腔内、相控阵列、经食道、3D和/或4D)定制的相应换能器阵列。在本公开中，“超声探头”可以指超声装置的探头部分，或者包括探头部分的超声装置。

在一些实施例中，超声装置200包括无线电装置230。无线电装置230能够实现一个或多个通信网络，并且允许超声装置200与其它装置（如图1中的计算装置130、图1中的显示装置140和/或图3中的计算装置300）通信。在一些实施方式中，无线电装置230能够使用各种定制或标准无线协议(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、蓝牙智能、ISA100.5A、WirelessHART、MiWi、超宽带(UWB)、软件定义无线电装置(SDR)等)、定制或标准有线协议(例如，以太网、HomePlug等)和/或任何其它合适的通信协议（包括到本文档的申请日尚未开发的通信协议）中的任何一种进行数据通信。

存储器206包括高速随机存取存储器，例如DRAM、SRAM、DDR RAM或其它随机存取固态存储器装置；并且可选地包括非易失性存储器，例如一个或多个磁盘存储装置、一个或多个光盘存储装置、一个或多个闪存装置、或者一个或多个其他非易失性固态存储装置。存储器206可选地包括远离一个或多个处理器202的一个或多个存储装置。存储器206或者替代地存储器206内的非易失性存储器包括非暂态计算机可读存储介质。在一些实施方式中，存储器206或存储器206的非暂态计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：

操作逻辑240，包括用于处理各种基本系统服务和用于执行硬件相关任务的过程；

通信模块242 (例如，无线电通信模块)，用于连接到其他网络装置(例如，本地网络，诸如提供因特网连接的路由器、联网存储装置、网络路由装置、服务器系统、计算机装置130、计算机装置300和/或其他连接的装置等)并与其通信，其中所述其他网络装置经由（一个或多个）通信接口204(例如，有线或无线)耦接到一个或多个通信网络；

应用250，用于获取患者的超声数据(例如，成像数据)，和/或用于(例如，根据确定超声数据满足或不满足某些条件)控制超声装置200的一个或多个组件和/或其它连接的装置。在一些实施例中，应用250包括：

用于获取超声数据的获取模块252。在一些实施例中，超声数据包括成像数据。在一些实施例中，获取模块252根据超声数据是否满足与一个或多个质量要求相关联的一个或多个条件来激活换能器220 (例如，少于所有换能器220、换能器220的(一个或多个)不同子集、所有换能器220等)；

接收模块254，用于接收超声数据；

发送模块256，用于将超声数据发送到(一个或多个)其它装置(例如，服务器系统、计算机装置130、计算机装置300、显示装置140和/或其它连接的装置等)；

分析模块258，用于分析由超声装置200获取的数据(例如，成像数据)是否满足与超声扫描的质量要求相关联的一个或多个条件。例如，在一些实施例中，一个或多个条件包括以下条件中的一个或多个：成像数据包括满足一个或多个阈值质量得分的一个或多个新获取的图像，成像数据包括与目标解剖结构的期望解剖平面匹配的一个或多个解剖平面相对应的一个或多个新获取的图像，成像数据包括具有一个或多个标志/特征(或标志/特征的组合)的一个或多个新获取的图像，成像数据包括具有特定尺寸的特征的一个或多个新获取的图像，成像数据支持对满足一个或多个要求的图像将在接下来的一个或多个图像帧中被获取的预测，成像数据支持对所使用的换能器的数量的第一变化(例如，增加百分比或数量)将支持在接下来的一个或多个图像帧中获取的图像的质量得分的改进的预测，和/或其他类似条件；以及

换能器控制模块260，用于基于确定超声数据满足(或不满足)一个或多个质量要求，在超声扫描的部分期间，激活(例如，调整)多个换能器220；以及

超声装置200的装置数据280，包括但不限于：

用于超声装置200的装置设置282，诸如默认选项和优选用户设置。在一些实施例中，装置设置282包括成像控制参数。例如，在一些实施例中，成像控制参数包括以下中的一个或多个：被激活的换能器的数量、探头的功耗阈值、成像帧率、扫描速度、穿透深度以及控制探头的功耗、发热率和/或处理负载的其他扫描参数；

用户设置284，诸如优选增益、深度、缩放和/或聚焦设置；

由超声装置200 (例如，经由换能器220)获取(例如，检测、测量)的超声扫描数据286 (例如，成像数据)；

图像质量要求数据288。在一些实施例中，图像质量要求数据288包括用于确定超声图像的质量的临床要求；以及

图谱（atlas）290。在一些实施例中，图谱290包括感兴趣的解剖结构。在一些实施例中，图谱290包括感兴趣的解剖结构(例如，髋、心脏、肺和/或其他解剖结构)的三维表示。

上述可执行模块、应用或过程集合中的每个可被存储在一个或多个先前提到的存储器装置中，并且对应于用于执行上述功能的指令集。上述模块或程序(即，指令集)不需要被实现为单独的软件程序、过程或模块，并且因此这些模块的各种子集可以在各种实施方式中被组合或以其他方式重新布置。在一些实施方式中，存储器206存储上述模块和数据结构的子集。此外，存储器206可以存储上面没有描述的附加模块或数据结构。在一些实施例中，存储在存储器206中的程序、模块和/或数据的子集被存储在服务器系统和/或外部装置(例如，计算装置130或计算装置300)和/或由其执行。

图3示出了根据一些实施例的计算装置300的框图。

在一些实施例中，计算装置300是与超声装置200通信的服务器或控制台。在一些实施例中，计算装置300被集成到与超声装置200相同的外壳中。在一些实施例中，计算装置是智能电话、平板装置、游戏控制台或其他便携式计算装置。

根据一些实施方式，计算装置300包括一个或多个处理器302 (例如，（一个或多个）CPU的处理单元)、一个或多个网络接口304、存储器306、以及用于互连这些组件的一个或多个通信总线308 (有时称为芯片组)。

在一些实施例中，计算装置300包括便于用户输入的一个或多个输入装置310，诸如键盘、鼠标、语音命令输入单元或麦克风、触控屏显示器、触敏输入板、姿势捕获相机、或其他输入按钮或控件。在一些实施例中，计算装置300使用麦克风和语音识别或相机和姿势识别来补充或替换键盘。在一些实施例中，计算装置300包括使得能够呈现用户界面和显示内容的一个或多个输出装置312，诸如一个或多个扬声器和/或一个或多个视觉显示器(例如，显示装置140)。

存储器306包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器装置；并且可选地包括非易失性存储器，例如一个或多个磁盘存储装置、一个或多个光盘存储装置、一个或多个闪存装置、或者一个或多个其他非易失性固态存储装置。存储器306可选地包括远离一个或多个处理器302的一个或多个存储装置。存储器306或者替代地存储器306内的非易失性存储器包括非暂态计算机可读存储介质。在一些实施方式中，存储器306或存储器306的非暂态计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：

操作系统322，包括用于处理各种基本系统服务和用于执行硬件相关任务的进程；

通信模块323 (例如，无线电通信模块)，用于连接到其他网络装置(例如，本地网络，诸如提供因特网连接的路由器、联网存储装置、网络路由装置、服务器系统、计算机装置130、超声装置200和/或其他连接的装置等)并与其通信，其中所述其他网络装置经由网络接口304(例如，有线或无线)耦接到一个或多个通信网络；

用户界面模块324，用于使得能够在计算装置300或另一装置处呈现信息(例如，用于呈现（一个或多个）应用、窗口小部件、网站及其网页、游戏、音频和/或视频内容、文本等的图形用户界面)；

应用350，用于从患者获取超声数据(例如，成像数据)。在一些实施例中，应用350用于接收经由超声装置200获取的数据(例如，超声数据、成像数据等)。在一些实施例中，应用350用于(例如，根据确定数据满足或不满足某些条件)控制超声装置200的一个或多个组件(例如，探头部分和/或换能器)和/或其他连接的装置。在一些实施例中，应用350包括：

用于获取超声数据的获取模块352。在一些实施例中，超声数据包括由超声探头获取的成像数据。在一些实施例中，获取模块352根据超声数据是否满足与一个或多个质量要求相关联的一个或多个条件来激活换能器220 (例如，少于所有换能器220、换能器220的(一个或多个)不同子集、所有换能器220等)。在一些实施例中，获取模块352使超声装置200根据超声数据是否满足与一个或多个质量要求相关联的一个或多个条件来激活换能器220(例如，少于所有换能器220、换能器220的(一个或多个)不同子集、所有换能器220等)；

接收模块354，用于接收超声数据。在一些实施例中，超声数据包括由超声探头获取的成像数据；

发送模块356，用于将超声数据(例如，成像数据)发送到（一个或多个）其它装置(例如，服务器系统、计算机装置130、显示装置140、超声装置200和/或其它连接的装置等)；

分析模块358，用于分析(例如，由超声探头接收的)数据(例如，成像数据、功耗数据和与获取过程有关的其他数据)是否满足与超声扫描的质量要求相关联的一个或多个条件。例如，在一些实施例中，一个或多个条件包括以下条件中的一个或多个：成像数据包括满足一个或多个阈值质量得分的一个或多个新获取的图像，成像数据包括与目标解剖结构的期望解剖平面相匹配的一个或多个解剖平面相对应的一个或多个新获取的图像，成像数据包括具有一个或多个标志/特征(或标志/特征的组合)的一个或多个新获取的图像，成像数据包括具有特定尺寸的特征的一个或多个新获取的图像，成像数据支持对满足一个或多个要求的图像将在接下来的一个或多个图像帧中被获取的预测，成像数据支持对所使用的换能器的数量的第一变化(例如，增加百分比或数量)将支持在接下来的一个或多个图像帧中获取的图像的质量得分的改进的预测，和/或其他类似条件；以及

换能器控制模块360，用于基于确定超声数据满足(或不满足)一个或多个质量要求，在超声扫描的部分期间激活(例如，调整、控制和/或以其他方式修改换能器的一个或多个操作)或使超声装置200激活(例如，经由换能器控制模块260)多个换能器220。例如，在一些实施例中，换能器控制模块360在超声扫描的第一部分期间激活换能器220的第一子集。在一些实施例中，当与扫描的第一部分相对应的成像数据满足(或不满足)一个或多个质量要求时，换能器控制模块360在扫描的第一部分之后的扫描的第二部分期间，激活不同于换能器的第一子集的换能器220的第二子集。在一些实施例中，换能器控制模块360控制超声装置200的一个或多个操作模式。例如，在一些实施例中，超声装置200被配置为以低功率模式操作。在低功率模式中，换能器控制模块360仅激活超声装置200中的所有可用换能器220的子集(例如，10%、15%、20%等)。在一些实施例中，超声装置200被配置为以全功率模式操作。在全功率模式中，换能器控制模块360激活所有可用的换能器220以获取高质量图像；以及

数据库380，包括：

由一个或多个超声装置200获取(例如，检测、测量)的超声扫描数据382 (例如，成像数据)；

图像质量要求数据384。在一些实施例中，图像质量要求数据384包括用于确定超声图像的质量的临床要求；

图谱386。在一些实施例中，图谱386包括感兴趣的解剖结构。在一些实施例中，图谱386包括感兴趣的解剖结构(例如，髋、心脏或肺)的三维表示；

成像控制参数388。例如，在一些实施例中，成像控制参数包括以下中的一个或多个：被激活的换能器的数量、探头的功耗阈值、成像帧率、扫描速度、穿透深度以及控制探头的功耗、发热率和/或处理负载的其他扫描参数；

用于处理超声数据的超声扫描数据处理模型390。例如，在一些实施例中，超声扫描数据处理模型390是经训练的神经网络模型，其被训练以确定超声图像是否满足对应于扫描类型的质量要求，或被训练以输出与超声图像的解剖结构相对应的解剖平面，或被训练以基于超声图像序列及其质量得分，预测将由超声探头获取的后续帧是否将包含某些解剖结构和/或感兴趣的标志；以及

标记的图像392 (例如，图像的数据库)，包括用于训练用于处理新超声数据的模型的图像和/或已经处理或需要处理的新图像。在一些实施例中，标记的图像392是已经用它们各自的标识符和相对位置标记的解剖结构的图像。

上述元素中的每个可以存储在本文描述的存储器装置中的一个或多个中，并且对应于用于执行上述功能的指令集。上述模块或程序不需要被实现为单独的软件程序、过程、模块或数据结构，因此在各种实施例中，这些模块的各种子集可以被组合或以其他方式重新布置。在一些实施例中，存储器306可选地存储上述模块和数据结构的子集。此外，存储器306可选地存储上面未描述的附加模块和数据结构。在一些实施例中，存储在存储器306中的程序、模块和/或数据的子集被存储在超声装置200上和/或由其执行。

图4是根据一些实施例的用于获取超声图像的在与装置无关的指导系统中的工作流程。在一些实施例中，超声图像是用于诊断目的的医疗超声图像。在一些实施例中，工作流程400由与超声探头通信连接的计算装置的一个或多个处理器(例如，（一个或多个）CPU302)执行。例如，在一些实施例中，计算装置是与超声探头通信的服务器或控制台(例如，服务器、独立计算机、工作站、智能电话、平板装置、医疗系统)。在一些实施例中，计算装置是集成到超声探头中的控制单元。在一些实施例中，超声探头是手持超声探头或超声扫描系统。

在一些实施例中，工作流程400包括获取(402) 医疗图像，诸如超声图像。在一些实施例中，超声图像是满足用于做出诊断和/或其他条件的一个或多个质量要求的超声图像帧。通常通过以下方式来进行超声检查：将超声装置的一部分(例如，超声探头或扫描器)放置(例如，按压)在患者身体的表面上或腔内部，邻近正在研究的区域。操作者(例如临床医生)在患者身体的区域周围移动超声装置，直到操作者找到导致具有足够高质量的感兴趣的解剖结构的图像的探头的位置和姿态。根据图5A和图5B中的一些实施例，通过获取用于诊断髋关节发育不良的医疗超声图像的示例进一步说明工作流程400。超声探头可以使用其获取模态中的一个或多个来获取图像，获取模态包括单个(例如，静态) 2D图像、产生针对不同2D平面的一系列(静态)图像的自动扫描(在本文中被称为“2D扫描”)、作为被扫描的解剖结构的实时视频捕获的连续动态影像（cine clip）、或者获取与多个不同2D平面相对应的图像的3D体积的单个扫描(在本文中被称为“3D扫描”)）来获取图像。在步骤402中使用一个或多个超声装置获取的原始图像552、554、556和558在相应序列510、512、514和516中被处理，如图5A所示。

在一些实施例中，工作流程400包括应用(404)样式移除过程（style-removalprocess）以减小(例如，消除)探头特定特征。如本文所用，术语探头特定效应是指，所得图像中探头与探头不同的效应。一些探头特定效应基于探头的模型或制造商，而其它探头特定效应可能由同一模型的两个实例之间的差异产生。探头特定特征(例如，由探头特定效应引起的)可能降低用于分析那些图像的人工智能(AI)系统的性能。例如，使用利用第一探头(例如，来自第一制造商的探头)获取的图像训练的分类器可以实现95%的性能。但是当对利用第二探头(例如，来自不同于第一制造商的第二制造商的探头)获取的图像使用同一分类器时，分类器可以具有70%的性能。与装置无关的算法(例如，包括样式移除步骤)可以提供预测器(例如，分类器或其他机器学习模型)，当向该预测器提供使用不同探头获取的图像时，该预测器的性能不降级(或者该预测器的性能降级被减少)。图5A示出样式移除过程的不同方面。

样式移除过程

样式移除过程502 (例如，使用样式移除算法)被应用于在步骤402 (例如，图像获取步骤)期间获取的原始图像(例如，原始图像552、554、556和558)。样式移除过程502将原始图像映射到公共空间560中。在一些实施例中，公共空间560对于特定视图中的相同解剖区域的超声图像(例如，所有超声图像)是公共的，甚至对于由具有不同特性(例如，功率、缩放因子、深度、频率或视场的大小)的探头获取的超声图像也是公共的。样式移除过程502有助于最小化指导系统仅对用第一探头获取的图像而不对用不同探头获取的图像工作良好的概率。在一些实施例中，样式移除过程502从图像中移除可归因于特定探头的特征(例如，特定探头特有的噪声伪影)，从而在图像中留下与探头所询问的解剖区域相关但不是任何特定探头特有的特征。

在一些实施例中，样式移除算法包括机器学习算法，其最小化(例如，明确地最小化)用不同探头获取的多个批次图像(或那些图像的矢量表示)之间的差异（divergence）。例如，如图5A所示，原始图像552具有扇形（sector shaped）视场561，而其它三个原始图像554、556和558具有矩形视场。通过最小化该批四个图像之间的差异以移除样式信息(例如，视场的几何形状)，原始图像552被变换(例如，经由诸如几何投影的数据变换)以映射到具有与其他图像相匹配的视场(例如，矩形视场)的公共空间560上。

类似地，可以使用与用于获取原始图像552、554和558中的一个或多个的第一探头不同的第二探头来获取图像556。图像556包括噪声(例如，随机噪声的斑点图案或其他随机噪声)，该噪声可以是第二探头特有的，或者以其他方式不存在于原始图像552、554和558中的一个或多个中。在处理序列514的步骤404中的样式移除过程502之后，从原始图像556移除噪声562以最小化该批四个原始图像之间的差异。因此，图像556被映射到公共空间560中，而没有最初存在于图像556中的噪声562。在一些实施例中，公共空间是其中像素分布中的差异（discrepancy）(例如，由于使用不同的超声探头)被最小化的地方。

在一些实施例中，原始图像可以包括与在图像中捕获的解剖特征相关联的变化或伪影。例如，原始图像554和558可以具有与解剖特征相关联的成像伪影564。样式移除减小(例如，消除)变化，诸如由超声探头产生的成像伪影564。

差异测量的一些示例是KL差异、Wasserstein距离、最大平均偏差。在一些实施例中，样式移除步骤包括使用间接最小化不同探头的概率分布之间的差异的算法。例如，通过应用计算机视觉、信号处理、图像处理或其他特征提取技术，去除由不同探头引入的噪声。

不变特征（invariant feature）

在一些实施例中，不变特征是与被成像的对象相关而不是与图像本身相关的特征。例如，可以利用两个不同的探头扫描器官(例如，肝)，每个探头具有不同的噪声水平、缩放和其他操作参数。不变特征可以包括以下中的一个或多个：器官的实际尺寸、器官的体积、器官中脂肪的百分比、器官的形状、器官的几何轮廓。根据超声探头的操作参数(例如，缩放因子)，所扫描的器官在获取的超声图像中可能显得更大或更小。结果，如果通过对位于肝边界内的像素数量求和来确定所扫描的器官的二维区域，则根据操作参数，将从不同的超声图像获得不同数量的像素(例如，对于放大的图像，像素数量将高于缩小的图像的像素数量)。因此，像素数量不是不变特征。

像素间隔对应于与像素相关联的物理尺寸。像素数量除以像素间隔是不变特征。对于放大图像，像素间隔可以是10 μm，而在缩小图像中像素间隔可以是1 mm。

在一些实施例中，分割感兴趣的解剖结构(例如，器官，诸如肝)可以至少部分地基于对获取图像中的“亮”像素进行定位(例如，具有大于预定义阈值的像素强度)。然而，对于利用不同操作设置获取的图像，预定义阈值可以是不同的(例如，一些像素将比其他像素更亮，不同的操作设置可以包括在不同频率或幅度下的操作)。

可从图像中提取的不变特征可包括在图像已被适当处理(例如，经历样式移除过程)之后图像的强度梯度(例如，通过取相邻或其他相邻像素强度的一阶导数来确定图像中的梯度和/或局部最小值)。在一些实施例中，在强度梯度的任何确定之前使用直方图均衡化来处理图像。直方图均衡化是使用图像的直方图的对比度调整的图像处理方法。在一些实施例中，强度梯度对于像素强度的线性变换是不变的。

除了基于原始图像的强度梯度提取信息之外，在样式移除过程中也可以改变其他图像参数，例如记录在原始图像的每个像素中的强度范围。例如，原始图像中的原始像素值的范围可以从0到255。通过将这些值重新缩放到较小的范围，例如0到20之间，可以减小(例如消除)原始图像中的噪声。这种强度范围重新缩放可能有用的一个示例是用于检测肺扫描中的B线。在一些实施例中，可以使用机器学习方法自动确定重新缩放的像素值范围(例如，到除0到20之外的范围)，以最大化性能(例如，预测器的性能)。在一些实施例中，当用具有较窄范围的像素强度值的预处理后(例如，样式移除后)的图像训练预测器时，预测器更稳健。

公共空间

在一些实施例中，公共空间也可被称为潜在空间。在一些实施例中，潜在空间是公共共享空间而不是观察到的空间。例如，考虑基于人的身高预测健康状况(生病与健康)的分类器。当例如以不同单位(例如，英尺和厘米，并且6英尺不同于6厘米)测量身高时，可以不直接比较观察到的空间中的身高数据(例如，物理高度)。潜在空间的一个示例是变量被标准化的空间。例如，对于来自两个数据集(例如，分别地，一个数据集对应于以英尺记录的测量，并且另一个数据集对应于以厘米记录的测量)中的每个中的每个观察到的变量值（例如，身高），减去(例如，以相同单位测量的身高集合的)统计平均值，并且将结果除以(以相同单位测量的身高集合的)标准偏差。因此，两个数据集(例如，分别包含以英尺和厘米为单位的测量)可以被独立地处理，并且输出数据可以被组合，并且在潜在空间中一起被分析。上述标准化过程产生标准得分，该标准得分表示(例如，身高的)特定观察值落在平均值以上或以下的标准偏差的数量。例如，标准化值2表示观察落在平均值以上2个标准偏差。这允许比较身高数据，而不管收集原始数据的单位。在一些实施例中，潜在空间观察不到但是可以计算(例如，通过转换测量单位)。

在一些实施例中，使用不同探头获取的原始超声图像之间的差异不是由使用不同单位引起的，而是由与每个原始图像相关联的不同强度模式、噪声和质量引起的。并且样式移除过程502移除强度模式中的那些变化，变换图像使得处理后的图像处于相同的潜在空间中。

返回图4，工作流程400包括从已经应用了样式移除的图像中识别(406)解剖结构。图5A示出了特征识别和分割的不同方面。

特征识别和分割

特征识别和分割过程504被应用于在步骤404期间已经经历了样式移除过程的预处理后的图像。特征识别和分割过程(例如，解剖结构识别过程) 504识别存在于公共空间560中的相关解剖结构。在一些实施例中，用于分割的卷积神经网络被用于从获取的图像中识别感兴趣的解剖区域。在一些实施例中，模板匹配方法用于从获取的图像识别感兴趣的解剖区域。在一些实施例中，手动定义或选择的特征(例如，基于待识别的解剖部分的形状和纹理)被定义以用于从获取的图像识别感兴趣的解剖区域。

作为第一非限制性示例，对于髋的发育异常的诊断，来自分割过程504的待识别的感兴趣的结构包括髂骨、髋臼和股骨头。对于脂肪肝的诊断，感兴趣的器官包括肝本身和肾。在图5A中，例如，分割掩膜（segmentation mask）570、572、574和576均示出圆形股骨头。在分割掩膜570、572和574中的每个中，对应于髂骨和髋臼的两个线性结构彼此形成钝角，同时略微不同地取向并且示出髂骨和髋臼的不同长度。分割掩膜576仅示出了与水平位置稍微成角度的单个线性结构。

工作流程400包括使用从分割过程504获得的分割掩膜作为输入，在没有用户介入的情况下自动提取(408)解剖相关标志（landmarks）。

标志识别

分割/识别过程504的输出被提供给标志识别过程506，用于识别感兴趣的解剖标志。图5A和图6示出了标志识别的不同方面。在一些实施例中，通过对从分割/识别过程504获得的分割掩膜的几何分析来获得标志。例如，在诊断目标是髋关节发育不良的实施例中，分割掩膜可以是圆形的(例如，股骨头)，而用于识别肺图像中的B线的掩膜可以是基本线性的。例如，当分割/识别过程504提供圆形分割掩膜作为输出时，标志识别过程506可以在圆形分割标记的圆周周围生成标志522。在一些实施例中，可以通过机器学习和图像处理方法来获得标志。如图5B所示，识别过程506的输出508被提供给计算机系统532。计算机系统532还接收用于基于超声图像和来自3D模型530的数据进行临床诊断的最低要求534。计算机系统532的输出经由显示器536提供给用户。在一些实施例中，根据确定用于做出诊断的所有元素都存在于图像中，计算机系统532的输出包括呈现临床医生感兴趣的度量（metrics）。在一些实施例中，根据确定图像不包含用于进行诊断的所有元素，计算机系统532然后进行到使用下文描述的卷积神经网络(CNN)的分析。

在一些实施例中，在步骤402中获取的超声图像被提供作为卷积神经网络(CNN)的输入，所述卷积神经网络被训练以输出整数等级(例如，从1到5)，所述整数等级指示图像满足的要求的比例的范围(可选地，如果满足，越重要的要求对等级贡献越多)。在一些实施例中，计算机系统532提供关于如何定位探头以获取包含用于计算度量的所有必要元素的更好图像的指导。

工作流程400包括生成(410)相关解剖部分的统计模型。在一些实施例中，基于从标志识别过程506识别的标志来生成统计模型。例如，标志用作统计形状模型(SSM)中的先验，以细化感兴趣的解剖区域的边界。统计形状模型是这样一种几何模型，其描述语义上相似的对象的集合，并且表示许多三维对象的平均形状以及它们在形状上的变化。在一些实施例中，语义上相似的对象是这样一种对象，其具有相似的视觉(例如，颜色、形状或纹理)特征、并且在“更高级”信息（诸如对象之间的可能关系）中具有相似性。在一些实施例中，统计形状模型的训练集中的每个形状可以由从一个形状到下一个形状一致的一组标志点表示(例如，对于涉及手的统计形状模型，第五标志点可以总是对应于拇指的尖端)。

例如，在诊断髋关节发育不良时，用于股骨头的初始圆形分割掩膜可具有单位长度的直径。基于标志识别过程506的输出，可以调整圆形分割掩膜的大小以跟踪标志的位置，并且具有大于单位长度的细化的圆周边界。细化的分割掩膜(或其他输出)可以用于生成相关解剖部分的统计模型，其为图像中存在的器官和/或解剖结构提供优化的边界。在一些实施例中，将标志提供给在步骤410中生成的统计形状模型，以确定在步骤402收集的图像是否包含足够的解剖信息来提供有意义的临床决策。

一旦器官或解剖结构的边界被优化，工作流程400就检索(412)与感兴趣的度量有关的领域特定要求，并使用在步骤410中生成的统计模型来确定(414)在步骤402获得的图像是否满足相关要求。对于髋关节发育不良，对感兴趣的度量的领域特定要求可以包括髋臼与髂骨之间的角度、以及股骨头相对于髂骨的覆盖。例如，股骨头相对于髂骨的较低覆盖对应于更可见的股骨头，从而增加了其诊断相关性的度量。类似地，髋臼与髂骨之间的角度提供了对在获取图像时的平面的指示，以及获取的图像是否满足用于进行诊断的相关要求。各种图像特征的相关性被提供为与感兴趣的度量有关的领域特定要求。

训练CNN

在一些实施例中，在步骤402中获取的超声图像用作到诸如卷积神经网络(CNN)的经训练的神经网络的输入，所述经训练的神经网络已经被训练以确定图像是否符合所有临床要求。该网络的输出可以是n个类别中的一个。当n是2时，经训练的神经网络可以提供二进制输出，诸如“符合”或“不符合”。符合的图像是满足图像质量要求的图像，而不符合的图像是不满足至少一个临床要求的图像。在一些实施例中，在步骤402中获取的图像用作卷积神经网络(CNN)的输入，该卷积神经网络被训练成输出实数(例如，从0到1、0到100%等)，该实数指示图像满足的要求的比例(例如，百分比)或程度。在一些实施例中，神经网络被配置(例如，训练)为提供关于哪些单独的要求被满足以及哪些单独的要求不被满足的指示。

在一些实施例中，神经网络由训练数据集来训练，该训练数据集包括已被例如专家确定为符合的一组p个图像，以及已被例如专家标记为不符合的一组q个图像。将每个图像输入到卷积神经网络，其包括一组卷积层，可选地之后是池化层、批归一化层、丢弃层、密集层或活化层。所选体系结构的输出是长度为n的向量，其中n是要识别的类别的数量。输出向量中的每个条目被解释为属于n个类别中的每个的计算概率。然后，将输出向量与地面实况向量进行比较，地面实况向量包含属于n个类别中的每个的实际概率。然后使用损失函数计算输出向量和地面实况向量之间的距离。常见的损失函数是交叉熵及其正则化版本；然而，存在可用于该过程的很多损失函数。然后，使用损失函数来计算对权重的更新。计算这种更新的常用优化方法是基于梯度的优化方法，例如梯度下降及其变型。神经网络可以被配置为输出表示由获取的图像当前满足的要求的百分比的实数。迭代地执行计算损失和更新权重的过程，直到预定次数的迭代完成，或者直到满足收敛标准。该方法的一种可能的实施方式是创建一组如上所述的二进制分类器。针对每个临床要求训练一个二元分类器，然后计算具有正输出的分类器的百分比。

根据确定在步骤402中获得的图像满足相关要求，工作流程400计算(416)并显示与在步骤402获得的图像相关联的感兴趣的度量(例如，感兴趣的临床度量)。

质量度量

本文描述的方法和系统还自动计算与评估当前超声图像是否满足最低质量要求相关的度量。例如，在髋关节发育不良的情况下，这样的要求是完全可见的股骨头，以及髂骨表现为水平线的图像。图5B示出满足用于确定存在髋关节发育不良的临床要求的髋的示例超声图像538。作为非限制性示例，对用于确定存在髋关节发育不良的髋的超声图像的临床要求包括存在盂唇540、坐骨542、股骨头的中部544、平坦和水平的髂骨546以及不存在运动伪影。

作为另一个示例，超声心动图4室顶视图(如图5B所示)的临床要求是：(i)心脏的四个腔室(左心室、右心室、左心房和右心房)的视图，(ii)左心室的顶点在区的顶部和中心，而右心室是三角形的并且面积较小，(iii)心肌和二尖瓣小叶应当是可见的，并且(iv)每个腔室的壁和隔膜应当是可见的。

根据确定在步骤402中获得的图像不满足相关要求，工作流程400将一个或多个解剖相关结构映射(418)到3D解剖模型。在一些实施例中，工作流程400将一个或多个解剖相关结构映射到3D解剖模型，而不管是否满足相关要求。在一些实施例中，3D解剖模型包括3D模板。将解剖相关结构映射到3D解剖模型可以用于估计由在步骤402收集的图像当前显示的平面(例如，与在步骤402收集的图像相关联的图像平面)。在一些实施例中，解剖相关结构到3D解剖模型的映射包括将医疗专家与分割网络(例如，来自步骤406和/或过程504)结合，以将在步骤402获得的图像映射到模板中。图像相对于模板的相对位置允许工作流程400指导(420)用户收集满足诊断的临床要求的更高质量的新图像。在一些实施例中，反馈在计算机系统的显示器上提供给用户，或者反馈可以显示在收集图像的临床医生或患者的本地装置(例如，手机或平板电脑)上。工作流程400还包括通知用户在步骤402收集的图像如何以及为什么不满足一个或多个要求(例如，为什么图像不具有期望的质量)。在一些实施例中，工作流程400包括接收或生成与优质图像相关联的编译特性集，并且工作流程400还向用户显示信息。与使用黑盒方法(例如，其他深度学习模型)的其他方法不同，所述黑盒方法接收图像作为输入，并且输出决策或建议的动作而不提供任何理由(例如，输出消息，诸如“该图像具有概率55%的较差质量”)，本文描述的方法和系统产生可以由临床用户解释的输出(例如，系统输出：“髂骨不呈现水平”，或“左心室不是完全可见的”)。然后，工作流程400重复通过步骤402。

在一些实施例中，在步骤420中提供的指导包括检索感兴趣的解剖结构的图谱。在一些实施例中，图谱可以包括感兴趣的解剖结构的3D模型，例如图5B中的3D模型530。在一些实施例中，图谱用于确定图像质量和/或提供改进图像质量的指导。在一些实施例中，给定感兴趣的解剖结构的3D模型(例如，3D模型530)和超声图像(例如，图5B中的图像538)，计算装置可以确定(例如，识别) (例如，经由算法)与由超声探头当前获取的解剖结构相对应的解剖平面。

在一些实施例中，计算装置使用经训练的神经网络来确定与其图像当前由超声探头获取的解剖结构对应的解剖平面。在一些实施例中，经训练的神经网络是经训练的CNN。在一些实施例中，经训练的神经网络被配置为输出6维空间中的点，该6维空间指示相对于感兴趣的解剖结构的3D模型的三个位置和三个旋转角度，来自(例如，x、y和z坐标以及俯仰角、滚转角和偏航角)。在一些实施例中，经训练的神经网络可以输出成像平面在x-y、y-z和x-z方向上的角度，以及平面到3D模型的原点的距离。

在一些实施例中，经训练的神经网络提供与6维向量相关联的值作为输出，而不是给出表示概率的向量作为输出。在一些实施例中，也可以提供作为平方误差（squarederrors）的加权和（weighted sum）的损失函数或者适合于不被限制为概率的实值向量的任何其它损失函数作为输出。

在一些实施例中，计算装置通过将角度-距离空间划分成离散类别，并且然后使用输出输入图像的类别的经训练的神经网络来确定与其图像当前由超声探头获取的解剖结构相对应的解剖平面。在一些实施例中，计算装置包括(或通信地连接到)已经用其相对位置标记的图像的库(例如，图像的数据库，如数据库380中的标记的图像392)。计算装置识别图像的库中“最接近”输入图像的图像。这里，最接近是指输入图像和库中的每个其他图像之间的最小距离函数。

在一些实施例中，计算装置计算(例如，测量)在探头位置空间(例如，六维空间，其指示(x，y，z)位置和相对于感兴趣的解剖结构的3D模型在x轴、y轴和z轴上的旋转)中获取的图像与在探头位置空间中将提供更好图像的预测平面之间的相应距离，并且基于计算，确定将指导用户获取所述更好图像的步骤序列。在一些实施例中，计算装置使步骤或指令的序列显示在与超声探头通信连接的显示装置上。

在一些实施例中，代替计算探头位置空间中的当前图像与预测平面之间的距离，计算装置将当前图像分类为n个可能类别中的一个。在一些实施例中，改变超声探头的倾斜可以导致器官(例如，心脏)的不同平面被成像。因为解剖平面的视图在医疗文献中是公知的，所以可以使用卷积神经网络来训练分类器，该分类器识别由在步骤402中获取的图像捕获的当前视图对应于什么。

在一些实施例中，用于实现工作流程400的计算机系统可以是本地计算机系统或基于云的计算机系统。

本文描述的方法和系统不假定或要求最佳图像，或者“最佳图像”对于由超声探头扫描的每个患者将是相同的。“最佳图像”的使用也没有考虑不同人中器官的解剖位置的差异，或者提供为什么在输入图像中观察到大(或小)偏差的任何基本原理。因此，本文描述的方法和系统不包括记录输入图像和最佳图像之间的偏差。本文描述的方法和系统也不涉及训练预测器来估计任何这样的偏差。相反，方法和系统从所获得的图像分割一个或多个相关器官，并提供一组分割掩膜作为预测器的输出。本文描述的方法和系统识别器官在图像中的(一个或多个)相应位置，并且因此对于跨不同人的器官的位置的差异是鲁棒的。

代替基于一组规则训练神经网络以获得量化在输入图像中不存在或存在特定特征的置信度的输出，本文描述的方法和系统利用医疗信息来识别输入图像中的相关解剖结构。这种方法消除了收集训练集合以用于训练神经网络以量化置信度的需要。此外，本文描述的方法和系统基于解剖结构的识别，而不是提供关于一些标志的存在的置信度。

代替确定在步骤402中通过神经网络的输出获取的特定超声图像的质量，这可能暗示神经网络中存在的非校准问题，本文描述的方法和系统另外使用概率方法。在一些实施例中，校准的系统提供对应于真实概率的输出。通常，利用成像数据工作的神经网络执行两个任务：(1)通过在训练示例中寻找图案（patterns）来估计事件的概率，以及(2)找到训练实例与估计概率之间的映射。仅基于对像素的分析来估计概率(如传统方法可能做的那样)需要数十万个图像，这通常是不可获得的。相反，有可能在训练过程期间通过使用概率标记而不是分类标记来直接提供这样的概率。因此，在一些实施例中，为了实现目标，该过程可以涉及使用几个数量级的更少数据来找到输入图像与概率之间的映射的网络。在诊断髋关节发育不良的非限制性示例中，髋臼角度和股骨头的覆盖范围之间的角度提供了对状况的可能性的指示。这种方法可以允许在系统生成校准的输出之前在训练时使用少得多的数据。

图6示出了根据一些实施例的用于将领域特定知识编码到机器学习算法中的多任务方法的示例。图6示出了用于分割获取的图像中的感兴趣的解剖部分的工作流程600。在一些实施例中，获取的图像已经经历了样式移除并且已经被映射到公共空间(例如，公共空间560，如图5A所示)中。图6中所示的示例示出了示意性甲状腺超声图像602。在一些实施例中，工作流程600的输出(例如，自动地或在没有用户输入的情况下)提供掩膜606，该掩膜606使用机器学习算法604来识别身体区域(例如，器官、甲状腺)中的感兴趣的属性(例如，异常、肿瘤)。在一些实施例中，代替识别特定的感兴趣的解剖区域的掩膜606 (例如，仅识别单个感兴趣的解剖区域的掩膜)，工作流程600附加地或替代地提供机器学习算法604作为多任务学习算法。多任务学习算法使用医疗专家知识610来定义新掩膜612，其包含不是感兴趣的解剖区域(例如，肿瘤)的结构608、614、616和618的其他相关解剖结构。在一些实施例中，多任务学习算法生成具有多个特征的输出(例如，不是提供单个确定或特征的输出)。在一些实施例中，由专家手动注释公共空间中的训练图像集合中的附加解剖结构，并且使用手动注释的训练图像来训练机器学习算法604以输出新掩膜612，从而提供医疗专家知识610。在一些实施例中，医疗专家知识610由专家手动注释训练集来提供，该训练集包括新掩膜的集合，该新掩膜包括除了感兴趣的解剖特征之外的多个相关解剖结构。在一些实施例中，可以经由解剖结构的图谱或其他医疗文献来提供医疗专家知识，作为关于可能的相关解剖结构之间的空间关系的信息。在一些实施例中，图谱包括感兴趣的解剖结构(例如，髋、心脏或肺)的三维表示。

在一些实施例中，机器学习算法604可以包括分类器，其识别与图像602相关联的当前视图，并且确定可能与当前视图相关联的相关解剖结构。在一些实施例中，该多任务方法允许机器学习算法604学习可以提高其性能的图像602的更好表示。

图7示出了根据一些实施例的在机器学习模型中结合领域特定知识的示例。图7中示出了包括训练机器学习模型的工作流程700。计算机系统接收(702)用于训练的标记的图像集合作为输入。在一些实施例中，该标记的图像集合包括训练图像，其中标记了图像中存在的一个或多个(例如，所有)相关解剖结构。在一些实施例中，标记的图像集合包括描绘一个或多个健康解剖结构的训练图像和描绘一个或多个患病解剖结构的训练图像。在一些实施例中，除了识别信息之外，还利用位置信息(例如，相对位置信息，包括相对于一个或多个参考平面或相对于另一解剖结构的角度)来标记相应解剖结构。在一些实施例中，相应解剖结构的训练图像被标记有与相应图像对于诊断目的适合程度有关的质量信息(例如，股骨头的可视性的度量、与髂骨相对应的线的水平程度的度量)。在一些实施例中，质量信息包括为超声图像分配质量分数。在一些实施例中，响应于在扫描期间获取到超声图像而自动发生分配质量分数。在一些实施例中，一次一帧地评估图像质量。在一些实施例中，基于新获取的图像以及恰在新获取图像之前获取的一个或多个图像的序列来评估新获取图像的图像质量。计算机系统还接收(704)包含医疗专家知识的编码信息作为输入。

典型的机器学习模型可以接收大量训练数据作为输入。在一些实施例中，当在训练期间结合领域专家知识(例如，医疗专家知识)时，较小的数据集(例如，小得多的数据集)足以用于训练机器学习模型。在一些实施例中，通过向训练图像提供目标标记来编码领域专家知识。在一些实施例中，与使用200个未结合领域专家知识的图像训练的神经网络模型相比，使用200个结合了领域专家知识的图像将输出的准确度提高了额外的15% (例如，从70%到85%)。例如，医疗专家手动注释用于训练图像中存在的相关解剖结构(例如，所有相关解剖结构)的训练图像集。在一些实施例中，使用多任务方法对领域专家知识进行编码。例如，当在多个训练图像中的每一个中注释多个解剖相关结构时，多任务方法允许确定一起出现的相应解剖相关结构的概率分布。在一些实施例中，多任务方法允许网络学习附加图案集。例如，使用标记“肿瘤”和标记“非肿瘤”训练模型可以使系统类似地无差别地对待所有“非肿瘤”区域或区段。这在大多数时间可能不是正确的方法，因为在图像中可能存在彼此非常不同的其他元素(肝、肾、隔膜等)。在一些实施例中，通过在图像中提供与感兴趣的特征(例如肿瘤)不相关的附加标记(例如肾、肝或膀胱)，网络能够学习可以改善其性能的附加图案。与典型的机器学习模型相比，通过将领域专家知识结合到训练数据中，学习机器学习模型的参数的新颖方式使用更小的训练数据集来提供相当的性能。

使用来自步骤702的标记的图像集和来自步骤704的编码的医疗专家知识，计算机系统使用专家知识作为先验来训练(706)机器学习模型。来自步骤706的训练的输出产生预测器，该预测器分析(708)来自超声探头的输入图像，该超声探头获得(710)输入图像。在一些实施例中，在步骤708中输入图像被提供给预测器作为输入之前，处理输入图像以减小或去除以上参考样式移除描述的探头特定的影响。预测器自动分割一个或多个感兴趣的解剖特征，并从步骤710的输入图像中识别(712)相关解剖标志。计算机系统在计算机系统的显示器上显示(714)来自步骤712的输出，或者可以在医疗提供者和/或患者的本地装置(例如，蜂窝电话或平板电脑)上显示该输出。

通常，机器学习利用从存储的训练图像集中提取的存储的数据集(例如，训练数据集)，来从该存储的图像集中自动学习图案。这种机器学习方法可能不同于模式识别方法，在模式识别方法中，预定义待识别的图案，且图案识别模块提供关于预定义图案是否存在于特定输入图像(例如，测试图像或待处理的图像)中的输出。使用机器学习方法，可以提取或学习图案而不需要预先定义图案。例如，概率图模型(PGM)编码在复数域中的概率分布，其中联合(多变量)分布涉及彼此交互的大量随机变量。

在一些实施例中，工作流程400基于与从医疗专家获得的先验相组合的感兴趣的结构的解剖识别，而不是基于组织特征。传统的学习方法通常不允许结合领域专家知识。例如，与完全数据驱动的方法相比，工作流程400不排他地从训练示例中提取信息。完全数据驱动的方法不允许在训练数据集中结合专家领域知识(例如，注释)，因为它们被限制为分析用作系统输入的数据中的图案。相反，工作流程400将医疗专家知识与分割网络相组合，以将图像映射到模板中(例如，图4中的步骤418，并且在图10中进一步描述)，并且然后使用图像相对于模板的相对位置来向用户提供反馈(例如，图4中的步骤420)。

工作流程400提供图像的一系列特征作为输出，将最终诊断留给医疗专家。工作流程400不需要扫描装置的位置和取向，从而消除了对测量这些属性的专用外部传感器的需要。

工作流程400解决领域自适应以确保质量检测工具的成功实现。用不同探头获取的图像产生具有不同概率分布的图像。为了成功地使用任何计算机算法来自动评估图像的质量，工作流程400将获取的图像映射到与装置无关的公共空间中。工作流程400还包括语义图像分割，其适应于感兴趣的解剖结构的形状和位置的不同变化。工作流程400将分割的图像映射到3D模板以建议扫描装置的新定位，而不需要扫描装置的位置和取向。工作流程400将超声图像映射到3D模板，从而允许实时的直接计算移动，而不需要将超声探头的预先计算的移动存储在数据库中。

在一些实施例中，工作流程400关注单个视图中的超声图像的质量，而不是提供从不同视图获取图像的指导。工作流程400不需要来自不同平面的超声图像，或者不需要使用来自一个平面的图像作为在其它平面中获取的其余图像的参考。

本文描述的方法、系统和装置涉及用于在后续检查中分析感兴趣的解剖结构的自动的、与装置无关的方法。在后续检查中，获得感兴趣的解剖结构(例如，患者身体中的异常、器官中的异常或甲状腺中的结节)的超声图像，然后将其与在不同时间点(例如，一个月前、三个月前、一年前)获得的同一个感兴趣的解剖结构的不同(例如，第二)图像进行比较。为了进行有意义的比较，可以获取在探头位置和取向(例如，探头角度)方面尽可能相似的图像。例如，在一些实施例中，为了比较解剖特征的尺寸，从可比视图中的大致同一个平面获得第二图像。

由于超声探头的位置和角度的信息通常不可用(例如，作为与特定获取的超声图像相关联的单独存储的信息，或者作为与获取的超声图像不相关联的元数据)，手动执行后续扫描以跟踪感兴趣的解剖结构可能是具有挑战性的任务。例如，可以由不同的临床医生使用不同的超声系统(例如，由不同的制造商制造的，是与用于收集第一图像的超声系统不同的模型)在不同的医疗设施处进行后续扫描。本文描述的方法、系统和装置涉及寻找、表征和比较在不同时间点获取的两个或更多个超声图像中的感兴趣的解剖结构。可以由不同的专家使用不同的超声探头和探头的不同配置来获取图像。在一些实施例中，不同配置对应于超声探头的不同操作参数集(例如，频率、相位、持续时间、移动方向和/或换能器阵列类型)和/或对超声图像的要求(例如，基于扫描类型、图像的清晰度和/或基于机器学习或其他图像质量评分方法的其他隐藏要求而选择的标志的存在、位置、大小和/或空间关系)。

图8示出了根据一些实施例的用于自动比较在不同时间点获取的感兴趣的解剖结构的两个或更多个诊断图像(例如，超声图像)的工作流程800。在一些实施例中，由与超声探头通信连接的计算装置的一个或多个处理器(例如，（一个或多个）CPU 302)执行工作流程800。例如，在一些实施例中，计算装置是与超声探头通信的服务器或控制台(例如，服务器、独立计算机、工作站、智能电话、平板装置、医疗系统)。在一些实施例中，计算装置是集成到超声探头中的控制单元。在一些实施例中，超声探头是手持超声探头或超声扫描系统。

使用超声探头的获取模态（包括单个(例如，静态) 2D图像、产生针对不同2D平面的一系列(静态)图像的自动扫描(例如，2D扫描)、作为被扫描的解剖结构的实时视频捕获的连续动态影像、或者获取与多个不同2D平面相对应的图像的3D体积的单个扫描(例如，3D扫描)）中的一个或多个来获取第一超声图像。

在一些实施例中，工作流程800将包括感兴趣的解剖区域的第一超声图像映射(802)到与装置无关的公共空间中，如上文参考工作流程400所描述的。利用不同扫描装置或者利用具有不同图像获取参数的同一扫描装置获取的图像可能具有不同的质量。映射校正了这些差异，使得图像的概率分布的差异减小(例如，图像的概率分布基本上相同)。可以手动或自动完成相关解剖结构的识别。在一些实施例中，经由数字图像处理算法或机器学习算法自动完成该过程。

工作流程800从已经被映射到公共空间中的图像中分割(804)相关的解剖结构。如上面参考工作流程400所述，将来自步骤804的分割的解剖结构映射到3D模板。也可以在原始超声图像上或者在被映射到公共共享空间的超声图像上完成步骤804中的分割。在一些实施例中，当使用超声图像时，使用领域自适应技术训练自动分割算法。在一些实施例中，结合关于人体的解剖结构的医疗专家知识或信息以提高分割的质量。分割算法可以识别出现在超声图像上的若干解剖结构，即使不是所有的解剖结构都在后续任务中被分析(例如，类似于图6中描述的多任务场景)。

如图9所示，通过机器学习、计算机视觉或图像处理算法来分析使用超声探头获得的输入图像902。在步骤804中概述的分割过程的输出的示例是分割掩膜904，其自动识别在输入图像902上可见的若干解剖结构。例如，感兴趣的解剖区域906是将被表征的区域，而解剖结构的其余部分可以用于在步骤806期间将区域906映射到模板1000，如下所述。

在一些实施例中，具有领域自适应能力的图像分割算法可以提供良好的性能，而不管用于获取图像的超声装置。领域自适应（domain adaptation）是将在一个或多个“源域”中训练的算法应用于不同的(但是相关的)“目标域”的能力。领域自适应是转移学习的子类别。在领域自适应中，源域和目标域都具有相同的特征空间(但分布不同)；相反，转移学习包括目标域的特征空间不同于一个或多个源特征空间的情况。在一些实施例中，特征空间包括感兴趣的解剖结构的各种特性。与特征空间相关联的不同分布可能是由于探头特定效应所致。换言之，源域可以是使用从第一超声探头获得的图像训练的机器学习训练，并且目标域是针对使用不同于第一超声探头的第二超声探头获得的图像。

工作流程800将从步骤804分割的感兴趣的解剖结构映射(806)到模板中。如图10所示，将感兴趣的解剖区域906的位置映射到公共模板1000中。模板1000在不同解剖区域的位置处具有标记1002、1004、1006、1008、1010、1012和1014。在一些实施例中，该位置包括一组坐标，或指示出现在图像902上的感兴趣的解剖区域906的相对位置的任何其他标识符。

在一些实施例中，在识别出感兴趣的解剖结构之后，工作流程800包括通过在表示器官的解剖结构的模板上放置标记来存储结构的位置信息。在一些实施例中，模板是器官(例如，甲状腺)的简化表示，并且标记是指示感兴趣的解剖结构(例如，甲状腺结节)的位置的一组坐标。在一些实施例中，感兴趣的解剖结构的位置信息被用于随后的复查检查(例如，在步骤814中，如下所述)，以在稍后获取的图像中快速识别感兴趣的解剖结构。

工作流程800使用机器学习方法来表征(808)解剖特征。在一些实施例中，使用与参考图4中的步骤410描述的类似的机器学习方法。在一些实施例中，如图11所示，由一组临床相关特征来表征感兴趣的解剖区域906。例如，临床医生可以首先从待分析图像中902选择感兴趣的解剖区域906。在一些实施例中，所述选择包括在待分析结构周围创建第一边界框1102和第二边界框1104。然后，步骤808包括在边界框1102和1104内提供感兴趣的解剖结构的更精细的分割掩膜1106和1108。

步骤808还包括提取与感兴趣的解剖区域906临床相关并代表感兴趣的解剖区域906的一组特征。图12示出了可以提取的一个可能特征。步骤808包括选择第一边界框1202和第二边界框1204，用于识别两个边界框内的感兴趣的解剖区域906的状态。与第一边界框1202和第二边界框1204中的每一个相对应的细化的分割掩膜识别感兴趣的解剖区域906内的固体部分和囊性(液体)部分。还可以提取进一步的统计数据，例如结节内的固体组织的百分比，和/或结节的形状和大小。

在存储了感兴趣的解剖结构的位置之后，使用机器学习算法从这种感兴趣的解剖结构中提取一组特征，这些特征是在临床上相关的以提供诊断。例如，在甲状腺结节的分析中，工作流程800可包括计算结节的TIRADS得分。通过表征结节的组成、回声性、边缘、大小和回声病灶来计算该得分。可以通过数字图像处理、机器学习和/或计算机视觉算法的组合来获得这种表征。与感兴趣的解剖结构的表征相关的所有特征也可以存储在本地计算机系统或基于云的数据库上，以便将来在复查检查中使用。

可以由第一临床医生使用第一超声系统在第一时间范围内在第一医疗设施处进行步骤802、804、806和808。在一些实施例中，在与第一时间范围分离的第二时间范围内获取第二超声图像(例如，第二时间范围比第一时间范围晚一个月，第二时间范围比第一时间范围晚三个月，第二时间范围比第一时间范围晚六个月，或第二时间范围比第一时间范围晚一年或更多)。

在复查检查期间，获取感兴趣的解剖区域的新图像。工作流程800将第二图像映射(810)到公共共享空间中。然后，工作流程800从第二图像分割(812)相关的解剖结构。此后，工作流程800在如步骤806中所确定的模板中的解剖结构的位置周围进行局部搜索(814)。在一些实施例中，工作流程800通过从第一检查的第一超声图像导出的感兴趣的解剖结构的坐标为中心的窗口中执行局部搜索，来分割感兴趣的解剖结构。可以手动地执行或者通过分割算法自动地执行这种分割过程。例如，使用模板1000上的标记1002、1004、1006、1008、1010、1012和1014(图10)，步骤814包括在第二图像(例如，在第二时间范围内获取的新图像)上局部搜索感兴趣的解剖区域906。在一些实施例中，临床医生在以标记1002、1004、1006、1008、1010、1012和1014中的一个或多个为中心的窗口中选择围绕感兴趣的解剖结构的边界框。

基于来自步骤814的搜索结果，工作流程800使用机器学习方法来表征(816)解剖特征。在一些实施例中，一旦在第二图像中分割了感兴趣的解剖结构，就使用与用于表征来自第一图像的感兴趣的解剖结构的同一个特征集，来表征感兴趣的解剖结构。

可以由不同的临床医生使用不同的超声系统在不同的医疗设施处在不同于第一时间点的第二时间范围内进行步骤810、812、814和816。

然后，工作流程800基于来自步骤808和来自步骤816的第一图像和第二图像中表征解剖特征的信息，来比较(818)两个图像818之间的变化。在一些实施例中，基于来自步骤818的比较结果，工作流程800还突出显示从第一图像和第二图像提取的特征之间的差异，并向临床医生显示该差异。

工作流程800更新(820)报告并显示(822)与两个获取的图像中涉及的医疗状况相关的指导。例如，指导可以是确定可能的下一步的最最新的官方临床指导。如果下一步包括另一复查扫描，则工作流程800还存储与将来执行数据分析相关的信息(例如，关于超声探头的操作参数(强度、幅度、频率)的信息和/或关于超声探头的定位的信息)。在一些实施例中，工作流程800包括生成或更新报告，其指示在原始扫描上和在复查扫描上识别出的感兴趣的对象的特性之间的临床相关差异。例如，比较可以包括感兴趣的解剖结构的大小、类别或任何其他相关的临床特征的变化。

在一些实施例中，工作流程800不基于卷积神经网络，而是使用概率图模型、图像处理和机器学习方法来预测TIRADS分级。在一些实施例中，工作流程800包括使用U-Net，其产生感兴趣的解剖结构(例如，结节)的边界的粗略估计，而不是使用基于椭圆拟合的分割方案(例如，结节分割)。

与在医疗程序(例如，放射治疗)期间实时或接近实时地跟踪感兴趣的解剖对象相比，工作流程800包括在更长的时间段上跟踪感兴趣的解剖区域中的变化(或其缺失)。对于后者，感兴趣的解剖区域的位置、取向和特征的实时变化相对较小，并且通常至少对于正在执行超声扫描的临床医生是已知的。为了比较较长时间段内的变化，许多因素可能显著变化，例如用于跟踪感兴趣的解剖区域的硬件、患者的位置、探头的取向和位置。当后续图像在稍后的时间被获取时，关于第一图像的图像获取协议的大部分信息可能是未知的，这可能使得获取任务更加困难。

工作流程800可用于检测骨骼以及软组织。工作流程800可以 (例如，在最初在较早时间点获取的图像与在稍后的复查扫描中获取的图像之间)自动执行差异分析以用于诊断目的，而无需直接用户输入或干预(例如，无需由临床医生手动分析)。在一些实施例中，工作流程800不旨在可视化在不同时间点获取的图像。在一些实施例中，工作流程800不包括针对在两个不同时间点获取的图像的配准步骤（registration step）。配准步骤对于超声图像可能是非常困难的，因为可以从不同的角度和位置获取超声图像，使得两个图像之间可能不存在对应关系。工作流程800通过不包括配准步骤而避开该问题，并且替代地将感兴趣的解剖特征映射到公共空间(例如，图8中的步骤806)，该公共空间指示感兴趣的对象或结构所在的解剖区域。换句话说，将两个超声图像映射到共同坐标空间，而不特意配准图像(例如，不将一个图像与另一个图像进行比较，并且基于所述比较确定坐标变换)，允许即使超声图像没有完全配准，也能确定感兴趣的解剖结构的近似位置。

在一些实施例中，工作流程800从获取的超声图像中提取特征，然后比较特征空间中的图像，避免了存储、渲染和覆盖图像的需要。例如，工作流程800不包括：执行感兴趣的解剖结构(例如，肿瘤)的3D渲染，然后覆盖两个渲染的病变或感兴趣的区域以进行比较。工作流程800包括将超声图像映射到特征空间，在比较在特征空间中提取的特征之前计算该新空间中的一组度量。因此，在一些实施例中，工作流程800不直接测量图像空间中的特征的解剖结构中的体积差异。相反，工作流程800通过一组测量(例如，TIRADS得分的类别)表征感兴趣的对象(或解剖结构)，然后显示这种测量在两个时间点或时间范围之间的变化。工作流程800不需要访问两个超声图像来进行比较，因为这个过程可以对每个图像独立地进行，并且工作流程800比较所提取的特征。

在一些实施例中，工作流程800独立地识别在第一时间范围获取的图像集中的感兴趣的解剖区域和在第二时间范围获取的图像集中的感兴趣的解剖区域，而不是基于(在较早时间范围期间获得的)第一图像集的分割来分割(在较晚时间范围期间获得的)第二图像集中的感兴趣的解剖区域。

工作流程800解决了领域自适应的问题，该问题使得在不同协议下或利用不同硬件获取的图像可能不兼容。在一些实施例中，工作流程800还消除了检测标志和参考点以在两个不同时间点比较感兴趣的解剖对象的需要。

图13A至图13C示出根据一些实施例的指导超声探头(例如，以实现随着时间跟踪结构、解剖结构、与使用超声探头的超声成像的解剖结构相关联的成像伪影的诊断目标)的方法1300的流程图。在一些实施例中，超声探头(例如，超声装置200)是手持超声探头或具有自动探头的超声扫描器。在一些实施例中，在包括一个或多个处理器(例如，（一个或多个）CPU 302)和存储器(例如，存储器306)的计算装置(例如，计算装置130或计算装置300)处执行方法1300。例如，在一些实施例中，计算装置是与手持超声探头或超声扫描系统通信的服务器或控制台(例如，服务器、独立计算机、工作站、智能电话、平板装置、医疗系统)。在一些实施例中，计算装置是集成到手持超声探头或超声扫描系统中的控制单元。

在包括一个或多个处理器和存储器以及可选地包括超声装置的计算机系统处，计算机系统获得(1302)在第一时间使用第一探头装置获取的被探测区域的第一帧，以及用于获取第一帧的第一组控制参数。计算机系统处理(1304)第一帧(例如，第一帧是从与测量体积内的不同平面相对应的第一多个图像帧中选择的图像帧；测量体积在单次扫描中获得；在一些实施例中，机器学习(ML)用于从多个图像帧中选择第一帧)以获得第一组属性。在一些实施例中，如本文所使用的术语“属性”广泛地涵盖与“特征”以及“结构”相关的特性，例如，亮度、图像质量和与图像获取相关的其它参数。在一些实施例中，第一图像的属性是指出现在第一图像中的特征或信号，或者可以指解剖结构的属性。特征可以指内容图像（如，可以从第一帧的其他内容分割的内容图像）的方面。在一些实施例中，处理第一帧包括：至少部分地基于第一组控制参数在第一帧中减小一个或多个第一探头特定效应之后，从第一帧分割一个或多个特征(例如，一个或多个属性包括特征的大小、特征的特性；特征是固体还是液体；特征附近的几何布置)。处理第一帧可以包括：运行特征提取；调整像素尺寸，消除特定于探头装置的噪声分布；以及重新缩放与像素相关联的值的幅度(例如，包括通过机器学习确定重新缩放的值)。

根据确定第一帧包含存在于第二帧中的相应属性，其中所述第二帧使用第二组控制参数在早于第一时间的时间获取：计算机系统基于第一帧和第二帧在用户界面上显示(1318)与相应属性的差异有关的信息。在一些实施例中，相应属性对应于解剖结构或伪影。在一些实施例中，多个解剖结构用于多任务机器学习过程。例如，该信息涉及第一时间与较早时间之间的结构的变化(例如，结构的大小、结构的位置和/或结构的数量的变化)。该信息还可以包括基于该变化显示附加医疗信息。在一些实施例中，医疗信息包括临床指导，其具有基于变化而采取的建议的行动过程。在一些实施例中，第二组控制参数与用于获取第一帧的相应的一组控制参数相同。在一些实施例中，第二组控制参数不同于用于获取第一帧的相应的一组控制参数。

在第二帧中减小一个或多个第二探头特定效应之后，通过处理从第二帧分割的一个或多个特征来获得第二帧。例如，降低第二探头特定效应包括消除第二探头特定效应。通过以下来减小探头特定效应：将第一帧映射到公共共享空间中；运行特征提取；调整像素尺寸；和/或消除特定于第二探头装置的噪声分布。在一些实施例中，消除噪声分布包括重新缩放像素值的大小，并且重新缩放的范围由机器学习算法确定。

在一些实施例中，在第一帧中减小一个或多个第一探头特定效应包括从由以下组成的组中选择的一个或多个元素：预处理(1306)第一帧以考虑第一组控制参数和第二组控制参数，以及从第一帧去除噪声。

在一些实施例中，预处理第一帧以考虑第一组控制参数包括：调整第一帧中的像素的尺寸(1308)，并且从第一帧去除噪声包括：使用特定于第一探头装置的噪声分布从第一帧减去噪声，并且重新缩放与第一帧中的相应像素相关联的值的幅度。

在一些实施例中，将与相应像素相关联的值的幅度重新缩放到重新缩放的范围包括：使用机器学习来动态地(例如，在获取每个附加帧之后)确定(1310)重新缩放的范围。在一些实施例中，使用较低分辨率和/或以其他方式与装置无关的降噪的帧来训练机器学习模型。

在一些实施例中，从第一帧分割一个或多个特征包括：使用从第二帧导出的一个或多个空间位置，来从第一帧分割(1312)一个或多个特征。在一些实施例中，基于从第二帧导出的空间位置将第一帧分割成一个或多个特征包括：从模板获得(1314)空间位置。方法还包括：在以与空间位置相对应的坐标为中心的窗口中执行局部搜索。例如，一个或多个特征的坐标是公共共享空间中的坐标，并且第二修改的帧的分割结果的子集包括一个或多个特征。

在一些实施例中，显示与结构中的差异有关的信息包括：显示(1320)关于临床相关的一个或多个分割特征的变化(例如，移动、变形、尺寸超过预定义变化的变化)的信息。

在一些实施例中，处理从第二帧分割的一个或多个特征包括：将一个或多个特征映射(1322)到模板上。在一些实施例中，将一个或多个特征映射到模板中包括：将第一/第二帧映射到公共共享空间中。在一些实施例中，模板包括3维解剖模型。在一些实施例中，模板是特征表征的阵列，每个特征表征具有相应的值，并且模板不是3D解剖模型。

在一些实施例中，模板包括一个或多个标记，所述一个或多个标记识别(1324)一个或多个感兴趣的解剖区域的位置，所述一个或多个感兴趣的解剖区域包括相应属性位于其中的第一感兴趣的解剖区域。该位置可以包括一组坐标，或者包括指示获取的图像内的感兴趣的解剖区域的相对位置的任何其他标识符。

在一些实施例中，使用与第一探头装置不同的第二探头装置来获取(1316)第二帧。在一些实施例中，当第二探头装置具有不同模型或由不同制造商制造、具有不同硬件配置或具有不同的一组控制参数时，第二探头装置不同于第一探头装置。在一些实施例中，用不同探头或用不同设置获取的图像具有不同的外观。在一些实施例中，由不同探头或探头的不同配置生成的图像是来自像素/体素的强度上的不同概率分布的样本。

在一些实施例中，计算机系统还包括根据确定第一帧未能满足与感兴趣的解剖区域相关的第一标准(例如，第一标准是经由带注释训练图像集提供的领域特定要求，其中所述带注释训练图像集包括感兴趣的解剖区域的边界)：提供(1326)用于将第一探头装置定位在与获取第一帧的位置不同的位置处的指导(例如，在用户界面上显示，或提供音频指导反馈)。例如，不同位置具有相同的x、y、z坐标但不同的旋转角度，以获得感兴趣的解剖区域内的结构的第三帧，其中第三帧与第一帧相比具有更高的图像质量度量。在一些实施例中，图像质量度量指示所获得的帧与结构的感兴趣的解剖区域的期望图像平面对应的接近程度。

在一些实施例中，计算机系统还基于一个或多个特征生成(1328)统计模型，以确定第一帧中感兴趣的解剖区域的存在。例如，该结构在感兴趣的解剖区域中；一个或多个特征包括解剖相关的标志。在一些实施例中，标志被用作统计形状模型中的先验，以细化感兴趣的解剖区域的边界。

在一些实施例中，计算机系统还包括：根据确定已经满足与感兴趣的解剖区域相关的第一标准，计算(1330)与结构相关联的感兴趣的度量。在一些实施例中，感兴趣的度量涉及结构的尺寸，感兴趣的度量涉及与结构相关联(或在该结构与另一元件之间)的角度。在一些实施例中，方法还包括显示所计算的感兴趣的度量。

在一些实施例中，计算机系统还通过在第三帧中的一个或多个探头特定效应被减小之后从第三帧分割一个或多个特征，来处理(1332)第三帧，并且基于第三帧和第二帧在用户界面上显示与结构中的差异有关的信息。在一些实施例中，从与第二帧近似相同的平面和/或在与第二帧相当的视场(对应于与目标解剖结构的期望解剖平面相匹配的一个或多个解剖平面)中获得第三帧。

在一些实施例中，从第一图像分割的一个或多个特征包括(1336)对第一探头装置不变的特征。

在一些实施例中，通过从在扫描中获取的多个帧中选择(1338)帧来获得第一帧。在一些实施例中，计算机系统还获得(1340)使用第二探头装置获取的被探测区域的第二帧，以及用于获取第二帧的第二组控制参数；以及处理第二帧以获得第二帧的第二组属性。在一些实施例中，处理第二帧包括：至少部分地基于第二组控制参数在第二帧中减小一个或多个第二探头特定效应之后，从第二帧分割一个或多个特征。

图14示出了根据一些实施例的指导超声探头(例如，以实现随着时间跟踪结构、解剖结构、与使用超声探头的超声成像的解剖结构相关联的成像伪影的诊断目标)的方法1400的流程图。在一些实施例中，超声探头(例如，超声装置200)是手持超声探头或具有自动探头的超声扫描器。在一些实施例中，在包括一个或多个处理器(例如，（一个或多个）CPU302)和存储器(例如，存储器306)的计算装置(例如，计算装置130或计算装置300)处执行方法1400。例如，在一些实施例中，计算装置是与手持超声探头或超声扫描系统通信的服务器或控制台(例如，服务器、独立计算机、工作站、智能电话、平板装置、医疗系统)。在一些实施例中，计算装置是集成到手持超声探头或超声扫描系统中的控制单元。

在包括一个或多个处理器和存储器以及可选地包括超声装置的计算机系统处，计算机系统显示(1402)用户界面，所述用户界面用于呈现对使用第二探头装置获得的结构的第二帧的分析。例如，第二帧是从与测量体积内的不同平面相对应的第二多个图像帧中选择的图像帧。在一些实施例中，通过单次扫描获得测量体积。在一些实施例中，机器学习用于从多个图像帧中选择第二帧，第二帧具有与结构相关联的最高质量度量。在一些实施例中，第二探头装置与第一探头装置相同。在一些实施例中，第二探头装置不同于第一探头装置。在一些实施例中，在相应属性的第一帧之后的第二时间获得结构的第二帧。例如，第一帧是从与测量体积内的不同平面相对应的第一多个图像帧中选择的图像帧。在一些实施例中，通过单次扫描获得测量体积。在一些实施例中，机器学习算法用于从多个图像帧中选择第一帧，第一帧具有与结构相关联的最高质量度量。在一些实施例中，在第一时间使用第一探头装置获得第一帧。在一些实施例中，第一探头装置与第二探头装置相同。在一些实施例中，第一探头装置不同于第二探头装置。

计算机系统基于第一帧和第二帧在用户界面上显示(1404)与结构中的差异有关的信息，其中，通过在第二帧中减小一个或多个探头特定效应之后处理从第二帧分割的一个或多个特征，并且使用从第一帧导出的一个或多个空间位置，来表征该差异。

在一个方面，一种电子装置包括一个或多个处理器；以及存储指令的存储器，所述指令在由一个或多个处理器执行时使得电子装置执行上文参照图13A至图13C和图14描述的方法。

在另一方面，一种非暂态计算机可读存储介质，其上存储有程序代码指令，所述程序代码指令在由处理器执行时使处理器执行上文参照图13A至图13C和图14描述的方法。

在另一方面，一种电子装置包括输入单元，其被配置为接收使用具有多个换能器的第一探头装置获取的被探测区域的第一帧和用于获取第一帧的第一组控制参数。在一些实施例中，第一探头装置是手持超声探头、超声扫描器，超声探头通信地连接到电子装置。电子装置包括存储器单元，其被配置为存储与使用第二组控制参数获取的第二帧相关联的数据。电子装置包括处理单元(例如，处理单元包括一个或多个处理器和存储器、控制电路系统、ASIC和/或其他电气和半导体控制器)，其被配置为：获得第一帧的一个或多个属性；至少部分地基于第一组控制参数、在第一帧中减小一个或多个探头特定效应之后，从第一帧分割一个或多个特征，处理单元还被配置为处理在第二帧中减小一个或多个探头特定效应之后，从第二帧分割的一个或多个特征，以获得与记录在第一帧和第二帧中的结构的差异有关的信息；以及用户界面，其被配置为显示与结构中的差异相关的信息。

尽管各种附图中的一些附图以特定次序说明若干逻辑级，但可重新排序不依赖于次序的级，且可组合或分离其它级。虽然具体地提及了一些重新排序或其他分组，但是其他重新排序对于本领域普通技术人员来说是显而易见的，因此本文所呈现的排序和分组不是备选方案的穷举列表。此外，应当认识到，可以以硬件、固件、软件或其任意组合来实现这些级。

还将理解，尽管术语第一、第二等在一些情况下在本文中用于描述各种元件，但是这些元件不应由这些术语限制。这些术语仅用于将一个元件与另一个元件区分。例如，在不脱离各种所述实施方式的范围的情况下，第一换能器可以被称为第二换能器，并且类似地，第二换能器可以被称为第一换能器。第一传感器和第二传感器都是传感器，但是它们不是相同类型的传感器。

本文描述的各种实施方式的描述中使用的术语仅是为了描述特定实施方式，而不是旨在限制。如在各种描述的实施方式和所附权利要求的描述中使用的，单数形式“一个（a和an）”和“该（the）”旨在也包括复数形式，除非上下文另外清楚地指示。还将理解，如本文所使用的术语“和/或”指代并涵盖相关联的所列项目中的一个或多个的任何和所有可能的组合。还将理解，术语“包括（includes、including、comprises和/或comprising）”在本说明书中使用时指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其组的存在或添加。

如本文所用，术语“如果”可选地被解释为意指“当……时”或“在……时”或“响应于确定”或“响应于检测”或“根据确定”，这取决于上下文。类似地，短语“如果确定”或“如果检测到[所述条件或事件]”可选地被解释为意指“在确定时”或“响应于确定”或“在检测到[所述条件或事件]”或“响应于检测到[所述条件或事件]”或“根据检测到[所述条件或事件]的确定”，这取决于上下文。

为了解释的目的，已经参考特定的实施方式描述了前面的说明。然而，以上说明性讨论不旨在是穷尽的或将权利要求的范围限制到所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。选择这些实施方式是为了最好地解释权利要求及其实际应用的基本原理，从而使本领域的其他技术人员能够最好地使用具有各种修改的实施方式，以适合于所设想的特定用途。

Claims (23)

1.一种方法，包括：

在包括一个或多个处理器和存储器的计算机系统处：

获得在第一时间使用第一探头装置获取的被探测区域的第一帧、以及用于获取所述第一帧的第一组控制参数；

处理所述第一帧以获得所述第一帧的第一组属性，其中，处理所述第一帧包括：至少部分地基于所述第一组控制参数在所述第一帧中减小一个或多个第一探头特定效应之后从所述第一帧分割一个或多个特征；

根据确定所述第一帧包含存在于第二帧中的相应属性，其中所述第二帧使用第二组控制参数在早于所述第一时间的时间被获取：

基于所述第一帧和所述第二帧，在用户界面上显示与相应属性的差异有关的信息，其中，所述第二帧是在所述第二帧中减小一个或多个第二探头特定效应之后，通过处理从所述第二帧分割的所述一个或多个特征而获得的。

2.根据权利要求1所述的方法，其中，在所述第一帧中减小所述一个或多个第一探头特定效应包括选自由以下组成的组的一个或多个元素：预处理所述第一帧以考虑所述第一组控制参数和所述第二组控制参数，以及从所述第一帧中去除噪声。

3.根据权利要求2所述的方法，其中，预处理所述第一帧以考虑所述第一组控制参数包括：调整所述第一帧中的像素的大小，且从所述第一帧中去除噪声包括：使用特定于所述第一探头装置的噪声分布从所述第一帧减去噪声，以及重新缩放与所述第一帧中的相应像素相关联的值的幅度。

4.根据权利要求3所述的方法，其中，将与所述相应像素相关联的值的幅度重新缩放到重新缩放的范围包括：使用机器学习来动态地确定所述重新缩放的范围。

5.根据权利要求1所述的方法，其中，从所述第一帧分割所述一个或多个特征包括：使用从所述第二帧导出的一个或多个空间位置从所述第一帧分割所述一个或多个特征。

6.根据权利要求5所述的方法，其中，基于从所述第二帧导出的所述空间位置将所述第一帧分割成所述一个或多个特征包括：从模板获得所述空间位置，且所述方法还包括：在以与所述空间位置相对应的坐标为中心的窗口中执行局部搜索。

7.根据权利要求1所述的方法，其中，显示与相应属性中的差异有关的信息包括：显示关于临床相关的所述一个或多个分割特征的变化的信息。

8.根据权利要求1所述的方法，其中，处理从所述第二帧分割的所述一个或多个特征包括：将所述一个或多个特征映射到模板上。

9.根据权利要求8所述的方法，其中，所述模板包括识别一个或多个感兴趣的解剖区域的位置的一个或多个标记，所述一个或多个感兴趣的解剖区域包括所述相应属性位于其中的第一感兴趣的解剖区域。

10.根据权利要求1所述的方法，其中，所述第二帧是使用不同于所述第一探头装置的第二探头装置获取的。

11.根据权利要求1所述的方法，还包括：

根据确定所述第一帧未能满足与感兴趣的解剖区域相关的第一标准：

提供指导以将所述第一探头装置定位在与获取所述第一帧的位置不同的位置处，以获得所述感兴趣的解剖区域内的结构的第三帧，所述第三帧具有比所述第一帧更高的图像质量度量。

12.根据权利要求11所述的方法，还包括：基于所述一个或多个特征生成统计模型，以确定所述第一帧中感兴趣的解剖区域的存在。

13.根据权利要求11所述的方法，还包括：根据确定已经满足与所述感兴趣的解剖区域相关的第一标准，计算与所述结构相关联的感兴趣的度量。

14.根据权利要求11所述的方法，还包括：通过在所述第三帧中减小一个或多个探头特定效应之后，从所述第三帧分割一个或多个特征来处理所述第三帧；以及基于所述第三帧和所述第二帧，在所述用户界面上显示与所述结构中的差异相关的信息。

15.根据权利要求14所述的方法，其中，所述第三帧是从与所述第二帧近似相同的平面和/或在与所述第二帧相当的视场中获得的。

16.根据权利要求1所述的方法，其中，从所述第一帧分割的所述一个或多个特征包括对所述第一探头装置不变的特征。

17.根据权利要求1所述的方法，其中，通过从在扫描中获取的多个帧中选择帧来获得所述第一帧。

18.根据权利要求1所述的方法，还包括：

获得使用第二探头装置获取的所述被探测区域的所述第二帧，以及用于获取所述第二帧的所述第二组控制参数；以及处理所述第二帧以获得所述第二帧的第二组属性，其中，处理所述第二帧包括：至少部分地基于所述第二组控制参数在所述第二帧中减小一个或多个第二探头特定效应之后，从所述第二帧分割一个或多个特征。

19.一种方法，包括：

在包括一个或多个处理器和存储器的计算机系统处：

显示用户界面，所述用户界面用于呈现对使用第二探头装置获得的结构的第二帧的分析，其中，在使用第一探头装置在第一时间获得相应属性的第一帧之后，在第二时间获得所述结构的所述第二帧；以及

基于所述第一帧和所述第二帧，在所述用户界面上显示与所述结构中的差异有关的信息，其中，所述差异通过在所述第二帧中减小一个或多个探头特定效应之后处理从所述第二帧分割的一个或多个特征、并且使用从所述第一帧导出的一个或多个空间位置来表征。

20.一种电子装置，包括：

一个或多个处理器；以及

存储器，所述存储器存储指令，所述指令在由所述一个或多个处理器执行时使所述电子装置执行根据权利要求1至19中任一项所述的方法。

21.一种非暂态计算机可读存储介质，其上存储有程序代码指令，所述程序代码指令在由处理器执行时，使所述处理器执行根据权利要求1至19中任一项所述的方法。

22.一种超声探头，包括：

多个换能器；

一个或多个处理器；以及

存储一个或多个程序的存储器，所述一个或多个程序包括指令，所述指令在由所述一个或多个处理器执行时，使所述一个或多个处理器执行包括以下的操作：

获得在第一时间使用第一探头装置获取的被探测区域的第一帧、以及用于获取所述第一帧的第一组控制参数；

处理所述第一帧以获得所述第一帧的第一组属性，其中，处理所述第一帧包括：至少部分地基于所述第一组控制参数在所述第一帧中减小一个或多个第一探头特定效应之后，从所述第一帧分割一个或多个特征；

根据确定所述第一帧包含存在于第二帧中的相应属性，其中所述第二帧使用第二组控制参数在早于所述第一时间的时间被获取：

基于所述第一帧和所述第二帧，在用户界面上显示与相应属性中的差异有关的信息，其中，所述第二帧是在所述第二帧中减小一个或多个第二探头特定效应之后，通过处理从所述第二帧分割的所述一个或多个特征而获得的。

23.根据权利要求22所述的超声探头，其中，所述存储器存储用于执行根据权利要求2至19中任一项所述的方法的指令。