CN118695814A - 胎儿心率监测 - Google Patents

Abstract

本发明涉及一种超声胎儿心率监测系统(100)。被放置在产妇腹部的超声探头提供传感器数。所述超声探头首先以成像模式操作，以从所述超声探头获得超声图像。将经训练的物体检测模型应用于所述超声图像，以确定胎儿心脏是否位于可通过所述超声探头的多普勒模式寻址的所述超声图像的目标区域。如果所述胎儿心率位于所述目标区域：将所述超声探头切换到所述多普勒模式；从所述超声探头获得多普勒超声信号；并且，根据所述多普勒超声信号来计算所述胎儿心率。

Description

胎儿心率监测

技术领域

本发明涉及一种超声胎儿心率监测系统，并且涉及一种对应的计算机实施的超声胎儿心率监测方法。本发明还涉及一种计算机可读介质。

背景技术

分娩期间的并发症可能影响母亲和新生儿两者的安全。全世界每年约有500,000名产妇因生育期间的并发症而死亡。约七百万女性在分娩后有严重的长期问题，并且有五千万女性在分娩后面临对她们健康的负面影响。

胎儿心率是用于评估分娩期间胎儿健康状况的一条重要信息。如今，为此目的，通常使用基于多普勒超声的胎儿监测器。多普勒效应可以用于基于测量到的频移来计算胎儿心率。可以使用多个超声换能器元件基于元件中接收到的多普勒信号的功率来测量胎儿心率。

遗憾的是，现有的胎儿监测器使用起来既复杂又耗时，尤其是由于手动(重新)定位胎儿监测器的换能器。对于fHR测量的可靠性而言，重要的是胎儿心脏位于超声射束内。在临床实践中，临床医师触诊产妇腹部，以识别胎先露，并然后超声换能器被固定在产妇腹部上，在其上获得最佳fHR信号。寻找最优换能器位置是基于聆听多普勒音频输出的强度和/或基于信号质量指示器来完成的。由于超声换能器的位移或胎儿心脏移出超声射束，可能丢失fHR信号。因此，产科医师往往需要重复繁琐的超声换能器定位程序，以避免长时间的fHR信号丢失。另外，缺点在于，使用仪器的人需要受过良好培训，尤其是因为存在胎儿监测器将(例如从脐带或其他产妇血管捕获的)产妇心率当作胎儿心脏的风险。

欧洲专利EP 3454758 B1公开一种用于在胎儿健康监测期间确定超声换能器的最佳位置的方法。使用具有中心压电元件和绕其一圈布置的附加压电元件的超声设备。所述设备支持位置支持模式和胎儿心率模式。在位置支持模式中，换能器的一个元件用于生成超声信号，并且在各自的元件处接收信号的超声回波，以确定各自的多普勒信号。通知用户哪个换能器具有最强的多普勒信号强度，因此帮助用户重新定位设备，使得中心元件具有最强的信号。在胎儿心率模式中，全部的压电元件都用于发射和接收两者，以创建胎儿心率的总体多普勒信号。

发明内容

提供一种用于胎儿心率监测的系统将是有益的，所述系统更好地帮助确保所使用的超声探头的正确放置，例如对于诸如家庭监测期间没有经验的用户。

根据本发明的第一方面，提供分别如权利要求1和14所述的一种超声胎儿心率监测系统和对应的方法。根据本发明的另一方面，提供一种如权利要求15所述的计算机可读介质。

各个方面涉及通过使用超声探头来监测胎儿心率，以获得多普勒超声信号。所述多普勒超声信号可以指示测量体积的频移。基于该频移，可以确定胎儿心率。具体地，众所周知，通过确定心脏的壁的移动速度和/或方向，可以确定胎儿心率。在大多数情况下，多普勒超声信号是以所谓的脉冲波(PW)多普勒模式获得的。在PW多普勒模式中，可以发射多个脉冲，并且所发射的脉冲的相对相位变化可以用于导出频移，并且由此导出速度和/或方向。作为对使用PW多普勒的替代，也有可能使用连续波(CW)多普勒。在CW多普勒中，可以连续地发射和接收声波，以允许记录沿限定路径的各自的速度。

为了确保多普勒超声信号确实表示对胎儿心脏的测量，而不是例如产妇血管的搏动，本发明人设想使用也可以以成像模式来操作以获得超声图像的超声探头。具体地，不同于通常用于多普勒超声的探头，所述探头可以装备有换能器的相控阵列，例如1D或2D相控阵列。可以将超声图像数据输入到物体检测模型，以确定胎儿心脏是否位于超声图像的通过超声探头的多普勒模式可寻址的目标区域。例如，成像模式可以是所谓的B模式(亮度模式)，也称2D模式。例如，换能器的1维相控阵列可以用于扫描穿过测量体积的平面，从而获得2D超声图像，换言之，2D超声扫描帧。

尽管超声成像本身是众所周知的，但因为它一般要求高培训强度来操作(包括采集和解读)数据，以及因为目前的尺寸规格不适用于监测目的，因此它如今并未广泛用于产程活跃期。然而，本发明人发现，通过使用超声成像确定胎儿心脏是否位于目标区域，它仍可以有利地用于基于多普勒的胎儿心率监测的背景。

可以将经训练的物体检测模型应用到以成像模式获得的超声图像。物体检测模型可以被配置为定位超声图像中的胎儿心脏，例如(如果检测到)以输出超声图像中的胎儿心脏的位置，或者输出根本没有检测到胎儿心脏。如果检测到的位置落入某个目标区域，则可以将超声探头切换到多普勒模式以测量胎儿心率，例如通过使用相控阵列的换能器中也被用于成像的一个，如上所述的。

所提供的方法具有许多优点。由于使用被应用于超声图像的经训练的物体检测模型，可以以高可靠性定位胎儿心脏。因此，在识别出胎儿心脏的情况下，当切换到多普勒模式时测量的胎儿心率更有可能得到准确测量。使用超声图像允许利用超声传感器的成像功能。利用这种最新可用的视觉信息，可以利用诸如卷积神经网络的现代物体检测模型。物体检测技术可以提供优异的性能，并且可以实时或接近实时地在适当的硬件上运行。改善的准确度的一个原因在于，物体检测模型作用于超声图像而不是多普勒信号。这意味着，为了定位胎儿心脏，例如即使针对分娩中期过程，所述模型都可以使用产妇腹部和/或胎儿的解剖结构的其他部分。例如，胎儿脊柱或胫骨在超声图像中是可见的，不同于在多普勒数据中。即使在物体检测模型仅被训练为识别胎儿心脏时，它也可以隐含地使用这种其他信息。

而且，由于识别是视觉的，而非基于多普勒信号，消除了将胎儿心脏与产生多普勒信号的其他源混淆的风险。当依赖于最强的多普勒信号强度时，该方法自身并不保证正在测量的是胎儿心脏而不是在想要的基带中产生多普勒频移(Doppler shift)的另一解剖结构。由于视觉识别独立于胎儿心脏自身或是由任意其他血管产生的多普勒频移，因此其准确度以及因此其安全性也得以改善。

另一优点在于，即使胎儿心脏根本不在射束的焦点中，也可以获得定位。例如，多普勒模式中的超声探头的测量体积可能是约10cm宽的圆柱形区域。如果胎儿心脏接近该测量体积，例如在20cm以内，则提供基于多普勒超声的引导可能是有效的。更远的话，基于多普勒的技术具有会识别到其他解剖部位而不是胎儿心脏或是以其他方式提供模糊的引导的高风险，而基于成像的定位仍然有效。例如，基于探头在腹部上任何位置处的初次放置，基于成像的定位可以是有效的。例如，可以在相对短的时间段内将探头放置在两个位置处，然后告知其用于测量胎儿心脏的最佳位置，即使那些位置并不是胎儿心脏自身所在的地方。

而且，在成像模式中应用的图像检测模型的使用也有许多额外的优点，这些优点与在成像模式中所述系统可以输出超声图像和/或位置的事实相关。可以以各种方式使用这些输出，如也在其他地方描述的，例如检测胎儿解剖结构的其他部位以提供引导，即使在胎儿心脏不可见时；示出图像和/或位置；和/或聚焦多普勒超声。

与仅以成像模式使用探头相比，多普勒模式用于测量胎儿心率具有许多优点。一个优点在于，可以使用针对多普勒模式的现有的可靠测量技术。另外，多普勒模式相比成像模式可以使用较低的功率。例如，多普勒模式可以使用小于20mW/cm²，而成像模式可能使用高于该功率。作为降低功率消耗的结果，所述系统可以更适合用于连续监测，例如，所述系统可以用于监测至少一个小时、至少四个小时或至少十个小时。特别是在这种长时间使用期间，使用较低功率(例如小于20mW/cm²)有助于防止对骨骼皮肤造成损伤。而且由于较低功率可以减少设备产生的热，使设备在腹部上感觉更舒服，并且改善设备的部件的寿命。

相同的换能器可以用于捕获超声图像和多普勒超声信号两者，例如多普勒超声信号可以由换能器中也用于成像的一个来捕获。这样，相对少量的硬件就足够了，并且确保成像模式中的超声图像的位置与多普勒模式中的超声传感器的可寻址区域相一致，因为两种情况下所使用的换能器是相同的。

用于切换到多普勒模式的目标区域可以与完整超声图像一致，但优选地是完整超声图像的子区域，例如排除超声图像的边界区域的子区域，例如排除被成像区域的至多或至少10％、至多或至少20％或者至多或至少30％。这样，可以防止在探头被切换到多普勒模式并然后轻微移动时使信号丢失，并且然后被切换回到成像模式时，胎儿心脏在超声传感器的范围之外。在多普勒模式中可由超声探头寻址的区域在许多情况下都与超声图像捕获的区域一致，例如，在多普勒模式中，完整图像可以是可寻址的。而且在这样的情况下，设备切换到多普勒模式的目标区域通常是该完整区域中可以被成像和/或多普勒测量的子区域。

可选地，当在多普勒模式中，可以例如使用已知的技术来确定多普勒超声信号的信号质量指示。如果信号质量指示不满足预定义的质量阈值，则可以将超声探头切换回到成像模式，例如可以再次重复应用物体检测模型，直到定位到胎儿心脏。因此，可以进一步确保所测量的胎儿心率是准确的：在成像模式中，直到胎儿心脏在期望的目标区域中，才可以测量胎儿心率；在多普勒模式中，信号质量指示可以确保足够的质量用于心率的准确测量。可以校准质量阈值，使得至少在胎儿心脏在目标区域中的情况下，信号质量一般是足够的。然而，也有可能对目标区域有更严格的定义，例如在目标区域之外的信号质量也可以是足够的。然而，一般不期望相反的情况，该情况下即使在胎儿心脏在目标区域中时信号质量也不够。

在任一种情况下，优选的是，质量阈值是以使得阈值通常位于由超声图像捕获的区域(例如包括安全裕度)中的方式来校准的阈值。以这种方式，在达到阈值时，可能自动切换到成像模式以识别胎儿心脏，并且可能自动使用更新的位置再次切换到多普勒模式，多普勒模式超声射束可以例如通过射束转向而被聚焦在所述更新的位置上，而无需重新定位探头。

可选地，可以以感官可感知的方式向用户输出信号质量指示。以这种方式，可以告知用户探头是否处于腹部上的良好位置，并且用户可以尝试移动探头以改善信号质量。这尤其便于用户使用视觉指示器，例如超声探头自身上的一个或多个灯。

可选地，超声探头包括以压电换能器和/或电容式微机械超声换能器(CMUT)的形式的一个或多个换能器。例如，换能器可以形成多个换能器的相控阵列，例如线性相控阵列，允许生成2D超声图像。换能器也可以形成换能器的网格，例如矩阵阵列，允许生成3D超声图像。

可选地，可以将多普勒超声射束聚焦在所定位的位置上。换言之，用于多普勒测量的窗口(其可以包括深度)可以根据所定位的位置来设置。各种超声探头(尤其是基于换能器阵列的超声探头)都支持使用射束成形来将多普勒超声射束聚焦到特定位置。在与使用目标检测结合来确定胎儿心脏的位置中，聚焦是尤其有利的，这是因为可以然后将超声射束聚焦到该特定位置。例如，胎儿心脏可能不像一些现有技术的情况中那样需要位于超声探头正下方的圆柱形体积中。由于超声探头的放置不需要那么精确，这使得超声尤其易于使用，例如只需很少培训或无需培训。

相较于使用深度选择，提供了许多优点。聚焦多普勒超声射束可能涉及不(仅)设置深度，而且还设置垂直于深度的水平和垂直位置。仅设置深度的优点在于，这不能解决在该深度区域中存在多于一个信号的情形。另外，深度选择需要良好的初始信号以聚焦在深度上，而所提供的技术甚至可以在胎儿心脏不在被成像区域中的情况下提供引导信息。所提供的技术还弥补了深度选择的迭代窗口设置慢的问题，而且不会出现一旦信噪比变差窗口就完全打开的问题。

可选地，可以在显示器上示出超声图像和/或胎儿心脏在超声图像中的位置。例如，可以示出超声图像或产妇腹部的示意图像(例如化身)，其中，方框、十字或类似物用于指示检测到的位置。这样做可以有几个目的。它有助于对超声探头的引导，这是因为用户能够在屏幕上看到，相对于由超声探头产生的图片以及因此还相对于探头自身，胎儿心脏位于哪里。

可选地，不在显示器上示出超声图像自身。示出例如示意图像而不是超声图像自身可以允许更容易解读，并且在用户例如出于法律原因不被允许查看超声图像自身和/或对超声图像自身做出判断或例如在母亲不想让该图像被看到的情况下，这也是优选的。可以在后台处理超声图像但不存储或不向用户示出。可选地，也可以将切换到多普勒模式的目标区域可视化，为用户提供关于预期在何时切换到多普勒模式的引导。

在示出超声图像自身时，通过允许用户检查系统是否已经正确识别到胎儿心脏，显示检测到胎儿心脏的位置也可以被用作可靠性机制。例如，在系统已经切换到多普勒模式和/或已经使用所识别到的胎儿心脏来聚焦多普勒超声射束时，用户可以验证这是否基于对心脏的正确识别。

可选地，物体检测模型被配置为除了胎儿心脏以外还定位胎儿的一个或多个胎儿身体部位。这些身体部位可以包括胎儿的头部、脊柱和/或胫骨。使用超声成像代替多普勒信号的事实使得也可识别这些身体部位。输出这些附加定位是有利的，这是因为该信息可以使得更容易将超声探头定位在正确位置，尤其是还在胎儿心脏自身在图像中不可见的情形下。

输出附加定位的一种方式是，将它们示出在显示器上，例如可以将超声图像与物体检测模型被配置为定位的任意胎儿身体部位的定位一起示出。这些定位可以帮助用户(尤其是缺乏经验的用户，例如护士或助产士)确定胎儿的取向，并且由此定位超声探头以适当地操作它。

使用(至少对胎儿心脏的，但也有可能还对物体检测模型被配置为定位的任意其他胎儿身体部位的)定位的另一种方式是，确定用于将超声探头引导到胎儿心脏的引导信息。可以将该引导信息输出到显示器。有趣的是，与仅仅建议旋转探头或改变探头相对于腹部的角度不同，引导信息建议将探头移动到产妇腹部的不同位置。

具体地，引导信息可以基于对胎儿头部、胎儿脊柱和胎儿胫骨中的一个或多个的定位。具体地，如果检测到胎儿脊柱而未检测到胎儿头部，则可以确定引导信息用于将超声探头引导到胎儿头部的预期位置。这是有益的，因为胎儿脊柱可以在子宫中以任何位置取向，使成功放置较少依赖于探头的初始放置。另外，胎儿脊柱的位置为胎儿的整体解剖结构提供大量信息。根据脊柱的位置，可能表明胎儿心脏的位置以及因此超声探头的放置以捕获胎儿心脏。定位胎儿头部也是有益的，因为可以相对可靠地识别出胎儿头部，并且一旦将超声探头放置在胎儿头部的位置并且检测到胎儿头部和胎儿脊柱两者，就可能尤其可靠地表明向胎儿心脏的引导。然后可以确定用于将超声探头引导到胎儿心脏的预期位置的引导信息。

为了确定引导信息，例如可以使用算法，所述算法基于定位在内部重建胎儿的几何形状。也可能使用机器可学习的引导模型，其例如被训练为基于标记的数据集来输出引导。

可以以各种方式呈现引导信息，例如将其可视化为例如在产妇腹部的图像上增强的网格(例如3×3网格或类似物)上的建议位置。本文中给出范例。可以根据期望将引导信息与确定的胎儿解剖结构的可视化和/或与来自超声探头的实际图像进行组合。可以在不示出(并且可能不存储)实际超声图像的情况下，示出引导信息，如也在其他地方提及的，这可以使可视化更容易解读，并且这在不期望示出超声图像的情形下是有用的。

基于对身体部位的定位的引导是尤其有效的引导机制，其还额外具有的优点在于，可以确定胎儿的整体放置(placement)而不仅是胎儿心脏本身的位置。另外，这种类型的引导对于习惯于临床实践的人而言可能是熟悉的，其中，放置超声探头的人通常遵循这样的规程，在该规程中，临床医师根据固定的模式触诊产妇腹部，例如上侧→下侧→左侧→右侧，以发现胎儿的解剖结构。即使对于经验丰富的人，目前使用的这种规程实践中要花费15-20分钟。所提供的引导技术允许显著节省该时间，并且可以允许探头也可以由缺乏经验或未经认证的用户(护士、助产士)在分娩管理期间使用。尽管所述系统在检测到脊柱后的目标在于首先将探头引导到头部并然后到心脏，但如果在此时已经足够可靠地检测到了心脏，则可能在该检测的情况下直接切换到多普勒模式。然而，也可能在已经检测到脊柱和头部二者的情况下仅检测胎儿心脏和/或切换到多普勒模式，例如在切换模式之前允许充分确定胎儿取向。

可选地，超声探头的取向可以用于确定引导信息。例如，超声探头可以包括惯性测量单元(IMU)，其提供超声探头的取向角。可以将取向输入到物体检测模型，以确定胎儿心脏和/或其他身体部位的位置，并且还可以用于确定引导信息。有趣的是，考虑到产妇腹部的球状形状，超声探头的取向可以对超声探头在腹部上的位置提供合理的准确估计，并因此可以用作表示探头的当前位置的输入，尤其是用于确定引导，但也作为对物体检测模型的输入。

以上各方面涉及使用机器可学习的物体检测模型和/或引导模型的系统和方法。还设想针对这些应用用于训练物体检测模型和/或引导模型的系统，以及对应的计算机实施的方法。训练可以使用本身已知的技术来执行。例如，可以执行基于梯度的训练，例如随机梯度下降，例如使用Kingma和Ba在“Adam：A Method for Stochastic Optimization”(可在https://arxiv.org/abs/1412.6980获得，并通过引用并入本文)中公开的Adam优化器。众所周知，这样的优化方法可以是启发式的和/或达到局部最优。

本领域技术人员将认识到，可以以任何被认为有用的方式组合本发明的上述实施例、实施方式和/或可选方面中的两个或更多个。

本领域技术人员在本说明书的基础上，可以执行对与所描述的相应计算机实施方法的修改和变型相对应的任意系统和/或任意计算机可读介质的修改和变型。

附图说明

根据通过以下描述中举例的方式并参考附图描述的实施例，本发明的这些及其他方面将是明显的，并将进一步参考这些实施例得以阐明，其中：

图1示出了超声胎儿心率监测系统；

图2a示出了如何监测胎儿心率的详细范例；

图2b示出了如何将超声探头从成像模式切换到多普勒模式的详细范例；

图3示出了定位胎儿心脏的详细范例；

图4a-4c示出了确定引导信息的详细范例；

图5示出了计算机实施的超声胎儿心率监测方法；

图6示出了包括数据的计算机可读介质。

应注意，附图纯粹是图示且未按比例绘制。在附图中，与已描述过的元件对应的元件可以有相同的附图标记。

具体实施方式

图1示出了超声胎儿心率监测系统100。

系统100可以包括数据接口120，用于访问表示经训练的物体检测模型的模型数据030。物体检测模型可以被配置为在超声图像中定位胎儿心脏。模型数据030可以包括一组经训练的参数，例如，至少10000或至少100000个参数。例如，模型可以是神经网络。神经网络也被称作人工神经网络。具体地，模型可以是深度神经网络或卷积神经网络。在神经网络的情况下，所述一组参数030可以包括神经网络的节点的权重。例如，模型的层数可以是至少5或至少10，并且节点数和/或权重数可以是至少1000或至少10000。数据接口120可以用于访问如本文所述的附加信息，例如表示经训练的引导模型的模型数据。

表示物体检测模型和/或引导模型的模型数据可以(例如由系统100自身或由具有类似硬件架构的另一系统，尤其是由如本文所述的包括数据接口和处理器系统的系统)通过训练模型来获得。

例如，也如图1中图示的，数据接口120可以由数据存储接口构成，数据存储接口可以从数据存储021访问数据030。例如，数据存储接口120可以是存储器接口或持久存储接口，例如硬盘或SSD接口，但也可以是个人、局域或广域网接口，例如蓝牙、Zigbee或Wi-Fi接口或是以太网或光纤接口。数据存储021可以是系统100的内部数据存储，例如硬盘或SSD，但也可以是外部数据存储，例如网络可访问数据存储。在一些实施例中，各个数据均可以从不同的数据存储来访问，例如经由数据存储接口120的不同子系统。每个子系统可以是如上针对数据存储接口120所述的类型。

系统100还可以包括传感器接口160，用于获得来自超声探头071的传感器数据124。超声探头071被配置用于放置在产妇腹部上。以成像模式并且以多普勒模式可操作超声探头071。通常，以成像模式或多普勒模式但不同时以这两种模式来操作超声探头071。超声探头071可以包括一个或多个换能器。例如，换能器可以是压电换能器，或者换能器可以是CMUT换能器。由于更低的生产成本，CMUT换能器的使用是优选的。

换能器可以被布置为适用于2D和/或3D超声成像相控阵列的配置，例如，1D或2D相控阵列配置。例如，相控阵列的换能器的数量可以是至少两个、至少十个或至少五十个。例如，换能器可以被布置为1D相控阵列配置，例如线性相控阵列，例如包括至少两个、至少十个或至少五十个换能器。作为另一范例，换能器可以被布置为2D相控阵列配置，例如矩阵相控阵列。所述矩阵相控阵列可以在两个方向上都具有至少十个或至少五十个换能器，例如，被布置为矩形图案。这样的换能器图案可以用于成像，同时还可用于多普勒模式，例如，通过使用一个特定的换能器来产生一个多普勒信号，或使用多个各自的换能器来产生多个各自的多普勒信号。具体地，换能器通常不被布置为在中间具有一个压电元件的压电元件的圆形布置，因为该布置对于成像而言效果并不好。超声探头071可以例如以至少1MHz和/或至多5MHz的频率操作。

在成像模式中，超声探头071可以提供表示超声图像的传感器数据124。超声图像可以表示由(一个或多个)换能器发射的超声信号的回波的幅度。具体地，成像模式可以是所谓的B模式。例如，1维相控阵列可以用于获得2维图像。也可能使用2维相控阵列以获得3维图像。也可能使用1维相控阵列以获得3维图像，如在例如M.N.Senlik和H.于2010年4月的“Radiation Impedance of an Array of Circular Capacitive MicromachinedUltrasonic Transducers”，IEEE Transactions on Ultrasonics,Ferroelectrics,andFrequency Control第57卷第4期中公开的。

在多普勒模式中，可以获得表示测量体积的速度的多普勒超声信号。例如，多普勒模式可以是脉冲波(PW)多普勒模式，在该模式中交替发送和传输超声，允许测量指定深度处的速度。通过配置传输信号所沿的方向，例如通过使用射束成形，可以将多普勒超声射束聚焦在特定位置。也可能使用连续波(CW)多普勒模式。这通常不允许选择特定深度，尽管仍可以控制信号的方向。

通常，由同一组换能器但不同时提供成像模式和多普勒模式两者，这是因为各自的模式使用各自不同的超声信号。例如，在B型成像模式中，可以由各自的换能器发射射束，具有各自的相位差以在特定方向上进行扫描。在多普勒模式中，例如，脉冲可以仅由一个换能器发送，或者同一脉冲可以由多个换能器同时发送。相应地，超声探头071可以经由控制信号124被配置为以成像或多普勒模式操作，所述控制信号124经由传感器接口160从系统100被发送到超声探头071。

多普勒超声射束可以被聚焦在特定位置上，尤其是如本文所述的由物体检测模型定位的胎儿心脏所在的位置。可以通过射束成形来聚焦射束。这通常涉及例如在超声探头071自身或由处理器子系统140实施的信号处理。

超声探头071还可以包括取向传感器，例如IMU传感器。处理器子系统140可以被配置为经由传感器接口160获得取向数据124，取向数据124指示超声探头的取向，例如包括传感器071的角度。如本文所述的，该取向数据可以用于确定引导信息。

系统100还可以包括处理器子系统140，其可以被配置为在系统100的操作期间以成像模式操作超声探头071，以从超声探头071获得超声图像124。处理器子系统140还可以被配置为对超声图像124应用物体检测模型030，以确定胎儿心脏是否位于超声图像的通过超声探头071的多普勒模式可寻址的目标区域中。处理器子系统140还可以被配置为：如果胎儿心率位于目标区域中，则将超声探头071切换到多普勒模式；从超声探头获得多普勒超声信号124；以及，根据多普勒超声信号124来计算胎儿心率。

系统100还可以包括输出接口180。输出接口180可以用于各种输出，包括：根据多普勒超声信号计算的胎儿心率；超声图像；所定位的胎儿心脏在超声图像中的位置；多普勒超声信号中的信号质量指示；和/或引导信息。例如，输出接口可以是到渲染设备的输出接口，渲染设备例如为显示器、光源、扬声器、振动电机等，其可以用于生成感官可感知的输出信号，可以基于信息(输出)来生成所述输出信号。例如，如图中所示，输出接口可以是显示器190。在多普勒模式中，例如可以显示胎儿心率192，和/或可以发出胎儿心率异常的警报，和/或可以输出多普勒超声信号的信号质量指示。在成像模式中，例如可以示出超声图像、所定位的胎儿身体部位的位置，和/或引导信息等。作为另一范例，输出接口可以由数据接口120构成，该接口在这些实施例中是输入/输出(“IO”)接口，经由输入/输出(“IO”)接口可以将输出(例如胎儿心率)存储在数据存储021中。输出接口也可能提供诸如所确定的胎儿心率的输出，以供进一步处理，例如可以将胎儿心率提供到由处理器子系统140操作的胎儿心率监测模块。

处理器子系统140还被配置为确定多普勒超声信号124的信号质量指示。如果信号质量指示不满足预定义的质量阈值，则可以经由控制信号124将超声探头071切换回成像模式。代替或额外于使用信号质量指示来控制超声探头的模式，处理器子系统140还被配置为以感官可感知的方式向用户输出信号质量指示。例如，这可以经由输出接口180，例如在显示器190上，和/或它可以经由超声探头的视觉指示器072，例如通过一个或多个灯，其中，例如视觉指示器072的颜色、强度和/或数量用于指示信号质量。

可以以各种方式布置系统100、超声传感器071和/或显示器190。例如，系统100和探头071可以形成单个设备，例如应用物体检测模型并确定胎儿心率的处理器子系统140被包括在超声传感器071中或固定连接到传感器071。系统100也可以被实施为胎儿监测器(可连接或连接到探头071)，例如具有内置式或外部可连接的显示器190。系统100也可以被实施在云上，例如数据被提供到移动设备，在移动设备的显示器190上示出胎儿心率。系统100自身也可以被部署在移动设备上，例如通过将其功能提供为移动应用程序。

更一般地，本说明书中描述的每个系统，包括但不限于图1的系统100，都可以体现为单个设备或装置或体现在单个设备或装置中，例如工作站或服务器。设备可以是嵌入式设备。设备或装置可以包括执行合适的软件的一个或多个微处理器。例如，各个系统的处理器子系统可以通过单个中央处理单元(CPU)来体现，但也可以通过这样的CPU和/或其他类型的处理单元的组合或系统来体现。软件可以已被下载和/或存储在对应的存储器中，例如易失性存储器(例如RAM)或非易失性存储器(例如闪存)。备选地，各个系统的处理器子系统可以以可编程逻辑的形式实施在设备或装置中，例如作为现场可编程门阵列(FPGA)。通常，各个系统的每个功能单元可以以电路的形式来实施。各个系统也可以以分布式方式来实施，例如涉及不同的设备或装置，如分布式本地或基于云的服务器。

系统100可以备选或额外地是用于训练物体检测模型的训练系统。这样的训练系统不需要包括传感器接口160和/或输出接口180，并且例如可以使用数据接口120来访问训练数据和/或正被训练的模型。

图2a示出了如本文所述的如何使用超声胎儿心率监测系统来监测胎儿心率的详细但非限制性范例。该图示出了整体流程图，其示出被执行以检测胎儿心脏并例如在移动应用程序上实时标绘胎儿心率的几个操作。根据所述附图，可以实时地根据2D超声扫描帧自动检测胎儿心脏，并且一旦检测到胎儿心脏，从2D图像模式进入脉冲波模式以标绘胎儿心率。

在定位操作POS210中，可以例如由助产士，将胎儿心率监测系统的超声探头定位在患者的腹部上。

在固定操作FIX 220中，可以固定超声探头的位置和/或可以将超声探头重新定位在腹部上，以获得迹线(trace)。例如，这可以由助产士完成。

在检测操作DET 230中，可以检测胎儿心脏，并且例如在被连接到胎儿心率监测系统的屏幕上显示胎儿心脏。单个/或多个压电/CMUT传感器可以用于捕获来自初始位置的2D超声数据。目标检测算法可以在从初始位置取得的超声图像上检测胎儿解剖结构(例如，胎儿心脏、头部、脊柱和/或胫骨)，并且可以例如通过建议要将探头移动到的位置将用户引导到下一位置。IMU传感器可以用于提供利用传感器的角度检测胎儿心脏的算法。如果尚未检测到胎儿心率，则过程可以返回固定FIX超声探头。系统可以继续重复检测操作DET。也如其他地方描述的，可选地，如果尚未检测到胎儿心率，可以例如以超声探头和/或被定位的胎儿器官的(一个或多个)位置的形式，和/或以引导信息的形式，为用户提供有助于将超声探头定位到正确位置的信息。

一旦检测到胎儿心脏，则探头可以切换到多普勒模式并持续计算胎儿心率。具体地，监测操作MON 240中，可以启用多普勒模式，并且可以由胎儿心率监测系统根据多普勒超声信号计算胎儿心率。在多普勒模式期间，可以如本身已知的方式确定多普勒超声信号的信号质量指示。可以向用户输出信号质量指示，例如以超声探头自身上的一个或多个灯或另一视觉指示器的形式。

在解读操作INT 250中，可以例如由助产士和/或妇科医师解读迹线和/或胎儿心率。

在视线外操作OOV 260中，可以确定胎儿心脏在视线外，例如多普勒超声信号的信号质量不足以可靠地确定胎儿心率，例如可能无法满足预定义的质量阈值。如果是这样，则可以再次执行对超声探头的固定FIX，例如可以将探头切换回成像模式。有趣的是，切换到成像模式允许帮助用户重新聚焦在胎儿心脏上，从而可以继续监测胎儿心率。可以以这样的方式来定义质量阈值：在质量阈值处，胎儿心脏大致上仍在以成像模式捕获的超声图像的范围内。以这种方式，如果信号质量降到阈值以下，则可能相对容易地进行重新聚焦，这是因为可以指示胎儿心脏和/或可以基于胎儿心脏的位置来确定引导信息。

图2b示出了如何将超声探头从成像模式切换到多普勒模式的详细但非限制性范例。

在采集操作Aq 221中，可以以成像模式操作超声探头，以从超声探头获得超声图像UI 222。超声图像例如可以是至少32x32像素、至少128x128像素，或至少512x512限速。图像是可以灰度的。

在模型应用操作Appl 223中，可以将物体检测模型OD 224应用到超声图像UI，以确定定位信息LOC 225，定位信息LOC 225指示胎儿心脏是否位于超声图像的通过超声探头的多普勒模式可寻址的目标区域中。

模型OD可以输出定位信息LOC，如针对物体检测模型本身已知的，定位信息LOC例如为对应于与针对(一个或多个)被识别物体的位置结合检测的一种或多种物体类型的类别概率的形式，例如，被识别物体的位置以及可选地还有被识别物体的尺寸。位置可以被表示为例如超声图像中的一个或多个坐标、边界框等。各种物体检测模型本身是已知的，并且都可以被使用。

在实施例中，物体检测模型包括神经网络，尤其是深度神经网络。具体地，本发明人使用来自J.Redmon等人的“You Only Look Once：Unified,Real-Time ObjectDetection”(可在https://arxiv.org/abs/1506.02640获取并通过引用并入本文)的YOLO物体检测模型实现了良好结果。YOLO是区域候选网络，其将单个神经网络应用到整个图像以检测某些物体。该网络将图像划分成多个区域并预测每个区域的边界框和概率。YOLO将输入图像划分成S×S网格。如果物体的中心落在网格单元内，则该网格单元负责检测该物体。每个网格单元都预测B个边界框和针对那些框的置信度评分。置信度评分反映该框是否确实包含感兴趣物体和预测准确度。每个边界框可以包括5个预测值：x、y、w、h和置信度。(x，y)坐标表示相对于网格单元的边界的该框的中心。宽度(w)和高度(h)相对于整个图像来预测。YOLO输出的置信度水平是被训练为输出输出边界框与真值边界框之间的联合交集(intersection of union，IOU)的回归。也可以使用基于相同原理的其他模型。作为具体范例，可以将YOLOv3微型模型应用于416x416图像。

具体地，物体检测模型OD可以在2D胎儿心脏四腔室视图上进行训练并应用于2D胎儿心脏四腔室视图。正向训练范例可以包含胎儿心脏的轴向视图，并且例如可以从2D胎儿扫描的动态视频循环(cine loop)中挑选。不包含胎儿心脏的平面可以用于负向训练范例。可以使用这些图像，通过将它们标记为胎儿心脏视图，并利用胎儿心脏的边界框对它们进行注释，或将它们标记为非胎儿心脏，来创建训练数据集。如果有需要，可以对图像进行预处理以去除文本注释。例如，可以使用DarkLabel工具来执行注释。可以使用Darknet深度学习框架来执行训练。本发明人发现，以每批64幅图像进行4000次迭代训练可产生良好结果。

例如，完整的训练测试过程可以从数据开始，并且可以包括注释；清洗被注释数据；例如基于患者ID将数据分成训练、验证和测试数据；通过改变超参数在训练数据上对多个模型进行训练；在验证数据上对模型进行验证；最终确定具有最高验证准确度的模型；在未见过的数据上对最终模型进行测试；以及，计算评价指标。

基于定位信息LOC，可以确定胎儿心脏是否位于超声图像的通过超声探头的多普勒模式可寻址的目标区域中。例如，如果模型以至少给定阈值的置信度识别出胎儿心脏，并且如果识别到的胎儿心脏所在的位置位于目标区域内，则会是这样的情况。例如，目标区域可以对应于超声图像UI自身，或对应于其子区域。如果胎儿心率位于目标区域中，则可以将超声探头切换Sw 227到多普勒模式，以开始监测胎儿心率，也如其他地方讨论的，可选地使用定位信息LOC以将多普勒超声射束聚焦在所定位的位置上。

只要未发现胎儿心脏在目标区域中，就可以重复采集Aq和后续步骤。另外，可以以各种方式来使用定位信息LOC，具体地，位置可以被输出和/或用于确定引导信息，以帮助用户将超声探头引导至胎儿心脏，也如其他地方更详细讨论的。

图3示出了定位胎儿心脏的详细但非限制性范例。在该范例中，使用物体检测模型，其通过输出在其中检测到胎儿心脏的边界框320而在超声图像310中定位胎儿心脏。在该范例中，超声图像300和指示胎儿心脏在超声图像310中的位置的边界框320被示出于要在显示器上示出的用户界面300中。如图所示，可选地，物体检测模型可以额外地输出检测的置信度值，其也可以被示出于显示器上，例如作为标签(在该范例中：0.985)，作为边界框的颜色或线条样式等。如果未检测到胎儿心脏，例如置信度值未超过阈值，则通常不示出边界框。物体检测模型可以被配置为检测额外的胎儿解剖结构，例如，胎儿头部、胎儿脊柱和胎儿胫骨中的一个或多个。这些额外的解剖结构的定位(如果检测到的话)可以也被示出于超声图像310上。

图4a-4c示出了确定用于将超声探头引导至胎儿心脏的引导信息的详细但非限制性范例。

在超声传感器处于成像模式中时，可以由超声传感器根据由物体检测模型在超声图像中识别到的一个或多个胎儿身体部位的位置来确定引导信息，如例如参考图2b讨论的。引导信息可以额外地基于如由IMU传感器或其他取向传感器确定的超声探头的取向。有趣的是，基于IMU传感器的取向并使用腹部的几何形状，可以确定IMU传感器在腹部上的位置，例如如果IMU传感器垂直取向，则IMU传感器可能位于腹部的中部；如果其向左倾斜，则其可能位于腹部的左侧；等等。确定超声传感器在腹部上的位置的其他方式(例如基于超声图像)也是可能的，并且可以类似地用于确定引导信息。

图4a-4c示出了具有显示器的胎儿心率监测系统410、420、430，引导信息以要将超声探头移动到建议位置411、412、413的形式显示在显示器上。在该范例中，建议位置是以表示腹部的网格中的建议网格的颗粒度来确定的。在该具体范例中，使用3x3网格。在产妇腹部的可视化上突出显示该位置，在产妇腹部上所述定位被增强。可视化可以是产妇腹部的标准图片或图示。因此，可以无需存储或示出用于确定引导的超声图像而使用该引导，如还在其他地方提及的，这是有益的。对该位置的突出显示可以指示引导的进展。例如，在图4a-4c中所示的胎儿监测器上，在图4a和图4b的范例中突出显示的位置411-431的颜色指示尚未检测到胎儿心脏，而图4c中突出显示的颜色指示检测到胎儿心脏。在可视化440、450、460中，以要将探头移动到建议网格单元的边框的式样的形式，示出对位置的备选突出显示。如图所示，所述单元的边框具有与其他单元不同的颜色和/或更粗的边框。

可视化440-460还图示了可以将在腹部中的胎儿的估计放置可视化。这也可以基于胎儿的标准图片或图示。例如，可以将整个胎儿可视化，如图示460中所示，或者可以示出胎儿的部分，如图示440、450中所示，例如对应于由超声探头访问的位置和/或基于迄今所定位的胎儿解剖结构已知的胎儿解剖结构所在的位置。

附图中图示了范例引导程序。使用该引导程序可以允许用户(例如照护者)更快地将探头定位朝向胎儿心脏(由于自动物体检测，其缓解了手动触诊的需要)，同时与熟悉的现有规程保持一致。

引导可以以提出放置超声探头的初始位置开始。如图4a中所示，例如，初始位置可以是腹部的左中部。通常在当前规程中使用该位置，因为它通常允许检测到胎儿脊柱，允许更容易地推断剩余解剖结构。

如果未检测到胎儿脊柱，可以提出备选的(一个或多个)初始位置，例如右中部、上中部、下中部等。

如果检测到胎儿脊柱但尚未检测到胎儿头部，则可以确定引导信息，以将超声探头引导至胎儿头部的预期位置。例如，可以根据胎儿被定位以头部在下的假设来确定胎儿头部的预期位置，得到图4b的建议位置421。

如果未检测到胎儿头部，则可以例如基于胎儿被定位以头部在上的假设来确定并建议备选的预期位置。

如果检测到胎儿脊柱和胎儿头部，则可以确定引导信息，以将超声探头引导至胎儿心脏的预期位置。如果定位到胎儿脊柱和胎儿头部，则可以基于正常胎儿几何形状准确地确定胎儿心脏的预期位置。这由图4c的建议431来图示，其中建议胎儿心脏位于网格的中间单元。

如果未检测到胎儿心脏，则可以确定胎儿心脏的备选位置，或者可以例如以脊柱的检测重新开始该过程。

如果检测到胎儿心脏，则系统可以切换到多普勒模式以监测胎儿心脏，如所讨论的。这也可以能发生在引导仍在寻找胎儿脊柱或胎儿头部时。在该情况下，可能直接切换到多普勒模式，但如果期望的话，也可能首先继续引导过程以进一步定位胎儿脊柱和头部，从而确定胎儿的完整位置和取向。例如，该信息可以被输出给用户，或被自动用于例如使用经训练的机器学习模型在产程和/或分娩期间预测胎儿头部的进展的角度。

为了确定引导信息，几种方法都是可能的。一种可能是使用胎儿解剖结构的明确几何模型。该模型可能相对简单，例如可以将胎儿建模为表示脊柱的直线，其结束于表示胎儿头部的球体。可以相对于所述线和球体的确定位置来确定胎儿心脏的位置。一种备选是使用被训练为输出引导信息的机器可学习的引导模型，例如，以输出图4a-4c的网格中的单元。例如，引导模型可以包括在胎儿心脏的定位的后续阶段中分别用于确定胎儿脊柱、胎儿头部和胎儿心脏的位置的各个模型。另一选项是应用经训练的特征提取器以从超声图像UI提取一个或多个特征，并将所提取的特征与引导信息可用的经训练的胎儿图像数据集进行比较。例如，在该情况下，可以使用通用特征提取器。

图5示出了用于超声胎儿心率监测的计算机实施的方法500的框图。方法500可以对应于图1的系统100的操作。然而，这并非限制，因此也可以使用另一系统、装置或设备来执行方法500。方法500可以包括，在题为“获得传感器数据”的操作中，从被放置在产妇腹部上的超声探头获得510传感器数据。方法500可以包括，在题为“访问物体检测模型”的操作中，访问520表示经训练的物体检测模型的模型数据。物体检测模型可以被配置为在超声图像中定位胎儿心脏。方法500可以包括，在题为“超声成像”的操作中，以成像模式操作530超声探头，以从超声探头获得超声图像。方法500可以包括，在题为“检测心脏”的操作中，应用540物体检测模型以确定胎儿心脏是否位于超声图像的通过超声探头的多普勒模式可寻址的位置中。方法500可以包括，在题为“检测到心脏？”的操作中，确定550胎儿心率是否位于目标区域中。方法500可以包括，如果检测到胎儿心率，则在题为“切换到多普勒”的操作中，将超声探头切换560到多普勒模式。方法500还可以包括，在操作“获得多普勒信号”中，从超声探头获得570多普勒超声信号。方法500还可以包括，在题为“监测FHR”的操作中，根据多普勒超声信号来计算580胎儿心率。将认识到，大体上，图5的方法500的操作可以以任意合适的顺序来执行，例如顺序地、同时地或其组合，在适用时受制于必要的特定顺序，例如受制于输入/输出关系。该方法可以与另外的步骤组合，例如本文中描述的可以在应用之前进行训练物体检测模型和/或引导模型。也设想训练物体检测模型和/或引导模型的单独的计算机实施的方法。

所述(一个或多个)方法可以作为计算机实施的方法、专用硬件、或两者的组合被实现在计算机上。也如图6中所图示的，用于计算机的指令(例如可执行代码)可以被存储在计算机可读介质600上，例如为一系列610机器可读物理标记和/或作为一系列不同电学(例如磁性)或光学性质或值的元件的形式。介质600可以是暂态或非暂态的。计算机可读介质的范例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。图6示出了光盘600。备选地，计算机可读介质600可以包括数据610，其表示供与本文所述的技术一起使用的经训练的物体检测模型和/或引导模型。

范例、实施例或可选特征，无论是否被指示为非限制性的，都不应被理解为限制要求保护的本发明。

应当指出，上文提及的实施例是对本发明的说明而非限制，并且本领域技术人员将能够设计出许多备选实施例，而不偏离所附权利要求的范例。在权利要求中，置于括号中的任何附图标记都不应被解读为对权利要求的限制。动词“包括”及其变体的使用不排除权利要求中记载的那些以外的其他元件或阶段的存在。要素前的冠词“一”或“一个”不排除多个这样的要素的存在。诸如“……中的至少一个”的表述在位于要素的列表或组前面时，表示对来自该列表或组中的全部或任意子集的选择。例如，表述“A、B和C中的至少一个”应被理解为仅包括A，仅包括B，仅包括C，包括A和B两者，包括A和C两者，包括B和C两者，或者包括A、B和C全部。本发明可以借助于包括若干不同元件的硬件，以及借助于适当编程的计算机来实施。在列举了几种装置的设备权利要求中，这些装置中的几个可以由同一个硬件来体现。互不相同的从属权利要求中记载了特定措施这一仅有事实并不指示不能利用这些措施的组合。

Claims (15)

1.一种超声胎儿心率监测系统(100)，包括：

-传感器接口(160)，其用于从被放置在产妇腹部的超声探头(071)获得传感器数据(124)；

-数据接口(120)，其用于访问表示经训练的物体检测模型的模型数据(030)，其中，所述物体检测模型被配置为在超声图像中定位胎儿心脏；

-处理器子系统(140)，其被配置为：

-以成像模式操作所述超声探头，以从所述超声探头获得超声图像；

-将所述物体检测模型应用于所述超声图像，以确定胎儿心脏是否位于所述超声图像的通过所述超声探头的多普勒模式能够寻址的目标区域；

-如果所述胎儿心率位于所述目标区域：将所述超声探头切换到所述多普勒模式；从所述超声探头获得多普勒超声信号；并且，根据所述多普勒超声信号来计算所述胎儿心率。

2.如权利要求1所述的系统(100)，其中，所述系统被配置为以所述成像模式或以所述多普勒模式但不同时以两种模式操作所述超声探头。

3.如权利要求1或2所述的系统(100)，其中，所述处理器子系统还被配置为：确定对所述多普勒超声信号的信号质量指示，并且如果所述信号质量指示不满足预定义的质量阈值，则将所述超声探头切换回到所述成像模式。

4.如权利要求3所述的系统(100)，其中，所述处理器子系统被配置为优选地通过向所述超声探头的视觉指示器(072)输出所述信号质量指示来以感官可感知的方式向用户输出所述信号质量指示。

5.如任一前述权利要求所述的系统(100)，其中，所述超声探头包括一个或多个压电换能器和/或一个或多个电容式微机械超声换能器(CMUT)。

6.如任一前述权利要求所述的系统(100)，其中，所述处理器子系统还被配置为将所述多普勒超声射束聚焦在所定位的位置上。

7.如任一前述权利要求所述的系统(100)，还包括到显示器(190)的输出接口(180)，其中，所述处理器子系统被配置为在所述显示器上示出所述胎儿心脏在所述超声图像中的位置。

8.如权利要求7所述的系统(100)，其中，所述物体检测模型还被配置为定位胎儿头部、胎儿脊柱和胎儿胫骨中的一个或多个，并且其中，所述处理器子系统被配置为在所述显示器上示出所述定位。

9.如任一前述权利要求所述的系统(100)，其中，所述处理器子系统还被配置为根据通过所述物体检测模型定位的一个或多个胎儿身体部位的位置来确定用于将所述超声探头引导至所述胎儿心脏的引导信息，并将所确定的引导信息输出到显示器。

10.如权利要求9所述的系统(100)，其中，所述物体检测模型被配置为定位所述胎儿头部、所述胎儿脊柱和所述胎儿胫骨中的一个或多个，并且所述处理器子系统被配置为使用所述定位来确定所述引导信息。

11.如权利要求10所述的系统(100)，其中，所述处理器子系统被配置为：

-如果检测到所述胎儿脊柱而未检测到所述胎儿头部，则确定用于将所述超声探头引导到所述胎儿头部的预期位置的引导信息，和/或

-如果检测到所述胎儿脊柱和所述胎儿头部，则确定用于将所述超声探头引导到所述胎儿心脏的预期位置的引导信息。

12.如权利要求7-11中的任一项所述的系统(100)，其中，不在所述显示器上示出所述超声图像。

13.如任一前述权利要求所述的系统(100)，其中，所述处理器子系统还被配置为：经由所述传感器接口获得取向数据，所述取向数据指示所述超声探头的取向；并且，使用所述取向数据来确定所述胎儿心脏的所述位置和/或所述引导信息。

14.一种计算机实施的超声胎儿心率监测方法(500)，包括：

-从被放置在产妇腹部的超声探头获得(510)传感器数据；

-访问(520)表示经训练的物体检测模型的模型数据，其中，所述物体检测模型被配置为在超声图像中定位胎儿心脏；

-以成像模式操作(530)所述超声探头，以从所述超声探头获得超声图像；

-应用(540)所述物体检测模型，以确定胎儿心脏是否位于所述超声图像的通过所述超声探头的多普勒模式能够寻址的位置；

-如果所述胎儿心率位于所述目标区域(550)：将所述超声探头切换(560)到所述多普勒模式；从所述超声探头获得(570)多普勒超声信号；并且，根据所述多普勒超声信号来计算(580)所述胎儿心率。

15.一种暂态或非暂态计算机可读介质(600)，包括表示指令的数据(610)，所述指令在由处理器系统运行时，使所述处理器系统执行如权利要求14所述的计算机实施的方法。