[go: up one dir, main page]

CN116258736A - 用于分割图像的系统和方法 - Google Patents

用于分割图像的系统和方法 Download PDF

Info

Publication number
CN116258736A
CN116258736A CN202211465565.8A CN202211465565A CN116258736A CN 116258736 A CN116258736 A CN 116258736A CN 202211465565 A CN202211465565 A CN 202211465565A CN 116258736 A CN116258736 A CN 116258736A
Authority
CN
China
Prior art keywords
segmentation
roi
shape
segmentations
confidence measure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211465565.8A
Other languages
English (en)
Inventor
A·吉尔伯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of CN116258736A publication Critical patent/CN116258736A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/486—Diagnostic techniques involving arbitrary m-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供了用于识别基于形状的非典型分割的方法和系统。在一个示例中，一种方法包括：接收对医学图像的感兴趣区域(ROI)的分割，该分割由分割模型输出；计算该分割的置信度度量，该置信度度量指示该分割的形状可通过对该ROI的一组预先确定的分割的一个或多个主要形状变化模式进行编码来编码得有多好；以及响应于该置信度度量满足相对于阈值的预定条件，显示该分割，存储该分割，以及/或者将该分割用于一个或多个下游过程；否则，提示用户执行手动分割。

Description

用于分割图像的系统和方法
技术领域
本文所公开的主题的实施方案涉及医学成像，并且更具体地，涉及分割医学图像。
背景技术
医学成像诸如超声可用于非侵入性地探测患者身体的内部结构并产生对应的图像。可以保存内部结构的医学图像以供临床医生稍后分析，从而有助于诊断和/或实时或近实时地显示于显示设备上。在一些示例中，可采用计算机化工具来识别内部结构，提供所建议的诊断，执行自动测量等。
发明内容
在一个实施方案中，一种方法包括：接收对医学图像的感兴趣区域(ROI)的分割，该分割由分割模型输出；计算该分割的置信度度量，置信度度量指示该分割的形状可通过对该ROI的一组预先确定的分割的一个或多个主要形状变化模式进行编码来编码得有多好；以及响应于置信度度量满足相对于阈值的预定条件，显示该分割，存储该分割，以及/或者将该分割用于一个或多个下游过程；否则，提示用户执行手动分割。
在单独或与附图联系时，本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解，提供以上发明内容是为了以简化的形式介绍在具体实施方式中进一步描述的概念的选择。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
通过阅读以下详细描述并且参考附图，可以更好地理解本公开的各个方面，其中：
图1示出了超声系统的实施方案的框图；
图2是示出了示例性图像处理系统的框图；
图3示意性地示出了解剖感兴趣区域(ROI)的示例性分割；
图4是示出了一种用于使用主元分析(PCA)来训练分割模型生成分割置信度度量的方法的流程图；
图5示出了为减少分割的非形状变化而执行的Procrustes配准的示例；
图6示出了示例性PCA变化模式；
图7是示出了一种用于实现分割模型的方法的流程图；并且
图8示出了为多个分割所计算的置信度度量的直方图。
具体实施方式
医学图像诸如超声图像可用于以非侵入性方式来诊断或排除患者病情。为便于分析患者病情，可以将计算机化工具应用于医学图像，以便提供：对解剖特征部进行自动测量或半自动测量，识别或标识出组织的特点，或者甚至提出患者病情的建议诊断。作为一个示例，在利用超声对患者心脏进行成像的超声心动图期间，可应用自动功能成像(AFI)来执行2D散斑跟踪以测量心肌壁的变形(应变)。然而，由于用于跟踪心脏组织的感兴趣区域(ROI)初始化方面的差异，这些应变测量结果可能缺乏再现性。因此，为了提高再现性，可使用深度学习分割网络(也称为分割模型)来自动初始化ROI。
然而，尽管深度学习模型在生成ROI方面通常具有很高精确度，但是在分割形状与相关解剖结构的预期形状不匹配的情况下，其易于生成离群值输出。当分割模型输出非典型形状的ROI时，应变测量可能出现误差，需要进行重新测量或手动测量，该重新测量或手动测量延迟诊断且造成临床医生认知负荷的增加。
因此，根据本文公开的实施方案，可通过确定每项分割输出的置信度度量来识别非典型分割输出，该置信度度量指示分割形状与解剖ROI的预期形状之间的差距。差距很大可指示分割形状处于解剖ROI预期形状范围之外，并且因此可以向用户通知该非典型分割，使得用户可执行手动分割或输入不同图像用于执行分割。通过将该分割与从解剖ROI的多个确认分割(例如，一位或多位专家生成的标注数据集)中所识别出的解剖ROI的均值形状进行比较，可计算置信度度量。可使用Procrustes分析来配准该模型所输出的分割与均值形状，以减少该分割的任何非形状变化，诸如尺寸和旋转。所配准的分割可变换为低维形状，然后使用由标注数据集的主元分析(PCA)所识别出的一个或多个变化模式来重建。可确定重建分割的形状与模型输出分割的形状之间的差距，并且可标记出具有很高程度差距的分割而不用进行进一步处理。这样，可计算分割的置信度度量，并且可使用该置信度度量来确定是否应当将所输出的分割用于进一步处理，置信度度量指示该分割的形状可通过对该ROI的一组预先确定的分割的一个或多个主要形状变化模式进行编码来编码得有多好。
图1中示出了一种示例性超声系统，该示例性超声系统包括超声探头、显示设备和成像处理系统。经由超声探头，可获取超声数据，并且可以将超声图像显示于显示设备上。超声图像可以由图像处理系统来处理，诸如由图2的图像处理系统来处理，以分割解剖ROI并计算该分割的置信度度量。图3示出了解剖ROI的示例性分割，包括模型生成型分割和专家生成型分割。图4示出了用于训练分割模型的示例性方法，该分割模型被配置为生成分割模型所生成的分割的置信度度量。根据图7所示的方法，置信度度量可如下生成：通过减少分割的非形状变化，诸如应用如图5所示的Procrustes配准；并且通过应用多个专家生成型分割的一个或多个主要PCA变化模式，诸如图6所示的PCA模式，来重建分割。图8示出了分割置信度度量的直方图，示出了高置信度分割与低置信度分割之间的分别。
可以将所生成的分割的分割模型及相关联的置信度度量应用于医学图像，以便识别出解剖ROI以供显示和/或进一步处理。图1示出了可用于生成医学图像的示例性超声成像系统，这些医学图像可输入如本文所公开的分割模型中。然而，应当理解，本文将超声成像系统呈现为示例性医学成像系统，并且在不脱离本公开范围的情况下，可利用其他医学图像来实现分割模型和所生成的置信度度量，诸如计算机断层摄影(CT)图像、磁共振(MR)图像、x射线图像和可见光图像等。
参见图1，示出了根据本公开的实施方案的超声成像系统100的示意图。超声成像系统100包括发射波束形成器101和发射器102，该发射器驱动换能器阵列(本文中称为探头106)内的元件(例如，换能器元件)104，以将脉冲超声信号(本文中称为发射脉冲)发射到身体(未示出)中。根据一个实施方案，探头106可以是一维换能器阵列探头。然而，在一些实施方案中，探头106可以是二维矩阵换能器阵列探头。如以下进一步解释的，换能器元件104可以由压电材料构成。当向压电晶体施加电压时，压电晶体会发生物理膨胀和收缩，从而发射超声波。这样，换能器元件104可将电子发射信号转换为声学发射波束。
在探头106的元件104将脉冲超声信号发射到(患者的)身体中之后，脉冲超声信号从身体内部的结构(如血细胞或肌肉组织)反射，以产生返回到元件104的回波。回波被元件104转换成电信号或超声数据，并且电信号被接收器108接收。表示所接收的回波的电信号穿过输出超声数据的接收波束形成器110。
通过发射操作产生的回波信号沿着发射的超声波束从位于连续距离处的结构反射。回波信号由每个换能器元件单独感测，并且在特定时间点处的回波信号幅值的样本表示在特定距离处发生的反射量。然而，由于反射点P与每个元件之间的传播路径的差异，因此不同时检测到这些回波信号。接收器108放大单独的回波信号，将计算出的接收时间延迟赋给每个回波信号，并且将它们求和以提供单个回波信号，该单个回波信号大致指示沿着以角度θ定向的超声波束从位于距离R处的点P反射的总超声能量。
在接收回波期间，每个接收信道的时间延迟持续变化以在距离R处提供接收的波束的动态聚焦，基于介质的假设声速假设回波信号从距离R处发出。
根据处理器116的指示，接收器108在扫描期间提供时间延迟，使得接收器108的转向追踪由发射器转向的波束的方向θ，并且在连续的距离R处对回波信号进行采样，以便提供时间延迟和相移来沿着波束在点P处动态聚焦。因此，超声脉冲波形的每次发射导致一连串数据点的采集，这些数据点表示从沿着超声波束定位的一连串对应点P反射的声量。
根据一些实施方案，探头106可包含电子电路来执行发射波束形成和/或接收波束形成的全部或部分。例如，发射波束形成器101、发射器102、接收器108和接收波束形成器110的全部或部分可位于探头106内。在本公开中，术语“扫描”或“扫描中”可也用于指通过发射和接收超声信号的过程来采集数据。本公开中，术语“数据”可以用于指称用超声成像系统来采集的一个或多个数据集。用户界面115可用于控制超声成像系统100的操作，包括用于控制患者数据(例如，患者病史)的输入、用于改变扫描或显示参数、用于启动探头复极化序列等。用户界面115可包括以下项中的一者或多者：旋转元件、鼠标、键盘、轨迹球、链接到特定动作的硬键、可被配置为控制不同功能的软键，以及显示在显示设备118上的图形用户界面。
超声成像系统100还包括处理器116，该处理器用以控制发射波束形成器101、发射器102、接收器108和接收波束形成器110。处理器116与探头106进行电子通信(例如，通信地连接)。出于本公开的目的，术语“电子通信”可被定义为包括有线通信和无线通信两者。处理器116可以根据存储在处理器的存储器、和/或存储器120上的指令来控制探头106以采集数据。处理器116控制元件104中的哪些是活动的以及从探头106发射的波束的形状。处理器116还与显示设备118进行电子通信，并且处理器116可将数据(例如，超声数据)处理成图像以用于在显示设备118上显示。处理器116可以包括根据一个实施方案的中央处理器(CPU)。根据其他实施方案，处理器116可包括能够执行处理功能的其他电子部件，诸如数字信号处理器、现场可编程门阵列(FPGA)或图形板。根据其他实施方案，处理器116可包括能够执行处理功能的多个电子部件。例如，处理器116可包括从电子部件列表中选择的两个或更多个电子部件，这些电子部件包括：中央处理器、数字信号处理器、现场可编程门阵列和图形板。根据另一实施方案，处理器116还可包括复合解调器(未示出)，该复合解调器解调真实RF(射频)数据并生成复合数据。在另一个实施方案中，解调可以在处理链中较早地执行。处理器116适于根据数据上的多个可选超声模态来执行一个或多个处理操作。在一个示例中，可在扫描会话期间实时处理数据，因为回波信号被接收器108接收并且被发射至处理器116。出于本公开的目的，术语“实时”被定义为包括在没有任何有意延迟的情况下执行的过程。例如，实施方案可以7帧/秒至20帧/秒的实时速率采集图像。超声成像系统100能够以显著更快的速率获取一个或多个平面的2D数据。然而，应当理解，实时帧速率可取决于采集用于显示的每帧数据所花费的时间长度。因此，当采集相对大量的数据时，实时帧速率可能较慢。因此，一些实施方案可具有显著快于20帧/秒的实时帧速率，而其他实施方案可具有低于7帧/秒的实时帧速率。数据可在扫描会话期间临时存储在缓冲器(未示出)中，并且在实时或离线操作中以不太实时的方式处理。本发明的一些实施方案可包括多个处理器(未示出)，以处理根据上文所述的示例性实施方案的由处理器116处理的处理任务。例如，在显示图像之前，可利用第一处理器来解调和抽取RF信号，同时可使用第二处理器来进一步处理数据(例如，通过如本文进一步描述的那样扩充数据)。应当理解，其他实施方案可使用不同的处理器布置方式。
超声成像系统100可以例如10Hz至30Hz的帧速率(例如，每秒10帧至30帧)连续采集数据。根据数据生成的图像可以在显示设备118上以相似的帧速率刷新。其他实施方案能够以不同速率采集并且显示数据。例如，根据帧的大小和预期的应用，一些实施方案可以小于10Hz或大于30Hz的帧速率采集数据。包括存储器120，用于存储经处理的采集数据的帧。在示例性实施方案中，存储器120具有足够的容量来存储至少几秒钟的超声数据帧。数据帧的存储方式便于根据其采集顺序或时间进行检索。存储器120可包括任何已知的数据存储介质。
在本发明的各种实施方案中，处理器116可通过不同的模式相关模块(例如，B模式、彩色多普勒、M模式、彩色M模式、频谱多普勒、弹性成像、TVI、应变、应变速率等)来处理数据，以形成2D或3D数据。例如，一个或多个模块可生成B模式、彩色多普勒、M模式、彩色M模式、频谱多普勒、弹性成像、TVI、应变、应变速率以及它们的组合等。作为一个示例，一个或多个模块可处理彩色多普勒数据，其可包括传统彩色血流多普勒、功率多普勒、HD流，等等。图像线和/或帧存储在存储器中，并且可包括指示图像线和/或帧存储在存储器中的时间的定时信息。这些模块可包括例如扫描变换模块以执行扫描变换操作，以将所采集的图像从波束空间坐标转换成显示空间坐标。可以提供视频处理器模块，该视频处理器模块从存储器读取所采集的图像并且在对患者执行规程(例如，超声成像)时实时显示图像。视频处理器模块可包括单独的图像存储器，并且超声图像可被写入图像存储器以便由显示设备118读取和显示。
在本公开的各种实施方案中，超声成像系统100的一个或多个部件可以包括在便携手持式超声成像设备中。例如，显示设备118和用户界面115可以集成到手持式超声成像设备的外部表面中，该手持式超声成像设备可还包括处理器116和存储器120。探头106可以包括与手持式超声成像设备进行电子通信以收集原始超声数据的手持式探头。发射波束形成器101、发射器102、接收器108和接收波束形成器110可以包括在超声成像系统100的相同或不同部分中。例如，发射波束形成器101、发射器102、接收器108和接收波束形成器110可以包括在手持式超声成像设备、探头以及它们的组合中。
在执行二维超声扫描之后，生成包含扫描线及其样本的数据块。在应用后端滤波器之后，执行称为扫描转换的过程，以将二维数据块变换为具有附加扫描信息(诸如深度、每条扫描线的角度等)的可显示的位图图像。在扫描转换期间，应用内插技术来填充所得图像中的丢失的孔(即，像素)。出现这些丢失的像素是因为二维块的每个元素通常应该覆盖所得图像中的许多像素。例如，在当前超声成像系统中，应用了双三次插值，其利用了二维块的相邻元素。因此，如果与位图图像的尺寸相比，二维块相对较小，则扫描转换后的图像将包括分辨率低于最优或分辨率低的区域，特别是对于深度较大的区域。
参考图2，示出了根据示例性实施方案的图像处理系统202。在一些实施方案中，图像处理系统202结合到超声成像系统100中。例如，图像处理系统202可作为处理器116和存储器120设置在超声成像系统100中。在一些实施方案中，图像处理系统202的至少一部分包括在经由有线连接和/或无线连接通信地耦接到超声成像系统的设备(例如，边缘设备、服务器等)中。在一些实施方案中，图像处理系统202的至少一部分包括在单独的设备(例如，工作站)处，该单独的设备可从超声成像系统或从存储由超声成像系统所生成的图像/数据的存储设备接收图像。图像处理系统202可以可操作地/通信地耦接到用户输入设备232和显示设备234。在一个示例中，用户输入设备232可包括超声成像系统100的用户界面115，而显示设备234可包括超声成像系统100的显示设备118。
图像处理系统202包括处理器204，该处理器被配置为执行存储在非暂态存储器206中的机器可读指令。处理器204可以是单核或多核处理器，并且在其上执行的程序可以被配置用于并行处理或分布式处理。在一些实施方案中，处理器204可以可选地包括分布在两个或更多个设备中的单独部件，这些设备可以位于远处和/或被配置用于协同处理。在一些实施方案中，处理器204的一个或多个方面可以被虚拟化并且由在云计算配置中配置的可远程访问的联网计算设备来执行。
非暂态存储器206可存储分割模型208、置信度模块209、超声图像数据210和训练模块212。分割模型208可包括一个或多个机器学习模型(诸如深度学习网络)，该一个或多个机器学习模型包括多个权重和偏差、激活函数、损失函数、梯度下降算法以及用于实现一个或多个深度神经网络以处理输入的超声图像的指令，以便分割感兴趣区域。分割模型208可包括所训练的和/或未训练的神经网络并且还可包括与存储在其中的一个或多个神经网络模型相关联的训练例程或参数(例如，权重和偏差)。如本文将释，置信度模块209可被配置为生成分割模型208所输出的每个分割的置信度度量。
超声图像数据210可包括图1的超声成像系统100或另一超声成像系统所捕获的超声图像。超声图像数据210可包括2D图像和/或由其可生成2D图像/切片的3D体积数据。超声图像数据210可包括B模式图像、多普勒图像，彩色多普勒图像、M模式图像等、和/或它们的组合。在一些实施方案中，超声图像数据210可以按有序格式来存储超声图像和地面实况输出，使得每张超声图像都与一项或多项对应的地面实况输出相关联。然而，在训练模块212未设置在图像处理系统202处的示例中，可用于训练分割模型208的图像/地面实况输出可被存储在其他地方。
非暂态存储器206还可包括训练模块212，该训练模块包括用于训练存储在分割模型208中的一个或多个机器学习模型的指令。在一些实施方案中，训练模块212不设置在图像处理系统202处。因此，分割模型208包括所训练和所验证的网络。此外，在一些示例中，分割模型208可以不是深度学习模型。相反，分割模型208可以是基于计算机视觉的模型，其可使用计算机视觉技术诸如边缘检测来生成分割。
在一些实施方案中，非暂态存储器206可包括包括于可被远程定位和/或配置用于协调处理的两个或更多个设备中的部件。在一些实施方案中，非暂态存储器206的一个或多个方面可以包括在云计算配置中配置的可远程访问的联网存储设备。
用户输入设备232可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使得用户能够与图像处理系统202内的数据交互并操纵该数据的其他设备中的一者或多者。在一个示例中，用户输入设备232可使用户能够选择超声图像以用于训练机器学习模型，以在超声图像数据210中指示或标记解剖ROI的边界，或者用于使用所训练的机器学习模型进行进一步处理。
显示设备234可包括利用几乎任何类型的技术的一个或多个显示设备。在一些实施方案中，显示设备234可包括计算机监视器，并且可显示超声图像。显示设备234可以与处理器204、非暂态存储器206和/或用户输入设备232一起组合在共享壳体中，或者可以是外围显示设备，并且可以包括监视器、触摸屏、投影仪或本领域中已知的其他显示设备，该显示设备可以使用户能够查看由超声成像系统产生的超声图像和/或与存储在非暂态存储器206中的各种数据进行交互。
应当理解，图2所示的图像处理系统202是出于说明而非限制的目的。另一种合适的图像处理系统可以包括更多、更少或不同的部件。
因此，图像处理系统202可被配置为取得医学图像，诸如超声图像，包括解剖ROI，诸如心脏的左心室，并且将医学图像输入分割模型208中。分割模型208可以由输入医学图像来生成解剖ROI的分割。分割的置信度度量可以由置信度模块209如下进行计算：基于分割的形状与解剖ROI的专家所确认的先前分割的均值形状的匹配程度，同时考虑专家所确认的先前分割之间的主要变化模式。专家所确认的先前分割可以是用于训练分割模型208生成分割的地面实况分割，例如与超声图像数据210一起存储的地面实况、或者个别专家所确认的分割。为了确定均值形状和主要变化模式，可利用专家所确认的分割来执行Procrustes分析，以找到均值形状并将专家所确认的分割与均值形状进行配准，以便减少专家所确认的分割中的非形状变化，诸如由于不同尺寸的解剖ROI和不同图像取向而引起的变化。然后，可以对所配准的形状执行PCA，以找到专家所确认的分割之间的主要形状变化模式。
图3示出了具有示例性分割的一组图像300，包括第一成像主体的左心室的第一图像302和第二成像主体的左心室的第二图像310。第一图像302和第二图像310均可作为输入而输入所训练的分割模型中，该模型可输出对左心室的分割。如在第一图像302上所示，由分割模型输出的分割通过线304(点虚线)示出。模型所输出的分割可具有与专家所执行的分割不同的形状，如线306(虚线)所示。相反，模型针对第二图像310所输出的分割(线312所示)具有与专家生成型分割(线314所示)相似的形状。
本文公开的实施方案允许自动检测非典型形状，诸如模型针对第一图像302所输出的分割，而无需专家为每个图像生成确认的或已知的分割形状。如下文将更详细所释，可以将模型输出分割与左心室的均值形状进行配准，并且利用用于进行左心室分割的主要变化模式，在低维空间中进行重建。针对第一图像302的分割的重建形状通过第二图像310的线308(实线)和线316来示出。置信度度量可通过如下方式来计算：确定模型输出分割的形状(例如，线304)与重建形状(例如，线308)之间的差距。跟模型输出分割的形状与第二图像310的重建形状之间的差距(例如，0.070)相比，模型输出分割的形状与第一图像302的重建形状之间的差距相对较高(例如，0.235，其可高于指示非典型形状的阈值)，从而确认了模型针对第一图像302所输出的分割不符合专家注释器先前看到的形状分布，并且因此可分类为非典型形状并且标记为可能是错误分割。
现在转到图4，其示出了流程图，该流程图示出了用于训练分割模型并构建置信度模块的示例性方法400，置信度模块被配置为生成由分割模型输出的分割的置信度度量。参照图1至图2的系统和部件来描述方法400，但是应当理解，在不脱离本公开范围的情况下，可以用其他系统和部件来实现方法400。方法400可根据存储在计算设备的非暂态存储器(诸如图1的存储器120或图2的存储器206)中的指令来执行，并且由计算设备的处理器(诸如图1的处理器116或图2的处理器204)来执行。
在402处，方法400包括：获得包括解剖ROI的训练图像。例如，训练图像可以是利用图1的超声成像系统所获得的超声图像，并且解剖ROI可以是心脏的左心室。然而，训练图像可包括利用不同成像模态所获得的图像(例如，CT图像、MR图像等)以及/或者包括不同的解剖ROI(例如，心脏的不同特征部、或不同解剖结构诸如肝、肾等)。然而，训练图像可全部利用相同成像模态来获取，并且可全部包括相同的解剖ROI，使得分割模型被训练为分割特定医学图像中的特定解剖ROI。在404处，方法400包括：获得解剖ROI在训练图像中的地面实况分割。地面实况分割可以是专家生成的标签/注释。例如，一位或多位专家(例如，临床医生)可通过如下方式来评估训练图像并生成地面实况：手动地(例如，经由用户输入设备)利用指示例如解剖ROI边界的地面实况分割来标注/注释训练图像。
在406处，利用训练图像和地面实况分割来训练分割模型。在训练之前，分割模型可以是图2的分割模型208。训练分割模型可包括：输入每张训练图像作为分割模型的输入；并且基于分割模型输出与相关联地面实况分割之间的一项或多项缺失，更新分割模型的一个或多个权重、偏置、梯度等。在一些示例中，可训练分割模型以基于输入图像的特点来输出针对输入图像中的每个像素的分类，其中该分类指示该像素是否属于解剖ROI或该像素是否属于背景(或另一合适的分类)。这样，可以按对解剖ROI的形状不了解的方式来训练分割模型，这可能导致分割模型偶尔输出非典型形状。
因此，可生成置信度模块来评估分割模式所输出的每个分割的形状。为了生成置信度模块，在408处，方法400包括：确定地面实况分割的一个或多个变化模式。确定变化模式可包括：消除这些分割中的非形状变化，如410所示。通过确定分割的均值形状并使用Procrustes分析将每个分割与均值形状进行配准，可消除非形状变化。通过计算整个数据集的均值形状并配准每个新形状以使新形状与均值形状之间的旋转和尺寸差异最小化，Procrustes分析允许旋转/尺寸不变版本的形状分析。Procrustes分析的工作原理是：将两个阵列(当前均值A和样本B)归一化为具有0均值和范数1。
由奇异值分解(svd)来找到最优旋转矩阵(R)和尺度(s)：U,W,VT＝svd((BT A)T)；R＝VUT；s＝∑W。
然后使用B＝BRT*s来归一化B(样本)。注意，A和B是m×2的阵列，其中m是点的数目(示例图中为12)或[[x0,y0],[x1,y1],...[xm,ym]]。虽然本文所示的分割包括12个点，但是在不脱离本公开范围的情况下，分割可包括更多或更少的点。
为了生成地面实况分割的均值形状，首先将均值形状初始化。首先初始化的均值形状可以是随机选择的地面实况分割之一，或者是通过确定整组地面实况分割中分割的每个点的平均位置而生成的均值形状。将地面实况分割(例如，所标注的训练数据集)的每个形状与初始均值形状进行Procrustes配准。然后利用所配准的形状来重新计算均值形状。如果均值形状已经相对于初始均值形状发生改变，则将地面实况分割形状与新的均值形状进行配准，并计算进一步更新的均值形状。可重复该过程直到均值形状停止改变。一旦均值形状停止改变，就可将该均值形状(例如，最终均值形状)保存为置信度模块(诸如置信度模块209)的一部分或分割模型的一部分。
确定变化模式还可包括：执行主元分析(PCA)以识别出地面实况分割的一个或多个主要形状变化模式，如412所示。可执行PCA以识别出相对较小(例如，2-3)数目的可用于对地面实况分割中所看到的主要形状变化进行编码的维度。如下文将更详细所释，一旦分割模型被训练和部署为输出分割，就可应用PCA模式来重建形状/分割。在已经将分割与412所确定的均值形状配准之后，可以对地面实况分割执行PCA。在识别出主要变化模式之后，可以将这些变化模式(其可称为PCA模式)保存为置信度模块的一部分，如414所示。然而，在其他示例中，可以将这些PCA模式保存为所训练的分割模型的一部分。此外，尽管图4在本文被描述为使用也被用于训练分割模型的地面实况分割来确定PCA模式，但是在一些示例中，可以将解剖ROI的不同一组专家确认分割用于生成PCA模式。在此类示例中，PCA模式可以独立于分割模型的训练而生成。
图5示出了与解剖ROI诸如左心室的均值形状进行Procrustes配准的示例性曲线图500。曲线图500包括值沿着箭头方向增加的水平x轴和值沿着箭头方向增加的垂直y轴。曲线图500示出了例如由分割模型输出的或由专家生成的且绘制在x轴和y轴上的原始分割502。曲线图500还包括经由上述Procrustes分析(例如，基于解剖ROI的多个专家所确认的先前分割)所生成的且绘制在x轴和y轴上的均值形状504。如图所示，绘制均值形状504，使得该均值形状的中心点位于曲线图的0,0点。曲线图500也包括绘制在x轴和y轴上的配准形状506，其包括经由如上所述的Procrustes分析/配准而与均值形状504配准的原始分割502。如曲线图500所理解，与均值形状配准导致了对原始分割的大小和旋转的调整，但保持了原始分割的形状。均值形状504和原始分割502各自被示为包括绘制在图5的坐标系上的12个点，如上文参照图4所释，但是在不脱离本公开范围的情况下，可使用更多或更少的点。这样，均值形状504可以是一组绘制在任意坐标系中的点。均值形状504是解剖ROI在给定成像平面中的多个分割的均值形状，不是直接由解剖图谱所确定，并且不一定表示解剖特征部的实际3D形状。
图6示出了PCA模式的示例性集合600，这些PCA模式经由对解剖ROI诸如左心室的多个专家所确认的先前分割执行PCA来识别。例如，集合600可通过作为方法400的一部分所执行的PCA来生成。集合600包括第一模式610，称为模式0。第一模式610可以是取向。线612示出了均值形状，而其他线(例如，线614)示出了相对于第一模式(例如，取向)的专家所确认的先前分割(例如，地面实况分割)的变化。集合600包括第二模式620，称为模式1。第二模式620可以是球度。线622示出了均值形状，而其他线(例如，线624)示出了相对于第二模式(例如，球度)的专家所确认的先前分割(例如，地面实况分割)的变化。集合600还包括第三模式630，称为模式2。第三模式630可以是基点位置(例如，形状的端点位置)。线632示出了均值形状，而其他线(例如，线634)示出了相对于第三模式(例如，相对于形状的端点位置)的专家所确认的先前分割(例如，地面实况分割)的变化。
图7示出了流程图，该流程图示出了用于在推断阶段执行(例如，部署)所训练的分割模型并生成由分割模型输出的分割的置信度度量的示例性方法700。参照图1至图2的系统和部件来描述方法700，但是应当理解，在不脱离本公开范围的情况下，可利用其他系统和部件来实现方法700。方法700可根据存储在计算设备的非暂态存储器(诸如图1的存储器120或图2的存储器206)中的指令来执行，并且由计算设备的处理器(诸如图1的处理器116或图2的处理器204)来执行。
在702处，获得解剖ROI的医学图像。医学图像可以是超声图像，并且解剖ROI可以是心脏的左心室，但是在不脱离本公开范围的情况下，其他成像模态(例如，CT、MRI)和/或其他解剖ROI(例如，脑、肝、心脏的其他特征部等)也是可能的。医学图像可经由用户输入来识别(例如，操作者可输入指示医学图像包括解剖ROI并且应当进行分割的用户输入)或自动地识别(例如，计算设备可确定：医学图像包括包含解剖ROI的标准成像平面；并且医学图像应当根据成像协议等进行分割)。
在704处，将医学图像作为输入而输入所训练的分割模型中。分割模型可以是被训练用于分割解剖ROI的深度学习模型，诸如图2的分割模型208和/或根据图4的方法所训练的分割模型。在706处，接收分割模型的分割输出。分割输出可包括覆盖在医学图像上的解剖ROI的视觉指示、或者解剖ROI在医学图像内的位置、形状、尺寸等的另一合适表示。
在708处，确定分割的置信度度量。置信度度量可指示由分割模型输出的分割的形状与解剖ROI的均值形状(例如，上文参照图5所述的均值形状)匹配得有多好。如前所释，由多个分割(例如，专家标注的医学图像)来确定均值形状，而不由当前分割来确定均值形状(例如，不使用当前医学图像来确定均值形状)。为了确定置信度度量，消除(或至少减少)分割中的非形状变化，如710所示。通过将分割与解剖ROI的均值形状进行配准，如经由Procrustes配准所执行的配准，可消除/减少非形状变化。均值形状可以是在图4的410处确定的均值形状。
确定置信度度量还包括：使用所保存的PCA模式来将分割变换至低维空间并变换回来，以便形成重建分割，如712所示。如上文参照图4所释，PCA确定了整个分割集(例如，多个先前的专家生成型分割)的一组主要变化维度。然后，可以将由分割模型输出的每个分割(例如，706处的当前分割输出)存储(编码)为仅沿每个PCA维度的位置。然后，也可使用这些维度及其沿每个维度的位置来重建分割，以确定置信度度量。因此，在与均值形状进行配准以减少非形状变化之后，将所配准的分割变换至低维空间并且利用所保存的PCA模式来重建。所保存的PCA模式可以是在图4的412处所确定且在414处所保存的PCA模式。可根据等式Y＝(X—μ)PT，将分割变换至低维空间，其中P是利用PCA所计算的分量(例如，所保存的PCA模式)，并且μ是均值形状。可以根据以下等式将分割变换回高维空间，以生成重建形状
Figure BDA0003957358420000141
在714处，将置信度度量计算为原始分割X(例如，分割模型在706所输出的分割)与重建分割/>
Figure BDA0003957358420000143
之间的差距。例如，原始分割和重建分割可各自包括一组可绘制在公共2D坐标系上的点(例如，12个点)，并且根据等式/>
Figure BDA0003957358420000142
差距可以是重建分割和原始分割的各个点之间的平方差距之和。
在716处，方法700确定置信度度量是否满足相对于阈值的预定条件。例如，在716处，该方法可确定置信度度量是否低于阈值。如图3所示以及如上文所释，置信度度量可以是原始分割与重建分割之间的差距，并且因此，差距越低(例如，置信度度量越低)，原始分割与重建分割之间的形状匹配度可能越高。如图3所示，分割模型针对第一图像302所输出的分割的重建相对于原始分割具有0.235的差距，该差距可高于阈值，而分割模型针对第二图像310所输出的分割的重建相对于原始分割具有0.070的差距，该差距可低于阈值。这样，第一图像的分割可以被识别为非典型的。
划分典型分割和非典型分割的阈值可基于为多个分割所计算的置信度度量来凭经验确定。例如，图8示出了如本文参照图7所释的那样而计算的置信度度量的直方图800。直方图的第一组面元802可包括置信度度量在0-0.10范围内的分割，并且第二组面元804可包括置信度度量大于0.20的分割。因此，阈值可设置在0.10与0.20之间，诸如0.15。尽管置信度度量在本文中被描述为等于所计算的差距，但在一些示例中，置信度度量可被确定为1减去所计算的差距，使得置信度度量越高，差距越小。在此类示例中，阈值可以是不同的值(例如，0.85)，并且置信度度量低于阈值的分割可以被确定为非典型的。
返回到图7，如果置信度度量确实满足相对于阈值的条件(例如，置信度度量低于阈值)，则方法700前进到718以输出分割，以供显示、存储和/或用于下游过程。因为置信度度量满足相对于阈值的条件，所以可以将由分割模型输出的分割视为典型形状，并且因此可以将该分割用于一个或多个下游过程，诸如计算应变、射血分数等。在一些示例中，分割可以被不同的模型用于自动计算应变、射血分数等。在一些示例中，置信度度量可以与医学图像和分割一起显示于显示设备上，诸如显示设备234。当置信度度量满足相对于阈值的条件时，原始分割(由分割模型输出的分割)可进行显示、存储和/或用于下游过程，并且至少在一些示例中，原始分割可以不进行校正或更改。然后方法700结束。
如果置信度度量不满足相对于阈值的条件，则方法700前进到720以输出指示由分割模型输出的分割是低置信度分割(例如，分割具有非典型形状)的通知。例如，可以在显示设备上输出该通知。在一些示例中，通知可包括供操作者启动手动分割或获取不同的图像以输入分割模型的提示，并且可丢弃由分割模型输出的原始分割。这样，当置信度度量指示分割具有非典型形状时，可丢弃该分割而不将其用于任何进一步的下游过程。然后方法700结束。
因此，方法700提供了对分割模型所生成的分割的置信度度量进行计算，该分割模型指示该分割的形状可通过对一组预先确定的分割的一个或多个主要形状变化模式进行编码来编码得有多好。因此，置信度度量可指示如何很好地将使用主分量分析所找到的少量维数(例如，2-4)用于重建分割的形状。如果由分割模型输出的分割的形状/轮廓不能以与原始分割的高度相似性来重建，则原始分割被确定为落在通过多个专家确认分割所建立的主要形状变化模式之外，因此该分割可视作非典型的。这样，可丢弃非典型分割并且可获得新的分割(例如，手动地)，这可以避免依赖于ROI精确分割的下游过程(例如，应变测量)中的误差。为了确定该分割的形状可通过对一个或多个主要形状变化模式进行编码来编码得有多好，可以为重建分割的每个点计算重建分割与原始分割之间的差距，如上所释。然而，在其他示例中，为了确定该分割的形状可通过对一个或多个主要形状变化模式进行编码来编码得有多好，可使用其他度量，诸如相对于原始分割区域的重建分割区域、相对于原始分割质心位置的重建分割质心位置等。
所公开的给定解剖ROI的分割的置信度度量的计算方法可提供若干优点。如前所释，基于均值形状以及解剖ROI的一个或多个主要变化模式来确定置信度度量，每个主要变化模式由多个专家生成型分割来确定。这样，均值形状和主要变化模式可基于分割本身，而非基于解剖ROI的预期形状或已知解剖特征部。这可能是有益的，因为用于各种过程(例如，应变测量、射血分数计算)中的分割可基于解剖ROI在给定成像平面中的边界，并且可能并非完全表示患者体内的解剖特征部的整个形状。因此，非典型分割形状与典型分割形状的确定可以比与实际解剖特征部的比较更精确。此外，通过将均值形状和每个分割定义为绘制在2D轴上的点的集合，消除非形状变化以及差距计算(例如，原始分割与重建分割之间的差距)可以很简单，并且无需很高的处理能力，从而允许置信度模块在各种各样的设备上执行。
对由分割模型输出的分割的置信度度量进行计算的技术效果是：可自动识别和丢弃非典型分割，而无需专家确认由分割模型输出的每个分割，由此减少使用了该分割的下游过程中的误差。在这样做时，通过避免与利用非典型分割来执行各功能(例如，应变测量)相关联的不必要的处理，可提高计算设备执行下游过程的效率。
本公开也为一种方法提供支持，该方法包括：接收对医学图像的感兴趣区域(ROI)的分割，该分割由分割模型输出；计算该分割的置信度度量，置信度度量指示该分割的形状可通过对该ROI的一组预先确定的分割的一个或多个主要形状变化模式进行编码来编码得有多好；响应于置信度度量满足相对于阈值的预定条件，显示该分割，存储该分割，以及/或者将该分割用于一个或多个下游过程，否则提示用户执行手动分割。在该方法的第一示例中，医学图像包括超声图像。在该方法的第二示例中，可选地包括第一示例，ROI包括患者心脏的左心室，并且一个或多个下游过程包括应变测量。在该方法的第三示例中，可选地包括第一和第二示例中的一个或两个示例，分割模型是被训练为基于医学图像来输出分割的深度学习模型。在该方法的第四示例中，可选地包括第一至第三示例中的一个或多个或每个示例，计算置信度度量包括将分割与ROI的均值形状进行配准，以减小分割相对于均值形状的非形状变化。在该方法的第五示例中，可选地包括第一至第四示例中的一个或多个或每个示例，从而将分割与均值形状进行配准包括：执行Procrustes配准。在该方法的第六示例中，可选地包括第一至第五示例中的一个或多个或每个示例，基于ROI的一组预先确定的分割来确定均值形状。在该方法的第七示例中，可选地包括第一至第六示例中的一个或多个或每个示例，计算分割的置信度度量包括：通过在与均值形状进行配准之后，使用一个或多个主要形状变化模式的编码，将分割变换至低维空间并变换回来，来生成重建分割，该置信度度量指示该分割的形状可通过对该ROI的一组预先确定的分割的一个或多个主要形状变化模式进行编码来编码得有多好。在该方法的第八示例中，可选地包括第一至第七示例中的一个或多个或每个示例，计算置信度度量还包括：计算由分割模型输出的分割与重建分割之间的差距。在该方法的第九示例中，可选地包括第一至第八示例中的一个或多个或每个示例，基于对ROI的一组预先确定的分割所执行的主元分析来确定一个或多个主要形状变化模式的编码。在该方法的第十示例中，可选地包括第一至第九示例中的一个或多个或每个示例，ROI的该组预先确定的分割包括应用于训练分割模型的地面实况分割。
本公开也为一种系统提供支持，该系统包括：处理器、以及存储指令的非暂态存储器，这些指令能够由处理器执行以：输入包括感兴趣区域(ROI)的患者医学图像作为分割模型的输入；从分割模型接收ROI的分割；将该分割与由该ROI的多个先前分割所确定的ROI均值形状进行配准，以由此形成配准分割；使用由该ROI的多个先前分割所确定的一个或多个主要变化模式而由配准分割来生成重建分割；基于重建分割，计算该分割的置信度度量；以及响应于置信度度量满足相对于阈值的预定条件，显示该分割，存储该分割，以及/或者将该分割用于一个或多个下游过程。在该系统的第一示例中，医学图像包括超声图像，其中ROI包括患者心脏的左心室，并且其中一个或多个下游过程包括应变测量。在该系统的第二示例中，可选地包括第一示例，指令能够执行以响应于置信度度量不满足相对于阈值的预定条件，丢弃该分割以及/或者提示用户手动生成新的分割。在该系统的第三示例中，可选地包括第一和第二示例中的一个或两个示例，基于重建分割来计算分割的置信度度量包括：计算重建分割与来自分割模型的分割之间的差距。在该系统的第四示例中，可选地包括第一至第三示例中的一个或多个或每个示例，ROI的多个先前分割包括应用于训练分割模型的地面实况分割。
本公开也为一种方法提供支持，该方法包括：通过输入训练数据作为分割模型的输入来训练分割模型，以分割医学图像中的感兴趣区域(ROI)，训练数据包括多张医学图像以及ROI的多个专家生成型分割，每个分割与多张医学图像中的相应医学图像相关联；由多个专家生成型分割来确定该ROI的均值形状；由多个专家生成型分割来确定该ROI的一个或多个主要形状变化模式；并且在利用所训练的分割模型进行推断期间，部署该均值形状和一个或多个主要变化模式，以确定由所训练的分割模型输出的ROI分割的置信度度量。在该方法的第一示例中，由多个专家生成型分割来确定ROI的均值形状包括：识别初始均值形状；使用Procrustes配准将多个专家生成型分割中的每个分割与初始均值形状进行配准；以及由所配准的分割来计算新的均值形状；并且迭代地重复Procrustes配准并计算新的均值形状，直到生成稳定的均值形状。在该方法的第二示例中，可选地包括第一示例，医学图像包括超声图像。在该方法的第三示例中，可选地包括第一和第二示例中的一个或两个示例，ROI包括心脏的左心室。
当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性，而是用于将一个元件与另一个元件区分开。术语“包括”、“包含”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“联接到”等，一个对象(例如，材料、元件、结构、构件等)可以连接到或联接到另一个对象，而无论该一个对象是否直接连接或联接到另一个对象，或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外，应当理解，对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。
除了任何先前指示的修改之外，本领域技术人员可以在不脱离本描述的实质和范围的情况下设计出许多其他变型和替换布置，并且所附权利要求书旨在覆盖此类修改和布置。因此，尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述，但对于本领域的普通技术人员将显而易见的是，在不脱离本文阐述的原理和概念的情况下，可以进行许多修改，包括但不限于形式、功能、操作方式和使用。同样，如本文所使用的，在所有方面，示例和实施方案仅意图是说明性的，并且不应以任何方式解释为限制性的。

Claims (20)

1.一种方法，所述方法包括：
接收对医学图像的感兴趣区域(ROI)的分割，所述分割由分割模型输出；
计算所述分割的置信度度量，所述置信度度量指示所述分割的形状能够通过对所述ROI的一组预先确定的分割的一个或多个主要形状变化模式进行编码来编码得有多好；
响应于所述置信度度量满足相对于阈值的预定条件，显示所述分割，存储所述分割，以及/或者将所述分割用于一个或多个下游过程；
否则，提示用户执行手动分割。
2.根据权利要求1所述的方法，其中所述医学图像包括超声图像。
3.根据权利要求1所述的方法，其中所述ROI包括患者心脏的左心室，并且所述一个或多个下游过程包括应变测量。
4.根据权利要求1所述的方法，其中所述分割模型是经训练以基于所述医学图像来输出所述分割的深度学习模型。
5.根据权利要求1所述的方法，其中计算所述置信度度量包括将所述分割与所述ROI的均值形状进行配准，以减少所述分割相对于所述均值形状的非形状变化。
6.根据权利要求5所述的方法，其中将所述分割与所述均值形状进行配准包括执行Procrustes配准。
7.根据权利要求5所述的方法，其中基于所述ROI的一组预先确定的分割来确定所述均值形状。
8.根据权利要求5所述的方法，其中计算所述分割的置信度度量包括：通过在与所述均值形状进行配准之后，使用一个或多个主要形状变化模式的编码，将所述分割变换至低维空间并变换回来，来生成重建分割，所述置信度度量指示所述分割的形状能够通过对所述ROI的一组预先确定的分割的所述一个或多个主要形状变化模式进行编码来编码得有多好。
9.根据权利要求8所述的方法，其中计算所述置信度度量还包括：计算由所述分割模型输出的分割与所述重建分割之间的差距。
10.根据权利要求8所述的方法，其中基于对所述ROI的一组预先确定的分割所执行的主元分析来确定所述一个或多个主要形状变化模式的编码。
11.根据权利要求10所述的方法，其中所述ROI的一组预先确定的分割包括应用于训练所述分割模型的地面实况分割。
12.一种系统，所述系统包括：
处理器；和
存储指令的非暂态存储器，所述指令能够由所述处理器执行以：
输入包括感兴趣区域(ROI)的患者医学图像作为分割模型的输入；
从所述分割模型接收所述ROI的分割；
将所述分割与由所述ROI的多个先前分割所确定的所述ROI的均值形状进行配准，以由此形成配准的分割；
使用由所述ROI的多个先前分割所确定的一个或多个主要变化模式，由所述配准分割来生成重建分割；
基于所述重建分割，计算所述分割的置信度度量；以及
响应于所述置信度度量满足相对于阈值的预定条件，显示所述分割，存储所述分割，以及/或者将所述分割用于一个或多个下游过程。
13.根据权利要求12所述的系统，其中所述医学图像包括超声图像，其中所述ROI包括所述患者心脏的左心室，并且其中所述一个或多个下游过程包括应变测量。
14.根据权利要求12所述的系统，其中所述指令能够执行以响应于所述置信度度量不满足相对于所述阈值的所述预定条件，丢弃所述分割以及/或者提示用户手动生成新的分割。
15.根据权利要求12所述的系统，其中基于所述重建分割来计算所述分割的置信度度量包括：计算重建分割与来自所述分割模型的分割之间的差距。
16.根据权利要求12所述的系统，其中所述ROI的多个先前分割包括应用于训练所述分割模型的地面实况分割。
17.一种方法，所述方法包括：
通过输入训练数据作为分割模型的输入来训练所述分割模型以分割医学图像中的感兴趣区域(ROI)，所述训练数据包括多张医学图像以及所述ROI的多个专家生成型分割，每个分割与所述多张医学图像中的相应医学图像相关联；
由所述多个专家生成型分割来确定所述ROI的均值形状；
由所述多个专家生成型分割来确定所述ROI的一个或多个主要形状变化模式；以及
在利用所训练的分割模型进行推断期间，部署所述均值形状和所述一个或多个主要变化模式，以确定由所训练的分割模型输出的所述ROI的分割的置信度度量。
18.根据权利要求17所述的方法，其中由所述多个专家生成型分割来确定所述ROI的均值形状包括：识别初始均值形状；使用Procrustes配准将所述多个专家生成型分割中的每个分割与所述初始均值形状进行配准；以及由所配准的分割来计算新的均值形状；并且迭代地重复所述Procrustes配准并计算所述新的均值形状，直到生成稳定的均值形状。
19.根据权利要求17所述的方法，其中所述医学图像包括超声图像。
20.根据权利要求17所述的方法，其中所述ROI包括心脏的左心室。
CN202211465565.8A 2021-12-09 2022-11-22 用于分割图像的系统和方法 Pending CN116258736A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/547,137 US12205293B2 (en) 2021-12-09 2021-12-09 System and methods for segmenting images
US17/547,137 2021-12-09

Publications (1)

Publication Number Publication Date
CN116258736A true CN116258736A (zh) 2023-06-13

Family

ID=86678213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211465565.8A Pending CN116258736A (zh) 2021-12-09 2022-11-22 用于分割图像的系统和方法

Country Status (2)

Country Link
US (1) US12205293B2 (zh)
CN (1) CN116258736A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12488467B2 (en) * 2020-11-09 2025-12-02 Koninklijke Philips N.V. Multiple-quality assessments from single segmentation algorithm
EP4179978A1 (en) * 2021-11-16 2023-05-17 Koninklijke Philips N.V. 3d ultrasound imaging with fov adaptation
US12243214B2 (en) * 2022-02-03 2025-03-04 Fanuc Corporation Failure detection and failure recovery for AI depalletizing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690554A (zh) * 2016-07-21 2019-04-26 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
US20200387704A1 (en) * 2019-06-07 2020-12-10 Pictometry International Corp. Systems and methods for automated detection of changes in extent of structures using imagery
US20210038198A1 (en) * 2019-08-07 2021-02-11 Siemens Healthcare Gmbh Shape-based generative adversarial network for segmentation in medical imaging
WO2021122248A1 (en) * 2019-12-17 2021-06-24 Koninklijke Philips N.V. Generating a segmentation confidence map from node variations in a plurality of differently perturbed, model-based anatomical image segmentations

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUP1300328A3 (en) * 2013-05-23 2017-03-28 Mta Szamitastechnika Es Automatizalasi Ki Method and system for integrated three dimensional modelling
US9406142B2 (en) * 2013-10-08 2016-08-02 The Trustees Of The University Of Pennsylvania Fully automatic image segmentation of heart valves using multi-atlas label fusion and deformable medial modeling
US9990712B2 (en) * 2015-04-08 2018-06-05 Algotec Systems Ltd. Organ detection and segmentation
US20210374947A1 (en) * 2020-05-26 2021-12-02 Nvidia Corporation Contextual image translation using neural networks
US12475604B2 (en) * 2020-08-28 2025-11-18 Nvidia Corporation Object image completion
US20230145535A1 (en) * 2021-03-01 2023-05-11 Nvidia Corporation Neural network training technique
US20230036451A1 (en) * 2021-07-13 2023-02-02 Nvidia Corporation Volumetric image annotation using one or more neural networks
US20230069310A1 (en) * 2021-08-10 2023-03-02 Nvidia Corporation Object classification using one or more neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690554A (zh) * 2016-07-21 2019-04-26 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
US20200387704A1 (en) * 2019-06-07 2020-12-10 Pictometry International Corp. Systems and methods for automated detection of changes in extent of structures using imagery
US20210038198A1 (en) * 2019-08-07 2021-02-11 Siemens Healthcare Gmbh Shape-based generative adversarial network for segmentation in medical imaging
WO2021122248A1 (en) * 2019-12-17 2021-06-24 Koninklijke Philips N.V. Generating a segmentation confidence map from node variations in a plurality of differently perturbed, model-based anatomical image segmentations

Also Published As

Publication number Publication date
US12205293B2 (en) 2025-01-21
US20230186477A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
US12318256B2 (en) 3D ultrasound imaging system
US11488298B2 (en) System and methods for ultrasound image quality determination
US11890142B2 (en) System and methods for automatic lesion characterization
US11931201B2 (en) Device and method for obtaining anatomical measurements from an ultrasound image
US20110201935A1 (en) 3-d ultrasound imaging
KR102063374B1 (ko) 초음파 볼륨의 자동 정렬
CN112641464B (zh) 用于启用上下文感知的超声扫描的方法和系统
CN116258736A (zh) 用于分割图像的系统和方法
US11803967B2 (en) Methods and systems for bicuspid valve detection with generative modeling
US11903760B2 (en) Systems and methods for scan plane prediction in ultrasound images
US20210100530A1 (en) Methods and systems for diagnosing tendon damage via ultrasound imaging
US12193882B2 (en) System and methods for adaptive guidance for medical imaging
CN116650006A (zh) 用于自动超声检查的系统和方法
US20210228187A1 (en) System and methods for contrast-enhanced ultrasound imaging
US20250124569A1 (en) Increasing image quality in ultrasound images due to poor facial rendering
US20250156709A1 (en) System and methods for time or memory budget customized deep learning
US12478349B2 (en) Automation of transvaginal ultrasound workflow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination