CN119325355A - 多系列血管内图像的对齐 - Google Patents

Abstract

本公开内容提供了处理来自通过血管的不同运行的血管内超声(IVUS)图像，以生成每个IVUS运行的帧之间的映射，并生成图形用户界面(GUI)以图形方式呈现彼此相关的IVUS运行。在一些示例中，在每个IVUS运行的帧中识别血管基准，并且一个或两个运行在时间上、距离上和/或角度上偏移以将帧与所识别的血管基准对齐。此外，本公开内容提供了将血管内图像与血管的外部图像的观察视角在角度上对齐。

Description

多系列血管内图像的对齐

相关申请的交叉引用

本申请要求于2023年5月17日提交的美国临时专利申请系列号63/502,859和于2024年5月16日提交的美国临时专利申请系列号63/648,483的权益，其公开内容通过引用并入本文。

技术领域

本公开内容一般涉及血管内超声(IVUS)成像系统。具体地，但并非排他地，本公开内容涉及将第一系列IVUS图像中的帧与第二系列IVUS图像中的帧关联。

背景技术

可插入患者体内的超声波设备已被证实能够诊断多种疾病和病症。例如，血管内超声(IVUS)成像系统已被用作诊断血管阻塞的成像方式，并提供信息来帮助医务人员选择和放置支架和其他设备，从而恢复或增加血流。

IVUS成像系统包括：控制模块(带有脉冲生成器、图像采集和处理组件以及监视器)、导管和位于导管中的换能器。包含换能器的导管位于管腔或腔体中，该管腔或腔体位于要成像的区域(例如血管壁、或靠近血管壁的患者组织)内或附近。控制模块中的脉冲生成器生成电脉冲，这些电脉冲被传送到换能器并转换为通过患者组织传输的声脉冲。患者组织(或其他结构)反射声脉冲，所反射的脉冲被换能器吸收并转换为电脉冲。经转换的电脉冲被传送到图像采集和处理组件并转换为可在监视器上显示的图像。

通常，医生会在治疗的不同阶段拍摄一系列IVUS图像。然而，传统的工具和系统不允许医生比较这些不同系列的IVUS图像，而只能提供从图像中获取的一组选定的测量值。因此，需要关联在不同时间拍摄的同一血管的IVUS图像，并提供图形界面来显示彼此关联的这些图像。

机器学习(ML)是研究通过经验改进的计算机算法。通常，ML算法基于样本数据(称为训练数据)构建模型。该模型可用于推断(例如，无需明确编程即可做出预测或决策)。可以理解的是，模型推断的质量取决于训练数据。因此，需要提供更大、更完整的知识库来训练这些ML模型。

发明内容

本发明内容旨在以简化形式介绍一些概念，这些概念将在下文的具体实施方式中进一步描述。本发明内容并非旨在识别所要求保护的主题的关键特征或基本特征，也并非旨在帮助确定所要求保护的主题的范围。

总的来说，本公开内容用于处理原始IVUS图像、自动检测管腔和血管边界、以及识别感兴趣的区域，或者更具体地说，识别起点和终点，在起点和终点之间包括一系列IVUS图像中的感兴趣的帧。

对于一些实施例，本公开内容可以实现为一种方法。该方法可以包括在处理器处接收患者血管的第一系列血管内超声(IVUS)图像，第一系列IVUS图像包括第一多个帧；在处理器处接收患者血管的第二系列血管内超声(IVUS)图像，第二系列IVUS图像包括第二多个帧；由处理器确定第一多个帧和第二多个帧之间的映射；以及由处理器生成图形用户界面(GUI)，该GUI包括基于第一多个帧和第二多个帧之间的映射的第一系列IVUS图像和第二系列IVUS图像的指示。

在该方法的进一步的实施例中，确定第一多个帧和第二多个帧之间的映射可以包括：识别第一多个帧中的包含特定血管基准的一个帧；以及识别第二多个帧中的包含该特定血管基准的一个帧。

在进一步的实施例中，该方法可以包括确定第一多个帧中的上述一个帧与第二多个帧中的上述一个帧之间的偏移。

在该方法的进一步的实施例中，GUI包括基于偏移而对齐的第一系列IVUS图像和第二系列IVUS图像的指示。

在该方法的进一步的实施例中，GUI包括第一系列IVUS图像和第二系列IVUS图像的轴上视图，并且其中轴上视图基于偏移而彼此关联。

在该方法的进一步的实施例中，GUI包括第一系列IVUS图像和第二系列IVUS图像的纵向视图，其中纵向视图基于偏移而彼此关联。

在进一步的实施例中，该方法可以包括执行机器学习(ML)模型，以基于第一系列IVUS图像推断第一多个帧中的包含特定血管基准的一个帧；并且执行ML模型，以基于第二系列IVUS图像推断第二多个帧中的包含该特定血管基准的一个帧。

在该方法的进一步实施例中，特定血管基准是以下各项中的一项：管腔几何形状、血管几何形状、侧支位置、钙形态、斑块分布或引导导管位置。

在进一步的实施例中，该方法可以包括从血管内成像设备接收第二系列IVUS图像；以及从存储器存储设备接收第一系列IVUS图像。

在该方法的进一步实施例中，第一系列IVUS图像是在经皮冠状动脉介入治疗(PCI)手术前期间捕获的。

在该方法的进一步实施例中，第二系列IVUS图像是在PCI手术期间或PCI手术后期间捕获的。

在该方法的进一步的实施例中，确定第一多个帧和第二多个帧之间的映射可以包括执行机器学习(ML)模型以基于第一系列IVUS图像和第二系列IVUS图像推断映射。

在该方法的进一步的实施例中，映射包括第一多个帧中的一个帧与第二多个帧中的一个帧之间的偏移的指示。

对于某些实施例，本公开内容可以实现为一种装置，包括耦合到存储器的处理器，存储器包括可由处理器执行的指令，处理器被配置为耦合到血管内超声(IVUS)成像系统并且被配置为执行指令，当执行指令时，使得处理器实现本文所述任何实施例的方法。

对于一些实施例，本公开内容可以实现为至少一个机器可读存储设备，其包括多个指令，所述指令响应于由血管内超声(IVUS)成像系统的处理器执行而导致处理器实施本文所述任何实施例的方法。

对于某些实施例，本公开内容可以实现为用于血管内成像系统的装置。该装置可以包括：处理器；以及耦合到处理器的存储器设备，该存储器设备包括可由处理器执行的指令，当处理器执行该指令时，该指令使得血管内成像系统接收患者血管的第一系列血管内超声(IVUS)图像，第一系列IVUS图像包括第一多个帧；接收患者血管的第二系列血管内超声(IVUS)图像，第二系列IVUS图像包括第二多个帧；确定第一多个帧和第二多个帧之间的映射；并且生成图形用户界面(GUI)，该GUI包括基于第一多个帧和第二多个帧之间的映射的第一系列IVUS图像和第二系列IVUS图像的指示。

在该装置的某些实施例中，当处理器执行指令时，还使得血管内成像系统：识别第一多个帧中的包括特定血管基准的一个帧并且识别第二多个帧中的包括特定血管基准的一个帧，其中特定血管基准以下各项中的一项：管腔几何形状、血管几何形状、侧支位置、钙形态、斑块分布或引导导管位置。

在该装置的某些实施例中，当处理器执行指令时，指令还使得血管内成像系统：确定第一多个帧中的一个帧与第二多个帧中的一个帧之间的偏移，其中GUI包括基于偏移而对齐的第一系列IVUS图像和第二系列IVUS图像的指示，其中GUI包括第一系列IVUS图像和第二系列IVUS图像的轴上视图，其中轴上视图基于偏移而彼此关联，或者其中GUI包括第一系列IVUS图像和第二系列IVUS图像的纵向视图，其中纵向视图基于偏移而彼此关联。

在该装置的某些实施例中，当处理器执行指令时，还使得血管内成像系统：执行机器学习(ML)模型，以基于第一系列IVUS图像推断第一多个帧中的包含特定血管基准的一个帧；并且执行ML模型，以基于第二系列IVUS图像推断第二多个帧中的包含特定血管基准的一个帧。

在一些实施例中，该装置可以包括血管内成像设备，其中第一系列IVUS图像或第二系列IVUS图像中的至少一个是从血管内成像设备接收的。

对于一些实施例，本公开内容可以实现为机器可读存储设备。机器可读存储设备可以包括多个指令，该指令响应于由血管内超声(IVUS)成像系统的处理器执行而使得处理器：接收患者血管的第一系列血管内超声(IVUS)图像，第一系列IVUS图像包括第一多个帧；接收患者血管的第二系列血管内超声(IVUS)图像，第二系列IVUS图像包括第二多个帧；确定第一多个帧和第二多个帧之间的映射；并且生成图形用户界面(GUI)，该GUI包括基于第一多个帧和第二多个帧之间的映射的第一系列IVUS图像和第二系列IVUS图像的指示。

在机器可读存储设备的一些实施例中，当处理器执行指令时，还导致IVUS成像系统：识别第一多个帧中的包括特定血管基准的一个帧并且识别第二多个帧中的包括特定血管基准的一个帧，其中特定血管基准是管腔几何形状、血管几何形状、侧支位置、钙形态、斑块分布或引导导管位置之一。

附图说明

为了轻松识别对任何元件或动作的讨论，参考编号中最重要的数字或多个数字指的是首次引入该元件的附图标记。

图1示出了根据本公开实施例的IVUS成像系统。

图2示出了血管的示例血管造影图像。

图3A和图3B示出了血管的IVUS图像。

图4示出了根据本公开的至少一个实施例的IVUS图像关联和可视化系统。

图5A示出了根据本公开的至少一个实施例的一组IVU图像中的帧与另一组IVUS图像中的帧之间的示例逐帧关联。

图5B示出了可以根据图5A中的示例逐帧关联而生成的关联分数的图。

图6A示出了根据本公开的至少一个实施例的一组IVU图像中的帧与另一组IVUS图像中的帧和该帧的角度偏移版本之间的另一示例逐帧关联。

图6B示出了可以根据图6A中的示例逐帧关联而生成的关联分数的图。

图7示出了根据本公开的至少一个实施例的另一IVUS图像关联和可视化系统。

图8A和8B示出了基于本公开的至少一个实施例对齐的血管的若干系列IVUS图像。

图9A和图9B示出了根据本公开的至少一个实施例的示例逐段对齐和偏移识别。

图10A和图10B示出了根据本公开的至少一个实施例的另一示例逐段对齐和偏移识别。

图11示出了根据本公开的至少一个实施例的图形用户界面(GUI)。

图12示出了根据本公开的至少一个实施例的确定血管的不同IVUS运行(IVUSrun)之间的映射的逻辑流程。

图13示出了根据本公开的至少一个实施例的基于一系列IVUS图像的经提取和矢量化特征沿两个系列IVUS图像的纵向偏移的时间扭曲。

图14示出了适合与本公开的示例性实施例一起使用的示例性机器学习ML系统。

图15示出了根据本公开的至少一个实施例的另一IVUS图像关联和可视化系统。

图16A示出了示例血管外图像和已识别的基准。

图16B、图16C和图16D示出了IVUS运行的帧的示例，这些帧被旋转以与在图16A的外部图像中所观察到的基准的角度对齐。

图17示出了根据本公开的至少一个实施例的GUI。

图18示出了计算机可读存储介质。

图19示出了机器的示意图。

具体实施方式

上文已广泛概述了本公开的特征和技术优势，以便可以更好地理解本公开的以下详细描述。本领域技术人员应理解，所公开的实施例可容易地用作修改或设计用于实现本公开的相同目的的其他结构的基础。结合附图考虑，本公开的新颖特征(包括其组织和操作)以及进一步的目的和优势将从以下描述中更好地理解。然而，应明确理解的是，提供每个附图是为了说明和描述，并非旨在定义本公开的限制。

如上所述，本公开涉及患者的IVUS图像和管腔(例如血管)以及处理IVUS记录，或者换句话说，处理一系列IVUS图像。因此，描述了示例IVUS成像系统、患者血管和一系列IVUS图像。

合适的IVUS成像系统包括但不限于布置在导管远端的一个或多个换能器，所述导管被配置和布置用于经皮插入患者体内。

图1示意性地示出了IVUS成像系统100的一个实施例。IVUS成像系统100包括可耦合到控制系统104的导管102。控制系统104可以包括例如处理器106、脉冲生成器108和驱动单元110。在至少一些实施例中，脉冲生成器108形成电脉冲，该电脉冲可以输入到设置在导管102中的一个或多个换能器(未示出)。

在一些实施例中，来自驱动单元110的机械能可用于驱动导管102中设置的成像核心(也未示出)。在至少一些实施例中，从一个或多个换能器传输的电信号可输入到处理器106进行处理。在至少一些实施例中，来自一个或多个换能器的经处理的电信号可用于形成一系列图像，如下文更详细地描述。例如，扫描转换器可用于将扫描线样本(例如，径向扫描线样本等)映射到二维笛卡尔网格，其可用作可向用户显示的一系列IVUS图像的基础。

在至少一些实施例中，处理器106还可用于控制上述控制系统104的一个或多个其他组件的功能。例如，处理器106可用于控制从脉冲生成器108发送的电脉冲的频率或持续时间中的至少一个、驱动单元110对成像核心的旋转速率。另外，当IVUS成像系统100配置为自动回拉时，驱动单元110可以控制回拉的速度和/或长度。

图2示出了患者血管202的血管外图像200。如所述，IVUS成像系统(例如，IVUS成像系统100等)用于捕获一系列血管腔内图像或“记录”或血管(诸如血管202)。例如，将IVUS导管(例如，导管102)插入血管202中，并在导管102从远端204拉回到近端206时，捕获上述记录或一系列IVUS图像。导管102可以被手动或自动拉回(例如，在驱动单元110等的控制下)。在远端204和近端206之间捕获的一系列IVUS图像通常称为来自IVUS运行的图像。

图3A和图3B示出了血管202的IVUS图像的二维(2D)表示。例如，图3A示出了IVUS图像300a，其描绘了近端206和远端204之间血管202的IVUS记录的纵向视图。

图3B示出了图像帧300b，其描绘了点302处的血管202的轴上(或短轴)视图。换句话说，图像帧300b是来自一系列IVUS图像的单个帧或单个图像，该一系列IVUS图像可以在本文所述的远端204和近端206之间被捕获。如上所述，医生通常会在治疗的不同阶段捕获IVUS运行(例如，一系列IVUS图像)。例如，可以在经皮冠状动脉介入(PCI)治疗之前和PCI治疗之后(例如，放置支架、球囊扩张、旋转消融等)捕获IVUS图像。

本公开内容提供了可以在逐帧基础上对齐来自不同时间帧的IVUS运行，并且提供了使得IVUS运行彼此关联的图形用户界面，以允许医生查看经关联的IVUS运行，从而更直接地了解他们对血管的治疗，例如，通过并排比较来观察病变特性的差异。

图4示出了根据本公开的一些实施例的IVUS图像关联和可视化系统400。通常，IVUS图像关联和可视化系统400是用于处理、关联和呈现同一血管的多个系列IVUS图像的系统。IVUS图像关联和可视化系统400可在商业IVUS引导或导航系统中实现，例如，可从获得的引导系统。本公开提供了优于现有或传统IVUS导航系统的优势，因为传统系统不提供对在不同时间进行的IVUS运行进行关联的功能。

对于一些实施例，IVUS图像关联和可视化系统400可以作为控制系统104的一部分来实现。替代地，控制系统104可以作为IVUS图像关联和可视化系统400的一部分来实现。如图所示，IVUS图像关联和可视化系统400包括计算设备402。可选地，IVUS图像关联和可视化系统400包括IVUS成像系统100和显示器404。

值得注意的是，尽管本公开内容经常使用IVUS作为示例性血管内成像方式，但本公开内容可以被提供，以对来自不同运行(该不同运行使用各种其他血管内成像方式(例如，光学相干断层扫描(OCT))而被捕获)的帧进行纵向上和/或角度上对齐。

计算设备402可以是各种计算设备中的任何一种。在一些实施例中，计算设备402可以并入显示器404的控制台中和/或由其实现。在一些实施例中，计算设备402可以是与IVUS成像系统100和/或显示器404通信耦合的工作站或服务器。在其他实施例中，计算设备402可以由基于云的计算设备提供，例如，由可通过网络(例如，互联网、内联网、广域网等)访问的计算即服务系统提供。计算设备402可以包括处理器406、存储器408、输入和/或输出(I/O)设备410、网络接口412和IVUS成像系统采集电路414。

处理器406可以包括电路或处理器逻辑，例如，各种商用处理器中的任何一种。在一些示例中，处理器406可以包括多个处理器、多线程处理器、多核处理器(无论多个核是共存于同一芯片还是在单独的芯片上)、和/或某种其他类型的多处理器架构(通过该架构，多个物理上独立的处理器以某种方式链接在一起)。此外，在一些示例中，处理器406可以包括图形处理部分，并且可以包括专用内存、多线程处理和/或某种其他并行处理能力。在一些示例中，处理器406可以是专用集成电路(ASIC)或现场可编程集成电路(FPGA)。

存储器408可以包括逻辑电路，其中该逻辑电路的一部分包括集成电路阵列，形成非易失性存储器以持久存储数据、或非易失性存储器和易失性存储器的组合。应当理解，存储器408可以基于多种技术中的任何一种。具体而言，存储器120中包含的集成电路阵列可以布置成形成一种或多种类型的存储器，例如动态随机存取存储器(DRAM)、NAND存储器、NOR存储器等。

I/O设备410可以是用于接收输入和/或提供输出的各种设备。例如，I/O设备410可以包括键盘、鼠标、操纵杆、脚踏板、显示器、触摸使能显示器、触觉反馈设备、LED等。

网络接口412可以包括逻辑电路和/或特征以支持通信接口。例如，网络接口412可以包括一个或多个接口，这些接口根据各种通信协议或标准操作以通过直接通信或网络通信链路进行通信。直接通信可以通过使用一个或多个行业标准(包括子代和变体)中描述的通信协议或标准来进行。例如，网络接口412可以促进通过总线的通信，例如外围组件互连快速总线(PCIe)、非易失性存储器快速总线(NVMe)、通用串行总线(USB)、系统管理总线(SMBus)、SAS(例如串行连接小型计算机系统接口(SCSI))接口、串行AT连接(SATA)接口等。此外，网络接口412可以包括逻辑电路和/或特征以允许通过各种有线或无线网络标准(例如902.11通信标准)进行通信。例如，网络接口412可以被布置为支持有线通信协议或标准，例如以太网等。作为另一示例，网络接口412可以被布置为支持无线通信协议或标准，例如Wi-Fi、蓝牙、ZigBee、LTE、5G等。

IVUS成像系统采集电路414可以包括电路，该电路包括定制制造或专门编程的电路，该定制制造或专门编程的电路被配置为：在IVUS成像系统100之间，接收或者接收和发送信号，该信号包括IVUS运行的指示、一系列IVUS图像、或IVUS图像的一帧或多帧。

存储器408可以包括指令416。在操作期间，处理器406可以执行指令416以使计算设备402(例如，从IVUS成像系统100等)接收来自血管的多次IVUS运行的一系列IVUS图像，并将记录作为IVUS图像418a、IVUS图像418b等存储在存储器408中。例如，处理器406可以执行指令416以从IVUS成像系统100接收信息元件，该信息元件包括导管102在被从远端204拉回到近端206时所捕获的IVUS图像的指示，这些图像包括血管202(该血管202包括血管壁和斑块)的解剖学的指示和/或结构的指示。此外，应当理解，处理器406可以执行指令416以接收来自遍历血管的多次运行的IVUS图像(例如，PCI前、PCI后、不同时间等)。应当理解，IVUS图像418a和418b可以以多种图像格式或甚至非图像格式或包含血管202的指示的数据结构来存储。此外，IVUS图像418a和418b包括若干“帧”或各个图像，当它们共线地被表示时，可用于形成血管202的图像，例如，如IVUS图像300a所表示的。

本公开内容提供在逐帧基础上使得IVUS图像418a和IVUS图像418b关联，并在图形用户界面中呈现图像的关联视图。在一些示例中，处理器406可以执行指令416，以使用机器学习(ML)模型从IVUS图像418a和IVUS图像418b中识别IVUS运行帧映射(IVUS run framemapping)420以推断映射(例如，参见图4)。在一些实施例中，处理器406可以执行指令416，以使用逐帧关联或逐段关联从IVUS图像418a和IVUS图像418b中识别到IVUS运行帧映射420(例如，参见图4)。在一些实施例中，这可以使用标准图像处理技术和/或ML推理来实现。在其他示例中，存储器408可以执行指令416以确定一个或多个基准(例如，通过机器学习、通过图像处理算法等)，并从所识别的基准确定IVUS运行帧映射420(例如，参见图7)。尽管确定IVUS运行帧映射420的每种方法略有不同且单独讨论，但一旦识别出IVUS运行帧映射420，这些方法就相似了。此外，在一些实施例中，可以将IVUS运行与血管的血管造影图像进行映射和/或对齐(例如，参见图6)。值得注意的是，图4、图7和图15分别描绘了IVUS图像关联和可视化系统400、700和1500。这样做是为了清楚地描述本文公开的各种对齐技术。然而，需要注意的是，针对一个系统(例如400)描述的对齐技术可以与针对另一系统(例如700和/或1500)公开的对齐技术一起使用。例如，可以理解，一种对齐技术可用于纵向上对齐帧，而另一种技术可用于角度上对齐帧。

现在转到图4。一旦生成IVUS运行帧映射420，就可以根据IVUS运行帧映射420来生成IVUS图像418a和IVUS图像418b之间的逐帧关联。例如，存储器408可以执行指令416以将IVUS图像418a的每一帧与IVUS图像418b的相应帧关联。此外，存储器408可以执行指令416以生成图形用户界面(GUI)424，该图形用户界面(GUI)424描绘IVUS图像418a的帧的指示，其中IVUS图像418a的帧基于IVUS运行帧映射420与IVUS图像418b的相应帧关联和/或相关。

在使用ML生成IVUS运行帧映射420的示例中，处理器406可以执行指令416以执行或“运行”ML模型422，其中IVUS图像418a和IVUS图像418b作为输入以生成IVUS运行帧映射420。ML模型422可以从IVUS图像418a和IVUS图像418b推断IVUS运行帧映射420。存储器408可以存储ML模型422的副本，并且处理器406可以执行ML模型422以生成IVUS运行帧映射420。一般而言，ML模型422可以是各种ML模型中的任何一种。下面提供了本文所设想的ML模型的示例和甚至训练ML模型的示例。

在一些实施例中，本公开内容可用于：基于一次IVUS运行的每一帧与另一个IVUS运行的所有帧之间的关联对齐IVUS运行。处理器406可以执行指令416以确定IVUS运行逐帧关联426。例如，处理器406可以执行指令416以迭代IVUS图像418a的每一帧并(例如，使用基准、使用ML、使用背景减法、使用互相关等)计算IVUS图像418b的所有帧之间的关联。随后，处理器406可以执行指令416以针对IVUS图像418a中的每一帧识别IVUS图像418b中最密切关联的帧。例如，图5A描绘了图像帧502(例如，来自IVUS图像418a等)和图像帧504a、504b、504c等(例如，来自IVUS图像418b等)。处理器406可以执行指令416来计算图像帧502与图像帧504a、504b、504c等之间的关联(例如，关联值、分数等)。图5B示出了所计算的关联的图506。图506绘制了来自一组IVUS图像的特定帧(例如，图像帧502)和来自另一组IVUS图像的帧(例如，帧504a、504b、504c等)的关联分数。可以看出，关联分数的值被绘制在y轴508上，而来自第二组IVUS图像的帧号被绘制在x轴510上。

对于一些实施例，可以针对每个帧在不同旋转角度下确定逐帧关联。处理器406可以执行指令416以针对一组IVUS图像(例如，IVUS图像418a等)中的每一帧识别与来自另一组IVUS图像(例如，IVUS图像418b等)的帧在几个旋转角度下的关联。图6A示出了这种情况的一个例子。在IVUS图像关联和可视化系统400的操作期间，处理器406可以执行指令416以计算来自一组IVUS图像的帧(例如，来自IVUS图像418a等的图像帧502)与来自另一组IVUS图像的帧(例如，来自IVUS图像418b等的图像帧504a)以及该图像帧的旋转版本(例如，使图像帧旋转602a和602b)之间的关联得分。与上面描述的逐帧关联一样，处理器406可以执行指令416来计算来自一组IVUS图像(例如IVUS图像418a)的每个帧与来自另一组IVUS图像(例如IVUS图像418b等)的每个帧和旋转版本之间的关联得分。图6B示出了所计算的关联的图604。图604绘制了来自一组IVUS图像(例如图像帧502)的特定图像帧和来自另一组IVU图像(例如图像帧504a)的图像帧和该图像帧的旋转版本(例如旋转图像帧602a和602b)的关联得分。可以看出，关联得分的值绘制在y轴606上，而旋转角度绘制在x轴608上。

在一些示例中，处理器406可以执行指令416以生成所有可能的旋转角度的旋转图像帧(例如，旋转图像帧602a、602b等)。在这样的示例中，将生成359个旋转图像帧。在其他示例中，处理器406可以执行指令416以生成所有可能的旋转角度的子集下的旋转图像帧(例如，每2度、每5度、每10度、每15度、每20度、每30度、每45度等)。

通常，IVUS运行帧映射420可以包括偏移(例如，时间、距离、旋转等)的指示，其中以该偏移调整IVUS图像418a和IVUS图像418b中的一个(或每个)以使得它们对齐。如本文所用，术语对齐是指纵向上和/或角度上对齐图像的帧。

在一些实施例中，处理器406可以执行指令416以接收用于标识IVUS图像418a和/或IVUS图像418b之一的帧的书签(或多个书签)。可以调整IVUS运行帧映射420以对齐书签。在一些实施例中，该映射不是线性的。例如，IVUS图像418a中的的帧可以基于其与IVUS图像418b中的帧的关联而被线性调整(例如，第一距离)和/或旋转(例如，第一角度)，而IVUS图像418a中的相邻帧可以基于其与来自IVUS图像418b的相同帧或不同帧的关联而被线性调整(例如，第二距离)和/或旋转(例如，第二角度)。

图7示出了根据本公开的一些实施例的IVUS图像关联和可视化系统700。一般而言，IVUS图像关联和可视化系统700是用于处理、关联和呈现同一血管的多个系列IVUS图像的系统，类似于IVUS图像关联和可视化系统400。为了简化讨论，IVUS图像关联和可视化系统400的许多组件在IVUS图像关联和可视化系统700中被引用和重复使用。

如上文关于图4和IVUS图像关联和可视化系统400所述，本公开内容提供生成针对IVUS图像418a和IVUS图像418b的IVUS运行帧映射420。在一些实施例中，处理器406可以执行指令416以识别IVUS图像418a和IVUS图像418b中的血管基准702。在一些实施例中，血管基准702可以是任何一个或多个冠状动脉解剖基准(例如，管腔几何形状、血管几何形状、侧支位置、钙形态、斑块分布、引导导管位置等)。在一些实施例中，处理器406执行指令416以使用图像处理算法(例如，用于识别管腔轮廓等的几何图像识别算法等)从IVUS图像418a和IVUS图像418b中识别血管基准702。在其他实施例中，存储器408可以包括一个或多个ML模型704，其配置为从IVUS图像(例如IVUS图像418a、418b等)推断血管基准702。例如，存储器408可以包括ML模型704，其中ML模型704可以包括一个或多个经过训练以推断基准(例如侧支位置、钙形态、引导导管位置等)的ML模型。因此，处理器406可以执行ML模型704以识别IVUS图像418a和IVUS图像418b帧中的血管基准702。

处理器406可以执行指令416，以根据血管基准702来生成IVUS运行帧映射420，例如，通过将来自IVUS图像418a的帧和来自IVUS图像418b的帧配对，在其中，识别出相同的解剖基准。给定IVUS运行帧映射420，处理器406可以执行指令416，以将IVUS图像418a的每个帧与IVUS图像418b的相应帧关联。此外，处理器406可以执行指令416，以基于IVUS运行帧映射420生成GUI 424，该GUI 424描绘与IVUS图像418b的相应帧关联的和/或与IVUS图像418b的相应帧相关的IVUS图像418a的帧的指示。

应理解，在一些实施例中，处理器406可以执行指令416并识别每次IVUS运行(例如，IVUS图像418a和418b)的单个帧中的基准。例如，血管基准702可以包括在IVUS图像418a的帧中识别的侧支和在IVUS图像418b的帧中识别的相同侧支。在其他实施例中，处理器406可以执行指令416并识别多个帧中的基准。在这样的示例中，基准不必相同。例如，如上所述，血管基准702可以包括：在IVUS图像418a的帧中的侧支位置和在IVUS图像418b的帧中的相同侧支位置，以及在IVUS图像418a的另一帧中的引导导管位置和在IVUS图像418b的另一帧中的引导导管位置。示例不限于此上下文。

图8A示出了针对刻度802设置的几次IVUS运行。该图中描绘了IVUS运行或多组IVUS图像804a、804b和804c。应理解，每组IVUS图像(例如，多组IVUS图像804a、804b和804c)包括多个帧。如上所述，对于一些实施例，在每组IVUS图像的一个或多个帧中识别基准。该图描绘了在每组IVUS图像804a、804b和804c的帧中识别的基准806。IVUS运行帧映射420可根据被识别为指示(表示、对应、描绘等)基准806的帧而生成。例如，处理器406可执行指令416以从每组IVUS图像中识别包含血管的基准806(或血管基准)的帧(例如，来自图像804a、图像804b和图像804c等的帧)。处理器406可执行指令416以识别一组(或多组)IVUS图像的帧的偏移，当应用该偏移时，每组IVUS图像中的帧将在刻度802上对齐。在一些实施例中，偏移可以是时间偏移，距离偏移，角度偏移，或时间、距离和/或角度偏移的任意组合。此外，应理解，刻度802可以是表示或图形地呈现IVUS运行的任何刻度。例如，一些IVUS运行以图形方式表示为与回拉刻度相对应，其中回拉刻度具有沿回拉的远端点和近端点。例如，回拉刻度可以用距离单位(例如毫米等)表示。在偏移的背景下，可以生成偏移，使得当应用偏移时，被识别为指示相同基准(例如血管基准806)的这些帧被移动或调整，使得这些帧在刻度上对齐。

例如，图8B示出了图8A中的再次针对刻度802进行设置的IVUS图像。然而，来自多组IVUS图像804a和804c的帧已经基于所识别的偏移(例如，来自IVUS运行帧映射420等)被调整，以在刻度802上对齐指示基准的这些帧。例如，IVUS图像804a被调整偏移808a以相对于刻度802移动IVUS图像804a，而IVUS图像804c被调整偏移808b以相对于刻度802移动IVUS图像804c。分别将偏移808a和808b应用于IVUS图像804a和804c，将IVUS图像与刻度802对齐，并且特别地将IVUS图像804a、804b和804c中指示血管基准806的这些帧与刻度802对齐。例如，如该图所示，当基于偏移808a和808b调整IVUS图像804a、804b和804c时，在每个IVUS运行中所识别的基准806对齐。注意，偏移808a和808b被描绘为纵向偏移，或者更确切地说是沿着刻度802使得帧偏移的距离。然而，偏移808a和808b可以改为偏移角度(例如，旋转帧的角度)，或者可以是偏移距离和偏移角度。此外，注意，虽然每个IVUS运行仅描绘单个偏移(例如，IVUS图像804a的偏移808a和IVUS图像804c的偏移808b)，但本文可以提供每个运行的多个偏移(例如，针对一个段中的帧、针对每个帧、仅针对一些帧等)。

提供了多种技术和工作流程来识别一组IVUS图像(例如IVUS图像418a等)中的帧的纵向偏移和/或角度偏移，以便将这些帧与另一组IVUS图像(例如IVUS图像418b等)中的帧对齐。值得注意的是，尽管图8A和图8B仅描绘了纵向上对齐，但本公开内容可以实施纵向上、角度上、和/或纵向和角度两者上来对齐IVUS运行。

在一些实施例中，处理器406可以执行指令416，以基于逐段方式纵向上对齐来自IVUS图像418a的帧与来自IVUS图像418b的帧。例如，在一些实施例中，处理器406可以执行指令416，以基于血管基准702识别段。图9A示出了IVUS图像418a和所识别的基准902a和902b。如上所述，这些基准可以是侧支、管腔几何形状、血管几何形状、钙形态、斑块分布等。处理器406可以执行指令416，以基于所识别的基准902a和902b将来自IVUS图像418a的帧分组为段。例如，图9A示出了来自IVUS图像418a的帧被分组为段904a、904b和904c。因此，可以使用所识别的血管基准702为不同段生成一组IVUS图像(例如，IVUS图像418a等)中的帧的偏移。

图9B示出了表示对应于基准902a和902b的帧的每个纵向偏移的点。根据这些点，可以生成表示纵向偏移的图906，该纵向偏移被绘制在y轴908上，而IVUS运行418a中的每个帧被绘制在x轴910上。在一些实施例中，图906可以在这些点之间线性生成(例如，如图9B所示)。在其他实施例中，处理器406可以执行指令416以基于一个或多个线拟合算法(例如，基于光栅的线拟合等)生成图906。可以基于图906确定每个段904a、904b和904c中的帧的纵向偏移。

在一些实施例中，处理器406可以执行指令416，以基于血管基准702将IVUS图像418a中的帧与IVUS图像418b中的帧旋转地对齐。例如，在一些实施例中，IVUS运行帧映射420可以包括偏移角(例如，用于使得帧旋转的偏移角)。图10A示出了IVUS图像418a和已识别的基准1002a、1002b和1002c。如上所述，这些基准可以是侧支、管腔几何形状、血管几何形状、钙形态、斑块分布等。如上所述，IVUS图像418a中与基准1002a、1002b和1002c相对应的帧可以(例如，基于血管基准702等)映射到IVUS图像418b中的特定帧，并且可以确定帧之间的偏移角。在另一个实施例中，基于计算与每个帧和每个帧的旋转版本的关联(例如，如上文关于图6A和图6B所述)，可以确定偏移角。

图10B示出了表示对应于基准1002a、1002b和1002c的帧的每个偏移角的点。根据这些点，可以生成表示偏移角的图1004，该偏移角被绘制在y轴1006上，而IVUS运行418a中的每个帧被绘制在x轴1008上。如上所述，1004可以线性生成和/或基于一种或多种线拟合或线平滑算法生成。

应认识到，可以组合用于识别对齐偏移的各种技术和工作流程。如本文所用，“对齐偏移”旨在表示偏移距离(例如，纵向上对齐帧)或偏移角度(例如，角度上对齐帧)，或两者。例如，IVUS运行帧映射420可以包括偏移距离和偏移角度中的任一个或两者。对于一些示例，可以逐段组合本文概述的各种偏移推导方法。例如，可以基于本文所公开的对齐方法的第一选择来确定第一段(例如，图9A的段904a等)中的帧的对齐偏移，而可以基于本文所公开的对齐方法的第二选择来确定另一段(例如，图9A的段904b、904c等)中的帧的对齐偏移。作为具体示例，可以使用逐帧关联来对齐片段904a中的帧，而可以使用来自ML模型的推理来对齐片段904b中的帧。然而，权利要求不仅限于此示例，还可以包括基于逐段实施的任何技术组合。

如上所述，可以生成GUI以呈现相互关联的不同IVUS运行的图形指示，例如，其中帧按本文所述被对齐。图11示出了GUI 1100，其可以根据本公开的一些实施例生成。在一些实施例中，GUI 1100可以是图4、图7或图15的GUI 424。例如，处理器406可以执行指令416以生成具有如图11的GUI 1100中所示的图形组件和布置的GUI 424。在这样的示例中，处理器406可以执行指令416以使GUI 1100显示在显示器404上。

GUI 1100可以包括IVUS图像418a和IVUS图像418b的图形指示。如本示例所示，IVUS图像418a和IVUS图像418b的图形指示包括轴上视图(例如，轴上视图1102a和轴上视图1102b)和纵向视图(例如，纵向视图1104a和纵向视图1104b)。如图所示，GUI 1100可以将轴上视图1102a和轴上视图1102b以及纵向视图1104a和纵向视图1104b布置在水平(例如，并排)可视化中。对于其他实施例，处理器406可以执行指令416来生成GUI 1100，从而以垂直布置来可视化轴上视图1102a和轴上视图1102b。

此外，GUI 1100可以包括双视图滑动条1106和双视图滑块1108。可以操纵双视图滑块1108(例如，通过触摸屏、鼠标、操纵杆等)以滑动(或移动)通过IVUS图像的帧。当双视图滑块1108移动时，处理器406可以执行指令416以重新生成GUI 1100，以移动位于纵向视图1104a和1104b上的帧指示器1110a和1110b以及双视图滑块1108的位置。此外，轴上视图1102a和1102b可以改变以对应于来自每个相应IVUS运行的、与帧指示器1110a和1110b的位置相匹配的帧。

因此，如本文所述，可以调整一次或两次IVUS运行(例如，基于偏移距离和/或偏移角度)以使IVUS运行彼此对齐。因此，用户(例如，医生)可以查看不同的IVUS运行(例如，PCI前运行和PCI后运行等)，其中血管的位置和相应的基准在可视化中对齐，例如，被描绘在GUI 1100中。

在一些实施例中，可以在GUI中显示超过两个(2)个IVUS运行。例如，图8A和图8B显示了三个(3)个IVUS运行，这些运行被移动以使这些IVUS运行彼此对齐。因此，可以生成GUI1100以显示这三个(3)个IVUS运行中的每一个的图形指示。

图12示出了根据本公开的一些实施例对齐不同IVUS运行的逻辑流程1200。逻辑流程1200可以由本文描述的IVUS图像关联和可视化系统(例如IVUS图像关联和可视化系统400、700等)实现。为了清楚起见而非限制，参考IVUS图像关联和可视化系统400来描述逻辑流程1200。

逻辑流程1200可从框1202开始。在框1202“接收患者血管的第一系列IVUS图像”处，可以接收通过经皮插入患者血管中的IVUS导管捕获的第一系列IVUS图像。例如，在导管102经皮插入血管202时，可从IVUS成像系统100接收包括IVUS图像418a指示的信息元件。IVUS图像418a可包括代表导管102从远端204拉回到近端206时所捕获的图像的图像帧。处理器406可执行指令416以从IVUS成像系统100接收包括IVUS图像418a指示的信息元件，或根据情况直接从导管102接收包括IVUS图像418a指示的信息元件。

继续到框1204“接收患者血管的第二系列IVUS图像”，可以接收通过经皮插入患者血管中的IVUS导管捕获的第二系列IVUS图像。例如，可以从IVUS成像系统100接收包括IVUS图像418b指示的信息元件，其中导管102被(或曾经)经皮插入血管202中。与IVUS图像418a一样，IVUS图像418b可以包括代表导管102从远端204拉回到近端206时所捕获的图像的图像帧。但是，如上所述和本文所设想的，IVUS图像418a的远端204和近端206可以位于与IVUS图像418b的远端204和近端206不同的位置。处理器406可以执行指令416以从IVUS成像系统100接收包括IVUS图像418b的指示的信息元件，或者根据情况直接从导管102接收包括IVUS图像418a指示的信息元件。

继续到框1206“识别第一系列IVUS图像中的帧与第二系列IVUS图像中的帧之间的映射”，可以识别第一系列IVUS图像中的帧与第二系列IVUS图像中的帧之间的映射。例如，处理器406可以执行指令416以基于ML模型422生成IVUS运行帧映射420。在另一个实施例中，处理器406可以执行ML模型704以识别血管基准702，然后根据血管基准702识别IVUS运行帧映射420。在另一示例中，处理器406可以执行指令416以基于如上所述的关联(例如，逐帧关联、角度偏移逐帧关联等)生成IVUS运行帧映射420。在另一示例中，处理器406可以执行指令416以按如上所述的逐段地生成IVUS运行帧映射420。

在上述任何实施例中，IVUS运行帧映射420可以包括针对一系列或两系列IVUS图像的偏移(例如，时间、距离、角度等)的指示，当应用这些偏移时，该偏移将纵向上(例如，如图8B所示)和/或角度上对齐IVUS图像。如本文所述，IVUS运行帧映射420可以指示偏移距离和/或偏移角度。示例不限于此上下文。

在一些示例中，处理器406可以执行指令416以基于本文所述的纵向偏移来映射帧。在这样的示例中，处理器406可以执行指令416以基于部分重叠和时间扭曲来映射帧。应当理解，可以以第一回拉速度来捕获一组IVUS图像(例如，IVUS图像418a等)，而可以以不同于第一回拉速度的第二回拉速度来捕获另一组IVUS图像(例如，IVUS图像418b等)。在另一示例中，可以沿着通过血管的第一回拉路径捕获一组IVUS图像(例如，IVUS图像418a等)，而可以沿着略微不同的回拉路径捕获另一组IVUS图像(例如，IVUS图像418b等)，或者运动伪影可以出现在所捕获的IVUS图像中。

因此，尽管许多示例讨论了基于偏移距离和/或偏移角度来对齐(或对准)不同运行的IVUS图像，但是一些实施例规定：运行也可以基于运动重叠和/或时间扭曲来对齐(或配准)。

例如，图13示出了图1300，其显示了从穿过血管的两次IVUS运行中提取和矢量化的特征的对齐。经提取和矢量化的特征1302a可以从IVUS图像418a生成，而经提取和矢量化的特征1302b可以从IVUS图像418b生成。这些特征可以基于沿纵向偏移的时间扭曲而被对齐，如本文所述。也就是说，如该图所示，IVUS运行的帧可以被纵向偏移不同的量，以考虑穿过血管的不同回拉速度和路径。

继续到框1208“生成图形用户界面，该图形用户界面包括第一系列IVUS图像和第二系列IVUS图像的指示，其中第一系列IVUS图像或第二系列IVUS图像中的至少一个基于映射而被偏移(例如，在时间、距离、角度等上)，以在纵向上和/或角度上使第一系列IVUS图像与第二系列IVUS图像对齐”，可以生成GUI，其中该GUI包括第一系列IVUS图像和第二系列IVUS图像的图形指示，并且来自第一系列和/或第二系列IVUS图像的任意数量的帧被偏移(例如，在时间、距离、角度等上)，以在纵向上和/或角度上对齐第一系列IVUS图像和第二系列IVUS图像。例如，处理器406可以执行指令416以生成如上所述的GUI 424。作为一个具体示例，处理器406可以执行指令416以将GUI 1100生成为GUI 424并且使得GUI 1100显示在显示器404上。

如上所述，对于一些实施例，计算设备402的处理器406可以执行指令416，以使用ML模型生成IVUS运行帧映射420，或者从ML模型生成血管基准702并且然后根据血管基准702生成IVUS运行帧映射420。在这样的示例中，ML模型可以存储在计算设备402的存储器408中。可以理解，在部署之前，ML模型需要被训练。图14示出了ML环境1400，其可用于训练ML模型，该模型稍后可用于生成(或推断)如本文所述的映射或血管基准。ML环境1400可以包括ML系统1402，例如应用ML算法来学习输入和推断输出之间的关系的计算设备。在这个例子中，ML算法可以学习输入(例如，IVUS图像)和输出(例如，根据实施例的帧映射或血管基准)之间的关系。

ML系统1402可利用在几个先前手术期间收集的实验数据1408。实验数据1408可包括来自多个患者的多个IVUS运行的IVUS图像。实验数据1408可与ML系统1402共置(例如，存储在ML系统1402的存储器1410中)，可远离ML系统1402并通过网络接口1404访问，或者可以是本地数据和远程数据的组合。

实验数据1408可用于形成训练数据1412。如上所述，ML系统1402可包括存储器1410，存储器1410可包括硬盘、固态存储器和/或随机存取存储器。存储器1410可保存训练数据1412。一般而言，训练数据1412可包括信息元件或数据结构，所述信息元件或数据结构包括多个系列的IVUS图像的指示和相应的期望输出(例如，映射或血管基准)。应理解，如果期望输出是IVUS帧映射，则输入可以是两个(或更多个，视情况而定)系列的IVUS图像。作为参考图4的具体示例，其中ML模型1424将被训练并部署为ML模型422，输入可以是多对第一系列IVUS图像和第二系列IVUS图像(例如，多于一次IVUS运行)，并且输出可以是与每对第一系列IVUS图像和第二系列IVUS图像的相关联的映射(例如，IVUS运行之间的映射)。在另一示例中，参考图7，其中ML模型1424将被训练并部署为ML模型704，输入可以是单个系列IVUS图像(例如，单个IVUS运行)，并且输出可以是IVUS图像中识别到血管基准(或基准)的帧。

训练数据1412可用于训练ML模型1424。根据应用，可以使用不同类型的模型来形成ML模型1424的基础。例如，在本示例中，人工神经网络(ANN)可能特别适合学习IVUS图像(例如IVUS图像418a、IVUS图像418b等)与基准或帧映射(例如IVUS运行帧映射420、血管基准702等)之间的关联。卷积神经网络也可能非常适合此任务。在另一示例中，ML模型1424可以基于空间变换器(例如空间变换网络等)。作为另一示例，ML模型1424可以是多个网络，例如Siamese网络等。

任何合适的训练算法1420都可用于训练ML模型1424。例如，本文中描述的示例可能适用于监督训练算法或强化学习训练算法。对于监督训练算法，ML系统1402可将IVUS图像1414用作输入1430，ML模型1424可生成针对该输入1430的预期输出(例如，映射或基准)。在强化学习场景中，训练算法1420可尝试使映射到输出1426的模型输入1430的部分或全部(或加权组合)最大化，以产生具有最小误差的ML模型1424。在一些实施例中，训练数据1412可以被分成“训练”数据和“测试”数据，其中训练数据1412的某个子集可用于调整ML模型1424(例如，模型的内部权重等)，而训练数据1412的另一不重叠子集可用于测量ML模型1424的准确性，以从“看不见的”输入1430推断(或概括)输出1426。

ML模型1424可以使用处理器电路1406而被应用，处理器电路1406可以包括对存储器1410中的逻辑和结构进行操作的合适的硬件处理资源。训练算法1420和/或经训练的ML模型1424的开发可以至少部分地依赖于超参数1422。在示例性实施例中，可以基于逻辑1428自动选择模型超参数1422，该逻辑1428可以包括任何已知的超参数优化技术，以适合所选的ML模型1424和要使用的训练算法1420。在可选的实施例中，可以随着时间的推移重新训练ML模型1424，以适应新知识和/或更新的实验数据1424。

一旦ML模型1424经过训练，它就可以应用(例如，通过处理器406等)到新的输入数据(例如，IVUS图像418a、IVUS图像418b等)。ML模型(例如，ML模型422、ML模型702等)的这个输入可以根据预定义的模型输入1430被格式化，该模型输入1430反映了向ML模型1424提供训练数据1412的方式。ML模型1424可以生成输出1426，该输出可以是例如如上所述的泛化或IVUS运行帧映射420或血管基准702。

上述描述涉及一种特定类型的ML系统1402，其在给定具有输入/输出对的可用训练数据的情况下应用监督学习技术。然而，本发明不限于与特定ML范式一起使用，并且可以使用其他类型的ML技术。例如，在一些实施例中，ML系统1402可以将例如进化算法或其他类型的ML算法和模型应用于来自IVUS图像418a和/或IVUS图像418b的IVUS运行帧映射420(或血管基准702，视情况而定)。

在一些实施例中，ML模型1424可以是传统的ML模型，例如神经网络、卷积神经网络、进化人工神经网络等。然而，在一些实施例中，ML模型1424可能不是传统意义上的ML模型。例如，ML模型1424可能是动态规划算法，其中使用训练数据1412来调整动态规划算法的参数。

在一些实施例中，本公开内容可用于将IVUS运行与来自外部成像模态的血管视图成角度对齐。例如，图15示出了根据本公开内容的一些实施例的IVUS图像关联和可视化系统1500。一般而言，IVUS图像关联和可视化系统1500是用于处理、关联和呈现IVUS图像与同一血管的外部图像的系统。为了简化讨论，在描述IVUS图像关联和可视化系统1500时，引用并重复使用了IVUS图像关联和可视化系统400的许多组件。

如上文关于图4和IVUS图像关联和可视化系统400所述，本公开内容提供生成针对IVUS图像418a和IVUS图像418b的IVUS运行帧映射420。在一些实施例中，可以基于血管的外部图像生成IVUS运行帧映射420。值得注意的是，存在多种技术来将血管内图像(例如，IVUS图像418a和/或418b)与外部图像对准。本公开内容并未在此重现此类技术。然而，为了清楚起见，值得注意的是，可以在外部图像上识别基准，就像在血管内图像上一样，并且基准相互映射以将血管内图像中的帧与外部图像上的点(例如，在x和y坐标中)配准。

因此，在一些示例中，IVUS图像关联和可视化系统1500可以耦合到外部成像系统1506(例如，血管造影机、计算机断层扫描(CT)机、磁共振成像(MRI)机等)，该外部成像系统被配置为捕获血管的外部图像，利用该外部成像系统，捕获IVUS图像418a和/或418b。替代地，IVUS图像关联和可视化系统1500可以耦合到存储外部图像或外部图像帧的存储器设备。

处理器406可以执行指令416以从外部成像系统1506(或存储设备)接收外部图像1502(或多个图像)。处理器406可以执行指令416以识别外部图像1502和IVUS图像418a(或IVUS图像418b)中的基准。例如，处理器406可以执行指令416以识别与IVUS图像418a和外部图像1502中的基准相对应的血管基准702。

如上所述，存在多种技术来识别内部成像模式和外部成像模式中的基准。例如，侧支识别和匹配通常用于将内部图像与外部图像配准。本公开内容提供：处理器406可以执行指令416来识别基准及其位置并识别基准的角度并将基准位置和角度的指示存储在血管基准702中。对于一些实施例，处理器406可以使用图像处理技术和/或ML推理来识别基准的角度。例如，可以如上所述训练ML模型702以从外部图像1502中识别基准及其对应的角度。一旦识别出外部图像1502中的基准的角度，处理器406就可以执行指令416以识别偏移角度(例如，IVUS运行帧映射420等)，以利用该偏移角度来旋转IVUS图像(例如，IVUS图像418a和/或418b)的帧，以使观察角度与外部图像1502的视角对齐。此外，处理器406可以执行指令416以在给定与基准对应的帧的偏移角度的情况下，识别IVUS图像中其他帧的偏移(例如，如上文关于图10A和图10B等所述)。

例如，图16A示出了外部图像1502和两个被识别的基准(例如，侧支)1602a和1602b。处理器406可以执行指令416来识别基准1602a和1602b的角度。值得注意的是，基准的角度是基于基线得出的，例如，将零(0)度设置为从二维(2D)图像朝向观察者的Z方向等。处理器406可以执行指令416，以基于基准1602a和1602b的角度旋转(或得出角度偏移)IVUS图像418a中与基准1602a和1602b匹配的帧。

例如，图16B和图16C分别示出了描绘基准1602a和1602b的图像帧1604a和1604b(例如，来自IVUS图像418a的帧等)。处理器406可以执行指令416，以基于外部图像1502中表示的血管基准的角度(例如，侧支角度等)以及每个相应帧1604a和1604b中的基准的角度来旋转图像帧1604a和1604b，从而产生经旋转的图像帧1606a和1606b。经旋转的图像帧1606a和1606b分别在图16B和图16C中示出。

在一些示例中，可以基于基准标志来旋转图像帧。例如，图16B中描绘了基准标志1610。在一些实施例中，处理器406可以执行指令416以识别基准标志并基于基准标志的角度来旋转图像帧。例如，图像帧1604a中的基准标志1610(例如，侧支)被描绘在大约9点钟或270度处。可以基于另一图像帧中的基准标志的角度将该帧旋转一个角度，使得基准标志以特定角度对齐。例如，经旋转的图像帧1606a显示基准标志旋转到180度。

因此，如上所述，处理器406可以执行指令416，以将IVUS运行内的帧与外部图像(例如，外部图像1502等)的观察视角角度对齐，使得观察基准的角度在两种成像模式之间对齐。图16D示出了一组外部图像对齐的IVUS图像1608，其可以对应于来自IVUS图像418a(或类似图像)的帧，其中观察角度(或视角)已与外部图像帧1502的观察角度对齐。值得注意的是，这提供了比传统技术显著的改进。应当理解，血管内图像通常与观察角度无关。例如，当超声换能器在血管内旋转时，会捕获IVUS图像。因此，帧之间的实际观察角度可能会有所不同。此外，外部图像的观察角度也可能发生变化(例如，基于患者相对于图像采集系统的位置等)。因此，血管内和血管外图像之间的观察视角通常不一致。本公开内容解决了这个问题。

此外，如上所述，可以生成GUI以呈现对齐的IVUS运行的图形指示。例如，可以生成GUI以呈现来自如下的IVUS运行的帧的视觉表示，该IVUS运行与外部图像中看到的血管对齐。图17示出了GUI 1700，其可以根据本公开的一些实施例生成。在一些实施例中，GUI1700可以是图4、图7或图15的GUI 424。例如，处理器406可以执行指令416以生成具有如图17的GUI 1700中所示的图形组件和布置的GUI 424。在这样的示例中，处理器406可以执行指令416以使GUI 1700显示在显示器404上。

GUI 1700可以包括外部图像1502和IVUS外部图像对齐的IVUS图像1608的图形指示。因此，当医生(或用户)检查IVUS图像418a的帧时，将显示外部图像对齐的IVUS图像1608，使得在IVUS图像帧中看到的管腔和基准将与在外部图像帧中看到的血管和基准(例如，基准1602a和1602b)的角度相匹配。

图18示出了计算机可读存储介质1800。计算机可读存储介质1800可以包括任何非瞬态计算机可读存储介质或机器可读存储介质，例如光学、磁性或半导体存储介质。在各种实施例中，计算机可读存储介质1800可以包括制造品。在一些实施例中，计算机可读存储介质1800可以存储1802，电路(例如，处理器106、处理器406、处理器电路1406等)可以利用该指令执行。例如，计算机可执行指令1802可以包括用于实现关于指令416和/或逻辑流1200描述的操作的指令。计算机可读存储介质1800或机器可读存储介质的示例可以包括能够存储电子数据的任何有形介质，包括易失性存储器或非易失性存储器、可移动或不可移动存储器、可擦除或不可擦除存储器、可写或可重写存储器等。计算机可执行指令1802的示例可以包括任何合适类型的代码，例如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、面向对象代码、可视代码等。

图19示出了计算机系统形式的机器1900的示意图，其中可以执行一组指令，以使机器执行本文讨论的一种或多种方法。更具体地说，图19示出了计算机系统示例形式的机器1900的示意图，其中可以执行指令1908(例如，软件、程序、应用程序、小程序、应用程序或其他可执行代码)，以使机器1900执行本文讨论的一种或多种方法。例如，指令1908可以使机器1900执行图12的逻辑流程1200等。更一般地，指令1908可使得机器1900自动确定通过相同血管的不同IVUS运行(例如，来自PCI前IVUS运行、PCI期间IVUS运行和/或PCI后IVUS运行)的帧之间和/或IVUS运行与外部图像之间的映射(例如，时间、距离、角度等)。

指令1908将通用、非编程的机器1900转换为特定的机器1900，该机器被编程为以特定方式执行所述和所示的功能。在替代实施例中，机器1900作为独立设备运行，或者可以耦合(例如，联网)到其他机器。在联网部署中，机器1900可以在服务器-客户端网络环境中以服务器机器或客户端机器的身份运行，或者在对等(或分布式)网络环境中以对等机器的身份运行。机器1900可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板电脑、笔记本电脑、上网本、机顶盒(STB)、PDA、娱乐媒体系统、蜂窝电话、智能手机、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能家电)、其他智能设备、网络设备、网络路由器、网络交换机、网络桥接器、或任何能够顺序或以其他方式执行指令1908的机器，该指令1908指定机器1900要采取的动作。此外，虽然仅示出了单个机器1900，但术语“机器”还应包括单独或联合执行指令1908以执行本文讨论的任何一种或多种方法的机器1900的集合。

机器1900可以包括处理器1902、存储器1904和I/O组件1942，它们可以被配置为彼此通信，例如经由总线1944。在示例实施例中，处理器1902(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)、另一处理器或它们的任何合适组合)可以包括例如可以执行指令1908的处理器1906和处理器1910。术语“处理器”旨在包括多核处理器，其可以包括两个或更多个可以同时执行指令的独立处理器(有时称为“核”)。尽管图19示出了多个处理器1902，但是机器1900可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如，多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器、或者它们的任意组合。

存储器1904可以包括主存储器1912、静态存储器1914和存储单元1916，两者均可由处理器1902(例如通过总线1944)访问。主存储器1904、静态存储器1914和存储单元1916存储体现本文所述方法或功能中的一种或多种的指令1908。在由机器1900执行指令1908期间，指令1908还可以完全或部分地驻留在主存储器1912内、静态存储器1914内、存储单元1916内的机器可读介质1918内、处理器1902中的至少一个内(例如，处理器的高速缓存内)或其任何合适的组合内。

I/O组件1942可以包括各种各样的组件，以接收输入、提供输出、产生输出、传输信息、交换信息、捕获测量值等。特定机器中包含的特定I/O组件1942将取决于机器的类型。例如，便携式机器(例如移动电话)可能包括触摸输入设备或其他此类输入机制，而无头服务器机器可能不包括此类触摸输入设备。可以理解，I/O组件1942可以包括图19中未显示的许多其他组件。根据功能对I/O组件1942进行分组仅仅是为了简化以下讨论，并且该分组绝不是限制性的。在各种示例实施例中，I/O组件1942可以包括输出组件1928和输入组件1930。输出组件1928可以包括视觉组件，例如，显示器(如等离子显示面板(PDP))、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT))、声学组件(例如，扬声器)、触觉组件(例如，振动马达、阻力机制)、其他信号生成器等等。输入组件1930可以包括字母数字输入组件(例如，键盘、配置为接收字母数字输入的触摸屏、光电键盘或其他字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指点仪器)、触觉输入组件(例如，物理按钮、提供触摸或触摸手势的位置和/或力度的触摸屏或其他触觉输入组件)、音频输入组件(例如，麦克风)等。

在进一步的示例实施例中，I/O组件1942可以包括生物识别组件1932、运动组件1934、环境组件1936或位置组件1938，以及各种其他组件。例如，生物识别组件1932可以包括用于检测表情(例如，手势、面部表情、声音表情、身体姿势或眼球追踪)、测量生物信号(例如，血压、心率、体温、汗液或脑电波)、识别人(例如，语音标识、视网膜标识、面部标识、指纹标识或基于脑电图的标识)等的组件。运动组件1934可以包括加速度传感器组件(例如，加速度计)、重力传感器组件、旋转传感器组件(例如，陀螺仪)等。环境组件1936可以包括例如照明传感器组件(例如，光度计)、温度传感器组件(例如，检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如，气压计)、声学传感器组件(例如，检测背景噪声的一个或多个麦克风)、接近传感器组件(例如，检测附近物体的红外传感器)、气体传感器(例如，用于检测危险气体浓度以确保安全或测量大气中的污染物的气体检测传感器)或其他可以提供与周围物理环境相对应的指示、测量或信号的组件。位置组件1938可以包括地点传感器组件(例如，GPS接收器组件)、高度传感器组件(例如，用于检测气压并可从中得出高度的高度计或气压计)、方位传感器组件(例如，磁力计)等。

通信可以使用多种技术来实现。I/O组件1942可以包括通信组件1940，其可操作以分别通过耦合器1924和耦合器1926将机器1900耦合到网络1920或设备1922。例如，通信组件1940可以包括网络接口组件或用于与网络1920以接口连接的另一适当设备。在进一步的示例中，通信组件1940可以包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、组件(例如，低功耗)、组件和其他通信组件，以通过其他方式提供通信。设备1922可以是另一台机器或多种外围设备中的任何一种(例如，通过USB而耦合的外围设备)。

此外，通信组件1940可以检测标识符或包括可操作以检测标识符的组件。例如，通信组件1940可以包括射频识别(RFID)标签读取器组件、NFC智能标签检测组件、光学读取器组件(例如，用于检测一维条形码(例如通用产品代码(UPC)条形码)、多维条形码(例如快速响应(QR)码、Aztec码、数据矩阵、Dataglyph、MaxiCode、PDF417、UltraCode、UCCRSS-2D条形码和其他光学代码)的光学传感器)，或声学检测组件(例如，用于识别标记音频信号的麦克风)。此外，可以通过通信组件1940获得各种信息，例如通过互联网协议(IP)地理定位获得位置、通过信号三角测量获得位置、通过检测可能指示特定位置的NFC信标信号获得位置等等。

各种存储器(即，存储器1904、主存储器1912、静态存储器1914和/或处理器1902的存储器)和/或存储单元1916可以存储一个或多个指令集和数据结构(例如，软件)，这些指令集和数据结构体现本文所述的一种或多种方法或功能或被其所利用。这些指令(例如，指令1908)在由处理器1902执行时，会引起各种操作以实现所公开的实施例。

如本文所用，术语“机器存储介质”、“设备存储介质”、“计算机存储介质”含义相同，在本公开中可互换使用。这些术语指的是存储可执行指令和/或数据的单个或多个存储设备和/或介质(例如，集中式或分布式数据库，和/或相关的缓存和服务器)。因此，这些术语应包括但不限于固态存储器、光学和磁性介质，包括处理器内部或外部的存储器。机器存储介质、计算机存储介质和/或设备存储介质的具体示例包括非易失性存储器，举例而言，包括半导体存储器设备，例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、FPGA和闪存设备；磁盘，例如内部硬盘和可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。术语“机器存储介质”、“计算机存储介质”和“设备存储介质”明确排除载波、调制数据信号和其他此类介质，其中至少有一些被包含在下面讨论的术语“信号介质”下。

在各种示例实施例中，网络1920的一个或多个部分可以是自组织网络、内联网、外联网、VPN、LAN、WLAN、WAN、WWAN、MAN、互联网、互联网的一部分、PSTN的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、其他类型的网络或两个或更多个此类网络的组合。例如，网络1920或网络1920的一部分可以包括无线或蜂窝网络，并且耦合器1924可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或另一种类型的蜂窝或无线耦合。在该示例中，耦合器1924可以实现多种类型的数据传输技术中的任一种，例如单载波无线传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线业务(GPRS)技术、增强数据速率GSM演进(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动通信系统(UMTS)、高速分组接入(HSPA)、微波接入全球互操作性(WiMAX)、长期演进(LTE)标准、由各种标准制定组织定义的其他标准、其他远程协议或其他数据传输技术。

指令1908可通过网络接口设备(例如，通信组件1940中包含的网络接口组件)使用传输介质并通过多种众所周知的传输协议(例如，超文本传输协议(HTTP))中的任何一种在网络1920上传输或接收。类似地，指令1908可通过耦合器1926(例如，对等耦合)使用传输介质传输或接收至设备1922。术语“传输介质”和“信号介质”含义相同，在本公开中可互换使用。术语“传输介质”和“信号介质”应理解为包括可存储、编码或携带指令1908以供机器1900执行的任何无形介质，并且包括数字或模拟通信信号或其他无形介质以促进此类软件的通信。因此，术语“传输介质”和“信号介质”应理解为包括任何形式的调制数据信号、载波等。术语“调制数据信号”是指其一个或多个特性被设置或改变，从而将信息编码到信号中的信号。

本文中使用的术语应符合其在相关领域中的通常含义，或其在上下文中的使用所表明的含义，但如果提供了明确的定义，则以该含义为准。

本文中，对“一个实施例”或“实施例”的引用不一定指同一实施例，尽管它们可能指同一实施例。除非上下文另有明确要求，否则在整个说明书和权利要求书中，“包括”、“包含”等词语应以包容性意义而非排他性或详尽性意义来解释；也就是说，以“包括但不限于”的意义来解释。使用单数或复数的词语也分别包括复数或单数，除非明确限制为一个或多个。此外，在本申请中使用“本文”、“上面”、“下面”等词语和类似含义的词语时，是指整个申请，而不是指本申请的任何部分。当权利要求书使用“或”一词来指代两个或多个项目的列表时，该词涵盖该词的以下所有解释：列表中的任何项目、列表中的所有项目以及列表中项目的任何组合，除非明确限制为其中一个或另一个。本文未明确定义的任何术语均具有相关领域技术人员通常理解的常规含义。

Claims (15)

1.一种用于计算设备的方法，包括：

在处理器处，接收患者血管的第一系列血管内超声(IVUS)图像，所述第一系列IVUS图像包括第一多个帧；

在所述处理器处，接收所述患者血管的第二系列血管内超声(IVUS)图像，所述第二系列IVUS图像包括第二多个帧；

由所述处理器确定所述第一多个帧和所述第二多个帧之间的映射；以及

由所述处理器生成图形用户界面(GUI)，所述GUI包括基于所述第一多个帧和所述第二多个帧之间的所述映射的所述第一系列IVUS图像和所述第二系列IVUS图像的指示。

2.根据权利要求1所述的方法，确定所述第一多个帧和所述第二多个帧之间的映射包括：

识别所述第一多个帧中的包含特定血管基准的一个帧；以及

识别所述第二多个帧中的包含所述特定血管基准的一个帧。

3.根据权利要求1或2所述的方法，包括确定所述第一多个帧中的所述一个帧与所述第二多个帧中的所述一个帧之间的偏移。

4.根据权利要求3所述的方法，其中所述GUI包括基于所述偏移而对齐的所述第一系列IVUS图像和所述第二系列IVUS图像的指示。

5.根据权利要求3或4所述的方法，其中所述GUI包括所述第一系列IVUS图像和所述第二系列IVUS图像的轴上视图，并且其中所述轴上视图基于所述偏移而彼此关联。

6.根据权利要求3或4所述的方法，其中所述GUI包括所述第一系列IVUS图像和所述第二系列IVUS图像的纵向视图，并且其中所述纵向视图基于所述偏移而彼此关联。

7.根据权利要求1至6中任一项所述的方法，包括：

执行机器学习(ML)模型，以基于所述第一系列IVUS图像推断所述第一多个帧中的包含特定血管基准的一个帧；以及

执行所述ML模型，以基于所述第二系列IVUS图像推断所述第二多个帧中的包含所述特定血管基准的一个帧。

8.根据权利要求1至7中的任一项所述的方法，其中所述特定血管基准是以下各项中的一项：管腔几何形状、血管几何形状、侧支位置、钙形态、斑块分布或引导导管位置。

9.根据权利要求1至8中任一项所述的方法，包括：

从血管内成像设备，接收所述第二系列IVUS图像；以及

从存储器存储设备，接收所述第一系列IVUS图像。

10.根据权利要求1至9中的任一项所述的方法，其中所述第一系列IVUS图像是在经皮冠状动脉介入治疗(PCI)手术前期间捕获的。

11.根据权利要求10所述的方法，其中所述第二系列IVUS图像是在PCI手术期间或PCI手术后期间捕获的。

12.根据权利要求1至11中的任一项所述的方法，确定所述第一多个帧与所述第二多个帧之间的映射包括执行机器学习(ML)模型以基于所述第一系列IVUS图像和所述第二系列IVUS图像推断所述映射。

13.根据权利要求12所述的方法，其中所述映射包括所述第一多个帧中的一个帧与所述第二多个帧中的一个帧之间的偏移的指示。

14.一种装置，包括耦合到存储器的处理器，所述存储器包括能够由所述处理器执行的指令，所述处理器被配置为耦合到血管内超声(IVUS)成像系统并且被配置为执行所述指令，所述指令在执行时导致所述处理器实施权利要求1至13所述的方法。

15.至少一个机器可读存储设备，包括多个指令，所述指令响应于由血管内超声(IVUS)成像系统的处理器执行而导致所述处理器实施权利要求1至13所述的方法。