CN119300767A - 引导介入成像设备 - Google Patents

Abstract

本发明涉及一种用于引导介入成像设备的设备。为了使像X射线或CT之类的模态的使用最小化，提供了一种用于引导介入成像设备的设备(10)。所述设备包括数据输入部(12)、数据处理器(14)和输出接口(16)。所述数据输入部被配置为将第一图像数据提供为来自第一成像设备的第一数据。所述第一图像数据包括被插入在对象的血管结构内的介入成像设备的表示。所述第一图像数据包括与第一时间点有关的图像数据。所述数据输入部还被配置为提供与介入成像设备的移动有关的第二数据。所述第二数据与第一时间点和至少第二时间点有关。所述数据处理器被配置为估计所述第一图像数据中的介入成像设备的姿势。所述数据处理器还被配置为基于所述第二数据来跟踪所述介入成像设备的相对运动。所述数据处理器还被配置为基于估计姿势和所跟踪的相对运动来计算所述介入成像设备的经更新的姿势估计。所述数据处理器还被配置为基于所计算的经更新的姿势估计来生成所述介入成像设备的经更新的指示符。所述数据处理器还被配置为利用经更新的指示符来增强所述第一图像数据。所述输出接口被配置为提供增强的第一图像数据。在示例中，所述第一成像设备是X射线成像设备，并且第二成像设备是支气管镜检查成像设备。

Description

引导介入成像设备

技术领域

本发明涉及引导介入成像设备。本发明具体地涉及用于引导介入成像设备的设备、用于引导介入成像设备的系统以及用于引导介入成像设备的方法。

背景技术

在微创手术中，使用成像设备，其可以插入到对象体内以帮助导航到感兴趣区域(ROI)和/或对ROI进行成像。示例包括具有可见光(RGB)相机(内窥镜、支气管镜等)以及其他成像模态(诸如支气管内超声(EBUS)、血管内超声(IVUS)、光学相干断层扫描(OCT)等)的设备。它们可以与像X射线、断层合成、锥形束计算机断层摄影(CBCT)等的其他介入成像模态结合使用，该其他介入成像模态可以在导航中提供进一步支持。然而，已经示出了使用像外部X射线成像系统那样的其他数据源来提供关于插入的介入设备的信息增加了对电离辐射的暴露。

发明内容

因此，可能需要最小化对这些模态的使用。

本发明的目的通过独立权利要求的主题来解决；另外的实施例并入在从属权利要求中。应当注意，本发明的以下描述的方面也适用于用于引导介入成像设备的设备、用于引导介入成像设备的系统以及用于引导介入成像设备的方法。

根据本发明，提供了一种用于引导介入成像设备的设备。该设备包括数据输入部、数据处理器和输出接口。数据输入部被配置为将第一图像数据提供为来自第一成像设备的第一数据。第一图像数据包括被插入在对象的血管结构内的介入成像设备的表示，并且第一图像数据包括与第一时间点有关的图像数据。数据输入部还被配置为提供与介入成像设备的移动有关的第二数据。第二数据与第一时间点和至少第二时间点有关。数据处理器被配置为估计在第一图像数据中的介入成像设备的姿势。数据处理器还被配置为基于第二数据来跟踪介入成像设备的相对运动。数据处理器还被配置为基于估计姿势和跟踪的相对运动来计算介入成像设备的经更新的姿势估计。数据处理器还被配置为基于所计算的经更新的姿势估计来生成介入成像设备的经更新的指示符。并且数据处理器被配置为利用经更新的指示符来增强第一图像数据。输出接口被配置为提供增强的第一图像数据。

在示例用例中，第一图像数据可以是从X射线成像系统采集的X射线图像或荧光透视序列，并且第二图像数据可以是当支气管镜在肺气道解剖结构内被导航时从支气管镜采集的支气管镜检查图像。成像系统在支气管内流程期间结合使用，其中，介入肺科医师在荧光透视引导下将支气管镜导航到肺病变，以便进行活检或处置病变。作为本发明的效果，对于对象、介入肺科医师和其他工作人员有益的是，支气管镜在导航到病变时的使用被最大化，并且荧光透视的使用被最小化。

作为优点，基于视频的支气管镜跟踪不需要任何额外的硬件或工作流程改变。相反，也可以用于跟踪支气管镜的类似形状感测和电磁导航的技术需要额外的硬件，例如电磁场生成器、电磁跟踪的工具或形状感测的导管等，其可能是昂贵的并且可能添加额外的工作流程步骤以并入在流程中。作为另一个优点，避免了介入肺科医师或其他用户需要通过仅查看支气管镜检查图像精确定位其在患者解剖结构中的位置，这可能使用户迷惑。这些优点也适用于其他内窥镜检查、结肠镜检查和其他基于视频的流程。

根据示例，第二数据是来自由介入成像设备提供的第二成像设备的图像数据。换句话说，介入成像设备包括第二成像设备。来自第二成像设备的图像数据也可以称为第二图像数据。第二图像数据包括血管结构内的内部的表示。数据处理器被配置为基于第二图像数据来跟踪介入成像设备在血管结构内的相对运动。

根据示例，为了估计在第一图像数据中的介入成像设备的姿势，数据处理器被配置为使用第二图像数据的图像，即第二图像数据的多幅图像中的一幅或多幅图像，以用于生成与至少第一时间点有关的姿势估计，以用于调整第一图像数据中的介入成像设备的估计姿势。

第二图像(例如支气管镜图像)被用于通过例如图像处理或图像分析流程基于图像内容来估计姿势。

根据示例，第二图像数据包括第二图像流。数据处理器被配置为针对第二图像流的连续图像提供介入成像设备的相对运动的跟踪。

作为示例，在支气管内活检流程期间，支气管镜检查图像和荧光透视图像两者用于将医师导航到肺病变。

作为示例，提供了机器学习系统，其可以仅基于由相机捕获的视频(诸如由支气管镜捕获的视频)以合理的准确度跟踪通过空间的相机。

根据示例，数据处理器还被配置为基于经更新的姿势估计来计算介入成像设备的轨迹。在第一选项中，数据处理器被配置为：i)基于介入成像设备的所计算的轨迹和经更新的姿势来生成介入成像设备的轨迹的投影。数据处理器还被配置为基于介入成像设备的轨迹的投影来增强第一图像数据，以提供经更新的虚拟第一图像数据。在第二选项中，数据处理器被配置为ii)将所计算的轨迹投影到第一图像数据上。

根据示例，数据处理器还被配置为使用经训练的生成式神经网络基于第一时间点处的第一图像数据和第二时间点处的介入成像设备的经更新的姿势来生成绘制介入成像设备的经更新的姿势的逼真合成图像。

根据示例，数据处理器还被配置为提供与来自第二图像数据的相对运动估计有关的置信度估计。输出接口被配置为向用户提供置信度指示符。

根据本发明，还提供了一种用于引导介入成像设备的系统。所述系统包括第一数据布置装置，所述第一数据布置装置包括第一成像设备。所述系统还包括第二数据布置装置和根据任何前述示例的用于引导介入成像设备的设备。第一成像设备被配置为将第一图像数据生成为第一数据。第二数据布置装置被配置为生成第二数据。

根据示例，提供了一种介入成像设备。在一个选项中，第二数据布置装置被提供为由介入成像设备提供的第二成像设备。

根据示例，第一成像设备被提供为X射线成像设备。第二成像设备被提供为包括以下项的组中的至少一项：支气管镜、内窥镜、结肠镜、血管内超声、心内超声心动图、支气管内超声或径向支气管内超声和光学相干断层扫描。

根据本发明，还提供了一种用于引导介入成像设备的方法。所述方法包括以下步骤：

将第一图像数据提供为来自第一成像设备的第一数据。第一图像数据包括被插入在对象的血管结构内的介入成像设备的表示。第一图像数据包括与第一时间点有关的图像数据。

估计第一图像数据中的介入成像设备的姿势。

提供与介入成像设备的移动有关的第二数据。第二数据与第一时间点和至少第二时间点有关。

基于第二数据来跟踪介入成像设备的相对运动。

基于估计姿势和所跟踪的相对运动来计算介入成像设备的经更新的姿势估计。

基于所计算的经更新的姿势估计来生成介入成像设备的经更新的指示符。

利用经更新的指示符来增强第一图像数据。

提供增强的第一图像数据。

根据一个方面，相机跟踪或相机姿势估计与在流程期间采集的最新近的荧光透视图像组合，以在支气管镜被导航通过患者解剖结构时利用经更新的支气管镜姿势来增强荧光透视图像。该增强的视图可以帮助定向医师并减少他们对荧光透视图像的依赖以定向其自身，因此减少对辐射的暴露。尽管提供了与肺病变和对这些病变的支气管镜导航有关的概述和描述，但是该解决方案也适用于使用荧光透视的其他内窥镜流程以及与荧光透视结合使用其他设备(EBUS、IVUS)的流程。

根据一个方面，描述了一种设置，所述设置提供具有更大的视场的成像器(例如基于X射线的成像)加上具有成像器的介入设备，在设备正被导航的情况下所述成像器在管腔内具有小视场或局部视场。使用两种成像技术不断地对相同解剖结构可视化的冗余大部分是通过利用有限视场跟踪设备上的相机并且因此防止用户在复杂解剖结构中变得迷失方向来解决的。

作为效果，例如，在不连续荧光透视图像采集的情况下，在荧光透视图像上更新支气管镜的姿势。

这得到避免了对荧光透视的过度依赖的效果，并且省略了介入流程期间对专门的被跟踪工具的需要。除了减少辐射暴露之外，在介入流程期间减少对荧光透视的依赖还可以实现流程时间减少，因为例如在肺病变活检流程中，用户可能不会花费太多时间来重新定位X射线成像系统以采集荧光透视图像。减少对昂贵的跟踪设备和被跟踪工具的依赖还使得该解决方案更易于访问，并且因此使得更安全的流程可用于更多患者。

该方法可以与任何介入成像系统一起使用，所述任何介入成像系统包括但不限于在具有被导航成像设备(包括但不限于支气管镜、内窥镜等)的流程期间的固定和移动X射线成像系统。

本发明的这些和其他方面将根据在下文中所描述的实施例而显而易见并且将参考在下文中所描述的实施例得到阐述。

附图说明

下面将参考附图描述本发明的示例性实施例：

图1示意性地示出了用于引导介入成像设备的设备的示例。

图2示出了用于引导介入成像设备的系统的示例。

图3示出了用于引导介入成像设备的方法的示例的基本步骤。

图4示出了用于引导介入成像设备的工作流程的示例。

图5示出了用于引导介入成像设备的另一工作流程的示例。

具体实施方式

现在将参考附图更详细地描述某些实施例。在以下描述中，即使在不同的附图中，相似的附图标记也用于相似的元件。提供在描述中所定义的事项，诸如详细构造和元件，以帮助全面理解示例性实施例。而且，没有详细描述公知的功能或构造，因为它们将以不必要的细节模糊实施例。此外，当在元件列表之前时，诸如“……中的至少一个”的表达修改整个元件列表并且不修改列表的个体元件。

图1示意性地示出了用于引导介入成像设备的设备10的示例。设备10包括数据输入部12、数据处理器和输出接口16。数据输入部12被配置为将第一图像数据提供为来自第一成像设备的第一数据。第一图像数据包括被插入在对象的血管结构内的介入成像设备的表示。此外，第一图像数据包括与第一时间点有关的图像数据。数据输入部12还被配置为提供与介入成像设备的移动有关的第二数据。第二数据与第一时间点和至少第二时间点有关。数据处理器14被配置为估计第一图像数据中的介入成像设备的姿势。数据处理器14还被配置为基于第二数据来跟踪介入成像设备的相对运动。数据处理器14还被配置为基于估计姿势和跟踪的相对运动来计算介入成像设备的经更新的姿势估计。数据处理器14还被配置为基于所计算的经更新的姿势估计来生成介入成像设备的经更新的指示符。数据处理器14还被配置为利用经更新的指示符来增强第一图像数据。输出接口16被配置为提供增强的第一图像数据。

数据输入部12、数据处理器14和输出接口16可以被提供在公共结构(如公共壳体，如框架18所指示的)中，或者甚至以集成的方式被提供。在另一选项(未示出)中，它们被提供为单独的部件或单元。

第一箭头20指示去往数据输入部12的数据供应，即对第一图像数据和第二数据的提供。第二箭头22指示来自输出接口16的数据供应，即对增强的第一图像数据的提供。数据供应可以基于线或无线地被提供。

在示例中，作为选项，提供显示器24以呈现增强的第一图像。显示器24被数据连接到输出接口16。

术语“估计姿势”涉及评估或确定被布置在对象的血管结构内的介入设备(优选介入设备的远端)的位置和取向。作为示例，相对于第一图像数据的投影来确定位置和取向。

术语“相对运动”涉及在血管结构内布置的介入设备相对于其在第一时间点的位置和/或取向的位置和/或取向的变化。

术语“经更新的姿势估计”涉及介入设备(优选其远端)的姿势(即位置和取向)的进一步评估或确定。

术语“经更新的指示符”涉及反映进一步评估或确定的指示符。指示符可以被提供为图形元素或图示或被呈现给用户的其他视觉模块。

术语“增强”涉及在相应的图像内提供额外的信息。因此增强了图像内容。增强的图像包括比增强之前的图像更多的内容。尽管初始图像(即，非增强的图像)包括如由相应的图像设备看到的图像数据，但是增强的图像提供在初始图像内呈现的额外的内容。

术语“数据输入部”涉及提供或供应数据以用于数据处理步骤。数据输入部12也可以称为图像数据输入部。数据输入部12也可以被称为数据供应、图像数据供应、图像输入部、输入单元或简单地输入部。在示例中，图像数据输入部12可被数据连接到成像源布置装置。在示例中，数据输入部12可被数据连接到已经存储了图像数据的数据存储设备。

术语“数据处理器”涉及被提供为使用由数据输入部供应的数据实行计算步骤的处理器或处理器布置装置的部分。数据处理器14也可以被称为数据处理布置装置、处理器单元或处理器。在示例中，数据处理器14被数据连接到数据输入部和输出接口。

术语“输出接口”涉及用于为进一步目的提供经处理或计算的数据的接口。输出接口16也可以称为输出部或输出单元。在示例中，输出接口16可被数据连接到显示布置装置或显示设备。在另一示例中，输出接口16被数据连接到显示器。

在示例中，对于经更新的指示符，提供方向指示符。例如，方向指示符被提供为阴影。

在示例中，第一图像数据被提供为2D图像数据。作为示例，增强第一图像数据得到2D增强。

在示例中，第二数据是与介入成像设备的移动有关的位置和/或取向数据。换句话说，第二数据是姿势数据。数据处理器14被配置为基于位置和/或取向数据来跟踪介入成像设备在血管结构内的相对运动。在选项中，位置和/或取向数据被提供为跟踪数据，如电磁跟踪。在另一选项中，位置和/或取向数据被提供为介入成像设备的形状感测数据和介入成像设备的前进信息。

在选项中，使用外部硬件(例如电磁“EM”跟踪或形状感测)来跟踪被导航成像设备，使得不需要图像处理来估计设备(或其远端)的姿势。在这种情况下，控制器需要在采集荧光透视图像时从外部硬件提取设备姿势，以便执行两个估计姿势的任何校正。剩余步骤如上所述被执行。

在另一示例中，外部跟踪可以与图像处理结合使用以估计介入设备的姿势。

在另一示例中，第二数据是来自第二成像设备的图像数据，即，第二图像数据，其由介入成像设备提供。第二图像数据包括血管结构内的内部的表示。数据处理器14被配置为基于第二图像数据来跟踪介入成像设备在血管结构内的相对运动。

在捕获RGB(红-蓝-绿色)图像的成像设备的情况下，这可以使用本领域中探索的各种方法中的任一种来实现，这些方法基于通过图像序列观察到的特征或特征的变化来估计设备的(绝对或相对)姿势或运动。例如，在支气管镜跟踪的情况下，可以使用如来自运动(SfM)方法或同时定位和映射(SLAM)方法的结构的传统方法以及用于相机跟踪的较新的基于深度学习的方法。类似的方法也可以用于跟踪其他被导航成像设备。在基于超声的成像设备的情况下，跟踪可能需要分支检测或其他方法来粗略定位患者解剖结构内的设备。

作为示例，内部或被导航介入成像设备可以在介入流程期间采集图像，诸如：内窥镜、支气管镜、血管内超声(IVUS)、心内超声心动图(ICE)、支气管内超声(EBUS)或径向支气管内超声(R-EBUS)等。

作为选项，提供在流程之间的校正回路。

在第一示例中，数据处理器14还被配置为提供经更新的姿势估计的计算，其包括使用来自第二图像数据的姿势估计对来自第一图像数据的平面外姿势估计的校正。在第二示例中，额外地或备选地，数据处理器14还被配置为提供经更新的姿势估计的计算，其包括使用来自第一图像数据的姿势估计对来自第二图像数据的平面内姿势估计的校正。

在示例中，为了估计在第一图像数据中的介入成像设备的姿势，数据处理器14被配置为使用被提供为多幅图像的第二图像数据的图像中的一幅或多幅。多幅图像中的一幅或多幅图像被用于生成与至少第一时间点有关的姿势估计。因此，多幅图像中的一幅或多幅图像被用于调整第一图像数据中的介入成像设备的估计姿势。因此，使用第二数据来调整或更新使用第一图像执行的估计。换句话说，来自第二图像域的信息被传递到第一图像域。该信息传递补偿第一图像数据中相应的信息的缺少。

在示例中，第二图像流的图像示出了可识别解剖结构，并且可以针对图像估计查看方向，使得可以将查看方向传递到第一图像。

在示例中，第二图像数据包括第二图像流。数据处理器14被配置为针对第二图像流的连续图像提供对介入成像设备的相对运动的跟踪。

在选项中，提供可视化控制器，其被配置为在最新近的荧光透视图像上连续显示经更新的支气管镜轨迹。

在示例中，数据处理器14还被配置为基于经更新的姿势估计来计算介入成像设备的轨迹。在选项中，数据处理器14还被配置为：基于介入成像设备的所计算的轨迹和经更新的姿势来生成介入成像设备的轨迹的投影；并基于介入成像设备的轨迹的投影来增强第一图像数据，以提供经更新的虚拟第一图像数据。在另一选项中，数据处理器14还被配置为将所计算的轨迹投影到第一图像数据上(也参见图5)。

除了或代替于计算经更新的姿势估计，提供对轨迹的计算。除了或代替于生成经更新的指示符，提供对介入成像设备的投影的生成。除了或代替于利用经更新的指示符增强第一图像数据，提供投影的叠加作为增强。

经更新的虚拟第一图像数据也可以称为增强的第一图像数据或人工第一图像数据。

在选项中，提供增强，包括在第一图像的顶部上叠加线或其他形状，以及使用生成式神经网络(例如生成式对抗网络(参见下文))修改第一图像。

在示例中，数据处理器被配置为：基于介入成像设备的所计算的轨迹和经更新的姿势来生成介入成像设备的投影；以及将介入成像设备的投影叠加到第一图像数据上以提供经更新的虚拟第一图像数据(也参见图5)。

根据示例(还参见图5)，数据处理器14还被配置为使用经训练的生成式神经网络基于第一时间点处的第一图像数据和第二时间点处的介入成像设备的经更新的姿势来生成绘制介入成像设备的经更新的姿势的逼真合成图像。逼真合成图像然后被提供，例如呈现给用户。

在选项中，生成式神经网络(例如，生成式对抗网络(GAN))被用于在支气管镜被导航时生成具有经更新的支气管镜姿势的荧光透视图像。这可以通过执行以上描述的相同步骤来实现，其中添加了在投影之后插入的经训练的GAN采取具有经更新的支气管镜姿势的叠加增强的荧光透视图像并且在其更新的姿势处产生具有逼真支气管镜绘制的新荧光透视图像(如图5下部所示)。当采集下一荧光透视图像时，可以如上所述更新该绘制。这避免或至少减少了叠加可能导致的用户分心，即，避免用户从荧光透视图像中的重要解剖特征分心。

在示例中，第一图像数据提供第一视场，并且第二图像数据提供第二视场。第一视场大于第二视场。作为示例，第一视场是第二视场的至少两倍大。

在示例中，第一图像数据包括X射线图像数据。第二图像数据包括具有以下各项的组中的至少一项：光学相机图像数据、超声图像数据和光学相干断层成像图像数据。

在示例中，数据处理器14还被配置为提供与来自第二图像数据的相对运动估计有关的置信度估计。输出接口16被配置为向用户提供置信度指示符。

在选项中，与来自支气管镜检查的姿势估计一起提供置信度估计。置信度估计可以使用本领域中可用的任何方法来做出，并且可以基于例如被用于估计姿势的图像的质量，例如，如果图像包含模糊、镜面反射等，则低置信度，和/或姿势估计方法本身的置信度。例如，在基于神经网络的方法中，可以使用网络中的丢弃层来评价姿势估计的置信度，该丢弃层随机地丢弃网络中指定数量的节点的输出。当然后多次计算特定图像对之间的相对姿势估计时，由于输出上稍微不同的节点的影响，网络产生稍微不同的结果。可以计算结果的均值和标准偏差。如果网络确信其姿势估计，则标准偏差将小，而当网络较不确信时，标准偏差将大。如果两个帧之间的相对姿势估计的置信度低，则姿势估计可以由来自前几个姿势的外推替换。姿势估计的这种低置信度或替换可以用不同的颜色或透明度来可视化，并且可以是关于何时可能需要采集新的荧光透视图像的对用户的指示符。

在示例中，数据处理器14还被配置为基于另外跟踪数据来跟踪介入成像设备在血管结构内的相对运动。作为选项，通过参考除了成像数据之外的其他数据加上成像数据作为第二数据来做出对相对运动的跟踪。作为另一选项，通过仅参考除了成像数据之外的其他数据(即，没有成像数据作为第二数据)来做出对相对运动的跟踪。

在示例中，为了在起始时间点t₀显示设备，使用X射线图像。在另一时间点t₁或其他另外的时间点t_n，提供支气管镜检查信息并且将导出的位置添加到X射线图像。

作为示例，荧光透视图像处理控制器获取将患者解剖结构内的被导航成像设备可视化的最新近的荧光透视图像或图像序列，并且估计被导航成像设备尖端(或远端)的姿势。这可以使用本领域中探索的各种方法中的任一种来实现，该方法估计被成像设备的2D或3D姿势，使得其投影与(一幅或多幅)荧光透视图像中所见的投影匹配。

在一些情况下，设备的3D模型是已知的，并且被变形并拟合到匹配其在荧光透视中的投影的配置。在其他情况下，可以不知道3D模型，并且基于图像特征来估计骨架化远端的姿势。

图像处理控制器可以使用机器学习或深度学习技术。由于荧光透视图像是2D投影图像，所以估计姿势可能包含不准确性。

作为示例，图像处理控制器或数据处理器14获取由被导航成像设备(如支气管镜)在其被导航通过患者解剖结构时产生的帧流，并且估计由被导航设备产生的相对姿势或运动。

在示例中，控制器被提供为数据处理器14。所述控制器被配置为执行以下任务(以下仅参考支气管镜检查作为示例)：

对在t＝t₀处采集的最新近的荧光透视图像中的支气管镜的姿势进行估计。作为示例，如下所述提供荧光透视图像处理控制器；

对支气管镜在连续帧之间的相对运动进行估计。作为示例，如下所述提供图像处理控制器。

将两个估计一起使用，以提供使用从支气管镜检查估计的姿势对来自荧光透视的平面外姿势估计的校正，以及使用来自荧光透视的姿势估计对来自支气管镜检查的平面内姿势估计的校正(使用在图4中从上往下第二面板中的双向箭头示出的)。

在支气管镜移动经过其在t＝t₀处的位置时连续进行对支气管镜在连续帧之间的相对运动的估计，并且将这些估计顺序地添加到t＝t₀处的设备的姿势以计算支气管镜的轨迹(在图4中从上往下第三面板中所示的)。

将所计算的轨迹投影到荧光透视图像平面上以利用经更新的支气管镜姿势来增强最新近的荧光透视图像。

如果或当在t＝t₀处采集下一荧光透视图像时，可以重复该过程：将估计的支气管镜姿势与荧光透视和支气管镜检查组合，并且随着支气管镜连续移动而利用支气管镜轨迹更新新荧光透视图像(在图4的下面板中示出的)。

图2示出了用于引导介入成像设备的系统100的示例。系统100包括：第一数据布置装置102，其包括第一成像设备104；以及第二数据布置装置106。此外，系统100包括根据任何前述和以下示例的用于引导介入成像设备的设备10的示例。第一成像设备104被配置为将第一图像数据生成为第一数据。第二数据布置装置106被配置为生成第二数据。

在一个选项中，第二数据布置装置106包括第二成像设备108。在另一选项(未示出)中，第二数据布置装置106包括跟踪数据设备或定位数据设备。

在示例中，提供了介入成像设备110。作为选择，被提供为第二成像设备108的第二数据布置装置106是由介入成像设备提供的，即被安装在介入成像设备上。

在示例中，如图2所示，第一成像设备104被提供为X射线成像设备111，其具有被安装到可移动地支撑的C型臂的X射线源112和X射线探测器114。第二成像设备被提供为支气管镜116。在另外的示例中，第二成像设备被提供为包括以下项的组中的至少一项：内窥镜、结肠镜、血管内超声、心内超声心动图、支气管内超声或径向支气管内超声、光学相干断层扫描。

对象118(例如患者)被布置在对象支撑件120上。布置装置122由天花板安装的轨道结构124支撑。此外，控制接口126被布置在对象支撑件120旁边。

在前台提供控制台128。控制台128包括用于提供用户交互和控制选项的显示器、键盘、鼠标、图形输入板、控制旋钮等。控制台被提供用于控制用于引导介入成像设备的系统100的各种功能和操作。用于引导介入成像设备的设备10可以被布置为集成在控制台中或作为单独的设备。用于引导介入成像设备的设备10被数据连接到第一数据布置装置102，如利用第一数据连接线130所指示的。用于引导介入成像设备的设备10也被数据连接到第二数据布置装置106，如利用第二数据连接线132所指示的。数据连接是基于线地或无线地被提供的。

支气管镜116被插入到对象118中，并且X射线成像设备111可以提供对象118的荧光透视图像作为第一图像数据，即第一图像。由于支气管镜116相对于周围解剖结构的不同X射线衰减特性，支气管镜116的表示在X射线图像中可见。支气管镜116提供支气管镜检查图像作为第二图像数据，即作为第二图像。

X射线图像用于估计介入成像设备在第一时间点的姿势。支气管镜检查图像被用于跟踪介入成像设备的相对运动。基于估计姿势(在X射线图像中)和所跟踪的相对运动(在支气管镜检查图像中)来计算介入成像设备的经更新的姿势估计。基于所计算的经更新的姿势估计来生成介入成像设备的经更新的指示符。利用经更新的指示符来增强X射线图像。增强的X射线图像被呈现给用户，例如在显示布置装置122上。

在一个选项中，经更新的指示符包括介入成像设备的图形表示，其具有对支气管镜的相机查看方向的指示。该指示可以以叠加的形式被提供。这提供了对当前情况的改进的用户理解的优点。对支气管镜的相机查看方向的指示以直观方式提供关于当前情况的空间布置的信息(即，3D信息)。然而，不需要当前的X射线投影，这意味着辐射剂量的减少/最小化。

在另一选项中，经更新的指示符包括介入成像设备的模拟X射线投影。在该选项中，可以在没有X射线图像采集的情况下使用生成式神经网络或其他技术来基于具有介入成像设备的初始姿势的初始X射线图像并且基于介入成像设备的经更新的姿势来生成经更新的X射线图像。这提供了在没有附加或额外的X射线图像的剂量的情况下对当前情况的理解。模拟投影模仿额外的图像并且为用户提供非分心且直观的信息源。

在示例中，提供了一种系统，其包括外部介入成像系统、内部或被导航介入成像设备、荧光透视图像处理控制器和图像处理控制器。

在示例中，组合来自被导航成像设备(例如支气管镜、内窥镜、EBUS、IVUS等)的姿势估计和来自具有较大FOV的辅助成像设备(其可以对患者解剖结构内的被导航设备成像，例如X射线、CBCT、断层合成等)的最新近的图像，以便更新来自辅助成像设备的最新近的图像中的被导航成像设备的姿势。

在本公开的背景下的姿态估计是指估计成像设备的位置和视角。

根据一方面，提供了以规则的间隔估计来自第一成像系统的第一位置，并且估计间隔期间来自介入设备的第二位置并且利用第二位置来更新第一位置。

图3示出了用于引导介入成像设备的方法200的示例的基本步骤。方法200包括以下步骤：

在第一步骤202中，将第一图像数据提供为来自第一成像设备的第一数据。第一图像数据包括被插入在对象的血管结构内的介入成像设备的表示。第一图像数据包括与第一时间点有关的图像数据。

在第二步骤204中，估计第一图像数据中的介入成像设备的姿势。

在第三步骤206中，提供与介入成像设备的移动有关的第二数据。第二数据与第一时间点和至少第二时间点有关。

在第四步骤208中，基于第二数据来跟踪介入成像设备的相对运动。

在第五步骤210中，基于估计姿势和所跟踪的相对运动来计算介入成像设备的经更新的姿势估计。

在第六步骤212中，基于所计算的经更新的姿势估计来生成介入成像设备的经更新的指示符。

在第七步骤214中，利用经更新的指示符来增强第一图像数据。

在第八步骤216中，提供增强的第一图像数据。

在该方法的示例中，第一图像数据被提供为2D图像数据。

在方法200的示例中，介入成像设备包括第二成像设备。第二数据被提供为来自第二成像设备的第二图像数据。第二图像数据包括血管结构内的内部的表示。对介入成像设备在血管结构内的相对运动的跟踪基于第二图像数据。

在方法200的示例中，为了估计第一图像数据中的介入成像设备的姿势，被用于生成与至少第一时间点有关的姿势估计的第二图像流的一幅或多幅图像被用于调整第一图像数据中的介入成像设备的估计姿势。

在方法200的示例中，第二图像数据包括第二图像流。针对第二图像流的连续图像来提供对介入成像设备的相对运动的跟踪。

在方法200的示例中，还提供了以下步骤：基于经更新的姿势估计来计算介入成像设备的轨迹；基于介入成像设备的所计算的轨迹和经更新的姿势来生成介入成像设备的轨迹的投影；并且基于介入成像设备的轨迹到第一图像数据上的投影来增强第一图像数据以提供经更新的虚拟第一图像数据。

在方法200的另一示例中，还提供了以下步骤：基于经更新的姿势估计来计算介入成像设备的轨迹；并且将所计算的轨迹投影到第一图像数据上。

在方法200的示例中，对经更新的姿势估计的计算包括具有以下各项的组中的至少一项：使用来自第二图像数据的姿势估计对来自第一图像数据的平面外姿势估计的校正；以及使用来自第一图像数据的姿势估计对来自第二图像数据的平面内姿势估计的校正。

在方法200的另一示例中，第一图像数据包括X射线图像数据。第二图像数据包括具有以下各项的组中的至少一项：光学相机图像数据、超声图像数据和光学相干断层成像图像数据。

在方法200的示例中，提供与来自第二图像数据的相对运动估计有关的置信度估计。向用户提供置信度指示符。

在方法200的另一示例中，对血管结构内的介入成像设备的相对运动的跟踪基于另外的跟踪数据。

图4示出了用于引导介入成像设备的示例的工作流程。在左列302中，提供来自支气管镜的信息，该支气管镜作为为第二数据布置装置106的介入设备的示例。左列涉及由第二成像设备108提供的第二数据，例如以支气管镜116的形式。在右列304中，提供来自作为第一数据布置装置102的X射线成像器的信息。右列涉及由第一成像设备104提供的第一数据，例如以X射线成像设备111的形式。如所指示的，从支气管镜数据导出在t＝t₀处的估计的相对相机运动306。此外，从t＝t₀处的荧光透视图像导出提取的支气管镜姿势308。接下来，确定在t＝t₀处的经校正的相对相机运动310。生成t＝t₀处的经校正的支气管镜姿势312。此外，从支气管镜，确定t＝t_n处的相对相机运动314，n>0。支气管镜指示符的添加部分316指示支气管镜的移动。这在荧光透视中提供了经更新的支气管镜叠加318，其也指示来自初始状态的支气管镜的部分加上来自支气管镜的移动的添加部分320。接下来，如果在t＝t_n处采集经更新的荧光透视图像，则提供在t＝t_n处的经校正的相对相机运动。支气管镜指示符的添加部分324表示经校正的相对相机运动，而第一部分322指示来自初始状态的支气管镜。还提供了来自t＝t_n处的荧光透视图像的提取/更新的支气管镜姿势，其具有初始部分326和添加部分328。

来自支气管镜116的第二图像数据是从至少两个时间点提供的：第一(例如初始或起始)时间点t＝t₀；以及第二(例如稍后的)时间点t＝t_n。

从第一(例如初始或起始)时间点t＝t₀提供来自X射线成像设备111的第一图像数据。

在第二(例如稍后的)时间点t＝t_n生成并提供如第三列中所示的增强的第一图像数据，但实际上仅关于在其中叠加指示符的增强的部分。由于如第三列所示的增强的第一图像数据基于在第一(例如初始或起始)时间点t＝t₀获取的来自X射线成像设备116的第一图像数据，因此其他部分与该第一(例如，初始或起始)时间点t＝t₀有关。

在图4中，左列和右列之间的单个箭头指示数据和信息的转发或传递。在同一列内，单箭头指示对数据的处理。双箭头指示数据和信息在两个域(即支气管镜图像和X射线图像的两个坐标系)之间的相互使用或相互传递。

图5示出了用于引导介入成像设备的另一示例的工作流程。最新近的荧光透视图像350被提供在上部区中，其中，示出了支气管镜352。支气管镜354的经更新的支气管镜姿势356被提供在中间区中。此处，经更新的支气管镜姿势536被叠加到中间区中的荧光透视图像上。因此，从另一个域(例如支气管镜域)导出的另外的信息被添加到荧光透视图像的域。经更新的支气管镜姿势356被用于生成在相应的姿势中的介入成像设备的投影的模拟。模拟可以直接生成具有支气管镜的经更新的姿势的逼真荧光透视图像，如下部区所示。这可以使用生成式神经网络来完成，该生成式神经网络被训练为生成在给定经更新的设备姿势的情况下的解剖结构内的设备的逼真绘制。作为结果，生成具有经更新的支气管镜姿势358的生成的荧光透视图像350’。所生成的新图像应该表示t＝t_n处的图像。在图5中，这利用t＝t_n’指示，其中，’表示其是模拟或合成图像的事实。

从第一(例如初始或起始)时间点t＝t₀提供来自X射线成像设备116的第一图像数据。因此，图5的上部中的荧光透视图像来自第一(例如初始或起始)时间点t＝t₀。

来自支气管镜116的第二图像数据是从至少第二(例如稍后的)时间点t＝t_n提供的。

在图5的中间部分中的添加的荧光透视图像是在第二(例如稍后的)时间点t＝t_n生成并提供的，但实际上仅关于支气管镜的叠加姿势。由于如中间区中所示的增强的第一图像数据基于在第一(例如初始或起始)时间点t＝t₀处获取的来自X射线成像设备116的第一图像数据，因此其他部分与该第一(例如初始或起始)时间点t＝t₀有关。

如在下部区中所示的增强的第一图像数据是在第二(例如稍后的)时间点t＝t_n生成并提供的，但实际上仅关于其中模拟生成经更新的支气管镜绘制的增强的部分。由于如下部区中所示的增强的第一图像数据基于在第一(例如初始或起始)时间点t＝t₀获取的来自X射线成像设备116的第一图像数据，因此其他部分与该第一(例如初始或起始)时间点t＝t₀有关。然而，由于图像是基于在稍后的时间点t＝t_n处的支气管镜姿势的估计而生成的，而没有X射线图像采集，因此图像被指代为已经在时间t＝t_n’被生成。

在图5中，单箭头指示数据和具有对数据的处理的信息的转发或传递。

术语“对象”也可以被称为个体。“对象”还可以被称为患者，尽管应注意，该术语不指示对象实际上是否存在任何疾病或病症。

在另一示例中，一种包括指令的计算机程序，在所述程序由计算机执行时所述指令使所述计算机执行前述示例之一的方法。

在示例中，提供了用于控制根据上述示例中的一个示例的装置的计算机程序或程序单元，该程序或程序单元在由处理单元执行时适于执行上述方法示例中的一个方法示例的方法步骤。

在另一示例中，提供了一种计算机可读介质，其上存储了上述示例的计算机程序。

在本发明的另一示例性实施例中，提供了一种计算机程序或计算机程序单元，其特征在于适于在适当的系统上执行根据前述实施例之一的方法的方法步骤。

因此，计算机程序单元可以存储在计算机单元上或者分布在多于一个的计算机单元上，这也可以是本发明的实施例的部分。该计算单元可以适于执行或诱导执行上述方法的步骤。此外，它可以适于操作上述装置的部件。计算单元可以适于自动操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此，数据处理器可以配备为执行本发明的方法。

本发明的各方面可以在计算机程序产品中实施，该计算机程序产品可以是存储在可以由计算机执行的计算机可读存储设备上的计算机程序指令的集合。本发明的指令可以在任何可解释或可执行代码机制中，包括但不限于脚本、可解释程序、动态链接库(DLL)或Java类。指令可以被提供为完整可执行程序、部分可执行程序、对现有程序的修改(例如更新)或对现有程序的扩展(例如插件)。此外，本发明的处理的一部分可以分布在多个计算机或处理器上。

如上所述，处理单元(例如控制器)实施控制方法。控制器可以用软件和/或硬件以许多方式实施，以执行所需的各种功能。处理器是采用一个或多个微处理器的控制器的一个示例，所述一个或多个微处理器可以使用软件(例如，微代码)进行编程以执行所需的功能。然而，控制器可以用或不用处理器来实施，并且还可以被实施为执行一些功能的专用硬件和执行其他功能的处理器(例如，一个或多个编程的微处理器和相关联的电路)的组合。

可以在本公开的各种实施例中采用的控制器部件的示例包括但不限于常规微处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。

本发明的该示例性实施例覆盖了从一开始就使用本发明的计算机程序和通过更新将现有程序转变成使用本发明的程序的计算机程序。

此外，计算机程序单元可能能够提供完成上述方法的示例性实施例的流程的所有必要步骤。

根据本发明的另一示例性实施例，提出了一种计算机可读介质，诸如CD-ROM，其中，计算机可读介质具有存储在其上的计算机程序单元，该计算机程序单元由前述部分描述。计算机程序可以存储和/或分布在合适的介质上，诸如与其他硬件一起或作为其他硬件的部分提供的光学存储介质或固态介质，但是计算机程序也可以其他形式分布，诸如经由因特网或其他有线或无线电信系统分布。

然而，计算机程序也可以通过像万维网那样的网络呈现，并且可以从这种网络下载到数据处理器的工作存储器中。根据本发明的另一示例性实施例，提供了一种用于制作可用于下载的计算机程序单元的介质，该计算机程序单元被布置成执行根据本发明的前述实施例之一的方法。

必须注意，参考不同的主题描述了本发明的实施例。特别地，参考方法类型权利要求描述了一些实施例，而参考设备类型权利要求描述了其他实施例。然而，本领域技术人员将从以上和以下描述中理解，除非另行通知，否则除了属于一种类型的主题的特征的任何组合之外，与不同主题有关的特征之间的任何组合也被认为由本申请公开。然而，所有特征可以被组合，从而提供超过特征的简单加和的协同效应。

尽管已经在附图和前面的描述中详细说明和描述了本发明，但是这样的说明和描述应被认为是说明性或示例性的而非限制性的。本发明不限于所公开的实施例。通过研究附图、公开内容和从属权利要求，本领域技术人员在实践要求保护的发明时可以理解和实现所公开的实施例的其他变型。

在权利要求中，词语“包括”不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以履行权利要求中记载的若干项的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应被解释为限制范围。

Claims (15)

1.一种用于引导介入成像设备的设备(10)包括：

数据输入部(12)；

数据处理器(14)；以及

输出接口(16)；

其中，所述数据输入部被配置为：将第一图像数据提供为来自第一成像设备的第一数据，其中，所述第一图像数据包括被插入在对象的血管结构内的介入成像设备的表示，并且其中，所述第一图像数据包括与第一时间点有关的图像数据；并且提供与所述介入成像设备的移动有关的第二数据，其中，所述第二数据与第一时间点和至少第二时间点有关；

其中，所述数据处理器被配置为：估计所述第一图像数据中的所述介入成像设备的姿势；基于所述第二数据来跟踪所述介入成像设备的相对运动；基于估计姿势和所跟踪的相对运动来计算所述介入成像设备的经更新的姿势估计；基于所计算的经更新的姿势估计来生成所述介入成像设备的经更新的指示符；并且利用所述经更新的指示符来增强所述第一图像数据；并且

其中，所述输出接口被配置为提供增强的第一图像数据。

2.根据权利要求1所述的设备，其中，所述第二数据是来自由所述介入成像设备提供的第二成像设备的第二图像数据；

其中，所述第二图像数据包括所述血管结构内的内部的表示；并且

其中，所述数据处理器被配置为基于所述第二图像数据来跟踪所述介入成像设备在所述血管结构内的相对运动。

3.根据前述权利要求中的一项所述的设备，其中，所述数据处理器还被配置为：计算所述经更新的姿势估计，所述计算包括具有以下各项的组中的至少一项：

使用来自所述第二图像数据的姿势估计对来自所述第一图像数据的平面外姿势估计的校正；以及

使用来自所述第一图像数据的姿势估计对来自所述第二图像数据的平面内姿势估计的校正。

4.根据权利要求2或3所述的设备，其中，为了估计所述第一图像数据中的所述介入成像设备的所述姿势，所述数据处理器被配置为使用所述第二图像数据的一幅或多幅图像，所述一幅或多幅图像被用于生成与至少所述第一时间点有关的姿势估计，以用于调整所述第一图像数据中的所述介入成像设备的所述估计姿势。

5.根据权利要求2、3或4所述的设备，其中，所述第二图像数据包括第二图像流；并且

其中，所述数据处理器被配置为跟踪针对所述第二图像流的连续图像的所述介入成像设备的所述相对运动。

6.根据前述权利要求中的一项所述的设备，其中，所述数据处理器还被配置为：基于所述经更新的姿势估计来计算所述介入成像设备的轨迹；并且

i)基于所述介入成像设备的所计算的轨迹和所述经更新的姿势来生成所述介入成像设备的所述轨迹的投影；并且基于所述介入成像设备的所述轨迹的所述投影来增强所述第一图像数据，以提供经更新的虚拟第一图像数据；或者

ii)将所计算的轨迹投影到所述第一图像数据上。

7.根据前述权利要求中的一项所述的设备，其中，所述数据处理器还被配置为使用经训练的生成式神经网络基于所述第一时间点处的所述第一图像数据和第二时间点处的所述介入成像设备的经更新的姿势来生成逼真合成图像，所述逼真合成图像绘制介入成像设备的所述经更新的姿势。

8.根据前述权利要求中的一项所述的设备，其中，所述第一图像数据包括X射线图像数据；并且

其中，所述第二图像数据包括具有以下各项的组中的至少一项：光学相机图像数据、超声图像数据以及光学相干断层成像图像数据。

9.根据前述权利要求中的一项所述的设备，其中，所述数据处理器还被配置为提供与来自所述第二图像数据的相对运动估计有关的置信度估计；并且

其中，所述输出接口被配置为向用户提供置信度指示符。

10.一种用于引导介入成像设备的系统(100)，所述系统包括：

第一数据布置装置(102)，其包括第一成像设备(104)；

第二数据布置装置(106)；以及

用于引导根据前述权利要求中的任一项所述的介入成像设备的设备(10)；

其中，所述第一成像设备被配置为将所述第一图像数据生成为所述第一数据；并且其中，所述第二数据布置装置被配置为生成所述第二数据。

11.根据权利要求10所述的系统，其中，提供介入成像设备(110)；并且

其中，所述第二数据布置装置被提供为由所述介入成像设备提供的第二成像设备。

12.根据权利要求10或11所述的系统，其中，所述第一成像设备被提供为X射线成像设备(111)；并且

其中，所述第二成像设备被提供为包括以下各项的组中的至少一项：支气管镜(116)、内窥镜、结肠镜、血管内超声、心内超声心动图、支气管内超声或径向支气管内超声以及光学相干断层扫描。

13.一种用于引导介入成像设备的方法(200)，包括以下步骤：

将第一图像数据提供(202)为来自第一成像设备的第一数据；其中，所述第一图像数据包括被插入在对象的血管结构内的所述介入成像设备的表示；其中，所述第一图像数据包括与第一时间点有关的图像数据；

估计(204)所述第一图像数据中的所述介入成像设备的姿势；

提供(206)与所述介入成像设备的移动有关的第二数据；其中，所述第二数据与所述第一时间点和至少第二时间点有关；

基于所述第二数据来跟踪(208)所述介入成像设备的相对运动；

基于估计姿势和所跟踪的相对运动来计算(210)所述介入成像设备的经更新的姿势估计；

基于所计算的经更新的姿势估计来生成(212)所述介入成像设备的经更新的指示符；

利用经更新的指示符来增强(214)所述第一图像数据；并且

提供(216)增强的第一图像数据。

14.一种包括指令的计算机程序，所述指令在由计算机执行所述程序时使所述计算机执行根据权利要求13所述的方法。

15.一种存储有根据权利要求14所述的计算机程序的计算机可读介质。