CN120379578A - 用于荧光成像的运动稳定的背景减除 - Google Patents

Abstract

一种成像采集系统（100）处的方法（300），包括：获得一系列反射图像（401‑406）；采集一系列荧光通道图像（601‑603），该一系列荧光通道图像包括在使用光源使目标身体部位发射荧光时采集的亮图像（602），与在不使用光源的情况下采集的暗图像（601、603）交替；确定（304、310）与第一荧光通道图像（601）相关联的第一反射图像（401）和与连续第二荧光通道图像（602）相关联的第二反射图像（403），第一荧光通道图像（601）具有第一参考时间，第二荧光通道图像（602）具有第二参考时间；基于第一反射图像和第二反射图像的相对对准来确定（311）变换矩阵；将变换矩阵应用（315）于所述第一荧光通道图像和所述第二荧光通道图像之一以对准这些图像；在已经应用变换矩阵的荧光通道图像与另一图像之间执行减除（316），以获得背景减除的图像；和输出背景减除图像以用于显示。

Description

用于荧光成像的运动稳定的背景减除

技术领域

本公开涉及应用于荧光成像的背景减除。

背景技术

荧光成像是用于采集提供目标对象的视觉表示的图像的特定成像技术，即使目标对象不是直接可见的。该技术基于荧光现象，由荧光物质在受到激发光（具有足以激发荧光物质的荧光团的波长和能量）时发射光组成。为此目的，荧光图像通常被采集并显示，以表示从对应于存在于目标对象中的荧光团的不同位置发射的荧光。

荧光成像常规地用于荧光指引手术（FGS）（并且特别是与肿瘤相关时的荧光指引切除（FGR））、内窥镜检查和其他医疗（手术/诊断/治疗）程序中，用于识别患者的所检查的（内部）身体部位（诸如病变如肿瘤）内的期望目标。

为此目的，通常向患者施用荧光剂以到达要检查的身体部位内的期望有机目标，并附着到目标。例如，在荧光分子成像（FMI）应用中，荧光剂适于到达期望目标的特定分子，诸如病变如肿瘤，然后保持固定在特定分子上。

然后，使用激发光源照射被检查的身体部位，以使施用于患者的荧光剂发射使用荧光相机捕获的荧光，以便采集一系列荧光图像（“亮图像”，使用激发光源采集），该一系列荧光图像示出发射荧光剂在被检查的身体部位内的位置（以及因此示出期望目标的位置）。

使用荧光相机采集的一系列亮图像可以与使用彩色相机单独采集的被检查身体部位的一系列相应彩色图像一起显示在监测器上，以便向操作者显示与被检查身体部位的周围区域并置的目标对象。例如，在外科手术中，所显示的图像可以帮助外科医生识别待切除的病变的边缘，在诊断应用中可以帮助医生发现或监测病变，并且在治疗应用中可以帮助医生描绘待医治的病变。

然而，使用荧光相机采集的亮图像的图像内容可以不限于与荧光剂响应于由激发光源提供的光而发射的荧光相对应的图像内容，并且实际上可以包括由于与激发光和（由荧光目标响应于激发光而发射的）荧光不同的任何环境光引起的虚假图像内容，但是具有落入荧光相机的通带内的一些光谱分量。

一种已知的用于消除这种虚假贡献的技术是背景减除，例如在Themelis等人2009年在Journal of Biomedical Optics（生物医学光学杂志）中公开的作为“暗图像”的减除。

根据该技术，荧光相机用于以相对于亮图像的采集（使用激发光采集以使荧光剂发射荧光）的替代方式、在不使用激发光单元以使荧光剂发射荧光的情况下，采集一系列图像（“暗图像”）。以这种方式，所采集的暗图像包括由于落在荧光相机的通带内的环境光而引起的背景图像内容，并且因此，可以从对应的先前或随后采集的亮图像中减除所采集的暗图像，以获得背景减除的荧光图像（其中理想地去除由于环境光而引起的包括在亮图像中的虚假背景内容）。在实践中，假设所采集的暗图像的背景图像内容与所采集的亮图像中包括的虚假背景图像内容完全匹配，则从亮图像中减除暗图像将从所获得的背景减除的荧光图像中去除该虚假内容。

然后可以例如在荧光图像的实况视频中显示如此获得的背景减除的荧光图像。

然而，这种背景减除方法在实践中具有一些缺点。特别地，荧光相机的视场内的一个或多个对象（例如，被检查的身体部位或另一对象，例如手术器械或手）的移动和/或荧光相机相对于所捕获的场景的移动可在暗图像和亮图像的采集时间之间发生，从而导致暗图像的背景图像内容与亮图像中的对应背景图像内容之间的失配（未对准）。这种未对准（甚至是少量的，如单个像素移位）可能导致背景减除的图像中存在不可忽略的伪影。

例如，在暗图像和连续亮图像的采集时间之间发生的反射视野内的环境光（例如，用于采集彩色图像的白光、照亮执行医疗操作的房间的人造光、或穿透到房间中的阳光）的对象的横向移位将导致成像对象的边缘由所获得的背景减除图像内的高强度值表示。这样，相对于发射的荧光的强度具有不可忽略的强度的环境光可以结合对象/相机运动在背景减除图像中引起不可忽略的环境光虚假影。环境光强度越大，虚假影的强度值越大。

此外，环境光可以引起来自除了荧光剂的荧光团之外的被检查身体部位的内源荧光团的虚假（背景）荧光发射（不是由使用激发光单元引起的），其与对象/相机运动组合可以导致背景减除图像的部分中的虚假影，其中背景荧光由于目标对象移动而移位。

与强环境光的存在相关的另一个问题是荧光相机的图像传感器具有有限的动态范围。因此，在太多入射光的情况下，传感器可能饱和（过度曝光）（特别是在发射的环境光来自在荧光检测通带内通过的、照射房间的人造光或阳光的情况下，因为该光的幅度潜在地远大于传感器要检测的荧光发射的水平）。然而，如果仅向用户显示背景减除的荧光图像，则在所采集的暗图像和亮图像中发生的过度曝光可能对用户不明显，因为背景减除的图像将不会比它们在正常曝光下看起来更明亮。这是因为受过度曝光影响的对应像素区域的高饱和值在背景减除的图像的生成期间彼此相减，从而导致低强度（理想情况下为空）像素值。

以上讨论的两个缺点的共同之处在于，它们的发生在某种程度上对用户隐藏，因为仅背景减除的图像被显示，而不直接显露过度曝光（高像素值被减去）或运动。这些上述缺点代表了对活荧光成像中背景减除的实际实现的真实挑战。

US11,322,245公开了一种连接到观察成像器的医学图像处理装置，该观察成像器被配置为通过在第一定时捕获从对象反射的光来生成对象图像，并且通过在不同的第二定时捕获从对象发射的荧光来生成荧光图像。特别地，医学图像处理设备被配置为：确定受试者和观察成像器中的至少一个是否在采集先前受试者图像的采集与第一定时之间移动或者在先前荧光图像的采集与第二定时之间移动；以及响应于确定受试者和观察成像器中的至少一个在受验者图像的采集之间或在荧光图像的采集之间运动，禁止叠加受试者图像和荧光图像。

US11,276,148公开了一种方法，该方法包括致动发射器以发射多个电磁辐射脉冲（包括红色、绿色、蓝色和荧光脉冲），以及利用图像传感器的像素阵列感测由多个脉冲产生的反射电磁辐射以生成多个曝光帧（包括红色、绿色、蓝色和荧光帧）。该方法进一步包含检测跨越多个曝光帧中的两个或多个顺序曝光帧的运动，补偿所检测的运动，以及组合两个或多个顺序曝光帧以生成图像帧。

CN102361583公开了一种包括运动矢量算术单元和对准处理单元的图像处理设备。运动矢量算术单元被配置为计算与被观察区域的荧光图像（基于来自用激发光照耀的被观察区域生成的荧光）和被观察区域的反射亮图像（基于来自被观察区域的反射光）之间的运动矢量相关的信息。对准处理单元被配置为基于与运动矢量相关的信息来校正被摄体在被观察区域的荧光图像和反射亮图像之间的位移。

US10,869,645公开了一种用于生成用于医学可视化的对象的低光视频的自适应成像方法，包括：利用图像采集组件采集描绘对象的一系列参考帧和/或一系列低光视频帧；基于所采集的一系列参考视频帧或所采集的一系列低光视频帧的至少一部分来评估图像采集组件与对象之间的相对移动；至少部分地基于图像采集组件与对象之间的相对移动来调整低光视频帧的图像处理的水平；以及从一定数量的低光视频帧中生成特征低光视频输出，其中低光视频帧的数量是基于低光视频帧的所调整的图像处理水平。

US10,108,844公开了一种成像子系统，该成像子系统被配置为在不同的波长带对设置在子系统内的颗粒进行成像，其中成像子系统包括：选择与第一波长带相对应的第一组一个或多个光学滤光器；通过第一组滤光器照射颗粒；选择与第二波长带相对应的第二组一个或多个光学滤光器；以及通过第二组滤光器照射颗粒；存储针对颗粒的多个图像采集的数据；生成多个图像的第一合成图像，其中第一合成图像包括与颗粒相对应的第一合成斑点，第一合成斑点与所存储的多个图像中的多个图像中的斑点具有第一未对准量；以及修改多个图像中的至少一个的坐标，使得基于所修改的坐标的第二合成图像包括第二合成斑点，该第二合成斑点与多个图像中的斑点具有第二较小的未对准量。

发明内容

根据本发明的第一方面，提供了根据权利要求1所述的方法。

还提供了根据权利要求17-18所述的相关图像采集系统和计算机程序产品，以及根据权利要求19-21所述的相关手术、诊断和治疗方法。

本发明的实施例基于以下认识：尽管由在荧光通道上的成像采集所采集的两个连续的暗荧光通道图像（帧）和亮荧光通道图像（帧）不能进行比较以提取估计引起这些图像之间的未对准的运动量的变换矩阵（因为它们具有不同且很少的图像内容：实际上，亮图像包括对应于响应于激发光而发射荧光的目标身体部位的图像内容，而暗图像包括由于环境光的一小部分通过荧光相机的通带而引起的背景内容），但是与暗图像和亮图像相关联的参考反射（例如，彩色）图像之间的相对对准可以替代地用于提取估计引起暗图像和亮图像之间的未对准的运动量的变换矩阵。

通过在执行从亮图像逐像素减除暗图像之前，在空间上对准暗图像帧和亮图像帧，可以有利地应用变换矩阵来校正运动。以这种方式，获得运动稳定的背景减除的荧光图像，其中由于环境光（除了响应于激发光发射的荧光和激发光之外）引起的背景的存在被最小化，同时避免由于运动引起的伪影。

在异步采集荧光通道图像和反射图像的一些实施例中，确定第一插值变换矩阵和第二插值变换矩阵（适于将参考反射图像与相应的暗图像和亮图像对准）。在这些实施例中的一些实施例中，用于对准暗图像和亮图像的变换矩阵被确定作为参考反射图像以及第一插值变换矩阵和第二插值变换矩阵的函数。在这些实施例中的其他实施例中，第一插值变换矩阵和第二插值变换矩阵被应用于参考反射图像，以分别获得与暗图像近似对准的第一虚拟反射图像和与亮图像近似对准的第二虚拟反射图像。然后用于对准暗图像和亮图像的变换矩阵被确定为用于对准第一虚拟反射图像和第二虚拟反射图像的变换矩阵。在这些实施例的其他实施例中，第一插值变换矩阵和第二插值变换矩阵被应用以将暗图像和亮图像与相应的参考反射图像对准。然后用于对准暗图像和亮图像的变换矩阵被确定为用于对准参考反射图像的变换矩阵。

在异步采集荧光通道图像和反射图像的一些其他实施例中，与暗图像和亮图像相关联的参考反射图像对应于在时间上最接近暗图像和亮图像的参考时间采集的反射图像。用于对准暗图像和亮图像的变换矩阵被确定为用于对准这些所选择的反射图像的变换矩阵。

在同步采集荧光通道图像和反射图像的一些实施例中，与暗图像和亮图像相关联的参考反射图像对应于在暗图像和亮图像的参考时间采集的反射图像。用于对准暗图像和亮图像的变换矩阵被确定为用于对准这些所选择的反射图像的变换矩阵。

在一些实施例中，在采集暗图像或亮图像之后，执行检查以确定所采集的图像是否过度曝光。响应于确定过度曝光，输出警告以发信号通知过量环境光。

附图说明

现在将参考附图通过示例的方式描述本发明的实施例，其中：

图1示出了根据本发明的实施例的用于荧光指引的开放手术的成像采集系统，该系统被配置成操作运动稳定的荧光背景减除；

图2示出了图1所示的成像采集系统的框图；

图3示出了可以由图1的成像采集系统或图6的成像采集系统操作的方法；

图4图示了随时间异步采集的一系列彩色图像以及暗图像和亮图像，其中根据图3的方法的实施例的操作参考虚拟彩色图像被指派给暗图像或亮图像；

图5示出了根据本发明的实施例的随时间同步采集的一系列彩色图像以及暗图像和亮图像，其中参考彩色图像被分配给暗图像或亮图像；

图6示出了根据本发明的实施例的用于内窥镜检查的成像采集系统，该系统被配置为操作运动稳定的荧光背景减除；和

图7示出了图6的成像采集系统的框图。

具体实施方式

图1图示了用于在荧光指引手术（诸如荧光指引切除，如果手术操作涉及肿瘤）中辅助外壳医生的成像系统100。

特别地，所示系统100包括装置105，装置105包括推车1150，推车1150容纳分别用于供应和控制成像系统100的操作的供应单元和控制单元（图1中不可见）。支柱125从推车1150的后表面向上延伸。支柱125具有用于由操作者移动装置105的把手130。悬臂135在滑车1150上方从支柱125突出。主监测器140（用于向操作者显示图像）和具有诸如鼠标或轨迹球的定点设备的键盘145（用于由操作者输入信息/命令）安装在悬臂135上。枢转臂150安装在支柱125的顶部上（悬臂135上方）。辅助监测器155（用于向医生，诸如外科医生显示图像）安装在枢转臂150上（以便允许在任一方向上转动它）。铰接臂160也安装在支柱125的顶部上（靠近枢转臂150）。成像头165从铰接臂160悬挂。成像头165提供有两个把手170（用于由操作者移动成像头165）。

现在参考图2，示意性地示出了成像头165和控制单元（用附图标记205表示）的功能结构。

成像头165至少包括图像采集单元和照射单元，图像采集单元用于采集对应视场104内的场景（例如，采集单元对其敏感的立体角内的世界的一部分）的图像，照射单元被配置用于照射场景。

特别地，如图2所示，成像头165在操作中相对于经历外科手术的患者的身体295定位，使得由手术腔（例如，微创手术中的小皮肤切口）暴露的目标身体部位290落入图像采集单元的视场104内。在操作中，视场104还可以含有与手术腔不同的一个或多个外来对象（图2中未示出），例如手术器械、手、手术工具、周围身体部位、背景材料等（围绕手术腔或与手术腔重叠）。

目标身体部位290包括荧光物质。为此目的，将荧光剂施用于患者（例如，静脉内或局部）。荧光剂可以是适于附接至特定生物目标（诸如肿瘤组织、神经、血管、淋巴结、淋巴管等）的目标特异性荧光剂。预先将荧光剂施用于患者295，以便允许荧光剂在患者295的血管系统内循环，直到到达身体部位290并附着到期望目标。

现在更详细地公开成像头165的照射单元和图像采集单元。

从照射单元开始，该照射单元包括近红外（NIR）激发光源210（例如，激光器或LED源），该近红外激发光源210被配置为发射激发光，该激发光由对应的递送光学器件220递送到图像采集单元的视场104内的场景。NIR激发光具有适于激发目标身体部位290中的荧光物质的荧光团的波长和能量以便引起荧光的发射。特别地，在吸收激发光时，荧光团进入激发的、不稳定的（电子）状态，并且在达到不稳定的电子状态之后很快衰减到基态（电子）状态，从而发射荧光，荧光具有取决于被照射的荧光团的量（以及包括荧光团在视场104和身体部位290内的定位的其他因素）的强度，并且具有特征NIR发射光谱（具有比NIR激发光的波长更长的特征波长，因为能量在激发状态下作为热量耗散）。

照射单元还包括白光源215（例如，LED、卤素灯或氙灯），白光源被配置为发射白光（即，含有以相等强度对人眼可见的色谱的所有波长的光，以便对人眼呈现基本上无色），该白光由对应的输送光学器件225输送到图像采集系统的视场104内的场景。

移动到图像采集单元，该图像采集单元包括被配置为收集存在于视场104内的光的收集光学器件230。存在于场景中的所收集的光可以包括：由存在于目标身体部位290中的荧光团发射的荧光（响应于吸收由光源210提供的激发光）；可以由除了目标荧光剂的荧光团之外的荧光团发射的任何虚假荧光，诸如存在于被检查身体部位290内的内源荧光团（响应于吸收由光源215提供的白光或其他环境光的一些分量）；由视场104中存在的任何对象反射的激发光；以及由视场104中存在的任何对象反射的可见光（由光源215发射的白光或由成像系统100在其中操作的房间中存在的任何其他可见光照射，例如人造房间光、从监测器140、150发射的光、穿透到房间中的阳光等）。

图像采集单元还包括分束器235，分束器235被配置为将视场104内的收集的光分成两个通道，即NIR光谱（包括荧光发射光谱）内的所收集的光的第一通道和可见光谱内的所收集的光的第二通道。例如，分束器235可以是分色镜，该分色镜透射和反射分别在NIR光谱和可见光谱之间的阈值波长之上和之下的波长处的所收集的光。

采集单元还包括具有荧光发射检测通带的荧光相机245。特别地，荧光相机245包括荧光图像传感器241和相关联的发射滤光器240（例如，定位在传感器241的感测表面上或靠近传感器241的感测表面）。

滤光器240是通带滤光器，该滤光器240具有与目标身体部位290中的荧光团的荧光发射光谱对应的荧光检测通带。滤光器240可以由单个滤光器形成，也可以由多个滤光器的组合形成。这样，滤光器240被配置为过滤由分束器235的第一通道提供的光，以便允许目标荧光团的荧光发射光谱内的光（朝向传感器241的感测表面）通过，同时防止由视场104内的对象反射的激发光的任何分量或与荧光和激发光不同的任何反射环境光（包括例如由白光源215发射的反射白光的任何部分或照射系统100操作的房间的其他人造光的任何部分，或穿透到房间中的阳光部分，这些部分可能落入NIR光谱内或由于分束器235的非理想操作而错误地朝向滤波器240偏离）通过（在理想操作中）。

图像传感器241可以是具有用于检测由目标身体部位290中的荧光团发射的入射光（由分束器235的第二通道提供并通过滤光器240）的合适灵敏度的任何传感器。响应于该光检测，荧光相机245被配置为生成表示视场104中的荧光团的分布的荧光图像。例如，传感器241可以是EMCCD传感器、增强型CCD、ICCD传感器、CMOS传感器、InGaAs传感器、光电倍增管（PMT）或用于NIR中的低光成像的任何其他高灵敏度传感器。

返回参考收集视场104内的反射可见光的分束器235的第二通道，成像头165的图像采集单元还包括反射相机，特别是包括图像传感器250a（例如，CCD或CMOS类型）的彩色相机250，图像传感器250a能够单独检测由分束器230的第二通道提供的反射可见光的彩色分量的强度。

例如，图像传感器250a可以包括设置在其感测表面上的RGB滤光器（例如，拜耳滤光器）（分别允许所收集的白光的红色、绿色和蓝色分量到达传感器表面的相应滤光像素区域）。在一些变型中，除了RGB传感器之外或代替RGB传感器，图像传感器可以具有仅对光带或例如宽带（诸如可见光谱）敏感的像素，在本文中称为白色（W）像素。（在另外的变型中，图像传感器可以包括具有对红光、绿光或蓝光的子带敏感的单独平面的高光谱传感器）。其他图像传感器包括例如具有除RGB滤光器之外的彩色滤光器阵列（CFA）的传感器，例如RGBE滤光器（类似于拜尔滤光器，但添加了“祖母绿”（emerald）滤光器）或CYYM滤光器（具有青色、黄色和品红色滤光器的阵列）。此外，代替使用CFA，图像传感器可以以这样的方式制造，使得其本身包括对入射光的不同彩色分量具有不同灵敏度的区，或者可以采用这样的布置，其中入射光被分成多个彩色分量，每个彩色分量指向相应的传感器表面。

现在参考成像系统100的控制单元205，该控制单元25包括通过总线结构255彼此连接的若干单元（如图2中示意性图示的）。特别地，单元205包括被配置为提供控制单元205的处理和协调功能的一个或多个微处理器（μP）260。非易失性存储器（ROM）265存储用于引导控制单元205的基本代码，并且易失性存储器（RAM）270被微处理器260用作工作存储器。控制单元205还提供有用于存储程序和数据的大容量存储器275（例如，固态盘或SSD）。

此外，控制单元205包括用于外围设备或输入/输出（I/O）单元的多个控制器280。特别地，控制器280中的一个或多个被配置为控制外围设备285，诸如主监测器140和辅助监测器155、键盘145、定点设备、用于读取/写入可移动存储单元（诸如USB类型）的驱动器、以及用于连接到通信网络（诸如LAN，然后是因特网）的网络接口卡（NIC）。

此外，控制器280包括荧光成像控制模块281和彩色成像控制模块282，控制器280被配置为控制成像头165的激发光源210、白光源215、荧光相机245和彩色相机250的操作，以便采集一系列荧光图像和彩色图像。

特别地，荧光成像控制模块281被配置为协调荧光相机245的操作和激发光源210的打开/关闭，以便通过荧光采集通道采集：

包括亮图像的一系列图像（包括例如图4中所示的亮图像602），亮图像在使用光单元210使目标身体部位209中的荧光物质发射荧光的同时被采集，亮图像与以下交替，

一系列暗图像（包括例如图4中所示的暗图像601和603），暗图像在不使用激发光源210的情况下被采集。

所采集的交替的暗图像和亮图像具有相同的尺寸和形状，并且可以包括单元格的矩阵，每个单元格存储像素的强度值，即，对应于视场104的位置的基本图片元素。这样，每个像素值将像素的亮度定义为由对应位置发射的光的强度的函数（并且然后，在亮图像中，定义为存在的荧光剂的量的函数，例如，随着荧光剂的量增加，像素的亮度从黑色到白色）。

优选地，所采集的暗图像和亮图像是包括灰度值的单色图像。可选地，所采集的亮图像和暗图像可以用其他类型的值（例如，用于像素或体素等的RBG、YcBcr、HSL、CIE-L*a*b、LAB彩色等表示中的彩色值）来定义。

此外，为了在曝光时间T_exp期间采集亮图像，该曝光时间T_exp适于允许亮图像的适当曝光水平（例如，在亮图像的感兴趣区或区域中的一定数量的像素上，允许在图像传感器241的曝光范围内的一定平均水平或范围的亮度），控制模块281被配置为控制光源210在对应于期望曝光时间的时间段内打开并发射一系列激发光脉冲（每个脉冲在短于脉冲之间的时间段的寿命内引起来自目标身体部位290的荧光团的荧光的对应发射）。

在每个亮图像的采集结束和下一个亮图像的采集开始之间，控制模块281被配置为保持激发光单元210关闭，以便允许在其间采集暗图像。优选地，使用与其对应的交替的亮图像相同的曝光时间来采集暗图像。

交替的亮图像和暗图像在其采集期间由模块281检索，并且与指示其采集的参考时间的对应时间戳相关联地存储在由控制单元205维护的亮/暗图像存储库283中（其可以被包括在大容量存储器275中或与大容量存储器275分离）或可由控制单元205访问。例如，每个所采集的暗或亮图像与指示其采集时间的开始、中间或结束的至少一个时间戳相关联地存储。

现在参考彩色成像控制模块282，该彩色成像控制模块282被配置为打开白光源215，白光源215优选维持在打开状态，以在系统100用于检查目标身体部位209时恒定地照射成像头165的视场104。

当白光源215照射目标身体部位290时，彩色成像控制模块282进一步被配置为控制彩色相机250以通过彩色采集通道采集一系列彩色图像（包含例如图4中示出的六个彩色图像401-406）。

例如，如果彩色相机250中使用的彩色图像传感器250a是RGB传感器，那么彩色相机250被配置为在图像采集期间组合经由传感器241的R、G、B像素采集的原始R、G、B图像，以便生成（例如，通过去马赛克）对应RGB图像（其中每个像素与表示像素在R、G和B图像平面中有多亮的三个强度值相关联）。此外，所获得的RGB图像可以（在相机245处或在控制单元205处）转换成YUV图像，包括强度平面（Y）以及两个色度平面（U、V）（或者转换成与不同于RGB的彩色空间相关联的任何其他图像格式）。

彩色成像控制模块282被配置为控制彩色相机250以大于一系列交替的暗图像和亮图像601-603的采集频率的采集频率来采集彩色图像401-406（例如，在图4中，彩色图像401-406的采集频率是图像601-603的采集频率的两倍，例如，对于彩色图像采集，平均36fps对比平均18fps）。这样，在采集两个对应的彩色图像之间，采集单个暗图像或亮图像（例如，在图4中，在彩色图像401-402之间采集暗图像601，在彩色图像403-403之间采集亮图像602，并且在彩色图像405-406之间采集暗图像603）。

此外，控制模块281、282优选地彼此独立地控制采集荧光通道和彩色通道（尽管荧光相机245和彩色相机250共享相同的视场104，但是这些相机可以由相应的控制模块281、282单独控制）。结果，以异步方式在各个通道上采集一系列彩色图像和暗/亮图像。因此，彩色图像采集的定时通常相对于暗/亮图像采集的定时是异步的，并且因此，暗/亮图像601-603的开始采集时间不与彩色图像的开始采集时间对准（例如，如图4所示）。此外，荧光图像和彩色图像的开始采集时间之间的距离和/或彩色通道和荧光通道上的采集频率可以在系统100的不同操作上变化，或者甚至在系统的相同操作内变化。

可以以与荧光通道图像601-603相同（或接近）的尺寸和形状采集彩色图像401-402。

此外，应注意，采集单个彩色图像的曝光时间通常显著小于用于采集亮/暗图像601-603的曝光时间（因为与荧光成像相比，在彩色成像中通常可用的光量更大）。因此，为了改善在彩色通道上采集的彩色图像401-406与在荧光通道上采集的亮/暗图像601-603之间的可比性，控制模块282可以可选地被配置为控制彩色相机250通过以下方式采集围绕给定荧光通道图像的两个彩色图像中的每一个：

在具有与用于采集给定的亮/暗图像的曝光时间（近似或完全）对应的持续时间的时间段内，采集多个彩色帧407（例如，在图4中关于第一彩色图像401示出）；和

将彩色帧407组合（相加）在一起以形成所采集的单个彩色图像，所采集的单个彩色图像在给定的亮/暗图像的近似或完全相同的曝光时段内采集（要注意的是，在提供所采集的彩色帧407时，图像组合能够可选地由控制模块282本身或由控制单元205的另一模块执行）。

所采集的彩色图像401-406由控制模块282检索，并且与指示它们的采集时间的对应时间戳（例如，指示它们的采集时间的开始、中间或结束）相关联地存储在控制单元205中维持的彩色图像存储库284中。

这样，控制单元205存储每个帧的定时信息（无论是彩色图像还是暗/亮帧），定时信息指示帧相对于来自另一通道的帧的采集时间（即使帧相对于彼此异步采集，如例如图4所示）。

所采集的连续的暗图像和亮图像可以包括由反射的环境光（例如，由光源215发射的反射的白光、照射系统100在其中操作的房间的任何反射的人造光、穿透到房间中的反射的阳光、以及由于白光/人造房间光/阳光而发射的虚假荧光）引起的相同（或相似）的背景图像内容，该反射的环境光通过发射滤光器240（例如，到滤光器240的非理想操作），从而到达荧光图像传感器241的感测表面。然而，由于所捕获的场景内的对象的移动和/或荧光相机245相对于所捕获的场景的运动，该共同背景图像内容在连续采集的暗图像和亮图像内可能在空间上未对准。

现在将参考图3所示的方法300，来描述根据本发明的用于通过在荧光通道上执行运动稳定的背景减除来解决该问题的系统100的进一步配置和功能。特别地，所示的方法300被公开为与在手术期间使用系统100（例如，检查如图2所示的目标身体部位290）相关，并且对一系列彩色图像和一系列暗/亮图像的异步采集进行操作（出于示例性目的，假设其分别至少包括图4所示的彩色图像401-406和暗/亮图像601-603）。

在手术过程之前，健康护理操作者向患者施用荧光剂（例如，吲哚菁绿、亚甲蓝等），其到达目标生物身体部位109（诸如待切除的肿瘤）。该结果可以通过使用非目标荧光剂（适于在目标中积累，而不与其发生任何特异性相互作用，诸如通过被动积累）或目标荧光剂（适于通过与目标发生特异性相互作用而附接至目标，诸如通过在荧光剂的制剂中掺入目标特异性配体来实现，例如，基于适于与不同组织相互作用的化学结合性质和/或物理结构、血管性质、代谢特征等）来实现。荧光剂可以作为推注（用注射器）静脉内施用于患者；因此，荧光剂在患者的血管系统内循环，直到到达肿瘤并与其结合；相反，剩余的（未结合的）荧光剂从血池中清除（根据相应的半衰期时间）。在允许荧光剂积累在肿瘤中并从患者的其他身体部位洗出的等待时间（例如，从几分钟到24-72小时）之后，外科医生通过打开患者体内的腔以暴露包括施用的荧光物质的目标身体部位290来开始手术。此时，操作者打开成像系统100，并将系统100的成像头165放置在患者身体的手术腔打开的区域附近。然后，操作者将开始命令输入到成像系统100中（例如，使用键盘145）。

响应于开始命令，彩色成像控制模块282打开白光源215（其优选地在手术过程期间恒定地维持打开），并且开始控制使用彩色相机250在彩色通道上采集一系列彩色图像（包括图4中所示的彩色图像401-406）。随着系列采集的进行，控制模块282将这些彩色图像（与相关联的时间戳一起）存储在存储库284中。

当彩色成像控制模块282控制彩色通道上的一系列彩色图像的采集时，图3所示的方法300开始于，荧光成像控制模块281控制荧光相机245在激发光源210被关闭的曝光时间T_exp内通过荧光通道上获取采集第一暗图像601（图4所示）（步骤301）。特别地，如图4所示，在彩色通道上两个连续彩色图像401-402的采集之间，采集第一暗图像601。在采集时，控制模块281将第一暗图像601（与相关联的时间戳一起）存储在存储库283内。应当注意，方法300可以同样地在步骤301处开始采集第一亮图像而不是暗图像601，诸如例如图4中所示的亮图像602。

优选地，方法300在步骤302处继续，其中控制模块281（或控制单元205内的任何其他合适的模块或荧光相机245本身）检查第一暗图像601是否在荧光图像传感器241的线性检测范围内（即，第一暗图像601是否没有过度曝光）。

为了确定第一暗图像601是否在传感器检测范围内，针对像素强度的固定第一阈值可以（在传感器显影期间）被设置，固定第一阈值与传感器241的线性范围内的最高值相对应。第二阈值被设置，第二阈值与允许高于第一阈值的最大像素数相对应。然后，对强度高于第一阈值的第一暗图像601的像素数进行计数。如果计数的数量高于第二阈值，则认为第一暗图像201过度曝光（超出范围）。阈值取决于设备硬件（例如图像传感器），并且因此可以是固定的预设置。相对于阈值检查的像素也可以被限制到图像的所选择的区域（例如，感兴趣区域），使得在过度曝光评估中忽略图像的不相关区域。应当注意，任何其他方法也可以用于检查所采集的图像是否在传感器241的检测范围内的相同目的（假设该方法在计算上足够快以在每个新采集的图像上执行）。

响应于确定第一暗图像601过度曝光（例如，由于强环境光的一些分量，如照射发生手术的房间的人造光或阳光穿透到房间中，到达并通过发射滤光器240），系统100为操作者输出指示过量环境光的警告（例如，视觉和/或听觉警告）（可选步骤303），然后可以在步骤301重新开始方法300。

响应于确定第一暗图像未过度曝光，该方法进行到步骤304。在公开步骤304的操作之前，应当注意，由于步骤302的操作是可选的，因此方法300可以在步骤301的操作之后直接进行到步骤304。

在步骤304中，控制模块281（或控制模块282或控制单元205内的任何其他合适的模块）确定与第一暗图像601相关联的第一参考（辅助）彩色图像（根据暗图像601的参考时间——由与暗图像601相关联地存储的时间戳指示）。例如，假设参考时间对应于暗图像601的采集的开始，并且彩色图像401（图4中例示）与第一暗图像601相关联，因为彩色图像401是在参考时间之前采集的彩色图像。应当注意，在步骤304处，与第一暗图像601相关联的第一参考彩色图像可替代地可以选择为在参考时间之后采集的第一彩色图像，和/或参考时间可对应于第一暗图像601的采集期间的其他时间，例如，第一暗图像601的采集的中间时间或结束时间。

方法300继续，成像控制模块281（或控制单元205内的任何其他模块）确定是否存在要第一暗图像601之后在荧光通道上采集的下一个荧光通道图像（即，亮图像）（步骤305）。

响应于确定要在第一暗图像601之后在荧光通道上采集第一亮图像602，方法300继续进行，荧光成像控制模块281控制激发光源210打开，并且控制荧光相机245在荧光通道上、在曝光时间T_exp内采集第一亮图像602，在曝光时间T_exp期间，激发光源210用于使目标身体部位290中的荧光物质发射荧光（步骤306）。特别地，如图4所示，在彩色通道上的两个连续彩色图像402-403的采集之间采集第一亮图像602。在采集时，控制模块281将第一亮图像602（与相关联的时间戳一起）存储在存储库283内。

优选地，方法300继续进行，控制模块281（或控制单元205或荧光相机245内的任何其他合适的模块）以类似于先前公开的可选步骤302的方式检查第一亮图像602是否在荧光图像传感器241的线性检测范围内（可选步骤307）。

响应于确定第一亮图像602过度曝光，在步骤308，系统100以类似于先前公开的可选步骤303的方式为操作者输出警告。然后可以重新开始方法300（可选步骤309，再次从步骤301开始）。可替代地，方法300可以重新运行步骤306，直到采集未过度曝光的第一亮图像。

方法300然后在步骤310处继续，其中控制模块281（或控制模块282或控制单元205内的任何其他合适的模块）确定与第一亮图像602相关联的第二参考彩色图像（根据亮图像602的参考时间——由与亮图像602相关联地存储的时间戳指示）。例如，彩色图像403（图4中所示）与第一亮图像602相关联（以类似于在步骤304处将第一参考彩色图像401与第一暗图像601相关联的方式）。

在该阶段，方法300继续进行，彩色成像控制模块282（或荧光成像控制模块281或控制单元205内的任何其他模块）在步骤311处基于相关联的第一参考彩色图像401和第二参考彩色图像403的相对对准，确定适于对准第一暗图像601和第一亮图像602的变换矩阵。

应当注意，在步骤311处计算的矩阵变换，可以基于由参考彩色图像401、403提供的信息，准确地估计在第一暗图像601和第一亮图像602之间发生的运动，至少因为：

彩色相机240可以具有比荧光相机245显著更高的分辨率（因此可以有效地外推变换矩阵）；和

彩色图像在像素强度方面是稳定的。

更详细地，根据一些实施例，使用所存储的指示两个彩色图像401-402的采集时间的时间戳和第一暗图像601的参考时间来计算第一插值因子φ₁（插值因子φ₁指示彩色图像401-402相对于第一暗图像601的参考时间的采集时间）。例如，分别考虑两个彩色图像401、402和第一暗图像601的所存储的时间戳t_C1、t_C2和t_D1，插值因子φ₁可以被计算为以下分数：

φ₁=（t_D1-t_c1）/（t_c2-t_c1），

其中φ₁∈[0,1]。

现在公开使用插值因子φ₁来获得适合于将第一参考彩色图像401与第一暗图像601进行对准的第一插值变换矩阵的两种示例性技术。这两种示例性技术都是基于计算变换矩阵，该变换矩阵表示估计在彩色图像401、402的采集之间发生的潜在运动（引起彩色图像401、402之间的成比例的空间（逐像素）未对准）的变换。特别地，将例如参考仿射扭曲和透视扭曲来提取变换矩阵。这些变换算法通常用于在视频稳定技术中估计和校正相机运动。特别地，仿射扭曲和透视扭曲被实现并被包括在OpenCV库（https://docs.opencv.org/3.4）中（也在Dr. Dobb的软件工具期刊（Dr.Dobb’s Journal of Software Tools）中Bradski 的The OpenCV Library中公开）。此外，仿射扭曲和透视扭曲例如在1994年IEEE计算机视觉与模式识别会议的论文集（Proceedings of IEEE conference on computervision and pattern recognition）中Shi，J.的 Good features to track中公开。然而，应当理解，在视频稳定（或其他成像应用）中应用的其他可替换的已知变换算法可以用于提取与彩色图像401、402相关联的运动变换矩阵。

根据第一示例性技术，使用仿射扭曲来计算彩色图像401、402的变换矩阵。特别地，从图像401、402之一提取至少三个特征（界标）并在另一图像中跟踪该至少三个特征，以便估计表示彩色图像401、402之间的以下三个基本移动分量的仿射变换矩阵：旋转（线性变换）、平移（矢量相加）和缩放操作（线性变换）。仿射变换矩阵可以是具有以下结构的2x3矩阵：

其中θ是旋转角度，s是缩放因子，并且t_x、t_y分别是沿x、y轴的平移。

在已经计算仿射变换矩阵之后，仿射变换矩阵被分解成其维度运动分量，包括计算缩放因子s和旋转角度θ，如下所示：

然后使用所计算的彩色图像401、402之间的插值因子φ₁来获得维度分量的插值版本，如下所示：

然后从插值分量重组新的插值仿射变换矩阵：

根据第二示例性技术，使用仿射扭曲或透视扭曲（或任何其他运动变换算法）计算彩色图像401、402的变换矩阵，然后使用分数矩阵幂算法（例如在2011年SIAM矩阵分析与应用期刊（SIAM Journal on Matrix Analysis and Applications）中Nicholas J.Higham和Lijing lin的A Schur-Pade Algorithm for Fractional Powers of a Matrix中公开的技术）直接插值以获得插值（分数）变换矩阵。在这方面，由于分数矩阵幂仅适用于方形矩阵，因此在使用仿射扭曲来确定仿射变换矩阵的情况下，最后一行[0,0,1]被添加到例如2x3仿射变换矩阵（以获得3x3矩阵）。

将要对其应用分数矩阵幂的变换矩阵指示为T，并且假设该矩阵是可对角化的，则存在正交矩阵P和对角矩阵D，使得：

D的项是T的特征值，并且P含有相应的特征向量。

使用所计算的彩色图像401、402之间的插值因子φ，矩阵T的φ₁次幂被确定为：

（其中如果φ₁=0，则T^φ对应于单位矩阵，并且如果φ₁=1，则T^φ对应于T）。

基于上面公开的原理，使用指示两个彩色图像403-404的采集时间的存储的时间戳和第一亮图像602的参考时间来计算第二插值因子φ₂，并且（使用插值因子φ₂）确定适合于将第二参考彩色图像403与第一亮图像602进行对准的第二插值变换矩阵。

根据一些实施例，然后在步骤311处，变换矩阵被确定为第一参考彩色图像401和第二参考彩色图像403以及所计算的第一插值变换矩阵和第二插值变换矩阵的函数，该变换矩阵表示估计在第一暗图像601和第一亮图像602的采集之间发生的任何潜在运动（引起第一暗图像601和第一亮图像602之间的对应空间（逐像素）未对准）的变换。

根据一些替代实施例，将所计算的第一插值变换矩阵和第二插值变换矩阵分别应用于第一参考彩色图像401和第二参考彩色图像403，以获得与第一暗图像601近似对准的第一虚拟彩色图像408，以及与第一亮图像602近似对准的第二虚拟彩色图像409（例如，如图4所示）。第一虚拟彩色图像408具有与第一暗图像601的视场大致重叠的视场（成帧视图），第二虚拟彩色图像409具有与第一亮图像602的视场大致重叠的视场（成帧视图）。在实践中，第一虚拟彩色图像408和第二虚拟彩色图像409近似于，如果在相应的第一暗图像601和第一亮图像602的参考时间处采集的彩色图像将具有的视场（成像内容和帧内的相关位置）。所获得的第一虚拟彩色图像408和第二虚拟彩色图像409可以与彩色图像401-402和403-404的时间戳之间的相应中间时间戳相关联地存储在彩色图像存储库284（或专用于中央单元205中用于存储虚拟彩色图像的存储库）内。

在该阶段，在步骤311处，确定变换矩阵以对准第一虚拟彩色图像408和第二虚拟彩色图像409。例如，先前公开的仿射扭曲和透视扭曲可以用于确定该变换矩阵（或在视频稳定或任何其他成像应用中应用的任何其他变换算法）。由于第一虚拟彩色图像408和第二虚拟彩色图像409分别近似地对准到第一暗图像601和第一亮图像602，因此该变换矩阵还表示估计在第一暗图像601和第一亮图像602的采集之间发生的任何潜在运动的变换。

根据一些其他替代实施例，分别应用所计算的第一插值变换矩阵和第二插值变换矩阵以将第一暗图像601与第一参考彩色图像401进行对准，并且将第一亮图像602与第二参考彩色图像403进行对准。在步骤311，然后确定变换矩阵，该变换矩阵适合于对准第一参考彩色图像401和第二参考彩色图像403（并且因此适合于对准第一暗图像601和第一亮图像602）。

返回参考方法步骤304，根据一些替代实施例，彩色图像401、402中与第一暗图像601的参考时间在时间上最接近的图像被确定为分配给暗图像601的第一参考彩色图像。实际上，如果所计算的插值因子φ₁低于或等于0.5，则第一彩色图像401被分配给暗图像601作为第一参考彩色图像。否则，将第二图像402分配给暗图像601作为第一参考彩色图像。类似地，返回参考方法步骤310，将彩色图像403、404中与第一亮图像602的参考时间在时间上最接近的图像确定为分配给亮图像602的第二参考彩色图像。

在该阶段，在步骤311处，确定变换矩阵以对准所选择的第一参考彩色图像和第二参考彩色图像。基于所选择的参考彩色图像的采集时间足够接近相关联的第一暗图像601和第一亮图像602的参考时间的假设，该变换矩阵还表示估计在第一暗图像601和第一亮图像602的采集之间发生的任何潜在运动的变换。

优选地，在步骤311之后，根据可选步骤312，方法300包括确定由所确定的变换矩阵估计的潜在运动是否过量（例如，高于特定阈值）。响应于确定过量的所估计的运动，系统100为操作者输出指示（照射场景内的对象或包括荧光相机245和彩色相机250的成像头165的）过量运动的警告。然后，方法300可以从步骤301重新开始（或者替代地可以返回到步骤305）。

响应于确定不存在过量运动，该方法前进到步骤315。在公开步骤315的操作之前，应注意，由于步骤312的操作是可选的，因此方法300可以在步骤311的操作之后直接进行到步骤315。

在该阶段，荧光成像控制模块281（或彩色成像控制模块282或控制单元205内的任何其他模块）将在步骤311确定的矩阵变换应用于第一暗图像601，以便通过将第一暗图像601与第一亮图像602在空间上（逐像素地）对准来校正所估计的运动。

以这种方式，通过将变换矩阵应用于第一暗图像601（在执行背景减除之前），可以有利地（至少近似地）重新对准第一暗图像601和第一亮图像602内（由于环境光）的任何共同背景图像内容，并且该共同背景图像内容在第一暗图像601和第一亮图像602之间（由于运动）原始未对准。

荧光成像控制模块281（或彩色成像控制模块282或控制单元205内的任何其他模块）然后继续进行到步骤316，以通过从第一亮图像602减除（逐像素减除）经校正的第一暗图像601来执行运动稳定的背景减除（与在未修改的第一暗图像601和第一亮图像602之间执行直接减除相比，由于第一暗图像601与第一亮图像602的所应用的对准，背景减少得到改善）。

如此获得的背景减除的荧光图像（可能与相关联的时间戳仪一起）被存储在图像存储库283（或专用于中央单元205或可由中央单元205访问的用于存储背景减除的图像的存储库）中。

此外，在步骤317处，背景减除图像被显示，通常覆盖在彩色图像上（例如，以形成组合图像），作为所显示的实时视频流的一部分（表示荧光目标身体部位290被置于（contextualized）患者身体的周围解剖部位中）。根据上面公开的生成虚拟彩色图像408、409的实施例，其上叠加背景减除的图像的彩色图像可以是分配给用于生成背景减除的图像的亮图像602的虚拟彩色图像409（或者可以是彩色图像403、404中的一个）。

在该实施例中，在荧光通道上采集每个图像（无论是暗图像还是亮图像）之后生成背景减除的图像，但是应当理解，在其他实施例中，可以仅针对在荧光通道上采集的每个新的暗/亮图像对生成背景减除的图像。这样，在该实施例中，方法300返回到步骤305，并且响应于确定存在要在荧光通道上采集的下一个图像（即，新的暗图像），在步骤306处，在曝光时间T_exp内采集第二暗图像603（图4中所示），在曝光时间Texp期间，激发光源210不用于使目标身体部位290中存在的荧光物质发射荧光。

响应于确定第二暗图像603未过度曝光，执行步骤310以基于由与暗图像603相关联地存储的时间戳指示的第二暗图像603的参考时间来确定与第二暗图像603相关联的第三参考彩色图像405（根据先前针对第一参考彩色图像401和第二参考彩色图像403与第一暗图像601和第一亮图像602的关联所公开的相同原理）。所获得的第三虚拟彩色图像410与彩色图像405、406的时间戳之间的中间时间戳相关联地存储。

在该阶段，在步骤311，方法300可以继续，确定估计在第一亮图像602和第二暗图像603之间发生的任何潜在运动的矩阵变换（根据先前公开的用于确定变换矩阵以对准第一暗图像601和第一亮图像602的相同原理）。

根据可选步骤312，响应于确定不存在过量运动，方法300通过将所确定的矩阵变换应用于第一亮图像602（步骤315）来继续，以便校正第一亮图像602和第二暗图像603之间的运动。

在步骤316处，然后通过从经校正的第一亮图像602中减除第二暗图像603来操作运动稳定的背景减除。

在步骤317，如此获得的背景减除的荧光图像然后被存储和显示，覆盖在相关联的彩色图像上，作为所显示的实时视频流的一部分。再次，根据获得虚拟彩色图像410并将其分配给第二暗图像603（如例如图4所示）的实施例，相关联的彩色图像可以是虚拟彩色图像410（或彩色图像405、406中的一个）。

然后，方法300再次返回到步骤305，并且关于新采集的交替的亮/暗图像迭代地操作步骤306-317，导致新的背景减除的荧光图像利用运动校正生成并且按顺序显示（覆盖在相应的相关联的彩色图像上），作为所显示的实时视频流的一部分。特别地，在每次迭代时，将新的参考彩色图像分配给新采集的荧光通道图像（在步骤310），基于新的参考彩色图像和先前分配给先前荧光通道图像的参考彩色图像之间的相对对准，来确定变换矩阵（在步骤311），并且将变换矩阵应用于先前荧光通道图像（在步骤315）。如果新采集的荧光通道图像是亮图像，则从新采集的亮图像中减除变换后的先前暗图像（在步骤316）；如果新采集的荧光通道图像是暗图像，则从变换后的亮图像中减除新采集的暗图像（在步骤316）。

方法300以这种方式继续，直到在步骤305处确定在荧光通道上没有要采集的另外的图像（例如，因为手术已经终止并且操作者已经提供停止命令）。在该阶段，在步骤318，方法300结束。

尽管上面公开的用于执行运动稳定的背景减除的系统100的操作适用于彩色通道和荧光通道的异步控制，但是现在公开了与控制通道的替代方式有关的用于执行运动稳定的背景减除的系统100的操作，由此成像控制模块281和282在交替的暗/亮图像601-603的采集与对应的彩色图像401-406的采集之间维持同步，使得每个荧光通道图像（暗或亮图像）的参考时间与对应的彩色图像的采集时间对准。例如，在图5中，在彩色图像401和402的采集之间采集暗图像601，其中暗图像601的采集的开始时间基本上与对应的彩色图像401的采集的开始时间对准；在彩色图像403和404的采集之间采集亮图像602，其中亮图像602的采集的开始时间基本上与对应的彩色图像403的采集的开始时间对准；并且在彩色图像405和406的采集之间采集暗图像603，其中暗图像603的采集的开始时间基本上与对应的彩色图像405的采集的开始时间对准。

为了在同步采集一系列彩色图像和荧光通道图像时执行运动校正背景减除，系统100可以被配置为执行先前公开的相同方法300，但不同之处在于，确定给定采集的荧光通道图像（暗图像或亮图像）的参考彩色图像（在步骤304、310）可以通过选择其采集与给定荧光通道图像的参考时间在时间上对准的彩色图像（基于该彩色图像具有与给定荧光通道图像的成帧视图更紧密重叠的成帧视图的认识）来简单地执行。例如，参考图5，如此修改的方法300的操作将分别将彩色图像401、彩色图像403和彩色图像405分配为暗图像601、亮图像602和暗图像603的参考彩色图像。

现在参考图6，示出了根据本公开的实施例的用于内窥镜检查的成像系统（或简称为内窥镜系统500），该系统还被配置为操作根据本发明的实施例的运动稳定的荧光背景减除。

特别地，内窥镜系统500在医疗程序中用于对界定体腔（其通常不可见）的患者106的内部身体部位103进行成像。体腔可通过开口112进入，开口112是患者106的皮肤上的自然孔口或小切口。身体部位103包括医疗程序的感兴趣的目标身体区域109（例如，病变，诸如肿瘤），其包括荧光物质（例如，适于肿瘤中积累的荧光剂，该荧光剂在先前已经施用于患者106）。

例如，在诊断应用中，内窥镜系统500允许发现/监测病变；在（微创）手术应用中，内窥镜系统500允许识别待切除的病变，并且在治疗应用中，内窥镜系统500允许描绘待医治的病变。这些医疗程序的示例是用于诊断应用的胃镜检查、结肠镜检查、食道镜检查等；这些医疗程序的示例是用于手术应用的关节镜检查、腹腔镜检查、胸腔镜检查等；并且这些医疗程序的示例是用于治疗应用的烧灼、扩张、支架置入等。

内窥镜系统500用于应用荧光（内窥镜）技术，以结合标准（内窥镜）技术（用于当被照射时显示体腔中人眼可见的内容）来显示体腔内的感兴趣区域109中的荧光物质。为此目的，内窥镜系统500由两个内窥镜单元组成，即主内窥镜单元（或简称为“母镜”）115m，与辅助内窥镜单元（或简称为“子镜”）115b组合。

母镜115m包括以下部件。母镜115m的中央单元用于管理其操作。例如，中央单元被实现为推车118m。监测器121m（例如，安装在推车118m的顶部上）用于在医疗程序期间显示身体部位103的图像。视频接口124m（例如，手推车118m背面的串行数字接口（SDI）端口）用于与外部交换视频信息。探针127m（例如，经由线缆与推车118m耦接）用于在患者106上操作。例如，探针127m被实现为细长轴用于插入身体部位103的腔中；探针127m的轴可以是刚性的，或优选地是柔性的，以允许其滑动通过身体部位103的腔（即使当腔具有弯曲路径时）。探针127m的远端或尖端130m用于到达感兴趣区域109，以用于照射和采集彩色图像（如下面更详细描述的）。

探针127m的近端（腔103外部）提供有手柄133m，用于（经由控制线缆，图中未示出）驱动尖端130m。探针127m具有一个或多个工作通道（可通过靠近其近端的对应的一个或多个工作端口进入），在图6中仅示出了一个工作通道（用附图标记136m表示）。工作通道允许插入在医疗程序期间使用的不同工具（例如，勒除器、镊子、刀、施夹器等）；专用工作通道也可以连接到流体注入器/提取器（图中未示出），用于在医疗程序期间清洁尖端130m和身体部位103的腔。

子镜115b包括以下部件。类似于母镜115m，子镜115b包括用于管理其操作的中央单元。例如，中央单元被实现为推车118b。监测器121b（例如，安装在推车118b的顶部上）用于在医疗程序期间显示身体部位103的腔的（另外的）图像。视频接口124b用于与外部交换视频信息。探针127b（例如，经由线缆与推车118b耦接）用于在患者106上操作。例如，探针被实现为（优选柔性的）细长轴。探针127b的远端或尖端130b用于到达身体部位103的腔内的医疗程序的相同感兴趣区域，以用于照射和采集其荧光图像和彩色图像（如下面更详细描述的）。

在具体实施例中，探针127b比探针127m薄。探针127b插入到工作通道136m中，直到其尖端130b到达探针127m的尖端130m（由于其尺寸和柔性，不会影响后者的操作性）。

现在参考图7中所示的内窥镜系统500的功能框图，更详细地描述了母镜115m。特别地，母镜115m至少包括图像采集单元和照射单元，图像采集单元用于采集对应视场221m内的身体部位103的感兴趣区域109的图像，照射单元用于照射感兴趣区域109。

从照射单元开始，它包括白光源209m（例如，在推车118m内，例如，LED、卤素灯或氙灯），白光源209m被配置为发射白光，该白光通过（沿着探针的）非相干光纤束218m传输到输送光学器件212m。（在母镜115m的探针的尖端处的）输送光学器件212m被配置为将接收到的白光输送到视场221m内的身体部位103（包括感兴趣区域109）。

移动到母镜115m的图像采集单元，图像采集单元包括收集光学器件224m，收集光学器件224m被配置为收集由白光照射的视场221m中存在的任何对象反射的可见光。图像采集单元还包括彩色相机239m，彩色相机239m至少包括（例如，CCD类型的）彩色图像传感器240m，彩色图像传感器240m适于检测所采集的可见光，并且作为响应生成表示在所照射的视场221m内人眼可见的内容的彩色图像。

在视频内窥镜配置中，彩色相机239m被布置在探针的尖端处；在这种情况下，数字连接241m将所采集的彩色图像传输到手推车115m（可替代地，彩色相机239m可以布置在手推车115内部，并且相干光纤束可以用于将可见光从收集光学器件224m传输到彩色相机239m）。

现在参考图7中示意性示出的子镜115b，其至少包括图像采集单元和照射单元，图像采集单元用于采集对应视场221b内的身体部位103的感兴趣区域109的图像，照射单元用于照射感兴趣区域109。通常，子镜115b的视场221b和母镜115m的视场221m是不同的。例如，视场221b小于视场221m并且（至少部分地）与视场221m重叠（以便视场221b、221m两者都包括感兴趣的目标身体区域109，如在图7中所示的示例中）。

从照射单元开始，照射单元包括NIR激发光源203b（例如在子镜115b的推车内，例如激光源或LED，），NIR激发光源203b被配置为发射激发光。激发光具有适合于激发存在于目标身体感兴趣区域109中的荧光物质的荧光团的波长和能量，以便引起在对应的荧光发射NIR光谱内的荧光的发射。

子镜115b的照射单元还包括被配置为发射白光的白光源209b（例如，在推车118b内部，例如LED、卤素灯或氙灯，例如在推车118b内部）。

（沿着探针的）非相干光纤束218b被配置为将发射的激发光和发射的白光（如果同时发射，则混合在一起）传输到输送光学器件212b（在探针的尖端处，图7中未示出）。输送光学器件212b被配置为将所接收的激发光和白光传送到图像采集系统的视场221b内的身体部位103，以便照射感兴趣区域109。可替代地，具有对应的非相干光纤束的两个单独的输送光学器件可以用于独立地将激发光和白光从相应的光源203b、209b输送到视场221b内的身体部位103。

移动到子镜115的图像采集单元，该图像采集单元包括被配置为收集存在于视场221b内的光的收集光学器件224b。视场221b内的所收集的光可以包括：由目标感兴趣区域109中存在的荧光团发射的荧光（响应于吸收由光源203b提供的激发光）；可以由除了目标荧光剂的荧光团之外的荧光团发射的任何虚假荧光，诸如存在于被检查身体感兴趣区域109内的内源荧光团（响应于吸收由光源215提供的白光或由母镜115m的光源209m提供的白光的一些分量）；以及由存在于视场221b中的对象反射的激发光。此外，所收集的光可以包括由视场221b中存在的任何对象反射的可见光，该对象由光源209b或由母镜115m的光源209m发射的白光照射。

图像采集单元还包括（沿着探针的）光纤的相干束230b，相干束230b被配置为将所收集的光从收集光学器件224b传输到分束器227b。类似于先前针对图2所示的系统100公开的分束器235，分束器227b（例如，二向色镜）被配置为将所收集的光分成两个通道，即NIR光谱（包括荧光发射光谱）内的所收集的光的第一通道和可见光谱内的所收集的光的第二通道。

图像采集单元还包括荧光相机236b，荧光相机236b至少包括荧光图像传感器234b和相关联的发射滤光器233b。类似于先前针对图2所示的系统100公开的发射滤光器240，滤光器233b是通带滤光器，其具有与存在于目标身体感兴趣区域109中的荧光物质的荧光发射光谱相对应的荧光检测通带，同时防止由视场221b内的对象反射的激发光的任何分量或者与荧光和激发光不同的任何反射的环境光（包括例如由母镜115m的白光源209b或白光源209m发射的白光的小部分，这些部分可能落入NIR光谱内或者由于分束器227b的非理想操作而错误地朝向滤光器233b偏离）通过（在理想操作中）。

类似于先前公开的图2的系统100的图像传感器241，图像传感器234b可以是用于NIR中的低光成像的任何高灵敏度传感器。

返回参考分束器227b的第二通道，子镜115b的图像采集单元还包括彩色相机239b。类似于先前公开的系统100的彩色相机250，彩色相机239b包含（例如，CCD或CMOS类型的）图像传感器240b，图像传感器240b能够（例如，利用RGB滤光器或其它CFA）单独地检测入射反射光的单独彩色分量的强度。

仍然参考图7，中央单元242b和中央单元242m分别用于控制子镜115b和母镜115m的操作。每个中央单元242b、242m包括通过总线结构245b、245m彼此连接的若干单元。特别地，每个中央单元242b、242m包括被配置为提供中央单元242b、242m的逻辑能力的至少一个微处理器（µP）248b、248m。ROM 251b、251m存储用于中央单元242b、242m的引导的基本代码，并且RAM 254b、254m被微处理器248b、248m用作工作存储器。中央单元242b、242m提供有用于存储程序和数据的大容量存储器257b、257m。此外，每个中央单元242b、242m包括用于外围设备（I/O单元）的多个控制器260b、260m。特别地，母镜115m的控制器260m至少包括彩色成像控制模块，其被配置为控制白光源209m和彩色相机239m的操作，以采集存储在中央单元242m中维护的彩色图像存储库（例如，大容量存储器275m内的存储库或中央单元242m内或可由中央单元242m访问的任何其他专用存储库）中的一系列彩色图像。

子镜115b的控制器260b至少包括荧光成像控制模块和彩色成像控制模块，控制器260b被配置为控制子镜115b的激发光源203b、荧光相机236b、白光源209b和彩色相机239b的操作，以采集和存储一系列彩色图像和交替的暗/亮图像，类似于先前公开的根据系统100的成像头165的控制模块281-282的配置采集和存储彩色图像和交替的暗/亮图像。

特别地，类似于系统100的成像头165的荧光成像控制模块281，子镜115b的荧光成像控制模块被配置为：

协调荧光相机236b的操作和激发光源203b的打开/关闭，以便在荧光采集通道上采集与相同形状和尺寸的暗图像（不使用激发光源203b采集）交替的亮荧光图像（使用激发光源203b采集）（例如图4中所示的荧光通道图像601-603）；和

将所采集的交替的暗/亮图像601-603与指示其采集时间的对应时间戳相关联地存储在相应的荧光通道图像存储库（例如，大容量存储器275b内的存储库或中央单元242b内或可由中央单元242b访问的任何其他专用存储库）中。

为了在适当的曝光时间期间采集亮图像，荧光成像控制模块被配置为控制光源203b在对应于期望的曝光时间的时间段内打开并发射一系列激发光脉冲。为了采集暗图像，荧光成像控制模块被配置为在每个亮图像的采集结束和下一个亮图像的采集开始之间保持激发光源203b关闭。

类似于系统100的成像头165的彩色成像控制模块282，子镜115b的彩色成像控制模块被配置为：

打开白光源209b（优选维持在打开状态），以恒定地照射子镜115b的视场221b（当子镜115b靠近目标身体感兴趣区域109定位并用于检查目标身体感兴趣区域109时）；和

当白光源209b照射感兴趣的目标身体区域109时，控制彩色相机239b在彩色采集通道上采集一系列彩色图像（包括例如图4中所示的彩色图像401-406），其采集频率大于一系列交替的暗/亮图像601-603的采集频率。

此外，类似于系统100的成像头165的成像控制模块281、282，子镜115b的荧光成像控制模块和彩色成像控制模块优选地彼此独立地控制采集荧光和彩色通道。结果，以异步方式在各个通道上采集一系列彩色图像和荧光通道图像（例如，如图4所示）。

可以以与荧光通道图像601-603相同（或接近）的尺寸和形状采集彩色图像401-406（并且任选地，可以通过组合以较低曝光时间顺序采集的多个彩色图像，每个彩色图像601-603可以在与对应的交替的暗/亮图像601、602、603的曝光时间T_exp相对应的采集时间内采集，例如如图4所示）。

彩色图像401指示其采集时间的对应时间戳相关联地由彩色成像控制模块与存储在相应的彩色图像存储库（例如，大容量存储器275b内的存储库或中央单元242b内或可由中央单元242b访问的任何其他专用存储库）中。

所采集的连续暗图像和亮图像可以包括由反射的环境光（例如，由光源209b或由母镜115m的光源209m发射的反射的白光，或由于来自光源209m、209b的白光引起的虚假发射荧光）引起的相同（或相似）的背景图像内容，该反射的环境光通过发射滤光器233b（例如，由于滤光器的非理想操作），从而到达荧光图像传感器234b的感测表面。然而，由于所捕获的场景内的对象的移动和/或荧光相机236b相对于所捕获的场景的运动，该共同背景图像内容在连续采集的暗图像和亮图像内可能在空间上未对准。

为了解决这个问题，子镜115b的中央单元242b被配置为通过在内窥镜检查过程中使用内窥镜系统500（例如，检查如图7所示的目标身体区域109）期间执行图3的先前公开的方法300，对相对于一系列彩色图像异步采集的一系列交替的暗/亮图像执行运动稳定的背景减除。

特别地，在向患者施用荧光物质之后，可以开始内窥镜检查程序。在完全或部分麻醉（如果需要）之后，医生将由（医疗保健）操作者打开的母镜115m的探针插入患者的腔中，直到探针尖端到达患者身体部位的感兴趣区域109，其中可能存在肿瘤（或其他病变）。在操作期间，母镜115m的白光源209m恒定地照射视场221m内的场景，并且彩色相机239m连续地用于采集实时显示在母镜115m的监测器121m上的被照射场景的母镜彩色图像。

在内窥镜检查过程的某一点处，医生将子镜115b的探针插入到母镜115m的工作通道中，直到探针尖端到达患者身体部位的相同目标感兴趣区域109（在母镜的探针的尖端处）。在沿着母镜115m的工作通道插入子镜115b期间，或者当子镜115b的探针的尖端已经到达接近目标感兴趣区域109的母镜115m的探针的尖端时，医疗保健操作者可以向子镜115b输入开始命令。作为响应，中央单元242b的彩色成像控制模块打开白光源209b（其优选地在子镜115b的操作期间恒定地维持打开），并且开始控制使用彩色相机239b在彩色通道上采集一系列彩色图像（包括例如图4所示的彩色图像401-406）。随着系列采集进行，彩色成像控制模块将这些彩色图像（与相关联的时间戳一起）存储在专用存储库中。

当子镜115b的彩色成像控制模块控制彩色通道上的一系列彩色图像的采集时，图3所示的方法300的操作在步骤301开始，其中子镜115b的荧光成像控制模块控制荧光相机236b在荧光通道上采集第一荧光通道图像（例如，图4所示的暗图像601）。

方法300的以下步骤中的每一个分别由中央单元242b的荧光成像控制模块或彩色成像控制模块（或由中央单元242b内的任何替代模块或由子镜115b的被配置为执行特定步骤的另一单元）操作，类似于先前公开的分别由系统100的控制单元205的荧光成像控制模块281或彩色成像控制模块282（或由中央单元205或系统100的被配置为执行特定步骤的其他单元内的任何替代模块）对这些步骤的操作。

关于所采集的一系列交替的亮/暗荧光通道图像迭代地执行这些方法步骤，导致在荧光通道上生成一系列（具有经运动校正的）背景减除的荧光图像，并且在子镜115b的监测器121b上连续显示（覆盖在子镜115b的彩色通道上采集的相应的相关联的彩色图像上，并且可能覆盖在由母镜115m同时采集的彩色图像上），作为所显示的实时视频流的一部分。

方法300以这种方式继续，直到在步骤305处确定不存在要在荧光通道上采集的另外的荧光通道图像（例如，因为子镜115b的操作被终止并且操作者已经向子镜115b提供了停止命令）。在该阶段，在步骤318，方法300结束。

类似于系统100，在同步采集一系列彩色图像和交替的暗/亮图像的情况下（例如如图5所示），内窥镜系统500可以被配置为执行图3所示的方法300，但不同之处在于，确定给定采集的荧光通道图像（暗图像或亮图像）的参考彩色图像（在步骤304、310）可以通过选择其采集与给定荧光通道图像的参考时间在时间上对准的彩色图像来简单地执行。

本公开的进一步实施例提供了一种计算机程序，该计算机程序被配置用于当计算机程序在计算设备上运行时使医疗荧光成像系统（诸如系统100或内窥镜系统500）的计算设备执行上面公开的方法300。另外的实施例提供了一种计算机程序产品，该计算机程序产品包括收录计算机程序的计算机可读存储介质，该计算机程序可加载到医学荧光成像系统的计算设备的工作存储器中，从而配置计算设备以执行相同的方法。然而，计算机程序可以实现为独立模块，实现为预先存在的软件程序（例如，成像系统的管理器）的插件，或者甚至直接实现在后者中。在任何情况下，如果计算机程序以不同的方式构造，或者如果提供了附加的模块或功能，适用类似的考虑；同样，存储器结构可以是其他类型的，或者可以用等效实体（不一定由物理存储介质组成）代替。计算机程序可以采取适合于由任何计算设备使用的任何形式，从而配置计算设备以执行期望的操作。特别地，计算机程序可以是外部或驻留软件、固件或微代码（无论是例如要编译或解释目标代码还是源代码）的形式。此外，可以在任何计算机可读存储介质上提供计算机程序。存储介质是可以保持和存储指令以供计算设备使用的任何有形介质（不同于暂时性信号本身）。例如，存储介质可以是电子、磁性、光学、电磁、红外或半导体类型；这种存储介质的示例是固定盘（其中可以预加载程序）、可移动盘、存储器密钥（例如，USB型）等。计算机程序可以从存储介质或经由网络（例如，因特网、广域网和/或包括传输电缆、光纤、无线连接、网络设备的局域网）下载到计算设备；计算设备中的一个或多个网络适配器从网络接收计算机程序并将其转发以存储到计算设备的一个或多个存储设备中。在任何情况下，甚至可以利用硬件结构（例如，通过集成在半导体材料的一个或多个芯片中的电子电路，诸如现场可编程门阵列（FPGA）或专用集成电路）或者利用适当编程或以其他方式配置的软件和硬件的组合来实现上述公开的方法300的操作。

修改

尽管已经参考本发明的特定实施例描述了本公开，但是应当理解，所公开的实施例以及其他实施例的形式和细节的各种省略、替换和改变是可能的。

例如，尽管在所公开的系统100和500中，除了由荧光相机245、236b采集的荧光通道图像之外，还使用彩色相机250和239b与相应的白光源215、209b协作来采集一系列彩色图像401-406，但是应当注意，任何其他反射相机（即，被配置为响应于反射光采集图像的相机）可以替代彩色相机250、230b使用或与彩色相机250、230b组合使用，以便采集一系列反射图像（反射图像可以用于提供运动信息以用于执行根据本发明的实施例的荧光通道图像之间的运动稳定的背景减除）。例如，反射相机可以包括简单图像传感器，该简单图像传感器不能单独检测入射反射光的单独彩色分量的强度（例如没有CFA的CCD或CMOS传感器）。在这种情况下，反射相机可以响应于传感器对反射光的检测而生成单色（灰度）图像。在其他变型中，反射相机可以与光源协作使用，该光源被配置为发射与可见光不同的反射光（但是仍然不会在具有荧光物质的被照射的目标身体部位中引起显著的荧光现象，并且与当被激发时由物质发射的荧光不同——例如，在使用可由NIR光激发的荧光物质的情况下发射远IR或UV光），以响应于检测到反射的非荧光来采集反射图像（例如，IR或UV图像）。

例如，尽管在所公开的系统100和500中，使用具有基本上相同的视场104、221b的两个单独的相机245、250和236b、29b来（借助于分束器235、236b）分别采集荧光图像和彩色图像，但是可以使用仅具有部分重叠（或不同）视场的荧光相机和反射相机。在这种情况下，可以执行后图像采集处理步骤以对准荧光通道图像和反射图像的视场。

或者，可以使用单个相机以异步或同步方式采集彩色图像（或任何其他反射图像）和荧光通道图像。例如，可以使用单个反射+荧光相机，其包括与RGB+NIR滤光器相关联的图像传感器（分别允许入射的反射可见光和发射的荧光的红色、绿色和蓝色分量以到达传感器表面的相应滤光像素区域）。在另外的变型中，图像传感器可以包括高光谱传感器，该高光谱传感器具有对红光、绿光或蓝光的子带、或实际上单独的NIR光带敏感的单独平面。

此外，应当注意，根据本发明的成像采集系统可以不包括用于采集反射图像的白光源（特别是在用于医疗操作的成像采集系统中，被检查的身体部位暴露于照射执行医疗操作的房间的人造光和/或阳光下）。

还应注意，根据本发明的成像采集系统可以不包括用于采集反射图像的反射相机，反射图像用于对由荧光相机采集的图像执行运动稳定的图像减除。在这种情况下，系统可以从任何外部源获得反射图像，该外部源连接到系统，并且被配置为采集由荧光相机成像的相同场景的反射图像。

尽管所公开的实施例涉及使用可被NIR光激发的荧光物质，以及在系统100和500中对应地使用NIR激发光源210、203b和对NIR敏感地图像传感器241、234b，但是用于标记目标身体部位的荧光物质可以由NIR光谱之外（例如，在UV光谱或远IR光谱，或可见光谱的一部分内）的光激发。在这种情况下，使用对应的合适的激发光（例如，UV光或IR光），与能够感测由荧光对象响应于激发光（例如，在UV或IR光谱中）而发射的荧光的图像传感器协作。

例如，尽管在所公开的实施例中，白光源215、209m、209b分别在系统100的操作期间以及在内窥镜系统500的母镜115m和子镜115b的操作期间恒定地维持在打开状态，但是这些白光源可以被控制为至少在荧光通道暗图像或亮图像的采集时间期间被关闭。

此外，即使图6所示的内窥镜系统500包含分别用于母镜115m和子镜115b的两个单独的中央单元242m、242b，单个中央单元也可用于控制母镜115b和子镜115m两者的操作（或者单元242m、242b的至少一些部件可在母镜115m和子镜115b之间共享）。

现在参考图4，尽管该图示出了以两倍于异步交替的暗/亮图像601-603的采集频率的频率采集的一系列彩色图像401-406，但是彩色图像采集频率可以大于荧光通道图像采集频率的两倍（导致在给定荧光通道图像的采集之后连续的彩色图像和在下一个荧光通道图像的采集之前的彩色图像之间，采集更多的彩色图像），或等于荧光通道图像采集频率（导致给定荧光通道图像的采集之后连续的彩色图像对应于在下一个荧光通道图像的采集之前的彩色图像）。

类似地，现在参考图5，尽管该图示出了以两倍于同步交替的暗/亮图像601-603的采集频率的频率采集的一系列彩色图像401-406，但是彩色图像采集频率可以大于荧光通道采集频率的两倍（导致在给定荧光通道图像的采集时的彩色图像和在下一个荧光通道图像的采集之前的彩色图像之间，采集更多的彩色图像），或等于荧光通道采集频率（导致在对应荧光通道图像的采集时间采集每个彩色图像）。

此外，上面公开的方法300的操作原理适用于反射图像采集频率低于荧光通道图像采集频率的实施例。

此外，应注意，在根据本发明的荧光成像系统的不同操作中，或甚至在相同操作期间，彩色通道和荧光通道上的采集频率可以变化。

例如，尽管上面已经参考图4-5的示例公开了方法300的操作（其中彩色图像401-406的采集时间具有与用于采集亮/暗图像601-603的曝光时间基本相同的持续时间），但是反射图像的采集时间可以（甚至显著）短于暗/亮图像601-603的采集时间（以便例如在对应的亮或暗荧光通道图像的采集时间期间采集至少两个反射图像）。在这种情况下，用于确定与给定荧光通道图像相关联的参考反射图像的参考时间可以对应于给定荧光通道图像的采集的中间时间。

现在参考图3中所示的方法300，并且具体地参考两个上述公开的解决方案以确定彩色参考图像并将其分配给正在分析的给定荧光通道图像（在步骤304、310），即在围绕给定荧光通道图像的两个所采集的彩色图像之间进行插值，或选择两个彩色图像中在时间上最接近给定荧光通道图像的图像，应当注意，尽管这些解决方案已经作为替代解决方案公开，但是可以组合这些解决方案（例如，如果两个周围彩色图像中最接近的彩色图像与给定荧光通道图像足够接近（例如，在预定的时间间隔内），则选择该最接近的彩色图像，否则在两个周围彩色图像之间执行插值以确定虚拟参考彩色图像）。

此外，尽管方法300的显示步骤371已经公开了与在系统100、500的监测器155、140、121b上显示一系列所获得的经运动校正的背景减除的图像有关，但是可以替代地或另外地（例如，无线地）输出所获得的系列以用于在连接到系统100、500的外部设备（例如，虚拟现实眼镜、智能TV或房间屏幕等）上显示。

参考由图6-图7中所示的内窥镜系统500进行的方法300的操作，由母镜115m采集的一系列彩色图像可替代地或附加地用于由子镜115b采集的一系列彩色图像，以便对母镜115m采集的一系列交替的暗/亮荧光通道图像的执行背景减除和运动校正，如方法300的上述公开的操作。

此外，应注意，即使上面公开的系统500包括母镜115m和子镜115b，方法300也可以由仅具有一个镜的内窥镜系统（至少包括荧光相机）执行。

此外，应当注意，方法300仅作为用于执行经运动校正的背景减除的示例性实施例被公开，并且其他修改可以应用于所公开的方法300（通过使用具有更多步骤或其部分的相同功能的类似步骤，移除一些非必要的步骤，或添加另外的可选步骤）；此外，方法300的步骤或任何修改版本可以以不同的顺序、同时或以交错的方式（至少部分地）执行。

尽管已经分别关于用于手术操作和内窥镜操作的系统100和500公开了根据本发明的用于执行运动稳定的背景减除的方法的操作，但是应当注意，该方法还可以有利地在使用荧光成像的其他系统/装置中操作，用于需要检查目标身体部位的其他医疗（例如，手术/诊断/治疗）或美容应用。

例如，一个实施例提供了一种包括以下步骤的手术方法。根据本公开的上述公开的方法对患者的身体部位进行成像，从而显示一系列运动稳定的背景减除的荧光图像。根据所述显示该系列图像来操作身体部位。然而，所提出的方法可以应用于该术语的最广泛含义的任何类型的手术方法（例如，用于治疗目的、用于预防目的、用于美学/美容目的等）以及用于操作任何患者的任何类型的身体部位。

另一个实施例提供了一种诊断方法，其包括以下步骤。根据本公开的上述公开的方法对患者的身体部位进行成像，从而显示运动稳定的背景减除的荧光图像的序列。根据所显示的一系列图像来分析身体部位。然而，所提出的方法可以在该术语的最广泛含义中的任何类型的诊断应用中找到应用（例如，旨在评估健康状况、发现新病变、监测已知病变等）并且用于分析任何患者的任何类型的身体部位（参见上文）。

一个实施例提供了一种治疗方法，其包括以下步骤。根据本公开的上述公开的方法对患者的身体部位进行成像，从而显示一系列运动稳定的背景减除的荧光图像。根据所显示的一系列图像来医治身体部位。然而，所提出的方法可以应用于该术语的最广泛含义的任何类型的治疗方法（例如，旨在治愈病理状况、避免其进展、防止病理状况的发生、或简单地改善患者的舒适度）以及用于医治任何患者的任何类型的身体部位（参见上文）。

在任何情况下，尽管该方法可以便利医生的任务，但是它仅提供可以帮助他/她的中间结果，但是严格意义上的医疗活动总是由医生他/她自己做出；此外，身体部位可以是任何类型的（例如，器官，诸如肝脏、前列腺或心脏、区域、组织等）、任何状况下的（例如，在活体内、在尸体内、从身体提取的诸如活检的样本等）以及任何患者（例如，人类、动物等）。

程序的目标由身体部位的目标状况限定。然而，目标状况可以是任何类型的（例如，任何病理组织，诸如肿瘤、炎症等，健康组织等）。

用于对目标身体部位成像的荧光物质可以是任何外在/内在或外源/内源类型（例如，任何荧光剂、任何天然荧光成分等）。因此，荧光剂可以以任何方式（例如，以非侵入性方式，例如，口服以用于对胃肠道成像，经由雾化器进入气道，经由局部喷雾应用或在手术期间局部引入等，或者在不用对患者进行任何需要专业医学专业知识或对患者造成任何健康风险的实质性物理干预的任何情况下，例如，肌内注射），并且在任何时间（例如，提前、紧接在执行该方法之前、在执行该方法期间连续地等）施用，或者可以完全省略该步骤（在荧光剂是内源性的情况下）。此外，荧光剂可以在目标身体部位中循环（而不是附着到身体部位的一些生物成分）。

此外，明确地意图的是，结合本公开的任何实施例描述的特定特征和/或方法步骤可以作为一般设计选择的问题并入任何其他实施例中。此外，在同一组和不同实施例、示例或替代方案中呈现的项目不应被解释为实际上彼此等同（但是它们是单独且自主的实体）。

Claims (21)

1.一种用于成像采集系统（100、500）中的运动稳定的图像背景减除的方法（300），所述成像采集系统（100、500）用于对包括含有荧光物质的至少一个目标身体部位（290、109）的场景进行成像，所述成像采集系统包括：

光源（210、203b），所述光源被配置为发射激发光以照射所述目标身体部位，所述激发光适于引起荧光从所述目标身体部位的发射；和

荧光相机（245、236b），所述荧光相机具有荧光发射检测通带，所述荧光发射检测通带被配置为允许检测由所述目标身体部位发射的所述荧光；

所述方法包括：

获得由反射相机（250、239b）采集的一系列反射图像（401-406），所述反射相机（250、239b）被配置为检测由于与所述激发光不同的照射条件引起的反射光；

在获得所述一系列反射图像的同时，使用所述荧光相机采集（301、306）一系列荧光通道图像（601-603），所述一系列荧光通道图像包括在使用所述光源使所述目标身体部位发射荧光时采集的亮图像（602），与在不使用所述光源使所述目标身体部位发射荧光的情况下采集的暗图像（601、603）交替；

确定（304）与第一荧光通道图像（601）相关联的所述一系列反射图像的第一反射图像（401），所述第一荧光通道图像（601）具有第一参考时间；

确定（310）与第二荧光通道图像（602）相关联的所述一系列反射图像的第二反射图像（403），所述第二荧光通道图像（602）由所述荧光相机在所述第一荧光通道图像之后连续采集，所述第二荧光通道图像（602）具有第二参考时间；

基于所述第一反射图像和所述第二反射图像（401、403）的相对对准来确定（311）变换矩阵；

将所述变换矩阵应用（315）于所述第一荧光通道图像和所述第二荧光通道图像（601、602）中的一个，以对准所述第一荧光通道图像和所述第二荧光通道图像（601、602）；

在已经应用所述变换矩阵的所述第一荧光通道图像和所述第二荧光通道图像中的所述一个与所述第一荧光通道图像和所述第二荧光通道图像中的另一个之间执行减除（316），以获得背景减除的图像；和

输出（317）所述减去背景的图像以用于显示。

2.根据权利要求1所述的方法，其中，所述第一参考时间在采集所述第一反射图像（401）与采集相邻的第三反射图像（402）之间，其中，所述第二参考时间在采集所述第二反射图像（403）与采集相邻的第四反射图像（404）之间，并且其中，所述确定（311）变换矩阵包括：

使用所述第三反射图像（402）确定第一插值变换矩阵，以对准所述第一反射图像（401）与所述第一荧光通道图像（601）；和

使用所述第四反射图像（404）确定第二插值变换矩阵，以对准所述第二反射图像（403）与所述第二荧光通道图像（602）。

3.根据权利要求2所述的方法，其中所述确定所述第一插值变换矩阵包括：

计算所述第一反射图像和所述第三反射图像（401、402）之间的第一插值因子，所述第一插值因子作为所述第一反射图像和所述第三反射图像的相对采集时间以及所述第一参考时间的函数；

确定第一变换矩阵以对准所述第一反射图像和所述第三反射图像（401、402）；和

将所述第一插值因子应用于所述第一变换矩阵以获得所述第一插值变换矩阵；

并且其中所述确定所述第二插值变换矩阵包括：

计算所述第二反射图像和所述第四反射图像（403、404）之间的第二插值因子，所述第二插值因子作为所述第二反射图像和所述第四反射图像的所述相对采集时间和所述第二参考时间的函数；

确定第二变换矩阵以对准所述第二反射图像和所述第四反射图像（403、404）；和

将所述第二插值因子应用于所述第二变换矩阵以获得所述第二插值变换矩阵。

4.根据权利要求3所述的方法，其中，所述将所述第一插值因子应用于所述第一变换矩阵包括：

将所述第一变换矩阵分解成运动分量；

将所述第一插值因子应用于所述运动分量；和

从所述插值运动分量重组所述第一变换矩阵以获得所述第一插值变换矩阵；和

其中所述将所述第二插值因子应用于所述第二变换矩阵包括：

将所述第二变换矩阵分解成运动分量；

将所述第二插值因子应用于所述运动分量；和

从所述插值运动分量重组所述第二变换矩阵以获得所述第二插值变换矩阵。

5.根据权利要求3所述的方法，其中，所述将所述第一插值因子应用于所述第一变换矩阵包括：

确定对应于所述第一插值因子的所述第一变换矩阵的分数幂；和

其中，所述将所述第二插值因子应用于所述第二变换矩阵包括：

确定对应于所述第二插值因子的所述第二变换矩阵的分数幂。

6.根据权利要求2-5中任一项所述的方法，包括：确定（311）所述变换矩阵，所述变换矩阵作为所述第一反射图像和所述第二反射图像（401、403）以及所述第一插值变换矩阵和所述第二插值变换矩阵的函数。

7.根据权利要求2-5中任一项所述的方法，包括通过以下操作来确定（311）所述变换矩阵：

将所述第一插值变换矩阵应用于所述第一反射图像（401），以获得与所述第一荧光通道图像（601）近似对准的第一虚拟反射图像（408）；

将所述第二插值变换矩阵应用于所述第二反射图像（403），以获得与所述第二荧光通道图像（602）近似对准的第二虚拟反射图像（409）；和

确定（311）变换矩阵以对准所述第一虚拟反射图像（408）和所述第二虚拟反射图像（409）。

8.根据权利要求2-5中任一项所述的方法，包括通过以下操作来确定（311）所述变换矩阵：

应用所述第一插值变换矩阵以对准所述第一荧光通道图像（601）与所述第一反射图像（401）；

应用所述第二插值变换矩阵以对准所述第二荧光通道图像（602）与所述第二反射图像（403）；和

确定（311）变换矩阵以对准所述第一反射图像和所述第二反射图像（401、403）。

9.根据权利要求1所述的方法，其中，所述确定（304）所述第一反射图像（401）包括：

选择在时间上最接近所述第一参考时间采集的反射图像；和

其中，所述确定（310）所述第二反射图像（403）包括：

选择在时间上最接近所述第二参考时间采集的反射图像；和

其中，所述方法包括通过以下操作来确定（311）所述变换矩阵：

确定（311）变换矩阵以对准所选择的第一反射图像和第二反射图像（401、403）。

10.根据权利要求1或9所述的方法，其中，在对应荧光通道图像（601、602、603）的采集期间，所述反射图像（401、403、405）在对应于参考时间的相应时间被采集。

11.根据前述权利要求中任一项所述的方法，其中，所述反射图像（401-406）以大于或等于所述荧光通道图像（601、602、603）的频率被采集。

12.根据前述权利要求中的任一项所述的方法，其中，所述成像采集系统（100、500）还包括：

所述反射相机（250、239b）；

并且其中，所述获得一系列反射图像（401-406）包括：

使用所述反射相机采集所述一系列反射图像（401-406）。

13.根据权利要求12所述的方法，其中，所述反射相机具有与所述荧光相机的视场基本上重叠的视场。

14.根据前述权利要求中任一项所述的方法，其中，所述采集一系列反射图像包括通过以下方式采集所述第一反射图像（401）：

在具有与用于采集所述第一荧光通道图像（601）的曝光时间相对应的持续时间的时间段内采集多个第一反射帧（407）；和

将所述第一反射帧（407）组合在一起以形成单个所采集的反射图像；和

通过以下步骤采集所述第二反射图像（403）：

在具有与用于采集所述第二荧光通道图像（602）的曝光时间相对应的持续时间的时间段内采集多个第二反射帧；和

将所述第二反射帧组合在一起以形成单个所采集的反射图像。

15.根据前述权利要求中任一项所述的方法，还包括：

确定（302、307）所述第一荧光通道图像（601）或所述第二荧光通道图像（602）是否被过度曝光；和

响应于确定所述第一荧光通道图像（601）或所述第二荧光通道图像（602）被过度曝光，输出（303、308）过量环境光的警告。

16.根据前述权利要求中任一项所述的方法，还包括：

确定（312）由所述变换矩阵估计的去对准所述第一荧光通道图像和所述第二荧光通道图像（601、602）的运动是否高于阈值，和

响应于确定所估计的运动高于所述阈值，输出（313）过量运动的警告。

17.一种用于对包括含有荧光物质的至少一个目标身体部位（290、109）的场景进行成像的成像采集系统（100、500），所述成像采集系统至少包括：

光源（210、203b），所述光源被配置为发射激发光以照射所述目标身体部位（290、109），所述激发光适于引起荧光从所述目标身体部位的发射；和

荧光相机（245、236b），所述荧光相机具有荧光发射检测通带，所述荧光发射检测通带被配置为允许检测由所述目标身体部位发射的所述荧光；

所述成像采集系统（100、500）被配置为执行根据前述权利要求中的任一项所述的方法（300）。

18.一种包括计算机可读存储介质的计算机程序产品，所述计算机可读存储介质包括计算机指令，所述计算机指令在由根据权利要求17所述的成像采集系统的计算设备运行时，使所述成像采集系统执行根据权利要求1-16中任一项所述的方法。

19.一种手术方法，包括：

使用根据权利要求17所述的成像采集系统对患者的至少一个目标身体部位（290、109）成像，并且根据权利要求1至16中任一项所述的方法的运行来操作以输出用于显示的所述背景减除的荧光图像；和

根据所述显示所述背景减除的荧光来操作所述目标身体部位。

20.一种诊断方法，包括：

使用根据权利要求17所述的成像采集系统对患者的至少一个目标身体部位（290、109）成像，并且根据权利要求1至16中任一项所述的方法的运行来操作以显示所述背景减除的荧光图像；和

根据所述显示所述背景减除的荧光来分析所述目标身体部位。

21.一种治疗方法，包括：

使用根据权利要求17所述的成像采集系统对患者的至少一个目标身体部位（290、109）成像，并且根据权利要求1至16中任一项所述的方法的运行来操作以显示所述背景减除的荧光图像；和

根据所述显示所述背景减除的荧光来医治所述身体部位。