CN116030970A - 一种结直肠手术中结肠灌注的定量评估方法、装置及设备 - Google Patents

Abstract

本发明实施例公开了一种结直肠手术中结肠灌注的定量评估方法、装置及设备。该方法包括：获取目标结直肠区域的初始视频帧序列；对初始视频帧序列进行视频去抖，并将初始视频帧序列其余帧与第一帧进行配准对齐，得到目标视频帧序列；按照帧顺序通过HSV色彩空间转换对目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取得到观测数据；根据观测数据拟合得到目标ICG曲线，并根据目标ICG曲线计算得到荧光强度因子和灌注时间因子；将荧光强度因子、灌注时间因子以及目标ICG曲线的曲线参数输入到训练好的XGBoost机器学习模型，以预测得到目标结直肠区域的评分结果。从而减轻了医生负担，提高了手术的效率及安全性。

Description

一种结直肠手术中结肠灌注的定量评估方法、装置及设备

技术领域

本发明实施例涉及医疗技术领域，尤其涉及一种结直肠手术中结肠灌注的定量评估方法、装置及设备。

背景技术

结直肠癌是全球最常见的胃肠道癌症之一，发病率逐年增加，随着手术技术和化疗方案的发展，癌症的治疗效果得到了改善。然而，尽管手术技术和术后护理有所改善，吻合口并发症的发生率仍高达10～20％。已知约10％的人群结肠脾弯曲周围的侧支循环分支发育不良，血管解剖结构的这些差异可导致部分结直肠手术后患者结肠缺血，吻合口处急性缺血可导致吻合口渗漏或结肠坏死，慢性缺血可引起吻合口狭窄，需要再次手术。评估结肠灌注最常用的方法是外科医生亲眼观察结肠壁小血管的颜色变化或搏动，有时，通过目视观察准确检测结肠壁微循环的微小变化并不容易，特别是当血管由于内脏肥胖而埋在脂肪组织中时，即使是经验丰富的外科医生评估结肠灌注的准确性也会显著降低。

近来开发的使用吲哚菁绿(ICG)的荧光相机系统可用于在机器人或腹腔镜手术期间轻松观察结肠的灌注状态。但仅通过定性评估ICG荧光表达来预测结肠缺血存在一定问题，即使ICG荧光在直肠中显现，如果血流速率低于生理要求，也可能发生结肠缺血，因此需要可靠的定量分析预测吻合口并发症。目前的ICG荧光的定量分析方法主要为：首先根据相机的焦距将相机固定在样本的一定距离处，然后静脉注射ICG，并完全关闭手术室的灯光以排除外部光线。然后腹腔镜相机发射近红外线，使血管中的ICG发出荧光，并将荧光图像输出到屏幕，然后录制结直肠的荧光视频，并使用视频分析和建模工具依次手动测量荧光强度的变化以生成结肠灌注图，为了定量评估结肠灌注，从每个ICG荧光图中手动计算荧光强度因子和灌注时间因子，再通过医学经验人为将这些因子与正常的结直肠因子进行比较，从而判断结直肠的灌注状态。

可见，现有的定量评估ICG荧光表达来判断结肠灌注状况的方法，操作繁琐且实施条件苛刻，加重了医生的负担，手动测量计算耗时较长且复杂，延缓了手术的进程，对病人的生命安全造成一定的风险，同时最终还需要医生凭借经验预估并发症的风险，但由于侧支循环血管结构和血流通路的多样性，也会受到荧光强度、相机曝光时间以及拍摄距离等因素的影响，每个患者的ICG曲线模式不同，会提示不同的灌注状态，则最终评估结果的准确性也难以保证，需要医生通过多年的实践才能获得足够的经验。

发明内容

本发明实施例提供一种结直肠手术中结肠灌注的定量评估方法、装置及设备，以实现结肠灌注的智能化定量评估，减轻医生负担，提高手术效率与安全性。

第一方面，本发明实施例提供了一种结直肠手术中结肠灌注的定量评估方法，该方法包括：

获取目标结直肠区域的初始视频帧序列；

对所述初始视频帧序列进行视频去抖，并将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐，得到目标视频帧序列；

按照帧顺序通过HSV色彩空间转换对所述目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取，得到ICG荧光强度随时间变化的观测数据；

根据所述观测数据拟合得到目标ICG曲线，并根据所述目标ICG曲线计算得到荧光强度因子和灌注时间因子；

将所述荧光强度因子、所述灌注时间因子以及所述目标ICG曲线的曲线参数输入到训练好的XGBoost机器学习模型，以预测得到所述目标结直肠区域的评分结果。

可选的，所述对所述初始视频帧序列进行视频去抖，并将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐，得到目标视频帧序列，包括：

使用卢卡斯-卡纳德光流算法对所述初始视频帧序列进行视频去抖，并使用增强相关系数最大化算法将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐。

可选的，所述使用卢卡斯-卡纳德光流算法对所述初始视频帧序列进行视频去抖，包括：

遍历所述初始视频帧序列，使用卢卡斯-卡纳德光流算法采集追踪每帧图像中的特征点，并根据所述特征点计算每连续两帧图像之间的刚性变换；

根据所述刚性变换计算各帧图像的原始轨迹，并使用移动平均线过滤器对所述原始轨迹进行平滑，得到各帧图像的平滑轨迹；

计算所述平滑轨迹与所述原始轨迹之间的轨迹差异，并根据所述轨迹差异及所述刚性变换计算得到每连续两帧图像之间的平滑变换；

将所述平滑变换应用于对应的各帧图像。

可选的，所述使用增强相关系数最大化算法将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐，包括：

将所述初始视频帧序列的各帧图像转换为灰度图像；

针对每个所述其余帧，使用增强相关系数最大化算法估计所述其余帧与所述第一帧之间的预设运动模型的扭曲矩阵，并使用所述扭曲矩阵进行配准对齐。

可选的，所述按照帧顺序通过HSV色彩空间转换对所述目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取，得到ICG荧光强度随时间变化的观测数据，包括：

将所述预设感兴趣区域内的平均ICG亮度作为所述观测数据。

可选的，所述根据所述观测数据拟合得到目标ICG曲线，包括：

根据预设ICG动力学模型及所述观测数据，使用经RANSAC算法改进的非线性最小二乘法对所述目标ICG曲线进行拟合。

可选的，所述根据预设ICG动力学模型及所述观测数据，使用经RANSAC算法改进的非线性最小二乘法对所述目标ICG曲线进行拟合，包括：

在所述观测数据中多次随机选择预设数量的点作为内群点；

针对每次选择得到的所述内群点，根据所述内群点使用所述非线性最小二乘法拟合得到待选ICG曲线，然后将所述观测数据传入所述待选ICG曲线中，并计算所述观测数据中的内群数量；

将所述内群数量最大的所述待选ICG曲线选为所述目标ICG曲线。

第二方面，本发明实施例还提供了一种结直肠手术中结肠灌注的定量评估装置，该装置包括：

初始视频帧序列获取模块，用于获取目标结直肠区域的初始视频帧序列；

目标视频帧序列获取模块，用于对所述初始视频帧序列进行视频去抖，并将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐，得到目标视频帧序列；

观测数据提取模块，用于按照帧顺序通过HSV色彩空间转换对所述目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取，得到ICG荧光强度随时间变化的观测数据；

ICG曲线拟合模块，用于根据所述观测数据拟合得到目标ICG曲线，并根据所述目标ICG曲线计算得到荧光强度因子和灌注时间因子；

评分结果预测模块，用于将所述荧光强度因子、所述灌注时间因子以及所述目标ICG曲线的曲线参数输入到训练好的XGBoost机器学习模型，以预测得到所述目标结直肠区域的评分结果。

第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的结直肠手术中结肠灌注的定量评估方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的结直肠手术中结肠灌注的定量评估方法。

本发明实施例提供了一种结直肠手术中结肠灌注的定量评估方法，首先获取目标结直肠区域的初始视频帧序列，然后对得到的初始视频帧序列进行视频去抖，并将初始视频帧序列除第一帧外的其余帧与第一帧进行配准对齐，得到目标视频帧序列，再按照帧顺序通过HSV色彩空间变换对目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取，得到ICG荧光强度随时间变化的观测数据，然后根据该观测数据拟合得到目标ICG曲线，并根据目标ICG曲线计算得到荧光强度因子和灌注时间因子，最后将荧光强度因子、灌注时间因子和目标ICG曲线的曲线参数输入到训练好的XGBoost机器学习模型，从而预测得到目标结直肠区域的评分结果。本发明实施例所提供的结直肠手术中结肠灌注的定量评估方法，通过运用视频去抖和图片对齐减少了相机抖动的影响，又通过HSV色彩空间变换去除了背景和光源反射等因素的影响，从而降低了荧光视频的拍摄要求，避免了复杂的操作及环境条件，同时通过曲线的自动拟合以及因子和评分的自动计算，实现了结肠灌注的智能化定量评估，从而减轻了医生负担，提高了手术的效率及安全性。

附图说明

图1为本发明实施例一提供的结直肠手术中结肠灌注的定量评估方法的流程图；

图2为本发明实施例二提供的结直肠手术中结肠灌注的定量评估装置的结构示意图；

图3为本发明实施例三提供的计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1为本发明实施例一提供的结直肠手术中结肠灌注的定量评估方法的流程图。本实施例可适用于在结直肠手术中基于ICG荧光成像对结肠灌注进行定量评估的情况，该方法可以由本发明实施例所提供的结直肠手术中结肠灌注的定量评估装置来执行，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中。如图1所示，具体包括如下步骤：

S11、获取目标结直肠区域的初始视频帧序列。

具体的，在结直肠手术中，医生不再需要将腹腔镜相机固定在结直肠的一定距离处，同时也不需要关闭手术室的灯光，只需手持腹腔镜相机对准目标结直肠区域(即患处)进行拍摄即可，从而拍摄得到所需的初始视频帧序列。当然，医生也可将腹腔镜相机固定拍摄，从而更便于医生的手术操作。

S12、对所述初始视频帧序列进行视频去抖，并将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐，得到目标视频帧序列。

具体的，在提取ICG曲线时，由于相机抖动可能会出现畸变，而ICG曲线失真是ICG曲线微循环灌注分析误判的主要原因，因此，可以对初始视频帧首先进行视频去抖和图片对齐来减少相机抖动的影响。视频去抖是指一系列的方法，用来减少相机运动对最终视频的影响。相机的运动是平移(即在x、y、z方向上的运动)或旋转(偏航、俯仰、横滚)，视频去抖方法包括机械、光学和数字稳定方法等等。在完成视频去抖后，再将其余帧与第一帧进行配准对齐，即得到所需的目标视频帧序列用于后续ICG曲线的提取。

可选的，所述对所述初始视频帧序列进行视频去抖，并将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐，得到目标视频帧序列，包括：使用卢卡斯-卡纳德光流算法对所述初始视频帧序列进行视频去抖，并使用增强相关系数最大化算法将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐。

进一步可选的，所述使用卢卡斯-卡纳德光流算法对所述初始视频帧序列进行视频去抖，包括：遍历所述初始视频帧序列，使用卢卡斯-卡纳德光流算法采集追踪每帧图像中的特征点，并根据所述特征点计算每连续两帧图像之间的刚性变换；根据所述刚性变换计算各帧图像的原始轨迹，并使用移动平均线过滤器对所述原始轨迹进行平滑，得到各帧图像的平滑轨迹；计算所述平滑轨迹与所述原始轨迹之间的轨迹差异，并根据所述轨迹差异及所述刚性变换计算得到每连续两帧图像之间的平滑变换；将所述平滑变换应用于对应的各帧图像。

具体的，本实施例可选用数字稳定方法，这种方法不需要特殊的传感器来估计相机的运动，具体则可以使用卢卡斯-卡纳德光流算法来实现视频去抖。该方法主要有三个步骤：运动估计、运动平滑和图像合成，第一阶段推导出两个连续帧之间的变换参数，第二阶段滤除不需要的运动，最后重建稳定的视频。则在获得初始视频帧序列之后，可以首先采集追踪每帧图像中的特征点，并可计算出每连续两帧中前一帧映射到当前帧的刚性(欧几里得)变换。然后可根据得到的各个刚性变换，通过将帧之间的运动相加来计算各帧图像的原始轨迹，并可使用移动平均线过滤器对得到的原始轨迹进行平滑，得到各帧图像的平滑轨迹(如x、y和角度等)。然后可计算平滑轨迹与原始轨迹之间的轨迹差异，再将轨迹差异添加回原始相应的刚性变换即可得到每连续两帧图像之间的平滑变换，再遍历每一帧图像，将该平滑变换应用于对应的各帧图像，即可实现视频去抖。之后还可以通过将视频围绕其中心缩放少量(如5％)来缓解边框伪影问题。

进一步可选的，所述使用增强相关系数最大化算法将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐，包括：将所述初始视频帧序列的各帧图像转换为灰度图像；针对每个所述其余帧，使用增强相关系数最大化算法估计所述其余帧与所述第一帧之间的预设运动模型的扭曲矩阵，并使用所述扭曲矩阵进行配准对齐。

具体的，在一个典型的图像对齐问题中，我们有一个场景的两幅图像，它们可以通过一个运动模型相关联，不同的图像对齐算法使用不同的技巧和假设来估计这些运动模型的参数，一旦知道了这些参数，就可以直接对一张图像进行扭曲，使其与另一张图像完成对齐。本实施例可以使用增强相关系数(ECC)最大化的图像对齐方法将初始视频帧序列的其余帧与第一帧进行配准对齐。则在完成视频去抖之后，可以首先将初始视频帧序列的各帧图像转换为灰度图像，然后针对每个其余帧，可以选择单应性变换运动模型作为预设运动模型，并分配相应空间存储模型，再使用增强相关系数最大化算法的相似性度量来估计该其余帧与第一帧之间的预设运动模型的扭曲矩阵，从而可以将该扭曲矩阵应用于该其余帧和第一帧中的一幅图像，使其与另一幅图像配准对齐。

S13、按照帧顺序通过HSV色彩空间转换对所述目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取，得到ICG荧光强度随时间变化的观测数据。

具体的，在提取ICG曲线时，还可能由于背景及光源反射等原因出现畸变，因此，还可以运用HSV(色调、饱和度和明度)色彩空间转换来去除背景和光源反射等因素的影响。则在得到目标视频帧序列之后，可以按照帧顺序通过HSV色彩空间转换对目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取，从而得到ICG荧光强度随时间变化的观测数据。根据ICG相机制造商的不同，ICG荧光发射在图像上合成了不同的颜色，一般为绿色或者蓝色，因此，可以对每种荧光发射颜色应用不同的阈值来提取ICG荧光颜色。在这个过程中，由于颜色的差异，光的背景和反射会被去除。

可选的，所述按照帧顺序通过HSV色彩空间转换对所述目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取，得到ICG荧光强度随时间变化的观测数据，包括：将所述预设感兴趣区域内的平均ICG亮度作为所述观测数据，以减轻相机抖动和低光噪声的影响。

在所述按照帧顺序通过HSV色彩空间转换对所述目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取之前，可以首先设置预设感兴趣区域，其中的预设感兴趣区域可以有多个，并可分别进行ICG荧光颜色提取，从而后续可得到多个点位的ICG曲线，以评估多个位置的结肠灌注情况。目标视频帧序列的质量决定了预设感兴趣区域的大小，如果目标视频帧序列抖动且暗，则应增大预设感兴趣区域，相反则需要减小预设感兴趣区域，以提高空间分辨率，本实施例中可默认使用5×5像素的预设感兴趣区域。进一步由于背景、光源反射、相机抖动等原因会出现与平均值相差很大的异常点，则在完成ICG荧光颜色提取之后，还可以通过中值滤波去除当中的异常值、干扰点。

S14、根据所述观测数据拟合得到目标ICG曲线，并根据所述目标ICG曲线计算得到荧光强度因子和灌注时间因子。

具体的，目标ICG曲线即为由观测数据拟合得到的ICG荧光强度曲线，由于ICG荧光强度与ICG荧光含量浓度成正相关，因此ICG荧光含量浓度曲线与ICG荧光强度曲线类似。其中，拟合方法可以选用非线性最小二乘法。曲线拟合完成后，如上所述，可以对应一个或多个预设感兴趣区域得到一条或多条目标ICG曲线，然后可以从每个目标ICG曲线中自动计算荧光强度因子和灌注时间因子。其中，荧光强度因子可以包括基线时的荧光强度、最大强度与基线强度之间的荧光差、以及荧光斜率等等，灌注时间因子可以包括从第一次荧光增加到最大值的时间、从第一次荧光增加到最大值一半的时间、以及时间比率等等。

可选的，所述根据所述观测数据拟合得到目标ICG曲线，包括：根据预设ICG动力学模型及所述观测数据，使用经RANSAC算法改进的非线性最小二乘法对所述目标ICG曲线进行拟合。

具体的，首先可以利用微分方程对ICG的时空动力学进行数学建模，得到预设ICG动力学模型。模型考虑了ICG药代动力学的三个主要决定因素，包括消除、灌注和通透性。动脉输入函数(C_A)由ICG在肝脏中的清除量决定，并以时间常数τ表示为指数衰减函数，虽然一些研究假设了双指数模型来考虑ICG的长期和短期衰减，但由于长期衰减是小时量级的，ICG衰减10分钟可以近似为单指数函数，ICG衰减的半衰期为3～5分钟，其与时间的关系表示为：

C_A＝C₀e^-t/τ

其中，t表示时间，C₀表示ICG的初始浓度。ICG通过血管腔，特别是动脉间室到毛细血管和静脉间室的运输(C_CV)表示灌注，用Fick定律表示，流速为F，公式为：

C‘_CV＝F(C_A-C_CV)-K_eC_CV+K_iC_T

其中，K_e表示外渗参数，K_i表示内渗参数。通透性表明ICG在血管内和血管外间室之间的双向运输(C_T)，公式为：

C’_T＝K_eC_CV-K_iC_T

上述方程的总和描述了组织和血管室的ICG动力学与它们的体积分数，在数学上描述了区域ICG动力学，公式为：

I＝(V_AC_A+V_cvC_cv+V_TC_T)/(V_A+V_cv+V_T)

其中，I表示ICG荧光含量浓度，V_A表示动脉腔室的体积分数，V_CV表示毛细管和静脉腔室的体积分数，V_T表示血管外室容积分数。

根据上述公式通过非线性最小二乘法对曲线进行拟合，当我们用一个模型来描述现实中的一系列数据时，模型的预测结果与实际的测量结果总会存在一定偏差，这一偏差就称为残差。非线性最小二乘法的目的就是，调整模型的参数使得总的残差最小，因此其适用于测量结果与实际误差较小的情况。由于背景、光源反射、相机抖动等原因会出现较多的异常值，这将影响曲线拟合的准确度，进而造成ICG曲线微循环灌注的分析误判。因此，本实施例还可以采用RANSAC算法来改进非线性最小二乘法，RANSAC的基本假设是“内群”数据可以通过几组模型参数来叙述其数据分布，而“离群”数据则是不适合模型化的数据。数据会受噪声影响，噪声指的是离群，例如从极端的噪声或错误解释有关数据的测量或不正确的假设。

进一步可选的，所述根据预设ICG动力学模型及所述观测数据，使用经RANSAC算法改进的非线性最小二乘法对所述目标ICG曲线进行拟合，包括：在所述观测数据中多次(如可设置一最大迭代次数)随机选择预设数量(如80％)的点作为内群点(即作为除噪点和无效点之外的有效点)；针对每次选择得到的所述内群点，根据所述内群点使用所述非线性最小二乘法拟合得到待选ICG曲线，然后将所述观测数据传入所述待选ICG曲线中，并计算所述观测数据中的内群数量；将所述内群数量最大的所述待选ICG曲线选为所述目标ICG曲线。

S15、将所述荧光强度因子、所述灌注时间因子以及所述目标ICG曲线的曲线参数输入到训练好的XGBoost机器学习模型，以预测得到所述目标结直肠区域的评分结果。

具体的，经验丰富的外科医生可以通过医学经验将这些因子与正常的结直肠的因子进行比较，来判断结肠的灌注状态，并且通过考虑肠道颜色和结肠壁的蠕动情况，凭经验评估并发症的风险。本实施例可以通过收集经验丰富的外科医生对计算好的ICG曲线及参数的评分作为训练集，并对XGBoost机器学习模型进行训练。然后即可通过训练好的XGBoost机器学习模型，根据荧光强度因子、灌注时间因子以及曲线参数计算出目标结直肠区域的评分结果，从而实现智能化的定量评估。

本发明实施例所提供的技术方案，首先获取目标结直肠区域的初始视频帧序列，然后对得到的初始视频帧序列进行视频去抖，并将初始视频帧序列除第一帧外的其余帧与第一帧进行配准对齐，得到目标视频帧序列，再按照帧顺序通过HSV色彩空间变换对目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取，得到ICG荧光强度随时间变化的观测数据，然后根据该观测数据拟合得到目标ICG曲线，并根据目标ICG曲线计算得到荧光强度因子和灌注时间因子，最后将荧光强度因子、灌注时间因子和目标ICG曲线的曲线参数输入到训练好的XGBoost机器学习模型，从而预测得到目标结直肠区域的评分结果。通过运用视频去抖和图片对齐减少了相机抖动的影响，又通过HSV色彩空间变换去除了背景和光源反射等因素的影响，从而降低了荧光视频的拍摄要求，避免了复杂的操作及环境条件，同时通过曲线的自动拟合以及因子和评分的自动计算，实现了结肠灌注的智能化定量评估，从而减轻了医生负担，提高了手术的效率及安全性。

实施例二

图2为本发明实施例二提供的结直肠手术中结肠灌注的定量评估装置的结构示意图，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中，用于执行本发明任意实施例所提供的结直肠手术中结肠灌注的定量评估方法。如图2所示，该装置包括：

初始视频帧序列获取模块21，用于获取目标结直肠区域的初始视频帧序列；

目标视频帧序列获取模块22，用于对所述初始视频帧序列进行视频去抖，并将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐，得到目标视频帧序列；

观测数据提取模块23，用于按照帧顺序通过HSV色彩空间转换对所述目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取，得到ICG荧光强度随时间变化的观测数据；

ICG曲线拟合模块24，用于根据所述观测数据拟合得到目标ICG曲线，并根据所述目标ICG曲线计算得到荧光强度因子和灌注时间因子；

评分结果预测模块25，用于将所述荧光强度因子、所述灌注时间因子以及所述目标ICG曲线的曲线参数输入到训练好的XGBoost机器学习模型，以预测得到所述目标结直肠区域的评分结果。

本发明实施例所提供的技术方案，首先获取目标结直肠区域的初始视频帧序列，然后对得到的初始视频帧序列进行视频去抖，并将初始视频帧序列除第一帧外的其余帧与第一帧进行配准对齐，得到目标视频帧序列，再按照帧顺序通过HSV色彩空间变换对目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取，得到ICG荧光强度随时间变化的观测数据，然后根据该观测数据拟合得到目标ICG曲线，并根据目标ICG曲线计算得到荧光强度因子和灌注时间因子，最后将荧光强度因子、灌注时间因子和目标ICG曲线的曲线参数输入到训练好的XGBoost机器学习模型，从而预测得到目标结直肠区域的评分结果。通过运用视频去抖和图片对齐减少了相机抖动的影响，又通过HSV色彩空间变换去除了背景和光源反射等因素的影响，从而降低了荧光视频的拍摄要求，避免了复杂的操作及环境条件，同时通过曲线的自动拟合以及因子和评分的自动计算，实现了结肠灌注的智能化定量评估，从而减轻了医生负担，提高了手术的效率及安全性。

在上述技术方案的基础上，可选的，目标视频帧序列获取模块22具体用于：

使用卢卡斯-卡纳德光流算法对所述初始视频帧序列进行视频去抖，并使用增强相关系数最大化算法将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐。

在上述技术方案的基础上，可选的，目标视频帧序列获取模块22，包括：

刚性变换计算单元，用于遍历所述初始视频帧序列，使用卢卡斯-卡纳德光流算法采集追踪每帧图像中的特征点，并根据所述特征点计算每连续两帧图像之间的刚性变换；

平滑轨迹获得单元，用于根据所述刚性变换计算各帧图像的原始轨迹，并使用移动平均线过滤器对所述原始轨迹进行平滑，得到各帧图像的平滑轨迹；

平滑变换计算单元，用于计算所述平滑轨迹与所述原始轨迹之间的轨迹差异，并根据所述轨迹差异及所述刚性变换计算得到每连续两帧图像之间的平滑变换；

平滑变换应用单元，用于将所述平滑变换应用于对应的各帧图像。

在上述技术方案的基础上，可选的，目标视频帧序列获取模块22，包括：

灰度图像转换单元，用于将所述初始视频帧序列的各帧图像转换为灰度图像；

配准对齐单元，用于针对每个所述其余帧，使用增强相关系数最大化算法估计所述其余帧与所述第一帧之间的预设运动模型的扭曲矩阵，并使用所述扭曲矩阵进行配准对齐。

在上述技术方案的基础上，可选的，观测数据提取模块23具体用于：

将所述预设感兴趣区域内的平均ICG亮度作为所述观测数据。

在上述技术方案的基础上，可选的，ICG曲线拟合模块24具体用于：

根据预设ICG动力学模型及所述观测数据，使用经RANSAC算法改进的非线性最小二乘法对所述目标ICG曲线进行拟合。

在上述技术方案的基础上，可选的，ICG曲线拟合模块24，包括：

内群点选择单元，用于在所述观测数据中多次随机选择预设数量的点作为内群点；

内群数量计算单元，用于针对每次选择得到的所述内群点，根据所述内群点使用所述非线性最小二乘法拟合得到待选ICG曲线，然后将所述观测数据传入所述待选ICG曲线中，并计算所述观测数据中的内群数量；

目标曲线确定单元，用于将所述内群数量最大的所述待选ICG曲线选为所述目标ICG曲线。

本发明实施例所提供的结直肠手术中结肠灌注的定量评估装置可执行本发明任意实施例所提供的结直肠手术中结肠灌注的定量评估方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，在上述结直肠手术中结肠灌注的定量评估装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例三

图3为本发明实施例三提供的计算机设备的结构示意图，示出了适于用来实现本发明实施方式的示例性计算机设备的框图。图3显示的计算机设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图3所示，该计算机设备包括处理器31、存储器32、输入装置33及输出装置34；计算机设备中处理器31的数量可以是一个或多个，图3中以一个处理器31为例，计算机设备中的处理器31、存储器32、输入装置33及输出装置34可以通过总线或其他方式连接，图3中以通过总线连接为例。

存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的结直肠手术中结肠灌注的定量评估方法对应的程序指令/模块(例如，结直肠手术中结肠灌注的定量评估装置中的初始视频帧序列获取模块21、目标视频帧序列获取模块22、观测数据提取模块23、ICG曲线拟合模块24及评分结果预测模块25)。处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的结直肠手术中结肠灌注的定量评估方法。

存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置33可用于获取目标结直肠区域的初始视频帧序列，以及产生与计算机设备的用户设置和功能控制有关的键信号输入等。输出装置34可包括显示屏，可用于向用户展示最终的评分结果等等。

实施例四

本发明实施例四还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行一种结直肠手术中结肠灌注的定量评估方法，该方法包括：

获取目标结直肠区域的初始视频帧序列；

对所述初始视频帧序列进行视频去抖，并将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐，得到目标视频帧序列；

按照帧顺序通过HSV色彩空间转换对所述目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取，得到ICG荧光强度随时间变化的观测数据；

根据所述观测数据拟合得到目标ICG曲线，并根据所述目标ICG曲线计算得到荧光强度因子和灌注时间因子；

将所述荧光强度因子、所述灌注时间因子以及所述目标ICG曲线的曲线参数输入到训练好的XGBoost机器学习模型，以预测得到所述目标结直肠区域的评分结果。

存储介质可以是任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM、兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的结直肠手术中结肠灌注的定量评估方法中的相关操作。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种结直肠手术中结肠灌注的定量评估方法，其特征在于，包括：

获取目标结直肠区域的初始视频帧序列；

对所述初始视频帧序列进行视频去抖，并将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐，得到目标视频帧序列；

按照帧顺序通过HSV色彩空间转换对所述目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取，得到ICG荧光强度随时间变化的观测数据；

根据所述观测数据拟合得到目标ICG曲线，并根据所述目标ICG曲线计算得到荧光强度因子和灌注时间因子；

将所述荧光强度因子、所述灌注时间因子以及所述目标ICG曲线的曲线参数输入到训练好的XGBoost机器学习模型，以预测得到所述目标结直肠区域的评分结果。

2.根据权利要求1所述的结直肠手术中结肠灌注的定量评估方法，其特征在于，所述对所述初始视频帧序列进行视频去抖，并将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐，得到目标视频帧序列，包括：

使用卢卡斯-卡纳德光流算法对所述初始视频帧序列进行视频去抖，并使用增强相关系数最大化算法将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐。

3.根据权利要求2所述的结直肠手术中结肠灌注的定量评估方法，其特征在于，所述使用卢卡斯-卡纳德光流算法对所述初始视频帧序列进行视频去抖，包括：

遍历所述初始视频帧序列，使用卢卡斯-卡纳德光流算法采集追踪每帧图像中的特征点，并根据所述特征点计算每连续两帧图像之间的刚性变换；

根据所述刚性变换计算各帧图像的原始轨迹，并使用移动平均线过滤器对所述原始轨迹进行平滑，得到各帧图像的平滑轨迹；

计算所述平滑轨迹与所述原始轨迹之间的轨迹差异，并根据所述轨迹差异及所述刚性变换计算得到每连续两帧图像之间的平滑变换；

将所述平滑变换应用于对应的各帧图像。

4.根据权利要求2所述的结直肠手术中结肠灌注的定量评估方法，其特征在于，所述使用增强相关系数最大化算法将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐，包括：

将所述初始视频帧序列的各帧图像转换为灰度图像；

针对每个所述其余帧，使用增强相关系数最大化算法估计所述其余帧与所述第一帧之间的预设运动模型的扭曲矩阵，并使用所述扭曲矩阵进行配准对齐。

5.根据权利要求1所述的结直肠手术中结肠灌注的定量评估方法，其特征在于，所述按照帧顺序通过HSV色彩空间转换对所述目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取，得到ICG荧光强度随时间变化的观测数据，包括：

将所述预设感兴趣区域内的平均ICG亮度作为所述观测数据。

6.根据权利要求1所述的结直肠手术中结肠灌注的定量评估方法，其特征在于，所述根据所述观测数据拟合得到目标ICG曲线，包括：

根据预设ICG动力学模型及所述观测数据，使用经RANSAC算法改进的非线性最小二乘法对所述目标ICG曲线进行拟合。

7.根据权利要求6所述的结直肠手术中结肠灌注的定量评估方法，其特征在于，所述根据预设ICG动力学模型及所述观测数据，使用经RANSAC算法改进的非线性最小二乘法对所述目标ICG曲线进行拟合，包括：

在所述观测数据中多次随机选择预设数量的点作为内群点；

针对每次选择得到的所述内群点，根据所述内群点使用所述非线性最小二乘法拟合得到待选ICG曲线，然后将所述观测数据传入所述待选ICG曲线中，并计算所述观测数据中的内群数量；

将所述内群数量最大的所述待选ICG曲线选为所述目标ICG曲线。

8.一种结直肠手术中结肠灌注的定量评估装置，其特征在于，包括：

初始视频帧序列获取模块，用于获取目标结直肠区域的初始视频帧序列；

目标视频帧序列获取模块，用于对所述初始视频帧序列进行视频去抖，并将所述初始视频帧序列除第一帧外的其余帧与所述第一帧进行配准对齐，得到目标视频帧序列；

观测数据提取模块，用于按照帧顺序通过HSV色彩空间转换对所述目标视频帧序列的各帧图像中的预设感兴趣区域进行ICG荧光颜色提取，得到ICG荧光强度随时间变化的观测数据；

ICG曲线拟合模块，用于根据所述观测数据拟合得到目标ICG曲线，并根据所述目标ICG曲线计算得到荧光强度因子和灌注时间因子；

评分结果预测模块，用于将所述荧光强度因子、所述灌注时间因子以及所述目标ICG曲线的曲线参数输入到训练好的XGBoost机器学习模型，以预测得到所述目标结直肠区域的评分结果。

9.一种计算机设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的结直肠手术中结肠灌注的定量评估方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的结直肠手术中结肠灌注的定量评估方法。

Images