CN116612411A - 用于手术中血管、淋巴结和神经的识别方法及系统 - Google Patents

Abstract

本发明公开了用于手术中血管、淋巴结和神经的识别方法及系统，涉及计算机技术领域，方法包括S1获取手术视频，标记并建立血管样本数据库、淋巴样本数据库和神经样本数据库；S2构建初始识别模型；S3训练初始识别模型，得到血管识别模型、淋巴识别模型和神经识别模型；S4采集手术视频，识别并勾勒出血管、淋巴和神经的轮廓；S5可视化展示手术视频和轮廓给术者；系统包括采集模块、中央处理器和显示模块；采用人工智能计算机模型实时识别腹腔镜手术视野下的血管、淋巴及神经结构，结合可视化显示功能，为术者提供了切除和规避对应血管、淋巴结及神经的指引，指导术者合理的识别与切除血管和淋巴结，对无需切除的血管和淋巴结规避，辅助手术顺利进行。

Description

用于手术中血管、淋巴结和神经的识别方法及系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于手术中血管、淋巴结和神经的识别方法及系统。

背景技术

手术过程中，由于解剖结构的复杂性和术者的主观因素影响，血管、淋巴结和神经的切除和损伤相对比较常见。不当的损伤或切除失误极有可能导致术后并发症，不利于患者康复，影响患者的生存质量。

发明内容

本发明的目的就在于为了解决上述问题设计了一种用于手术中血管、淋巴结和神经的识别方法及系统。

本发明通过以下技术方案来实现上述目的：

用于手术中血管、淋巴结和神经的识别方法，包括：

S1、获取多种术式的手术视频，并标记手术阶段以及视野下的血管、淋巴和神经，建立血管样本数据库、淋巴样本数据库和神经样本数据库；

S2、构建三个初始识别模型，每个初始识别模型为包括FPN神经网络和多特征提取神经网络，FPN神经网络为自底向上、自顶向下和横向连接的网络结构，多特征提取神经网络包括四层池化注意力层，四层池化注意力层连接形成自底向上的下采样结构，FPN神经网络的自底向上的层数为四层，一层池化注意力层与一层自底向上的下采样层对应，上一池化注意力层与上一下采样层的输出均作为下一下采样层的输入；

S3、血管样本数据库导入初始识别模型并对其进行训练优化，得到血管识别模型；淋巴样本数据库导入初始识别模型并对其进行训练优化，得到淋巴识别模型；神经样本数据库导入初始识别模型并对其进行训练优化，得到神经识别模型；

S4、实时采集手术视频，并分别导入血管识别模型、淋巴识别模型和神经识别模型，得到血管识别结果、淋巴识别结果和神经识别结果，并勾勒出血管识别结果、淋巴识别结果和神经识别结果的轮廓；

S5、可视化展示手术视频和轮廓给术者。

用于手术中血管、淋巴结和神经的识别系统，包括：

用于实时采集手术视频的采集模块；

中央处理器；中央处理器用于分析手术视频识别血管、淋巴和神经，并将得到血管识别结果、淋巴识别结果和神经识别结果标注在手术视频中；

显示模块；显示模块用于显示标注后的手术视频给术者。

本发明的有益效果在于：采用人工智能计算机模型实时识别腹腔镜手术视野下的血管、淋巴及神经结构，同时结合可视化显示功能，为术者提供了切除和规避对应血管、淋巴结及神经的指引，从而指导术者合理的识别与切除血管和淋巴结等结构，以及对无需切除的血管和淋巴结的规避，辅助手术顺利进行。

附图说明

图1是本发明用于手术中血管、淋巴结和神经的识别方法的流程示意图；

图2是本发明中识别模型的结构示意图；

图3是本发明中多特征提取神经网络的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面结合附图，对本发明的具体实施方式进行详细说明。

如图1、图2、图3所示，用于手术中血管、淋巴结和神经的识别方法，包括：

S1、获取多种术式的手术视频，并标记手术阶段以及视野下的血管、淋巴和神经，建立血管样本数据库、淋巴样本数据库和神经样本数据库；

S2、构建三个初始识别模型，每个初始识别模型为包括FPN神经网络和多特征提取神经网络，FPN神经网络为自底向上、自顶向下和横向连接的网络结构，多特征提取神经网络包括四层池化注意力层，四层池化注意力层连接形成自底向上的下采样结构，FPN神经网络的自底向上的层数为四层，一层池化注意力层与一层自底向上的下采样层对应，上一池化注意力层与上一下采样层的输出均作为下一下采样层的输入；

S3、血管样本数据库导入初始识别模型并对其进行训练优化，得到血管识别模型；淋巴样本数据库导入初始识别模型并对其进行训练优化，得到淋巴识别模型；神经样本数据库导入初始识别模型并对其进行训练优化，得到神经识别模型；

S4、实时采集手术视频，并分别导入血管识别模型、淋巴识别模型和神经识别模型，得到血管识别结果、淋巴识别结果和神经识别结果，并勾勒出血管识别结果、淋巴识别结果和神经识别结果的轮廓；

S5、可视化展示手术视频和轮廓给术者。

每层池化注意力层均池化层和第一自注意力层，池化层的输出作为第一自注意力层的输入，第一自注意力层通过局部聚集对手术图像进行下采样并计算全局自我注意力。

多特征提取神经网络还包括四层第二自注意力层，第二自注意力层通过将输入划分为非重叠窗口以及计算每个窗口内的局部自我注意力，第二自注意力层的输出作为FPN神经网络的输入。

多特征提取神经网络还包括三层混合窗口层，一层混合窗口层用于计算一个窗口内的局部关注度，除混合窗口层的最后一个块之外，混合窗口层的输出作为FPN神经网络的输入。

池化注意力层对于任意输入序列，对其进行线性投影，会得到Q、K、V三个张量，表示为；分别对三个张量依次进行池化处理和注意力计算，并将相对位置的信息纳入到了注意力计算中，注意力计算表示为，将元素和之间的距离计算沿时空轴分解表示为，其中h和w分别代表垂直和水平方向。

用于手术中血管、淋巴结和神经的识别系统，包括：

用于实时采集手术视频的采集模块；

中央处理器；中央处理器用于分析手术视频识别血管、淋巴和神经，并将得到血管识别结果、淋巴识别结果和神经识别结果标注在手术视频中；

显示模块；显示模块用于显示标注后的手术视频给术者。

本发明用于手术中血管、淋巴结和神经的识别方法及系统的工作原理如下：

一般动静脉血管的直径不超过3厘米，淋巴结的直径通常在0.5-2厘米，神经的宽度不超过1厘米。这三类需要识别检测的目标都属于较小个体，通常在腔镜镜头中的像素面积不超过32x32像素，本身的亦是信息不足，所包含的判别性信息不够，除此之外，还存在数据集的不平衡，参照框难以匹配的问题。

为了较好地解决这些问题，FPN神经网络引入了一种自底向上、自顶向下的网络结构，通过将相邻层的特征融合以达到特征增强的目的，对于像素点不够多，特征不够丰富的目标有较好的效果。创建了强大的基线，沿着2个轴提高集中注意力，使用分解的位置距离将位置信息注入池化注意力层，通过池化残差连接来补偿池化步长在注意力计算中的影响，结合FPN神经网络用于目标检测和实例分割。

该算法的关键思想是通过扩展通道宽度，同时降低分辨率来实现高维度和低维度的视觉建模不同阶段的构建，而不是单尺度块。因为需要通过上下采样来对不同尺度的特征进行提取和融合，该算法提出了池化注意力，如图3所示。对于任意输入序列，对其进行线性投影，会得到Q（query），K（key），V（value）三个张量：，

Q表示查询向量，K表示被查询信息与其他信息的相关性的向量，V表示被查询信息的向量，W为线性投影的矩阵，X为自注意力权重，P为池化算子。

Q,K,V再经过池化处理，主要是为了缩短K,V序列的长度，然后在池化后的基础上进行注意力的计算：，

其中K^T为矩阵K的转置，D为多头池化自注意力处理的向量维度。

多特征提取神经网络的第一自注意力层可以在每个步骤都进行池化，这样可以大大地减少Q-K-V计算时的内存成本和计算量，这样本系统进行识别所要求的硬件条件和算力条件都会大大降低，使更多医疗机构能够低成本地运行。

因为通过绝对位置编码只能提供位置信息却忽略特征的平移不变性。因此绝对位置发生变化那么他们之间的依赖关系就会发生变化，虽然这两个区域的相对位置并没有发生变化。为了解决这个问题，该模型将相对位置的信息纳入到了池化注意力层的自我关注计算中，其仅取决于K的相对位置距离：，其中，

其中i表示时间维度上第i个令牌token，j表示空间维度上第j个令牌token，R为相对位置编码，d为R的取值范围绝对值，P表示元素i和j的时空位置。

为了简化运算，降低复杂度，该算法将元素和之间的距离计算沿时空轴分解为：，

其中h和w分别代表垂直和水平方向，因为本项目采用手术单帧图片而非手术视频，t为时间维度，所以t维度为0，即。

在经过上述改进之后，多特征提取神经网络的结构能够融入到FPN神经网络中。从结构上来说，多特征提取神经网络在四个阶段中生成多尺度特征图，因此自然而然地集成到用于对象检测任务的FPN神经网络中，FPN神经网络中具有横向连接的自上而下金字塔在所有尺度上构造了多特征提取神经网络的语义强大的特征图，如图2所示。

除了池化注意力层之外，该算法还提出了第二自注意力层用来显著降低计算和内存复杂度。池化注意力层的特征是通过局部聚集对其进行下采样，但保持全局自我注意力计算，而第二自注意力层保持张量的分辨率，但通过将输入划分为非重叠窗口，然后仅计算每个窗口内的局部自我注意力，从而在本地执行自我注意力。这两种方法的内在差异促使它们是否能够执行互补的目标检测任务。同时提出了混合窗口层来添加跨窗口连接。混合窗口层计算一个窗口内的局部关注度，但最后三个阶段的最后一个块除外，这些块全部输入FPN神经网络，这样能够映射包含全局信息。

两种注意力机制使得血管识别模型、淋巴识别模型和神经识别模型能够精准地找出各个尺度的目标，无论手术过程中腔镜如何移动，只要其特征显露在镜头下就能被精准识别，同时也不需要太大的计算量，该模型的每秒浮点运算次数FLOPs仅为42.1G，计算机函数Params仅为56M，使得该系统能够在手术过程中实时分割标注，帮助医疗工作者快速找到血管，淋巴结和神经，降低手术风险。

采用人工智能计算机模型实时识别腹腔镜手术视野下的血管、淋巴及神经结构，同时结合可视化显示功能，为术者提供了切除和规避对应血管、淋巴结及神经的指引，从而指导术者合理的识别与切除血管和淋巴结等结构，以及对无需切除的血管和淋巴结的规避，辅助手术顺利进行。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (6)

1.用于手术中血管、淋巴结和神经的识别方法，其特征在于，包括：

S1、获取多种术式的手术视频，并标记手术阶段以及视野下的血管、淋巴和神经，建立血管样本数据库、淋巴样本数据库和神经样本数据库；

S2、构建三个初始识别模型，每个初始识别模型为包括FPN神经网络和多特征提取神经网络，FPN神经网络为自底向上、自顶向下和横向连接的网络结构，多特征提取神经网络包括四层池化注意力层，四层池化注意力层连接形成自底向上的下采样结构，FPN神经网络的自底向上的层数为四层，一层池化注意力层与一层自底向上的下采样层对应，上一池化注意力层与上一下采样层的输出均作为下一下采样层的输入；

S3、血管样本数据库导入初始识别模型并对其进行训练优化，得到血管识别模型；淋巴样本数据库导入初始识别模型并对其进行训练优化，得到淋巴识别模型；神经样本数据库导入初始识别模型并对其进行训练优化，得到神经识别模型；

S4、实时采集手术视频，并分别导入血管识别模型、淋巴识别模型和神经识别模型，得到血管识别结果、淋巴识别结果和神经识别结果，并勾勒出血管识别结果、淋巴识别结果和神经识别结果的轮廓；

S5、可视化展示手术视频和轮廓给术者。

2.根据权利要求1所述的用于手术中血管、淋巴结和神经的识别方法，其特征在于，每层池化注意力层均池化层和第一自注意力层，池化层的输出作为第一自注意力层的输入，第一自注意力层通过局部聚集对手术图像进行下采样并计算全局自我注意力。

3.根据权利要求2所述的用于手术中血管、淋巴结和神经的识别方法，其特征在于，多特征提取神经网络还包括四层第二自注意力层，第二自注意力层通过将输入划分为非重叠窗口以及计算每个窗口内的局部自我注意力，第二自注意力层的输出作为FPN神经网络的输入。

4.根据权利要求3所述的用于手术中血管、淋巴结和神经的识别方法，其特征在于，多特征提取神经网络还包括三层混合窗口层，一层混合窗口层用于计算一个窗口内的局部关注度，除混合窗口层的最后一个块之外，混合窗口层的输出作为FPN神经网络的输入。

5.根据权利要求2所述的用于手术中血管、淋巴结和神经的识别方法，其特征在于，池化注意力层对于任意输入序列，对其进行线性投影，会得到Q、K、V三个张量，表示为，其中，Q表示查询向量，K表示被查询信息与其他信息的相关性的向量，V表示被查询信息的向量，W为线性投影的矩阵，X为自注意力权重，P为池化算子；分别对三个张量依次进行池化处理和注意力计算，并将相对位置的信息纳入到了注意力计算中，注意力计算表示为/>，将元素和之间的距离计算沿时空轴分解表示为/>，其中h和w分别代表垂直和水平方向，/>，其中i表示时间维度上第i个令牌token，j表示空间维度上第j个令牌token，R为相对位置编码，d为R的取值范围绝对值，p表示元素i和j的时空位置，t为时间维度，t维度为0，即/>。

6.用于手术中血管、淋巴结和神经的识别系统，其特征在于，包括：

用于实时采集手术视频的采集模块；

中央处理器；中央处理器用于分析手术视频识别血管、淋巴和神经，并将得到血管识别结果、淋巴识别结果和神经识别结果标注在手术视频中；

显示模块；显示模块用于显示标注后的手术视频给术者。