[go: up one dir, main page]

CN116363199A - 支气管镜定位方法及装置 - Google Patents

支气管镜定位方法及装置 Download PDF

Info

Publication number
CN116363199A
CN116363199A CN202310101476.3A CN202310101476A CN116363199A CN 116363199 A CN116363199 A CN 116363199A CN 202310101476 A CN202310101476 A CN 202310101476A CN 116363199 A CN116363199 A CN 116363199A
Authority
CN
China
Prior art keywords
image
bronchoscope
descriptor
virtual
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310101476.3A
Other languages
English (en)
Inventor
艾丹妮
臧刘庚
杨健
范敬凡
宋红
肖德强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202310101476.3A priority Critical patent/CN116363199A/zh
Publication of CN116363199A publication Critical patent/CN116363199A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Otolaryngology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

支气管镜定位方法及装置，能够避免纹理变化的影响，不需要手动初始化的定位，在定位中断后可以自动恢复定位。包括：(1)通过增减欧拉角控制相机运动方向的虚拟相机，设置跟随虚拟支气管镜运动的锥形光源，光源的光谱和照射范围根据真实条件调节，用真实内窥镜图形制作纹理贴图；(2)虚拟内窥镜以30fps记录彩色图像及对应深度图和支气管镜位姿；用虚拟支气管镜从重建3D模型中获取相对应彩色图像、深度图像和位姿数据，将得到数据划分到对应子区域中生成虚拟图像集；(3)使用正反例对比方式训练图像描述符提取网络，通过描述符检索实现支气管镜的子区域定位；(4)利用生成网络估计图像的深度信息，基于深度信息获取支气管镜的位姿。

Description

支气管镜定位方法及装置
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种支气管镜定位方法，以及支气管镜定位装置。
背景技术
肺癌是发病率和死亡率最高的癌症之一，在诊疗过程中，医生会先根据CT图像判断肿瘤位置，并控制支气管镜到达病灶进行检查。然而支气管具有复杂的结构且支气管镜图像与CT图像之间并没有直观的联系，这使得医生在将支气管镜送达病灶位置时面临很大的挑战，也会导致检查时遗漏病灶。利用支气管的CT图像构建支气管的3D模型，并利用定位算法确定支气管位置，在诊疗中将当前内窥镜位置实时的显示在3D模型中，能够向医生直观地呈现支气管镜的位置，摆脱人工定位的困难。
支气管镜的定位方法可分为基于电磁传感器和基于图像的两类。基于电磁传感器的定位方法是在支气管镜末端集成电磁传感器，通过计算传感器在人工电磁场中的位置进行定位。这类定位方法有以下缺陷:(a)对呼吸、心跳等运动敏感；(b)导体或铁磁性材料靠近时，会干扰人工电磁场；(c)向细小的支气管镜末端集成电磁传感器有困难。
基于图像的定位方法在定位时仅使用支气管镜图像，不受外界环境限制也不需要改装支气管镜。在研究中,常使用帧间运动估计算法通过计算支气管镜的运动轨迹进行定位，但这类方法需要手动初始化支气管镜位姿，且定位过程中存在累积误差。Jung等人从CT图像重建出支气管的网格模型，用虚拟支气管镜获取虚拟图像，在术中利用边缘特征查找与输入图像最为相似的虚拟图像，根据该虚拟图像的位置估计的支气管窥镜大致位置，Merritt等人利用图像的梯度特征进行查找，但支气管镜图像纹理弱、光照不稳定导致效果并不理想。深度学习能够融合多样的信息，在内窥镜定位任务中也得到了越来越广泛的应用。Zhao等人利用神经网络通过将图像直接映射到位姿的方式进行支气管镜定位，但即使场景有细微变化也需要重新训练模型。Hong等人使用神经网络估计图像的深度图，依据深度信息进行定位，但腔道中存在多处深度图相似度区域，在深度估计并不十分准确的情况下其性能受到限制。Song等人利用孪生网络直接生成图像的描述符，并对腔道划分子区域，先根据真实图像和虚拟图像的描述符是相似度进行子区域定位，再利用3D-2D对应点的约束关系确定准确位姿，定位效果有了明显提升，但虚拟图像与真实图像纹理不同，难以找到对应点。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种支气管镜定位方法，其能够避免纹理变化的影响，实现不需要手动初始化的定位，在定位中断后也可以自动恢复定位。
本发明的技术方案是：这种支气管镜定位方法，其包括以下步骤：
(1)通过增减欧拉角控制相机运动方向的虚拟相机，虚拟相机的内参设定为与实际使用的支气管镜内参一致，为了模拟真实环境下的光照条件，设置跟随虚拟支气管镜运动的锥形光源，光源的光谱和照射范围根据真实条件进行调节，并利用真实内窥镜图形制作纹理贴图；
(2)虚拟内窥镜以30fps的速度记录彩色图像及其对应的深度图和支气管镜位姿；在虚拟图像采集阶段，利用虚拟支气管镜从重建的3D模型中获取相对应的彩色图像、深度图像和位姿数据，并将得到的数据划分到对应的子区域中生成虚拟图像集；
(3)使用正反例对比的方式训练图像描述符提取网络，通过描述符检索实现支气管镜的子区域定位；
(4)利用生成网络估计图像的深度信息，基于深度信息获取支气管镜的位姿。
本发明使用正反例对比学习训练用于子区域定位的描述符提取网络，并在训练过程中引入孔洞信息先验知识引导网络依据分支结构进行判断减少纹理变化的影响，在确定子区域后通过深度信息预测支气管镜位姿，实现了不需要手动初始化的定位，在定位中断后也可以自动恢复定位。
还提供了支气管镜定位装置，其包括：
虚拟相机模块，其配置为通过增减欧拉角控制相机运动方向的虚拟相机，虚拟相机的内参设定为与实际使用的支气管镜内参一致，为了模拟真实环境下的光照条件，设置跟随虚拟支气管镜运动的锥形光源，光源的光谱和照射范围根据真实条件进行调节，并利用真实内窥镜图形制作纹理贴图；
数据获取模块，其配置为虚拟内窥镜以30fps的速度记录彩色图像及其对应的深度图和支气管镜位姿；在虚拟图像采集阶段，利用虚拟支气管镜从重建的3D模型中获取相对应的彩色图像、深度图像和位姿数据，并将得到的数据划分到对应的子区域中生成虚拟图像集；
描述符模块，其配置为使用正反例对比的方式训练图像描述符提取网络，通过描述符检索实现支气管镜的子区域定位；
深度信息模块，其配置为利用生成网络估计图像的深度信息，基于深度信息获取支气管镜的位姿。
附图说明
图1是根据本发明的支气管镜定位方法的流程示意图。
具体实施方式
如图1所示，这种支气管镜定位方法，其包括以下步骤：
(1)通过增减欧拉角控制相机运动方向的虚拟相机，虚拟相机的内参设定为与实际使用的支气管镜内参一致，为了模拟真实环境下的光照条件，设置跟随虚拟支气管镜运动的锥形光源，光源的光谱和照射范围根据真实条件进行调节，并利用真实内窥镜图形制作纹理贴图；
(2)虚拟内窥镜以30fps的速度记录彩色图像及其对应的深度图和支气管镜位姿；在虚拟图像采集阶段，利用虚拟支气管镜从重建的3D模型中获取相对应的彩色图像、深度图像和位姿数据，并将得到的数据划分到对应的子区域中生成虚拟图像集；
(3)使用正反例对比的方式训练图像描述符提取网络，通过描述符检索实现支气管镜的子区域定位；
(4)利用生成网络估计图像的深度信息，基于深度信息获取支气管镜的位姿。
本发明使用正反例对比学习训练用于子区域定位的描述符提取网络，并在训练过程中引入孔洞信息先验知识引导网络依据分支结构进行判断减少纹理变化的影响，在确定子区域后通过深度信息预测支气管镜位姿，实现了不需要手动初始化的定位，在定位中断后也可以自动恢复定位。
优选地，所述步骤(1)之前，使用阈值分割从CT图像中重建支气管的3D网格模型，并根据支气管的分枝结构将支气管划分为不同的子区域；将长度小于1cm的分支每一个都作为一个单独子区域，对于长度达到2cm以上的支气管，将其划分为前后两个子区域，定位在靠近更小分支的一段进行。
优选地，所述步骤(2)中，从虚拟图像集中挑选包含清晰孔洞信息的图像作为关键帧数据集，另外使用虚拟支气管镜系统生成用于精确定位的位姿优化数据集；位姿优化数据集的采样方法是在靠近子区域末端的位置，在间隔1mm的截面内生成半径以1.5mm依次增加的环形区域，在每个环形区域中，随机生成均匀分布的与中心线方向夹角为0～10°的8×n张图像，其中n表示第n个环形区域；如果半径小于1.5mm，则只采用中心线上的点作为参考位置。
优选地，所述步骤(3)中，将用于生成描述符的网络称为FDNet，FDNet的输入为一张3通道的彩色图像，输出包括一张单通道的灰度图像和一个图像的描述符，在训练前先用相对总差异去纹理算法去除可能产生干扰的图像细节再使用自适应阈值分割出孔洞区域作为孔洞信息图，孔洞信息图能够反应支气管的分支结构，通过优化输出的灰度图使其接近预先提取的图像孔洞信息图，向将孔洞信息作为先验知识引入到网络中；基于正反例对比学习的训练，每次训练时，先使用FDNet分别提取基准图像、正例图像和反例图像的描述符，同时通过交叉熵损失函数向网络中引入孔洞信息先验知识，FDNet结构图中的蓝色块为由4组ResNet-v2块构成的编码层，黄色块为4组卷积层构成的解码层输出为单通道的信息图，绿色块为全连接编码层输出为1×128维的描述符；其中引入孔洞信息先验知识的所使用的损失函数为交叉熵损失：
Figure BDA0004073224980000051
其中，y代表图像孔洞信息图，y′代表网络输出的信息图，y和y′中值的取值范围为0-1。
优选地，所述步骤(3)中，在训练过程中为了损失函数能够感知到正例与反例之间的区别，使用Triplet Loss作为网络的损失函数，定义如下:
Figure BDA0004073224980000061
其中，
Figure BDA0004073224980000062
代表基准图像描述符，/>
Figure BDA0004073224980000063
代表正样的描述符和，/>
Figure BDA0004073224980000064
代表负样本的描述符；α为一个超参数，代表调节/>
Figure BDA0004073224980000065
和/>
Figure BDA0004073224980000066
之间的最小距离，本文将α设置为1；对于使用FDNet提取到的基准图像描述符,正样本描述符，负样本描述符，通过TripletLoss缩小标签的基准图像描述符与正样本描述符之间的欧氏距离，并增大基准图像描述符与负样本描述符之间的欧氏距离，直到基准图像描述符与正样本描述符的距离小于与负样本描述符的距离且两个距离之差不小于设定的超参数α，之后判断两张图像是否在同一个子区域的标准就是两张图像的描述符之间的欧氏距离是否小于α。
优选地，所述步骤(4)中，利用深度估计网络得到真实图像的深度图，深度估计网络的输入为3通道的彩色支气管镜图像，输出为代表图像深度的单通道灰度图，网络结构包含编码器与解码器两部分，解码器由一个卷积层和4组ResNet-v2块和池化层组成，解码器由3组卷积层和上采样层组成，编码器中每一个ResNet-v2块中的最后一个卷积层与解码器中对应的卷积层进行拼接。
优选地，所述步骤(4)中，以深度图金标准与网络预测结果之间对应像素的l1损失，来衡量预测结果与标签的亮度差异，以结构相似性损失SSIM衡量预测结果与标签间的结构差异，总损失函数如下：
Figure BDA0004073224980000067
其中，
Figure BDA0004073224980000068
为深度图金标准，/>
Figure BDA0004073224980000069
网络预测结果，γ是平衡结构损失与亮度损失的参数，本文设置为0.85，SSIM是通过两张图像间的协方差来度量其结构的相似程度，其定义如下：
Figure BDA0004073224980000071
其中，A,B代表输入的图像，μA和μB分别代表图像A和B的像素均值，σA和σA代表图像A和B的方差，σAB代表图像A和B的协方差。
优选地，所述步骤(4)中，为提高处理速度，对图像进行间距为4的降采样后再进行深度估计；得到深度图后，以图像中心为圆心将深度图等分为8个扇形，每个扇形按像素到图像中心的距离等分为内、中、外3部分，得到24个区域，从平均灰度值最大的区域开始，从外到内按顺时针的顺序进行差值哈希计算得到一个24维的向量，并统计深度图内、中、外三部分的8位灰度直方图，将统计值归一化到0-2之间得到3个8维的向量，将得到的2个特征向量组合成48维向量作为深度描述符。
优选地，该方法在支气管镜检查前，计算每一个子区域中优化数据集的深度描述符，生成优化描述符集；支气管镜检查时，首先计算当前输入的图像的深度描述符，从优化描述符集中检索最相似的描述符，将其对应图像的位姿作为当前的支气管镜位姿；由于图像是圆对称的，将图像中心与外环中最平均深度最大的子区域的连线方向作为主方向，将支气管镜位姿绕主光轴旋转，使输入图像的主方向与对应虚拟图像的主方向重合，得到最终的定位结果。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种支气管镜定位装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
虚拟相机模块，其配置为通过增减欧拉角控制相机运动方向的虚拟相机，虚拟相机的内参设定为与实际使用的支气管镜内参一致，为了模拟真实环境下的光照条件，设置跟随虚拟支气管镜运动的锥形光源，光源的光谱和照射范围根据真实条件进行调节，并利用真实内窥镜图形制作纹理贴图；
数据获取模块，其配置为虚拟内窥镜以30fps的速度记录彩色图像及其对应的深度图和支气管镜位姿；在虚拟图像采集阶段，利用虚拟支气管镜从重建的3D模型中获取相对应的彩色图像、深度图像和位姿数据，并将得到的数据划分到对应的子区域中生成虚拟图像集；
描述符模块，其配置为使用正反例对比的方式训练图像描述符提取网络，通过描述符检索实现支气管镜的子区域定位；
深度信息模块，其配置为利用生成网络估计图像的深度信息，基于深度信息获取支气管镜的位姿。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (10)

1.支气管镜定位方法，其特征在于：其包括以下步骤：
(1)通过增减欧拉角控制相机运动方向的虚拟相机，虚拟相机的内参设定为与实际使用的支气管镜内参一致，为了模拟真实环境下的光照条件，设置跟随虚拟支气管镜运动的锥形光源，光源的光谱和照射范围根据真实条件进行调节，并利用真实内窥镜图形制作纹理贴图；
(2)虚拟内窥镜以30fps的速度记录彩色图像及其对应的深度图和支气管镜位姿；在虚拟图像采集阶段，利用虚拟支气管镜从重建的3D模型中获取相对应的彩色图像、深度图像和位姿数据，并将得到的数据划分到对应的子区域中生成虚拟图像集；
(3)使用正反例对比的方式训练图像描述符提取网络，通过描述符检索实现支气管镜的子区域定位；
(4)利用生成网络估计图像的深度信息，基于深度信息获取支气管镜的位姿。
2.根据权利要求1所述的支气管镜定位方法，其特征在于：所述步骤(1)之前，使用阈值分割从CT图像中重建支气管的3D网格模型，并根据支气管的分支结构将支气管划分为不同的子区域；将长度小于1cm的分支每一个都作为一个单独子区域，对于长度达到2cm以上的支气管，将其划分为前后两个子区域，定位在靠近更小分支的一段进行。
3.根据权利要求2所述的支气管镜定位方法，其特征在于：所述步骤(2)中，从虚拟图像集中挑选包含清晰孔洞信息的图像作为关键帧数据集，另外使用虚拟支气管镜系统生成用于精确定位的位姿优化数据集；位姿优化数据集的采样方法是在靠近子区域末端的位置，在间隔1mm的截面内生成半径以1.5mm依次增加的环形区域，在每个环形区域中，随机生成均匀分布的与中心线方向夹角为0～10°的8×n张图像，其中n表示第n个环形区域；如果半径小于1.5mm，则只采用中心线上的点作为参考位置。
4.根据权利要求3所述的支气管镜定位方法，其特征在于：所述步骤(3)中，将用于生成描述符的网络称为FDNet，FDNet的输入为一张3通道的彩色图像，输出包括一张单通道的灰度图像和一个图像的描述符，在训练前先用相对总差异去纹理算法去除可能产生干扰的图像细节再使用自适应阈值分割出孔洞区域作为孔洞信息图，孔洞信息图能够反应支气管的分支结构，通过优化输出的灰度图使其接近预先提取的图像孔洞信息图，向将孔洞信息作为先验知识引入到网络中；基于正反例对比学习的训练，每次训练时，先使用FDNet分别提取基准图像、正例图像和反例图像的描述符，同时通过交叉熵损失函数向网络中引入孔洞信息先验知识，FDNet结构图中的蓝色块为由4组ResNet-v2块构成的编码层，黄色块为4组卷积层构成的解码层输出为单通道的信息图，绿色块为全连接编码层输出为1×128维的描述符；其中引入孔洞信息先验知识的所使用的损失函数为交叉熵损失：
Figure FDA0004073224970000022
其中，y代表图像孔洞信息图，y′代表网络输出的信息图，y和y′中值的取值范围为0-1。
5.根据权利要求4所述的支气管镜定位方法，其特征在于：所述步骤(3)中，在训练过程中为了损失函数能够感知到正例与反例之间的区别，使用Triplet Loss作为网络的损失函数，定义如下:
Figure FDA0004073224970000021
其中，yi,
Figure FDA0004073224970000031
代表基准图像描述符，/>
Figure FDA0004073224970000032
代表正样的描述符和，/>
Figure FDA0004073224970000033
代表负样本的描述符；α为一个超参数，代表调节/>
Figure FDA0004073224970000034
和/>
Figure FDA0004073224970000035
之间的最小距离，本文将α设置为1；对于使用FDNet提取到的基准图像描述符,正样本描述符，负样本描述符，通过TripletLoss缩小标签的基准图像描述符与正样本描述符之间的欧氏距离，并增大基准图像描述符与负样本描述符之间的欧氏距离，直到基准图像描述符与正样本描述符的距离小于与负样本描述符的距离且两个距离之差不小于设定的超参数α，之后判断两张图像是否在同一个子区域的标准就是两张图像的描述符之间的欧氏距离是否小于α。
6.根据权利要求5所述的支气管镜定位方法，其特征在于：所述步骤(4)中，利用深度估计网络得到真实图像的深度图，深度估计网络的输入为3通道的彩色支气管镜图像，输出为代表图像深度的单通道灰度图，网络结构包含编码器与解码器两部分，解码器由一个卷积层和4组ResNet-v2块和池化层组成，解码器由3组卷积层和上采样层组成，编码器中每一个ResNet-v2块中的最后一个卷积层与解码器中对应的卷积层进行拼接。
7.根据权利要求6所述的支气管镜定位方法，其特征在于：所述步骤(4)中，以深度图金标准与网络预测结果之间对应像素的l1损失，来衡量预测结果与标签的亮度差异，以结构相似性损失SSIM衡量预测结果与标签间的结构差异，总损失函数如下：
Figure FDA0004073224970000036
其中，
Figure FDA0004073224970000037
为深度图金标准，/>
Figure FDA0004073224970000038
网络预测结果，γ是平衡结构损失与亮度损失的参数，本文设置为0.85，SSIM是通过两张图像间的协方差来度量其结构的相似程度，其定义如下：
Figure FDA0004073224970000041
其中，A,B代表输入的图像，μA和μB分别代表图像A和B的像素均值，σA和σA代表图像A和B的方差，σAB代表图像A和B的协方差。
8.根据权利要求7所述的支气管镜定位方法，其特征在于：所述步骤(4)中，为提高处理速度，对图像进行间距为4的降采样后再进行深度估计；得到深度图后，以图像中心为圆心将深度图等分为8个扇形，每个扇形按像素到图像中心的距离等分为内、中、外3部分，得到24个区域，从平均灰度值最大的区域开始，从外到内按顺时针的顺序进行差值哈希计算得到一个24维的向量，并统计深度图内、中、外三部分的8位灰度直方图，将统计值归一化到0-2之间得到3个8维的向量，将得到的2个特征向量组合成48维向量作为深度描述符。
9.根据权利要求8所述的支气管镜定位方法，其特征在于：该方法在支气管镜检查前，计算每一个子区域中优化数据集的深度描述符，生成优化描述符集；支气管镜检查时，首先计算当前输入的图像的深度描述符，从优化描述符集中检索最相似的描述符，将其对应图像的位姿作为当前的支气管镜位姿；由于图像是圆对称的，将图像中心与外环中最平均深度最大的子区域的连线方向作为主方向，将支气管镜位姿绕主光轴旋转，使输入图像的主方向与对应虚拟图像的主方向重合，得到最终的定位结果。
10.根据权利要求1所述的支气管镜定位方法的装置，其特征在于：其包括：
虚拟相机模块，其配置为通过增减欧拉角控制相机运动方向的虚拟相机，虚拟相机的内参设定为与实际使用的支气管镜内参一致，为了模拟真实环境下的光照条件，设置跟随虚拟支气管镜运动的锥形光源，光源的光谱和照射范围根据真实条件进行调节，并利用真实内窥镜图形制作纹理贴图；
数据获取模块，其配置为虚拟内窥镜以30fps的速度记录彩色图像及其对应的深度图和支气管镜位姿；在虚拟图像采集阶段，利用虚拟支气管镜从重建的3D模型中获取相对应的彩色图像、深度图像和位姿数据，并将得到的数据划分到对应的子区域中生成虚拟图像集；
描述符模块，其配置为使用正反例对比的方式训练图像描述符提取网络，通过描述符检索实现支气管镜的子区域定位；
深度信息模块，其配置为利用生成网络估计图像的深度信息，基于深度信息获取支气管镜的位姿。
CN202310101476.3A 2023-01-28 2023-01-28 支气管镜定位方法及装置 Pending CN116363199A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310101476.3A CN116363199A (zh) 2023-01-28 2023-01-28 支气管镜定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310101476.3A CN116363199A (zh) 2023-01-28 2023-01-28 支气管镜定位方法及装置

Publications (1)

Publication Number Publication Date
CN116363199A true CN116363199A (zh) 2023-06-30

Family

ID=86930867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310101476.3A Pending CN116363199A (zh) 2023-01-28 2023-01-28 支气管镜定位方法及装置

Country Status (1)

Country Link
CN (1) CN116363199A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117204796A (zh) * 2023-11-09 2023-12-12 哈尔滨海鸿基业科技发展有限公司 一种腹腔内窥镜多光谱成像方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090156895A1 (en) * 2007-01-31 2009-06-18 The Penn State Research Foundation Precise endoscopic planning and visualization
US20120203067A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Method and device for determining the location of an endoscope
CN110831537A (zh) * 2017-06-23 2020-02-21 奥瑞斯健康公司 用于确定医疗装置在内腔网络中的姿势的机器人系统
CN111481292A (zh) * 2014-01-06 2020-08-04 博迪维仁医疗有限公司 手术装置及其使用方法
US20220361736A1 (en) * 2019-12-19 2022-11-17 Noah Medical Corporation Systems and methods for robotic bronchoscopy navigation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090156895A1 (en) * 2007-01-31 2009-06-18 The Penn State Research Foundation Precise endoscopic planning and visualization
US20120203067A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Method and device for determining the location of an endoscope
CN111481292A (zh) * 2014-01-06 2020-08-04 博迪维仁医疗有限公司 手术装置及其使用方法
CN110831537A (zh) * 2017-06-23 2020-02-21 奥瑞斯健康公司 用于确定医疗装置在内腔网络中的姿势的机器人系统
US20220361736A1 (en) * 2019-12-19 2022-11-17 Noah Medical Corporation Systems and methods for robotic bronchoscopy navigation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANBO LI ECT.: "3D Virtual Bronchoscopy Navigation System", 《2013 SEVENTH INTERNATIONAL CONFERENCE ON INTERNET COMPUTING FOR ENGINEERING AND SCIENCE》, 12 December 2013 (2013-12-12) *
于红, 李惠民, 肖湘生, 李成洲, 刘士远, 陶晓峰, 张沉石, 金莉卿: "多层CT仿真支气管镜成像参数的优化", 中华放射学杂志, no. 06, 10 June 2003 (2003-06-10) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117204796A (zh) * 2023-11-09 2023-12-12 哈尔滨海鸿基业科技发展有限公司 一种腹腔内窥镜多光谱成像方法及装置
CN117204796B (zh) * 2023-11-09 2024-02-13 哈尔滨海鸿基业科技发展有限公司 一种腹腔内窥镜多光谱成像方法及装置

Similar Documents

Publication Publication Date Title
EP3876190B1 (en) Endoscopic image processing method and system and computer device
JP7751677B2 (ja) 医療画像装置からのリアルタイムビデオを処理し、且つ、ビデオ内の物体を検出するシステム及び方法
CN113496489B (zh) 内窥镜图像分类模型的训练方法、图像分类方法和装置
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
Visentini-Scarzanella et al. Deep monocular 3D reconstruction for assisted navigation in bronchoscopy
JP7096445B2 (ja) 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置
CN108292366B (zh) 在内窥镜手术中检测可疑组织区域的系统和方法
JP2024075635A (ja) 敵対的生成ネットワークをトレーニングするシステム及び方法、並びに、トレーニング済みの敵対的生成ネットワークの使用
CN110110808B (zh) 一种对图像进行目标标注的方法、装置及计算机记录介质
WO2020087960A1 (zh) 一种影像识别的方法、装置、终端设备和医疗系统
US9430706B1 (en) System and method for detection of in-vivo pathology sequences
KR20240075911A (ko) 내시경 시술에 대한 검사 품질을 분석하기 위한 컴퓨터-구현 시스템들 및 방법들
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
WO2024098240A1 (zh) 一种消化内镜视觉重建导航系统及方法
CN113469985A (zh) 内镜图像特征点提取方法
CN116363199A (zh) 支气管镜定位方法及装置
CN116894842B (zh) 肿瘤腹腔种植转移病灶图像处理方法及相关装置
CN114202794A (zh) 一种基于人脸ppg信号的疲劳检测方法和装置
Song et al. A novel endoscope system for position detection and depth estimation of the ureter
CN115830122A (zh) 连续帧内窥镜定位方法及装置
CN119295676B (zh) 胶囊内窥镜腔体内图像的三维重建方法、装置和设备
Lu et al. S2P-Matching: Self-supervised patch-based matching using transformer for capsule endoscopic images stitching
WO2025214308A1 (zh) 消化腔内壁三维模型的重建方法、装置、设备和介质
CN117437575A (zh) 基于强化学习及奖励机制的胃肠镜视频关键帧提取方法及系统
Zang et al. Bronchoscopic localization method guided by prior knowledge of branch structure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination