CN106303279A - 多光谱内窥镜自动曝光成像方法 - Google Patents

Abstract

本发明公开了一种多光谱内窥镜自动曝光成像方法。该方法针对光学手术导航内窥镜系统，结合激发荧光图与白光图等多光谱图像信息，使用多个光谱的荧光图像感兴趣区域进行互相校准，进而对荧光图像进行自动曝光调整。再对经过自动曝光后获得的荧光图像提取校正后的感兴趣区域，并进行融合，获得综合感兴趣区域。再在白光图像上非综合感兴趣区域相对应的位置提取相应的图像参数，进而调整白光图的曝光时间，达到以荧光对象为基础的图像自动曝光处理。该系统适用于内窥镜下狭小空间内，能得到良好的多光谱内窥镜自动曝光成像结果。

Description

多光谱内窥镜自动曝光成像方法

技术领域

本发明属于医学分子影像领域，涉及计算机图像处理，光学图像采集等，尤其是采用了多光谱图像信息为内窥镜自动曝光系统提供图像质量参数，提供了针对内窥镜拍摄对象的自动曝光方法。

背景技术

光学成像技术是近年来新兴的一种分子影像技术，具有高灵敏度，辐射非电离，操作简便等优点，是一种可以在细胞分子水平上实现生物组织内部生物物理过程成像的一种技术。此外，通过在内窥镜上搭载荧光相机与激光器光源等方法，光学成像技术正逐渐运用到临床手术导航等领域中。通过对手术对象注射吲哚菁绿等荧光药剂，并借由内窥镜搭载的激光器对观测部位照射，以及荧光相机捕捉激光照射下观测部位的荧光信息，再加上相机能捕捉到的白光图像信息，内窥镜便可以对白光图像中的病灶部位进行荧光标记，从而有助于手术医生对病灶进行精确切除。而由于内窥镜将为手术医生提供实时的图像信息，因此其对于手术对象内部的光影变化需要进行正确的曝光变化。且由于内窥镜深入手术对象内部，选用适合的，有针对性的自动曝光手段显得尤为重要。

发明内容

(一)要解决的技术问题

本发明的目的是提供一种多光谱内窥镜自动曝光的成像方法，以解决信背比低，荧光图像拍摄的感兴趣区域不合适以及白光图像拍摄的曝光时间不合适的问题。

(二)技术方案

为了实现上述目的，本发明多光谱内窥镜自动曝光成像方法包括以下步骤：

步骤1：给定光圈大小(光圈级数)F和最优图像质量参数V_opt，设定初始荧光感兴趣区域S；

步骤2：在感兴趣区域S下，以曝光时间为T₀拍摄不同光谱波段下荧光图像和白光图像，并分别提取图像质量参数；

步骤3：以曝光时间T₀和光圈级数F可以计算得到当前曝光值EV_pre，并计算目标曝光值T_opt；

步骤4：在新的曝光时间T_opt下再次拍摄各个光谱波段的荧光图，并划分感兴趣区域；对所有感兴趣区域作并集合并，得到综合感兴趣区域S_n；重新计算该感兴趣区域下各个图像质量参数V_n，荧光图V_n总和与V_opt相差较大时，回到步骤2，以S_n作为S₀，T_opt作为T₀再次进行迭代；直至光影变化稳定后，进入步骤5；

步骤5：在白光图像上划分综合感兴趣区域S_n，以初始白光曝光时间Tn₀拍摄白光图；

步骤6：计算曝光值EVn_pre和目标曝光时间Tn_opt；

步骤7：计算当前白光图图像质量参数V_nt，如果由于光影变化问题未能达到V_opt，则返回步骤4；否则一直进行计算对比，直至设备停止工作。

其中，所述步骤2还包括以下步骤：

步骤21：计算第k张荧光图中感兴趣区域S_k与非感兴趣区域的面积A_Sk和计算中心区域权重系数R，计算方法为：

步骤22：计算感兴趣区域的绝对中心力矩值ACM_sk和非感兴趣区域的绝对中心力矩公式如下：

其中分别指感兴趣区域和非感兴趣区域内像素点数量；h_i为像素点的灰度值，和分别指感兴趣区域和非感兴趣区域内像素的平均灰度值，即：

步骤23：计算图像质量参数V，其计算公式为

其中，所述步骤3，其中EV_pre和T_opt的计算等式为：

${\mathrm{EV}}_{pre}={\log }_2\left(\frac{F^2}{T_0}\right)$

EV_opt＝EV_pre+log₂(V_pre)-log₂(V_opt)

$T_{opt}=\frac{F^2}{2^{{\mathrm{EV}}_{opt}}}$

其中，所述步骤5还包括以下步骤：

步骤51：计算白光图中感兴趣区域S_n和非感兴趣区域的的面积A_Sn和计算白光图的中心区域权重系数R_n，且以非荧光区域为侧重点调整曝光时间，计算方法为：

步骤52：计算感兴趣区域的绝对中心力矩值ACM_sn和非感兴趣区域的绝对中心力矩公式如下：

其中分别指感兴趣区域和非感兴趣区域内像素点数量；h_i为像素点的灰度值，和分别指感兴趣区域和非感兴趣区域内像素的平均灰度值，即：

步骤53：计算图像质量参数V_n，其计算公式为

V_n＝(1-R_n)×ACM_sn+R_n×ACM_-sn

其中，所述步骤6，其中EVn_pre和Tn_opt计算公式如下，

${\mathrm{EVn}}_{pre}={\log }_2\left(\frac{F^2}{{\mathrm{Tn}}_0}\right)$

EVn_opt＝EVn_pre+log₂(V_n)-log₂(V_opt)

${\mathrm{Tn}}_{opt}=\frac{F^2}{2^{{\mathrm{FVn}}_{opt}}}$

其中，使用不同光谱荧光图像的曝光时间进行总和，得到综合的曝光时间，形成一种多光谱荧光图像曝光时间校正方法。

其中，使用荧光图像得到的荧光光斑划定的区域作为白光图像的感兴趣区域。

(三)有益效果

本发明在病灶组织病灶位置和非病灶组织病灶位置的信背比(信号比背景信号)较高，可以分别在各个光谱荧光图像上有效地划分出病灶组织位置的感兴趣区域，然后将多个感兴趣区域合并，得到综合感兴趣区域。

以从荧光图像上获取的综合感兴趣区域为标准，本发明可以在白光图像上的相应位置提取所需要的图像质量参数，进而计算内窥镜上相机的曝光时间修正量，达到自动曝光的目的。

附图说明

图1是根据本发明一实施例的多光谱内窥镜自动曝光成像方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

多光谱内窥镜自动曝光成像方法是一种基于多光谱荧光信息进行互相校正，并划分兴趣区域，从而对白光图像进行曝光时间校正的自动曝光成像方法。其借由荧光相机，在初始曝光时间下，分光谱拍摄得到的不同光谱波段下的荧光图像，借由其当前曝光时间下的荧光结果划分荧光感兴趣区域。将这些荧光感兴趣区域进行合并，利用中心权重平均评估的方式，综合考虑荧光区域和非荧光区域的图像信息，计算图像曝光质量参数，进而调节荧光图像曝光时间。当完成荧光图像自动曝光后，再使用自动曝光后采集的图像划分的感兴趣区域作为综合感兴趣区域，在白光图像上进行中心权重平均评估，对白光图像的曝光时间进行调整，得到合适的白光图像。再将荧光图像以伪彩色的方式与白光图像进行融合，得到良好的多光谱内窥镜图像。

该自动曝光成像方法的具体步骤如下：

步骤1：在已确定光圈大小(光圈级数)F和最优图像质量参数V_opt的情况下，设定内窥镜成像视野的中央矩形部分(长宽与成像视野比为1∶2)为初始荧光感兴趣区域S。如果是在拍摄过程中发生光影变化时需要进行实时曝光调整的情况下，则初始荧光感兴趣区域为之前划分的综合感兴趣区域。

步骤2：在感兴趣区域S下，以曝光时间为T₀拍摄不同光谱波段下荧光图像和白光图像，并分别提取图像质量参数。即假如需要拍摄4张图像，每张图像记录1个光谱波段的图像，4张图像记录4个光谱波段的图像，每张图像的曝光时间都是T₀。

所述步骤2进一步包括以下步骤：

步骤21，计算第k张荧光图中感兴趣区域S_k与非感兴趣区域的面积A_Sk和计算中心区域权重系数R，计算方法为：

步骤22，计算感兴趣区域的绝对中心力矩值ACM_sk和非感兴趣区域的绝对中心力矩公式如下：

其中分别指感兴趣区域和非感兴趣区域内像素点数量。h_i为像素点的灰度值，和分别指感兴趣区域和非感兴趣区域内像素的平均灰度值，即：

步骤23，计算图像质量参数V，其计算公式为

步骤3：以曝光时间T₀和光圈级数F可以计算得到当前曝光值EV_pre，并计算目标曝光值T_opt，4张图像每一张图像都有一个新的T_opt，其中EV_pre和T_opt的计算等式为：

${\mathrm{EV}}_{pre}={\log }_2\left(\frac{F^2}{T_0}\right)$

EV_opt＝EV_pre+log₂(V_pre)-log₂(V_opt)

$T_{opt}=\frac{F^2}{2^{{\mathrm{FV}}_{opt}}}$

步骤4：在各自新的曝光时间T_opt下再次拍摄各个光谱波段的荧光图，并划分感兴趣区域。对所有感兴趣区域作并集合并，得到综合感兴趣区域S_n。重新计算该感兴趣区域下各个图像质量参数V_n，如果由于光影变化，各荧光图差异等原因造成各荧光图V_n总和与V_opt相差较大时，回到步骤2，以S_n作为S₀，T_opt作为T₀再次进行迭代。直至光影变化稳定后，进入步骤5。

步骤5：在白光图像上划分综合感兴趣区域S_n，以初始白光曝光时间Tn₀拍摄白光图。

所述步骤5还包括以下步骤：

步骤51：计算白光图中感兴趣区域S_n和非感兴趣区域的的面积A_Sn和计算白光图的中心区域权重系数R_n，且以非荧光区域为侧重点调整曝光时间，计算方法为：

步骤52：计算感兴趣区域的绝对中心力矩值ACM_sn和非感兴趣区域的绝对中心力矩公式如下：

其中分别指感兴趣区域和非感兴趣区域内像素点数量；h_i为像素点的灰度值，和分别指感兴趣区域和非感兴趣区域内像素的平均灰度值，即：

步骤53：计算图像质量参数V_n，其计算公式为

V_n＝(1-R_n)×ACM_sn+R_n×ACM_-sn

步骤6：计算曝光值EVn_pre，和目标曝光时间Tn_opt，计算公式如下

${\mathrm{EVn}}_{pre}={\log }_2\left(\frac{F^2}{{\mathrm{Tn}}_0}\right)$

EVn_opt＝EVn_pre+log₂(V_n)-log₂(V_opt)

${\mathrm{Tn}}_{opt}=\frac{F^2}{2^{{\mathrm{FVn}}_{opt}}}$

步骤7：计算当前白光图图像质量参数V_nt，如果由于光影变化问题未能达到V_opt，则返回步骤4。即假如光影变化问题未能达到V_opt，将得到的综合感兴趣区域S_n带入步骤4的初始值，重新进行计算。否则一直进行计算对比，直至设备停止工作。

其中，使用4个不同光谱荧光图像的曝光时间进行总和，即4个目标曝光值T_opt相加得到综合的曝光时间，形成一种多光谱荧光图像曝光时间校正方法。

其中，使用荧光图像得到的荧光光斑划定的区域作为白光图像的感兴趣区域。

本发明所提出的自动曝光方法，利用了多光谱荧光图像高信背比的特点，在荧光图像中选取感兴趣区域，为中心区域权重系数的计算提供区域划分的依据。

本发明针对荧光图与白光图分别进行自动曝光。且荧光图以荧光区域为侧重点调整荧光图曝光时间，白光图以非荧光区域为侧重点调整白光图曝光时间。使荧光图与白光图融合的多光谱内窥镜采集的图像能够兼顾前景图像内容(即荧光信号)和背景图像内容(即白光图像提供的环境信息)。

本发明所提出的多光谱荧光图像，在荧光图自行确认感兴趣区域位置以及大小中，使用多谱段荧光图互相进行验证。进而调整荧光曝光时间，为感兴趣区域的划分提供更为保障的结果。

本发明使用多光谱内窥镜自动曝光成像方法，利用多光谱荧光图像彼此之间互相验证得以调整感兴趣区域的划分。并利用多光谱图像获取的感兴趣区域对白光图像进行曝光调整，使用中心区域权重来平衡前景图像和背景图像之间的图像质量权衡系数，使用绝对中心力矩作为图像质量的衡量依据，得到了一种多光谱内窥镜自动曝光成像方法。区别于传统的自动曝光方法，其在选择图像质量信息的感兴趣区域时有明显的优势。由于经过滤光片后的荧光信息在病灶组织病灶位置和非病灶组织病灶位置的信背比(信号比背景信号)较高，本方法可以分别在各个光谱荧光图像上有效地划分出病灶组织位置的感兴趣区域，然后将多个感兴趣区域合并，得到综合感兴趣区域。以从荧光图像上获取的综合感兴趣区域为标准，本方法可以在白光图像上的相应位置提取所需要的图像质量参数。进而计算内窥镜上相机的曝光时间修正量，达到自动曝光的目的。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种多光谱内窥镜自动曝光成像方法，其特征在于，包括以下步骤：

步骤1：给定光圈级数F和最优图像质量参数V_opt，设定初始荧光感兴趣区域S；

步骤2：在感兴趣区域S下，以曝光时间为T₀拍摄不同光谱波段下荧光图像和白光图像，并分别提取图像质量参数；

步骤3：以曝光时间T₀和光圈级数F可以计算得到当前曝光值EV_pre，并计算目标曝光值T_opt；

步骤4：在新的曝光时间T_opt下再次拍摄各个光谱波段的荧光图，并划分感兴趣区域；对所有感兴趣区域作并集合并，得到综合感兴趣区域S_n；重新计算该感兴趣区域下各个图像质量参数V_n，荧光图V_n总和与V_opt相差较大时，回到步骤2，以S_n作为S₀，T_opt作为T₀再次进行迭代；直至光影变化稳定后，进入步骤5；

步骤5：在白光图像上划分综合感兴趣区域S_n，以初始白光曝光时间Tn₀拍摄白光图；

步骤6：计算曝光值EVn_pre和目标曝光时间Tn_opt；

步骤7：计算当前白光图图像质量参数V_nt，如果由于光影变化问题未能达到V_opt，则返回步骤4；否则一直进行计算对比。

2.根据权利要求1所述的多光谱内窥镜自动曝光成像方法，其特征在于，所述步骤2还包括以下步骤：

步骤21：计算第k张荧光图中感兴趣区域S_k与非感兴趣区域的面积A_Sk和A_Sk，计算中心区域权重系数R，计算方法为：

步骤22：计算感兴趣区域的绝对中心力矩值ACM_sk和非感兴趣区域的绝对中心力矩公式如下：

其中分别指感兴趣区域和非感兴趣区域内像素点数量；h_i为像素点的灰度值，和分别指感兴趣区域和非感兴趣区域内像素的平均灰度值，即：

步骤23：计算图像质量参数V，其计算公式为

3.根据权利要求1所述的多光谱内窥镜自动曝光成像方法，其特征在于，所述步骤3，其中EV_pre和T_opt的计算等式为：

${\mathrm{EV}}_{pre}={\log }_2\left(\frac{F^2}{T_0}\right)$

EV_opt＝EV_pre+log₂(V_pre)-log₂(V_opt)

$T_{opt}=\frac{F^2}{2^{{\mathrm{EV}}_{opt}}}.$

4.根据权利要求1所述的多光谱内窥镜自动曝光成像方法，其特征在于，所述步骤5还包括以下步骤：

步骤51：计算白光图中感兴趣区域S_n和非感兴趣区域的的面积A_Sn和计算白光图的中心区域权重系数R_n，且以非荧光区域为侧重点调整曝光时间，计算方法为：

步骤52：计算感兴趣区域的绝对中心力矩值ACM_sn和非感兴趣区域的绝对中心力矩公式如下：

其中分别指感兴趣区域和非感兴趣区域内像素点数量；h_i为像素点的灰度值，和分别指感兴趣区域和非感兴趣区域内像素的平均灰度值，即：

步骤53：计算图像质量参数V_n，其计算公式为

V_n＝(1-R_n)×ACM_sn+R_n×ACM_-sn。

5.根据权利要求1所述的多光谱内窥镜自动曝光成像方法，其特征在于，所述步骤6EVn_pre和Tn_opt计算公式如下，

${\mathrm{EVn}}_{pre}={\log }_2\left(\frac{F^2}{{\mathrm{Tn}}_0}\right)$

EVn_opt＝EVn_pre+log₂(V_n)-log₂(V_opt)

${\mathrm{Tn}}_{opt}=\frac{F^2}{2^{{\mathrm{EVn}}_{opt}}}.$

6.根据权利要求1所述的多光谱内窥镜自动曝光成像方法，其特征在于，使用不同光谱荧光图像的曝光时间进行总和，得到综合的曝光时间，形成一种多光谱荧光图像曝光时间校正方法。

7.根据权利要求1所述的多光谱内窥镜自动曝光成像方法，其特征在于，使用荧光图像得到的荧光光斑划定的区域作为白光图像的感兴趣区域。