CN110033465A - 一种应用于双目内窥镜医学图像的实时三维重建方法 - Google Patents

Abstract

本发明涉及一种应用于双目内窥镜医学图像的实时三维重建方法，该方法首先通过超像素分割，将颜色复杂区域分割，不同区域的边界构成器官的三维骨架。然后依据外极线约束原则，对左面视角拍到的轮廓信息，依次寻找右视角上对应的极线。为了获得精准的匹配点对，与ORB特征描述算子结合，快速准确定位相机中对应区域交点的位置，通过对应位置关系计算边界骨架的三维数据。最后在分割后的子区域内部采用SFS方法获得坐标相对关系，结合不同颜色梯度差别，推算出各个区域之间的三维坐标信息，获得场景内器官全部三维形貌坐标。本发明解决了内窥镜高精度三维重建的难题，与现有三维重建方法相比操作简单，可靠性高，手术风险低，减轻了病人的痛苦。

Description

一种应用于双目内窥镜医学图像的实时三维重建方法

技术领域

本发明涉及一种应用于双目内窥镜医学图像的实时三维重建获方法，更具体的说，本发明涉及一种能够用于展现内窥镜图像内器官精准三维形貌坐标的方法。

背景技术

如今，全球每年约有1750万人死于心脏病，占到了全部死亡人数的30％。而我国的心血管病人数已达到2.9亿人，且死亡率远高于其他疾病，可见其对人民健康的影响之大。传统的手术方式需要剖开胸腔，锯断胸骨，对患者的呼吸功能产生巨大影响。由于胸骨切口张力较高，使得体质较差的患者，术后恢复十分困难。

微创手术方式不仅能够降低手术的风险，更能减少病人治疗的痛苦。内窥镜是微创手术的重要信号采集方式，医生不再需要开胸，仅需在胸壁上打3个小孔，分别放置胸腔镜成像装置、超声波手术刀以及手术废弃物吸收装置。手术后，表皮创伤就可以自行愈合，大大减少了病人的创伤和痛苦，也缩短了术后的康复时间。

传统二维内窥镜由于无法在手术医师脑中产生直观的三维位置信息的准确对应关系，需要经过长期培训的医师才能熟练地利用其进行关键部位的手术。现有二维内窥镜在使用过程中仍存在如下风险：

(1)二维内窥镜缺少图像深度感，致使医生在手术过程中对重要的解剖结构及其相对的位置产生视觉上的误判。并且由于深度感的缺失，医生无法准确地判断出进刀位置的深浅，极易因操作失误引起意外出血。

(2)二维内窥镜图像畸变较大，人体组织结构又十分复杂，因而会影响手术的流畅性和进度，延长手术时间。

三维内窥镜带来的人体三维空间操作在医学领域掀起了革命性的变化，使用三维技术的微创手术将成为手术的主流。三维内窥镜的使用大大减轻了病人的术中痛苦，也缩短了术后的愈合时间。如果在获取三维影像的同时能够获得关键部位的三维数据，则可以大大缩短手术时间，减少手术风险。本发明提出的内窥镜医学图像的实时三维重建方法，正是为了解决上述问题而提出来的。

本发明设计了一种超像素分割生成三维骨架与SFS(Shape From Shading)融合的快速三维重建方法，由于内脏器官的构造不同，颜色深浅分布也不相同，单一三维重建方法难以获得整体的三维形貌信息。本发明首先通过超像素分割方法，将颜色复杂区域进行分割，不同区域的边界构成器官的三维骨架。然后依据外极线约束原则，对左面视角拍到的轮廓信息，依次寻找右视角上对应的极线。为了获得精准的左右匹配点对，需要与ORB(Oriented FAST and Rotated BRIEF)特征描述算子结合，快速准确定位左右相机中对应区域交点的位置，通过左右相机的对应位置关系计算边界骨架的三维数据。最后，将三维骨架与SFS融合，已有的SFS算法重建精度高度依赖其成像的光源模型，仅对颜色一致的区域具有较好的三维效果，但是对于颜色不同区域，三维数据存在较大偏差。本发明在超像素分割后的子区域内部采用SFS方法获得区域内的坐标相对关系，以生成的三维骨架坐标为基准，结合不同颜色的梯度差别，依次推算出各个区域之间的三维坐标信息，进而获得场景内器官的全部三维形貌坐标。实现内窥镜在手术场景中的实时三维重建，为医生提供准确和有效的导航信息。

发明内容

本发明设计了一种应用于内窥镜医学图像的实时三维重建获方法，该方法能够应用于采用三维内窥镜的手术中，在获取三维影像的同时能够获得关键部位的三维坐标，可以大大缩短手术时间，减少手术风险。

所述的内窥镜医学图像实时三维重建的硬件装置包括：

LED冷光源一个；

光学硬杆内窥镜两根；

用于建立高精度坐标基准的标定平台；

用于采集图像的1200*1600工业彩色相机两个；

用于精度控制、图像采集和数据处理的计算机；

用于放置所述的光源和所述的相机的扫描平台。

本发明所设计的内窥镜医学图像的实时三维重建获方法，具体操作步骤如下：

步骤1：对双目相机进行标定，设左相机A所在的坐标系为O_aX_aY_aZ_a，设右相机B所在的坐标系为O_bX_bY_bZ_b，两个相机之间的旋转矩阵为R，平移矩阵为T，标定的公式如公式(1)所示，r₁₁-r₃₃为所述的右相机B相对于所述的左相机A的旋转矩阵分量，t_x，t_y，t_z为所述的右相机B相对于所述的左相机A的平移矩阵分量；

步骤2：将双目内窥镜的探测镜头伸入病人体内，以获取器官表面图像，并将内窥镜采集的器官表面图像采用中值滤波法进行去噪和图像平滑处理，保护图像的细节信息；

步骤3：利用SLIC(Simple Linear Iterative Clustering)超像素分割方法分割步骤2得到的器官表面图像，首先通过相邻像素的颜色、亮度、纹理特征，将器官表面图像细分为多个子区域，再将各子区域图像从RGB颜色空间转换到CIE-Lab颜色空间，按照超像素个数，在图像内均匀分配种子点，在种子点的邻域范围内利用三维的颜色信息以及二维的空间位置信息，计算每个搜索到的像素点到该种子点的距离，来对像素点进行聚类，并通过超像素分割区域的目标数量，控制分割区域的大小，最后进行迭代优化及增强连通性，得到分割后的器官表面图像，距离计算如公式(2)所示，d_c代表颜色距离，d_s代表空间距离，N_s代表类内最大空间距离，N_c代表最大的颜色距离；

步骤4：将步骤3分割后的器官表面图像，根据外极限匹配原则，在左相机采集到分割后的器官表面图像分割边界选取点，在右相机采集到分割后的器官表面图像上确定极线以及极线与分割边界交点，获得精准的左右匹配点对，再与ORB(Oriented FAST andRotated BRIEF)特征描述算子结合，定位左右相机中对应区域交点的位置，选取交点中匹配度最高的点为匹配点，设左相机选取点的斜率为k_a，则相对的匹配点的斜率k_b可由公式(3)获得，k_a为左相机采集到的图像骨架中某一点P的斜率，k_b为右相机采集到的图像骨架中与所述的P点对应点的斜率，重复执行此步骤，可以获得全部骨架所在位置的三维坐标，构成边界骨架三维坐标，记录每个子区域边界的三维坐标信息；

步骤5：在步骤4所得到的每一个超像素分割后子区域的内部，首先利用SFS(ShapeFrom Shading)进行三维重建，选取线性法三维建模，利用有限差值法对表面梯度p和q进行离散逼近，然后在高度Z(x，y)方向上根据公式(4)进行线性化处理，最后获取局部点的坐标变化关系；

公式(4)中：

步骤6：将步骤5所获得的坐标变化关系与步骤4所得到的边界骨架坐标信息进行融合，计算器官表面全局三维坐标；运算完毕。

本发明的有益效果是：通过本发明提出的超像素分割与外极线约束下的ORB融合三维骨架的生成方法，以及三维骨架与SFS融合的快速三维重建方法，既可以减少三维重建的特征点匹配的时间，又可以改善特征点匹配的数量和准确度。以生成的三维骨架坐标为基准，结合不同颜色的梯度差别，既可以依次推算出各个区域之间的三维坐标信息，进而又能获得场景内器官的全部三维形貌坐标。

附图说明

图1：三维重建方法流程图；

图2：SLIC超像素分割方法前后对比图；

(a)分割前原始图片；

(b)分割后图片；

(c)分割后生成边界三维骨架图片；

图3：SFS处理后每个子区域图像；

(a)整体区域图像；

(b)边界区域图像；

(c)无边界区域图像。

具体实施方式

本发明所设计的内窥镜医学图像的实时三维重建获方法，所述的三维重建方法如图1所示，具体操作如下：

完成双目内窥镜的搭建，并对双目相机进行标定，设左相机A坐标系为O_aX_aY_aZ_a，设右相机B所在的坐标系为O_bX_bY_bZ_b，两个相机之间的旋转矩阵为R，平移矩阵为T，标定的公式如公式(5)所示，r₁₁-r₃₃为所述的右相机B相对于所述的左相机A的旋转矩阵分量，t_x，t_y，t_z为所述的右相机B相对于所述的左相机A的平移矩阵分量。

将双目内窥镜的探测镜头伸入病人体内，以获取器官表面图像，并将内窥镜采集的器官表面图像采用中值滤波进行去噪、图像平滑处理，保护图像的细节信息。

利用SLIC超像素分割方法分割器官表面图像，超像素分割前后对比图如图2(a)和图2(b)所示；

(1)初始化种子点。按照设定的超像素个数，在图像内均匀的分配种子点。设图片总共有N个像素点，预分割为K个相同尺寸的超像素，那么每个超像素块的大小为N/K，则相邻种子点的距离近似为A；

(2)在种子点的n×n邻域内重新选择种子点。具体方法为，计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方；

(3)在每个种子点周围的邻域内为每个像素点分配类标签。SLIC的搜索范围限制为2S×2S，可以加速算法收敛；

(4)距离度量，包括颜色距离和空间距离。对于每个搜索到的像素点，分别计算它和该种子点的距离。距离计算方法如公式(6)和公式(7)所示，其中，d_c代表颜色距离，d_s代表空间距离，N_S是类内最大空间距离，定义为N_S＝S＝sqrt(N/K)，适用于每个聚类。最大的颜色距离N_c，我们取一个固定常数m代替，m的值取10。最终的距离度量如公式(8)所示，由于每个像素点都会被多个种子点搜索到，所以每个像素点都有一个与周围种子点的距离，取最小值对应的种子点作为该像素点的聚类中心；

(5)迭代优化。实践发现10次迭代后图片都可以得到较理想效果，所以迭代次数取10；

(6)增强连通性。经过上述迭代优化出现的瑕疵：出现多连通情况、超像素尺寸过小和单个超像素被切割成多个不连续超像素，可以通过增强连通性解决。

在双目立体视觉测量中，立体匹配是关键技术，极线约束起着重要作用。观察场景点的两个相机中心C₀和C₁追踪连接空间三维点X到相机中心的直线，可以找到空间点X在一幅图像中的点p。相反，通过该点p可以找到在另一幅图像中的对应点q。沿着这条直线在另一个图像面进行搜索，直线在另一个图像面形成了一条虚构的直线L，此直线被称为点p的极线。该极线的一个端点以原始观察线上的无穷远处的投影为界，另一个端点以原相机中心在第2个图像面的投影为界，即是极点e。基础矩阵F将一个视角中的二维图像点p映射到另一个视角中的极线上。设左相机选取点的斜率为k_a，则与之相对的匹配点的斜率k_b可由公式(9)获得。k_a为左相机采集到的图像骨架中某一点P的斜率，k_b为右相机采集到的图像中与P点对应点的斜率，r₁₁-r₃₃为所述的右相机B相对于所述的左相机A的旋转矩阵分量，t_x，t_y，t_z为所述的右相机B相对于所述的左相机A的平移矩阵分量。

在处理特征不明显的器官表面图像时，采用外极线约束与ORB匹配结合的算法，可以有效弥补采用ORB匹配算法的匹配误差，提高匹配精度，可有效发挥外极线约束与ORB匹配相结合算法的优势。通过ORB特征提取特征点并进行匹配和筛选，提取左相机中某一区域交点位置，通过相机标定参数可以获取其在另一个相机中位置外极线，计算与该极线相交的所有区域边界点的位置的ORB特征，将其与左相机中待匹配点的ORB特征进行相似度对比，找出右相机中相似度最高的点作为待匹配特征。重复执行此步骤，可以获得全部骨架所在位置的三维坐标，构成边界骨架三维坐标，记录每个子区域边界的三维坐标信息，边界三维骨架图片如图2(c)所示；

ORB特征的检测过程为：

(1)在图像中选中像素p，设它的亮度为I_p；

(2)设置一个阈值T，值为I_p的20％；

(3)以p为中心，选取半径为3像素的圆上的16个像素点；

(4)若选取的圆上有连续的12个点的亮度大于I_P+T或小于I_P-T，p即被认为是特征点。

采用三维骨架与SFS融合的三维成像方法。SFS算法是一种快速有效的三维重建方法，但该方法目前的重建精度高度依赖其成像的光源模型，并且由于内脏器官的构造不同，其颜色深浅分布也不相同，采用一种光源模型容易造成三维数据的恢复偏差。超像素分割后的区域减少了复杂颜色背景的影响，再对分割后不同区域进行SFS三维重建，可以提高重建精度。为了实现不同区域的坐标统一，以三维骨架为基准对不同的区域进行三维坐标的融合，从而获得颜色变化复杂物体的精确三维点云。

选取线性法三维建模，本申请所用的SFS为利用有限差值法对表面梯度p和q进行离散逼近，然后在高度Z方向上进行线性化处理，这种方法运算速度快，对于任何的反射函数都适用。对于p和q采用离散逼近，如公式(10)和公式(11)所示：

对于某个像素点(x，y)和给定的图像的灰度等级E(x，y)，公式(12)中函数f关于高度图Z^n-1的线性逼近就可以用泰勒级数展开，然后利用雅克比迭代去求解，经过简化可得：

然后，对于Z(x，y)＝Zⁿ(x，y)，第n次迭代的高度图可以直接按公式(13)求解：

公式(13)中：

现在，设所有像素点的初始估计值为Z⁰(x，y)＝0，高度Z就可以通过公式(13)经过迭代得到。SFS处理后每个子区域图像如图3所示。

将SFS后所获得的坐标变化关系与超像素分割后所得到的边界骨架坐标信息进行融合，计算全局三维坐标。运算完毕。

本发明与现有三维重建方法最大区别有如下三点：

(1)提出了超像素分割与外极线约束下的ORB融合三维骨架生成方法，该方法将颜色复杂区域进行分割，不同区域的边界构成器官的三维骨架。本方法既可以减少三维重建的特征点匹配时间，又可以改善特征点匹配的准确度。

(2)提出了三维骨架与SFS融合的快速三维成像方法，该方法以生成的三维骨架坐标为基准，结合不同颜色的梯度差别，依次推算出各个区域之间的三维坐标信息，进而获得场景内器官的全部三维形貌坐标。

(3)解决三维内窥镜高精度三维重建的难题，助推三维重建在医疗和工业领域的发展和应用。本研究对医生的经验要求低，操作更为简单，可靠性也相应提高；与已有的传统外科手术相比，本研究可以减轻病人的痛苦，缩短手术时间，减少手术风险。此外，本研究为其他领域的高精度内窥镜三维重建提供新的算法和理论研究基础。

综上所述，本发明所述的三维重建方法的优点是：

(1)可获得精准的三维坐标数据；

(2)减少了复杂颜色背景的影响，对分割后不同区域三维重建速度快，并且重建精度大大提升。

三维医用内窥镜诊查不但可以缩短医生培训时间，降低手术时间，还可以解决我国微创手术推广的关键技术难题。同时，通过这种三维立体恢复方法构建的三维内窥镜手术技术的推广，可以推动精准医疗和虚拟现实医疗手段的发展，促进我国医疗仪器行业的进步。

以上示意性的对本发明及其实施方式进行了描述，该描述没有局限性，附图中所示的也只是本发明的实施方式之一。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，采用其它形式的同类部件或其它形式的各部件布局方式，不经创造性的设计出与该技术方案相似的技术方案与实施例，均应属于本发明的保护范围。

Claims (1)

1.本发明设计了一种应用于双目内窥镜医学图像的实时三维重建方法，其特征是，包含步骤如下：

步骤1：对双目相机进行标定，设左相机A所在的坐标系为O_aX_aY_aZ_a，设右相机B所在的坐标系为O_bX_bY_bZ_b，两个相机之间的旋转矩阵为R，平移矩阵为T，标定的公式如公式(1)所示，r₁₁-r₃₃为所述的右相机B相对于所述的左相机A的旋转矩阵分量，t_x，t_y，t_z为所述的右相机B相对于所述的左相机A的平移矩阵分量；

步骤2：将双目内窥镜的探测镜头伸入病人体内，以获取器官表面图像，并将内窥镜采集的器官表面图像采用中值滤波法进行去噪和图像平滑处理，保护图像的细节信息；

步骤3：利用SLIC(Simple Linear Iterative Clustering)超像素分割方法分割步骤2得到的器官表面图像，首先通过相邻像素的颜色、亮度、纹理特征，将器官表面图像细分为多个子区域，再将各子区域图像从RGB颜色空间转换到CIE-Lab颜色空间，按照超像素个数，在图像内均匀分配种子点，在种子点的邻域范围内利用三维的颜色信息以及二维的空间位置信息，计算每个搜索到的像素点到该种子点的距离，来对像素点进行聚类，并通过超像素分割区域的目标数量，控制分割区域的大小，最后进行迭代优化及增强连通性，得到分割后的器官表面图像，距离计算如公式(2)所示，d_c代表颜色距离，d_s代表空间距离，N_s代表类内最大空间距离，N_c代表最大的颜色距离；

步骤4：将步骤3分割后的器官表面图像，根据外极限匹配原则，在左相机采集到分割后的器官表面图像分割边界选取点，在右相机采集到分割后的器官表面图像上确定极线以及极线与分割边界交点，获得精准的左右匹配点对，再与ORB(Oriented FAST and RotatedBRIEF)特征描述算子结合，定位左右相机中对应区域交点的位置，选取交点中匹配度最高的点为匹配点，设左相机选取点的斜率为k_a，则相对的匹配点的斜率k_b可由公式(3)获得，k_a为左相机采集到的图像骨架中某一点P的斜率，k_b为右相机采集到的图像骨架中与所述的P点对应点的斜率，重复执行此步骤，可以获得全部骨架所在位置的三维坐标，构成边界骨架三维坐标，记录每个子区域边界的三维坐标信息；

步骤5：在步骤4所得到的每一个超像素分割后子区域的内部，首先利用SFS(ShapeFrom Shading)进行三维重建，选取线性法三维建模，利用有限差值法对表面梯度p和q进行离散逼近，然后在高度Z(x，y)方向上根据公式(4)进行线性化处理，最后获取局部点的坐标变化关系；

公式(4)中：

步骤6：将步骤5所获得的坐标变化关系与步骤4所得到的边界骨架坐标信息进行融合，计算器官表面全局三维坐标；运算完毕。