CN120431135B - 一种脊柱运动实时跟踪系统及其方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体公开了一种脊柱运动实时跟踪系统及其方法，其中系统包括：椎骨配准模块，对目标椎骨的影像与术前影像进行配准；相机模块，采集配准后术中目标椎骨的深度图像和可见光图像，根据所述深度图像重建得到术中目标椎骨的三维表面点云；特征点识别模块，对相机模块采集的可见光图像进行二维特征点识别，获取术中目标椎骨的三维表面点云中的三维关联点；光流跟踪模块，设定二维特征点及其对应的三维关联点的位置模板，据此对相机模块采集的当前帧图像与上一帧图像之间进行光流跟踪；运动跟踪模块，根据光流跟踪计算目标椎骨的运动幅度。本发明可直接对目标椎骨本身进行实时运动跟踪，降低计算复杂度，保证算法实时性。低计算复杂度，保证算法实时性。

Description

一种脊柱运动实时跟踪系统及其方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种脊柱运动实时跟踪系统及其方法。

背景技术

骨科脊柱导航手术中，如术中椎骨表面点云与术前CT或MRT点云的脊柱配准项目，一个关键步骤是如何实时且精准的跟踪目标椎骨在术中的运动情况。在现有主流解决方案中，通常将示踪器固定于术区目标椎骨邻近的椎骨或软组织，并假设示踪器与人体刚性连接，基于光学跟踪系统跟踪示踪器的运动以替代目标椎骨的运动。然而脊柱的椎骨间、椎骨和软组织间实际为非刚性连接，示踪器与目标椎骨间可能存在相对运动，在未进行有效运动补偿的基础上，示踪器的运动可能无法替代目标椎骨的运动。

为此，提出了一种脊柱运动实时跟踪算法，该算法直接跟踪目标椎骨本身，而非跟踪固定于目标椎骨周围的示踪器。针对目标椎骨的直接跟踪，现有光学跟踪方案中通常采用3D相机进行表面点云重建，并直接在三维点云上识别并跟踪椎骨特有的骨性特征，这种方案复杂度较高，实现起来较为困难。

发明内容

发明目的：针对上述不足，本发明提出一种脊柱运动实时跟踪系统及其方法，可以直接对目标椎骨本身进行实时运动跟踪，降低计算复杂度，保证算法实时性。

技术方案：本发明提供一种脊柱运动实时跟踪系统，包括：

椎骨配准模块，用于对目标椎骨的术中影像与术前影像进行配准；

相机模块，用于采集配准后术中目标椎骨的深度图像和可见光图像，据此设定术区跟踪区域，根据所述深度图像重建得到术中目标椎骨的三维表面点云；

特征点识别模块，用于对相机模块采集的目标椎骨的可见光图像进行二维特征点识别，并根据相机模块的参数获取术中目标椎骨的三维表面点云中的三维关联点；

光流跟踪模块，用于设定二维特征点及其对应的三维关联点的位置模板，据此对相机模块采集的当前帧图像与上一帧图像之间进行光流跟踪；

运动跟踪模块，根据光流跟踪模块的光流跟踪计算目标椎骨在相邻帧图像之间的运动幅度，即得到目标椎骨的运动幅度。

具体地，还包括光学跟踪模块，其通过光学跟踪单元获取相机模块的位姿，据此在相机模块采集的图像上重新设定术区跟踪区域，并结合光流跟踪模块设定的位置模板更新二维特征点及其对应的三维关联点的位置模板。

更具体地，所述光流跟踪模块实时获取所述光学跟踪单元与所述相机模块之间的位置关系，根据该位置关系对所述相机模块采集的图像上重新设定术区跟踪区域，同时根据该位置关系更新二维特征点及其对应的三维关联点的位置模板。

更进一步地，所述相机模块与所述光学跟踪单元合二为一，二者刚性连接，则可得所述光学跟踪单元与所述相机模块之间的位置关系；

或，所述相机模块与所述光学跟踪单元相互独立设置，在所述相机模块上安装有相机示踪器，所述光学跟踪单元获取所述相机示踪器的位姿，计算得到光学跟踪单元与所述相机模块之间的位置关系，同时，所述光学跟踪模块实时监控相机示踪器相对于基准参考示踪器的空间运动情况，据此计算相机模块相对于患者患处的空间运动情况，据此更新对应的位置模板。

具体地，在患者的目标椎骨上设置若干标记点，获取目标椎骨的术前影像中的标记点；在术中通过导航探针点触目标椎骨上的标记点，椎骨配准模块通过光学跟踪单元获取导航探针上的光学示踪阵列的位置信息，计算得到目标椎骨的术中影像中每个标记点的位置信息，据此对目标椎骨的术中影像与术前影像进行配准。

具体地，所述椎骨配准模块的配准包括初次配准和重新配准，所述初次配准为手术开始时的首次配准，所述重新配准是在所述运动跟踪模块判断目标椎骨的运动幅度超过设定阈值后的操作。

具体地，所述相机模块在其采集的患者患处的深度图像和可见光图像上框选目标椎骨及其设定范围内的邻近区域作为所述术区跟踪区域。

具体地，所述相机模块重建的术中目标椎骨的三维表面点云的点的数量与其可见光图像上的二维点的数量之间的占比大于80%。

具体地，所述相机模块基于计算机视觉库，在可见光图像上进行角点检测得到，进而完成对相机模块采集的目标椎骨的可见光图像的二维特征点识别。

具体地，所述特征点识别模块获取目标椎骨的可见光图像上存在对应的三维关联点的二维特征点数量，若该数量与目标椎骨的可见光图像上二维特征点的总数的比例低于设定比值，则通过椎骨配准模块重新对目标椎骨的术中影像与术前影像进行配准，直至前述比例高于设定比值。

具体地，若所述相机模块采集的当前帧图像为首次配准或重新配准后的首帧图像，所述光流跟踪模块验证其中与可见光图像中的二维特征点的像素坐标关联的三维点云的对应坐标处是否存在三维关联点，若存在，则认为该三维点有效并将其设置为三维点云中对应三维关联点的位置模板，同时将对应的二维特征点设置为二维特征点的位置模板，二维特征点和三维关联点的位置模板在下次配准前不再更改；

若所述相机模块采集的当前帧图像为首次配准或重新配准后的非首帧图像，则以上一帧图像中的二维特征点及其对应的三维点云中的三维关联点设为对应的位置模板，光流跟踪模块以其上一帧图像中的二维特征点的位置模板为中心，在当前帧图像上的设定大小的搜索区域内进行二维特征点检测，若检测到二维特征点，则表示该二维特征点跟踪成功。

更具体地，所述搜索区域设置为以目标椎骨的基准，分别向其上、下、左、右方向外扩k倍形成的运动范围。

更具体地，所述光流跟踪模块计算成功跟踪二维特征点的个数与上一帧图像中的二维特征点的位置模板的个数之间的比值，在该比值小于设定比例时通过椎骨配准模块重新对目标椎骨的术中影像与术前影像进行配准，直至所述比值高于设定比例。

具体地，所述光流跟踪模块对相机模块采集的当前帧图像与上一帧图像之间的光流跟踪采用稀疏光流跟踪。

具体地，所述运动跟踪模块根据光流跟踪模块的光流跟踪计算得到相邻帧图像中对应的三维点之间的欧式距离，计算其累加值的平均值，即得到目标椎骨在相邻帧图像之间的运动幅度。

更具体地，在某一个二维特征点没有与之对应的三维点时，所述运动跟踪模块计算该二维特征点与上一帧图像中与其对应的二维特征点之间的欧式距离进行替换，参与累加。

本发明还提供一种基于前述的脊柱运动实时跟踪系统的脊柱运动实时跟踪方法，包括步骤：

S1、椎骨配准模块对目标椎骨的术中影像与术前影像进行配准；

S2、采用相机模块采集术中目标椎骨的深度图像和可见光图像，据此设定术区跟踪区域，并根据所述深度图像重建其三维表面点云，即得到术中目标椎骨的三维表面点云；

S3、特征点识别模块对S2得到的目标椎骨的可见光图像进行特征点识别，根据相机模块的参数获取S2得到的术中目标椎骨的三维表面点云中的三维关联点；

S4、光流跟踪模块判断相机模块采集的当前帧图像是否为经S1的配准后的首帧图像；

若是，则将其中可见光图像中的二维特征点及其对应的三维点云中的三维关联点设为对应的位置模板；

否则，将相机模块采集的上一帧图像中可见光图像中的二维特征点及其对应的三维点云中的三维关联点设为对应的位置模板，对相机模块采集的当前帧图像与上一帧图像之间进行光流跟踪；

S5、运动跟踪模块根据S4的光流跟踪计算目标椎骨在相邻帧图像之间的运动幅度，即得到目标椎骨的运动幅度。

有益效果：本发明在可见光图像上基于二维特征点识别进行光流跟踪，然后以二维特征点直接索引对应的三维点云的空间运动替代椎骨的运动，构建2D-3D协作的跟踪系统，可以直接对目标椎骨本身进行实时运动跟踪。与直接在三维点云上进行骨性特征识别跟踪相比，二维特征点识别跟踪大大降低了计算复杂度，进而保证算法实时性。

附图说明

为了更清楚地说明本发明中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为可见光图像与其重建的三维表面点云进行融合的示例图，其中，图1（a）为羊蝎子的可见光图像的示例图，图1（b）为羊蝎子的重建的三维表面点云的示例图，图1（c）为羊蝎子的可见光图像与其重建的三维表面点云的融合图像的示例图；

图2为可见光图像的二维特征点与重建的三维表面点云中对应的三维点进行关联的示例图，其中，图2的左图为图1（a）及其上设定的术区跟踪区域的示例图，图2的右图为图1（c）及其上设定的术区跟踪区域的示例图；

图3为本发明一实施例的进行脊柱运动实时跟踪的结构示例图；

图4为本发明另一实施例的进行脊柱运动实时跟踪的结构示例图；

图5为本发明的脊柱运动实时跟踪方法的流程图。

图中，1.光学跟踪单元，2.患者，3.基准参考示踪器，4.解剖区域，5.目标椎骨，6.病床，7.RGB-D相机，8.相机示踪器；

71.深度相机，72.可见光相机；

A.术区跟踪区域，P1.二维特征点，P2.与二维特征点关联的三维点。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。

本发明的脊柱运动实时跟踪系统，包括：

椎骨配准模块，用于对目标椎骨的术中影像与目标椎骨的术前影像进行配准；

相机模块，用于采集配准后术中目标椎骨的深度图像和可见光图像，据此设定术区跟踪区域，并根据所述深度图像重建得到术中目标椎骨的三维表面点云；

特征点识别模块，用于对相机模块采集的目标椎骨的可见光图像进行二维特征点识别，并根据相机模块的参数获取术中目标椎骨的三维表面点云中的三维关联点；

光流跟踪模块，用于设定二维特征点及其对应的三维关联点的位置模板，据此对相机模块采集的当前帧图像与上一帧图像之间进行光流跟踪；

运动跟踪模块，根据光流跟踪模块的光流跟踪计算相邻帧图像之间的运动幅度，即得到目标椎骨的运动幅度。

本发明还包括光学跟踪模块，其通过光学跟踪单元获取相机模块的位姿，据此在相机模块采集的图像上重新设定术区跟踪区域，并结合光流跟踪模块设定的位置模板更新二维特征点及其对应的三维关联点的位置模板。

本发明中，在患者的目标椎骨上设置若干标记点，获取目标椎骨的术前影像中的标记点；在术中通过导航探针点触患者的目标椎骨上的标记点，椎骨配准模块通过光学跟踪单元获取导航探针上的光学示踪阵列的位置信息，进而计算得到每个标记点的位置信息，并显示在目标椎骨的术中影像中，据此将目标椎骨的术中影像与术前影像进行配准。

本发明中，在导航探针上设置有光学示踪阵列，导航探针点在各标记点上，光学跟踪模块通过获取光学示踪阵列的位姿，可以得到导航探针针尖的位置信息，进而可以得到所有标记点的位置。

本发明中，椎骨配准模块在获取得到导航探针在术中采集接触患者的目标椎骨表面的标记点的位置并显示在目标椎骨的术中影像后，根据目标椎骨的术前影像中标记点的位置，通过标记点匹配可对二者进行粗配准，之后通过ICP算法进行精配准。本发明中，还可通过导航探针在目标椎骨的表面随机选取验证点验证配准精度，确保目标椎骨的术中影像和术前影像的精确匹配，满足本发明的光流跟踪模块和运动跟踪模块的精度需求。

本发明中，患者目标椎骨的术前影像可为患者目标椎骨的术前CT影像或MRT点云，通过预先获取得到。目标椎骨的术中影像可为术中通过C臂机获取的目标椎骨的CBCT点云或通过深度相机获取的深度点云。

本发明中，脊柱运动实时跟踪可应用于各种脊柱导航手术，本实施例仅以患者患处即目标椎骨的术中三维点云与术前CT影像或MRT点云的配准为例进行说明。

本发明中，患者患处的术前影像一般是做过处理后得到的纯椎骨点云，而术中患者患处只有一部分暴露的椎骨及各种组织，与患者患处的术前影像中的纯椎骨区域并不对应，而对本发明而言，在进行配准的过程中，应将术中患者的目标椎骨和患者患处的术前影像中与其对应的椎骨区域进行配准，如图1所示。现有主流方案中，医生会将诸如棘突、侧突此类具有特定骨性特征的表面组织清理干净，提高配准精度的同时也为后续的跟踪算法奠定基础。一般而言，椎骨表面的组织清理干净的区域越大，配准的精度越高，后续脊柱运动实时跟踪的精度也越高。

本发明中，椎骨配准模块的配准涉及到初次配准和重新配准，初次配准为手术开始时的首次配准，重新配准是识别到目标椎骨的运动幅度超过设定阈值后的操作。理论上二者仅在时间顺序上不一致，配准方法是否一致不做特殊要求，不限于目前任何满足配准精度要求的配准方法。本发明中，所述的设定阈值可根据实际需求确定。

本发明中，在实际手术场景中，医生将相机模块移动至合适的工作距离和角度后，其感兴趣区域内会包含解剖区域在内的整片区域，为加快患者患处的三维表面点云的重建速度，同时减少在可见光图像中识别二维特征点时非骨性特征带来的干扰，结合椎骨允许的运动幅度，可在采集患者患处的深度图像和可见光图像上框选目标椎骨及其设定范围内的邻近区域作为术区跟踪区域，如图2中A所指代的区域。

本发明中，由于脊柱配准精度要求较高，脊柱中的目标椎骨在配准后一般仅允许毫米级别的运动幅度，因此，本发明采用的相机模块的精度也应达到亚毫米级别，且重建的三维表面点云中的点应稠密，具体地，可满足的要求为重建的三维表面点云中的点的数量与目标椎骨的可见光图像上的二维点的数量之间的占比要大于80%。

本发明中，特征点识别模块对目标椎骨的可见光图像进行二维特征点识别具体为：基于OpenCV等计算机视觉库，在可见光图像上进行角点检测，即得到对应的二维特征点；角点类型不限于Harris、Shi-Tomasi等鲁棒性较强的角点。本发明中，选择的角点类型应配合后续的光流跟踪算法。

进一步地，本发明可以基于角点检测结果进一步求解其对应的亚像素角点，可以得到更精确的二维特征点，以提高后续光流跟踪算法的精度，以获得良好的跟踪效果。

现有的相机模块如RGB-D相机，在出厂前会进行相机标定等操作，一般都已实现可见光图像与深度图像标定的功能，即存在一个映射函数也即前述的RGB-D相机的参数将可见光图像中的二维图像的像素点与深度图像中的三维表面点云中点的坐标进行关联，即可根据可见光图像的二维特征点获取其在术中目标椎骨的三维表面点云中的三维关联点，如图2中的P2所示。那么基于映射函数，术中目标椎骨的三维表面点云中的每个三维点都能在可见光图像中的二维图像中找到唯一对应的二维像素点，如图2中的P1所示。由于相机模块中的深度相机和可见光相机刚性连接，在机械结构未发生改变情况下，映射函数一旦确定就不会改变，因此每帧可见光图像上检测到的二维特征点的像素坐标，都可通过映射函数直接获取对应三维表面点云中的三维关联点的坐标，从而节省每次在三维表面点云上计算骨性特征的耗时。需要注意的是，由于重建角度等因素影响，相机模块重建得到的三维表面点云中三维点的个数并非完全等同于可见光图像中的二维特征点的个数，一般三维表面点云中三维点的个数小于等于可见光图像中的二维特征点的个数。因此需进一步判断可见光图像中的二维特征点对应的三维表面点云中三维关联点是否存在，当不存在的点达到一定比例时，出于安全考虑应重新进行目标椎骨的术中影像与目标椎骨的术前影像的配准，此时，可适当调整相机模块位置，再通过椎骨配准模块重新对目标椎骨的术中影像与目标椎骨的术前影像进行配准，直至前述比例高于设定比值。

本发明中，若相机模块采集的当前帧图像为首次配准或重新配准后的首帧图像，那么光流跟踪模块验证其中与可见光图像中的二维特征点的像素坐标关联的三维点云的对应坐标处是否存在三维关联点，若存在，则认为该三维点有效并将其设置为三维点云中对应三维关联点的位置模板，同时将对应的二维特征点设置为二维特征点的位置模板，二维特征点和三维关联点的位置模板在下次配准前不再更改。

本发明中，若相机模块采集的当前帧图像为首次配准或重新配准后的非首帧图像，则以上一帧图像中的二维特征点及其对应的三维点云中的三维关联点设为对应的位置模板，光流跟踪模块以其上一帧图像中的二维特征点的位置模板为中心，在当前帧图像上的设定大小的搜索区域内进行二维特征点检测；若检测到二维特征点，则表示该二维特征点跟踪成功。

本发明具体实施例中，设定大小的搜索区域可采用矩形或圆形等形状。

本发明中，为了提高识别精度，搜索区域一般不会设置过大或过小，以避免跟踪过程中由于大量二维特征点识别失败导致手术中断而频繁重新进行配准，或大量角点识别错误导致跟踪异常进而引发医疗事故。在本发明中，搜索区域一般设置为以目标椎骨的基准，分别向其上、下、左、右方向外扩k倍形成的运动范围，k可取2-4。

本发明中，光流跟踪模块计算成功跟踪二维特征点的个数与上一帧图像中的二维特征点的位置模板的个数之间的比值，在该比值小于设定比例时需通过椎骨配准模块重新对目标椎骨的术中影像与目标椎骨的术前影像进行配准，直至该比值高于设定比例。

本发明中，光流跟踪采用稀疏光流跟踪。与稠密光流跟踪相比，稀疏光流跟踪选取关键的像素点来替代整体，具有计算量小、计算速度快、适用于实时性要求较高的场景、在处理大范围物体运动时可能不如稠密光流跟踪准确的特性，但是在本发明的应用场景中，一般仅允许目标椎骨在毫米级别内小范围运动，因此可采用稀疏光流跟踪。

进一步地，本发明可采用LK光流跟踪，进而处理不同尺度的运动物体，可以减少噪声的干扰，具有较好的鲁棒性。

本发明中，在手术过程中，医生为了获得更佳的手术位置、移除等操作，会有意或无意移动相机模块如RGB-D相机，此时配准过程设定的二维特征点及其对应三维关联点的模板位置与相机模块的相对位置发生变化，若不进行修正，可能导致手术中断。

具体的修正如下：

光流跟踪模块实时获取光学跟踪单元与相机模块之间的位置关系，根据该位置关系对相机模块采集的图像上重新设定术区跟踪区域，同时根据该位置关系更新二维特征点及其对应的三维关联点的位置模板。

进一步地，可参照图3，本发明一实施例中，患者2置于病床6上，在患者患处形成解剖区域4，在解剖区域4内即目标椎骨5，在患者患处设置有基准参考示踪器3，RGB-D相机7与光学跟踪单元1合二为一，其集成了光学跟踪单元1的双目相机以及RGB-D相机7的深度相机71和可见光相机72，二者为刚性连接，故光学跟踪单元1与RGB-D相机7之间的位置关系为固定已知。同时，光学跟踪单元1可获取基准参考示踪器3的位姿。

进一步地，可参照图4，患者2置于病床6上，在患者患处形成解剖区域4，在解剖区域4内即目标椎骨5，在患者患处设置有基准参考示踪器3，RGB-D相机7与光学跟踪单元1相互独立设置，RGB-D相机7上安装有相机示踪器8，那么光学跟踪单元1可通过双目相机及其中的光学传感器获取相机示踪器8的位姿，进而计算得到光学跟踪单元1与RGB-D相机7之间的位置关系，同时，实时监控相机示踪器8相对于基准参考示踪器3的空间运动情况，即得到了RGB-D相机7相对于患者患处的空间运动情况，光学跟踪模块据此可以进行修正以更新位置模板。

本发明中，运动跟踪模块根据光流跟踪模块的光流跟踪计算得到相邻帧图像中对应的三维点之间的欧式距离，计算其累加值的平均值，即得到目标椎骨在相邻帧图像之间的运动幅度。

进一步地，运动跟踪模块还可判断目标椎骨在该相邻帧图像之间的运动幅度是否大于前述的设定阈值，在其大于设定阈值时需通过椎骨配准模块重新对目标椎骨的术中影像与目标椎骨的术前影像进行配准。

在本发明中，由于并非每一个二维特征点都有与之对应的三维点，此时，运动跟踪模块可以计算该二维特征点与上一帧图像中与其对应的二维特征点之间的欧式距离进行替换，参与累加。

本发明还提供一种脊柱运动实时跟踪方法，如图5所示，包括步骤：

S1、通过椎骨配准模块对目标椎骨的术中影像与目标椎骨的术前影像进行配准；

S2、采用相机模块采集术中目标椎骨的深度图像和可见光图像，据此设定术区跟踪区域，并根据所述深度图像重建其三维表面点云，即得到术中目标椎骨的三维表面点云；

S3、特征点识别模块对S2得到的目标椎骨的可见光图像进行特征点识别，根据相机模块的参数获取S2得到的术中目标椎骨的三维表面点云中的三维关联点；

S4、光流跟踪模块判断相机模块采集的当前帧图像是否为经S1的配准后的首帧图像；

若是，则将其中可见光图像中的二维特征点及其对应的三维点云中的三维关联点设为对应的位置模板；

否则，将相机模块采集的上一帧图像中可见光图像中的二维特征点及其对应的三维点云中的三维关联点设为对应的位置模板，对相机模块采集的当前帧图像与上一帧图像之间进行光流跟踪；

S5、运动跟踪模块根据S4的光流跟踪计算相邻帧图像之间的运动幅度，即得到目标椎骨的运动幅度。

本发明的相机模块在深度相机基础上增加了可见光相机，在三维表面点云重建的基础上同时获取可见光图像，并在可见光图像上基于二维特征点识别进行光流跟踪，然后以二维特征点直接索引对应的三维点云的空间运动替代椎骨的运动，构建2D-3D协作的跟踪系统。与直接在三维点云上进行骨性特征识别跟踪相比，二维特征点识别跟踪大大降低了计算复杂度，进而保证算法实时性。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

本发明实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种脊柱运动实时跟踪系统，其特征在于，包括：

椎骨配准模块，用于对目标椎骨的术中影像与术前影像进行配准；

相机模块，用于采集配准后术中目标椎骨的深度图像和可见光图像，据此设定术区跟踪区域，根据所述深度图像重建得到术中目标椎骨的三维表面点云；

特征点识别模块，用于对相机模块采集的目标椎骨的可见光图像进行二维特征点识别，并根据相机模块的参数获取术中目标椎骨的三维表面点云中的三维关联点；

光流跟踪模块，用于设定二维特征点及其对应的三维关联点的位置模板，据此对相机模块采集的当前帧图像与上一帧图像之间进行光流跟踪；

若所述相机模块采集的当前帧图像为首次配准或重新配准后的首帧图像，所述光流跟踪模块验证其中与可见光图像中的二维特征点的像素坐标关联的三维点云的对应坐标处是否存在三维关联点，若存在，则认为该三维点有效并将其设置为三维点云中对应三维关联点的位置模板，同时将对应的二维特征点设置为二维特征点的位置模板，二维特征点和三维关联点的位置模板在下次配准前不再更改；

若所述相机模块采集的当前帧图像为首次配准或重新配准后的非首帧图像，则以上一帧图像中的二维特征点及其对应的三维点云中的三维关联点设为对应的位置模板，光流跟踪模块以其上一帧图像中的二维特征点的位置模板为中心，在当前帧图像上的设定大小的搜索区域内进行二维特征点检测，若检测到二维特征点，则表示该二维特征点跟踪成功；

运动跟踪模块，根据光流跟踪模块的光流跟踪计算目标椎骨在相邻帧图像之间的运动幅度，即得到目标椎骨的运动幅度。

2.根据权利要求1所述的脊柱运动实时跟踪系统，其特征在于，还包括光学跟踪模块，其通过光学跟踪单元获取相机模块的位姿，据此在相机模块采集的图像上重新设定术区跟踪区域，并结合光流跟踪模块设定的位置模板更新二维特征点及其对应的三维关联点的位置模板。

3.根据权利要求2所述的脊柱运动实时跟踪系统，其特征在于，所述光流跟踪模块实时获取所述光学跟踪单元与所述相机模块之间的位置关系，根据该位置关系对所述相机模块采集的图像上重新设定术区跟踪区域，同时根据该位置关系更新二维特征点及其对应的三维关联点的位置模板。

4.根据权利要求3所述的脊柱运动实时跟踪系统，其特征在于，所述相机模块与所述光学跟踪单元合二为一，二者刚性连接，则可得所述光学跟踪单元与所述相机模块之间的位置关系；

或，所述相机模块与所述光学跟踪单元相互独立设置，在所述相机模块上安装有相机示踪器，所述光学跟踪单元获取所述相机示踪器的位姿，计算得到光学跟踪单元与所述相机模块之间的位置关系，所述光学跟踪模块实时监控相机示踪器相对于基准参考示踪器的空间运动情况，据此计算相机模块相对于患者患处的空间运动情况，据此更新对应的位置模板。

5.根据权利要求1所述的脊柱运动实时跟踪系统，其特征在于，在患者的目标椎骨上设置若干标记点，获取目标椎骨的术前影像中的标记点；在术中通过导航探针点触目标椎骨上的标记点，椎骨配准模块通过光学跟踪单元获取导航探针上的光学示踪阵列的位置信息，计算得到目标椎骨的术中影像中每个标记点的位置信息，据此对目标椎骨的术中影像与术前影像进行配准。

6.根据权利要求1所述的脊柱运动实时跟踪系统，其特征在于，所述椎骨配准模块的配准包括初次配准和重新配准，所述初次配准为手术开始时的首次配准，所述重新配准是在所述运动跟踪模块判断目标椎骨的运动幅度超过设定阈值后的操作。

7.根据权利要求1所述的脊柱运动实时跟踪系统，其特征在于，所述相机模块在其采集的患者患处的深度图像和可见光图像上框选目标椎骨及其设定范围内的邻近区域作为所述术区跟踪区域。

8.根据权利要求1所述的脊柱运动实时跟踪系统，其特征在于，所述相机模块重建的术中目标椎骨的三维表面点云的点的数量与其可见光图像上的二维点的数量之间的占比大于80%。

9.根据权利要求1所述的脊柱运动实时跟踪系统，其特征在于，所述相机模块基于计算机视觉库，在可见光图像上进行角点检测得到，进而完成对相机模块采集的目标椎骨的可见光图像的二维特征点识别。

10.根据权利要求1所述的脊柱运动实时跟踪系统，其特征在于，所述特征点识别模块获取目标椎骨的可见光图像上存在对应的三维关联点的二维特征点数量，若该数量与目标椎骨的可见光图像上二维特征点的总数的比例低于设定比值，则通过椎骨配准模块重新对目标椎骨的术中影像与术前影像进行配准，直至所述比例高于设定比值。

11.根据权利要求1所述的脊柱运动实时跟踪系统，其特征在于，所述搜索区域设置为以目标椎骨的基准，分别向其上、下、左、右方向外扩k倍形成的运动范围。

12.根据权利要求11所述的脊柱运动实时跟踪系统，其特征在于，所述光流跟踪模块计算成功跟踪二维特征点的个数与上一帧图像中的二维特征点的位置模板的个数之间的比值，在该比值小于设定比例时通过椎骨配准模块重新对目标椎骨的术中影像与术前影像进行配准，直至所述比值高于设定比例。

13.根据权利要求1所述的脊柱运动实时跟踪系统，其特征在于，所述光流跟踪模块对相机模块采集的当前帧图像与上一帧图像之间的光流跟踪采用稀疏光流跟踪。

14.根据权利要求1所述的脊柱运动实时跟踪系统，其特征在于，所述运动跟踪模块根据光流跟踪模块的光流跟踪计算得到相邻帧图像中对应的三维点之间的欧式距离，计算其累加值的平均值，即得到目标椎骨在相邻帧图像之间的运动幅度。

15.根据权利要求14所述的脊柱运动实时跟踪系统，其特征在于，在某一个二维特征点没有与之对应的三维点时，所述运动跟踪模块计算该二维特征点与上一帧图像中与其对应的二维特征点之间的欧式距离进行替换，参与累加。

16.一种基于权利要求1-15任一所述的脊柱运动实时跟踪系统的脊柱运动实时跟踪方法，其特征在于，包括步骤：

S1、椎骨配准模块对目标椎骨的术中影像与术前影像进行配准；

S2、采用相机模块采集术中目标椎骨的深度图像和可见光图像，据此设定术区跟踪区域，并根据所述深度图像重建其三维表面点云，即得到术中目标椎骨的三维表面点云；

S3、特征点识别模块对S2得到的目标椎骨的可见光图像进行特征点识别，根据相机模块的参数获取S2得到的术中目标椎骨的三维表面点云中的三维关联点；

S4、光流跟踪模块判断相机模块采集的当前帧图像是否为经S1的配准后的首帧图像；

若是，则将其中可见光图像中的二维特征点及其对应的三维点云中的三维关联点设为对应的位置模板；

否则，将相机模块采集的上一帧图像中可见光图像中的二维特征点及其对应的三维点云中的三维关联点设为对应的位置模板，对相机模块采集的当前帧图像与上一帧图像之间进行光流跟踪；

S5、运动跟踪模块根据S4的光流跟踪计算目标椎骨在相邻帧图像之间的运动幅度，即得到目标椎骨的运动幅度。