CN114898035A - 基于强化学习的多约束条件下的髓内钉自动匹配方法 - Google Patents

Abstract

本发明公开了一种基于强化学习的多约束条件下的髓内钉自动匹配方法，包括如下步骤：S1、设置交互环境；S2、基于步骤S1设置的交互环境，重新定义髓内钉模型与环境交互时所采取的动作；S3、基于步骤S1的交互环境和步骤S2的动作定义，设计髓内钉模型交互过程中的状态；S4、基于步骤S1的交互环境、步骤S2的动作定义和步骤S3的状态定义，对髓内钉的自动匹配施加多重约束，表现为具有多约束项的奖励函数；S5、基于上述步骤进行髓内钉的迭代匹配。本发明采取医学图像三维重建的方法可以获得精准的骨模型和植入钉结构，在虚拟环境中，借助计算机通过设置相应约束、调整相应权重即可完成髓内钉的自动匹配，可自动获得髓内钉在骨内的最优位置。

Description

基于强化学习的多约束条件下的髓内钉自动匹配方法

技术领域

本发明涉及手术术前规划技术领域，尤其是一种基于强化学习的多约束条件下的髓内钉自动匹配方法。

背景技术

髓内钉植入作为一种外科手术常见金属植入物，在解决骨折特别是长骨骨折方面发挥出不可比拟的优势。髓内钉的植入主要通过植入手术来完成，手术有助于骨折部位的前期恢复，防止二次损伤。

髓内钉植入手术术前需要进行髓内钉位置匹配，髓内钉理想位置的好坏决定着手术的效果和术后病人恢复速度，所以其在整个手术周期中起着举足轻重的作用。传统的术前匹配方法首先需要获取病人骨折部位的影像数据(如CT)，医师根据这些病人的影像数据进行综合研判，评估骨折程度，然后根据骨内皮质具体情况大致确定头钉和主钉的理想位置，接着基于头钉和主钉的位置，利用3D打印的骨模型进行多次手工实验，熟悉手术过程并最终确定最优的入钉深度和位置。

发明内容

本发明所要解决的技术问题在于，提供一种基于强化学习的多约束条件下的髓内钉自动匹配方法，利用强化学习，通过设置多约束条件，根据病人的骨模型自动得出手术后病人的髓内钉最优位置，从而达到指导医生手术、减少医生手工操作、缩短手术周期的目的。

为解决上述技术问题，本发明提供一种基于强化学习的多约束条件下的髓内钉自动匹配方法，包括如下步骤：

S1、设置交互环境；

S2、基于步骤S1设置的交互环境，重新定义髓内钉模型与环境交互时所采取的动作；

S3、基于步骤S1的交互环境和步骤S2的动作定义，设计髓内钉模型交互过程中的状态；

S4、基于步骤S1的交互环境、步骤S2的动作定义和步骤S3的状态定义，对髓内钉的自动匹配施加多重约束，表现为具有多约束项的奖励函数；

S5、基于步骤S1的交互环境、步骤S2的动作定义、步骤S3的状态定义和步骤S4的奖励函数进行髓内钉的迭代匹配。

优选的，步骤S1中，设置交互环境具体为：设置交互时各模型的坐标定义，采取笛卡尔坐标系对骨模型和髓内钉模型进行坐标表示，髓内钉进行匹配时交互的环境即为骨模型。

优选的，步骤S2中，基于步骤S1设置的交互环境，重新定义髓内钉模型与环境交互时所采取的动作具体为：把髓内钉模型视为刚体，执行刚体变换时只需维护一个旋转平移矩阵，而旋转平移需要六个参数，髓内钉在时间步长t时的动作被定义为a_t＝(Δα,Δβ,Δγ,Δt_x,Δt_y,Δt_z)，其中Δα,Δβ,Δγ要采取的旋转动作在x,y,z轴上的三个旋转角，Δt_x,Δt_y,Δt_z为要采取的平移动作在x,y,z轴上的三个平移量，髓内钉模型在与环境交互时能采取的所有动作的集合组成了动作空间A∈R^M。

优选的，步骤S3中，基于步骤S1的交互环境和步骤S2的动作定义，设计髓内钉模型交互过程中的状态具体为：髓内钉模型每次采取动作过后旋转平移的六个参数都会改变，即每次执行动作后进入新状态，初始时髓内钉模型旋转、平移六个参数均为0，所以初态s₀＝(0,0,0,0,0,0)，此后髓内钉在时间步长t的状态为s_t＝(α,β,γ,t_x,t_y,t_z)，其中α,β,γ为相较于初态的三个旋转角，t_x,t_y,t_z为相较于初态的三个平移量，髓内钉模型在与环境交互时能达到的所有状态的集合组成了状态空间S∈R^N。

优选的，步骤S4中，基于步骤S1的交互环境、步骤S2的动作定义和步骤S3的状态定义，对髓内钉的自动匹配施加多重约束，表现为具有多约束项的奖励函数具体为：奖励函数每次迭代可以输出奖励值，奖励值的正负决定了目前髓内钉位置与理想位置的差异，若为正说明逼近理想位置，为负说明在远离；其大小表示当前状态与前一状态相比，髓内钉位置与理想位置的在差异程度上的变化；该奖励函数被定义为三个约束项的加权总和，其中w_i(i＝1,2,3)根据临床数据分析后给出，即

r_t(s_t,a_t)＝-w₁*f_h+w₂*f_m-w₃*f_c

f_h为约束项1，即为头钉约束，为了使头钉尽可能嵌入股骨头理想位置，该约束项定义如下：

其中

为头钉主轴与理想主轴的平均距离，通过在头顶主轴和理想主轴分别随机采样n个点，计算其平均距离来实现，其计算方式如下：

其中d_i4为从两主轴采样得到的点间的距离；

为头钉主轴和理想主轴所成角度，其中

和

分别为两主轴直线的单位向量，其计算方式如下：

f_m为约束2：主钉约束，主钉约束被定义为两个子约束项的加权之和，具体定义如下：

其中

形式上表现为离散化奖励，奖励值由骨髓腔拟合出的曲线L₁与主钉主轴L_h交点个数决定，其具体定义如下：

其中Dum＝0,1,2分别代表L₁与L_h无交点，相切和相交的情况，β由临床经验给出；

为匹配度约束，首先根据经验定义n个关键位置，沿主骨骨髓腔方向对骨模型进行水平方向切片，得到若干横截面，然后对其进行匹配度评估，即皮质组织与主钉重叠面积，其具体计算方法如下：

f_c为约束3：碰撞约束，由于骨髓腔内存在皮质组织，所以在进行主钉的匹配时要尽量避免与皮质相切，其定义如下：

其中f_i定义为

其中v_in表示皮质中所有在主钉内部的点，其判断方式是根据皮质中的每一个点，在主钉中找到它的最邻近点，并且计算出点到其最邻近点之间的向量，通过比较该向量与最邻近点的点法向量的方向判断该点是否在主钉内，其中

需要满足如下不等式：

其中N_tot和N_in分别表示皮质点的总个数和在主钉内部的点个数。通过引入

能够避免由于主钉分布在骨模型体内外点个数的差异造成的偏差。

优选的，步骤S5中，基于步骤S1的交互环境、步骤S2的动作定义、步骤S3的状态定义和步骤S4的奖励函数进行髓内钉的迭代匹配，迭代匹配被定义为一个马尔科夫决策过程(S,A,P,r)，其中S为状态空间，A为动作空间，P为当前状态s_t采取动作a_t转移到下一个状态s_t+1的转移概率，r为其得到的奖励，髓内钉从最初状态s₀＝(0,0,0,0,0,0)出发，与环境不断交互，不断重复离散化学习过程，具体包括如下步骤：

S51、髓内钉首先进行一个初始化操作，将自身和股骨模型进行坐标系上的对齐，最后设置自身初始状态为0；

S52、髓内钉从动作空间A中选取动作a_t＝{Δα,Δβ,Δγ,Δt_x,Δt_y,Δt_z}，髓内钉模型在虚拟环境中执行旋转和平移操作；

S53、髓内钉执行完动作a_t后进入新状态s_t+1＝{α,β,γ,t_x,t_y,t_z}，此时髓内钉位置已发生改变；

S54、根据当前状态和已采取的动作，由奖励函数评估当前髓内钉当前位置并计算得出一个离散化的奖励值r，该奖励值被部署给髓内钉；

S55、髓内钉根据给定奖励值的大小和正负以及与环境交互的结果决定下一步采取的动作，根据得出下次采取的动作进而完成一次迭代；

S56、不断迭代进行上述过程，直至奖励函数的奖励值r最大化，得出髓内钉最优位置，得出髓内钉最优位置后，即可输出入钉位点、入钉角度以及入钉深度信息，至此完成髓内钉的自动匹配。

本发明的有益效果为：本发明采取医学图像三维重建的方法可以获得精准的骨模型和植入钉结构，在虚拟环境中，借助计算机通过设置相应约束、调整相应权重即可完成髓内钉的自动匹配，可自动获得髓内钉在骨内的最优位置，从而达到指导医生手术、减少医生手工操作、缩短手术周期的目的。

附图说明

图1为本发明的方法流程示意图。

图2为本发明的髓内钉最优位置示意图。

具体实施方式

如图1所示，一种基于强化学习的多约束条件下的髓内钉自动匹配方法，包括如下步骤：

S1、设置交互环境；设置交互时各模型的坐标定义，采取笛卡尔坐标系对骨模型和髓内钉模型进行坐标表示，髓内钉进行匹配时交互的环境即为骨模型；

S2、基于步骤S1设置的交互环境，重新定义髓内钉模型与环境交互时所采取的动作；把髓内钉模型视为刚体，执行刚体变换时只需维护一个旋转平移矩阵，而旋转平移需要六个参数，髓内钉在时间步长t时的动作被定义为a_t＝(Δα,Δβ,Δγ,Δt_x,Δt_y,Δt_z)，其中Δα,Δβ,Δγ要采取的旋转动作在x,y,z轴上的三个旋转角，Δt_x,Δt_y,Δt_z为要采取的平移动作在x,y,z轴上的三个平移量，髓内钉模型在与环境交互时能采取的所有动作的集合组成了动作空间A∈R^M；

S3、基于步骤S1的交互环境和步骤S2的动作定义，设计髓内钉模型交互过程中的状态；髓内钉模型每次采取动作过后旋转平移的六个参数都会改变，即每次执行动作后进入新状态，初始时髓内钉模型旋转、平移六个参数均为0，所以初态s₀＝(0,0,0,0,0,0)，此后髓内钉在时间步长t的状态为s_t＝(α,β,γ,t_x,t_y,t_z)，其中α,β,γ为相较于初态的三个旋转角，t_x,t_y,t_z为相较于初态的三个平移量，髓内钉模型在与环境交互时能达到的所有状态的集合组成了状态空间S∈R^N；

S4、基于步骤S1的交互环境、步骤S2的动作定义和步骤S3的状态定义，对髓内钉的自动匹配施加多重约束，表现为具有多约束项的奖励函数；奖励函数每次迭代可以输出奖励值，奖励值的正负决定了目前髓内钉位置与理想位置的差异，若为正说明逼近理想位置，为负说明在远离；其大小表示当前状态与前一状态相比，髓内钉位置与理想位置的在差异程度上的变化；该奖励函数被定义为三个约束项的加权总和，其中w_i(i＝1,2,3)根据临床数据分析后给出，即

r_t(s_t,a_t)＝-w₁*f_h+w₂*f_m-w₃*f_c

f_h为约束项1，即为头钉约束，为了使头钉尽可能嵌入股骨头理想位置，该约束项定义如下：

其中

为头钉主轴与理想主轴的平均距离，通过在头顶主轴和理想主轴分别随机采样n个点，计算其平均距离来实现，其计算方式如下：

其中d_ij为从两主轴采样得到的点间的距离；

为头钉主轴和理想主轴所成角度，其中

和

分别为两主轴直线的单位向量，其计算方式如下：

f_m为约束2：主钉约束，主钉约束被定义为两个子约束项的加权之和，具体定义如下：

其中

形式上表现为离散化奖励，奖励值由骨髓腔拟合出的曲线L₁与主钉主轴L_h交点个数决定，其具体定义如下：

其中Dum＝0,1,2分别代表L₁与L_h无交点，相切和相交的情况，β由临床经验给出；

为匹配度约束，首先根据经验定义n个关键位置，沿主骨骨髓腔方向对骨模型进行水平方向切片，得到若干横截面，然后对其进行匹配度评估，即皮质组织与主钉重叠面积，其具体计算方法如下：

f_c为约束3：碰撞约束，由于骨髓腔内存在皮质组织，所以在进行主钉的匹配时要尽量避免与皮质相切，其定义如下：

其中f_i定义为

其中v_in表示皮质中所有在主钉内部的点，其判断方式是根据皮质中的每一个点，在主钉中找到它的最邻近点，并且计算出点到其最邻近点之间的向量，通过比较该向量与最邻近点的点法向量的方向判断该点是否在主钉内，其中

需要满足如下不等式：

其中N_tot和N_in分别表示皮质点的总个数和在主钉内部的点个数。通过引入

能够避免由于主钉分布在骨模型体内外点个数的差异造成的偏差；

S5、基于步骤S1的交互环境、步骤S2的动作定义、步骤S3的状态定义和步骤S4的奖励函数进行髓内钉的迭代匹配；迭代匹配被定义为一个马尔科夫决策过程(S,A,P,r)，其中S为状态空间，A为动作空间，P为当前状态s_t采取动作a_t转移到下一个状态s_t+1的转移概率，r为其得到的奖励，髓内钉从最初状态s₀＝(0,0,0,0,0,0)出发，与环境不断交互，不断重复离散化学习过程，具体包括如下步骤：

S51、髓内钉首先进行一个初始化操作，将自身和股骨模型进行坐标系上的对齐，最后设置自身初始状态为0；

S52、髓内钉从动作空间A中选取动作a_t＝{Δα,Δβ,Δγ,Δt_x,Δt_y,Δt_z}，髓内钉模型在虚拟环境中执行旋转和平移操作；

S53、髓内钉执行完动作a_t后进入新状态s_t+1＝{α,β,γ,t_x,t_y,t_z}，此时髓内钉位置已发生改变；

S54、根据当前状态和已采取的动作，由奖励函数评估当前髓内钉当前位置并计算得出一个离散化的奖励值r，该奖励值被部署给髓内钉；

S55、髓内钉根据给定奖励值的大小和正负以及与环境交互的结果决定下一步采取的动作，根据得出下次采取的动作进而完成一次迭代；

S56、不断迭代进行上述过程，直至奖励函数的奖励值r最大化，得出髓内钉最优位置，如图2所示，得出髓内钉最优位置后，即可输出入钉位点、入钉角度以及入钉深度信息，至此完成髓内钉的自动匹配。

本发明采取医学图像三维重建的方法可以获得精准的骨模型和植入钉结构，在虚拟环境中，借助计算机通过设置相应约束、调整相应权重即可完成髓内钉的自动匹配，可自动获得髓内钉在骨内的最优位置，从而达到指导医生手术、减少医生手工操作、缩短手术周期的目的。

Claims (6)

1.基于强化学习的多约束条件下的髓内钉自动匹配方法，其特征在于，包括如下步骤：

S1、设置交互环境；

S2、基于步骤S1设置的交互环境，重新定义髓内钉模型与环境交互时所采取的动作；

S3、基于步骤S1的交互环境和步骤S2的动作定义，设计髓内钉模型交互过程中的状态；

S4、基于步骤S1的交互环境、步骤S2的动作定义和步骤S3的状态定义，对髓内钉的自动匹配施加多重约束，表现为具有多约束项的奖励函数；

S5、基于步骤S1的交互环境、步骤S2的动作定义、步骤S3的状态定义和步骤S4的奖励函数进行髓内钉的迭代匹配。

2.如权利要求1所述的基于强化学习的多约束条件下的髓内钉自动匹配方法，其特征在于，步骤S1中，设置交互环境具体为：设置交互时各模型的坐标定义，采取笛卡尔坐标系对骨模型和髓内钉模型进行坐标表示，髓内钉进行匹配时交互的环境即为骨模型。

3.如权利要求1所述的基于强化学习的多约束条件下的髓内钉自动匹配方法，其特征在于，步骤S2中，基于步骤S1设置的交互环境，重新定义髓内钉模型与环境交互时所采取的动作具体为：把髓内钉模型视为刚体，执行刚体变换时只需维护一个旋转平移矩阵，而旋转平移需要六个参数，髓内钉在时间步长t时的动作被定义为a_t＝(Δα,Δβ,Δγ,Δt_x,Δt_y,Δt_z)，其中Δα,Δβ,Δγ要采取的旋转动作在x,y,z轴上的三个旋转角，Δt_x,Δt_y,Δt_z为要采取的平移动作在x,y,z轴上的三个平移量，髓内钉模型在与环境交互时能采取的所有动作的集合组成了动作空间A∈R^M。

4.如权利要求1所述的基于强化学习的多约束条件下的髓内钉自动匹配方法，其特征在于，步骤S3中，基于步骤S1的交互环境和步骤S2的动作定义，设计髓内钉模型交互过程中的状态具体为：髓内钉模型每次采取动作过后旋转平移的六个参数都会改变，即每次执行动作后进入新状态，初始时髓内钉模型旋转、平移六个参数均为0，所以初态s₀＝(0,0,0,0,0,0)，此后髓内钉在时间步长t的状态为s_t＝(α,β,γ,t_x,t_y,t_z)，其中α,β,γ为相较于初态的三个旋转角，t_x,t_y,t_z为相较于初态的三个平移量，髓内钉模型在与环境交互时能达到的所有状态的集合组成了状态空间S∈R^N。

5.如权利要求1所述的基于强化学习的多约束条件下的髓内钉自动匹配方法，其特征在于，步骤S4中，基于步骤S1的交互环境、步骤S2的动作定义和步骤S3的状态定义，对髓内钉的自动匹配施加多重约束，表现为具有多约束项的奖励函数具体为：奖励函数每次迭代可以输出奖励值，奖励值的正负决定了目前髓内钉位置与理想位置的差异，若为正说明逼近理想位置，为负说明在远离；其大小表示当前状态与前一状态相比，髓内钉位置与理想位置的在差异程度上的变化；该奖励函数被定义为三个约束项的加权总和，其中w_i(i＝1,2,3)根据临床数据分析后给出，即

r_t(s_t,a_t)＝-w₁*f_h+w₂*f_m-w₃*f_c

f_h为约束项1，即为头钉约束，为了使头钉尽可能嵌入股骨头理想位置，该约束项定义如下：

其中

为头钉主轴与理想主轴的平均距离，通过在头顶主轴和理想主轴分别随机采样n个点，计算其平均距离来实现，其计算方式如下：

其中3_ij为从两主轴采样得到的点间的距离；

为头钉主轴和理想主轴所成角度，其中

和

分别为两主轴直线的单位向量，其计算方式如下：

f_m为约束2：主钉约束，主钉约束被定义为两个子约束项的加权之和，具体定义如下：

其中

形式上表现为离散化奖励，奖励值由骨髓腔拟合出的曲线L₁与主钉主轴L_h交点个数决定，其具体定义如下：

其中num＝0,1,2分别代表L₁与L_h无交点，相切和相交的情况，β由临床经验给出；

f_m.为匹配度约束，首先根据经验定义n个关键位置，沿主骨骨髓腔方向对骨模型进行水平方向切片，得到若干横截面，然后对其进行匹配度评估，即皮质组织与主钉重叠面积，其具体计算方法如下：

f_c为约束3：碰撞约束，由于骨髓腔内存在皮质组织，所以在进行主钉的匹配时要尽量避免与皮质相切，其定义如下：

其中f_i定义为

其中v_in表示皮质中所有在主钉内部的点，其判断方式是根据皮质中的每一个点，在主钉中找到它的最邻近点，并且计算出点到其最邻近点之间的向量，通过比较该向量与最邻近点的点法向量的方向判断该点是否在主钉内，其中

需要满足如下不等式：

其中N_tot和N_in分别表示皮质点的总个数和在主钉内部的点个数。通过引入

能够避免由于主钉分布在骨模型体内外点个数的差异造成的偏差。

6.如权利要求1所述的基于强化学习的多约束条件下的髓内钉自动匹配方法，其特征在于，步骤S5中，基于步骤S1的交互环境、步骤S2的动作定义、步骤S3的状态定义和步骤S4的奖励函数进行髓内钉的迭代匹配，迭代匹配被定义为一个马尔科夫决策过程(S,A,P,r)，其中S为状态空间，A为动作空间，P为当前状态s_t采取动作a_t转移到下一个状态s_t+1的转移概率，r为其得到的奖励，髓内钉从最初状态s₀＝(0,0,0,0,0,0)出发，与环境不断交互，不断重复离散化学习过程，具体包括如下步骤：

S51、髓内钉首先进行一个初始化操作，将自身和股骨模型进行坐标系上的对齐，最后设置自身初始状态为0；

S52、髓内钉从动作空间A中选取动作a_t＝{Δα,Δβ,Δγ,Δt_x,Δt_y,Δt_z}，髓内钉模型在虚拟环境中执行旋转和平移操作；

S53、髓内钉执行完动作a_t后进入新状态s_t+1＝{α,β,γ,t_x,t_y,t_z}，此时髓内钉位置已发生改变；

S54、根据当前状态和已采取的动作，由奖励函数评估当前髓内钉当前位置并计算得出一个离散化的奖励值r，该奖励值被部署给髓内钉

S55、髓内钉根据给定奖励值的大小和正负以及与环境交互的结果决定下一步采取的动作，根据得出下次采取的动作进而完成一次迭代；

S56、不断迭代进行上述过程，直至奖励函数的奖励值r最大化，得出髓内钉最优位置，得出髓内钉最优位置后，即可输出入钉位点、入钉角度以及入钉深度信息，至此完成髓内钉的自动匹配。

Images