CN119818181A - 基于多模态影像配准的手术路径规划方法及装置 - Google Patents

Abstract

本公开提供一种基于多模态影像配准的手术路径规划方法及装置，所述手术路径规划方法包括：获取目标颅脑结构的多模态影像数据，其中，所述多模态影像数据包括针对所述目标颅脑结构捕获的多个影像，所述多个影像的捕获方式不同；对所述多个影像进行影像配准，得到配准的多模态影像数据；接收用户针对所述配准的多模态影像数据输入的目标位置；基于所述配准的多模态影像数据，对从所述目标颅脑结构的外部到达所述目标位置的路径进行规划，得到规划的手术路径。本公开可以解决术前路径规划耗时且易出错、安全性较低的问题，可以更准确地规划手术路径，提高路径规划的精度和安全性，为操作人员的术前准备提供帮助。

Description

基于多模态影像配准的手术路径规划方法及装置

技术领域

本公开涉及医学影像处理领域及计算机辅助手术规划领域，尤其涉及一种基于多模态影像配准的手术路径规划方法及装置。

背景技术

随着计算机技术的发展，通过计算机对医学影像的分析和处理，可以在术前模拟规划手术路径，借助自动化的路径规划，为手术提供辅助的参考信息，减少手术操作人员在术前准备阶段的计算工作量。

具体来说，在相关技术中，一般是依赖于人员的手工规划，在术前进行手术路径规划，难以全面考虑复杂的解剖结构和功能区分布，规划过程耗时且易出错。此外，在一些自动化的路径规划方案中，仅能利用单一模态的影像数据，无法提供全面的解剖和功能信息，影响了路径规划的精度和安全性。

发明内容

本公开提供一种基于多模态影像配准的手术路径规划方法及装置，以至少解决在相关技术中术前人工路径规划耗时且易出错、自动化路径规划精度和安全性较低的问题。本公开的技术方案如下：

根据本公开的第一方面，提供一种基于多模态影像配准的手术路径规划方法，所述手术路径规划方法包括：获取目标颅脑结构的多模态影像数据，其中，所述多模态影像数据包括针对所述目标颅脑结构捕获的多个影像，所述多个影像的捕获方式不同；对所述多个影像进行影像配准，得到配准的多模态影像数据；接收用户针对所述配准的多模态影像数据输入的目标位置；基于所述配准的多模态影像数据，对从所述目标颅脑结构的外部到达所述目标位置的路径进行规划，得到规划的手术路径。

可选地，通过以下方式得到所述规划的手术路径：在预设的优化条件下，基于所述配准的多模态影像数据，确定在所述目标颅脑结构的外表面上的入颅位置；将所述入颅位置到所述目标位置的直线路径作为所述规划的手术路径，其中，所述优化条件包括以下项中的至少一者：所述入颅位置与所述目标位置之间的路径最短；所述入颅位置与所述目标位置之间的路径的方向垂直于所述目标颅脑结构的颅骨表面；在所述入颅位置处的颅骨厚度最小；所述入颅位置与所述目标位置之间的路径距预设的避让区域的距离最大；所述入颅位置与所述目标位置之间的路径到距预设的途径区域的距离最小；所述入颅位置与所述目标位置之间的路径穿过脑沟区域的深度最小。

可选地，所述优化条件为多个，其中，所述在预设的优化条件下，基于所述配准的多模态影像数据，确定在所述目标颅脑结构的外表面上的入颅位置，包括：基于各优化条件以及与每个优化条件对应的预设权重，构建目标函数，其中，所述目标函数表征利用所述预设权重对入颅位置在各优化条件下的得分加权后求和；针对所述目标颅脑结构的外表面的预设入颅位置区域内的位置，求解所述目标函数的最优解；将所述最优解对应的位置确定为所述入颅位置。

可选地，通过以下方式确定所述从所述入颅位置到所述目标位置的路径与预设的避让区域之间的距离：确定所述入颅位置到所述目标位置的直线路径上的多个中间点；将各中间点到所述避让区域的距离中的最小距离作为所述路径与所述避让区域之间的距离，其中，通过以下方式确定所述从所述入颅位置到所述目标位置的路径与预设的途径区域之间的距离：确定所述入颅位置到所述目标位置的直线路径上的多个中间点；将各中间点到所述途径区域的距离中的最小距离作为所述路径与所述途径区域之间的距离。

可选地，所述多个影像包括CT影像、MRI影像和血管影像，其中，所述手术路径规划方法还包括：基于所述血管影像，确定所述目标颅脑结构的血管表面网格，基于所述血管表面网格，确定所述避让区域；和/或，基于所述CT影像，确定所述目标颅脑结构的颅骨表面网格，基于所述颅骨表面网格，确定所述颅骨表面和所述颅骨厚度；和/或，基于所述MRI影像，确定目标颅脑结构的灰白质表面网格，基于所述灰白质表面网格，确定所述脑沟区域的深度。

可选地，所述多个影像包括CT影像、MRI影像和血管影像，其中，通过以下方式得到配准的多模态影像数据：对所述CT影像与所述MRI影像执行第一影像配准，得到第一配准关系；对所述血管影像与所述MRI影像执行所述第一影像配准，得到第二配准关系；对所述MRI影像与参考脑图谱模板执行第二影像配准，得到第三配准关系；基于所述第一配准关系、所述第二配准关系和所述第三配准关系，得到所述配准的多模态影像数据，其中，通过以下方式执行所述第一影像配准：确定待配准的影像之间的旋转变换量和平移变换量，调整所述旋转变换量和所述平移变换量，使所述待配准的影像之间的相似性最大化，得到所述待配准的影像之间的配准关系；其中，通过以下方式执行所述第二影像配准：确定使所述MRI影像与所述参考脑图谱模板之间的相似性最大化的第一变换关系；确定使所述MRI影像与所述参考脑图谱模板之间的各体素对齐的第二变换关系，基于所述第一变换关系和所述第二变换关系，确定所述第三配准关系，其中，所述第三配准关系表示所述MRI影像与所述参考脑图谱模板的各脑区之间的对应关系。

根据本公开的第二方面，提供一种基于多模态影像配准的手术路径规划装置，所述手术路径规划装置包括：获取单元，被配置为获取目标颅脑结构的多模态影像数据，其中，所述多模态影像数据包括针对所述目标颅脑结构捕获的多个影像，所述多个影像的捕获方式不同；配准单元，被配置为对所述多个影像进行影像配准，得到配准的多模态影像数据；接收单元，被配置为接收用户针对所述配准的多模态影像数据输入的目标位置；规划单元，被配置为基于所述配准的多模态影像数据，对从所述目标颅脑结构的外部到达所述目标位置的路径进行规划，得到规划的手术路径。

根据本公开的第三方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器，其中，所述处理器可执行指令在被所述处理器运行时，促使所述处理器执行根据本公开所述的基于多模态影像配准的手术路径规划方法。

根据本公开的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行根据本公开所述的基于多模态影像配准的手术路径规划方法。

根据本公开的第五方面，提供一种计算机程序产品，包括计算机可执行指令，所述计算机可执行指令被至少一个处理器执行时实现根据本公开所述的基于多模态影像配准的手术路径规划方法。

本公开提供的技术方案至少带来以下有益效果：

根据本公开的基于多模态影像配准的手术路径规划方案，通过对多模态影像数据进行配准，得到配准的多模态影像数据，可以基于配准的多模态影像数据，根据用户输入的目标位置，对从所述目标颅脑结构的外部到达所述目标位置的路径进行规划，如此，可以实现自动化的手术路径规划，并且由于多模态影像数据中可以包含目标颅脑结构的更多信息，因此可以更准确地规划手术路径，提高路径规划的精度和安全性，为操作人员的术前准备提供帮助。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据本公开的示例性实施例的基于多模态影像配准的手术路径规划方法的流程示意图。

图2是根据本公开的示例性实施例的基于多模态影像配准的手术路径规划方法中得到配准的多模态影像数据的步骤的流程示意图。

图3是根据本公开的示例性实施例的基于多模态影像配准的手术路径规划方法中执行第二影像配准的步骤的流程示意图。

图4是根据本公开的示例性实施例的基于多模态影像配准的手术路径规划方法中确定入颅位置的步骤的流程示意图。

图5是根据本公开的示例性实施例的基于多模态影像配准的手术路径规划方法中的预设入颅位置区域的一示例的示意图。

图6是根据本公开的示例性实施例的基于多模态影像配准的手术路径规划方法中影像配准的一应用示例的流程示意图。

图7是根据本公开的示例性实施例的基于多模态影像配准的手术路径规划方法中规划路径的一应用示例的流程示意图。

图8是根据本公开的示例性实施例的基于多模态影像配准的手术路径规划装置的示意性框图。

图9是根据本公开的示例性实施例的电子设备的示意性框图。

具体实施方式

本申请为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

如前所述，在相关技术中，存在术前人工路径规划耗时且易出错、自动化路径规划精度和安全性较低的问题。

一般来说，在现有的影像处理软件中，可能难以直接集成CT、MRI、TOF-MRA等多模态影像数据，操作复杂，容易出错。

此外，在手动路径规划的方案中，不仅耗时费力，而且无法充分、全面地考虑诸如血管避让等安全因素，增加了手术风险。

此外，在现有的一些路径规划算法计算复杂度高，难以实现实时交互，影响了临床和科研应用。

鉴于上述问题，本公开的示例性实施例提出一种基于多模态影像配准的手术路径规划方法及装置、电子设备、计算机可读存储介质以及计算机程序产品，其能够解决或至少缓解上述问题。

在本公开的示例性实施例的第一方面，提供一种基于多模态影像配准的手术路径规划方法。

根据本公开的示例性实施例的手术路径规划方法可以应用于用户与手术路径规划软件进行交互的场景，例如，用户终端上可以加载有手术路径规划软件，用户可以在用户终端上输入手术路径规划指令，用户终端可以通过执行根据本公开的示例性实施例的手术路径规划方法得到最终的手术路径。

上述用户终端可以是诸如平板电脑、笔记本电脑、数字助理、可穿戴设备等，然而，上面方法的实施场景仅是一示例场景，根据本公开的示例性实施例的手术路径规划方法还可以应用于其他应用场景，例如也可以是用户向服务器请求进行手术路径规划，由服务器执行该方法。此外，服务器可以是独立服务器，也可以是服务器集群，还可以是云计算平台或虚拟化中心。

此外，根据本公开的示例性实施例的手术路径规划方法可以应用于诸如犬、猪、猴等大型动物的神经科学理论研究，例如绘制脑图谱、研究神经回路的电生理机制等；还可以应用于诸如颅内手术的人类神经外科手术的术前路径规划，为临床决策提供辅助参考信息；还可以应用于作为医学教育和培训工具，帮助医生和科研人员学习和模拟颅内手术路径规划。此外，该手术路径规划方法的应用场景灵活，可以根据实际需要来应用，例如还可以应用于或者说包含在其他规划方法中，例如可以应用于给药系统的规划方案、电极植入的规划方案。此外，本方法中的影像配准方法还可以应用于诸如脑部肿瘤手术、脑深部刺激等需要精确定位的影像分析和处理领域。

下面将参照图1至图7描述根据本公开实施例的基于多模态影像配准的手术路径规划方法的示例。如图1所示，该手术路径规划方法可以包括以下步骤：

在步骤S110，可以获取目标颅脑结构的多模态影像数据。

这里，多模态影像数据可以包括针对目标颅脑结构捕获的多个影像，多个影像的捕获方式不同。

作为示例，多个影像可以包括CT(Computed Tomography，计算机断层扫描)影像、MRI(Magnetic Resonance Imaging，磁共振成像)影像和血管影像。

这里，CT影像是通过X射线获取诸如颅骨、软组织等的组织或结构内部的影像；MRI影像是利用核磁共振现象获取组织或结构内部的详细影像，例如可以为结构MRI(Structural Magnetic Resonance Imaging，sMRI)影像，其可以提供高分辨率的脑组织结构信息；血管影像可以是血管的结构影像，其例如可以是但不限于TOF-MRA(Time-of-Flight Magnetic Resonance Angiography，飞行时间磁共振血管造影)影像，TOF-MRA影像可以获取诸如颅内的血管的三维结构。

可以通过捕获目标对象的头部的影像，得到上述各影像数据。这里，目标对象例如可以为人体或动物体。CT影像可以涵盖面部和头顶部，其可以提供颅骨和软组织的结构信息；MRI影像可以为T1加权或T2加权影像，其可以提供脑组织的结构信息；诸如TOF-MRA的血管影像可以为血管结构的三维成像。

作为示例，在执行影像配准前，可以对上述多模态影像数据进行预处理。预处理例如可以包括影像方向旋转、影像裁剪等。

例如，该方法还可以包括：接收用户对多模态影像数据中的任意影像的旋转操作；根据该旋转操作指定的旋转中心和旋转角度，对该影像进行旋转。

在本公开的实施例中，用户可以手动对CT影像、MRI影像和/或血管影像进行旋转操作，以确保各影像在解剖方向(例如头-尾、上-下以及左-右三个解剖方向)上保持一致。这里，旋转操作可以是通过手动调整影像来实现，也可以是通过输入旋转中心、旋转轴线和/或旋转角度来实现。

例如，假设接收到用户输入的旋转中心为c＝[c_x,c_y,c_z]^T，旋转轴线为φ，旋转角度为θ，其中，[c_x,c_y,c_z]表示旋转中心的三维坐标，T表示转置，则旋转矩阵可以表示为R_φ(θ)，旋转矩阵的具体形式例如可以通过罗戈里格斯公式求出。在此情况下，设被旋转影像的原方向矩阵为R，原点向量为o，则影像在旋转后的方向矩阵R′可以通过下式(1)来表示：

R′＝R_φ(θ)R (1)

影像在旋转后的原点o′可以通过下式(2)来表示：

o′＝R_φ(θ)(o-c)+c (2)

这里，o′可以表示旋转后的原点向量，类似地，在本文中，粗体的符号可以表示向量。

通过上述影像旋转过程，可以使处理后的影像符合神经科学研究的标准，并且确保后续影像配准的准确性，并且这种影像旋转方法确保了影像在旋转过程中不会引入插值误差，从而保持了原始图像的精度。

此外，在上述过程中，可以通过调整方向矩阵(direction matrix)和原点(origin)来实现影像旋转，在无需对影像进行重采样的情况下即可实现快速、准确的旋转操作，可以保持原始影像的高精度，以有利于提高后续路径规划的精度。

又例如，该方法还可以包括：接收用户针对多模态影像数据中的任意影像的裁剪操作；根据该裁剪操作指定的裁剪方式，对该影像进行裁剪。裁剪方式例如可以包括裁剪尺寸、裁剪形状等。

具体来说，用户可以根据实际需要手动裁剪CT影像、MRI影像和/或血管影像。裁剪的目的例如可以是保留颅骨和脑组织，从而减少后续配准的计算负担，并且可以聚焦于关键的脑部区域。

在步骤S120，可以对多个影像进行影像配准，得到配准的多模态影像数据。

在该步骤中，可以对获取到的原始影像或者通过上述旋转、裁剪等预处理后的影像进行配准，得到配准的多模态影像数据。作为示例，配准可以是指寻找影像之间的映射关系，使一个影像上的每一个点在另一个影像上有唯一的点与之相对应，并且这两点应对应同一解剖位置。

作为示例，在多个影像包括CT影像、MRI影像和血管影像的示例中，如图2所示，可以通过以下方式得到配准的多模态影像数据：

在步骤S210，可以对CT影像与MRI影像执行第一影像配准，得到第一配准关系。

在步骤S220，可以对血管影像与MRI影像执行第一影像配准，得到第二配准关系。

在上述步骤中，例如可以通过以下方式执行第一影像配准：确定待配准的影像之间的旋转变换量和平移变换量，调整旋转变换量和平移变换量，使待配准的影像之间的相似性最大化，得到待配准的影像之间的配准关系。

具体来说，为了确保不同模态影像的空间对齐，可以将CT影像与MRI影像(例如sMRI影像)进行配准，并且可以将血管影像与MRI影像(例如sMRI影像)进行配准。这里，可以通过优化相似性度量S来寻找最优的变换，使两幅影像A,B达到空间上的最佳一致性，旋转变换量例如可以通过旋转矩阵来表示，平移变换量例如可以通过平移向量来表示。例如，第一影像配准可以表示为下式(3)：

其中，R_A→B表示从影像A到B的旋转矩阵，t_A→B表示从影像A到B的平移向量，max表示通过调整旋转矩阵R_A→B和平移向量t_A→B取到相似性度量S的最大值。这里，相似性度量S例如可以为但不限于互信息。

上述配准过程例如可以通过刚体配准的各种算法来实现。具体来说，对于上式(3)，可以通过不断调整旋转矩阵R和平移向量t，找到使相似性度量最大的变换，如此，可以直接将最优的旋转矩阵R和平移向量t应用于图像的方向矩阵和原点坐标，避免了对图像数据的重采样，从而有效防止细节丢失。为了加速配准过程，可以采用图像金字塔技术，从低分辨率到高分辨率逐步优化配准结果。每个层次包含不同的降采样因子和平滑参数，以平衡速度和精度。

在步骤S230，可以对MRI影像与参考脑图谱模板执行第二影像配准，得到第三配准关系。

这里，脑图谱例如可以是标准的大脑解剖和功能分区模型，可映射到个体影像，用于定位和标记脑部区域。参考脑图谱模板可以是预设的标准脑图谱，其可以表征所研究的目标对象所属群体的标准脑图谱。通过将目标对象的颅脑结构的个体MRI影像与该参考脑图谱目标进行配准，可以确保脑图谱的解剖标签能够精确映射到个体空间，从而准确地划分该MRI影像中的各脑部区域。

作为示例，如图3所示，可以通过以下方式执行第二影像配准：

在步骤S310，可以确定使MRI影像与参考脑图谱模板之间的相似性最大化的第一变换关系。

这里，第一变换关系例如可以为仿射变换矩阵。具体来说，可以通过仿射变换，求解最优的仿射变换矩阵T_affjne，使得固定图像(例如目标对象的sMRI影像)和移动图像(例如参考脑图谱模板)之间的相似性度量最大化。仿射变换矩阵T_affine的形式例如可以通过下式(4)来表示：

其中，R₁可以表示n×n(例如3×3)的旋转/剪切/缩放矩阵，t₁＝[t_x,t_y,t_z]^T可以表示平移向量，其中，[t_x,t_y,t_z]表示平移向量在三个坐标轴上的坐标，0表示[0,0,0]。

然而，使MRI影像与参考脑图谱模板之间的相似性最大化的变换方式不限于上述仿射变换方法，相应地，第一变换关系也不限于上述仿射变换矩阵，也可以选择其他变换方法及相应的变换关系。

在步骤S320，可以确定使MRI影像与参考脑图谱模板之间的各体素对齐的第二变换关系。

这里，第一变换关系可以是对MRI影像和参考脑图谱模板之间的整体配准(例如图像级别的配准)，而第二变换关系可以是对MRI影像和参考脑图谱模板之间的细节配准(例如体素级别的配准)。具体来说，在得到第一变换关系后，可以进一步对齐影像的细节。

作为示例，第二变换关系可以是非线性变形场。具体来说，在完成仿射变换之后，可以通过估计非线性形变场对齐MRI影像和参考脑图谱模板之间的细节。如下式(5)所示，形变场可以使用位移向量场D(x)来描述每个体素的非线性变换：

x^′＝x+D(x) (5)

其中，x表示移动图像上任意体素的坐标，x^′表示配准后的移动图像上任意体素的坐标，位移向量场D表示x在解剖学方向上的坐标偏移量，其可以通过诸如Demons算法的优化算法来确定。这里，形变场可以通过诸如Demons算法的优化算法逐步调整每个体素的位移，以使固定图像(例如目标对象的sMRI影像)和移动图像(例如参考脑图谱模板)在细节上对齐。尽管这里描述了将MRI影像作为固定图像、将参考脑图谱模板作为移动图像进行配准的过程，但是本公开的实施例不限于此，也可以将参考脑图谱模板作为固定图像、将MRI影像作为移动图像进行配准，只要能确定二者之间的变换关系即可。

在步骤S330，可以基于第一变换关系和第二变换关系，确定第三配准关系。

这里，第三配准关系可以表示MRI影像与参考脑图谱模板的各脑区之间的对应关系。具体来说，通过上述双重配准过程，可以模板(或者说群体)与个体空间之间的第一变换关系和第二变换关系，得到模板(或者说群体)与个体空间之间的变换。

在该步骤S330中，基于上述第一变换关系和第二变换关系，可以将群体空间(例如参考脑图谱模板)的脑图谱和灰质/白质表面网格映射至个体空间(例如目标颅脑结构的MRI影像)。

具体来说，可以先基于第一变换关系，对目标颅脑结构的MRI影像进行变换，得到第一配准MRI影像；再基于第二变换关系，对第一配准MRI影像进行变换，得到第二配准MRI影像，在第二配准MRI影像中可以标记有脑图谱标签，从而可以基于第二配准MRI影像，确定目标颅脑结构的脑图谱和/或灰质/白质表面网格。在本文中，表面网格可以是指通过顶点和边构成的曲面，以通过该曲面表示相应结构(例如颅骨、血管、灰质、白质、皮肤等)的形态。

例如，可以将模板与个体空间的变形场应用于群体空间的第一脑图谱和第一灰质/白质表面网格，生成个体空间的第二脑图谱和第二灰质/白质表面网格(即目标颅脑结构的脑图谱和灰质/白质表面网格)。例如，可以通过下式(6)来表示第三配准关系：

其中，L_template表示模板空间中的脑图谱标签，T_affine表示诸如仿射变换矩阵的第一变换关系，D_nonlinear表示诸如非线性形变场的第二变换关系，°表示利用变换关系对矩阵进行变换。最终，L_individual表示映射到个体空间的第二脑图谱和第二灰质/白质表面网格。

此外，可选地，在获得了目标颅脑结构的脑图谱后，还可以使用个体脑区划分算法对脑图谱进行微调，获得更加精确的功能区定位。

优选地，个体脑区划分算法例如可以为基于多模态连接的个体分区算法(multimodal connectivity-based individual parcellation，MCIP)。具体来说，个体脑区划分算法包括以下步骤：可以获取目标颅脑结构的功能磁共振成像(fMRI)数据和扩散磁共振成像(dMRI)数据；可以对fMRI数据进行预处理，提取功能时间序列，其中，对fMRI数据进行的预处理例如可以包括但不限于去伪影、切片时间校正、头动校正、sMRI-fMRI配准、标准化和空间滤波等；可以对dMRI数据进行预处理，提取解剖连接谱，其中，对dMRI数据进行的预处理例如可以包括但不限于运动校正、涡流畸变校正、sMRI-dMRI配准、纤维方向估计和概率纤维追踪等；基于功能时间序列(Resting State Timeseries)、解剖连接谱(Anatomical Connectivity Profile)、空间领域信息以及目标颅脑结构的脑图谱，迭代更新目标颅脑结构的脑区划分，从而可以得到更精确的脑区划分结果。

具体来说，MCIP算法可以综合考虑组水平图谱和待分区个体的解剖连接与功能连接信息，目标是最大化各模态下脑区内连接的一致性，同时保证脑区的空间连续性以及个体与组水平图谱之间的相似性。具体来说，该算法融合了功能时间序列、解剖连接谱、顶点的空间连接特性以及第二脑图谱信息，基于图割(graph cuts)算法迭代地求解一个能量函数以实现个体脑区划分。

作为示例，可以通过以下方式迭代更新目标颅脑结构的脑区划分：可以将目标颅脑结构的脑区初始化为组水平图谱；根据目标颅脑结构的当前脑区划分，计算各脑区的平均功能时间序列和平均解剖连接谱，并利用图切割算法最小化能量函数来更新目标颅脑结构的脑区划分，将更新后的脑区划分作为下一次迭代中目标颅脑结构的脑区划分。上述过程可以重复进行，直至脑区划分结果收敛。MCIP算法可以通过融合多模态数据和组水平图谱信息，确保划分结果既体现出解剖和功能连接的一致性，又能捕捉个体特有的脑区特征。

此外，作为示例，在执行上述第二影像配准前，还可以对MRI影像(例如预处理后的MRI影像)执行不均匀场校正，通过执行不均匀场校正，可以消除在核磁共振成像过程中由于磁场不均匀性导致的信号强度不一致问题，从而提高配准精度，确保个体的MRI影像与标准脑图谱模板的空间对齐更加精确。

在步骤S240，可以基于第一配准关系、第二配准关系和第三配准关系，得到配准的多模态影像数据。

例如，可以基于包括CT影像、MRI影像和血管影像在内的多个影像以及第一配准关系、第二配准关系和第三配准关系，得到配准的多模态影像数据。通过这样的配准，可以建立多模态影像之间的对应关系，从而能够对多模态影像各自的信息进行融合，以进行综合的路径规划。

作为示例，可以基于第一配准关系和原始的CT影像，确定配准后的CT影像，例如可以利用第一配准关系对原始的CT影像作变换，得到配准后的CT影像。可以基于第二配准关系和原始的MRI影像，确定配准后的MRI影像，例如可以利用第二配准关系对原始的MRI影像作变换，得到配准后的MRI影像。可以基于第三配准关系和原始的MRI影像，确定与原始的MRI影像对应的脑图谱和/或灰白质表面网格，即目标颅脑结构的脑图谱和/或灰白质表面网格。例如，基于第三配准关系，确定原始的MRI影像上的各脑区的位置，以构建脑图谱和/或灰白质表面网格。

这里，配准后的CT影像、配准后的MRI影像、目标颅脑结构的脑图谱和/或灰白质表面网格可以提供目标颅脑结构的不同方面的信息，从而可以综合这些信息进行后续路径规划。

此外，尽管上面描述了各影像之间的配准的示例过程，但是本公开的实施例不限于此，也可以通过其他方式来实现影像之间的配准，例如也可以采用基于深度学习的配准算法，提高配准速度和自动化程度。

此外，尽管上面按照从步骤S210至步骤S240的顺序描述了配准的过程，但是本公开对各步骤之间的执行顺序不作限制，例如步骤S210、S220和S230的执行顺序可以是任意的，或者可以并行执行。

在步骤S130，可以接收用户针对配准的多模态影像数据输入的目标位置。

作为示例，可以提供供用户输入目标位置的用户交互界面，目标位置例如可以是根据实际需要确定的颅内任意位置。根据本公开的实施例，可以展示多模态影像数据中的MRI影像，可以接收用户在该影像上选择的目标位置，例如，用户可以通过可视化界面，在MRI影像或个体脑图谱上手动选取诸如待执行注射/植入等操作的目标位置。

此外，在本公开的实施例中，也可以自动推荐目标位置，例如，可以基于大数据和人工智能技术，自动推荐最优的目标点(以及下文中将描述的预设入颅位置范围)，减少用户手动操作。

返回参照图1，在步骤S140，可以基于配准的多模态影像数据，对从目标颅脑结构的外部到达目标位置的路径进行规划，得到规划的手术路径。

在获得配准的多模态影像数据以及目标位置后，由于这些影像可以提供多方面的综合信息，因此，可以准确地进行路径规划。

作为示例，在规划路径时，可以遵循一些预设的规划准则或者说优化条件，以自动优化到最优选的路径。配准的多模态影像数据可以用于确定这些规划准则或者说优化条件。

这里，规划准则例如可以包括：距离最短原则，该原则可以最小化手术创伤；垂直于颅骨原则，该原则可以确保在颅钻开孔过程中的稳定性(例如基于下文将描述的颅骨表面网格)；穿过颅骨最薄原则，该原则可以减少对颅骨的损伤(基于颅骨表面网格)；避开血管原则，该原则可以最大程度降低术中出血风险(例如基于下文将描述的血管表面网格)；避开重要脑区原则，该原则可以减少术后神经功能损伤风险(例如基于下文将描述的脑图谱)；设置途经范围区域，该原则可以满足特定实验需求，例如需要穿过预设的颅内区域(例如基于下文将描述的脑图谱)；避开脑沟原则，该原则可以降低损伤微型血管的风险(例如基于下文将描述的第二灰质/白质表面网格)。

在该步骤中，可以通过以下方式得到规划的手术路径：在预设的优化条件下，基于配准的多模态影像数据，确定在目标颅脑结构的外表面上的入颅位置；将入颅位置到目标位置的直线路径作为规划的手术路径。

这里，优化条件可以包括以下项中的至少一者：入颅位置与目标位置之间的路径最短；入颅位置与目标位置之间的路径的方向垂直于目标颅脑结构的颅骨表面；在入颅位置处的颅骨厚度最小；入颅位置与目标位置之间的路径距预设的避让区域的距离最大；入颅位置与目标位置之间的路径到距预设的途径区域的距离最小；入颅位置与目标位置之间的路径穿过脑沟区域的深度最小。

具体来说，可以在用户交互界面中展示多个可选的优化条件，响应于用户选择至少一个优化条件，基于用户选择的优化条件，对从目标颅脑结构的外部到达目标位置的路径进行规划，得到规划的手术路径。

优化条件可以作为评价准则，用于寻找最优的入颅位置。这里，入颅位置与目标位置之间的路径最短可以被称为最短路径准则(L₁)，其优化的目标是最小化入颅位置与目标位置之间的距离，这里，入颅位置与目标位置之间的距离例如可以通过下式(7)来表示：

L₁(p)＝||p-p₀||₂ (7)

其中，p表示入颅位置，p₀表示目标位置，||·||₂表示2-范数(即欧式距离)，L₁(p)表示入颅位置p与目标位置之间的距离，优化的目标是使得该L₁(p)的值最小化。

入颅位置与目标位置之间的路径的方向垂直于目标颅脑结构的颅骨表面可以被称为垂直于颅骨准则(L₂)，其优化的目标是确保诸如手术器械的执行器械在进入颅骨时的稳定性，这里，入颅位置与目标位置之间的距离例如可以通过下式(8)来表示：

其中，n_p表示在颅骨表面上入颅位置p处的法向量，L₂(p)表示入颅位置与目标位置之间的路径的方向与垂直于目标颅脑结构的颅骨表面的方向之间的夹角，优化的目标是使得该L₂(p)的值最小化。

在入颅位置处的颅骨厚度最小可以被称为颅骨最薄准则(L₃)，其优化的目标是选择颅骨厚度最薄的部位入颅，以减少手术难度。这里，在入颅位置处的颅骨厚度例如可以通过下式(9)来表示：

L₃(p)＝||p-S(p，p₀)||₂(9)

其中，S(p，p₀)表示路径(p，p₀)与颅骨内表面的交点，L₃(p)表示在入颅位置处的颅骨厚度，优化的目标是使得该L₃(p)的值最小化。

入颅位置与目标位置之间的路径距预设的避让区域的距离最大可以被称为避开区域准则(L₄)，其优化的目标是避开血管和重要脑区，降低术中风险。

作为示例，可以通过以下方式确定从入颅位置到目标位置的路径与预设的避让区域之间的距离：确定入颅位置到目标位置的直线路径上的多个中间点；将各中间点到避让区域的距离中的最小距离作为路径与避让区域之间的距离。

这里，在入颅位置处的颅骨厚度例如可以通过下式(10)来表示：

其中，SDF_A(·)表示目标避开区域的符号距离函数，A表示目标避让区域，SDF_A为正表示输入点在区域A之外，为负表示输入点在区域A之内，其绝对值表示输入点与区域A边界的最近距离；t_A可以根据实际需要在[0，1]的范围内取值，以用于寻找在入颅位置p与目标位置p₀之间的路径上使得符号距离函数SDF_A(·)最小的点。L₄(p)表示入颅位置与目标位置之间的路径距预设的避让区域的距离的相反数，优化的目标是使得该L₄(p)的值最小化。这里，将入颅位置与目标位置之间的路径距预设的避让区域的距离取相反数，以能够将各优化条件中的优化目标统一(例如，优化目标均为取值最小化或最大化)，简化寻优的计算。

作为示例，可以通过迭代执行以下操作确定各中间点到避让区域的距离中的最小距离：确定当前候选路径上的多个当前采样点；确定所述多个当前采样点中距避让区域的距离最小的当前参考采样点；确定在当前候选路径上包含当前参考采样点(例如以该参考采样点为中心)的第一路径段；根据第一路径段的两个端点各自距避让区域的距离以及当前参考采样点距避让区域的距离，确定第二路径段，其中，第二路径段为第一路径段的两个端点中的一个与当前参考采样点之间的路径；将第二路径段作为下一次迭代的候选路径，直至迭代次数达到预设次数，将最后一次迭代的参考采样点距避让区域的距离作为上述最小距离。这里，在首次迭代时，候选路径为在入颅位置p与目标位置p₀之间的路径。

作为本实施例的优选实施方式，对于一个具体的入颅位置p，采用离散采样结合二分迭代的快速算法求解L₄(p)。该算法与离散采样相比有更好的精度，又能改善单纯的二分迭代陷入局部最小值点而无法达到全局最小值点的缺陷。该算法的实现过程如下：首先，在线段(p，p₀)(即t_A∈[0，1]区间内)上执行均匀采样，具体为将区间[0，1]均匀划分为N(如N＝10)份，获得N+1个采样点，并分别计算各采样点处的L₄值，进而找出使L4取得最小值的t_A，记为t^mid；然后以t^mid为中心，向左右各取一个较小的采样区间作为二分迭代的初始上下限，例如t^low＝t^mid-1/2N，t^high＝t^mid+1/2N，随后计算并比较t^low、t^mid和t^high的L₄。如果t^low的L₄更小，则说明最小值偏向[t^low，t^mid]，则令新的t^high＝t^mid；如果t^high的L₄更小，则说明最小值偏向[t^mid，t^high]，则令新的t^low＝t^mid；否则就表示t^mid的L₄已经比t^low和t^high更小，最小值在中间，则令新的t^low＝(t^low+t^mid)/2，新的＝(t^mid+t^high)/2。通过在上述较小区间内多次重复该过程，可以精确得到L₄的最小值。

入颅位置与目标位置之间的路径到距预设的途径区域的距离最小可以被称为途经区域准则(L₅)，其优化的目标是路径经过特定区域，满足特定的实验需求或者满足经过预设的安全区域。

作为示例，可以通过以下方式确定从入颅位置到目标位置的路径与预设的途径区域之间的距离：确定入颅位置到目标位置的直线路径上的多个中间点；将各中间点到途径区域的距离中的最小距离作为路径与途径区域之间的距离。

这里，入颅位置与目标位置之间的路径到距预设的途径区域的距离例如可以通过下式(11)来表示：

其中，SDF_B(.)表示目标途经区域的符号距离函数，B表示目标途径区域，t_B可以根据实际需要在[0，1]的范围内取值，以用于寻找在入颅位置p与目标位置p₀之间的路径上使得符号距离函数SDF_B(·)最小的点。L₅(p)表示入颅位置与目标位置之间的路径到距预设的途径区域的距离，优化的目标是使得该L₅(p)的值最小化。

作为示例，可以同样采用离散采样结合二分迭代的快速算法求解L₅(p)。具体来说，可以通过迭代执行以下操作确定各中间点到途径区域的距离中的最小距离：确定当前候选路径上的多个当前采样点；确定所述多个当前采样点中距途径区域的距离最小的当前参考采样点；确定在当前候选路径上包含当前参考采样点(例如以该参考采样点为中心)的第一路径段；根据第一路径段的两个端点各自距途径区域的距离以及当前参考采样点距途径区域的距离，确定第二路径段，其中，第二路径段为第一路径段的两个端点中的一个与当前参考采样点之间的路径；将第二路径段作为下一次迭代的候选路径，直至迭代次数达到预设次数，将最后一次迭代的参考采样点距途径区域的距离作为上述最小距离。这里，在首次迭代时，候选路径为在入颅位置p与目标位置p₀之间的路径。

入颅位置与目标位置之间的路径穿过脑沟区域的深度最小可以被称为避开脑沟准则(L₆)，其优化的目标是尽量避开脑沟区域，以减少脑沟区域的微血管损伤风险。这里，入颅位置与目标位置之间的路径穿过脑沟区域的深度例如可以通过下式(12)来表示：

L₆(p)＝SulcDepth(p,p₀) (12)

其中，SulcDepth(p,p₀)表示路径(p,p₀)穿过脑沟的深度。L₆(p)表示入颅位置与目标位置之间的路径穿过脑沟区域的深度，优化的目标是使得该L₆(p)的值最小化。

通过上述方式，可以提供多种优化条件或者说评价准则，从而能够在路径规划过程中设置多重安全约束(例如颅骨厚度、血管距离、脑沟深度等)，使得最终规划的路径更安全、准确，更具有参考价值。

此外，尽管上面以示例的方式描述了若干优化条件，但是本公开的实施例不限于此，也可以增加其他优化条件，例如避开功能核团、考虑脑白质纤维束走向(例如，可以获取dMRI/fMRI数据，将该fMRI/dMRI数据与sMRI数据进行配准，基于配准后的fMRI数据确定功能核团位置，基于配准后的dMRI数据确定脑白质纤维束走向，并确定与功能核团位置或脑白质纤维束走向相关的优化条件)等，以满足更广泛的应用需求。

作为示例，优化条件可以为一个，在此情况下，可以将在该优化条件下的最优解确定为最终的入颅位置，以规划入颅位置到目标位置的路径。

作为另一示例，优化条件可以为多个，在多个优化条件的示例中，如图4所示，可以通过以下方式确定在目标颅脑结构的外表面上的入颅位置：

在步骤S410，可以基于各优化条件以及与每个优化条件对应的预设权重，构建目标函数。

这里，目标函数可以表征利用预设权重对入颅位置在各优化条件下的得分加权后求和。

具体来说，可以为多个优化条件中的每个预设权重，这里，各优化条件的权重可以根据实际需要或者根据经验来设置，例如可以由用户输入。

作为示例，目标函数可以通过下式(13)来表示：

其中，表示第i个优化条件的归一化值，m表示优化条件的总数量，L(p)表示目标函数，总的优化目标是使得该L(p)的值最小化。

在步骤S420，可以针对目标颅脑结构的外表面的预设入颅位置区域内的位置，求解目标函数的最优解。

这里，预设入颅位置区域可以是颅脑结构的外表面上的局部区域，例如可以是用户输入或者预先规定的，通过设置该区域，可以缩小寻找最优解的范围，减小计算量。

作为示例，可以通过以下方式确定该预设入颅位置区域：基于配准的多模态影像数据，确定目标颅脑结构的外表面(例如颅骨的外表面)；基于目标颅脑结构的外表面、目标轴及其取值范围，确定该预设入颅位置区域，其中，该预设入颅位置区域为目标颅脑结构的外表面在该目标轴取值范围内的区域。

这里，可以计算颅骨表面顶点重心c，对于颅骨表面上的多个顶点中的每个顶点p，计算其法向量n_p和指向重心的位移向量p-c，计算法向量与位移向量的转置的乘积(p-c)^Tn_p，响应于该乘积大于0，可以将该顶点p确定为内表面，响应于该乘积小于或等于0，可以将该顶点p确定为外表面。通过对上述多个顶点依次判断其所在的表面为内表面或外表面，可以基于位于外表面上的顶点的集合，确定目标颅脑结构的外表面(例如颅骨的外表面)。

作为示例，目标轴及其取值范围可以是用户输入的，也可以是预先设定的。例如，如图5所示，可以根据目标轴及其取值范围，在目标颅脑结构的外表面上确定该预设入颅位置区域。

具体来说，用户可以在用户交互界面中选择目标轴平面(X/Y/Z)及其取值范围(例如100～200)，在本公开的实施例的方法中，响应于接收到用户输入的目标轴及其取值范围，可以在目标颅脑结构的外表面上筛选出符合条件的颅骨外表面的顶点集合Ω，作为入颅位置的候选范围，即上述预设入颅位置区域。

在该示例中，目标位置和预设入颅位置区域均可以由用户手动输入，例如，用户可以通过用户交互界面，针对配准的多模态影像数据，确定目标位置并且自定义颅骨表面的感兴趣区，作为入颅点自动规划范围(即预设入颅位置区域)。上面描述了确定预设入颅位置区域的示例，返回步骤S420，可以在该预设入颅位置区域内，求解能够得到目标函数的最优解的位置。

作为示例，可以预设多种优化算法(或者说求解器)，用户可以根据需求选择合适的优化算法。响应于接收到用户选择的优化算法，利用所选择的优化算法，求解目标函数的最优解。

这里，预设的优化算法例如可以包括遍历搜索法、Levenberg-Marquardt算法(L-M算法)、模拟退火算法中的至少一者，此外，预设的优化算法例如还可以包括诸如粒子群优化算法(PSO)、遗传算法(GA)等的全局优化算法，以能够进一步提高求解的效率和精度。

具体来说，在遍历搜索法中，可以对候选入颅点集合Ω进行穷举，计算每个入颅点的目标函数值，选取若干最优解。

L-M算法是一种用于解决非线性问题的优化算法，它结合了梯度下降法和高斯-牛顿法的优点，在全局搜索和局部收敛方面具有较好的平衡。L-M算法在初期迭代中类似于梯度下降，能有效避免陷入局部最优，而在接近解时，它会切换为高斯-牛顿法，从而加速收敛。

具体来说，可以在预设入颅位置区域的顶点集合Ω中选择多个初始入颅位置，迭代更新入颅位置，逐步逼近最优解，迭代过程例如可以通过下式(14)表示：

其中，p表示当前步的入颅位置，J是目标函数L(p)的雅可比矩阵，是目标函数的梯度，λ是调节系数，其用于在梯度下降和高斯-牛顿法之间平衡，例如可以预先给定。基于上式(14)执行迭代，若达到最大迭代次数或梯度小于预设阈值，可以终止迭代，输出当前迭代得到的最优解。

这里，Levenberg-Marquardt算法是一种用于非线性最小二乘问题的优化算法，采用该算法，可以结合梯度下降法和高斯-牛顿法二者的优点，更快速、准确地寻优。

模拟退火算法是一种用于全局优化的随机搜索算法，尤其适合解决多峰值、非凸优化问题。模拟退火算法通过引入随机性，在优化过程中允许接受次优解，从而避免陷入局部最优，并最终逼近全局最优解。

具体来说，可以在预设入颅位置区域的顶点集合Ω中均匀采样，选择多个初始入颅位置p₀，其中，p₀∈Ω。对于每个初始入颅位置p₀，可以迭代更新入颅位置p和温度T。

例如，可以通过以下方式进行更新：在入颅位置p当前的邻域随机生成新解p′，并且计算当前入颅位置p与新的入颅位置p′之间的能量差ΔL＝L(p′)-L(p)；若ΔL<0，可以接受新解，否则，可以以预设概率(例如其中，T_i表示当前的温度)接受新解，这里，接受新解可以是指用新的入颅位置替代当前入颅位置。此外，还可以更新温度，例如更新后的温度可以为T_i+1＝αT_i，其中，α为预设更新系数。

基于上述过程执行迭代，若达到最大迭代次数或温度低于阈值，可以终止迭代，否则可以重复执行上述更新过程，直至终止迭代，输出最优解。

这里，由于模拟退火算法是一种模拟物理退火过程的随机优化算法，其适用于求解全局最优解，特别适用于针对这里目标函数的最优解的求解过程。

在步骤S430，可以将最优解对应的位置确定为入颅位置。

在该步骤中，可以将上述最优解所对应的位置作为入颅位置。

通过上述方式，可以得到满足所设定的优化条件的最优入颅位置，以提供更合理、更准确的手术路径。

此外，尽管上面描述了在预设的优化条件下确定入颅位置，但是本公开的实施例不限于此，用户也可以完全手动选择入颅位置，从而可以根据用户选择的入颅位置，基于配准的多模态影像数据，对从入颅位置到达目标位置的路径进行规划，得到规划的手术路径。

在确定入颅位置的情况下，例如可以将从入颅位置到目标位置的直线路径作为最终规划的手术路径。作为示例，最终得到的手术路径可以被导出为手术导航系统可读取的格式，以支持在术中进行参考定位和引导。

上面描述了根据本公开的实施例的手术路径规划的示例过程，下面将详细描述确定各优化条件中的参考位置的示例。

具体来说，如上所述，多个影像可以包括CT影像、MRI影像和血管影像，一方面，可以执行多模态影像数据配准，以建立不同影像之间的对应关系；另一方面，该手术路径规划方法还可以包括：基于多模态影像数据进行表面网格重建，以得到目标颅脑结构的血管表面网格、颅骨表面网格和/或灰白质表面网格。这些网格可以用于确定优化条件中的参考位置，例如避让区域、颅骨表面、颅骨厚度、脑沟区域等。

例如，该手术路径规划方法还可以包括：基于血管影像，确定目标颅脑结构的血管表面网格；基于血管表面网格，确定避让区域。

具体来说，可以基于原始的血管影像或者预处理后的血管影像，进行血管分割，提取目标颅脑结构的颅内血管的三维结构，确定目标颅脑结构的血管表面网格。此外，还可以基于颅内血管的三维结构，生成血管标签，血管标签可以用于标注目标颅脑结构中血管的位置。这里，可以采用现有的血管分割方式进行分割，本公开的实施例对血管的分割方式不作特别限制，例如可以采用诸如U-Net等的图像分割算法实现血管分割，以提高血管分割的准确性。

通过生成血管表面网格，可以获取到目标颅脑结构的颅内血管的位置信息，为路径规划提供精确的解剖结构参考，从而可以在路径规划过程中避开关键血管，降低术中出血的风险。例如，可以基于血管表面网格，确定在优化条件中的避让区域，例如上式(10)中的目标避让区域A，以避开重要血管。

替代地或附加地，该手术路径规划方法还可以包括：基于CT影像，确定目标颅脑结构的颅骨表面网格；基于颅骨表面网格，确定颅骨表面和颅骨厚度。

这里，由于CT影像中可以包含皮肤表面信息和骨骼信息，因此，可以基于CT影像重建目标颅脑结构的皮肤表面网格和/或颅骨表面网格。

这里，可以通过对CT影像进行骨骼分割，确定颅骨的位置和厚度，以得到颅骨表面网格。颅骨表面网格可以为路径规划提供精确的解剖结构参考，例如，可以基于颅骨表面网格，确定在优化条件中的颅骨表面和颅骨厚度，例如确定上式(9)中的颅骨厚度、以及用于确定入颅位置的颅骨表面。此外，皮肤表面网格能够在后续手术中用于导航实现影像-物理空间对齐。

在上述过程中，可以采用现有的骨骼分割方式进行骨骼分割，本公开的实施例对CT影像的分割方式不作特别限制，例如可以采用现有的图像分割算法对CT影像进行骨骼分割，得到颅骨表面网格。

替代地或附加地，该手术路径规划方法还可以包括：基于MRI影像，确定目标颅脑结构的灰白质表面网格；基于灰白质表面网格，确定脑沟区域的深度。

这里，可以利用诸如FreeSurfer等软件提取目标颅脑结构的灰白质表面网格，灰白质表面网格可以用于计算脑沟深度，例如，可以确定上式(12)中的脑沟区域的深度。

此外，还可以基于MRI影像，确定目标颅脑结构的脑图谱，例如，可以通过MRI影像与参考脑图谱模板进行影像配准得到，或者可以基于fMRI/dMRI的个体脑区划分算法获得。

通过上述方式，本公开的实施例的手术路径规划方法可以整合诸如sMRI结构像、CT颅骨数据、血管成像(例如TOF-MRA)数据、个体化脑图谱的多模态影像，定义路径规划所需的多模态输入数据(例如sMRI、颅骨表面网格、血管表面网格等)，从而可以实现综合、全面的路径规划方案。

根据本公开的实施例的手术路径规划方法，可以结合多模态影像数据，基于用户手动确定的优化条件和每个优化条件的重要性权重，自动规划一个或多个候选路径，并且这些路径可以通过三维可视化的用户交互界面向用户提供实时预览，并支持用户根据专业经验对路径进行进一步的校正和优化。

具体来说，在执行本公开的实施例的手术路径规划方法的过程中，可以实时显示规划的手术路径，以供用户在三维空间中观察入颅位置、目标位置和路径。响应于用户对所显示的手术路径的编辑操作，可以调整和优化手术路径，如此，可以在实现自动化路径规划的同时，还支持专家经验介入，以提高最终生成的路径的可靠性和准确性。

下面将分别参照图6和图7描述根据本公开的示例性实施例的基于多模态影像配准的手术路径规划方法中影像配准过程和规划路径过程的应用示例。

如图6所示，在步骤S601，可以读取多模态影像数据，例如第一CT影像、第一sMRI影像和第一TOF-MRA影像。在步骤S602，可以接收用户对第一CT、第一sMRI影像和第一TOF-MRA影像的手动旋转操作，以将各影像旋转至正确的解剖方向。在步骤S603，可以接收用户对第一CT影像、第一sMRI影像和第一TOF-MRA影像的手动裁剪操作，得到裁剪后的第二CT影像、第二sMRI影像和第二TOF-MRA影像。这里，步骤S602和步骤S603为可选步骤，也可以不执行旋转和裁剪。

在步骤S604，可以针对当前的个体执行跨模态影像配准，例如可以执行第二CT影像至第二sMRI影像的影像配准、第二TOF-MRA影像至第二sMRI影像的影像配准，例如分别得到相应的影像变换关系。

在步骤S605，可以基于第二CT影像，重建颅骨表面网格，可选地，还可以重建皮肤表面网格。

在步骤S606，可以基于第二TOF-MRA影像，进行血管分割，得到血管标签；在步骤S607，可以基于血管标签，重建血管表面网格。

可选地，在步骤S608，可以对第二sMRI影像进行不均匀场校正。

在步骤S609，可以对第二sMRI影像与参考脑图谱模板进行影像配准，从而基于位于群体空间(对应于参考脑图谱模板)的第一脑图谱和第一灰质/白质表面网格，得到位于个体空间(对应于第二sMRI影像)的第二脑图谱和第二灰质/白质表面网格。

在步骤S610，可以基于第二脑图谱和第二sMRI影像，接收用户手动输入的目标位置(或者说目标点)，并且在步骤S611，还可以接收用户手动定义的颅骨表面的感兴趣区域作为入颅位置自动规划的范围。

在步骤S612，可以基于颅骨表面网格、血管表面网格和第二灰质/白质表面网格，通过用户手动确定的评价准则(即上述优化条件)和每个评价准则的重要性权重，自动规划一个或多个候选路径，例如确定入颅位置。

在步骤S613，可以接收用户对候选路径的选择和/或微调，并且保存最终规划的手术路径。

如图7所示，在步骤S701，可以通过上述影像配准，确定个体脑图谱(例如上述第二脑图谱)和sMRI影像(例如上述第二sMRI影像)；在步骤S702，可以接收用户针对个体脑图谱和sMRI影像选择的目标位置，并且在步骤S703，可以接收用户设定的评价准则(即上述优化条件)及其权重。

这里，评价准则例如可以包括最短路径准则、垂直于颅骨准则、穿过颅骨最薄准则、避开血管和/或特定区域准则、途径特定区域准则、避开脑沟准则等，其中，参考上面图6中的影像配准的结果，垂直于颅骨准则和穿过颅骨最薄准则可以基于颅骨表面网格来确定，避开血管和/或特定区域准则可以基于血管表面网格和个体脑图谱来确定，途径特定区域准则可以基于个体脑图谱来确定，避开脑沟准则可以基于灰质/白质表面网格来确定。

基于设定的评价准则及其权重、在步骤S704中识别的颅骨外表面以及在步骤S705中接收的用户选择的入颅位置范围，利用在步骤S706中接收的用户选择的求解器，通过求解器优化目标函数，得到多个候选路径。在步骤S707中，可以接收用户挑选的路径以及用户对路径的调整和优化，以得到最终规划的路径。

根据本公开的实施例的手术路径规划方法，可以利用诸如结构磁共振影像(sMRI)、CT、TOF-MRA等多种医学影像数据，提供全面的解剖和功能信息，例如得到颅骨表面网格(由CT影像生成)、血管表面网格(由TOF-MRA或其他血管成像技术生成)等影像数据，实现多模态影像数据的融合，支持高精度的路径规划。

此外，根据本公开的实施例的手术路径规划方法，可以综合考虑距离最短、垂直于颅骨、颅骨最薄、避开血管和重要脑区、途经特定区域、避开脑沟等多项优化条件，使得最终得到的路径有助于提高手术的安全性、成功率和效率。此外，该方法还允许用户根据需求调整各准则权重，实现个性化路径规划。

此外，根据本公开的实施例的手术路径规划方法，可以采用Levenberg-Marquardt算法、模拟退火算法等高效优化方法，实现快速、准确的路径规划，生成最优路径，满足实时交互需求。

此外，根据本公开的实施例的手术路径规划方法，还可以提供友好、直观的三维可视化用户界面，支持目标位置和入颅位置范围的手动选择，并且支持实时预览和调整规划结果，提升用户体验和控制。

此外，根据本公开的实施例的手术路径规划方法，在多模态影像配准过程中，通过直接调整影像的方向矩阵和原点，实现高精度的影像配准，保留了原始影像的细节信息，无需进行重采样，确保影像高精度对齐，避免了精度损失的问题。

此外，根据本公开的实施例的手术路径规划方法，可以实现端对端的工作流，具体来说，可以从多模态影像的读取、处理、配准到路径规划，形成一套完整的自动化流程，减少了人工干预和操作复杂性，提高了工作效率。

根据本公开的实施例的手术路径规划方法涉及神经科学、医学影像处理和计算机辅助手术规划领域，尤其是针对大型动物实验等颅内给药和植入手术的术前路径规划方法。该方法通过集成多模态脑影像(例如CT、MRI、TOF-MRA等)，实现了高精度的脑部结构配准与个性化手术路径规划，综合考虑多项评价准则，自动生成最优的手术路径，提高了手术的精度和安全性。

根据本公开的实施例的第二方面，提供一种基于多模态影像配准的手术路径规划装置，如图8所示，该手术路径规划装置可以包括获取单元、配准单元、接收单元和规划单元。

获取单元810被配置为获取目标颅脑结构的多模态影像数据，其中，多模态影像数据包括针对目标颅脑结构捕获的多个影像，多个影像的捕获方式不同。

配准单元820被配置为对多个影像进行影像配准，得到配准的多模态影像数据。

接收单元830被配置为接收用户针对配准的多模态影像数据输入的目标位置。

规划单元840被配置为基于配准的多模态影像数据，对从目标颅脑结构的外部到达目标位置的路径进行规划，得到规划的手术路径。

作为示例，规划单元840还被配置为通过以下方式得到规划的手术路径：在预设的优化条件下，基于配准的多模态影像数据，确定在目标颅脑结构的外表面上的入颅位置；将入颅位置到目标位置的直线路径作为规划的手术路径，其中，优化条件包括以下项中的至少一者：入颅位置与目标位置之间的路径最短；入颅位置与目标位置之间的路径的方向垂直于目标颅脑结构的颅骨表面；在入颅位置处的颅骨厚度最小；入颅位置与目标位置之间的路径距预设的避让区域的距离最大；入颅位置与目标位置之间的路径到距预设的途径区域的距离最小；入颅位置与目标位置之间的路径穿过脑沟区域的深度最小。

作为示例，优化条件为多个，其中，规划单元840还被配置为：基于各优化条件以及与每个优化条件对应的预设权重，构建目标函数，其中，目标函数表征利用预设权重对入颅位置在各优化条件下的得分加权后求和；针对目标颅脑结构的外表面的预设入颅位置区域内的位置，求解目标函数的最优解；将最优解对应的位置确定为入颅位置。

作为示例，规划单元840还被配置为通过以下方式确定从入颅位置到目标位置的路径与预设的避让区域之间的距离：确定入颅位置到目标位置的直线路径上的多个中间点；将各中间点到避让区域的距离中的最小距离作为路径与避让区域之间的距离，其中，通过以下方式确定从入颅位置到目标位置的路径与预设的途径区域之间的距离：确定入颅位置到目标位置的直线路径上的多个中间点；将各中间点到途径区域的距离中的最小距离作为路径与途径区域之间的距离。

作为示例，多个影像包括CT影像、MRI影像和血管影像，其中，手术路径规划装置还包括表面网格确定单元，表面网格确定单元被配置为：基于血管影像，确定目标颅脑结构的血管表面网格，基于血管表面网格，确定避让区域；和/或，基于CT影像，确定目标颅脑结构的颅骨表面网格，基于颅骨表面网格，确定颅骨表面和颅骨厚度；和/或，基于MRI影像，确定目标颅脑结构的灰白质表面网格，基于灰白质表面网格，确定脑沟区域的深度。

作为示例，多个影像包括CT影像、MRI影像和血管影像，配准单元820还被配置为通过以下方式得到配准的多模态影像数据：对CT影像与MRI影像执行第一影像配准，得到第一配准关系；对血管影像与MRI影像执行第一影像配准，得到第二配准关系；对MRI影像与参考脑图谱模板执行第二影像配准，得到第三配准关系；基于第一配准关系、第二配准关系和第三配准关系，得到配准的多模态影像数据，其中，通过以下方式执行第一影像配准：确定待配准的影像之间的旋转变换量和平移变换量，调整旋转变换量和平移变换量，使待配准的影像之间的相似性最大化，得到待配准的影像之间的配准关系；其中，通过以下方式执行第二影像配准：确定使MRI影像与参考脑图谱模板之间的相似性最大化的第一变换关系；确定使MRI影像与参考脑图谱模板之间的各体素对齐的第二变换关系，基于第一变换关系和第二变换关系，确定第三配准关系，其中，第三配准关系表示MRI影像与参考脑图谱模板的各脑区之间的对应关系。

关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，训练系统可以根据上面第一方面和第二方面的方法实施例执行所述方法中的相应步骤，此处将不做详细阐述说明。

图9是根据本公开的示例性实施例的电子设备的框图。如图9所示，电子设备10包括处理器101和用于存储处理器可执行指令的存储器102。这里，处理器可执行指令在被处理器运行时，促使处理器执行如上述示例性实施例所述的影像分割模型的训练方法或影像分割方法。

作为示例，电子设备10并非必须是单个的设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备10还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的服务器。

在电子设备10中，处理器101可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器101还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理器101可运行存储在存储器102中的指令或代码，其中，存储器102还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

存储器102可与处理器101集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器102可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器102和处理器101可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器101能够读取存储在存储器102中的文件。

此外，电子设备10还可以包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备10的所有组件可经由总线和/或网络而彼此连接。

在示例性实施例中，还可提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述示例性实施例所述的影像分割模型的训练方法或影像分割方法。计算机可读存储介质例如可以是包括指令的存储器，可选地，计算机可读存储介质可以是：只读存储器(ROM)、随机存取存储器(RAM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品包括计算机可执行指令，计算机可执行指令被至少一个处理器执行时实现根据本公开的示例性实施例的影像分割模型的训练方法或影像分割方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

此外，还需要说明的是，尽管上面参照具体附图描述了各步骤的若干示例，但是应理解的是，本公开的实施方式不限于示例中给出的组合，不同附图中出现的步骤可以相结合，并且可以改变各步骤的执行顺序，在此不作出穷举。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于多模态影像配准的手术路径规划方法，其特征在于，所述手术路径规划方法包括：

获取目标颅脑结构的多模态影像数据，其中，所述多模态影像数据包括针对所述目标颅脑结构捕获的多个影像，所述多个影像的捕获方式不同；

对所述多个影像进行影像配准，得到配准的多模态影像数据；

接收用户针对所述配准的多模态影像数据输入的目标位置；

基于所述配准的多模态影像数据，对从所述目标颅脑结构的外部到达所述目标位置的路径进行规划，得到规划的手术路径。

2.根据权利要求1所述的手术路径规划方法，其特征在于，通过以下方式得到所述规划的手术路径：

在预设的优化条件下，基于所述配准的多模态影像数据，确定在所述目标颅脑结构的外表面上的入颅位置；

将所述入颅位置到所述目标位置的直线路径作为所述规划的手术路径，

其中，所述优化条件包括以下项中的至少一者：

所述入颅位置与所述目标位置之间的路径最短；

所述入颅位置与所述目标位置之间的路径的方向垂直于所述目标颅脑结构的颅骨表面；

在所述入颅位置处的颅骨厚度最小；

所述入颅位置与所述目标位置之间的路径距预设的避让区域的距离最大；

所述入颅位置与所述目标位置之间的路径到距预设的途径区域的距离最小；

所述入颅位置与所述目标位置之间的路径穿过脑沟区域的深度最小。

3.根据权利要求2所述的手术路径规划方法，其特征在于，所述优化条件为多个，其中，所述在预设的优化条件下，基于所述配准的多模态影像数据，确定在所述目标颅脑结构的外表面上的入颅位置，包括：

基于各优化条件以及与每个优化条件对应的预设权重，构建目标函数，其中，所述目标函数表征利用所述预设权重对入颅位置在各优化条件下的得分加权后求和；

针对所述目标颅脑结构的外表面的预设入颅位置区域内的位置，求解所述目标函数的最优解；

将所述最优解对应的位置确定为所述入颅位置。

4.根据权利要求2或3所述的手术路径规划方法，其特征在于，通过以下方式确定所述从所述入颅位置到所述目标位置的路径与预设的避让区域之间的距离：

确定所述入颅位置到所述目标位置的直线路径上的多个中间点；

将各中间点到所述避让区域的距离中的最小距离作为所述路径与所述避让区域之间的距离，

其中，通过以下方式确定所述从所述入颅位置到所述目标位置的路径与预设的途径区域之间的距离：

确定所述入颅位置到所述目标位置的直线路径上的多个中间点；

将各中间点到所述途径区域的距离中的最小距离作为所述路径与所述途径区域之间的距离。

5.根据权利要求2所述的手术路径规划方法，其特征在于，所述多个影像包括CT影像、MRI影像和血管影像，其中，所述手术路径规划方法还包括：

基于所述血管影像，确定所述目标颅脑结构的血管表面网格，

基于所述血管表面网格，确定所述避让区域；

和/或，

基于所述CT影像，确定所述目标颅脑结构的颅骨表面网格，

基于所述颅骨表面网格，确定所述颅骨表面和所述颅骨厚度；

和/或，

基于所述MRI影像，确定目标颅脑结构的灰白质表面网格，

基于所述灰白质表面网格，确定所述脑沟区域的深度。

6.根据权利要求1所述的手术路径规划方法，其特征在于，所述多个影像包括CT影像、MRI影像和血管影像，

其中，通过以下方式得到配准的多模态影像数据：

对所述CT影像与所述MRI影像执行第一影像配准，得到第一配准关系；

对所述血管影像与所述MRI影像执行所述第一影像配准，得到第二配准关系；

对所述MRI影像与参考脑图谱模板执行第二影像配准，得到第三配准关系；

基于所述第一配准关系、所述第二配准关系和所述第三配准关系，得到所述配准的多模态影像数据，

其中，通过以下方式执行所述第一影像配准：确定待配准的影像之间的旋转变换量和平移变换量，调整所述旋转变换量和所述平移变换量，使所述待配准的影像之间的相似性最大化，得到所述待配准的影像之间的配准关系；

其中，通过以下方式执行所述第二影像配准：

确定使所述MRI影像与所述参考脑图谱模板之间的相似性最大化的第一变换关系；

确定使所述MRI影像与所述参考脑图谱模板之间的各体素对齐的第二变换关系，

基于所述第一变换关系和所述第二变换关系，确定所述第三配准关系，其中，所述第三配准关系表示所述MRI影像与所述参考脑图谱模板的各脑区之间的对应关系。

7.一种基于多模态影像配准的手术路径规划装置，其特征在于，所述手术路径规划装置包括：

获取单元，被配置为获取目标颅脑结构的多模态影像数据，其中，所述多模态影像数据包括针对所述目标颅脑结构捕获的多个影像，所述多个影像的捕获方式不同；

配准单元，被配置为对所述多个影像进行影像配准，得到配准的多模态影像数据；

接收单元，被配置为接收用户针对所述配准的多模态影像数据输入的目标位置；

规划单元，被配置为基于所述配准的多模态影像数据，对从所述目标颅脑结构的外部到达所述目标位置的路径进行规划，得到规划的手术路径。

8.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器，

其中，所述处理器可执行指令在被所述处理器运行时，促使所述处理器执行根据权利要求1至6中任一项所述的基于多模态影像配准的手术路径规划方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行根据权利要求1至6中任一项所述的基于多模态影像配准的手术路径规划方法。

10.一种计算机程序产品，包括计算机可执行指令，其特征在于，所述计算机可执行指令被至少一个处理器执行时实现根据权利要求1至6中任一项所述的基于多模态影像配准的手术路径规划方法。