CN118398162A - 术前虚拟模型的位姿确定方法、显示方法及系统 - Google Patents

Abstract

本申请公开一种术前虚拟模型的位姿确定方法及系统、术前虚拟模型的显示方法及系统、AR设备、计算机设备、计算机可读存储介质、以及计算机程序产品，所述位姿确定方法包括以下步骤：获取AR设备所采集的待重建数据；其中，所述待重建数据中包括标定件的图像数据和患者的待手术部位的图像数据；利用所获取的待重建数据进行三维重建，以获得标定件重建模型和待手术部位重建模型，并在重建坐标系下确定所述标定件重建模型和待手术部位重建模型的相对位姿；根据标定件在世界坐标系下的位姿以及所确定的相对位姿，确定术前虚拟模型在所述世界坐标系下的位姿，以供所述AR设备将所述术前虚拟模型和真实场景进行虚实叠加显示。

Description

术前虚拟模型的位姿确定方法、显示方法及系统

技术领域

本申请涉及医学数据处理技术领域，尤其涉及一种术前虚拟模型的位姿确定方法及系统、术前虚拟模型的显示方法及系统、AR设备、计算机设备、计算机可读存储介质、以及计算机程序产品。

背景技术

AR技术的快速发展，使其在各个领域都有着广泛应用。例如，在AR辅助医生手术领域，通常利用患者的术前CT等扫描数据来生成术前虚拟模型(例如，人体的腿部骨骼模型、人体的脑部模型等)，并通过医生佩戴的AR设备将术前虚拟模型和手术场景共同叠加显示在医生眼前。

但是，目前通常是通过术中的X光机拍摄的包括患者的X光图像和X光机的内外参数来对患者在世界坐标下的位姿进行计算，进而控制AR显示设备对患者的术前虚拟模型进行显示。但是，在手术场景下如果医生调整一次X光机(例如由冠状面拍摄角度调整至矢状面拍摄角度)后，则需要等待X光机进行重新标定后再进行术前虚拟模型显示，而后再进行手术，如此会大大降低医生的手术效率。所以，在手术场景下如何快速地对术前虚拟模型和真实场景进行叠加显示是亟待解决的技术问题。

发明内容

鉴于以上所述相关技术的缺点，本申请的目的在于提供一种术前虚拟模型的位姿确定方法、显示方法及系统、AR设备、计算机设备、计算机可读存储介质、以及计算机程序产品，以解决在手术场景下如何快速地对术前虚拟模型和真实场景进行叠加显示的技术问题。

为实现上述目的及其他相关目的，本申请第一方面提供一种术前虚拟模型的位姿确定方法，包括以下步骤：获取AR设备所采集的待重建数据；其中，所述待重建数据中包括标定件的图像数据和患者的待手术部位的图像数据；利用所获取的待重建数据进行三维重建，以获得标定件重建模型和待手术部位重建模型，并在重建坐标系下确定所述标定件重建模型和待手术部位重建模型的相对位姿；根据标定件在世界坐标系下的位姿以及所确定的相对位姿，确定术前虚拟模型在所述世界坐标系下的位姿，以供所述AR设备将所述术前虚拟模型和真实场景进行虚实叠加显示。

本申请第二方面提供一种术前虚拟模型的显示方法，应用于AR设备，包括以下步骤：获取根据如本申请第一方面公开的任一实施例所述的术前虚拟模型的位姿确定方法所确定的术前虚拟模型在世界坐标系下的位姿；控制所述AR设备的显示装置将术前虚拟模型和真实场景进行虚实叠加显示。

本申请第三方面提供一种术前虚拟模型的位姿确定系统，所述位姿确定系统包括：获取模块，用于获取AR设备所采集的待重建数据；其中，所述待重建数据中包括标定件的图像数据和患者的待手术部位的图像数据；相对位姿确定模块，用于利用所获取的待重建数据进行三维重建，以获得标定件重建模型和待手术部位重建模型并确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿；模型位姿确定模块，用于根据所确定的相对位姿和标定件在世界坐标系下的位姿，确定术前虚拟模型在所述世界坐标系下的位姿，以供所述AR设备将所述术前虚拟模型和真实场景进行虚实叠加显示。

本申请第四方面提供一种术前虚拟模型的显示系统，应用于AR设备，所述显示系统包括：位姿获取模块，用于获取根据如本申请第三方面公开的实施例所述的术前虚拟模型的位姿确定系统所确定的术前虚拟模型在世界坐标系下的位姿；显示模块，用于控制所述AR设备中的显示装置将术前虚拟模型和真实场景进行虚实叠加显示。

本申请第五方面提供一种AR设备，包括：视觉传感系统，用于采集待重建数据；其中，所述待重建数据中包括标定件的图像数据和患者的待手术部位的图像数据；存储装置，用于存储至少一个程序；处理装置，与所述存储装置、显示装置、以及视觉传感系统相连，用于自所述存储装置中调用所述至少一个程序并执行时实现如本申请第二方面公开的实施例所述的术前虚拟模型的显示方法、或实现如本申请第一方面公开的任一实施例所述的术前虚拟模型的位姿确定方法；显示装置，用于将术前虚拟模型和真实场景进行虚实叠加显示。

本申请的第六方面提供一种计算机设备，包括：存储装置，用于存储至少一个程序；处理装置，与所述存储装置相连，用于自所述存储装置中调用所述至少一个程序并执行时实现如本申请第一方面公开的任一实施例所述的术前虚拟模型的位姿确定方法。

本申请的第七方面提供一种计算机可读存储介质，存储至少一种程序，所述至少一种程序在被调用时执行并实现如本申请第一方面公开的任一实施例所述的术前虚拟模型的位姿确定方法或者如本申请第二方面公开的任一实施例所述的术前虚拟模型的显示方法。

本申请的第八方面提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如本申请第一方面公开的任一实施例所述的术前虚拟模型的位姿确定方法或者如本申请第二方面公开的任一实施例所述的术前虚拟模型的显示方法。

综上所述，本申请提供的术前虚拟模型的位姿确定方法、显示方法及系统、AR设备、计算机设备、计算机可读存储介质、以及计算机程序产品，直接通过AR设备所采集的标定件的图像数据和患者的待手术部位的图像数据来进行三维重建，通过在重建坐标系下确定所述标定件重建模型和待手术部位重建模型的相对位姿以及标定件在世界坐标系下的位姿来确定所述术前虚拟模型在世界坐标系下的位姿，进而使得所述AR设备可以基于所确定的位姿将所述术前虚拟模型和真实场景进行虚实叠加显示；如此，避免了需要在手术场景下等待X光机标定后再进行待手术部位和标定件之间的相对位姿的确定，实现了在手术场景下快速地对虚拟模型和真实场景进行叠加显示，提高了AR辅助医生手术的效率，进而也提高了手术效率。

附图说明

通过参考下文中详细描所述的示例性实施方式和附图能够更好地理解本申请所涉及发明的特点和优势。对附图简要说明如下：

图1显示为本申请在一实施例中的AR设备的结构示意图。

图2显示为本申请在一实施例中术前虚拟模型的位姿确定方法的流程示意图。

图3显示为本申请的术前虚拟模型的位姿确定方法中获得标定件重建模型和待手术部位重建模型的步骤在一实施例中的流程示意图。

图4显示为本申请在一实施例中的术前虚拟模型的显示方法的流程示意图。

图5显示为本申请在一实施例中的术前虚拟模型的位姿确定系统的结构框图。

图6显示为本申请在一实施例中的术前虚拟模型的显示系统的结构框图。

图7显示为本申请在一实施例中的计算机设备的结构示意图。

图8显示为本申请在一实施例中虚实叠加的效果图。

具体实施方式

以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。

下面结合附图及具体实施方式对本申请作进一步详细的说明。对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本说明书全文所提到的“一种实施方式”、“实施方式”或类似的措辞意味着与实施方式一起描述的特定的特征、结构或特点包括在本申请的至少一种实施方式中。因此，在本说明书全文中，短语“在一种实施方式中”、“在实施方式中”及类似措辞的出现可(但未必)涉及同一实施方式。

如背景技术中所述，在手术场景下如果医生调整一次X光机后，则需要等待X光机进行重新标定，然后利用标定后的X光机以及拍摄的X光图像来进行虚拟模型显示，如此，X光机的标定过程会占用医生的时间，进而大大降低医生的手术效率。并且，在手术室环境中利用传统的相机标定算法对X光机进行标定时，标定的精度也不够精确。

鉴于此，本申请提供一种术前虚拟模型的位姿确定方法，直接通过AR设备所采集的标定件的图像数据和患者的待手术部位的图像数据来进行三维重建，通过在重建坐标系下确定所述标定件重建模型和待手术部位重建模型的相对位姿以及标定件在世界坐标系下的位姿来确定所述术前虚拟模型在世界坐标系下的位姿，使得所述AR设备可以基于所确定的位姿将所述术前虚拟模型和真实场景进行虚实叠加显示；如此，避免了需要在手术场景下等待X光机标定后再进行待手术部位和标定件之间的相对位姿的确定，实现了在手术场景下快速地对虚拟模型和真实场景进行叠加显示，提高了AR辅助医生手术的效率。

其中，所述术前虚拟模型是利用患者的术前扫描数据所构建的三维模型。例如，所述术前虚拟模型是利用患者的CT扫描数据或MRI扫描数据等术前扫描数据所构建的三维模型。在一实施例中，在进行三维模型构建的过程中，可以先对术前扫描数据进行去噪等预处理，而后利用预处理后的术前扫描数据和面绘制算法(例如MarchingCubes算法)或体绘制算法等医学领域的三维模型构建方法来构建三维模型，最后对构建好的三维模型进行修复缺陷、透明度调节、剖面显示等后处理操作。进一步，在一实施例中，所述术前虚拟模型上还标记有手术导航信息。所述手术导航信息包括手术切口、手术路径、病灶大小、病灶位置等。

在一实施例中，所述术前虚拟模型的透明度为0.5，如此，可以避免所述术前虚拟模型完全遮挡真实环境/手术场景，提高手术的安全性。

在一实施例中，所述术前虚拟模型中可以包括脏器、骨骼、或/及肌肉等人体组织的虚拟模型。所述术前虚拟模型中所包括的人体组织与待手术部位的手术类型相关。例如，所述待手术部位为颈部，待手术部位的手术类型为颈部骨骼手术，对应地颈部的术前虚拟模型中包括颈部骨骼的虚拟模型，进一步，所述颈部的术前虚拟模型中还可以包括血管以及肌肉的虚拟模型。

在本申请的实施例中，所述位姿包括位置和姿态，所述位置可利用三维空间坐标系的三个坐标轴(x，y，z)上的数值表示，例如，标定件在所述真实场景下的位置可以利用世界坐标系的三个坐标轴上的数值表示。所述姿态可以利用三维空间坐标系的三个坐标轴(x，y，z)对应的三个旋转角度(pitch，yaw，roll)表示。例如，所述标定件在所述真实场景下的姿态可以利用标定件围绕世界坐标系的三个坐标轴(x，y，z)旋转的旋转角度(pitch，yaw，roll)表示。

需要说明的是，以上实施例中对术前虚拟模型的构建方法和术前虚拟模型的说明仅限于举例，本申请对术前虚拟模型的构建方法和术前虚拟模型并不做限制。

在一实施例中，所述AR设备为AR眼镜或者AR头盔。在一示例中，所述AR设备为AR眼镜，AR眼镜较轻便，在手术的过程中医生佩戴AR眼镜时其头部负重较轻。在另一示例中，所述AR设备为AR头盔，所述AR头盔上可配置更多的传感器，进而可以使虚实叠加的效果更好。

在一实施例中，请参阅图1，显示为本申请在一实施例中的AR设备的结构示意图，如图所示，所述AR设备1包括视觉传感系统10、存储装置11、处理装置12、及显示装置13。

在一些实施例中，所述视觉传感系统10包括至少一个摄像机。在一示例中，所述视觉传感系统10包括两个或两个以上的摄像机，比如所述视觉传感系统10为双目视觉系统。在另一示例中，所述视觉传感系统10还可以包括深度传感器。例如，所述视觉传感系统10包括深度传感器、以及至少一个摄像机。

在一实施例中，所述视觉传感系统10位于所述AR设备的前方，用于获取真实场景下的图像数据。例如，所述深度传感器和所述摄像机均位于所述AR设备前方的中间位置。又如，所述深度传感器或/及所述摄像机也可以位于所述AR设备前方的边侧。

所述视觉传感系统10用于采集待重建数据。在一实施例中，所述待重建数据中包括标定件的图像数据和患者的待手术部位的图像数据。进一步，在本实施例中，所述待重建数据还可以包括在手术场景下其他物体的图像数据。例如，所述待重建数据包括标定件的图像数据、患者的待手术部位的图像数据、病床的图像数据、手术器械的图像数据、以及患者无需手术的部位的图像数据等。

在一实施例中，所述图像数据包括可见光图像数据以及深度图像数据。例如，所述待重建数据包括标定件和患者的待手术部位的可见光图像数据、以及深度传感器直接检测得到的标定件和患者的待手术部位的深度图像数据。相比于利用根据不同角度采集的可见光图像数据计算得到的深度估计值进行三维模型的构建，本实施例中利用深度传感器直接检测得到的深度图像数据进行三维模型的构建，可以提高三维模型的构建效果以及提高三维模型的构建效率。

需要说明的是，在所述视觉传感系统中不包括所述深度传感器时，所述待重建数据包括标定件和患者的待手术部位的可见光图像数据。所述处理装置可以根据利用不同角度采集的可见光图像数据进行深度估计以得到深度估计值，进而进行三维模型的重建。

在一些实施例中，所述存储装置11用于存储至少一个程序，所述至少一个程序可供所述处理装置12执行，以协调所述存储装置11执行后文任一实施所描述的术前虚拟模型的位姿确定方法，或者术前虚拟模型的显示方法，例如图2及图3相关实施例中所述的术前虚拟模型的位姿确定方法，或者图4相关实施例中所述的术前虚拟模型的显示方法。

在此，存储装置11包括但不限于：只读存储器、随机存取存储器、非易失性存储器。例如，存储装置11包括闪存设备或其他非易失性固态存储设备。在某些实施例中，存储装置11还可以包括远离一个或多个处理装置12的存储器，例如经由RF电路或外部端口以及通信网络访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网、广域网、存储局域网等，或其适当组合。存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。

在一些实施例中，所述处理装置12与所述存储装置11、显示装置13、以及视觉传感系统10相连，用于自所述存储装置11中调用所述至少一个程序并执行时实现如后文任一实施所描述的术前虚拟模型的显示方法、或实现如后文任一实施所描述的术前虚拟模型的位姿确定方法。所述处理装置12包括一个或多个处理器。处理装置12可操作地与存储装置11执行数据读写操作。所述处理装置12包括一个或多个通用微处理器(例如CPU或GPU)、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。在一示例中，所述专用处理器包括图形处理器。

在一些实施例中，所述AR设备还包括接口装置(未予图示)，所述接口装置包含至少一个接口单元，各接口单元用于将所述术前虚拟模型输出至所述显示装置13或者接收所述术前虚拟模型等。例如，所述接口装置包括但不限于：如HDMI接口或USB接口的串行接口或并行接口。

在一实施例中，所述接口装置还包含一网络通信单元，为利用有线或无线网络进行数据传输的装置，其举例包括但不限于：包含网卡的集成电路、如WiFi模块或蓝牙模块等局域网络模块、如移动网络等广域网络模块等。例如，所述网络通信单元用于输出所述待重建数据以供接收所述待重建数据的计算机设备进行三维重建、接收术前虚拟模型在世界坐标系下的位姿等。

所述显示装置13用于将术前虚拟模型和真实场景进行虚实叠加显示，以使医生戴上所述AR眼镜后既能看到所述术前虚拟模型又能看到所述真实场景。

在一实施例中，所述显示装置13为基于视频合成技术的显示装置。具体地，前文所述的处理装置(例如图形处理器)获取视觉传感系统10所采集的真实场景中的画面信息，然后经过信息处理，将术前虚拟模型合成到真实场景的画面中，最后所述处理装置控制所述显示装置将合成后的画面显示给医生。在一示例中，所述基于视频合成技术的显示装置包括显示器。

在另一实施例中，所述显示装置13为基于光学元件的显示装置，例如，所述显示装置为全息显示装置。所述基于光学元件的显示装置先将术前虚拟模型直接投影到光学元件单元上，然后再通过光学元件单元的反射将术前虚拟模型送入人眼。并与此同时，真实场景中的画面会透过光学元件单元直接进入人眼，由此，医生就可在看到真实场景的同时看到术前虚拟模型。

在一示例中，所述基于光学元件的显示装置包括显示器和光学元件单元。所述光学元件单元包括半透半反射镜、全息衍射波导光栅、或者其他适合的光学元件。在本实施例中，所述处理装置根据所述术前虚拟模型在所述世界坐标系下的位姿控制所述显示器在预设位置以预设姿态显示所述术前虚拟模型，所述光学元件单元用于将显示器上的术前虚拟模型反射到人眼的视野中以及用于透射来自真实场景中的光线。

需要说明的是，本申请对所述显示装置的说明仅限于举例，在其他实施例中，所述显示装置也可以是包括光波导等元件的显示装置，所述显示装置只要可以将所述术前虚拟模型和真实场景进行虚实叠加显示即可。

本申请在一些实施例中提供一种术前虚拟模型的位姿确定方法，在一实施例中，所述位姿确定方法可由配置有术前虚拟模型的位姿确定系统的计算机设备执行，也可以由前文所述的AR设备执行。所述术前虚拟模型的位姿确定系统为一种可对数据进行处理的软件工具或软件模块，其借助计算机设备中的硬件装置以及操作系统所提供的运行环境，对数据进行处理。

请参阅图2，显示为本申请在一实施例中术前虚拟模型的位姿确定方法的流程示意图，如图所示，所述术前虚拟模型的位姿确定方法包括步骤S110、步骤S120、以及步骤S130。以下以所述位姿确定方法由一AR设备的处理装置执行为例进行各实施例的说明。

在步骤S110中，所述处理装置获取AR设备所采集的待重建数据。

在一实施例中，所述处理装置利用所述AR设备的接口装置获取所述视觉传感系统所采集的待重建数据，以供所述处理装置基于所获取的待重建数据执行步骤S120。其中，所述待重建数据与前文所述的相同或相似，在此不再赘述。

在一实施例中，所述待重建数据是利用所述AR设备对包含所述标定件和患者的待手术部位的真实场景进行扫描得到的。具体地，医生佩戴所述AR设备后，通过头部的运动带动所述设备移动以实现对所述真实场景的扫描。例如，在手术室内，医生佩戴所述AR设备环视一周后，所述AR设备完成对所述真实场景的扫描。在环视的过程中，所述AR设备的视觉传感系统获取图像数据。又如，在手术室内，医生佩戴所述AR设备后，通过头部上下移动、或左右移动以实现对所述真实场景的扫描。需要说明的是，本申请对获取所述待重建数据的方式并不做限制，只要能够获取到本申请任一实施例中所述的待重建数据即可。

在一实施例中，在所述AR设备采集所述待重建数据时，所述标定件和患者的待手术部位的相对位姿维持稳定状态。换言之，在所述AR设备采集所述待重建数据时，所述标定件和患者的待手术部位的相对位姿保持不变。例如，在AR设备对所述真实场景进行扫描时，所述标定件和患者的待手术部位的相对位姿保持不变。

在一具体实施例中，所述标定件在所述真实场景中相对一固定物体的姿态与所述待手术部位相对该固定物体的姿态相同，例如，所述待手术部位与病床平行，对应的所述标定板也相对于病床平行放置。如此，可以提高所述位姿确定方法的计算速度。

在一些实施例中，所述标定件是形状、尺寸等信息均已知的可被所述AR设备识别的物体。例如，所述标定件为方形、长方形、圆形、或者菱形等规则形状的物体。在一示例中，所述标定件上设置有图案，所述图案为规则图案或包含有信息的图案。例如，所述标定件为二维码板，所述规则图案或包含有信息的图案例如为二维码。又如，所述规则图案也可以是按照行列规则等间距排列的反光球所形成的。再如，所述规则图案是黑白相间的棋盘格图案。

在一实施例中，所述标定件对应的形状、尺寸、和/或图案等标定件信息均预先存储在所述AR设备的存储装置中，所述AR设备的处理装置利用预先存储的标定件信息和所述AR设备所采集的图像数据对标定件进行识别，以识别出所述标定件并确定所述标定件在世界坐标系下的位姿。

在一实施例中，所述世界坐标系是根据所述AR设备上视觉传感系统中设备的坐标系所确定的，在一示例，所述世界坐标系是根据所述视觉传感系统中摄像机的坐标系所确定的或者是根据所述视觉传感系统中深度传感器的坐标系所确定的。例如，将AR设备开启时视觉传感系统中摄像机的坐标系的原点和坐标轴作为所述世界坐标系的原点和坐标轴。在以上实施例中，对世界坐标系的说明仅限于举例，在其他示例中，也可以将AR设备开启预设时间后AR眼镜本体的坐标系的原点和坐标轴作为所述世界坐标系的原点和坐标轴。

在一实施例中，所述标定件设置在用于对患者的所述待手术部位执行手术的手术器械上。所述AR设备通过所述视觉传感系统获取的图像数据可以确定所述标定件在世界坐标系下的位姿，利用所述标定件在所述手术器械上的固定位置和所述标定件在世界坐标系下的位姿确定所述手术器械的位姿，进而可以实现对所述手术器械的跟踪。

在步骤S120中，所述处理装置利用所获取的待重建数据进行三维重建，以获得标定件重建模型和待手术部位重建模型，并在重建坐标系下确定所述标定件重建模型和待手术部位重建模型的相对位姿。

在一实施例中，所述重建坐标系是所述标定件重建模型和待手术部位重建模型所在的虚拟坐标系，所述重建坐标系与所述世界坐标系之间的尺度关系为等比例关系，换言之，在所述重建坐标系中两物体之间的距离不存在缩放关系。所述标定件重建模型是利用所获取的待重建数据进行三维重建后生成的与标定件对应的虚拟模型，类似的，所述待手术部位重建模型是利用所获取的待重建数据进行三维重建后生成的与待手术部位对应的虚拟模型。如此，在所述重建坐标系下获得所述标定件重建模型和待手术部位重建模型后，可以通过标定件重建模型和待手术部位重建模型对应的位姿进行所述相对位姿的计算。

请参阅图3，显示为本申请的术前虚拟模型的位姿确定方法中获得标定件重建模型和待手术部位重建模型的步骤在一实施例中的流程示意图，如图所示，获得标定件重建模型和待手术部位重建模型的步骤包括步骤S1200和步骤S1201。

在步骤S1200中，所述处理装置利用所获取的待重建数据和预设的三维重建算法，进行三维重建以获得在重建坐标系下的重建模型。

在一些实施例中，所述处理装置获取所述待重建数据后还会对所述待重建数据进行预处理。所述预处理包括但不限于去噪、增强、或补偿等。进一步，所述预处理还可以包括利用所获取的待重建数据进行深度估计等。

在一些实施例中，所述处理装置获取所述待重建数据后，可以利用预设的三维重建算法对包含标定件和患者的待手术部位的真实场景进行三维重建，以得到在重建坐标系下的重建模型。其中，所述预设的三维重建算法为3DGS(3D Gaussian Splatting)算法或NeRF算法，但并不以此为限，在其他实施例中，所述预设的三维重建算法也可以是改进的NeRF算法(例如Baseline NeRF算法)或者其他可以进行三维重建的方法。

在一实施例中，所述重建模型中包括标定件重建模型、待手术部位重建模型、以及真实场景下的其他物体的重建模型(例如，病床的重建模型、手术器械的重建模型、以及患者无需手术的部位的重建模型)。为此，所述位姿确定方法还执行步骤S1201，以在重建模型中分割出所述标定件重建模型和待手术部位重建模型。

在步骤S1201中，所述对所述重建模型进行点云分割，以获得所述标定件重建模型和待手术部位重建模型。

在一实施例中，所述处理装置利用预设的点云分割方法对所述重建模型进行点云分割，以得到所述标定件重建模型和待手术部位重建模型。其中，所述预设的点云分割方法举例为基于几何特征的分割方法、基于深度学习的分割方法、基于特征描述符的分割方法、或者基于空间分布的分割方法。

在所述重建坐标系下获得所述标定件重建模型和待手术部位重建模型后，所述处理装置可以计算二者之间的相对位姿。

在一实施例中，所述处理装置根据标定件重建模型和待手术部位重建模型，确定所述标定件重建模型的中心点以及所述待手术部位重建模型的中心点，进而根据所确定的两个中心点来确定在重建坐标系下所述标定件重建模型以及待手术部位重建模型的相对位姿。在一示例中，将所述标定件重建模型以及所述待手术部位重建模型的最小外接球的球心作为二者的中心点。进而将两个模型中心点的位姿差异作为所述标定件重建模型以及待手术部位重建模型的相对位姿。其中，两个模型中心点的位姿是根据中心点的三维坐标和中心点的描述子所确定的。

在另一实施例中，所述处理装置基于在重建坐标系下所述标定件重建模型中的标定件关键点，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿。在本实施例中，所述处理装置首先利用预设的关键点识别方法对所述标定件重建模型进行关键点识别，以确定所述标定件重建模型中的多个标定件关键点。其中，所述预设的关键点识别方法举例为神经网络检测方法、Harris角点检测方法、SIFT方法、SURF方法、ORB方法等。然后根据所述待手术部位重建模型的中心点和所述多个标定件关键点，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿。具体地，将所述待手术部位重建模型的中心点的位姿与所述多个标定件关键点的位姿之间的位姿差异的均值作为在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿。

在又一实施例中，所述处理装置基于在重建坐标系下所述待手术部位重建模型中的手术部位关键点，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿。在本实施例中，所述处理装置首先利用预设的关键点识别方法对所述待手术部位重建模型进行关键点识别，以确定所述待手术部位重建模型中的多个标定件关键点，然后计算所述标定件重建模型的中心点的位姿与所述多个待手术部位重建模型关键点的位姿之间的位姿差异，将多个位姿差异的均值作为在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿。其中，所述预设的关键点识别方法与前文所述的相同或相似，在此不再赘述。

在再一实施例中，所述处理装置基于在重建坐标系下所述待手术部位重建模型中的手术部位关键点以及待手术部位重建模型中的手术部位关键点，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿。具体地，所述处理装置首先对所述标定件重建模型和待手术部位重建模型分别进行关键点识别，以确定所述标定件重建模型中的多个标定件关键点和所述待手术部位重建模型的多个手术部位关键点，然后根据所述多个手术部位关键点与所述多个标定件关键点，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿。例如，将所述多个手术部位关键点的多个位姿分别与所述多个标定件关键点的多个位姿计算位姿差异，将计算得到的多个位姿差异的均值确定为在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿。

在以上实施例中，通过利用中心点和/或关键点进行相对位姿的计算，可以提高相对位姿计算的速度。需要说明的是，以上实施例中对如何确定相对位姿的说明仅限于举例，本申请对确定相对位姿的方式并不做限制，在其他实施例中，所述处理装置也可以根据所述标定件重建模型和待手术部位重建模型的中心线，来确定二者之间的相对位姿。

在步骤S130中，所述处理装置根据标定件在世界坐标系下的位姿以及所确定的相对位姿，确定术前虚拟模型在所述世界坐标系下的位姿，以供所述AR设备将所述术前虚拟模型和真实场景进行虚实叠加显示。

在一实施例中，所述处理装置利用预先存储的标定件信息和所述AR设备所采集的的图像数据对标定件进行识别，以识别出所述标定件并确定所述标定件在世界坐标系下的位姿。其中，所述标定件信息和所述世界坐标系与前文所述的相同或相似，在此不再赘述。

在一实施例中，在所述重建坐标系与所述世界坐标系之间的尺度关系为等比例关系时，所述标定件重建模型和待手术部位重建模型之间的相对位姿可作为真实场景下所述标定件和待手术部位之间的相对位姿。进一步，所述处理装置将所述标定件在世界坐标系下的位姿根据所确定的相对位姿进行变换后得到一变换后的位姿，将该变换后的位姿作为所述术前虚拟模型在所述世界坐标系下的位姿。

在另一实施例中，当所述重建坐标系与所述世界坐标系之间的尺度关系不是等比例关系时，还需将所确定的相对位姿中的位置的差异进行缩放运算以得到真实场景下所述标定件和待手术部位之间的相对位姿。进一步，所述处理装置将所述标定件在世界坐标系下的位姿根据缩放运算得到的真实场景下所述标定件和待手术部位之间的相对位姿进行变换后得到一变换后的位姿，将该变换后的位姿作为所述术前虚拟模型在所述世界坐标系下的位姿。进而所述AR设备可以根据术前虚拟模型在所述世界坐标系下的位姿对所述术前虚拟模型和真实场景进行虚实叠加显示。

在一实施例中，所述处理装置还可以根据标定件在世界坐标系下的位姿、标定件重建模型和待手术部位重建模型之间的相对位姿、以及位姿调整矩阵得到所述前虚拟模型在所述世界坐标系下的位姿。例如，所述重建坐标系与所述世界坐标系之间的尺度关系为等比例关系，所述处理装置将所述标定件在世界坐标系下的位姿根据所确定的相对位姿进行变换后得到一变换后的位姿，将变换后的位姿根据位姿调整矩阵进行变换后得到术前虚拟模型在所述世界坐标系下的位姿。其中，所述位姿调整矩阵包括位置调整参数和姿态调整参数。如此，通过位姿调整矩阵可以对所述术前虚拟模型的在世界坐标系下的位姿进行微调。

在本申请的实施例中，对位姿进行变化时可以利用矩阵乘法的方式进行计算。例如，所述处理装置将所述标定件在世界坐标系下的位姿与所确定的相对位姿执行矩阵乘法计算，以得到变换后的位姿。又如，所述处理装置将根据所确定的相对位姿进行变换后得到的变换后的位姿与所述位姿调整矩阵执行矩阵乘法计算，以得到所述术前虚拟模型在所述世界坐标系下的位姿。

综上所述，本申请提供的术前虚拟模型的位姿确定方法，直接通过AR设备所采集的标定件的图像数据和患者的待手术部位的图像数据来进行三维重建，通过在重建坐标系下确定所述标定件重建模型和待手术部位重建模型的相对位姿以及标定件在世界坐标系下的位姿来确定所述术前虚拟模型在世界坐标系下的位姿，进而所述AR设备可以基于所确定的位姿将所述术前虚拟模型和真实场景进行虚实叠加显示；如此，避免了需要在手术场景下等待X光机标定后再进行待手术部位和标定件之间的相对位姿的确定，实现了在手术场景下快速地对虚拟模型和真实场景进行叠加显示，提高了AR辅助医生手术的效率，进而也提高了手术效率。

本申请在一实施例中还提供一种术前虚拟模型的显示方法，所述显示方法可由前文任一实施例中所述的AR设备执行，也可由其他可执行所述显示方法的AR设备执行。请参阅图4，显示为本申请在一实施例中的术前虚拟模型的显示方法的流程示意图，如图所示，所述显示方法包括步骤S140和步骤S150。

在步骤S140中，所述AR设备获取术前虚拟模型在所述世界坐标系下的位姿。

在一实施例中，前文所述的术前虚拟模型的位姿确定方法是由与所述AR设备通信连接的计算机设备执行的，则所述AR设备通过其接口装置从其他计算机设备中获取所述术前虚拟模型在所述世界坐标系下的位姿。

在另一实施例中，前文所述的术前虚拟模型的位姿确定方法是由与所述AR设备执行的，则所述AR设备从其存储装置中获取所述术前虚拟模型在所述世界坐标系下的位姿。

在一实施例中，所述AR设备还通过其接口装置获取所述术前虚拟模型。例如，通过网络通信单元获取所述术前虚拟模型。又如，通过USB接口获取医生导入的术前虚拟模型。

在步骤S150中，所述AR设备控制其显示装置将术前虚拟模型和真实场景进行虚实叠加显示。

其中，所述虚实叠加显示是指将真实场景和所述术前虚拟模型叠加进行显示。例如，请参阅图8，显示为本申请在一实施例中虚实叠加的效果图，如图所示，真实场景(例如真实的脑部)和术前虚拟模型(例如虚拟的脑部)均在医生的视野范围内。

在一实施例中，所述显示装置为基于视频合成技术的显示装置。所述处理装置在获得术前虚拟模型在所述世界坐标系下的位姿后即可确定术前虚拟模型在真实场景下的显示位置和显示姿态，进而将所述术前虚拟模型根据所述显示位置和显示姿态与视觉传感系统所采集的真实场景中的画面信息进行融合，并通过显示器显示给医生，以实现术前虚拟模型和真实场景的虚实叠加显示。

在另一实施例中，所述显示装置为基于光学元件的显示装置。所述处理装置根据术前虚拟模型在真实场景下的显示位置和显示姿态控制虚拟模型在显示器中显示，进而所述显示装置将所述显示器上的术前虚拟模型反射到人眼的视野中并透射来自真实场景中的光线，以实现术前虚拟模型和真实场景的虚实叠加显示。

综上所述，本申请提供的术前虚拟模型的显示方法，实现了在手术场景下快速地对虚拟模型和真实场景进行叠加显示，提高了AR辅助医生手术的效率，进而也提高了手术效率。

本申请在一实施例中还提供一种术前虚拟模型的位姿确定系统，请参阅图5，显示为本申请在一实施例中的术前虚拟模型的位姿确定系统的结构框图，所述位姿确定系统2包括：获取模块20、相对位姿确定模块21、以及模型位姿确定模块22。

应理解的，获取模块20、相对位姿确定模块21、以及模型位姿确定模块22还可在由不同类型的处理器运行的软件中实施。例如，可执行代码的模块可以包括一个或多个计算机指令物理块或逻辑块，该计算机指令被作为对象、程序或函数来组织。然而，模块的可执行文件不必在物理上位于一起，但是可包括存储在不同位置的不同命令，当这些命令在逻辑上连接在一起时，所述命令包括所述模块并实现所述模块的指定目标。

当然，可执行代码的模块可以为一个或许多指令，并且甚至可以分布在若干不同的代码段中、分布在不同的程序中并可分布在多个存储设备中。类似地，可以在此在模块内识别并示出运算数据，并且可以以任何合适的形式体现所述运算数据并在任意合适类型的数据结构中组织所述运算数据。所述运算数据可作为单数据集收集，或者可以分布在不同的位置(包括不同的存储设备)，并且可在系统或网络中至少部分地仅作为电信号存在。当模块或模块的部分在软件中实施时，软件部分被存储在一个或多个计算机可读媒体上。

所述获取模块20用于获取AR设备所采集的待重建数据；其中，所述待重建数据中包括标定件的图像数据和患者的待手术部位的图像数据。

所述相对位姿确定模块21用于利用所获取的待重建数据进行三维重建，以获得标定件重建模型和待手术部位重建模型并确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿。

所述模型位姿确定模块22用于根据所确定的相对位姿和标定件在世界坐标系下的位姿，确定术前虚拟模型在所述世界坐标系下的位姿，以供所述AR设备将所述术前虚拟模型和真实场景进行虚实叠加显示。

在此，本申请的术前虚拟模型的位姿确定系统2中各模块的工作方式与上述术前虚拟模型的位姿确定方法中对应步骤相同或相似，在此不再赘述。

在一实施例中，请参阅图6，显示为本申请在一实施例中的术前虚拟模型的显示系统的结构框图，如图所示，所述显示系统3包括位姿获取模块30和显示模块31。

应理解的，所述位姿获取模块30和显示模块31还可在由不同类型的处理器运行的软件中实施。

所述位姿获取模块30用于获取术前虚拟模型在所述世界坐标系下的位姿。其中，所述术前虚拟模型在所述世界坐标系下的位姿是由上述任一实施例所述的术前虚拟模型的位姿确定系统得到的。

所述显示模块31用于控制所述AR设备中的显示装置将术前虚拟模型和真实场景进行虚实叠加显示。

在此，本申请的术前虚拟模型的显示系统3中各模块的工作方式与上述术前虚拟模型的显示方法中对应步骤相同或相似，例如图4相关实施例中所述的术前虚拟模型的显示方法，在此不再赘述。

本申请还提供一种计算机可读写存储介质，其上存储有至少一种程序，所述至少一种程序在被调用时执行上述任一实施例中所描述的术前虚拟模型的位姿确定方法，例如图2及图3相关实施例中所述的术前虚拟模型的位姿确定方法，或者图4相关实施例中所述的术前虚拟模型的显示方法。

本申请在一实施例中还提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述任一实施例中的所描述的术前虚拟模型的位姿确定方法，例如图2及图3相关实施例中所述的术前虚拟模型的位姿确定方法，或者图4相关实施例中所述的术前虚拟模型的显示方法。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

于本申请提供的实施例中，所述计算机可读写存储介质可以包括只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、U盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。

本申请还公开一种计算机设备，所述计算机设备用于实现上述任一实施例中所描述的术前虚拟模型的位姿确定方法。在一实施例中，所述计算机设备为一种能够对数据进行数字计算、逻辑处理、和信息处理的设备。

请参阅图7，显示为本申请在一实施例中的计算机设备的结构示意图，所述计算机设备5包括存储装置50以及与所述存储装置50相连的处理装置51。进一步地，所述计算机设备还包括接口装置52。

在一些实施例中，所述存储装置50用于存储至少一个程序，所述至少一个程序可供所述处理装置51执行，以协调所述存储装置50上述任一实施例中所描述的术前虚拟模型的位姿确定方法，例如图2及图3相关实施例中所述的术前虚拟模型的位姿确定方法。

在此，存储装置50包括但不限于：只读存储器、随机存取存储器、非易失性存储器。例如，存储装置50包括闪存设备或其他非易失性固态存储设备。在某些实施例中，存储装置50还可以包括远离一个或多个处理装置51的存储器，例如经由RF电路或外部端口以及通信网络访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网、广域网、存储局域网等，或其适当组合。存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。

在一些实施例中，所述处理装置51包括一个或多个处理器。处理装置51可操作地与存储装置50执行数据读写操作。所述处理装置51包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。在一示例中，所述专用处理器包括图形处理器。

在一些实施例中，所述接口装置52包含至少一个接口单元，各接口单元分别用于输出可视化界面、接收按照用户的操作而产生的人机交互事件等。例如，接口装置52包括但不限于：如HDMI接口或USB接口的串行接口，或并行接口等。在一实施例中，所述接口装置52还包含一网络通信单元，为利用有线或无线网络进行数据传输的装置，其举例包括但不限于：包含网卡的集成电路、如WiFi模块或蓝牙模块等局域网络模块、如移动网络等广域网络模块等。例如，所述计算机设备通过所述接口装置52获取所述AR设备发送的待重建数据。又如，所述计算机设备通过所述接口装置52发送所确定的术前虚拟模型在所述世界坐标系下的位姿。再如，所述计算机设备通过所述接口装置52获取所述术前虚拟模型。

在一个或多个示例性方面，本申请所述的术前虚拟模型的位姿确定方法所描述的功能可以用硬件、软件、固件或其任意组合的方式来实现。当用软件实现时，可以将这些功能作为一个或多个指令或代码存储或传送到计算机可读介质上。本申请所公开的方法或算法的步骤可以用处理器可执行软件模块来体现，其中处理器可执行软件模块可以位于有形、非临时性计算机存储介质上。有形、非临时性计算机存储介质可以是计算机能够存取的任何可用介质。

本申请上所述的附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于此，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。

综上所述，本申请提供的术前虚拟模型的位姿确定方法、显示方法及系统、AR设备、计算机设备、计算机可读存储介质及计算机程序产品，直接通过AR设备所采集的标定件的图像数据和患者的待手术部位的图像数据来进行三维重建，通过在重建坐标系下确定所述标定件重建模型和待手术部位重建模型的相对位姿以及标定件在世界坐标系下的位姿来确定所述术前虚拟模型在世界坐标系下的位姿，进而所述AR设备可以基于所确定的位姿将所述术前虚拟模型和真实场景进行虚实叠加显示；如此，避免了需要在手术场景下等待X光机标定后再进行待手术部位和标定件之间的相对位姿的确定，实现了在手术场景下快速地对虚拟模型和真实场景进行叠加显示，提高了AR辅助医生手术的效率，进而也提高了手术效率。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (22)

1.一种术前虚拟模型的位姿确定方法，其特征在于，包括以下步骤：

获取AR设备所采集的待重建数据；其中，所述待重建数据中包括标定件的图像数据和患者的待手术部位的图像数据；

利用所获取的待重建数据进行三维重建，以获得标定件重建模型和待手术部位重建模型，并在重建坐标系下确定所述标定件重建模型和待手术部位重建模型的相对位姿；

根据标定件在世界坐标系下的位姿以及所确定的相对位姿，确定术前虚拟模型在所述世界坐标系下的位姿，以供所述AR设备将所述术前虚拟模型和真实场景进行虚实叠加显示。

2.根据权利要求1所述的位姿确定方法，其特征在于，所述AR设备为AR眼镜或者AR头盔。

3.根据权利要求1所述的位姿确定方法，其特征在于，所述标定件为二维码标定板。

4.根据权利要求1所述的位姿确定方法，其特征在于，所述标定件设置在用于对患者的所述待手术部位执行手术的手术器械上。

5.根据权利要求1所述的位姿确定方法，其特征在于，所述待重建数据是利用所述AR设备对包含所述标定件和患者的待手术部位的真实场景进行扫描得到的。

6.根据权利要求1或5所述的位姿确定方法，其特征在于，在所述AR设备采集所述待重建数据时，所述标定件和患者的待手术部位的相对位姿维持稳定状态。

7.根据权利要求1所述的位姿确定方法，其特征在于，利用所获取的待重建数据进行三维重建，以获得标定件重建模型和待手术部位重建模型的步骤包括：

利用所获取的待重建数据和预设的三维重建算法，进行三维重建以获得在重建坐标系下的重建模型；

对所述重建模型进行点云分割，以获得所述标定件重建模型和待手术部位重建模型。

8.根据权利要求7所述的位姿确定方法，其特征在于，所述预设的三维重建算法为3DGS算法或NeRF算法。

9.根据权利要求1所述的位姿确定方法，其特征在于，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿的步骤包括：

根据标定件重建模型和待手术部位重建模型，确定所述标定件重建模型的中心点以及所述待手术部位重建模型的中心点；

根据所确定的两个中心点，确定在重建坐标系下所述标定件重建模型以及待手术部位重建模型的相对位姿。

10.根据权利要求1所述的位姿确定方法，其特征在于，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿的步骤包括：基于在重建坐标系下所述标定件重建模型中的标定件关键点，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿。

11.根据权利要求10所述的位姿确定方法，其特征在于，基于在重建坐标系下所述标定件重建模型中的标定件关键点，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿的步骤包括：

对所述标定件重建模型进行关键点识别，以确定所述标定件重建模型中的多个标定件关键点；

根据所述待手术部位重建模型的中心点和所述多个标定件关键点，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿。

12.根据权利要求1所述的位姿确定方法，其特征在于，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿的步骤包括：基于在重建坐标系下所述待手术部位重建模型中的手术部位关键点，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿。

13.根据权利要求1所述的位姿确定方法，其特征在于，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿的步骤包括：基于在重建坐标系下所述待手术部位重建模型中的手术部位关键点以及待手术部位重建模型中的手术部位关键点，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿。

14.根据权利要求13所述的位姿确定方法，其特征在于，基于在重建坐标系下所述标定件重建模型中的标定件关键点和待手术部位重建模型中的手术部位关键点，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿的步骤包括：

对所述标定件重建模型和待手术部位重建模型分别进行关键点识别，以确定所述标定件重建模型中的多个标定件关键点和所述待手术部位重建模型的多个手术部位关键点；

根据所述多个手术部位关键点与所述多个标定件关键点，确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿。

15.根据权利要求1所述的位姿确定方法，其特征在于，所述术前虚拟模型为脑部的术前虚拟模型。

16.一种术前虚拟模型的显示方法，应用于AR设备，其特征在于，包括以下步骤：

获取根据如权利要求1-15任一所述的术前虚拟模型的位姿确定方法所确定的术前虚拟模型在世界坐标系下的位姿；

控制所述AR设备的显示装置将术前虚拟模型和真实场景进行虚实叠加显示。

17.一种术前虚拟模型的位姿确定系统，其特征在于，所述位姿确定系统包括：

获取模块，用于获取AR设备所采集的待重建数据；其中，所述待重建数据中包括标定件的图像数据和患者的待手术部位的图像数据；

相对位姿确定模块，用于利用所获取的待重建数据进行三维重建，以获得标定件重建模型和待手术部位重建模型并确定在重建坐标系下所述标定件重建模型和待手术部位重建模型的相对位姿；

模型位姿确定模块，用于根据所确定的相对位姿和标定件在世界坐标系下的位姿，确定术前虚拟模型在所述世界坐标系下的位姿，以供所述AR设备将所述术前虚拟模型和真实场景进行虚实叠加显示。

18.一种术前虚拟模型的显示系统，应用于AR设备，其特征在于，所述显示系统包括：

位姿获取模块，用于获取根据如权利要求17所述的术前虚拟模型的位姿确定系统所确定的术前虚拟模型在世界坐标系下的位姿；

显示模块，用于控制所述AR设备中的显示装置将术前虚拟模型和真实场景进行虚实叠加显示。

19.一种AR设备，其特征在于，包括：

视觉传感系统，用于采集待重建数据；其中，所述待重建数据中包括标定件的图像数据和患者的待手术部位的图像数据；

存储装置，用于存储至少一个程序；

处理装置，与所述存储装置、显示装置、以及视觉传感系统相连，用于自所述存储装置中调用所述至少一个程序并执行时实现如权利要求16所述的术前虚拟模型的显示方法、或实现如权利要求1-15任一所述的术前虚拟模型的位姿确定方法；

显示装置，用于将术前虚拟模型和真实场景进行虚实叠加显示。

20.一种计算机设备，其特征在于，包括：

存储装置，用于存储至少一个程序；

处理装置，与所述存储装置相连，用于自所述存储装置中调用所述至少一个程序并执行时实现如权利要求1-15任一所述的术前虚拟模型的位姿确定方法。

21.一种计算机可读存储介质，其特征在于，存储至少一种程序，所述至少一种程序在被调用时执行并实现如权利要求1-15任一所述的术前虚拟模型的位姿确定方法或者如权利要求16所述的术前虚拟模型的显示方法。

22.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-15任一所述的术前虚拟模型的位姿确定方法或者如权利要求16所述的术前虚拟模型的显示方法。