[go: up one dir, main page]

CN111553979A - 基于医学影像三维重建的手术辅助系统及方法 - Google Patents

基于医学影像三维重建的手术辅助系统及方法 Download PDF

Info

Publication number
CN111553979A
CN111553979A CN202010457378.XA CN202010457378A CN111553979A CN 111553979 A CN111553979 A CN 111553979A CN 202010457378 A CN202010457378 A CN 202010457378A CN 111553979 A CN111553979 A CN 111553979A
Authority
CN
China
Prior art keywords
image
module
setting
reconstruction
simulated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010457378.XA
Other languages
English (en)
Other versions
CN111553979B (zh
Inventor
区耀文
宋祥锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Arahelio Biological Technology Co ltd
Original Assignee
Guangzhou Dika Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Dika Vision Technology Co ltd filed Critical Guangzhou Dika Vision Technology Co ltd
Priority to CN202010457378.XA priority Critical patent/CN111553979B/zh
Publication of CN111553979A publication Critical patent/CN111553979A/zh
Application granted granted Critical
Publication of CN111553979B publication Critical patent/CN111553979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于医学影像三维重建的手术辅助系统及方法，系统包括主机、显示单元和人机交互单元；主机包括影像数据处理模块、影像数据设置模块、模拟影像模块；影像数据处理模块对导入的DICOM数据进行三维模型重建以生成第一图像；影像数据设置模块对第一图像中的病灶和各组织进行区别设置以得到目标图像；模拟影像模块将目标图像进行加载，以进行模拟空间图形展示；人机交互单元对模拟空间图形进行交互操作，实现模拟手术；显示单元将模拟手术的过程以裸眼3D的形式进行展示；其有益效果是：通过对重建后的病灶和各组织进行区别设置，使对应的部分突出显示，增强其空间感，同时裸眼3D的形式也避免了AR设备会出现眩晕感的缺陷。

Description

基于医学影像三维重建的手术辅助系统及方法
技术领域
本发明涉及医学技术领域，具体涉及一种基于医学影像三维重建的手术辅助系统及方法。
背景技术
DICOM即医学数字成像和通信，是医学图像和相关信息的国际标准。随着科学技术的发展，医学技术也经历了变革，计算机辅助手术系统近些年来越来越得到生物医学工程界的重视。利用术前医学影像，对病灶进行精确定位和导航，但现有技术中，存在多个dicom数据时，处理时间长，不能对dicom数据迅速三维重建；即使，形成重建模型在输出图像显示由于图片的黑白格式，其空间感差，不能对病灶形成立体的显示；虽然有采用AR技术进行观看的方案，但使用AR设备会出现眩晕感，而且画面质量感差，再者，大多三维重建技术，不能对CT与MRI的数据重建实现系统兼容。
发明内容
本发明的发明目的在于：提供了一种基于医学影像三维重建的手术辅助系统及方法，以克服现有技术中存在空间感差、使用AR设备会出现眩晕感的缺陷；以及CT与MRI的重建不能系统兼容的问题。
第一方面：基于医学影像三维重建的手术辅助系统，包括主机、显示单元和人机交互单元；
所述主机包括影像数据处理模块、影像数据设置模块、模拟影像模块；
所述影像数据处理模块用于对导入的DICOM数据进行三维模型重建以生成第一图像，所述DICOM数据来源于CT/MRI数据库；
所述影像数据设置模块用于对所述第一图像中的病灶和各组织进行区别设置以得到目标图像；
所述模拟影像模块用于将所述目标图像采用加速引擎进行加载，以进行模拟空间图形展示；
所述人机交互单元包括交互装置，所述交互装置用于识别医务人员对所述模拟空间图形的手部动作指令，实现对所述模拟空间图形的旋转、大小缩放的交互操作，以及利用辅具在术前设定手术入路，然后依照手术路线，模拟手术内镜导入时的场景图像，或实现对所述模拟空间图形的切割，并输出图像，实现模拟手术；
所述显示单元用于将所述模拟手术的过程以裸眼3D的形式进行展示。
作为本申请一种可选的实施方式，所述影像数据处理模块具体用于：
将同一病灶的多组DICOM数据进行分组显示；
对选择的一组DICOM数据进行三维模型重建并准确对位重合以生成第一图像。
作为本申请一种可选的实施方式，所述影像数据设置模块具体用于：
对所述第一图像中的病灶和各组织进行区间划分；
对划分的各区间设置不同范围的CT值或MRI参数；
根据不同范围的CT值或MRI参数进行再次重建以得到目标图像。
作为本申请一种可选的实施方式，所述影像数据设置模块还用于：
只显示指定区间的重建结果；
对指定区间的重建结果进行着色；
设置指定区间的重建结果的透明度。
作为本申请一种可选的实施方式，所述交互操作具体包括：
在所述模拟空间图形上选择特定的重建区域；
对所述重建区域进行颜色和透明度的设置以及显示的设置；
在所述模拟空间图形上选择需操作的表面区域，利用虚拟的手术工具对所述表面区域进行逐层模拟解剖。
作为本申请一种可选的实施方式，所述交互操作还包括：
对所述模拟空间图形进行任意切割，并对切割后的各图形模块进行分离；
对分离后指定的图形模块进行缩放、旋转操作；
对分离后指定的图形模块进行定位、着色操作。
作为本申请一种可选的实施方式，所述旋转操作包括单独旋转或关联旋转，所述关联旋转包括指定图形模块的连续旋转和所述模拟空间图形的旋转。
作为本申请一种可选的实施方式，所述主机还包括虚拟内镜导航模块，所述虚拟内镜导航模块用于：
在所述模拟空间图形中选择指定目标进行测量；
对所述指定目标进行定位并对虚拟内窥镜进入人体的操作进行参数设定，所述参数设定包括导航路线设定、镜头行进速度参数和镜像参数；
根据所述导航路线设定示出虚拟内镜进入的影像。
作为本申请一种可选的实施方式，所述主机还包括云端处理模块，所述云端处理模块用于：
将所述交互操作后的图像在云端同步，并将进行深度计算后的图像数据传输给指定端口，同时以裸眼3D的形式进行立体显示；
利用设置的触碰屏幕，实现远端的人机互动。
第二方面：一种基于医学影像三维重建的手术辅助方法，应用于第一方面所述的基于医学影像三维重建的手术辅助系统，所述方法包括：
由影像数据处理模块对导入的DICOM数据进行三维模型重建以生成第一图像，所述DICOM数据来源于CT/MRI数据库；
由影像数据设置模块对所述第一图像中的病灶和各组织进行区别设置以得到目标图像；
由模拟影像模块将所述目标图像采用加速引擎进行加载，以进行模拟空间图形展示；
由交互装置医务人员对所述模拟空间图形进行交互操作，以实现模拟手术；
所述交互操作具体包括：
在所述模拟空间图形上选择特定的重建区域；
对所述重建区域进行颜色和透明度的设置以及显示的设置；
在所述模拟空间图形上选择需操作的表面区域，利用虚拟的手术工具对所述表面区域进行逐层模拟解剖；
通过显示单元将所述模拟手术的过程以裸眼3D的形式进行展示。
采用上述技术方案，具有以下优点：本发明提出的一种基于医学影像三维重建的手术辅助系统及方法，通过对导入的DICOM数据进行重建并准确对位重合，然后对重建后的病灶和各组织进行区别设置，使对应的部分进行突出显示，增强其空间感，同时，利用互动的人机操作和裸眼3D的形式展示，在带来直观、生动的基础上，也避免了使用AR设备会出现眩晕感的缺陷。
附图说明
图1是本发明实施例所提供的基于医学影像三维重建的手术辅助系统的系统框图；
图2是本发明实施例中影像数据处理模块的处理示意图；
图3是本发明实施例中对病灶和各组织进行区别设置的示意图；
图4是本发明实施例中交互操作的示意图；
图5是本发明实施例所提供的一种基于医学影像三维重建的手术辅助方法的流程图。
具体实施方式
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。
下面结合附图，对本发明作详细的说明。
参考图1所示，一种基于医学影像三维重建的手术辅助系统，包括主机、显示单元和人机交互单元。
所述主机包括影像数据处理模块、影像数据设置模块、模拟影像模块；
所述影像数据处理模块用于对导入的DICOM数据进行三维模型重建以生成第一图像，所述DICOM数据来源于CT/MRI数据库。具体地，DICOM数据即(Digital ImagingCommunications in Medicine)，CT/MRI数据库存储有患者的各种历史数据，就包括医学影像数据；应用时，如图2所示，在多个文件里面，选择其中一个进行三维重建，解决了CT与MRI的重建不能系统兼容的问题，所述影像数据处理模块具体用于：
将同一病灶的多组DICOM数据进行分组显示；用户选择其中一组完成三维重建即可；
对选择的一组DICOM数据进行三维模型重建并准确对位重合以生成第一图像；
重建时，每一组DICOM数据可指定不同的模型进行三维重建，以实现迅速达成模型重建并准确对位重合的目的。
所述影像数据设置模块用于对所述第一图像中的病灶和各组织进行区别设置以得到目标图像。
具体地，对所述第一图像中的病灶和各组织进行区间划分；
对划分的各区间设置不同范围的CT值或MRI值；
根据不同范围的CT值或MRI值进行再次重建以得到目标图像。这样设置多个CT(或MRI)值区间后，突出了病灶与邻近组织的显示效果，参考图3所示：
例如，对区间1的ct值范围25-45，区间2的ct值范围65-85，区间3的ct值范围125-225，区间4的ct值范围300-600；同时还可选择只显示指定区间的重建结果，对指定区间的重建结果着色，设置指定区间的重建结果的透明度。例如，图3中，S1a、S2a、S3a则表示不同的区间且各自着色程度、透明度不同，剩下的3个子图中的标号与其含义相同，在此不再列举；进而可以实现对重建的病灶与相关模型(以及精度不高的神经与血管)做多区间剔除，标注，着色和突出显示。
所述模拟影像模块用于将所述目标图像采用加速引擎进行加载，以进行模拟空间图形展示。即对上述重建结果进行操作，以3D引擎加载重建的模型。
所述人机交互单元包括交互装置，所述交互装置用于识别医务人员对所述模拟空间图形的手部动作指令，实现对所述模拟空间图形的旋转、大小缩放的交互操作，以及利用辅具在术前设定手术入路，然后依照手术路线，模拟手术内镜导入时的场景图像，或实现对所述模拟空间图形的切割，并输出图像，实现模拟手术。
具体地，在所述模拟空间图形上选择特定的重建区域；
对所述重建区域进行颜色和透明度的设置以及显示的设置；
在所述模拟空间图形上选择需操作的表面区域，利用虚拟的手术工具对所述表面区域进行逐层模拟解剖。
具体地，即选择某个表面区域(可以参照手术工具尺寸设计尺寸参数)，用鼠标像橡皮檫一样，从外向内逐层的擦除(或剥除)，每一个擦除层的厚度可以设定，以实现模拟解剖的作用；如图4所示，剥除后，仍可显示其内部组织形态，提高了模拟的真实性和精细程度。
在其他实施例中，在上述操作的基础上，所述交互操作还包括：
对所述模拟空间图形进行任意切割，并对切割后的各图形模块进行分离；
在应用时，还可以对选择的图形模块测量体积，通过设置一个标尺，可以对图形模块进行测量。
需要说明的是，所述模拟空间图形也是指代整体模型的意思，图形模块即为所选择的模型的意思。
对分离后指定的图形模块进行缩放、旋转操作；
对分离后指定的图形模块进行定位、着色操作。
具体地，所述旋转操作包括单独旋转或关联旋转，所述关联旋转包括指定图形模块的连续旋转和所述模拟空间图形的旋转。
需要说明的是，在应用时，还可通过所述主机上包括的输入设备实现对所述模拟空间图形进行交互操作，以实现模拟手术，在此不做限制，其交互操作所包括的内容，如前文所述，在此不再赘述。
所述显示单元用于将所述模拟手术的过程以裸眼3D的形式进行展示。
具体地，所述显示单元不止对模拟手术的过程进行显示，还可对各模块、系统的各个工作流程以裸眼3D的形式进行展示，在此不做限制；所述显示单元采用裸眼3D显示设备，并进行4K显示；所述交互装置可采用AR设备，其他实施例中，还可包括可穿戴设备，在此不做限制。
通过上述方案，利用对导入的DICOM数据进行重建并准确对位重合，然后对重建后的病灶和各组织进行区别设置，使对应的部分进行突出显示，增强其空间感，同时，利用互动的人机操作和裸眼3D的形式展示，在带来直观、生动的基础上，实现模拟手术的同时，也避免了使用AR设备会出现眩晕感的缺陷。
进一步地，在上述方案的基础上，所述主机还包括虚拟内镜导航模块，所述虚拟内镜导航模块用于：
在所述模拟空间图形中选择指定目标进行测量；
对所述指定目标进行定位并对虚拟内窥镜进入人体的操作进行参数设定，所述参数设定包括导航路线设定、镜头行进速度参数和镜像参数；
根据所述导航路线设定示出虚拟内镜进入的影像。
具体地，所述指定目标包括病灶或是各组织，所述测量包括体积、面积、直径、长度等进行测量；通过上述设置，即使其还具有内镜导航的作用，这样在术前，可提前规划出手术路径，并按内镜导航路线虚拟出内镜的图像，进而提供更好的辅助效果，模拟的更加真实。
进一步地，在前述方案的基础上，所述主机还包括云端处理模块，所述云端处理模块用于：
将所述交互操作后的图像在云端同步，并将进行深度计算后的图像数据传输给指定端口，同时以裸眼3D的形式进行立体显示；
利用设置的触碰屏幕，实现远端的人机互动。
具体地，可以利用设置的动捕镜头识别医生的手部，按规定动作对指定模型按动作要求实现对模型的放大缩小，旋转等人机互动，需要说明的是，这里所说的模型是指所述交互操作过程中，所产生的图像；这样设置，使得本系统的应用不再局限于本地应用，还可通过云端处理模块应用于远程，使得其应用的范围和方式更加灵活；例如，可实现远程的同步示例教学模拟。
进一步地，在前述方案的基础上，所述主机还与外部的智能设备连接。
具体地，所述智能设备采用3D打印设备；即，模拟影像模块还可实现模型的输出，将选择的模型另存为stl格式，直接进行3D打印，使得显示更加直观。
上述系统的应用，利用导入的DICOM数据进行三维重建和相应的处理，在手术前可对病灶与病灶邻近组织模型重建，定位，选色，标注，制定手术规划、模拟开孔，分层和切割等，对病灶模型放大，旋转显示，且利用虚拟内镜导航设定功能，规划出手术路径，按内镜导航路线虚拟出内镜的图像，通过标注加强对病灶的功能提示和突出的明确显示，术中，医生对照病灶模型的裸眼3D屏幕显示观看，通过对病灶模型被放大，旋转显示，实现更好的辅助效果；同时在术前以病灶组织为模型，利用手术模拟对病人与家属宣教，做到更好地病患沟通。
基于上述同样的发明思路，参考图5，本发明实施例还提供了一种基于医学影像三维重建的手术辅助方法，应用于上述所述的一种基于医学影像三维重建的手术辅助系统，所述手术辅助系统的组成部分如前文所述，在此不再赘述，所述方法包括：
S101，由影像数据处理模块对导入的DICOM数据进行三维模型重建以生成第一图像，所述DICOM数据来源于CT/MRI数据库；
S102，由影像数据设置模块对所述第一图像中的病灶和各组织进行区别设置以得到目标图像；
S103，由模拟影像模块将所述目标图像采用加速引擎进行加载，以进行模拟空间图形展示；
S104，由交互装置医务人员对所述模拟空间图形进行交互操作，以实现模拟手术；所述交互装置用于识别医务人员对所述模拟空间图形的手部动作指令，实现对所述模拟空间图形的旋转、大小缩放的交互操作，以及利用辅具在术前设定手术入路，然后依照手术路线，模拟手术内镜导入时的场景图像，或实现对所述模拟空间图形的切割，并输出图像；
所述交互操作具体包括：
在所述模拟空间图形上选择特定的重建区域；
对所述重建区域进行颜色和透明度的设置以及显示的设置；
在所述模拟空间图形上选择需操作的表面区域，利用虚拟的手术工具对所述表面区域进行逐层模拟解剖；
S105，通过显示单元将所述模拟手术的过程以裸眼3D的形式进行展示。
进一步地，所述方法还包括：
将同一病灶的多组DICOM数据进行分组显示；
对选择的一组DICOM数据进行三维模型重建并准确对位重合以生成第一图像。
上述步骤由影像数据处理模块执行。
进一步地，所述方法还包括：
对所述第一图像中的病灶和各组织进行区间划分；
对划分的各区间设置不同范围的CT值；
根据不同范围的CT值进行再次重建以得到目标图像。
所述方法还包括：
只显示指定区间的重建结果；
对指定区间的重建结果进行着色；
设置指定区间的重建结果的透明度。
上述步骤由影像数据设置模块执行。
进一步地，所述方法还包括：
所述交互操作还包括：
对所述模拟空间图形进行任意切割，并对切割后的各图形模块进行分离；
对分离后指定的图形模块进行缩放、旋转操作；
对分离后指定的图形模块进行定位、着色操作。
具体地，所述旋转操作包括单独旋转或关联旋转，所述关联旋转包括指定图形模块的连续旋转和所述模拟空间图形的旋转。
在另一实施例中，在上述方法实施例的基础上，所述方法还包括：
利用虚拟内镜导航模块在所述模拟空间图形中选择指定目标进行测量；
对所述指定目标进行定位并对虚拟内窥镜进入人体的操作进行参数设定，所述参数设定包括导航路线设定、镜头行进速度参数和镜像参数；
根据所述导航路线设定示出虚拟内镜进入的影像。
进一步地，所述方法还包括：
利用云端处理模块将所述交互操作后的图像在云端同步，并进行深度计算，同时以裸眼3D的形式进行立体显示；
利用设置的触碰屏幕，实现远端的人机互动。
需要说明的是，上述方法与前述的系统实施例所对应，其方法步骤中，具体实施方式以及有益效果，参见前述的文字记载，在此不再赘述。
通过上述方法，利用对导入的DICOM数据进行重建并准确对位重合，然后对重建后的病灶和各组织进行区别设置，使对应的部分进行突出显示，增强其空间感，同时，利用互动的人机操作和裸眼3D的形式展示，在带来直观、生动的基础上，实现模拟手术的同时，也避免了使用AR设备会出现眩晕感以及图像画面质量不高的缺陷。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于医学影像三维重建的手术辅助系统，其特征在于，包括主机、显示单元和人机交互单元；
所述主机包括影像数据处理模块、影像数据设置模块、模拟影像模块；
所述影像数据处理模块用于对导入的DICOM数据进行三维模型重建以生成第一图像，所述DICOM数据来源于CT/MRI数据库；
所述影像数据设置模块用于对所述第一图像中的病灶和各组织进行区别设置以得到目标图像；
所述模拟影像模块用于将所述目标图像采用加速引擎进行加载，以进行模拟空间图形展示；
所述人机交互单元包括交互装置，所述交互装置用于识别医务人员对所述模拟空间图形的手部动作指令，实现对所述模拟空间图形的旋转、大小缩放的交互操作，以及利用辅具在术前设定手术入路，然后依照手术路线，模拟手术内镜导入时的场景图像，或实现对所述模拟空间图形的切割，并输出图像，实现模拟手术；
所述显示单元用于将所述模拟手术的过程以裸眼3D的形式进行展示。
2.根据权利要求1所述的基于医学影像三维重建的手术辅助系统，其特征在于，所述影像数据处理模块具体用于：
将同一病灶的多组DICOM数据进行分组显示；
对选择的一组DICOM数据进行三维模型重建并准确对位重合以生成第一图像。
3.根据权利要求1所述的基于医学影像三维重建的手术辅助系统，其特征在于，所述影像数据设置模块具体用于：
对所述第一图像中的病灶和各组织进行区间划分；
对划分的各区间设置不同范围的CT值或MRI参数；
根据不同范围的CT值或MRI参数进行再次重建以得到目标图像。
4.根据权利要求3所述的基于医学影像三维重建的手术辅助系统，其特征在于，所述影像数据设置模块还用于：
只显示指定区间的重建结果；
对指定区间的重建结果进行着色；
设置指定区间的重建结果的透明度。
5.根据权利要求1所述的基于医学影像三维重建的手术辅助系统，其特征在于，所述交互操作具体包括：
在所述模拟空间图形上选择特定的重建区域；
对所述重建区域进行颜色和透明度的设置以及显示的设置；
在所述模拟空间图形上选择需操作的表面区域，利用虚拟的手术工具对所述表面区域进行逐层模拟解剖。
6.根据权利要求5所述的基于医学影像三维重建的手术辅助系统，其特征在于，所述交互操作还包括：
对所述模拟空间图形进行任意切割，并对切割后的各图形模块进行分离；
对分离后指定的图形模块进行缩放、旋转操作；
对分离后指定的图形模块进行定位、着色操作。
7.根据权利要求6所述的基于医学影像三维重建的手术辅助系统，其特征在于，所述旋转操作包括单独旋转或关联旋转，所述关联旋转包括指定图形模块的连续旋转和所述模拟空间图形的旋转。
8.根据权利要求1至7中任意所述的一种基于医学影像三维重建的手术辅助系统，其特征在于，所述主机还包括虚拟内镜导航模块，所述虚拟内镜导航模块用于：
在所述模拟空间图形中选择指定目标进行测量；
对所述指定目标进行定位并对虚拟内窥镜进入人体的操作进行参数设定，所述参数设定包括导航路线设定、镜头行进速度参数和镜像参数；
根据所述导航路线设定示出虚拟内镜进入的影像。
9.根据权利要求6所述的基于医学影像三维重建的手术辅助系统，其特征在于，所述主机还包括云端处理模块，所述云端处理模块用于：
将所述交互操作后的图像在云端同步，并将进行深度计算后的图像数据传输给指定端口，同时以裸眼3D的形式进行立体显示；
利用设置的触碰屏幕，实现远端的人机互动。
10.一种基于医学影像三维重建的手术辅助方法，其特征在于，应用于上述权利要求1所述的一种基于医学影像三维重建的手术辅助系统，所述方法包括：
由影像数据处理模块对导入的DICOM数据进行三维模型重建以生成第一图像，所述DICOM数据来源于CT/MRI数据库；
由影像数据设置模块对所述第一图像中的病灶和各组织进行区别设置以得到目标图像；
由模拟影像模块将所述目标图像采用加速引擎进行加载，以进行模拟空间图形展示；
由交互装置医务人员对所述模拟空间图形进行交互操作，以实现模拟手术；
所述交互操作具体包括：
在所述模拟空间图形上选择特定的重建区域；
对所述重建区域进行颜色和透明度的设置以及显示的设置；
在所述模拟空间图形上选择需操作的表面区域，利用虚拟的手术工具对所述表面区域进行逐层模拟解剖；
通过显示单元将所述模拟手术的过程以裸眼3D的形式进行展示。
CN202010457378.XA 2020-05-26 2020-05-26 基于医学影像三维重建的手术辅助系统及方法 Active CN111553979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010457378.XA CN111553979B (zh) 2020-05-26 2020-05-26 基于医学影像三维重建的手术辅助系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010457378.XA CN111553979B (zh) 2020-05-26 2020-05-26 基于医学影像三维重建的手术辅助系统及方法

Publications (2)

Publication Number Publication Date
CN111553979A true CN111553979A (zh) 2020-08-18
CN111553979B CN111553979B (zh) 2023-12-26

Family

ID=72001374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010457378.XA Active CN111553979B (zh) 2020-05-26 2020-05-26 基于医学影像三维重建的手术辅助系统及方法

Country Status (1)

Country Link
CN (1) CN111553979B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116575A (zh) * 2020-09-18 2020-12-22 上海商汤智能科技有限公司 一种图像处理方法及装置、电子设备和存储介质
CN112618026A (zh) * 2020-12-15 2021-04-09 清华大学 远程手术数据融合交互显示系统及方法
CN113256791A (zh) * 2021-05-24 2021-08-13 南开大学 一种全息增强现实辅助的外科手术术中人机交互诊疗系统
TWI741889B (zh) * 2020-11-30 2021-10-01 財團法人金屬工業研究發展中心 手術空間註冊系統與方法
CN113681895A (zh) * 2021-08-20 2021-11-23 宜宾显微智能科技有限公司 一种导针定位导向板定制及模拟验证系统及其方法
CN114795465A (zh) * 2022-05-31 2022-07-29 浙江大学 一种基于医学影像三维重建的手术辅助系统及方法
CN115761194A (zh) * 2022-11-01 2023-03-07 蓝影(重庆)数字科技有限公司 一种三维重建模型的3d显示系统

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2836728Y (zh) * 2005-09-15 2006-11-15 吴大怡 颅颌面锥束计算机断层成像装置
CN1931093A (zh) * 2005-09-15 2007-03-21 吴大怡 颅颌面锥束计算机断层成像装置
CN101422352A (zh) * 2008-12-10 2009-05-06 华北电力大学（保定） 一种交互式冠状动脉虚拟血管镜的实现方法
US20100215236A1 (en) * 2007-08-29 2010-08-26 Centre National De La Recherche Scientifique Method of reconstructing in three dimensions a singular object on the basis of imaging in section (scanner, mri)
US20130345491A1 (en) * 2011-03-09 2013-12-26 A School Corporation Kansai University Image data processing device and transcranial magnetic stimulation apparatus
WO2017088816A1 (zh) * 2015-11-27 2017-06-01 广州聚普科技有限公司 一种基于dti的颅内神经纤维束的三维重建方法
CN106874700A (zh) * 2017-04-01 2017-06-20 上海术理智能科技有限公司 基于Web的手术模拟方法、手术模拟装置及电子设备
CN109061892A (zh) * 2018-09-27 2018-12-21 广州狄卡视觉科技有限公司 整形外科医学影像模型重建互动裸眼立体显示系统及方法
CN109157284A (zh) * 2018-09-28 2019-01-08 广州狄卡视觉科技有限公司 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN109223121A (zh) * 2018-07-31 2019-01-18 广州狄卡视觉科技有限公司 基于医学影像模型重建、定位的脑出血穿刺手术导航系统
CN109414180A (zh) * 2016-06-30 2019-03-01 直观外科手术操作公司 在图像引导程序期间以多种模式显示指导信息的图形用户界面
US20190073803A1 (en) * 2017-09-07 2019-03-07 Siemens Healthcare Gmbh Method for processing medical image data and image processing system for medical image data
CN110174953A (zh) * 2019-07-01 2019-08-27 苏州蓝软智能医疗科技有限公司 基于混合现实技术的假体置换手术模拟系统及构建方法
CN110428887A (zh) * 2019-08-05 2019-11-08 河南省三门峡市中心医院(三门峡市儿童医院、三门峡市妇幼保健院) 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN110478050A (zh) * 2019-08-23 2019-11-22 北京仁馨医疗科技有限公司 基于ct/mri数据的三维图像与内镜影像融合方法、装置及系统
CN110517238A (zh) * 2019-08-20 2019-11-29 厦门天允星途医疗科技有限公司 Ct医学影像ai三维重建与人机交互可视化网络系统
CN110584780A (zh) * 2019-09-11 2019-12-20 湘南学院附属医院 一种脑出血穿刺手术导航系统
CN110663084A (zh) * 2017-04-18 2020-01-07 直观外科手术操作公司 用于规划程序的图形用户界面

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1931093A (zh) * 2005-09-15 2007-03-21 吴大怡 颅颌面锥束计算机断层成像装置
CN2836728Y (zh) * 2005-09-15 2006-11-15 吴大怡 颅颌面锥束计算机断层成像装置
US20100215236A1 (en) * 2007-08-29 2010-08-26 Centre National De La Recherche Scientifique Method of reconstructing in three dimensions a singular object on the basis of imaging in section (scanner, mri)
CN101422352A (zh) * 2008-12-10 2009-05-06 华北电力大学（保定） 一种交互式冠状动脉虚拟血管镜的实现方法
US20130345491A1 (en) * 2011-03-09 2013-12-26 A School Corporation Kansai University Image data processing device and transcranial magnetic stimulation apparatus
WO2017088816A1 (zh) * 2015-11-27 2017-06-01 广州聚普科技有限公司 一种基于dti的颅内神经纤维束的三维重建方法
CN109414180A (zh) * 2016-06-30 2019-03-01 直观外科手术操作公司 在图像引导程序期间以多种模式显示指导信息的图形用户界面
CN106874700A (zh) * 2017-04-01 2017-06-20 上海术理智能科技有限公司 基于Web的手术模拟方法、手术模拟装置及电子设备
CN110663084A (zh) * 2017-04-18 2020-01-07 直观外科手术操作公司 用于规划程序的图形用户界面
US20190073803A1 (en) * 2017-09-07 2019-03-07 Siemens Healthcare Gmbh Method for processing medical image data and image processing system for medical image data
CN109223121A (zh) * 2018-07-31 2019-01-18 广州狄卡视觉科技有限公司 基于医学影像模型重建、定位的脑出血穿刺手术导航系统
CN109061892A (zh) * 2018-09-27 2018-12-21 广州狄卡视觉科技有限公司 整形外科医学影像模型重建互动裸眼立体显示系统及方法
CN109157284A (zh) * 2018-09-28 2019-01-08 广州狄卡视觉科技有限公司 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN110174953A (zh) * 2019-07-01 2019-08-27 苏州蓝软智能医疗科技有限公司 基于混合现实技术的假体置换手术模拟系统及构建方法
CN110428887A (zh) * 2019-08-05 2019-11-08 河南省三门峡市中心医院(三门峡市儿童医院、三门峡市妇幼保健院) 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN110517238A (zh) * 2019-08-20 2019-11-29 厦门天允星途医疗科技有限公司 Ct医学影像ai三维重建与人机交互可视化网络系统
CN110478050A (zh) * 2019-08-23 2019-11-22 北京仁馨医疗科技有限公司 基于ct/mri数据的三维图像与内镜影像融合方法、装置及系统
CN110584780A (zh) * 2019-09-11 2019-12-20 湘南学院附属医院 一种脑出血穿刺手术导航系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116575A (zh) * 2020-09-18 2020-12-22 上海商汤智能科技有限公司 一种图像处理方法及装置、电子设备和存储介质
TWI741889B (zh) * 2020-11-30 2021-10-01 財團法人金屬工業研究發展中心 手術空間註冊系統與方法
CN112618026A (zh) * 2020-12-15 2021-04-09 清华大学 远程手术数据融合交互显示系统及方法
CN112618026B (zh) * 2020-12-15 2022-05-31 清华大学 远程手术数据融合交互显示系统及方法
CN113256791A (zh) * 2021-05-24 2021-08-13 南开大学 一种全息增强现实辅助的外科手术术中人机交互诊疗系统
CN113681895A (zh) * 2021-08-20 2021-11-23 宜宾显微智能科技有限公司 一种导针定位导向板定制及模拟验证系统及其方法
CN113681895B (zh) * 2021-08-20 2023-03-10 宜宾显微智能科技有限公司 一种导针定位导向板定制及模拟验证系统及其方法
CN114795465A (zh) * 2022-05-31 2022-07-29 浙江大学 一种基于医学影像三维重建的手术辅助系统及方法
CN115761194A (zh) * 2022-11-01 2023-03-07 蓝影(重庆)数字科技有限公司 一种三维重建模型的3d显示系统

Also Published As

Publication number Publication date
CN111553979B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN111553979B (zh) 基于医学影像三维重建的手术辅助系统及方法
US11413094B2 (en) System and method for multi-client deployment of augmented reality instrument tracking
Spicer et al. Virtual reality surgery: neurosurgery and the contemporary landscape
Fried et al. The role of virtual reality in surgical training in otorhinolaryngology
CN114913309B (zh) 基于混合现实的高仿真外科手术教学系统及其方法
CN114711962A (zh) 一种增强现实手术规划导航系统及方法
CN115457008B (zh) 腹腔实时穿刺虚拟仿真培训方法及装置
Müller et al. Virtual reality in surgical arthroscopic training
CN113035038A (zh) 一种虚拟骨科手术练习系统及模拟训练方法
CN110136522A (zh) 颅底手术模拟教学培训系统
CN106887044A (zh) 基于多幅断层扫描图像的三维实体模型构建方法及装置
CN113995525A (zh) 可切换视角的基于混合现实的医疗场景同步操作系统及存储介质
CN111631814B (zh) 术中血管立体定位导航系统及方法
Trier et al. The visible ear surgery simulator
Wang et al. Application of artificial intelligence-assisted image diagnosis software based on volume data reconstruction technique in medical imaging practice teaching
CN109935313A (zh) 三维可视化和混合现实的医学应用
Nylund et al. Mixed reality training application to perform obstetric pulsed-wave Doppler ultrasound
Cai et al. Development and application of vr support system for medical students
Balzli et al. 3D multimodal teaching of human anatomy and autopsy with real human data
Gribaudo et al. Enhancing spatial navigation in robot-assisted surgery: An application
Heredero et al. The Role of Virtual Reality, Augmented Reality and Mixed Reality in Modernizing Free Flap Reconstruction Techniques
Satava et al. Laparoscopic surgery: Transition to the future
Chen et al. A system design for virtual reality visualization of medical image
CN115547129B (zh) 一种心脏三维可视化的ar实现系统与方法
Sukanya et al. Modernized healthcare using augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 510663 room 106, east half of the third floor of Building 1, No. 62, Nanxiang 1st Road, Science City, Huangpu District, Guangzhou City, Guangdong Province

Applicant after: Guangzhou Dika Health Technology Co.,Ltd.

Address before: 510663 room 106, east half of the third floor of Building 1, No. 62, Nanxiang 1st Road, Science City, Huangpu District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU DIKA VISION TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231124

Address after: 510670 East half of Building 3, No. 62 Nanxiang 1st Road, Science City, Guangzhou Economic and Technological Development Zone, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU ARAHELIO BIOLOGICAL TECHNOLOGY CO.,LTD.

Address before: 510663 room 106, east half of the third floor of Building 1, No. 62, Nanxiang 1st Road, Science City, Huangpu District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou Dika Health Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant