[go: up one dir, main page]

KR102612603B1 - 2d-3d 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템 - Google Patents

2d-3d 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템 Download PDF

Info

Publication number
KR102612603B1
KR102612603B1 KR1020220144585A KR20220144585A KR102612603B1 KR 102612603 B1 KR102612603 B1 KR 102612603B1 KR 1020220144585 A KR1020220144585 A KR 1020220144585A KR 20220144585 A KR20220144585 A KR 20220144585A KR 102612603 B1 KR102612603 B1 KR 102612603B1
Authority
KR
South Korea
Prior art keywords
image
interest
region
determining
drr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020220144585A
Other languages
English (en)
Inventor
우동기
황성택
Original Assignee
큐렉소 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 큐렉소 주식회사 filed Critical 큐렉소 주식회사
Priority to KR1020220144585A priority Critical patent/KR102612603B1/ko
Priority to JP2023186147A priority patent/JP7577378B2/ja
Priority to EP23207139.9A priority patent/EP4404140A3/en
Priority to US18/498,505 priority patent/US20240144498A1/en
Priority to EP25185513.6A priority patent/EP4609815A3/en
Priority to CN202311447959.5A priority patent/CN117994300A/zh
Application granted granted Critical
Publication of KR102612603B1 publication Critical patent/KR102612603B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B17/56—Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor
    • A61B17/58—Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor for osteosynthesis, e.g. bone plates, screws or setting implements
    • A61B17/68—Internal fixation devices, including fasteners and spinal fixators, even if a part thereof projects from the skin
    • A61B17/70—Spinal positioners or stabilisers, e.g. stabilisers comprising fluid filler in an implant
    • A61B17/7001—Screws or hooks combined with longitudinal elements which do not contact vertebrae
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10076—4D tomography; Time-sequential 3D tomography
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mechanical Engineering (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Databases & Information Systems (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Neurology (AREA)
  • Oral & Maxillofacial Surgery (AREA)

Abstract

본 발명은 이미지 정합 방법과 장치, 이를 활용하는 수술용 로봇 시스템 및 컴퓨터 프로그램 매체에 관한 것이다.
본 발명의 이미지 정합 방법은, 수술전 3D 이미지 장치로부터 환자 수술 부위의 3D 이미지를 획득하는 단계; 상기 3D 이미지로부터 AP 및 LL 방향의 DRR 이미지를 추출하는 단계; 수술중 2D 이미지 장치로부터 상기 환자 수술 부위의 AP 이미지와 LL 이미지의 2D 이미지를 획득하는 단계; 상기 DRR 이미지에 대한 소스 및 디텍터의 기하 공간 관계로부터, 상기 AP 이미지 및 상기 LL 이미지의 평면에 대한 제1 법선 벡터들의 외적 벡터와 평행하고 미리 결정된 제1 원점을 지나는 제1 회전축을 기준으로, 미리 결정된 상기 AP 이미지 또는 상기 LL 이미지의 제1 기준 위치에 대응하는 상기 환자 수술 부위의 참조 위치와 상기 제1 기준 위치 사이의 제1 회전각을 결정하는 단계; 상기 2D 이미지에 대한 소스 및 디텍터의 기하 공간 관계로부터, 상기 AP 이미지 및 상기 LL 이미지의 평면에 대한 제2 법선 벡터들의 외적 벡터와 평행하고 미리 결정된 제2 원점을 지나는 제2 회전축을 기준으로, 상기 참조 위치에 대응하는 상기 AP 이미지 또는 상기 LL 이미지의 제2 기준 위치와 상기 참조 위치 사이의 제2 회전각을 결정하는 단계; 및 상기 DRR 이미지 및 상기 2D 이미지 각각의 상기 소스 및 디텍터에 대한 기하 공간 관계들로부터, 상기 제1 및 제2 회전각을 기초로 상기 2D 이미지 및 상기 DRR 이미지 사이의 변환 관계를 결정하는 단계를 포함하는 것을 특징으로 한다.

Description

2D-3D 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템{2D-3D IMAGE REGISTRAION METHOD AND MEDICAL OPERATING ROBOT SYSTEM THEREOF}
본 발명은 이미지 정합에 관한 것으로서, 더욱 상세하게는, 수술전(pre-operative) 3D 이미지와 수술중(intra-operative) 2D 이미지 사이의 정합(registration)을 통해 수술 플래닝 및 네비게이션 정보를 원하는 이미지에 표시할 수 있도록 하는 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템에 관한 것이다.
이미지 정합에 기반한 수술 네비게이션 기술은 의사의 수술을 보조하는데 이용되어 왔다.
의사는 수술에 들어가기에 앞서, 수술 부위를 촬영한 CT의 3D 이미지를 기초로 최적의 임플란트 제품, 임플란트의 수술 위치 또는 수술도구의 궤도 등을 결정하는 수술 계획을 수립한다. 그리고 수술 중에는, 수술 계획대로 수술이 잘 진행되고 있는지 확인하기 위해 수술 현황에 해당하는 수술 도구, 임플란트 등의 실시간 위치를 수술 계획과 대비, 확인하면서 수술 도구를 조작한다.
수술 계획은 수술 전 주로 활용되고 있는 CT의 3D 이미지를 기반으로 수립되는 반면, 수술 현황은 수술 중 주로 활용되고 있는 영상 장비인 C-arm 의 2D 이미지를 기반으로 제공되는데, 이는 수술 중 수술 도구와 C-arm 이 같은 좌표계로 정합되기 때문이다.
따라서, 수술 계획 및 수술 현황에 대한 통합적인 정보 제공을 위해서는 3D-2D 이미지들이 정합되어야 하며, 성공적인 수술을 위해서는 이미지 정합의 정확도를 높여야 하고 이미지 정합의 프로세싱 시간을 단축해야 한다.
그러나, 환자의 움직임에 따라 척추의 회전, 좌우 골반의 비대칭 등이 발생하여 이미지를 획득할 때마다 일정하지 않은 영상이 획득될 수 있다. 따라서, 환자의 움직임 특히, 위치의 이동은 없으나 관절의 회전 등에 기반하여 발생하는 포즈의 미세한 변화를 신속하게 프로세싱하여 이미지 정합을 수행해야 하나, 종래의 네비게이션 기술 분야에서는 이러한 관절 회전에 따른 포즈 변화를 반영하는 이미지 정합 기술이 활용되고 있지 못하였다.
대한민국 등록특허 제2203544호 대한민국 등록특허 제2394901호
그러므로, 본 발명은 신속한 이미지 정합 프로세싱이 가능하고 관절의 회전에 기인한 움직임 보상이 가능한 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템, 이미지 정합 장치, 및 컴퓨터 프로그램 매체를 제공하는 것을 목적으로 한다.
상기 목적은 본 발명의 일 양태에 따른 이미지 정합 방법에 있어서, 수술전 3D 이미지 장치로부터 환자 수술 부위의 3D 이미지를 획득하는 단계; 상기 3D 이미지로부터 AP 및 LL 방향의 DRR 이미지를 추출하는 단계; 수술중 2D 이미지 장치로부터 상기 환자 수술 부위의 AP 이미지와 LL 이미지의 2D 이미지를 획득하는 단계; 상기 DRR 이미지에 대한 소스 및 디텍터의 기하 공간 관계로부터, 상기 AP 이미지 및 상기 LL 이미지의 평면에 대한 제1 법선 벡터들의 외적 벡터와 평행하고 미리 결정된 제1 원점을 지나는 제1 회전축을 기준으로, 미리 결정된 상기 AP 이미지 또는 상기 LL 이미지의 제1 기준 위치에 대응하는 상기 환자 수술 부위의 참조 위치와 상기 제1 기준 위치 사이의 제1 회전각을 결정하는 단계; 상기 2D 이미지에 대한 소스 및 디텍터의 기하 공간 관계로부터, 상기 AP 이미지 및 상기 LL 이미지의 평면에 대한 제2 법선 벡터들의 외적 벡터와 평행하고 미리 결정된 제2 원점을 지나는 제2 회전축을 기준으로, 상기 참조 위치에 대응하는 상기 AP 이미지 또는 상기 LL 이미지의 제2 기준 위치와 상기 참조 위치 사이의 제2 회전각을 결정하는 단계; 및 상기 DRR 이미지 및 상기 2D 이미지 각각의 상기 소스 및 디텍터에 대한 기하 공간 관계들로부터, 상기 제1 및 제2 회전각을 기초로 상기 2D 이미지 및 상기 DRR 이미지 사이의 변환 관계를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 정합 방법에 의해 달성될 수 있다.
여기에서, 상기 제1 기준 위치 및 상기 제2 기준 위치는 상기 2D 이미지 및 상기 DRR 이미지 각각에 대한 상기 AP 이미지 또는 상기 LL 이미지의 중심 또는 상기 중심을 포함하는 선 또는 면으로 할 수 있다.
상기 이미지 정합 방법은 상기 3D 이미지를 기초로 수술 플래닝을 수행하는 단계를 더 포함하고, 상기 DRR 이미지에 대한 상기 제1 원점은 수술 플래닝에 적용된 임플란트의 장착 위치 또는 상기 임플란트 설치를 위한 수술도구의 궤도의 상대적 관계를 통해 결정되도록 할 수 있다. 그리고, 상기 DRR 이미지 또는 상기 상기 2D 이미지에 대한 상기 참조 위치는 사용자 입력에 의해 결정되도록 할 수 있다.
상기 이미지 정합 방법에서, 상기 DRR 이미지에 대한 상기 소스 및 상기 디텍터의 기하 공간 관계는 정투영(orthogonal projection) 관계이고, 상기 2D 이미지에 대한 상기 소스 및 상기 디텍터의 기하 공간 관계는 원근 투영(perspective projection) 관계인 것으로 할 수 있다.
그리고 상기 이미지 정합 방법은, 상기 DRR 이미지에 대한 상기 소스 및 상기 디텍터의 상기 기하 공간 관계로부터, 상기 제1 법선 벡터들 방향으로 상기 AP 이미지 평면 및 상기 LL 이미지 평면을 이동함에 따라 평면들이 교차하는 제1 관심 볼륨을 결정하는 단계; 및 상기 2D 이미지에 대한 상기 소스 및 상기 디텍터의 상기 기하 공간 관계는 원근 투영 관계로서, 원근 투영 범위 내에서 상기 제2 법선 벡터를 방향으로 상기 AP 이미지 평면 및 상기 LL 이미지 평면을 이동함에 따라 평면들이 교차하는 제2 관심 볼륨을 결정하는 단계를 더 포함하도록 할 수 있다. 여기에서, 상기 제1 원점은 상기 제1 관심 볼륨의 중심점이고, 상기 제2 원점은 상기 제2 관심 볼륨의 중심점으로 할 수 있다.
그리고 상기 이미지 정합 방법은, 상기 DRR 이미지의 상기 AP 이미지 및 상기 LL 이미지 각각에 대한 제1 관심 영역을 결정하는 단계; 및 상기 제1 관심 영역에 대응하는 제2 관심 영역을 상기 2D 이미지의 상기 AP 이미지 및 상기 LL 이미지 각각에 대해 결정하는 단계를 더 포함하고, 상기 제1 기준 위치는 상기 제1 관심 영역 내에 위치하고, 상기 제2 기준 위치는 상기 제2 관심 영역 내에 위치하는 것으로 할 수 있다. 또한, 상기 DRR 이미지에 대한 상기 소스 및 상기 디텍터의 상기 기하 공간 관계로부터, 상기 제1 법선 벡터들 방향으로 상기 AP 이미지의 관심 영역 및 상기 LL 이미지의 관심 영역을 이동함에 따라 평면들이 교차하는 제1 관심 볼륨을 결정하는 단계; 및 상기 2D 이미지에 대한 상기 소스 및 상기 디텍터의 상기 기하 공간 관계는 원근 투영 관계로서, 원근 투영 범위 내에서 상기 제2 법선 벡터를 방향으로 상기 AP 이미지의 관심 영역 및 상기 LL 이미지의 관심 영역을 이동함에 따라 평면들이 교차하는 제2 관심 볼륨을 결정하는 단계를 더 포함하는 것으로 할 수 있으며, 여기에서 상기 제1 원점은 상기 제1 관심 볼륨의 중심점이고, 상기 제2 원점은 상기 제2 관심 볼륨의 중심점으로 할 수 있다.
그리고 상기 이미지 정합 방법은, 상기 제1 원점은 환자의 척추 페디클 스크류의 타겟 위치 사이의 중점인 것으로 할 수 있으며, 상기 제1 회전각은 상기 제1 원점을 중심으로, 상기 페디클 스크류 진입점(entry point) 사이의 중점과 상기 제1 원점을 연결한 선분과, 상기 관심 볼륨의 중심점을 지나는 상기 제1 법선 벡터가 이루는 각도인 것으로 할 수 있다.
그리고 상기 이미지 정합 방법은, 상기 DRR 이미지의 상기 AP 이미지 및 상기 LL 이미지에 대한 상기 제1 관심 영역 각각은 직사각형이고, 상기 DRR 이미지에 대하여, 상기 AP 이미지의 관심 영역의 각각의 꼭지점에 대한 상기 LL 이미지 상의 에피폴라 라인(epipolar line)과 상기 LL 이미지의 관심 영역 외주변 또는 측변들의 중점 사이를 연결하는 중선과의 제1 교차점들을 산출하는 제1 단계; 상기 제1 교차점들을 상기 AP 이미지의 관심 영역의 각각의 꼭지점으로부터의 상기 법선 벡터들에 각각 정사영(orthogonal projection)하여 4개의 복원점을 획득하는 제2 단계; 상기 LL 이미지의 관심 영역의 각각의 꼭지점에 대한 상기 AP 이미지 상의 에피폴라 라인과의 상기 AP 이미지의 관심 영역의 외주변 또는 측변들의 중점 사이를 연결하는 중선과의 제2 교차점들을 구하는 제3 단계; 상기 제2 교차점들을 상기 상기 LL 이미지 상의 관심 영역의 각각의 꼭지점으로부터의 상기 법선 벡터들에 각각 정사영하여 4개의 복원점을 획득하는 제4 단계; 및 상기 제1 내지 제4 단계를 통해 얻어진 8개의 복원점을 기초로 형성되는 6 면체의 제1 관심 볼륨을 산출하는 제5 단계를 포함하는 것으로 할 수 있다.
그리고 상기 이미지 정합 방법은 상기 제2 관심 볼륨을 결정하는 단계는, 상기 2D 이미지에 대하여, 상기 AP 이미지의 관심 영역의 각각의 꼭지점에 대한 상기 LL 이미지 상의 에피폴라 라인(epipolar line)과 상기 LL 이미지의 관심 영역 외주변 또는 측변들의 중점 사이를 연결하는 중선과의 제1 교차점들을 산출하는 제1 단계; 상기 제1 교차점들을 상기 AP 이미지의 관심 영역의 각각의 꼭지점으로부터 상기 소스를 향하는 원근 투영 벡터에 원근 투영(perspective projection)하여 4개의 복원점을 획득하는 제2 단계; 상기 LL 이미지의 관심 영역의 각각의 꼭지점에 대한 상기 AP 이미지 상의 에피폴라 라인과의 상기 AP 이미지의 관심 영역의 외주변 또는 측변들의 중점 사이를 연결하는 중선과의 제2 교차점들을 구하는 제3 단계; 상기 제2 교차점들을 상기 상기 LL 이미지 상의 관심 영역의 각각의 꼭지점으로부터 소스를 향하는 원근 투영 벡터들에 각각 원근 투영하여 4개의 복원점을 획득하는 제4 단계; 및 상기 1 내지 4 단계에서 획득된 8개의 복원점을 기초로 6면체의 제2 관심 볼륨을 결정하는 제5 단계를 포함하는 것으로 할 수 있다.
또한, 상기 목적은 본 발명의 또다른 양태에 따른 이미지 정합 방법에 있어서, 수술전 3D 이미지 장치로부터 환자 수술 부위의 3D 이미지를 획득하는 단계; 상기 3D 이미지로부터 AP 및 LL 방향의 DRR 이미지를 추출하는 단계; 수술중 2D 이미지 장치로부터 상기 환자 수술 부위의 AP 이미지와 LL 이미지의 2D 이미지를 획득하는 단계; 상기 DRR 이미지의 상기 AP 이미지 및 상기 LL 이미지 각각에 대한 제1 관심 영역을 결정하는 단계; 상기 제1 관심 영역에 대응하는 제2 관심 영역을 상기 2D 이미지의 상기 AP 이미지 및 상기 LL 이미지 각각에 대해 결정하는 단계; 상기 DRR 이미지에 대한 소스 및 디텍터의 기하 공간 관계로부터, 상기 AP 이미지 및 상기 LL 이미지의 평면에 대한 제1 법선 벡터들 방향으로 상기 AP 이미지의 관심 영역 및 상기 LL 이미지의 관심 영역을 평행 이동시 평면들이 교차하여 형성하게 되는 제1 관심 볼륨을 결정하는 단계; 상기 2D 이미지에 대한 소스 및 디텍터의 기하 공간 관계는 원근 투영 관계로서, 원근 투영 범위 내에서 상기 2D 이미지의 AP 이미지 및 LL 이미지에 대한 제2 법선 벡터 방향으로 상기 AP 이미지의 관심 영역 및 상기 LL 이미지의 관심 영역을 이동시 평면들이 교차하여 형성하게 되는 제2 관심 볼륨을 결정하는 단계; 상기 제1 관심 영역 내의 미리 결정된 제1 기준 위치에 대응하는 상기 제1 관심 볼륨내의 제1 기준 위치와 상기 제1 기준 위치에 대응하는 미리 결정된 참조 위치의 제1 변위를 결정하는 단계; 상기 참조 위치에 대응하는 상기 제2 관심 영역 내의 미리 결정된 제2 기준 위치에 대한 상기 제2 관심 볼륨 내의 제2 기준 위치와 상기 참조 위치 사이의 제2 변위를 결정하는 단계; 및 상기 제1 변위와 상기 제2 변위를 기초로, 상기 DRR 이미지 및 상기 2D 이미지 각각의 상기 소스 및 디텍터에 대한 기하 공간 관계들로부터 상기 2D 이미지 및 상기 DRR 이미지 사이의 변환 관계를 결정하는 단계로서, 상기 변환 관계에 따라 상기 제1 관심 영역의 꼭지점과 상기 제2 관심 영역의 꼭지점 사이의 유클리디안 거리가 최소가 되도록 하는 변환 관계를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 정합 방법에 의해 달성될 수 있다.
여기에서, 상기 제1 변위를 결정하는 단계는, 상기 AP 이미지 및 상기 LL 이미지의 평면에 대한 상기 제1 법선 벡터들의 외적 벡터와 평행하고 미리 결정된 제1 원점을 지나는 제1 회전축을 기준으로 상기 참조 위치와 상기 제1 기준 위치 사이의 각도를 제1 회전각으로 결정하는 단계를 포함하고; 상기 제2 변위를 결정하는 단계는, 상기 AP 이미지 및 상기 LL 이미지의 평면에 대한 상기 제2 법선 벡터들의 외적 벡터와 평행하고 미리 결정된 제2 원점을 지나는 제2 회전축을 기준으로, 상기 참조 위치와 제2 기준 위치 사이의 각도를 제2 회전각으로 결정하는 단계를 포함하는 것으로 할 수 있다.
그리고, 상기 제1 및 제2 관심 볼륨을 결정하는 단계는 상기 제1 및 제2 관심 영역의 꼭지점의 에피폴라 라인을 상기 제1 및 제2 법선 벡터들에 투영하여 다면체를 형성하는 단계를 각각 포함하는 것으로 할 수 있다.
또한, 상기 목적은 본 발명의 또다른 양태에 따른 이미지 정합 장치에 있어서, 청구항 1 내지 청구항 17 중 어느 하나의 이미지 정합 방법을 수행하기 위한 프로세서를 포함하는 이미지 정합 장치에 의해 달성될 수 있다.
또한, 상기 목적은 본 발명의 또다른 양태에 따른 수술용 로봇 시스템에 있어서, 수술 중 환자의 수술 부위의 2D 이미지를 획득하기 위한 2D 이미지 장치; 수술 도구가 착탈 가능한 엔드이펙터를 포함하는 로봇암; 상기 수술 도구 또는 상기 엔드이펙터의 실시간 위치를 센싱하기 위한 위치센서; 미리 결정된 수술 플래닝에 따라 상기 로봇암을 제어하는 제어기; 디스플레이; 청구항 1 내지 청구항 17 중 어느 하나의 이미지 정합 방법을 수행하여, 상기 디스플레이를 통해 수술 도구 또는 임플란트에 대한 상기 플래닝 정보를 수술 중 획득되는 2D 이미지에 표시하거나, 상기 수술 도구 또는 임플란트의 상기 실시간 위치를 상기 2D 이미지 또는 수술 전 획득된 3D 이미지에 표시하는 네비게이션 시스템을 포함하는 것을 특징으로 하는 수술용 로봇 시스템에 의해 달성될 수 있다.
또한, 상기 목적은 본 발명의 일 양태에 따른, 청구항 1 내지 청구항 17 중 어느 하나의 이미지 정합 방법을 수행하기 위한 소프트웨어를 저장하는 컴퓨터 프로그램 매체에 의해 달성될 수 있다.
본 발명은 환자의 신체 일부에 대한 회전시 움직임 보상이 가능한 정확하고 신속한 이미지 정합 프로세싱을 제공할 수 있다.
도1은 본 발명의 실시예에 따른 이미지 정합 방법의 순서도이다.
도2a 및 도2b는 CT 영상에 수술 계획을 수립하고, 이로부터 관심 볼륨을 추출하는 과정을 설명하기 위한 예시 도면이다;
도3은 CT 영상으로부터 정사영(orthogonal projection)에 기반하여 DRR 영상을 생성하는 것을 설명하기 위한 예시 도면이다.
도4는 AP 이미지에서 머신 러닝을 통해 라벨링한 후 관심 영역을 자동으로 생성하는 과정을 설명하기 위한 예시 도면이다.
도5a 및 도5b는 DRR 이미지로서, AP 이미지 및 LL 이미지에 제1 관심 영역이 생성된 결과의 예를 도시한 도면이다.
도6a 및 도6b는 C-arm 이미지로서, AP 이미지 및 LL 이미지에 제2 관심 영역이 생성된 결과의 예를 도시한 도면이다.
도7은 관심 영역의 크기 조정, 위치 이동, 회전 이동, SP 설정 등이 가능하도록 하는 사용자 인터페이스의 예를 도시한 도면이다.
도8a 내지 도8d는 제1 관심 영역의 꼭지점이 CT 볼륨 내에 복원되는 과정을 설명하기 위한 도면이다.
도9는 제1 관심 영역의 꼭지점 8개가 CT 볼륨 내에 복원된 결과를 설명하기 위한 예시 도면이다.
도10은 제2 관심 영역의 꼭지점이 C-arm 볼륨 내에 복원되는 과정을 설명하기 위한 도면이다.
도11은 제2 관심 영역의 꼭지점 8개가 C-arm 볼륨 내에 복원된 결과를 설명하기 위한 도면이다.
도12a 및 도12b는 제1 관심 볼륨의 axial 방향과 극돌기의 선단 라인이 일치하는 경우 및 불일치 하여 회전된 경우를 설명하기 위한 도면이다.
도13은 수술 전 수술 계획된 플래닝 오브젝트 위치 기반 제1 회전각을 결정하는 방법을 설명하기 위한 예시 도면이다.
도14는 C-arm AP 이미지에서 극돌기 선단 라인을 사용자가 설정하도록 하기 위한 사용자 인터페이스를 설명하기 위한 예시 도면이다.
도15는 C-arm AP 이미지 기반 제2 회전각을 산출하는 과정을 설명하기 위한 예시 도면이다.
도17은 제1 관심 볼륨 중앙을 원점으로 하는 로컬 좌표계 V를 설명하기 위한 도면이다.
도18은 본 발명의 일 실시예에 따른 수술 로봇 시스템의 개략적인 구성 모식도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.
도1은 본 발명의 실시예에 따른 이미지 정합 방법의 순서도이고, 도2 내지 도13은 도1 순서도의 단계를 도해하는 모식도이다.
도1을 참조하면, 본 발명의 실시예에 따른 이미지 정합 방법은 수술 전 단계의 플래닝 단계를 포함한다.
먼저, 수술 전 환자 수술 부위에 대한 CT 영상을 촬영하여 3D 이미지를 획득한다(S1). 여기에서, CT 외에 3D 이미지를 획득하는 영상 장치 예컨대, MRI 등이 또한 대체로 사용될 수 있으며, 본 발명은 특정한 영상 장치에 제한되지 않는다.
의사는 3D 이미지에 대해서 수술 계획을 수립한다(S2). 예를 들어, 척추 수술 중 페디클에 스크류를 삽입하여 고정하는 수술의 경우, 스크류의 직경, 길이, 재질 등을 기준으로 한 스크류 제품의 선택, 스크류의 페디클 진입점, 스크류의 말단의 정착 위치인 타겟 등을 3D 이미지 상에 표시할 수 있다. 이러한 플래닝 소프트웨어는 다양한 수술 분야에서 많은 기업들이 제공하고 있다.
다음, 의사가 수술 계획을 수립한 수술 부위에 대한 관심 볼륨을 추출한다(S3). 이러한 추출은 3D 이미지 상에 표시된 플래닝 오브젝트 예컨대, 스크류의 위치를 기준으로 자동화된 알고리즘을 통해 자동 추출되거나 의사가 직접 제공되는 볼륨 경계를 조정하여 그 크기 만큼 추출하도록 할 수도 있다.
도2a를 참조하면, 의사는 좌측 3D 이미지 상에 제공되는 하얀색 박스를 컨트롤하여 관심 볼륨을 설정하거나 조절하는 것이 가능하고, 도2b를 참조하면, 도2a와 대비하여 예컨대, 플래닝 오브젝트인 스크류를 기준으로 좌우 마진(a, b)의 크기를 디폴트로 주고 자동으로 추출되도록 할 수 있다.
이렇게 추출된 관심 볼륨으로부터 DRR(Digitally Reconstructed Radiograph) 이미지로서, AP 이미지(Anterior-Posterior image) 및 LL 이미지(Lateral-Lateral image)를 생성한다(S4). 즉, 도3에 도시되 바와 같이, CT 장비에서 제공하는 CT 좌표계를 기준으로 가상의 C-arm 영상으로서, 정사영(orthogonal projection)에 따른 AP 소스와 디텍터로부터 AP 이미지를, LL 소스 및 디텍터로부터 LL 이미지를 생성한다.
다음, 수술 중 C-arm 장비를 통해 수술 부위의 AP 이미지와 LL 이미지를 획득하고(S5), 환자의 신체 일부에 설치된 마커(이하 'PM 마커'라고 한다) 또는 기타 수술 공간 내에 참조될 수 있는 마커를 기준으로 하는 좌표계에 C-arm 장비를 정합시킨다(S6). 본 출원인의 등록특허 KR2203544호를 C-arm 장비 및 2D 이미지를 3D 공간에 정합하는 기술을 개시하고 있으며, 본 출원은 544'호를 전부 참조로 포함한다. C-arm 장비를 공간 정합하는 기술은 참조된 544'호 특허 외에도 다수 공지되어 있으며, 본 발명은 특정 공간 정합 기술에 한정되지 않는다.
DRR 이미지와 C-arm 이미지에 대해 제1 관심 영역(ROI) 및 제2 관심 영역(ROI)을 각각 결정한다(S7,S8). 각 관심 영역은 페디클 스크류 고정 수술의 경우, 척추 뼈 단위로 설정될 수 있으며, 도4에 개시된 바와 같이, 머신 러닝을 통해 척추 뼈 단위로 추출되어 라벨링되고, 관심 영역은 각 척추 뼈를 포함하는 직사각형으로 정의될 수 있다.
도5a 및 도5b는 라벨링된 DRR 이미지의 AP 이미지 및 LL 이미지에 제1 관심 영역이 추출된 결과를 나타내고, 도6a 및 도6b는 라벨링된 C-arm 의 AP 이미지 및 LL 이미지에 제2 관심 영역이 추출된 결과를 나타낸다.
여기에서 주의할 점은 DRR 이미지에 대한 제1 관심 영역과 C-arm 이미지에 대한 제2 관심 영역은 상호 동등하게 추출된다는 점이다. 적어도, 관심 영역의 직사격형의 꼭지점은 서로 대응하는 동등성이 있는 점으로 선택된다. 동등성은 완전한 일치점을 의미하는 것은 아니고, 예컨대, 척추 뼈의 이미지 피쳐(feature)와 선택되는 관심 영역의 4개의 꼭지점 간의 관계가 일정하게 유지되도록 제1 관심 영역과 제2 관심 영역이 추출 또는 선택된다는 것을 의미한다.
본 실시예에서는 예컨대, 척추 뼈에 대해서, 극돌기의 선단이 AP 이미지에 대한 관심 영역의 중앙에 오도록 제1 관심 영역 및 제2 관심 영역이 선택되고, AP/LL 이미지 각각에서 척추 뼈 외측 마진이 제1 및 제2 관심 영역에 대해 일정하게 적용되도록 선택된다.
도7을 참조하면, 의사는 제공되는 사용자 인터페이스를 통해, 추출된 관심 영역의 크기, 위치, 회전 등이 가능하고, 특정 신체 부위 예컨대, 극돌기(spinous process)의 선단을 가리키는 라인을 생성하거나 중심 라인과 일치하도록 관심 영역을 조정할 수도 있다.
다음으로, DRR 이미지에 대해 AP 이미지와 LL 이미지에 표시된 제1 관심 영역을 공간 상으로 복원하는, 즉 관심 볼륨으로 복원하도록 한다(S9). 이는 직관적으로, AP 이미지가 가상의 디텍터 위치에 있다고 가정하고 법선 벡터에 평행하게 이동시키는 동시에, LL 이미지가 가상의 디텍터 위치에 있다고 가정하고 LL 이미지의 법선 벡터에 평행하게 이동시킬 때, 두 평면이 교차하는 공간 즉, 두 평면 상의 제1 관심 영역이 서로 교차하는 공간으로 제1 관심 볼륨이라고 하기로 한다.
제1 관심 볼륨을 좌표계 기반으로 산출하는 과정 도8 내지 도12를 참조하여 설명하도록 한다.
도8을 참조하면, L3로 라벨링된 척추 뼈에 대한 제1 관심 영역에 대해 AP 이미지 상의 제1 관심 영역의 제1 꼭지점 A1과 CT 좌표계 상의 AP 이미지가 위치하는 가상의 디텍터 평면이 정의된다. 그리고 LL 이미지가 위치하는 가상의 디텍터 평면이 또한 정의되고, LL 이미지 상의 제1 관심 영역이 또한 표시되어 있다. 직관적으로, AP 이미지 및 LL 이미지 평면이 공간에서 교차하여 형성되는 볼륨을 CT 볼륨이라 할 때, CT 볼륨은 육면체로 6개의 경계면을 갖고 3축의 CT 좌표계를 갖는다.
DRR 이미지는 정투영 또는 직교투영(orthogonal projection)이기 때문에 이러한 육면체의 CT 볼륨이 형성되고, A1을 지나는 법선 벡터는 CT 볼륨의 상하부 경계면을 교차하고 임의의 높이의 A'1 에 이른다.
따라서 A'1과 상하부 경계면과의 교차점 I1 및 I2는 다음과 같이 구할 수 있다:
여기에서, λ1은 임의의 수이고 NAP는 AP 평면의 법선 벡터이며, finter는 입력 변수로서 2개의 점과 하나의 평면으로 표현되고, 두 점을 잇는 선분과 평면 사이의 교차점을 구하는 함수를 나타냄.
따라서, I1은 다음과 같이 구해진다:
여기에서, PTop은 πTop을 나타내고, I2는 I1과 같은 방식으로 구해짐
도8b를 참조하면, I1 및 I2으로부터 LL 이미지 평면에 수직으로 내려 관통하는 임의의 법선 상에 있는 임의의 점을 각각 I'1 및 I'2 라고 할 때, I'1 및 I'2는 다음과 같이 표현할 수 있다.
여기에서, λ2은 임의의 수이고, NLL은 LL 평면의 법선 벡터임.
다음 도8c를 참조하면, I1 및 I2에서 I'1 및 I'2 에 이르는 선분과 LL 이미지 평면의 교차점을 이으면, 꼭지점 A1의 에피폴라 라인(epipolar line)을 구할 수 있다. 이 에피폴라 라인을 LL 이미지 상의 관심 영역의 임의의 위치와의 교점을 구할 수 있다. 도8c 에서는 제1 관심 영역의 좌우측 변의 중점(C1, C2)을 연결하는 선분과의 교점(C3)을 구하였다.
이렇게 구한 에피폴라 라인과 관심 영역 사이의 교점(C3)을 다시 꼭지점 A1로부터의 법선(A1-A'1)에 투영하면, 도8d에서 볼 수 있는 바와 같이, P1을 구할 수 있다. 여기에서, 에피폴라 라인과 교차하는 관심 영역의 위치를 윗변으로 했다면 P1은 LL 이미지의 제1 관심 영역의 윗변과 평행한 위치에 있을 것이므로, A1에 대응하는 CT 볼륨 내의 점인 P1은 A1으로부터의 법선 상에서도 LL 이미지 상의 관심 영역의 윗변 및 아랫변과 평행한 위치 내에서 임의의 위치에서 선택될 수 있음에 주의한다.
나머지 3개의 꼭지점에 대해서 A1과 같이 동일하게 적용하면, AP 이미지 상의 제1 관심 영역의 평면은 CT 볼륨으로 옮겨져 복원되는 것을 알 수 있으며, 마찬가지로 LL 이미지 상의 꼭지점들이 CT 볼륨으로 옮겨져 복원되는 것을 알 수 있다.
도9는 제1 관심 영역을 정의하는 8개의 꼭지점(A1~A8)이 CT 볼륨 내에 8개의 점(CTP1, CTP2,....CTP8)으로 복원된 일 예를 보여준다.
도10은 C-arm 이미지의 제2 관심 영역을 정의하는 일 꼭지점 A1이 C-arm 볼륨으로 복원되는 관계를 보여준다.
도8a 내지 도8d와 비교할 때, C-arm 이미지는 원근 투영(perspective projection)에 따라 얻어지므로, 서로 직각인 CT 좌표계 상의 단위 벡터를 이용하여 정의하는 대신 PM 마커 기반의 PM 좌표계를 기초로 소스와 디텍터 간의 벡터를 방향 벡터로 정의된다.
따라서 도10에서 I1, I2, I'1, I'2, C3, P1은 다음과 같이 구해진다:
여기에서, SLL은 LL 이미지의 소스 위치를 나타내고, λ2은 임의의 수이고, 이며, C1 및 C2는 LL 이미지 상의 관심 영역의 좌우변의 중점임.
동일한 과정을 8개의 꼭지점(A1~A8)에 반복할 때, 도11에 도시된 바와 같이, 8개의 점(PMP1, PMP2,....PMP8)이 C-arm 볼륨에 복원된다.
도9 및 도11을 참조하면, CT 볼륨 내에 복원된 8개의 점과 C-arm 볼륨 내에 복원된 8개의 점은 마치 AP 이미지 상의 관심 영역과 LL 이미지 상의 관심 영역이 상호 중심에서 교차하여 배치된 것처럼 보인다. 이들 8개의 점은 6면체의 중선이 되어 하나의 관심 볼륨을 형성할 수 있음을 이해할 수 있을 것이다.
이제 다시 도1의 순서도를 참조하면, CT 볼륨과 C-arm 볼륨에 각각 8개의 점들 또는 제1 및 제2 관심 볼륨을 복원한 후, 미리 결정된 축을 중심으로 환자의 수술 부위의 참조 위치와 이에 대응하는 기준 위치 사이의 회전각을 산출한다(S10).
본 실시예에서는, 참조 위치는 극돌기의 선단으로 하고, 이에 대응하는 제1 기준 위치는 AP 이미지 평면의 법선 벡터 및 LL 이미지 평면의 법선 벡터의 외적의 벡터와 같은 방향으로 정의되는 AXIAL 이미지의 법선 벡터에 대응한다. 다만, 회전축의 위치를 결정하는 제1 원점은 척추의 회전의 중심을 반영하는 것이 이상적이나 이를 정의하기 어려우므로 후술하는 바와 같이, 2가지 중 하나를 선택하도록 한다.
먼저 도12a를 살펴보면, SP로 표시된 극돌기 선단과, 도9를 참조하면 CTP5 및 CTP6 사이의 선분이 높이가 다를 뿐 좌우측 편차가 없으므로 이 경우 회전이 없는 것을 알 수 있다.
반면, 도12b에서는, SP로 표시된 극돌기 선단과, CTP5 및 CTP6 사이의 선분이 좌우측 편차가 있어 제1 관심 볼륨의 중심을 지나는 axial 축 사이의 각 θ가 틀어져 있는 것을 알 수 있다.
이에 따라, 틀어진 회전 각 θ (이하, '제1 회전각' 이라 한다)을 구하기 위해 도13과 같이 의사가 수술 전 수행한 플래닝 오브젝트를 이용할 수 있다. 도13을 참조하면, 한 쌍의 스크류가 axial 축을 기준으로 좌우 페디클에 진입하는 진입로(Er,El) 사이의 중점(Ec)과, 최종적으로 스크류의 말단이 장착되는 위치(Tl,Tr)(이하, '타겟'이라 한다)의 중점(Tc)을 연결하는 선(Ec-Tc)과 제1 관심 볼륨의 axial 평면의 중심을 지나는 세로 선분 즉, PTP6-PTP8 사이의 선분 사이의 각을 제1 회전각(θDRR)으로 구한다.
이 경우, 제1 회전축이 지나는 제1 원점은 좌우 타겟(Tl,Tr)의 중점(Tc)으로 선택된 것이며, 제1 관심 볼륨의 중심과의 높이는 d 만큼의 차이가 있음을 알 수 있다. 이는 의사의 수술 계획에 따른 회전 값을 손쉽게 산출할 수 있어 신속한 정합 프로세싱을 수행하는데 도움이 된다. C-arm 이미지의 회전에 대해서 다루는 바와 같이, 제1 회전 원점을 타겟 중점을 대신하여 제1 관심 볼륨의 중심을 이용할 수 있다.
한편, 도14에서와 같이, C-arm 이미지의 true AP 및 LL 이미지를 취득할 수 있기 때문에 AP 이미지의 제2 관심 영역의 중심을 극돌기 선단과 일치하는 경우가 많지만, 의사는 현 단계에서 극돌기 선단을 직접 설정하기 위해 AP 이미지 상의 제2 관심 영역의 중심선을 극돌기 선단과 일치하도록 이동시킬 수 있도록 사용자 인터페이스가 제공될 수 있다. 이는 DRR 이미지에도 마찬가지로 적용될 수 있다.
도15에 도시된 바와 같이, 사용자가 설정한 극돌기 선단이 P12를 지나고 P5-P6와 평행한 경우, C-arm 이미지의 제2 회전각은 P1~P4가 형성하는 평면과 P5~P8이 형성하는 평면의 교차선을 중심으로, P6의 높이로 투영된 입력단 극돌기 선단의 라인(P9-P10)과 P5-P6 선분이 이루는 사잇각을 제2 회전각으로 구할 수 있다.
여기에서, P1~P8은 제2 관심 영역의 꼭지점 8개가 복원된 점을 각각 나타내고, P9-P10은 사용자가 지정한 극돌기 선단 라인임.
도15는 P1~P4가 구성하는 수평면과 P5~P8이 구성하는 수직면은 교차선 외에 교차하지 않는 면이 있는 경우를 예시하였음에 주의한다.
도16은 CT 볼륨에 복원된 8개의 점 CTP1-CTP8가 도13에서 산출된 제1 회전각(θDRR)만큼 회전된 CTP'1~CTP'8의 점의 관계를 보여준다. 이는 CT 좌표계의 제1 관심 영역을 CT 볼륨에 복원한 뒤 극돌기 선단을 기준으로 척추의 회전을 반영한 점들의 위치를 나타내는 것이며, 마찬가지로 C-arm 이미지의 제2 관심 영역 또한 같은 방식으로 수술 중 환자의 척추 회전을 반영하여 산출되는 점들의 위치(PMP'1~PMP'8)를 구할 수 있다.
PM 좌표계와 CT 좌표계 간의 전환 관계를 회전된 점들 즉 (PMP'1~PMP'8) 및 (CTP'1~CTP'8)에 적용할 때 이상적으로는 이들의 유클리디안 거리는 0이어야 한다. 최적의 해로는, 상호 대응하는 8개의 점간의 유클리디안 거리의 합 또는 평균이 가장 작을 때 최적의 정합을 했다고 할 수 있으며, 이를 충족시키는 변환 행렬을 구하는 것을 초기 정합의 목적으로 한다(S11).
여기에서, 은 PM 좌표계로부터 CT 좌표계로의 변환 행렬이다.
도17을 참조하면, CT 좌표계로부터 V 로컬 좌표계의 변환 관계를 설명하도록 한다. 여기서 V 로컬 좌표계의 원점은 수평면 및 수직면의 교선의 중점으로 아래와 같이 정의된다:
여기에서, .임
이에 따라, V 로컬 좌표계의 3축인 VX, VY, VZ는 다음과 같이 정의된다:
V 로컬 좌표계에서 Pi의 위치인 VPi는 다음과 같이 정의된다:
여기에서, 는 CT 좌표계로부터 V 로컬 좌표계간 회전변환 행렬이고, 는 CT 좌표계와 V 로컬 좌표계간 이동 벡터를 나타낸다.
그리고 이를 회전시킨 V 로컬 좌표계의 점은 다음과 같이 구해진다:
여기에서, Rodrigues 함수는 입력되는 회전축을 중심으로 입력된 회전각 만큼 대상을 회전시키는 함수로 정의됨.
이를 통해 CT 좌표계에서의 회전된 점 CTP'i는 다음과 같이 정의된다:
이에 따라서 위와 같은 과정을 8개의 점에 대해서 진행하고, PM 좌표계의 PMPi의 회전된 PMP'i를 산출함으로써, 다음과 같은 수식에 입력할 수 있다:
최적의 변환 행렬을 찾음에 따라 초기 정합이 종료되면, DRR 이미지의 탐색 범위를 조정하면서 최적의 변환 행렬을 도출하고 정합 최적화 과정을 수행함으로써 이미지 정합을 종료한다(S12). 최적화 과정은 전역 탐색에 따른 것으로 공지된 기술이므로 이에 관한 상세한 설명은 생략하기로 한다.
이상 설명한 바와 같은 이미지 정합 방법은 신체의 회전에 대응하여 이미지 정합의 정확도를 높이고, 이러한 이미지 정합 프로세싱을 신속하게 진행할 수 있는 장점을 가지고 있다.
본 발명은 이러한 이미지 정합 방법을 컴퓨터 상에서 수행하기 위한 소프트웨어를 저장하는 컴퓨터 프로그램 매체로 구현될 수 있다.
또한, 본 발명은 전술한 이미지 정합 방법을 수행하는 프로세서, 메모리, 디스플레이 등을 포함할 수 있는 이미지 정합 장치를 통해 구현될 수도 있다.
또한, 본 발명은 전술한 이미지 정합 방법에 기반한 수술용 로봇 시스템에 의해서도 구현될 수 있다.
도18을 참조하면, 본 발명의 일 실시예에 따른 수술용 로봇 시스템(1)은 C-arm 영상 장치(100), 수술로봇(200), 위치센서(300) 및 네비게이션 시스템(400)을 포함하여 구성되고, 수술로봇(200)은 본체(201), 엔드이펙터(203a)가 구비된 로봇암(203), 및 로봇제어기(205)를 포함하여 구성된다.
C-arm 영상 장치(100)는 수술 중 환자의 수술 부위의 AP 이미지 및 LL 이미지를 획득하기 위해 이용된다.
로봇암(203)은 로봇본체(201)에 고정 설치되고, 수술 도구가 착탈 가능한 엔드이펙터(203a)가 말단에 마련된다. 위치센서(300)는 마커 인식을 통한 수술 도구 또는 엔드이펙터(203a)의 실시간 위치를 추적하는 OTS 로 구현된다. 제어기(205)는 로봇본체(201)에 마련되고, 미리 결정된 수술 플래닝 및 제어 소프트웨어에 따라 로봇암(203)을 제어한다.
네비게이션 시스템(400)은 전술한 이미지 정합 방법을 수행하여, 디스플레이를 통해 수술 도구 또는 임플란트에 대한 플래닝 정보를 수술 중 획득되는 C-arm 이미지에 표시하거나, 수술 도구 또는 임플란트의 실시간 위치를 C-arm 이미지 또는 수술 전 획득된 3D 이미지에 표시하여 의사의 수술 행위를 보조한다. 이를 위해 수술 중에 의사가 육안으로 수술 계획 및 수술 현황으로서 수술 도구 등의 실시간 위치를 대비하여 볼 수 있는 디스플레이가 네비게이션 시스템(400)과 연결되어 더 포함될 수 있다. 도14의 네비게이션 시스템(400)을 제외하고는 다른 구성요소는 수술용 로봇 시스템에서 보편적으로 이용되고 있는 것들임을 본 기술분야의 통상의 지식을 가진 자나는 용이하게 이해할 수 있을 것이다.
지금까지 본 발명의 실시예를 설명하였으나, 본 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상을 벗어나지 않는 범위에서 본 발명의 실시예를 전부 또는 일부를 변형하거나 치환할 수 있음을 이해할 수 있을 것이다.
따라서 전술한 실시예는 본 발명의 예시에 지나지 않으며, 본 발명의 보호범위는 특허청구범위에 기재된 발명 및 그 균등물에 미치는 것으로 보아야할 것이다.

Claims (20)

  1. 각 단계가 프로세서를 포함하는 이미지 정합 장치에 의하여 수행되는 이미지 정합 방법에 있어서
    수술전 3D 이미지 장치로부터 환자 수술 부위의 3D 이미지를 획득하는 단계;
    상기 3D 이미지로부터 AP 및 LL 방향의 DRR 이미지를 추출하는 단계;
    수술중 2D 이미지 장치로부터 상기 환자 수술 부위의 AP 이미지와 LL 이미지의 2D 이미지를 획득하는 단계;
    상기 DRR 이미지에 대한 소스 및 디텍터의 기하 공간 관계로부터, 상기 AP 이미지 및 상기 LL 이미지의 평면에 대한 제1 법선 벡터들의 외적 벡터와 평행하고 미리 결정된 제1 원점을 지나는 제1 회전축을 기준으로, 미리 결정된 상기 AP 이미지 또는 상기 LL 이미지의 제1 기준 위치에 대응하는 상기 환자 수술 부위의 참조 위치와 상기 제1 기준 위치 사이의 제1 회전각을 결정하는 단계;
    상기 2D 이미지에 대한 소스 및 디텍터의 기하 공간 관계로부터, 상기 AP 이미지 및 상기 LL 이미지의 평면에 대한 제2 법선 벡터들의 외적 벡터와 평행하고 미리 결정된 제2 원점을 지나는 제2 회전축을 기준으로, 상기 참조 위치에 대응하는 상기 AP 이미지 또는 상기 LL 이미지의 제2 기준 위치와 상기 참조 위치 사이의 제2 회전각을 결정하는 단계; 및
    상기 DRR 이미지 및 상기 2D 이미지 각각의 상기 소스 및 디텍터에 대한 기하 공간 관계들로부터, 상기 제1 및 제2 회전각을 기초로 상기 2D 이미지 및 상기 DRR 이미지 사이의 변환 관계를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 정합 방법.
  2. 청구항 1에 있어서,
    상기 제1 기준 위치 및 상기 제2 기준 위치는 상기 2D 이미지 및 상기 DRR 이미지 각각에 대한 상기 AP 이미지 또는 상기 LL 이미지의 중심 또는 상기 중심을 포함하는 선 또는 면인 것을 특징으로 하는 이미지 정합 방법.
  3. 청구항 1에 있어서,
    상기 이미지 정합 장치가 상기 3D 이미지를 기초로 수술 플래닝을 수행하는 단계를 더 포함하고,
    상기 DRR 이미지에 대한 상기 제1 원점은 수술 플래닝에 적용된 임플란트의 장착 위치 또는 상기 임플란트 설치를 위한 수술도구의 궤도의 상대적 관계를 통해 결정되는 것을 특징으로 하는 이미지 정합 방법.
  4. 청구항 1에 있어서,
    상기 DRR 이미지 또는 상기 상기 2D 이미지에 대한 상기 참조 위치는 사용자 입력에 의해 결정되는 것을 특징으로 하는 이미지 정합 방법.
  5. 청구항 1에 있어서,
    상기 DRR 이미지에 대한 상기 소스 및 상기 디텍터의 기하 공간 관계는 정투영(orthogonal projection) 관계이고,
    상기 2D 이미지에 대한 상기 소스 및 상기 디텍터의 기하 공간 관계는 원근 투영(perspective projection) 관계인 것을 특징으로 하는 이미지 정합 방법.
  6. 청구항 1에 있어서,
    상기 이미지 정합 장치가 상기 DRR 이미지에 대한 상기 소스 및 상기 디텍터의 상기 기하 공간 관계로부터, 상기 제1 법선 벡터들 방향으로 상기 AP 이미지 평면 및 상기 LL 이미지 평면을 이동함에 따라 평면들이 교차하는 제1 관심 볼륨을 결정하는 단계; 및
    상기 이미지 정합 장치가 상기 2D 이미지에 대한 상기 소스 및 상기 디텍터의 상기 기하 공간 관계는 원근 투영 관계로서, 원근 투영 범위 내에서 상기 제2 법선 벡터를 방향으로 상기 AP 이미지 평면 및 상기 LL 이미지 평면을 이동함에 따라 평면들이 교차하는 제2 관심 볼륨을 결정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 정합 방법.
  7. 청구항 6에 있어서,
    상기 제1 원점은 상기 제1 관심 볼륨의 중심점이고,
    상기 제2 원점은 상기 제2 관심 볼륨의 중심점인 것을 특징으로 하는 이미지 정합 방법.
  8. 청구항 1에 있어서,
    상기 이미지 정합 장치가 상기 DRR 이미지의 상기 AP 이미지 및 상기 LL 이미지 각각에 대한 제1 관심 영역을 결정하는 단계; 및
    상기 이미지 정합 장치가 상기 제1 관심 영역에 대응하는 제2 관심 영역을 상기 2D 이미지의 상기 AP 이미지 및 상기 LL 이미지 각각에 대해 결정하는 단계를 더 포함하고,
    상기 제1 기준 위치는 상기 제1 관심 영역 내에 위치하고,
    상기 제2 기준 위치는 상기 제2 관심 영역 내에 위치하는 것을 특징으로 하는 이미지 정합 방법.
  9. 청구항 8에 있어서,
    상기 이미지 정합 장치가 상기 DRR 이미지에 대한 상기 소스 및 상기 디텍터의 상기 기하 공간 관계로부터, 상기 제1 법선 벡터들 방향으로 상기 AP 이미지의 관심 영역 및 상기 LL 이미지의 관심 영역을 이동함에 따라 평면들이 교차하는 제1 관심 볼륨을 결정하는 단계; 및
    상기 이미지 정합 장치가 상기 2D 이미지에 대한 상기 소스 및 상기 디텍터의 상기 기하 공간 관계는 원근 투영 관계로서, 원근 투영 범위 내에서 상기 제2 법선 벡터를 방향으로 상기 AP 이미지의 관심 영역 및 상기 LL 이미지의 관심 영역을 이동함에 따라 평면들이 교차하는 제2 관심 볼륨을 결정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 정합 방법.
  10. 청구항 9에 있어서,
    상기 제1 원점은 상기 제1 관심 볼륨의 중심점이고,
    상기 제2 원점은 상기 제2 관심 볼륨의 중심점인 것을 특징으로 하는 이미지 정합 방법.
  11. 청구항 9에 있어서,
    상기 제1 원점은 환자의 척추 페디클 스크류의 타겟 위치 사이의 중점인 것을 특징으로 하는 이미지 정합 방법.
  12. 청구항 11에 있어서,
    상기 제1 회전각은 상기 제1 원점을 중심으로,
    상기 페디클 스크류 진입점(entry point) 사이의 중점과 상기 제1 원점을 연결한 선분과,
    상기 제1 관심 볼륨의 중심점을 지나는 상기 제1 법선 벡터가 이루는 각도인 것을 특징으로 하는 이미지 정합 방법.
  13. 청구항 8에 있어서,
    상기 DRR 이미지의 상기 AP 이미지 및 상기 LL 이미지에 대한 상기 제1 관심 영역 각각은 직사각형이고,
    상기 DRR 이미지에 대하여,
    상기 이미지 정합 장치가 상기 AP 이미지의 관심 영역의 각각의 꼭지점에 대한 상기 LL 이미지 상의 에피폴라 라인(epipolar line)과 상기 LL 이미지의 관심 영역 외주변 또는 측변들의 중점 사이를 연결하는 중선과의 제1 교차점들을 산출하는 제1 단계;
    상기 이미지 정합 장치가 상기 제1 교차점들을 상기 AP 이미지의 관심 영역의 각각의 꼭지점으로부터의 상기 법선 벡터들에 각각 정사영(orthogonal projection)하여 4개의 복원점을 획득하는 제2 단계;
    상기 이미지 정합 장치가 상기 LL 이미지의 관심 영역의 각각의 꼭지점에 대한 상기 AP 이미지 상의 에피폴라 라인과의 상기 AP 이미지의 관심 영역의 외주변 또는 측변들의 중점 사이를 연결하는 중선과의 제2 교차점들을 구하는 제3 단계;
    상기 이미지 정합 장치가 상기 제2 교차점들을 상기 상기 LL 이미지 상의 관심 영역의 각각의 꼭지점으로부터의 상기 법선 벡터들에 각각 정사영하여 4개의 복원점을 획득하는 제4 단계; 및
    상기 이미지 정합 장치가 상기 제1 내지 제4 단계를 통해 얻어진 8개의 복원점을 기초로 형성되는 6 면체의 제1 관심 볼륨을 산출하는 제5 단계를 포함하는 것을 특징으로 하는 이미지 정합 방법.
  14. 청구항 8에 있어서,
    상기 제2 관심 볼륨을 결정하는 단계는, 상기 2D 이미지에 대하여,
    상기 이미지 정합 장치가 상기 AP 이미지의 관심 영역의 각각의 꼭지점에 대한 상기 LL 이미지 상의 에피폴라 라인(epipolar line)과 상기 LL 이미지의 관심 영역 외주변 또는 측변들의 중점 사이를 연결하는 중선과의 제1 교차점들을 산출하는 제1 단계;
    상기 이미지 정합 장치가 상기 제1 교차점들을 상기 AP 이미지의 관심 영역의 각각의 꼭지점으로부터 상기 소스를 향하는 원근 투영 벡터에 원근 투영(perspective projection)하여 4개의 복원점을 획득하는 제2 단계;
    상기 이미지 정합 장치가 상기 LL 이미지의 관심 영역의 각각의 꼭지점에 대한 상기 AP 이미지 상의 에피폴라 라인과의 상기 AP 이미지의 관심 영역의 외주변 또는 측변들의 중점 사이를 연결하는 중선과의 제2 교차점들을 구하는 제3 단계;
    상기 이미지 정합 장치가 상기 제2 교차점들을 상기 상기 LL 이미지 상의 관심 영역의 각각의 꼭지점으로부터 소스를 향하는 원근 투영 벡터들에 각각 원근 투영하여 4개의 복원점을 획득하는 제4 단계; 및
    상기 이미지 정합 장치가 상기 1 내지 4 단계에서 획득된 8개의 복원점을 기초로 6면체의 제2 관심 볼륨을 결정하는 제5 단계를 포함하는 것을 특징으로 하는 이미지 정합 방법.
  15. 각 단계가 프로세서를 포함하는 이미지 정합 장치에 의하여 수행되는 이미지 정합 방법에 있어서,
    수술전 3D 이미지 장치로부터 환자 수술 부위의 3D 이미지를 획득하는 단계;
    상기 3D 이미지로부터 AP 및 LL 방향의 DRR 이미지를 추출하는 단계;
    수술중 2D 이미지 장치로부터 상기 환자 수술 부위의 AP 이미지와 LL 이미지의 2D 이미지를 획득하는 단계;
    상기 DRR 이미지의 상기 AP 이미지 및 상기 LL 이미지 각각에 대한 제1 관심 영역을 결정하는 단계;
    상기 제1 관심 영역에 대응하는 제2 관심 영역을 상기 2D 이미지의 상기 AP 이미지 및 상기 LL 이미지 각각에 대해 결정하는 단계;
    상기 DRR 이미지에 대한 소스 및 디텍터의 기하 공간 관계로부터, 상기 AP 이미지 및 상기 LL 이미지의 평면에 대한 제1 법선 벡터들 방향으로 상기 AP 이미지의 관심 영역 및 상기 LL 이미지의 관심 영역을 평행 이동시 평면들이 교차하여 형성하게 되는 제1 관심 볼륨을 결정하는 단계;
    상기 2D 이미지에 대한 소스 및 디텍터의 기하 공간 관계는 원근 투영 관계로서, 원근 투영 범위 내에서 상기 2D 이미지의 AP 이미지 및 LL 이미지에 대한 제2 법선 벡터 방향으로 상기 AP 이미지의 관심 영역 및 상기 LL 이미지의 관심 영역을 이동시 평면들이 교차하여 형성하게 되는 제2 관심 볼륨을 결정하는 단계;
    상기 제1 관심 영역 내의 미리 결정된 제1 기준 위치에 대응하는 상기 제1 관심 볼륨내의 제1 기준 위치와 상기 제1 기준 위치에 대응하는 미리 결정된 참조 위치의 제1 변위를 결정하는 단계;
    상기 참조 위치에 대응하는 상기 제2 관심 영역 내의 미리 결정된 제2 기준 위치에 대한 상기 제2 관심 볼륨 내의 제2 기준 위치와 상기 참조 위치 사이의 제2 변위를 결정하는 단계; 및
    상기 제1 변위와 상기 제2 변위를 기초로, 상기 DRR 이미지 및 상기 2D 이미지 각각의 상기 소스 및 디텍터에 대한 기하 공간 관계들로부터 상기 2D 이미지 및 상기 DRR 이미지 사이의 변환 관계를 결정하는 단계로서, 상기 변환 관계에 따라 상기 제1 관심 영역의 꼭지점과 상기 제2 관심 영역의 꼭지점 사이의 유클리디안 거리가 최소가 되도록 하는 변환 관계를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 정합 방법.
  16. 청구항 15에 있어서,
    상기 제1 변위를 결정하는 단계는, 상기 AP 이미지 및 상기 LL 이미지의 평면에 대한 상기 제1 법선 벡터들의 외적 벡터와 평행하고 미리 결정된 제1 원점을 지나는 제1 회전축을 기준으로 상기 참조 위치와 상기 제1 기준 위치 사이의 각도를 제1 회전각으로 결정하는 단계를 포함하고;
    상기 제2 변위를 결정하는 단계는, 상기 AP 이미지 및 상기 LL 이미지의 평면에 대한 상기 제2 법선 벡터들의 외적 벡터와 평행하고 미리 결정된 제2 원점을 지나는 제2 회전축을 기준으로, 상기 참조 위치와 제2 기준 위치 사이의 각도를 제2 회전각으로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 정합 방법.
  17. 청구항 15에 있어서,
    상기 제1 및 제2 관심 볼륨을 결정하는 단계는 상기 제1 및 제2 관심 영역의 꼭지점의 에피폴라 라인을 상기 제1 및 제2 법선 벡터들에 투영하여 다면체를 형성하는 단계를 각각 포함하는 것을 특징으로 하는 이미지 정합 방법.
  18. 이미지 정합 장치에 있어서,
    청구항 1 내지 청구항 17 중 어느 하나의 이미지 정합 방법을 수행하기 위한 프로세서를 포함하는 이미지 정합 장치.
  19. 수술용 로봇 시스템에 있어서,
    수술 중 환자의 수술 부위의 2D 이미지를 획득하기 위한 2D 이미지 장치;
    수술 도구가 착탈 가능한 엔드이펙터를 포함하는 로봇암;
    상기 수술 도구 또는 상기 엔드이펙터의 실시간 위치를 센싱하기 위한 위치센서;
    미리 결정된 수술 플래닝에 따라 상기 로봇암을 제어하는 제어기;
    디스플레이;
    청구항 1 내지 청구항 17 중 어느 하나의 이미지 정합 방법을 수행하여, 상기 디스플레이를 통해 수술 도구 또는 임플란트에 대한 상기 플래닝 정보를 수술 중 획득되는 2D 이미지에 표시하거나, 상기 수술 도구 또는 임플란트의 상기 실시간 위치를 상기 2D 이미지 또는 수술 전 획득된 3D 이미지에 표시하는 네비게이션 시스템을 포함하는 것을 특징으로 하는 수술용 로봇 시스템.
  20. 청구항 1 내지 청구항 17 중 어느 하나의 이미지 정합 방법을 수행하기 위한 소프트웨어를 저장하는 컴퓨터 프로그램 매체.

KR1020220144585A 2022-11-02 2022-11-02 2d-3d 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템 Active KR102612603B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020220144585A KR102612603B1 (ko) 2022-11-02 2022-11-02 2d-3d 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템
JP2023186147A JP7577378B2 (ja) 2022-11-02 2023-10-31 ２ｄ／３ｄ画像整合方法及びこれを行う手術用ロボットシステム
EP23207139.9A EP4404140A3 (en) 2022-11-02 2023-10-31 2d-3d image registration method and medical operating robot system for performing the same
US18/498,505 US20240144498A1 (en) 2022-11-02 2023-10-31 2d-3d image registration method and medical operating robot system for performing the same
EP25185513.6A EP4609815A3 (en) 2022-11-02 2023-10-31 2d-3d image registration method and medical operating robot system for performing the same
CN202311447959.5A CN117994300A (zh) 2022-11-02 2023-11-01 2d-3d图像配准方法和用于执行该方法的医疗操作机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220144585A KR102612603B1 (ko) 2022-11-02 2022-11-02 2d-3d 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템

Publications (1)

Publication Number Publication Date
KR102612603B1 true KR102612603B1 (ko) 2023-12-12

Family

ID=88647306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220144585A Active KR102612603B1 (ko) 2022-11-02 2022-11-02 2d-3d 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템

Country Status (5)

Country Link
US (1) US20240144498A1 (ko)
EP (2) EP4609815A3 (ko)
JP (1) JP7577378B2 (ko)
KR (1) KR102612603B1 (ko)
CN (1) CN117994300A (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030687A (ko) * 2015-09-09 2017-03-20 울산대학교 산학협력단 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템
KR102203544B1 (ko) 2019-03-13 2021-01-18 큐렉소 주식회사 C-arm 기반의 의료영상 시스템 및 2D 이미지와 3D 공간의 정합방법
KR102394901B1 (ko) 2020-04-06 2022-05-09 큐렉소 주식회사 2차원 의료영상 기반 척추 수술 플래닝 장치 및 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7204640B2 (en) * 2003-08-29 2007-04-17 Accuray, Inc. Apparatus and method for registering 2D radiographic images with images reconstructed from 3D scan data
US10621738B2 (en) * 2011-03-16 2020-04-14 Siemens Healthcare Gmbh 2D/3D registration for abdominal aortic aneurysm intervention
CA3016604A1 (en) * 2016-03-12 2017-09-21 Philipp K. Lang Devices and methods for surgery
US10191615B2 (en) 2016-04-28 2019-01-29 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
JP7145599B2 (ja) 2016-10-10 2022-10-03 グローバス メディカル インコーポレイティッド ２ｄ－３ｄ位置合わせの収束を改善するための方法及びシステム
CA3068833A1 (en) * 2017-07-03 2019-01-10 Spine Align, Llc Intraoperative alignment assessment system and method
US11801114B2 (en) * 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
US11311267B2 (en) * 2018-01-31 2022-04-26 Siemens Healthcare Gmbh Method of position planning for a recording system of a medical imaging device and medical imaging device
EP3840684A4 (en) * 2018-12-07 2022-02-09 Shanghai United Imaging Healthcare Co., Ltd. SYSTEMS AND METHODS FOR PATIENT POSITIONING AND IMAGE-GUIDED SURGERY
KR102166149B1 (ko) 2019-03-13 2020-10-15 큐렉소 주식회사 페디클 스크류 고정 플래닝 시스템 및 방법
CA3124683A1 (en) * 2020-07-10 2022-01-10 Spine Align, Llc Intraoperative alignment assessment system and method
WO2022053049A1 (zh) * 2020-09-11 2022-03-17 上海联影医疗科技股份有限公司 C形臂设备的动态透视方法、装置及系统
EP4229595A1 (en) * 2020-10-14 2023-08-23 Vuze Medical Ltd. Apparatus and methods for use with image-guided skeletal procedures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030687A (ko) * 2015-09-09 2017-03-20 울산대학교 산학협력단 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템
KR102203544B1 (ko) 2019-03-13 2021-01-18 큐렉소 주식회사 C-arm 기반의 의료영상 시스템 및 2D 이미지와 3D 공간의 정합방법
KR102394901B1 (ko) 2020-04-06 2022-05-09 큐렉소 주식회사 2차원 의료영상 기반 척추 수술 플래닝 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1 *
비특허문헌 2 *

Also Published As

Publication number Publication date
JP7577378B2 (ja) 2024-11-05
JP2024067006A (ja) 2024-05-16
EP4404140A3 (en) 2025-01-01
EP4404140A2 (en) 2024-07-24
CN117994300A (zh) 2024-05-07
US20240144498A1 (en) 2024-05-02
EP4609815A3 (en) 2025-11-12
EP4609815A2 (en) 2025-09-03

Similar Documents

Publication Publication Date Title
US20240122656A1 (en) Robotic navigation of robotic surgical systems
EP3254621B1 (en) 3d image special calibrator, surgical localizing system and method
EP3773305B1 (en) Systems for performing intraoperative guidance
JP7204663B2 (ja) 慣性計測装置を使用して手術の正確度を向上させるためのシステム、装置、及び方法
JP4469423B2 (ja) 定位手術処置装置および方法
US20230329799A1 (en) Rotating Marker
CA2454861C (en) Miniature bone-attached surgical robot
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
Mellor Enhanced reality visualization in a surgical environment
EP3733111B1 (en) Laser target projection apparatus and control method thereof, and laser surgery induction system comprising laser target projection apparatus
KR20210123912A (ko) 2차원 의료영상 기반 척추 수술 플래닝 장치 및 방법
US9715739B2 (en) Bone fragment tracking
US20180132946A1 (en) No-touch surgical navigation method and system thereof
US8165366B2 (en) Determining correspondence object pairs for medical navigation
USRE40176E1 (en) Apparatus and method for planning a stereotactic surgical procedure using coordinated fluoroscopy
JP2022526540A (ja) 整形外科的固定制御及び可視化
JP7037810B2 (ja) 画像処理装置と画像処理プログラムと画像処理方法
KR102612603B1 (ko) 2d-3d 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템
Liebmann et al. Registration made easy--standalone orthopedic navigation with HoloLens
JP2025534193A (ja) ２ｄ映像基盤自動手術計画方法及びそのシステム
US20220015735A1 (en) Marker registration correction by virtual model manipulation
US11931198B2 (en) X-ray calibration for display overlays onto X-ray images
JP7407831B2 (ja) 介入装置追跡
US20250049517A1 (en) Robot-supported registration method and surgical navigation system
CN119968172A (zh) 基于图像的三维自动手术计划方法以及系统

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PA0302 Request for accelerated examination

St.27 status event code: A-1-2-D10-D17-exm-PA0302

St.27 status event code: A-1-2-D10-D16-exm-PA0302

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000