[go: up one dir, main page]

KR102536732B1 - 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법 - Google Patents

외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법 Download PDF

Info

Publication number
KR102536732B1
KR102536732B1 KR1020160057015A KR20160057015A KR102536732B1 KR 102536732 B1 KR102536732 B1 KR 102536732B1 KR 1020160057015 A KR1020160057015 A KR 1020160057015A KR 20160057015 A KR20160057015 A KR 20160057015A KR 102536732 B1 KR102536732 B1 KR 102536732B1
Authority
KR
South Korea
Prior art keywords
bms
structural model
computer
module
biomechanical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160057015A
Other languages
English (en)
Other versions
KR20160133367A (ko
Inventor
올리비어 에카베르트
클라우스 엔겔
톰마소 만시
잉마르 포크트
Original Assignee
지멘스 헬스케어 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 헬스케어 게엠베하 filed Critical 지멘스 헬스케어 게엠베하
Publication of KR20160133367A publication Critical patent/KR20160133367A/ko
Application granted granted Critical
Publication of KR102536732B1 publication Critical patent/KR102536732B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Dentistry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Chemical & Material Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)

Abstract

외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법
본 발명에 따르면, 의료 이미징 방법에 의해 획득된 해부학적 구역(AR)의 이미지 데이터(IMG)를 판독하기 위한 제 1 인터페이스(I1)의 제공이 이루어진다. 모델링 모듈은 이미지 데이터(IMG)에 기초하여 해부학적 구역(AR)의 체적 생체역학적 구조 모델(BMS)을 확립하는 역할을 한다. 더욱이, 사용자의 공간적 제스처들의 비디오-기반 등록을 위해 카메라(C)와 커플링가능한 추적 모듈(TM)의 제공이 이루어진다. 게다가, 생체역학적 구조 모델(BMS)에 기초하는 시뮬레이션 모듈(SM)은, 등록된 제스처를 해부학적 구역(AR)에 대해 시뮬레이팅된 역학적 영향에 할당하고, 시뮬레이팅된 역학적 영향에 대한 해부학적 구역(AR)의 역학적 반응을 시뮬레이팅하고, 그리고 시뮬레이팅된 역학적 반응에 따라 생체역학적 구조 모델(BMS)을 수정하는 역할을 한다. 더욱이, 생체역학적 구조 모델(BMS)의 체적 시각화를 위해 시각화 모듈(VM)에 대한 제공이 이루어진다.

Description

외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법{DEVICE AND METHOD FOR THE COMPUTER-ASSISTED SIMULATION OF SURGICAL INTERVENTIONS}
임상 실시(clinical practice)에서, 외과 수술(surgical intervention)들은 일반적으로, 임상 가이드라인(clinical guideline)들로부터의 권고들과 연계하여 의료 이미지 기록들에 기초하여 계획된다. 그러나, 수술의 계획 및 성공의 상당 부분은, 수행하는 외과 의사 또는 외과 의사들의 경험에 비례할 수 있다. 많은 수술들, 이를테면, 예컨대 심장 판막 성형술들은 특히, 우수한 계획, 경험 및 수술 기술을 요구한다. 그러므로, 추구될 가치가 있는 목표는, 수술들을 계획 및 트레이닝할 때, 최상의 가능한 정도로 외과 의사를 지원하는 것이다.
외과 수술들을 계획하기 위해 결정 지원 시스템들을 이용한 실시가 알려져 있으며, 그 결정 지원 시스템들은 생체역학적 모델에 의한, 이를테면, 예컨대 심장 판막의 생리학적 구조들 및 기능들의 시뮬레이션에 기초한다. 예로서, 심장 판막들의 이러한 생체역학적 시뮬레이션들은 문헌들 US 2010/0240996 A1 및 US 2012/0232386 A1로부터 알려져 있다. 이러한 시뮬레이션들을 통해, 외과 수술의 효과를 추정하는 것이 가능하며, 이는 수술을 계획하기 위해 이용될 수 있다. 그러나, 이러한 시뮬레이션 도구들의 사용은 일반적으로, 그 시뮬레이션 도구들의 복잡성으로 인해 복잡한 전수(induction)를 요구한다.
게다가, 외과 수술들의 트레이닝의 목적들을 위해 외과 의사의 머리에 고정된 카메라를 통해 실제 외과 수술을 기록하는 것 및 결과적인 비디오 스트림을 관찰자들에게 송신하는 것의 실시가, 예컨대 서저브리(Surgevry)에 의한 웹사이트인 http://www.surgevry.com로부터 알려져 있으며, 그 관찰자들은 그러므로, 수행하는 외과 의사를 관찰하는 것에 의해 그 수술을 따라할 수 있다. 그러나, 이는 단지 수술의 수동적 트레이닝(passive training)만을 관찰자들에게 허용한다.
본 발명의 목적은, 외과 수술들의 컴퓨터-지원 시뮬레이션(computer-assisted simulation)을 위한 디바이스 및 방법을 명시하는 것이며, 그 디바이스 및 방법은 개선된 외과 의사 지원을 허용한다.
이러한 목적은 특허 청구항 제1항의 특징들을 가진 디바이스에 의해, 특허 청구항 제12항의 특징들을 가진 방법에 의해, 특허 청구항 제13항의 특징들을 가진 컴퓨터 프로그램 물건에 의해, 그리고 특허 청구항 제14항의 특징들을 가진 컴퓨터-판독가능 저장 매체에 의해 달성된다.
외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 본 발명에 따른 디바이스에서, 의료 이미징 방법에 의해 획득된 해부학적 영역의 이미지 데이터를 판독하기 위한 제1 인터페이스에 대한 제공이 이루어진다. 이러한 경우, 이미지 데이터는, 예컨대 초음파(sonographic), 방사선(radiological), 혈관조영술(angiographic) 또는 단층촬영(tomographic) 이미지 기록들로부터 비롯될 수 있다. 해부학적 영역은, 예컨대 장기(organ), 장기 영역 또는 상이한 조직 또는 몸체 구조일 수 있다. 모델링 모듈은, 이미지 데이터에 기초하여 해부학적 영역의 입체적 생체역학적 구조 모델(volumetric biomechanical structure model)을 확립하는 역할을 한다. 더욱이, 사용자의 공간적 제스처들의 비디오-기반 등록을 위해 카메라와 커플링가능한 추적 모듈에 대한 제공이 이루어진다. 게다가, 시뮬레이션 모듈은, 생체역학적 구조 모델에 기초하여, 각각의 경우에서 등록된 제스처를 해부학적 영역에 대해 시뮬레이팅된 역학적 영향에 할당하고, 생체역학적 구조 모델에 기초하여, 시뮬레이팅된 역학적 영향에 대한 해부학적 영역의 역학적 반응을 시뮬레이팅하고, 그리고 시뮬레이팅된 역학적 반응에 따라 생체역학적 구조 모델을 수정하는 역할을 한다. 더욱이, 생체역학적 구조 모델의 입체적 시각화(volumetric visualization)를 위한 시각화 모듈에 대한 제공이 이루어진다. 시각화 모듈은 바람직하게, 특히 해부학적 영역의 역학적 반응 및/또는 수정된 생체역학적 구조 모델을 시각화한다.
앞서 설명된 디바이스에 의해 수행될 방법 단계들은 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 본 발명에 따른 방법의 청구 대상이다.
본 발명의 실질적 이점은, 사용자, 예컨대 외과 의사가 외과 수술을, 외과 수술의 수동적 수행(manual performance)뿐만 아니라 시각화에 대해서도 비교적 사실적인 방식으로 시뮬레이팅할 수 있다는 사실에서 고려될 수 있다. 특히, 사용자는, 사용자가 실제 수술 동안 할 수 있는 조작들과 실질적으로 동일한 조작들을 생체역학적 구조 모델에 할 수 있다. 이러한 방식으로, 외과 의사는 다양한 치료 선택사항들을 테스트하고 그에 따라 이상적인 절차를 확립할 수 있다. 그러므로, 본 발명은, 수술들을 계획할 때와 트레이닝할 때 양쪽 모두에서, 직관적인 방식으로 외과 의사에 대한 지원을 허용한다.
본 발명의 유리한 실시예들 및 발전들은 종속 청구항들에서 명시된다.
본 발명의 유리한 실시예에 따르면, 추적 모듈은 수술 기구(surgical instrument), 예컨대 수술칼(scalpel)을 이용하여 수행되는 사용자의 제스처들을 등록하도록 구성될 수 있다. 특히, 수술 기구의 하나 이상의 특정 부분들, 예컨대 수술칼의 날(blade) 및/또는 손잡이의 움직임들을 등록하는 것이 가능하다. 이는, 사용자가 실제 수술 동안에서와 동일한 방식으로 시뮬레이션의 범위 내에서 수술 기구를 다룰 수 있을 경우, 유리하다.
게다가, 사용자에게로의 시뮬레이팅된 역학적 반응의 햅틱 출력(haptic output)을 위한 햅틱 인터페이스(haptic interface)에 대한 제공이 이루어질 수 있다. 이는, 시뮬레이팅된 역학적 영향에 대한 해부학적 영역의 시뮬레이팅된 역학적 반응에 관한 피드백을 허용하며, 그 피드백은 사용자에 의해 즉각적으로 그리고 사실적인 방식으로 인지가능하다.
본 발명의 유리한 발전에 따르면, 시뮬레이션 모듈은, 생체역학적 구조 모델에 기초하여 해부학적 영역의 해부학적 기능에 대한 외과 수술의 영향을 시뮬레이팅하도록 구성될 수 있다. 여기서, 시뮬레이팅된 영향을 디스플레이하기 위한 출력 인터페이스에 대한 제공이 이루어질 수 있다. 이러한 방식으로, 수술의 결과들을 예측 또는 적어도 추정하는 것이 가능하다. 결과적으로, 사용자는 다양한 치료 선택사항들을 테스트하고 그 결과들에 대해 이상적인 절차를 확립할 수 있다.
유리하게, 생체역학적 구조 모델은 환자에 대해 특정적일 수 있다. 이는, 수술의 환자-특정적 계획 및 환자-특정적 트레이닝을 허용한다.
유리한 실시예에 따르면, 생체역학적 구조 모델은 유한 엘리먼트 모델(finite element model)을 포함할 수 있다. 이러한 유한 엘리먼트 모델들의 효율적인 생성 및 계산의 목적들을 위해, 다수의 이용가능하고 잘-조작된 소프트웨어 도구들을 이용하는 것이 가능하다.
더욱이, 모델링 모듈은 연속적으로 판독되는 이미지 데이터에 기초하여 생체역학적 구조 모델을 동적으로 적응시키도록 구성될 수 있다.
게다가, 제1 인터페이스는 시간-분해 방식(time-resolved manner)으로 이미지 데이터를 판독하도록 구성될 수 있다. 따라서, 모델링 모듈은, 시간-분해된 이미지 데이터에 기초하여 해부학적 영역의 부분구조의 운동 역학(movement dynamics)을 식별하고 그리고 식별된 운동 역학에 기초하여 부분구조의 물리적 속성(physical property)을 유도하여 그 물리적 속성을 생체역학적 구조 모델에 맵핑(map) 하도록 구성될 수 있다. 이러한 방식으로, 해부학적 영역 및 역학적 영향들에 대한 해부학적 영역의 역학적 반응들의 비교적 정확한 물리적 시뮬레이션을 획득하는 것이 가능하다.
특히, 모델링 모듈은, 부분구조의 운동 역학을 식별하고, 부분구조의 물리적 속성을 유도하고, 그리고/또는 물리적 속성을 생체역학적 구조 모델에 맵핑하도록 구성된 기계 학습(machine learning)을 위한 모듈을 포함할 수 있다. 기계 학습을 위한 이러한 모듈은, 예컨대 인공 신경망 및/또는 이른바 확률적 부스팅 트리(probabilistic boosting tree)를 포함할 수 있다.
더욱이, 시각화 모듈은 가상 및/또는 증강 현실을 디스플레이하기 위한 몰입형 시스템으로서 설계될 수 있다. 대안적으로 또는 추가적으로, 시각화 모듈은 또한, 홀로그래픽(holographic) 및/또는 스테레오그래픽(stereographic) 시각화 시스템으로서 설계될 수 있다. 이러한 시각화 모듈은 시뮬레이션의 범위 내에서 사용자의 현실감을 증가시킨다.
도면에 기초하여 본 발명의 예시적 실시예가 아래에서 더 상세하게 설명된다. 여기서, 각각의 경우에서, 개략도로,
도 1은 본 발명에 따른 시뮬레이션 디바이스를 도시하고,
도 2는 본 발명에 따른 방법의 프로세스들을 설명하기 위한 흐름도를 도시하고, 그리고
도 3은 해부학적 영역과의 가상적 상호작용의 시각화를 도시한다.
도 1은 외과 수술들을 시뮬레이팅하기 위한 본 발명에 따른 시뮬레이션 디바이스(SIMS)를 개략적으로 도시한다. 시뮬레이션 디바이스(SIMS)는 프로세서(PROC) 및/또는 본 발명에 따른 방법을 실행하기 위한 하나 이상의 다른 컴퓨터 장치들을 포함한다. 의료 이미지 기록 장치(US)는 제1 인터페이스(I1)를 통해 시뮬레이션 디바이스(SIMS)에 커플링된다. 예로서, 이미지 기록 디바이스(US)는 초음파 기록 장치, x-레이 튜브(x-ray tube), 자기 공명 이미징(MRI) 스캐너, 또는 해부학적 영역들, 예컨대 장기들, 장기 영역들 또는 다른 몸체 및/또는 조직 구조들의 이미지 기록들을 공급하는 임의의 다른 의료 기록 디바이스일 수 있다. 이미지 기록 장치(US)는 각각의 해부학적 영역의 시간-분해된 이미지 기록들, 바람직하게는 입체적(volumetric) 이미지 기록들을 연속적으로 기록하고, 이들을 시간-분해된 이미지 데이터(IMG), 바람직하게는 입체적 이미지 데이터(IMG)로서 제1 인터페이스(I1)를 통해 시뮬레이션 디바이스(SIMS)에 연속적으로 전달하도록 구성된다.
본 예시적인 실시예의 경우, 심장 판막이, 심장 판막의 해부학적 주변부들에서 그리고/또는 심장 판막의 해부학적 기능의 맥락에서, 이미지 기록 장치(US)를 통해 해부학적 영역(AR)으로서 기록된다고 가정한다. 해부학적 영역(AR), 즉, 심장 판막의 이미지 데이터(IMG)는, 예컨대 비디오 데이터 스트림(video data으로서, 이미지 기록 장치(US)로부터 시뮬레이션 디바이스(SIMS)의 모델링 모듈(MM)에 전달된다.
모델링 모듈(MM)은 이미지 데이터(IMG)에 기초하여 해부학적 영역(AR)의 입체적 생체역학적 구조 모델(BMS; biomechanical structure model)을 확립하는 역할을 한다. 생체역학적 구조 모델(BMS)이 환자의 해부학적 영역(AR)의 이미지 데이터(IMG)에 기초하여 확립되면, 생체역학적 구조 모델(BMS)은 환자에 대해 특정적이다. 생체역학적 구조 모델(BMS)은 바람직하게, 유한 엘리먼트 모델을 포함한다.
생체역학적 구조 모델(BMS)을 확립하기 위해, 시간-분해된 이미지 데이터(IMG)가 모델링 모듈(MM)에 의해 분석된다. 여기서, 예컨대 알려진 패턴 인식 방법들에 의해, 해부학적 영역(AR)의 하나 이상의 부분구조들이 식별되며, 이러한 부분구조들의 운동 역학이 확립된다. 생체역학적 구조 모델(BMS) 또는 가능하게는 기본적인 유한 엘리먼트 모델은, 식별된 운동 역학을 그 모델이 재현할 때까지, 식별된 운동 역학에 기초하여, 예컨대 수치적 최적화 방법에 의해 수정된다. 대안적으로 또는 추가적으로, 생체역학적 구조 모델(BMS)의 파라미터들은, 학습-기반 회귀분석법(regression method)들에 기초하여 식별된 운동 역학으로부터 추정될 수 있으며, 수치적 최적화 방법은 학습 단계 동안 이용된다. 이를 이용시, 식별된 운동 역학에 기초하여, 부분구조들의 물리적 속성들이 유도될 수 있으며, 상기 물리적 속성들은 생체역학적 구조 모델(BMS)에 맵핑될 수 있다. 여기서, 특히 또한 도플러 효과(Doppler Effect)를 이용함으로써, 예컨대 도플러 초음파 기기를 이용함으로써, 예컨대 혈액 흐름이 이러한 방식으로 측정되는 덕분에, 운동 역학이 확립될 수 있다. 예로서, 부분구조들의 탄력성, 강성, 밀도 또는 다른 조직 파라미터들이 부분구조들의 물리적 속성들로서 확립될 수 있다. 바람직하게, 생체역학적 구조 모델(BMS)은 판독된 이미지 데이터(IMG)에 기초하여 모델링 모듈(MM)에 의해 계속해서 동적으로 적응된다.
본 예시적 실시예에서, 모델링 모듈(MM)은, 부분구조들의 운동 역학을 식별하고, 부분구조들의 물리적 속성들을 유도하고, 그리고/또는 물리적 속성들을 생체역학적 구조 모델(BMS)에 맵핑하기 위해, 기계 학습을 위한 모듈(ML)을 포함한다. 여기서, 특히, 기계 학습은 해부학적 영역(AR)의 식별된 부분구조들과 다수의 알려진 해부학적 구조들의, 그들의 운동 역학 및/또는 그들의 물리적 속성들의 비교에 기초할 수 있다. 이를 위해, 모델링 모듈(MM)은 데이터베이스(여기서 도시되지 않음)에 커플링될 수 있으며, 그 데이터베이스에는, 다수의 알려진 구조들이 그들의 운동 역학 및 알려진 물리적 속성들에 추가하여 저장되며, 모델링 모듈(MM)은 학습 단계 동안 상기 데이터베이스를 이용할 수 있다. 데이터베이스에 저장된 물리적 속성들은 생체역학적 구조 모델(BMS)에 기초하여 최적화 방법에 의해 대략적으로 확립될 수 있다.
카메라(C)는 시뮬레이션 디바이스(SIMS)의 제2 인터페이스(I2)를 통해 연결된다. 카메라(C)는 사용자, 예컨대 외과 의사의 공간적 제스처들을 비디오-기반으로 기록하는 역할을 한다. 바람직하게, 미리 결정된 또는 조절가능한 공간 영역 내에서 수술 기구, 예컨대 수술칼(scalpel)(S)을 이용하여 수행되는 외과 의사의 손(H)의 움직임들이 제스처들로서 기록된다. 결과적인 비디오 데이터 스트림은 시뮬레이션 디바이스(SIMS)의 추적 모듈(TM)에 공급되고 이에 의해 평가된다. 손(H) 및 수술칼(S)에 의해 수행되는 제스처들은 추적 모듈(TM)에 의해 식별되어 파라미터화된다. 이러한 경우에서, 특히, 수술 기구, 즉, 수술칼(S) 및/또는 기능 유닛들 또는 그들의 부분들, 이를테면, 수술칼(S)의 날 및/또는 손잡이의 움직임들이 등록 및 추적된다. 수술 기구(S)의 등록된 제스처들 및 움직임들은 추적 모듈(TM)을 통해 추적 정보(TI)로서 표현된다.
예로서, 추적 정보(TI)는, 바람직하게는 각각의 경우에서, 수술칼(S)의 다수의 특정 포인트(point)들에 대한, 예컨대 수술칼(S)의 날 및/또는 손잡이에 대한 그리고 손(H)의 특정 포인트들에 대한, 예컨대 상이한 손가락들, 손가락뼈들, 손가락 관절들 및/또는 손가락 끝들에 대한, 손(H)의 그리고 수술칼(S)의 위치, 배향, 움직임, 움직임 방향, 속도 및/또는 회전을 포함한다.
시뮬레이션 디바이스(SIMS)는 생체역학적 구조 모델(BMS)에 기초하여 해부학적 영역(AR)을 시뮬레이팅하기 위한 시뮬레이션 모듈(SM)을 더 포함한다. 생체역학적 구조 모델(BMS)은 모델링 모듈(MM)로부터 시뮬레이션 모듈(SM)로 전달된다. 게다가, 추적 정보(TI)가 추적 모듈(TM)로부터 시뮬레이션 모듈(SM)로 전달된다. 전달되는 추적 정보(TI)에 기초하여, 시뮬레이션 모듈(SM)은, 손(H) 및/또는 수술칼(S)의 각각의 등록된 제스처 또는 각각의 움직임을, 생체역학적 구조 모델(BMS)에 기초하여 시뮬레이팅된, 해부학적 영역(AR)에 대한 역학적 영향에 할당한다. 따라서, 예컨대 특정 방향으로의 손(H)의 손가락 끝의 움직임이, 해부학적 영역(AR)의 특정하게 할당된 위치에 대한 역학적 압력 영향에 할당될 수 있다. 따라서, 수술칼(S)의 날의 등록된 움직임은 해부학적 영역(AR)의 특정 위치에서의 시뮬레이팅된 절개(cut)에 할당될 수 있다.
시뮬레이션 모듈(SM)은 생체역학적 구조 모델(BMS)에 기초하여 시뮬레이팅된 역학적 영향에 대한 해부학적 영역(AR)의 역학적 반응을 시뮬레이팅한다. 여기서, 특히, 발생하는 힘들 및 변형들 및 가역적 변화들, 예컨대 탄성 변형들 및 불가역적 변화들, 예컨대 조직 절개, 봉합(suture) 및/또는 임플란트(implant)가 동적으로 시뮬레이팅된다. 생체역학적 구조 모델은 시뮬레이팅된 역학적 반응에 따라 시뮬레이션 모듈(SM)에 의해 수정된다. 예로서, 불가역적 가상 조직 절개의 경우, 조직 절개에 의해 서로 분리된 조직 부분들은 생체역학적 구조 모델(BMS)에서 가상으로 서로 분리되어서, 분리된 절개 표면들이 시뮬레이션에서 더 이상 서로에 대해 견인력들(pulling force)을 가할 수 없고, 마찰-기반 전단력들만을 계속 가할 수 있다. 수정된 생체역학적 구조 모델(modified biomechanical structure model)은 도 1에서 MBMS로 지정된다. MBMS는 외과 의사의 계속해서 등록되는 제스처들 및 그들로부터 유도된 해부학적 영역(AR)의 역학적 반응들에 의해, 시뮬레이션 모듈(SM)에 의해 계속해서 수정되고, 이는 동작의 가상의 과정에 따라 어느 정도까지 업데이트된다.
더욱이, 시뮬레이션 모듈(SM)은 수정된 생체역학적 구조 모델(MBMS)에 기초하여 해부학적 영역(AR)의 해부학적 기능에 대한 가상의 외과 수술의 하나 이상의 영향들을 시뮬레이팅한다. 이러한 방식으로, 수술의 성공 또는 결과들이 예측될 수 있거나 또는 적어도 추정될 수 있다. 특히, 이러한 예측은, 수정된 생체역학적 구조 모델(MBMS)을 데이터베이스에 저장된 다수의 알려진 경우들과 비교함으로써 수행될 수 있다. 이를 위해, 기계 학습을 위한 모듈(ML) 또는 기계 학습을 위한 추가의 모듈의 사용이 바람직하게 이루어질 수 있다.
시뮬레이션 디바이스(SIMS)는 생체역학적 구조 모델(BMS) 및/또는 수정된 생체역학적 구조 모델(MBMS)의 입체적 시각화를 위한 시각화 모듈(VM)을 더 포함한다. 이를 위해, 본 예시적 실시예에서, 수정된 생체역학적 구조 모델(MBMS)은 시뮬레이션 모듈(SM)로부터 시각화 모듈(VM)로 적어도 부분적으로 전달된다. 시각화 모듈(VM)은 수정된 생체역학적 구조 모델(MBMS)의 입체적 시각화를 계산하여, 입체적 시각화 데이터(VIS)를 스크린 단말(T)에 출력한다. 스크린 단말(T)은 제3 인터페이스(I3)를 통해 시뮬레이션 디바이스(SIMS)에 커플링된다. 특히, 시각화 모듈(VM)은 시뮬레이팅된 역학적 영향들에 대한 해부학적 영역(AR)의 역학적 반응들을 시각화한다. 이러한 방식으로, 사용자는, 시뮬레이팅되는 외과 수술과 함께 수행되는 자신의 제스처들이 해부학적 영역(AR)에 대해 어떤 시뮬레이팅되는 영향들을 갖는지를 즉각적으로 식별할 수 있다.
바람직하게, 가상 및/또는 증강 현실을 디스플레이하기 위한 몰입형 시스템이 스크린 단말(T)로서 이용될 수 있다. 대안적으로 또는 추가적으로, 홀로그래픽 및/또는 스테레오그래픽 시각화 시스템의 사용이 이루어질 수 있다. 더욱이, 제3 인터페이스(I3)는 가상 수술의 시뮬레이팅된 영향을 스크린 단말(T) 상에 디스플레이하기 위한 출력 인터페이스의 역할을 할 수 있다.
추가적으로, 시뮬레이션 디바이스(SIMS)는 사용자에게로의 시뮬레이팅된 역학적 반응의 햅틱 출력을 위한 햅틱 인터페이스(여기에 도시되지 않음)를 가질 수 있다. 예로서, 이러한 햅틱 출력은 이른바 로봇식 장갑(robotic glove) 또는 능동형 장갑(active glove)에 의해 제공될 수 있다.
도 2는 본 발명에 따른 방법의 프로세스들을 설명하기 위한 흐름도를 개략도로 도시한다. 본 발명에 따른 방법의 범위 내에서, 해부학적 영역(AR)의 이미지 데이터(IMG)가 초기에 기록 및 등록된다. 생체역학적 구조 모델(BMS)은, 등록된 이미지 데이터(IMG)에 기초하여, 예컨대 추정함으로써 확립된다. 그 다음으로, 해부학적 영역(AR)의 물리적 시뮬레이션이 생체역학적 구조 모델(BMS)에 의해 수행될 수 있다. 그 다음으로, 예컨대 외과 수술을 시뮬레이팅하는 것에 의한 치료 시뮬레이션은, 치료 또는 외과 수술의 영향을 예측하기 위해 해부학적 영역(AR)의 물리적 시뮬레이션에 의존할 수 있다.
도 3은 해부학적 영역(AR)과 시뮬레이션 디바이스(SIMS)의 사용자의 가상적 상호작용의 시각화를 설명한다. 시각화는, 추적 모듈(TM)에 의해 등록된 손들 또는 손들의 제스처들의 시각화(VH) 및 해부학적 영역(AR)의 시각화(VAR)를 포함한다. 여기서, 다수의 손가락 뼈들의 등록된 포지션(position)들 및 배향들은 시각화(VAR)에서의 시각화(VH)의 가상 포지션들 및 배향들에 할당된다. 시각화(VAR)의 포지션들로의 손가락 뼈들의 포지션들 및 배향들의 할당은 해부학적 영역(AR)의 생체역학적 구조 모델(BMS)에 기초하여 수행된다.
본 발명에 의해, 바람직하게는, 예컨대 심장 초음파 검사(echocardiography)에 의해 생체 내에서(in vivo) 획득되는 이미지 데이터(IMG)가 컴퓨터 상에 해부학적 영역(AR)의 디스플레이를 생성하기 위해 이용된다. 이러한 디스플레이의 기하학적 구성 및 다른 파라미터들은 바람직하게, 유한 엘리먼트 모델로 변환되며, 이에 의해, 해부학적 영역(AR)의 생리학적 및/또는 물리적 거동이 동적으로 시뮬레이팅된다. 생체역학적 구조 모델(BMS)의 파라미터들은 해부학적 영역(AR)에서의 운동 역학 또는 운동 흐름에 기초하여 환자-특정적 방식으로 확립 또는 추정되며, 이들은 이미지 데이터(IMG)로부터 유도가능하다.
외과 수술을 위한 계획 단계 동안, 외과 의사는 상이한 절차들을 시뮬레이션 디바이스(SIMS)에 의해 테스트하고 그리고 해부학적 영역(AR)의 해부학적 기능에 대한 그 상이한 절차들의 각각의 영향을 시뮬레이팅 및 추정할 수 있다. 자연 방식으로 다루어지는 실제 수술 기구들의 포함 및 추적에 의해 그리고 바람직하게는 몰입형 시각화 기술들의 이용에 의해, 시뮬레이션의 인식되는 사실성(realism)이 상당히 증가될 수 있다. 이러한 몰입형 시뮬레이션 시스템의 사용은, 외과 의사로 하여금, 실제 수술의 경우에서 자신이 할 조작들과 동일한 조작들을 생체역학적 구조 모델(BMS) 상에서 가상으로 하도록 허용한다. 이러한 방식으로, 외과 의사는 실제 수술이 발생하기 전에 이상적인 절차를 그에 따라 확립하기 위해, 상이한 치료 선택사항들을 테스트 및/또는 결합할 수 있다. 외과 수술들의 개선된 계획에 추가하여, 본 발명은 또한, 외과 의사들의 개선된 트레이닝을 허용한다.

Claims (14)

  1. 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS)로서,
    a) 의료 이미징 방법에 의해 획득된 해부학적 영역(AR)의 이미지 데이터(IMG)를 판독하기 위한 제1 인터페이스(I1) ― 상기 제1 인터페이스(I1)는 시간-분해 방식(time-resolved manner)으로 상기 이미지 데이터(IMG)를 판독하도록 구성됨 ―;
    b) 상기 이미지 데이터(IMG)에 기초하여 상기 해부학적 영역(AR)의 입체적(volumetric) 생체역학적 구조 모델(BMS)을 확립하기 위한 모델링 모듈(MM) ― 상기 모델링 모듈(MM)은, 시간-분해된 이미지 데이터(IMG)에 기초하여 상기 해부학적 영역(AR)의 부분구조의 운동 역학을 식별하고, 식별된 운동 역학에 기초하여 상기 부분구조의 물리적 속성(physical property)을 유도하고, 그리고 상기 부분구조의 물리적 속성을 상기 생체역학적 구조 모델(BMS)에 맵핑(map)하도록 구성됨 ―;
    c) 사용자의 공간적 제스처들의 비디오-기반 등록을 위해 카메라(C)와 커플링가능한 추적 모듈(TM);
    d) 상기 생체역학적 구조 모델(BMS)에 기초하여, 각각의 경우에서 등록된 제스처를 상기 해부학적 영역(AR)에 대해 시뮬레이팅된 역학적 영향에 할당하고,
    상기 생체역학적 구조 모델(BMS)에 기초하여, 상기 시뮬레이팅된 역학적 영향에 대한 상기 해부학적 영역(AR)의 역학적 반응을 시뮬레이팅하고, 그리고
    시뮬레이팅된 역학적 반응에 따라 상기 생체역학적 구조 모델(BMS)을 수정하기 위한 시뮬레이션 모듈(SM); 및
    e) 상기 생체역학적 구조 모델(BMS)의 입체적 시각화를 위한 시각화 모듈(VM)
    을 포함하는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  2. 제1항에 있어서,
    상기 추적 모듈은 수술 기구를 이용하여 수행되는 사용자의 제스처들을 등록하도록 구성되는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  3. 제1항 또는 제2항에 있어서,
    상기 사용자에게로의 상기 시뮬레이팅된 역학적 반응의 햅틱 출력(haptic output)을 위한 햅틱 인터페이스(haptic interface)를 특징으로 하는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  4. 제1항 또는 제2항에 있어서,
    상기 시뮬레이션 모듈(SM)은, 상기 생체역학적 구조 모델(BMS)에 기초하여 상기 해부학적 영역(AR)의 해부학적 기능에 대한 상기 외과 수술의 영향을 시뮬레이팅하도록 구성되고, 그리고
    시뮬레이팅된 영향을 디스플레이하기 위한 출력 인터페이스(I3)가 제공되는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  5. 제1항 또는 제2항에 있어서,
    상기 생체역학적 구조 모델(BMS)은 환자에 대해 특정적인,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  6. 제1항 또는 제2항에 있어서,
    상기 생체역학적 구조 모델(BMS)은 유한 엘리먼트 모델(finite element model)을 포함하는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  7. 제1항 또는 제2항에 있어서,
    상기 모델링 모듈(MM)은 연속적으로 판독되는 이미지 데이터(IMG)에 기초하여 상기 생체역학적 구조 모델(BMS)을 동적으로 적응시키도록 구성되는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  8. 삭제
  9. 제1항에 있어서,
    상기 모델링 모듈(MM)은, 상기 부분구조의 운동 역학을 식별하는 것, 상기 부분구조의 물리적 속성을 유도하는 것, 또는 상기 물리적 속성을 상기 생체역학적 구조 모델(BMS)에 맵핑하는 것 중 적어도 하나를 수행하도록 구성된 기계 학습을 위한 모듈(ML)을 포함하는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  10. 제1항 또는 제2항에 있어서,
    상기 시각화 모듈(VM)은 가상 및/또는 증강 현실을 디스플레이하기 위한 몰입형 시스템으로서 설계되는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  11. 제1항 또는 제2항에 있어서,
    상기 시각화 모듈(VM)은 홀로그래픽(holographic) 및/또는 스테레오그래픽(stereographic) 시각화 시스템으로서 설계되는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  12. 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 내의 하나 이상의 프로세서들에 의해 수행되는, 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 방법으로서,
    a) 의료 이미징 방법에 의해 획득된 해부학적 영역(AR)의 이미지 데이터(IMG)를 시간-분해 방식으로 판독하는 단계,
    b) 상기 이미지 데이터(IMG)에 기초하여, 상기 해부학적 영역(AR)의 입체적 생체역학적 구조 모델(BMS)을 확립하는 단계 ― 상기 생체역학적 구조 모델을 확립하는 단계는, 시간-분해된 이미지 데이터(IMG)에 기초하여 상기 해부학적 영역(AR)의 부분구조의 운동 역학을 식별하고, 식별된 운동 역학에 기초하여 상기 부분구조의 물리적 속성을 유도하고, 그리고 상기 부분구조의 물리적 속성을 상기 생체역학적 구조 모델(BMS)에 맵핑(map)하는 것을 포함함 ―,
    c) 사용자의 공간적 제스처들을 비디오-기반 방식으로 등록하는 단계,
    d) 시뮬레이션 모듈(SM)에 의해,
    상기 생체역학적 구조 모델(BMS)에 기초하여, 각각의 경우에서 등록된 제스처를 상기 해부학적 영역(AR)에 대해 시뮬레이팅된(simulated) 역학적 영향에 할당하고,
    상기 생체역학적 구조 모델(BMS)에 기초하여, 상기 시뮬레이팅된 역학적 영향에 대한 상기 해부학적 영역(AR)의 역학적 반응을 시뮬레이팅하고, 그리고
    시뮬레이팅된 역학적 반응에 따라 상기 생체역학적 구조 모델(BMS)을 수정하는 단계, 및
    e) 상기 생체역학적 구조 모델(BMS)을 입체적으로(volumetrically) 시각화하는 단계를 포함하는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 방법.
  13. 제12항에 청구된 방법을 실행하도록 구성된 컴퓨터 프로그램을 저장하는 컴퓨터-판독가능 저장 매체.
  14. 삭제
KR1020160057015A 2015-05-12 2016-05-10 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법 Active KR102536732B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015208804.9 2015-05-12
DE102015208804.9A DE102015208804A1 (de) 2015-05-12 2015-05-12 Vorrichtung und Verfahren zum rechnergestützten Simulieren von chirurgischen Eingriffen

Publications (2)

Publication Number Publication Date
KR20160133367A KR20160133367A (ko) 2016-11-22
KR102536732B1 true KR102536732B1 (ko) 2023-05-24

Family

ID=57208953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160057015A Active KR102536732B1 (ko) 2015-05-12 2016-05-10 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법

Country Status (4)

Country Link
US (1) US10172676B2 (ko)
KR (1) KR102536732B1 (ko)
CN (1) CN106156398A (ko)
DE (1) DE102015208804A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015226669B4 (de) * 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
US10729507B2 (en) 2017-01-12 2020-08-04 Warsaw Orthopedic, Inc. Surgical draping system and method for using same
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
IT201900000583A1 (it) * 2019-01-14 2020-07-14 Upsurgeon S R L Dispositivo di apprendimento medico basato sull'integrazione di realtà fisica e virtuale finalizzato allo studio e alla simulazione degli approcci chirurgici ai distretti anatomici
WO2020210972A1 (zh) * 2019-04-16 2020-10-22 孙永年 手术用穿戴式影像显示装置及手术资讯即时呈现系统
DE102019123826A1 (de) * 2019-09-05 2021-03-11 Volume Graphics Gmbh Computerimplementiertes Verfahren zum Erstellen eines Netzes zum Simulieren eines Objekts
US12272463B2 (en) 2021-05-21 2025-04-08 Cilag Gmbh International Methods for surgical simulation
WO2023136616A1 (ko) * 2022-01-12 2023-07-20 (주)휴톰 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법
KR102500234B1 (ko) * 2022-07-25 2023-02-16 주식회사 안심엘피씨 Ar/vr 기반의 육류 발골 교육용 햅틱 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320526A (zh) * 2008-07-11 2008-12-10 深圳先进技术研究院 一种手术预测和训练的设备及其方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
AU2003232063A1 (en) * 2002-05-06 2003-11-11 Institute For Infocomm Research Simulation system for medical procedures
SE0202864D0 (sv) * 2002-09-30 2002-09-30 Goeteborgs University Surgical Device and method for generating a virtual anatomic environment
US20050267353A1 (en) * 2004-02-04 2005-12-01 Joel Marquart Computer-assisted knee replacement apparatus and method
US20100167253A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Surgical training simulator
US8771189B2 (en) 2009-03-18 2014-07-08 Siemens Medical Solutions Usa, Inc. Valve assessment from medical diagnostic imaging data
US20110046935A1 (en) * 2009-06-09 2011-02-24 Kiminobu Sugaya Virtual surgical table
US9542001B2 (en) * 2010-01-14 2017-01-10 Brainlab Ag Controlling a surgical navigation system
EP2558011A4 (en) * 2010-04-14 2017-11-15 Smith & Nephew, Inc. Systems and methods for patient- based computer assisted surgical procedures
US8920322B2 (en) 2011-03-09 2014-12-30 Siemens Aktiengesellschaft Valve treatment simulation from medical diagnostic imaging data
EP2723270B1 (en) * 2011-06-27 2019-01-23 Board of Regents of the University of Nebraska On-board tool tracking system of computer assisted surgery
US8724906B2 (en) * 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
CN102920477B (zh) * 2012-03-05 2015-05-20 杭州弘恩医疗科技有限公司 医学影像的目标区域边界确定装置和方法
US8548778B1 (en) * 2012-05-14 2013-10-01 Heartflow, Inc. Method and system for providing information from a patient-specific model of blood flow
CN103280144B (zh) * 2013-04-07 2015-06-17 浙江工业大学 一种模拟手术训练系统
CN103714322A (zh) * 2013-12-26 2014-04-09 四川虹欧显示器件有限公司 一种实时手势识别方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320526A (zh) * 2008-07-11 2008-12-10 深圳先进技术研究院 一种手术预测和训练的设备及其方法

Also Published As

Publication number Publication date
CN106156398A (zh) 2016-11-23
US10172676B2 (en) 2019-01-08
US20160331464A1 (en) 2016-11-17
KR20160133367A (ko) 2016-11-22
DE102015208804A1 (de) 2016-11-17

Similar Documents

Publication Publication Date Title
KR102536732B1 (ko) 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법
JP7662716B2 (ja) 訓練又は支援機能を有する手術システム
US12283196B2 (en) Surgical simulator providing labeled data
Basdogan et al. VR-based simulators for training in minimally invasive surgery
CN101320526B (zh) 一种手术预测和训练的设备及其方法
US9601030B2 (en) System and method for performing virtual surgery
Long et al. Integrating artificial intelligence and augmented reality in robotic surgery: An initial dvrk study using a surgical education scenario
Luboz et al. ImaGiNe Seldinger: first simulator for Seldinger technique and angiography training
Ferraguti et al. Augmented reality and robotic-assistance for percutaneous nephrolithotomy
WO2019226440A1 (en) A system for simulation of soft bodies
KR20200096155A (ko) 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
CN115454254A (zh) 内窥镜引导下的经鼻腔虚拟仿真手术方法及装置
Behringer et al. Some usability issues of augmented and mixed reality for e-health applications in the medical domain
Mangalote et al. A comprehensive study to learn the impact of augmented reality and haptic interaction in ultrasound-guided percutaneous liver biopsy training and education
Kabuye et al. A mixed reality system combining augmented reality, 3D bio-printed physical environments and inertial measurement unit sensors for task planning
CN119867928B (zh) 一种基于虚拟现实的微创外科手术模拟方法及系统
Kazemipour et al. A usability analysis of augmented reality and haptics for surgical planning
Shibuya et al. Proposal of simulation-based surgical navigation and development of laparoscopic surgical simulator that reflects motion of surgical instruments in real-world
CN115762255A (zh) 一种基于vr的实验教学系统
Müller-Wittig Virtual reality in medicine
Wang et al. A simulation and training system of robot assisted surgery based on virtual reality
Pednekar et al. Applications of virtual reality in surgery
De Paolis An augmented reality platform for preoperative surgical planning
Dhaarani et al. Applications of ML/DL for Robotic Surgery
Slagmolen et al. New directions for preoperative planning: impact from emerging 3D technologies

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160510

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210324

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160510

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220411

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20221025

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20220411

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20221025

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20220613

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20230220

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20230126

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20221025

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20220613

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230522

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230522

End annual number: 3

Start annual number: 1

PG1601 Publication of registration