[go: up one dir, main page]

TWI711428B - 用於醫療用具的光學追蹤系統及訓練系統 - Google Patents

用於醫療用具的光學追蹤系統及訓練系統 Download PDF

Info

Publication number
TWI711428B
TWI711428B TW108113268A TW108113268A TWI711428B TW I711428 B TWI711428 B TW I711428B TW 108113268 A TW108113268 A TW 108113268A TW 108113268 A TW108113268 A TW 108113268A TW I711428 B TWI711428 B TW I711428B
Authority
TW
Taiwan
Prior art keywords
medical
surgical
optical
presentation
medical appliance
Prior art date
Application number
TW108113268A
Other languages
English (en)
Other versions
TW202038867A (zh
Inventor
孫永年
周一鳴
朱敏慈
沈庭立
邱昌逸
蔡博翔
Original Assignee
國立成功大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立成功大學 filed Critical 國立成功大學
Priority to TW108113268A priority Critical patent/TWI711428B/zh
Priority to US16/531,532 priority patent/US20200333428A1/en
Publication of TW202038867A publication Critical patent/TW202038867A/zh
Application granted granted Critical
Publication of TWI711428B publication Critical patent/TWI711428B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00707—Dummies, phantoms; Devices simulating patient or parts of patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)

Abstract

一種光學追蹤系統用於一醫療用具，其包含多個光學標記物、多個光學感測器以及一計算機裝置，光學標記物設置在醫療用具，光學感測器係光學地感測光學標記物以分別產生多個感測信號。計算機裝置耦接光學感測器以接收感測信號，並具有一手術情境三維模型，且根據感測信號調整手術情境三維模型中一醫療用具呈現物與一手術目標呈現物之間的相對位置。

Description

用於醫療用具的光學追蹤系統及訓練系統
本發明係關於一種光學追蹤系統及訓練系統，特別關於一種醫療器具用的光學追蹤系統及訓練系統。
醫療器具的操作訓練需要花一段時間才能讓學習的使用者能夠熟練，以微創手術來說，除了操作手術刀之外通常還會操作超聲波影像的探頭，微創手術所能容許的誤差不大，通常要有豐富的經驗才能順利的進行，因此，手術前的訓練格外重要。
因此，如何提供一種醫療器具用的光學追蹤系統及訓練系統，可以協助或訓練使用者操作醫療器具，已成為重要課題之一。
有鑑於上述課題，本發明之目的為提供一種醫療器具用的光學追蹤系統及訓練系統，能協助或訓練使用者操作醫療器具。
一種光學追蹤系統用於一醫療用具，其包含多個光學標記物、多個光學感測器以及一計算機裝置，光學標記物設置在醫療用具，光學感測器係光學地感測光學標記物以分別產生多個感測信號。計算機裝置耦接光學感測器以接收感測信號，並具有一手術情境三維模型，且根據感測信號調整手術情境三維模型中一醫療用具呈現物與一手術目標呈現物之間的相對位置。
在一實施例中，光學感測器為至少二個，設置在醫療用具上方並朝向光學標記物。
在一實施例中，計算機裝置與光學感測器進行一前置作業程序，前置作業程序包括：校正光學感測器的座標體系；以及調整針對醫療用具與一手術目標物體的一縮放比例。
在一實施例中，計算機裝置與光學感測器進行一座標校正程序，校正程序包括一初始校正步驟、一最佳化步驟以及一修正步驟。初始校正步驟進行光學感測器的座標體系與手術情境三維模型的座標體系之間的一初始校正，以得到一初始轉換參數。最佳化步驟係最佳化初始轉換參數的自由度，以得到一最佳化轉換參數。修正步驟係修正最佳化轉換參數中導因於光學標記物的設置誤差。
在一實施例中，初始校正步驟是利用奇異值分解(singular value decomposition，SVD)、三角座標對位(Triangle coordinate registration)或線性最小均方估算(linear least square estimation)。
在一實施例中，初始校正步驟是利用奇異值分解來找出醫療用具呈現物的特徵點與光學感測器之間的一變換矩陣作為初始轉換參數，變換矩陣包括一共變異數矩陣(covariance matrix)以及一旋轉矩陣(rotation matrix)，最佳化步驟是從旋轉矩陣獲得多自由度的多個尤拉角，並對多自由度的參數利用高斯牛頓法迭代最佳化，以得到最佳化轉換參數。
在一實施例中，計算機裝置根據最佳化轉換參數與感測信號設定醫療用具呈現物與手術目標呈現物在手術情境三維模型中的位置。
在一實施例中，修正步驟是利用一反向轉換與感測信號修正醫療用具呈現物與手術目標呈現物在手術情境三維模型中的位置。
在一實施例中，計算機裝置輸出一顯示資料，顯示資料用以呈現醫療用具呈現物與手術目標呈現物的3D影像。
在一實施例中，計算機裝置依據手術情境三維模型以及一醫學影像模型產生一醫學影像。
在一實施例中，一手術目標物體是一人造肢體，醫學影像是針對手術目標物體的一人造醫學影像。
在一實施例中，計算機裝置推演醫療用具在手術目標物體內外的位置，並據以調整手術情境三維模型中醫療用具呈現物與手術目標呈現物之間的相對位置。
一種醫療用具操作的訓練系統包含一醫療用具以及前述用於醫 療用具的光學追蹤系統。
在一實施例中，醫療用具包括一醫療探具及一手術器具，醫療用具呈現物包括一醫療探具呈現物及一手術器具呈現物。
在一實施例中，計算機裝置依據醫療探具呈現物找出的一偵測物及手術器具呈現物的操作進行評分。
一種醫療用具的光學追蹤系統的校正方法包含一感測步驟、一初始校正步驟、一最佳化步驟以及一修正步驟。感測步驟利用光學追蹤系統的多個光學感測器光學地感測設置在醫療用具上光學追蹤系統的多個光學標記物，以分別產生多個感測信號；初始校正步驟依據感測信號進行光學感測器的座標體系與一手術情境三維模型的座標體系之間的一初始校正，以得到一初始轉換參數；最佳化步驟係最佳化初始轉換參數的自由度，以得到一最佳化轉換參數；修正步驟係修正最佳化轉換參數中導因於光學標記物的設置誤差。
在一實施例中，校正方法更包含一前置作業程序，前置作業程序包括校正光學感測器的座標體系；以及調整針對醫療用具與一手術目標物體的一縮放比例。
在一實施例中，初始校正步驟是利用奇異值分解(singular value decomposition，SVD)、三角座標對位(Triangle coordinate registration)或線性最小均方估算(linear least square estimation)。
在一實施例中，校正方法中，初始校正步驟是利用奇異值分解來找出手術情境三維模型的一醫療用具呈現物的特徵點與光學感測器之間的一變換矩陣作為初始轉換參數，變換矩陣包括一共變異數矩陣以及一旋轉矩陣。最佳化步驟是從旋轉矩陣獲得多自由度的多個尤拉角，並對多自由度的參數利用高斯牛頓法迭代最佳化，以得到最佳化轉換參數。
在一實施例中，醫療用具呈現物與一手術目標呈現物在手術情境三維模型中的位置是根據最佳化轉換參數與感測信號設定。修正步驟是利用一反向轉換與感測信號修正醫療用具呈現物與一手術目標呈現物在手術情境三維模型中的位置。
承上所述，本揭露之光學追蹤系統能協助或訓練使用者操作醫療 器具，本揭露之訓練系統能提供受訓者擬真的手術訓練環境，藉以有效地輔助受訓者完成手術訓練。
1、1a:光學追蹤系統
11:光學標記物
12、121~124:光學感測器
13:計算機裝置
131:處理核心
132:儲存元件
133、134:輸出入介面
135:顯示資料
136:醫學影像
14、14a:手術情境三維模型
14b:實體醫學影像三維模型
14c:人造醫學影像三維模型
141~144:醫療用具呈現物
145:手術目標呈現物
15:追蹤模組
16:訓練模組
21:醫療用具、醫療探具
22~24:醫療用具、手術器具
3:手術目標物體
4:平台
5:輸出裝置
D1:骨頭主軸的向量
D2:手掌法線的向量
S01~S02、S11~S13、S131~S132、S21~S24:步驟
圖1A為一實施例之光學追蹤系統的區塊圖。
圖1B與圖1C為一實施例之光學追蹤系統的示意圖。
圖1D為一實施例之手術情境三維模型的示意圖。
圖2為一實施例之光學追蹤系統的前置作業程序的流程圖。
圖3A為一實施例之光學追蹤系統的座標校正程序的流程圖。
圖3B為一實施例之座標體系校正的示意圖。
圖3C為一實施例之自由度的示意圖。
圖4為一實施例之醫療用具操作的訓練系統的區塊圖。
圖5A為一實施例之手術情境三維模型的示意圖。
圖5B為一實施例之實體醫學影像三維模型的示意圖。
圖5C為一實施例之人造醫學影像三維模型的示意圖。
圖6A至圖6D為一實施例之醫療用具的方向向量的示意圖。
圖7A至圖7D為一實施例之訓練系統的訓練過程示意圖。
圖8A為一實施例之手指結構的示意圖。
圖8B為一實施例從電腦斷層攝影影像在骨頭上採用主成分分析的示意圖。
圖8C為一實施例從電腦斷層攝影影像在皮膚上採用主成分分析的示意圖。
圖8D為一實施例計算骨頭主軸與算醫療用具間的距離的示意圖。
圖8E為一實施例之人造醫學影像的示意圖。
圖9A為一實施例之產生人造醫學影像的區塊圖。
圖9B為一實施例之人造醫學影像的示意圖。
圖10A與圖10B為一實施例之假手模型與超聲波容積的校正的示意圖。
圖10C為一實施例之超聲波容積以及碰撞偵測的示意圖。
圖10D為一實施例之人造超聲波影像的示意圖。
以下將參照相關圖式，說明依本發明較佳實施例之光學追蹤系統及醫療用具操作的訓練系統，其中相同的元件將以相同的參照符號加以說明。
如圖1A所示，圖1A為一實施例之光學追蹤系統的區塊圖。用於醫療用具的一光學追蹤系統1包含多個光學標記物11、多個光學感測器12以及一計算機裝置13，光學標記物11設置在一或多個醫療用具，在此以多個醫療用具21~24說明為例，光學標記物11也可設置在一手術目標物體3，醫療用具21~24及一手術目標物體3放置在一平台4上，光學感測器12係光學地感測光學標記物11以分別產生多個感測信號。計算機裝置13耦接光學感測器12以接收感測信號，並具有一手術情境三維模型14，且根據感測信號調整手術情境三維模型14中一醫療用具呈現物141~144與一手術目標呈現物145之間的相對位置。醫療用具呈現物141~144與手術目標呈現物145如圖1D所示，是在手術情境三維模型14中代表醫療用具21~24及手術目標物體3。藉由光學追蹤系統1，手術情境三維模型14可以得到醫療用具21~24及手術目標物體3的當下位置並據以反應到醫療用具呈現物與手術目標呈現物。
光學感測器12為至少二個，設置在醫療用具21~24上方並朝向光學標記物11，藉以即時地(real-time)追蹤醫療用具21~24以得知其位置。光學感測器12可以是基於攝像機的線性偵測器。舉例來說，在圖1B中，圖1B為一實施例之光學追蹤系統的示意圖，四個光學感測器121~124安裝在天花板並且朝向平台4上的光學標記物11、醫療用具21~24及手術目標物體3。
舉例來說，醫療用具21為一醫療探具，醫療探具例如是超聲波影像偵測的探頭或其他可探知手術目標物體3內部的裝置，這些裝置是臨床真實使用的，超聲波影像偵測的探頭例如是超聲波換能器(Ultrasonic Transducer)。醫療用具22~24為手術器具，例如針、手術刀、勾等等，這些器具是臨床真實使用的。若用於手術訓練，醫療探具可以是臨床真實使用的裝置或是模擬臨床的擬真裝置，手術器具可以是臨床真實使用的裝置或是模擬臨床的擬真裝置。例如在圖1C中，圖1C為一實施例之光學追蹤系統的示意圖，平台4上的醫療用具21~24及手術目標物體3是用於手術訓練用，例如手指微創手術，其可用於板機指治療手術。平台4及醫療用具21~24的夾具的材質可以是木頭，醫療用具 21是擬真超聲波換能器(或探頭)，醫療用具22~24包括多個手術器具(surgical instruments)，例如擴張器(dilator)、針(needle)、及勾刀(hook blade)，手術目標物體3是假手(hand phantom)。各醫療用具21~24安裝三或四個光學標記物11，手術目標物體3也安裝三或四個光學標記物11。舉例來說，計算機裝置13連線至光學感測器12以即時追蹤光學標記物11的位置。光學標記物11有17個，包含4個在手術目標物體3上或週圍來連動，13個光學標記物11在醫療用具21~24。光學感測器12不斷地傳送即時資訊到計算機裝置13，此外，計算機裝置13也使用移動判斷功能來降低計算負擔，若光學標記物11的移動距離步小於一門檻值，則光學標記物11的位置不更新，門檻值例如是0.7mm。
在圖1A中，計算機裝置13包含一處理核心131、一儲存元件132以及多個輸出入介面133、134，處理核心131耦接儲存元件132及輸出入介面133、134，輸出入介面133可接收光學感測器12產生的偵測信號，輸出入介面134與輸出裝置5通訊，計算機裝置13可透過輸出入介面134輸出處理結果到輸出裝置5。輸出入介面133、134例如是周邊傳輸埠或是通訊埠。輸出裝置5是具備輸出影像能力的裝置，例如顯示器、投影機、印表機等等。
儲存元件132儲存程式碼以供處理核心131執行，儲存元件132包括非揮發性記憶體及揮發性記憶體，非揮發性記憶體例如是硬碟、快閃記憶體、固態碟、光碟片等等。揮發性記憶體例如是動態隨機存取記憶體、靜態隨機存取記憶體等等。舉例來說，程式碼儲存於非揮發性記憶體，處理核心131可將程式碼從非揮發性記憶體載入到揮發性記憶體，然後執行程式碼。儲存元件132儲存手術情境三維模型14及追蹤模組15的程式碼與資料，處理核心131可存取儲存元件132以執行及處理手術情境三維模型14及追蹤模組15的程式碼與資料。
處理核心131例如是處理器、控制器等等，處理器包括一或多個核心。處理器可以是中央處理器或圖型處理器，處理核心131亦可以是處理器或圖型處理器的核心。另一方面，處理核心131也可以是一個處理模組，處理模組包括多個處理器。
光學追蹤系統的運作包含計算機裝置13與光學感測器12間的連線、前置作業程序、光學追蹤系統的座標校正程序、即時描繪(rendering)程序 等等，追蹤模組15代表這些運作的相關程式碼及資料，計算機裝置13的儲存元件132儲存追蹤模組15，處理核心131執行追蹤模組15以進行這些運作。
計算機裝置13進行前置作業及光學追蹤系統的座標校正後可找出最佳化轉換參數，然後計算機裝置13可根據最佳化轉換參數與感測信號設定醫療用具呈現物141~144與手術目標呈現物145在手術情境三維模型14中的位置。計算機裝置13可推演醫療用具21在手術目標物體3內外的位置，並據以調整手術情境三維模型14中醫療用具呈現物141~144與手術目標呈現物145之間的相對位置。藉此可從光學感測器12的偵測結果即時地追蹤醫療用具21~24並且在手術情境三維模型14中對應地呈現，在手術情境三維模型14的呈現物例如在圖1D所示。
手術情境三維模型14是原生(native)模型，其包含針對手術目標物體3所建立的模型，也包含針對醫療用具21~24所建立的模型。其建立方式可以是開發者直接以電腦圖學的技術在電腦上建構，例如使用繪圖軟體或是特別應用的開發軟體所建立。
計算機裝置13可輸出一顯示資料135至輸出裝置5，顯示資料135用以呈現醫療用具呈現物141~144與手術目標呈現物145的3D影像，輸出裝置5可將顯示資料135輸出，輸出方式例如是顯示或列印等等。以顯示方式的輸出其結果例如在圖1D所示。
如圖2所示，圖2為一實施例之光學追蹤系統的前置作業程序的流程圖。計算機裝置13與光學感測器12進行一前置作業程序，前置作業程序包括步驟S01以及步驟S02，藉以校正光學感測器12並重新調整全部醫療用具21~24的縮放規模。
步驟S01是校正光學感測器12的座標體系，多個校正棒(calibration stick)帶有多個光學標記物，其所圍的區域是用來定義工作區域，光學感測器12感測校正棒上的光學標記物，各光學感測器12偵測到全部光學標記物時，校正棒所圍的區域就是有效工作區域。校正棒是使用者手動擺設的，使用者可調整校正棒的位置來修改有效工作區域。光學感測器12所偵測的靈敏度可以到約0.3mm。在此，光學感測器12的偵測結果所在的座標體系稱為追蹤 座標體系。
步驟S02是調整針對醫療用具21~24與手術目標物體3的一縮放比例。醫療用具21~24通常是剛體(rigid body)，座標校正採用剛體校正的方式藉以避免失真。因此，醫療用具21~24必須重調規模(rescale)到追蹤座標體系以得到正確的校正結果。縮放比例(scaling ratio)的計算可由下式得到：
Figure 108113268-A0305-02-0010-1
TrackG：追蹤座標體系中的重心
Tracki：追蹤座標體系中光學標記物的位置
MeshG：網點座標體系中的重心
Meshi：網點座標體系中光學標記物的位置
追蹤座標體系是光學感測器12偵測結果所採用的座標體系，網點座標體系是手術情境三維模型14所採用的座標體系。步驟S02首先計算追蹤座標體系與網點座標體系中的重心，然後，計算追蹤座標體系與網點座標體系中光學標記物與重心的距離。接著，對於網點座標體系對於追蹤座標體系的個別比例，加總全部的個別比例並除以光學標記物的數量，然後得到網點座標體系對於追蹤座標體系的比例。
如圖3A所示，圖3A為一實施例之光學追蹤系統的座標校正程序的流程圖。計算機裝置與光學感測器進行一座標校正程序，校正程序包括一初始校正步驟S11、一最佳化步驟S12以及一修正步驟S13。初始校正步驟S11進行光學感測器12的座標體系與手術情境三維模型14的座標體系之間的一初始校正，以得到一初始轉換參數，座標體系之間的校正例如圖3B所示。最佳化步驟S12係最佳化初始轉換參數的自由度，以得到一最佳化轉換參數，自由度例如圖 3C所示。修正步驟S13係修正最佳化轉換參數中導因於光學標記物的設置誤差。
由於追蹤座標體系與手術情境三維模型14的座標體系之間也有變換，附在平台4上的光學標記物可用來校正這二個座標體系。
初始校正步驟S11是找出醫療用具呈現物的特徵點與光學感測器之間的一變換矩陣作為初始轉換參數，初始校正步驟是利用奇異值分解(singular value decomposition，SVD)、三角座標對位(Triangle coordinate registration)或線性最小均方估算(linear least square estimation)。變換矩陣例如包括一共變異數矩陣(covariance matrix)以及一旋轉矩陣(rotation matrix)。
舉例來說，步驟S11可利用奇異值分解來找出醫療用具呈現物141~144的特徵點與光學感測器之間的一最佳變換(optimal transformation)矩陣作為初始轉換參數，共變異數矩陣H可從這些特徵點得到且其可視為要被最佳化的目標函數(objective function)。旋轉(rotation)矩陣M可藉由下式找到：
Figure 108113268-A0305-02-0011-2
[U,Σ,V]=SVD(H)；M=VU T
得到旋轉矩陣M後，可藉由下式找到平移(translation)矩陣T：T=-M×centroid A +centroid B
最佳化步驟S12是從旋轉矩陣M獲得多自由度的多個尤拉角，並對多自由度的參數利用高斯牛頓法(Gauss-Newton algorithm)迭代最佳化，藉以得到最佳化轉換參數。多自由度例如是六自由度，其他數量的自由度例如九自由度等等並將運算式適當對應的修改也是可行的。由於從初始校正步驟S11得到的轉換結果可能不夠精確，進行最佳化步驟S12可以改善精確度因而得到較精確的轉換結果。
設γ表示相對於X軸的角度，α表示相對於Y軸的角度，β表示 相對於Z軸的角度，對於世界座標軸的各軸的旋轉可以表示如下：
Figure 108113268-A0305-02-0012-3
m 11=cosαcosβ
m 12=sinγsinαcosβ-cosγsinβ
m 13=cosγsinαcosβ+sinγsinβ
m 21=cosαsinβ
m 22=sinγsinαsinβ+cosγcosβ
m 23=cosγsinαsinβ-sinγcosβ
m 31=-sinα
m 32=sinγcosα
m 33=cosγcosα
旋轉矩陣M可從上式得到，在一般狀況下，多個尤拉角可由下式得到：γ=atan2(m 32,m 33)
Figure 108113268-A0305-02-0012-4
β=atan2(sin(γ)m 13-cos(γ)m 12,cos(γ)m 22-sin(γ)m 23)
取出多個尤拉角後，針對世界座標系的旋轉假定是正交的(orthogonal)，由於已經得到六個自由度的參數，這些參數可利用高斯牛頓法迭代最佳化，以得到最佳化轉換參數。E(
Figure 108113268-A0305-02-0012-23
)是要最小化的目標函數(objective function)。
Figure 108113268-A0305-02-0012-5
Figure 108113268-A0305-02-0013-6
其中，b表示參考目標點和當下點之間的最小平方誤差(least squareerrors)，n是特徵點數量，
Figure 108113268-A0305-02-0013-12
是變換參數其具有平移及旋轉參數，藉由使用高斯牛頓法迭代變換參數
Figure 108113268-A0305-02-0013-13
會因而調整而找出最佳值，變換參數
Figure 108113268-A0305-02-0013-14
的更新函數如下：
Figure 108113268-A0305-02-0013-7
△是從目標函數的雅可比矩陣(Jacobian matrix)
△=(J T J)-1 J T b
Figure 108113268-A0305-02-0013-8
停止條件定義如下：E(
Figure 108113268-A0305-02-0013-24
(t))-E(
Figure 108113268-A0305-02-0013-25
(t+1))<10-8
修正步驟S13係修正最佳化轉換參數中導因於光學標記物的設置誤差。修正步驟S13包含判斷步驟S131以及調整步驟S132。
在步驟S13中，來源特徵點修正程序可用來克服因手動選取特徵點所造成的誤差，這是因為手術情境三維模型14的醫療用具呈現物141~144與手術目標呈現物145的特徵點和醫療用具21~24及手術目標物體3的特徵點的誤差，這些特徵點是使用者所選取的。醫療用具21~24及手術目標物體3的特徵點可包含光學標記物11設置的點。由於最佳變換可從步驟S12得到，從源點變換得到的目標位置在第n次迭代後會接近參考目標點VT如下：
Figure 108113268-A0305-02-0013-10
Figure 108113268-A0305-02-0013-11
：第n次迭代從源點到目標點的轉換矩陣
V s n ：第n次迭代的源點
Figure 108113268-A0305-02-0014-15
：第n次迭代變換後的目標點
在來源點修正步驟，首先計算轉換矩陣的反變換，然後從參考目標點得到新源點，計算式如下：
Figure 108113268-A0305-02-0014-16
Figure 108113268-A0305-02-0014-17
：轉換矩陣的反變換
Figure 108113268-A0305-02-0014-18
：第n次迭代反變換後的新源點
Figure 108113268-A0305-02-0014-19
：第n次迭代變換後的目標點
假定二個座標系的確切變換如上，在n次迭代後，新源點將會是原始源點的理想位置。然而，原始源點和理想源點有些移位，為了校正原始源點來最小化手動選位誤差，各次迭代可設一約束步距大小(constraint step size)c1，並設一約束區域盒大小(constraint region box size)c2其可以是常數(constant value)以限制原始源點移動的距離。這個校正如下式：
Figure 108113268-A0305-02-0014-20
|V s n+1-V s 0| l <c 2,c 2=5,l=x,y,z
在各次迭代中，如果這二個點之間的距離小於c1，來源點會移到新的點，否則來源點只朝新的點移動長度c1。如果下式的情況發生，迭代將會中止。VT從源點是VS變換後的目標點。
Figure 108113268-A0305-02-0014-21
藉由前述三個步驟的校正，手術情境三維模型14的座標位置可以精確地變換對應至追蹤座標體系中光學標記物11，反之亦然。藉此，根據光 學感測器12的偵測結果可即時地追蹤醫療用具21~24及手術目標物體3，並將追蹤座標體系中醫療用具21~24及手術目標物體3的位置經由前述處理後能在手術情境三維模型14中以醫療用具呈現物141~144與手術目標呈現物145對應準確地呈現，隨著醫療用具21~24及手術目標物體3實際移動，醫療用具呈現物141~144與手術目標呈現物145會在手術情境三維模型14即時地跟著移動。
如圖4所示，圖4為一實施例之醫療用具操作的訓練系統的區塊圖。醫療用具操作的訓練系統(以下稱為訓練系統)可真實地模擬手術訓練環境，訓練系統包含光學追蹤系統1a、一或多個醫療用具21~24以及手術目標物體3。光學追蹤系統1a包含多個光學標記物11、多個光學感測器12以及計算機裝置13，光學標記物11設置在醫療用具21~24及手術目標物體3，醫療用具21~24及手術目標物體3放置在平台4上。針對醫療用具21~24及手術目標物體3，醫療用具呈現物141~144與手術目標呈現物145對應地呈現在手術情境三維模型14a。醫療用具21~24包括醫療探具及手術器具，例如醫療用具21是醫療探具，醫療用具22~24是手術器具。醫療用具呈現物141~144包括醫療探具呈現物及手術器具呈現物，例如醫療用具呈現物141是醫療探具呈現物，醫療用具呈現物142~144是手術器具呈現物。儲存元件132儲存手術情境三維模型14a及追蹤模組15的程式碼與資料，處理核心131可存取儲存元件132以執行及處理手術情境三維模型14a及追蹤模組15的程式碼與資料。與前述段落及圖式中對應或相同標號的元件其實施方式及變化可參考先前段落的說明，故此不再贅述。
手術目標物體3是一人造肢體，例如是假上肢、假手(hand phantom)、假手掌、假手指、假手臂、假上臂、假前臂、假手肘、假上肢、假腳、假腳趾、假腳踝、假小腿、假大腿、假膝蓋、假軀幹、假頸、假頭、假肩、假胸、假腹部、假腰、假臀或其他假部位等等。
在本實施例中，訓練系統是以手指的微創手術訓練為例說明，手術目標物體3是假手，手術例如是板機指治療手術，醫療探具21是擬真超聲波換能器(或探頭)，手術器具22~24是針(needle)、擴張器(dilator)及勾刀(hook blade)。在其他的實施方式中，針對其他的手術訓練可以採用其他部位 的手術目標物體3。
儲存元件132還儲存實體醫學影像三維模型14b、人造醫學影像三維模型14c及訓練模組16的程式碼與資料，處理核心131可存取儲存元件132以執行及處理實體醫學影像三維模型14b、人造醫學影像三維模型14c及訓練模組16的程式碼與資料。訓練模組16負責以下手術訓練流程的進行以及相關資料的處理、整合與計算。
手術訓練用的影像模型在手術訓練流程進行前預先建立及匯入系統。以手指微創手術訓練為例，影像模型的內容包含手指骨頭(掌指及近端指骨)及屈肌腱(flexor tendon)。這些影像模型可參考圖5A至圖5C，圖5A為一實施例之手術情境三維模型的示意圖，圖5B為一實施例之實體醫學影像三維模型的示意圖，圖5C為一實施例之人造醫學影像三維模型的示意圖。這些三維模型的內容可以透過輸出裝置5來輸出或列印。
實體醫學影像三維模型14b是從醫學影像建立的三維模型，其是針對手術目標物體3所建立的模型，例如像圖5B出示的三維模型。醫學影像例如是電腦斷層攝影影像，手術目標物體3實際地經電腦斷層攝影後產生的影像拿來建立實體醫學影像三維模型14b。
人造醫學影像三維模型14c內含人造醫學影像模型，人造醫學影像模型是針對手術目標物體3所建立的模型，例如像圖5C出示的三維模型。舉例來說，人造醫學影像模型是人造超聲波影像三維模型，由於手術目標物體3並非真的生命體，雖然電腦斷層攝影能得到實體結構的影像，但是若用其他的醫學影像設備如超聲波影像則仍無法直接從手術目標物體3得到有效或有意義的影像。因此，手術目標物體3的超聲波影像模型必須以人造的方式產生。從人造超聲波影像三維模型選擇適當的位置或平面可據以產生二維人造超聲波影像。
計算機裝置13依據手術情境三維模型14a以及醫學影像模型產生一醫學影像136，醫學影像模型例如是實體醫學影像三維模型14b或人造醫學影像三維模型14c。舉例來說，計算機裝置13依據手術情境三維模型14a以及人造醫學影像三維模型14c產生醫學影像136，醫學影像136是二維人造超聲波影像。計算機裝置13依據醫療探具呈現物141找出的一偵測物及手術器具呈現 物145的操作進行評分，偵測物例如是特定的受術部位。
圖6A至圖6D為一實施例之醫療用具的方向向量的示意圖。對應於醫療用具21~24的醫療用具呈現物141~144的方向向量會即時地描繪(rendering)，以醫療用具呈現物141來說，醫療探具的方向向量可以藉由計算光學標記物的重心點而得到，然後從另一點投射到x-z平面，計算從重心點到投射點的向量。其他的醫療用具呈現物142~144較為簡單，用模型中的尖點就能計算方向向量。
為了降低系統負擔避免延遲，影像描繪的量可以減少，例如訓練系統可以僅繪製手術目標呈現物145所在區域的模型而非全部的醫療用具呈現物141~144都要繪製。
此外，在訓練系統中，皮膚模型的透明度可以調整以觀察手術目標呈現物145內部的解剖結構，並且看到不同橫切面的超聲波影像切片或電腦斷層攝影影像切片，橫切面例如是橫斷面(horizontal plane或axial plane)、矢面(sagittal plane)或冠狀面(coronal plane)，藉此可在手術過程中幫助執刀者。各模型的邊界盒(bounding boxes)是建構來碰撞偵測(collision detection)，手術訓練系統可以判斷哪些醫療用具已經接觸到肌腱、骨頭及/或皮膚，以及可以判斷何時開始評分。
進行校正程序前，附在手術目標物體3上的光學標記物11必須要能清楚地被光學感測器12看到或偵測到，如果光學標記物11被遮住則偵測光學標記物11的位置的準確度會降低，光學感測器12至少同時需要二個看到全部的光學標記物。校正程序如前所述，例如三階段校正，三階段校正用來準確地校正二個座標體系。校正誤差、迭代計數和光學標記物的最後位置可以顯示在訓練系統的視窗中，例如透過輸出裝置5顯示。準確度和可靠度資訊可用來提醒使用者，當誤差過大時系統需要重新校正。完成座標體系校正後，三維模型以每秒0.1次的頻率來描繪，描繪的結果可輸出到輸出裝置5來顯示或列印。
訓練系統準備好後，使用者可以開始進行手術訓練流程。在訓練流程中，首先使用醫療探具尋找受術部位，找到受術部位後，將受術部位麻醉。然後，擴張從外部通往受術部位的路徑，擴張後，將手術刀沿此路徑深入至受術 部位。
圖7A至圖7D為一實施例之訓練系統的訓練過程示意圖，手術訓練流程包含四階段並以手指的微創手術訓練為例說明。
如圖7A所示，在第一階段，使用醫療探具21尋找受術部位，藉以確認受術部位在訓練系統內。受術部位例如是滑車區(pulley)，這可藉由尋找掌指關節的位置、手指的骨頭及肌腱的解剖結構來判斷，這階段的重點在於第一個滑車區(A1 pulley)是否有找到。此外，若受訓者沒有移動醫療探具超過三秒來決定位置，然後訓練系統將自動地進入到下一階段的評分。在手術訓練期間，醫療探具21擺設在皮膚上並且保持與皮膚接觸在沿屈肌腱(flexor tendon)的中線(midline)上的掌指關節(metacarpal joints，MCP joints)。
如圖7B所示，在第二階段，使用手術器具22打開手術區域的路徑，手術器具22例如是針。插入針來注入局部麻醉劑並且擴張空間，插入針的過程可在連續超聲波影像的導引下進行。這個連續超聲波影像是人造超聲波影像，其係如前述的醫學影像136。由於用假手很難模擬區域麻醉，因此，麻醉並沒有特別模擬。
如圖7C所示，在第三階段，沿與第二階段中手術器具22相同的路徑推入手術器具23，以創造下一階段勾刀所需的軌跡。手術器具23例如是擴張器(dilator)。此外，若受訓者沒有移動手術器具23超過三秒來決定位置，然後訓練系統將自動地進入到下一階段的評分。
如圖7D所示，在第四階段，沿第三階段創造出的軌跡將手術器具24插入，並且利用手術器具24將滑車區分開(divide)，手術器具24例如是勾刀(hook blade)。第三階段與第四階段的重點類似，在手術訓練過程中，沿屈肌腱(flexor tendon)二側附近的血管(vessels)和神經可能會容易地被誤切，因此，第三階段與第四階段的重點在不僅在沒有接觸肌腱、神經及血管，還有要開啟一個軌跡其大於第一個滑車區至少2mm，藉以留給勾刀切割滑車區的空間。
為了要對使用者的操作進行評分，必須要將各訓練階段的操作量化。首先，手術進行中的手術區域是由如圖8A的手指解剖結構所定義，其可分為上邊界及下邊界。因肌腱上的組織大部分是脂肪不會造成疼痛感，所以手術區 域的上邊界可以用手掌的皮膚來定義，另外，下邊界則是由肌腱所定義。近端深度邊界(proximal depth boundary)在10mm(平均第一個滑車區長度)離掌骨頭頸(metacarpal head-neck)關節。遠端深度邊界(distal depth boundary)則不重要，這是因為其與肌腱、血管及神經受損無關。左右邊界是由肌腱的寬度(width)所定義，神經及血管位在肌腱的兩側。
手術區域定義好之後，針對各訓練階段的評分方式如下。在如圖7A的第一階段中，訓練的重點在於找到目標物，例如是要被切除的目標物，以手指為例是第一個滑車區(A1 pulley)。現實手術過程中，為了要有好的超聲波影像品質，醫療探具和骨頭主軸的角度最好要接近垂直，可容許的角度偏差為±30°。因此，第一階段評分的算式如下：第一階段分數=找標的物評分×其權重+探具角度評分×其權重
在如圖7B的第二階段中，訓練的重點在於使用針來打開手術區域的路徑。由於滑車區環繞肌腱，骨頭主軸和針之間的距離應該要小比較好。因此，第二階段評分的算式如下：第二階段分數=開口評分×其權重+針角度評分×其權重+離骨頭主軸距離評分×其權重
在第三階段中，訓練的重點在於將擴大手術區域的擴張器插入手指。在手術過程中，擴張器的軌跡必須要接近骨頭主軸。為了不傷害肌腱、血管與神經，擴張器不會超出先前定義的手術區域邊界。為了擴張出好的手術區域軌跡，擴張器與骨頭主軸的角度最好近似於平行，可容許的角度偏差為±30°。由於要留給勾刀切割第一個滑車區的空間，擴張器必須要高於(over)第一個滑車區至少2mm。第三階段評分的算式如下： 第三階段分數=高於滑車區評分×其權重+擴張器角度評分×其權重+離骨頭主軸距離評分×其權重+未離開手術區域評分×其權重
在第四階段中，評分的條件和第三階段類似，不同處在於勾刀需要旋轉90°，這規則加入到此階段的評分中。評分的算式如下：第四階段分數=高於滑車區評分×其權重+勾刀角度評分×其權重+離骨頭主軸距離評分×其權重+未離開手術區域評分×其權重+旋轉勾刀評分×其權重
為了要建立評分標準以對使用者的手術操作做評分，必須定義如何計算骨頭主軸和醫療用具間的角度。舉例來說，這個計算方式是和計算手掌法線(palm normal)和醫療用具的方向向量間的角度一樣。首先，要先找到骨頭主軸，如圖8B所示，從電腦斷層攝影影像在骨頭上採用主成分分析(Principal components analysis，PCA)可找出骨頭的三個軸。在這三個軸中，取最長的軸作為骨頭主軸。然而，在電腦斷層攝影影像中骨頭形狀並非平的(uneven)，這造成主成分分析找到的軸和手掌法線彼此不垂直。於是，如圖8C所示，代替在骨頭上採用主成分分析，在骨頭上的皮膚可用來採用主成分分析找出手掌法線。然後，骨頭主軸和醫療用具之間的角度可據以計算得到。
計算骨頭主軸與用具的角度後，骨頭主軸與算醫療用具間的距離也需要計算，距離計算類似於計算醫療用具的頂尖和平面間的距離，平面指包含骨頭主軸向量向量和手掌法線的平面，距離計算的示意如圖8D所示。這個平面可利用手掌法線的向量D2和骨頭主軸的向量D1的外積(cross product)得到。由於這二個向量可在先前的計算得到，骨頭主軸與用具之間的距離可容易地算出。
如圖8E所示，圖8E為一實施例之人造醫學影像的示意圖，人造醫學影像中的肌腱區段和皮膚區段以虛線標示。肌腱區段和皮膚區段可用來建 構模型及邊界盒，邊界盒是用來碰撞偵測，滑車區可以定義在靜態模型。藉由使用碰撞偵測，可以決定手術區域及判斷醫療用具是否跨過滑車區。第一個滑車區的平均長度約為1mm，第一個滑車區是位在掌骨頭頸(MCP head-neck)關節近端，滑車區平均厚度約0.3mm並且環繞肌腱。
圖9A為一實施例之產生人造醫學影像的流程圖。如圖9A所示，產生的流程包括步驟S21至步驟S24。
步驟S21是從一人造肢體的一斷面影像資料取出一第一組骨皮特徵。人造肢體是前述手術目標物體3，其可作為微創手術訓練用肢體，例如是假手。斷面影像資料包含多個斷面影像，斷面參考影像為電腦斷層攝影(computed tomography)影像或實體剖面影像。
步驟S22是從一醫學影像資料取出一第二組骨皮特徵。醫學影像資料為立體超聲波影像，例如像圖9B的立體超聲波影像，立體超聲波影像由多個平面超聲波影像所建立。醫學影像資料是對一真實生物拍攝的醫學影像，並非是對人造肢體肢體拍攝。第一組骨皮特徵及第二組骨皮特徵包含多個骨頭特徵點以及多個皮膚特徵點。
步驟S23是根據第一組骨皮特徵及第二組骨皮特徵建立一特徵對位資料(registration)。步驟S23包含：以第一組骨皮特徵為參考目標(target)；找出一關聯函數作為空間對位關聯資料，其中關聯函數滿足第二組骨皮特徵對準參考目標時沒有因第一組骨皮特徵與第二組骨皮特徵造成的擾動。關聯函數是透過最大似然估計問題(maximum likelihood estimation problem)的演算法以及最大期望演算法(EM Algorithm)找出。
步驟S24是根據特徵對位資料對於醫學影像資料進行一形變處理，以產生適用於人造肢體的一人造醫學影像資料。人造醫學影像資料例如是立體超聲波影像，其仍保留原始超聲波影像內生物體的特徵。步驟S24包含：根據醫學影像資料以及特徵對位資料產生一形變函數；在醫學影像資料套用一網格並據以得到多個網點位置；依據形變函數對網點位置進行形變；基於形變後的網點位置，從醫學影像資料補入對應畫素以產生一形變影像，形變影像作為人造醫學影像資料。形變函數是利用移動最小二乘法(moving least square，MLS)產生。 形變影像是利用仿射變換(affine transform)產生。
藉由步驟S21至步驟S24，透過將真人超聲波影像與假手電腦斷層影像擷取影像特徵，利用影像對位取得形變的對應點關係，再透過形變的方式基於假手產生接近真人超聲波的影像，並使產生的超聲波保有原先真人超聲波影像中的特徵。以人造醫學影像資料是立體超聲波影像來說，某特定位置或特定切面的平面超聲波影像可根據立體超聲波影像對應的位置或切面產生。
如圖10A與圖10B所示，圖10A與圖10B為一實施例之假手模型與超聲波容積(ultrasound volume)的校正的示意圖。實體醫學影像三維模型14b及人造醫學影像三維模型14c彼此之間有關聯，由於假手的模型是由電腦斷層影像容積所建構，因此可以直接拿電腦斷層影像容積與超聲波容積間的位置關係來將假手和超聲波容積建立關聯。
如圖10C與圖10D所示，圖10C為一實施例之超聲波容積以及碰撞偵測的示意圖，圖10D為一實施例之人造超聲波影像的示意圖。訓練系統要能模擬真實的超聲波換能器(或探頭)，從超聲波容積產生切面影像片段。不論換能器(或探頭)在任何角度，模擬的換能器(或探頭)必須描繪對應的影像區段。在實作中，首先偵測醫療探具21與超聲波體之間的角度，然後，片段面的碰撞偵測是依據醫療探具21的寬度及超聲波容積，其可用來找到正在描繪的影像區段的對應值，產生的影像如圖10D所示。例如人造醫學影像資料是立體超聲波影像來說，立體超聲波影像有對應的超聲波容積，模擬的換能器(或探頭)要描繪的影像區段的內容可根據立體超聲波影像對應的位置產生。
以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。
1：光學追蹤系統 11：光學標記物 12：光學感測器 13：計算機裝置 131：處理核心 132：儲存元件 133、134：輸出入介面 135：顯示資料 14：手術情境三維模型 141～144：醫療用具呈現物 145：手術目標呈現物 15：追蹤模組 21：醫療用具、醫療探具 22～24：醫療用具、手術器具 3：手術目標物體 4：平台 5：輸出裝置

Claims (17)

  1. 一種光學追蹤系統，用於一醫療用具，包含：多個光學標記物，設置在該醫療用具；多個光學感測器，光學地感測該光學標記物以分別產生多個感測信號；以及一計算機裝置，耦接該等光學感測器以接收該等感測信號，具有一手術情境三維模型，根據該等感測信號調整該手術情境三維模型中一醫療用具呈現物與一手術目標呈現物之間的相對位置；其中，該計算機裝置與該等光學感測器進行一前置作業程序，該前置作業程序包括：校正該等光學感測器的座標體系；及調整針對該醫療用具與一手術目標物體的一縮放比例；其中，該計算機裝置與該等光學感測器進行一座標校正程序，該校正程序包括：一初始校正步驟，進行該等光學感測器的該座標體系與該手術情境三維模型的座標體系之間的一初始校正，以得到一初始轉換參數；一最佳化步驟，最佳化該初始轉換參數的自由度，以得到一最佳化轉換參數；及一修正步驟，修正該最佳化轉換參數中導因於該等光學標記物的設置誤差。
  2. 如申請專利範圍第1項所述之系統，其中，該等光學感測器為至少二個，設置在該醫療用具上方並朝向該等光學標記物。
  3. 如申請專利範圍第1項所述之系統，其中，該初始校正步驟是利用奇異值分解、三角座標對位或線性最小均方估算。
  4. 如申請專利範圍第1項所述之系統，其中，該初始校正步驟是利用奇異值分解來找出該醫療用具呈現物的特徵點與該等光學感測器之間的一變換矩陣作為該初始轉換參數，該變換矩陣包括一共變異數矩陣以及一旋轉矩陣；該最佳化步驟是從該旋轉矩陣獲得多自由度的多個尤拉角，並對多自由度的參數利用高斯牛頓法迭代最佳化，以得到該最佳化轉換參數。
  5. 如申請專利範圍第1項所述之系統，其中，該計算機裝置根據該最佳 化轉換參數與該等感測信號設定該醫療用具呈現物與該手術目標呈現物在該手術情境三維模型中的位置。
  6. 如申請專利範圍第1項所述之系統，其中，該修正步驟是利用一反向轉換與該等感測信號修正該醫療用具呈現物與該手術目標呈現物在該手術情境三維模型中的位置。
  7. 如申請專利範圍第1項所述之系統，其中，該計算機裝置輸出一顯示資料，該顯示資料用以呈現該醫療用具呈現物與該手術目標呈現物的3D影像。
  8. 如申請專利範圍第1項所述之系統，其中，該計算機裝置依據該手術情境三維模型以及一醫學影像模型產生一醫學影像。
  9. 如申請專利範圍第8項所述之系統，其中，該手術目標物體是一人造肢體，該醫學影像是針對該手術目標物體的一人造醫學影像。
  10. 如申請專利範圍第1項所述之系統，其中，該計算機裝置推演該醫療用具在該手術目標物體內外的位置，並據以調整該手術情境三維模型中該醫療用具呈現物與該手術目標呈現物之間的相對位置。
  11. 一種醫療用具操作的訓練系統，包含：一醫療用具；以及一如申請專利範圍第1項至第10項其中一項所述的光學追蹤系統，用於該醫療用具。
  12. 如申請專利範圍第11項所述之系統，其中，該醫療用具包括一醫療探具及一手術器具，該醫療用具呈現物包括一醫療探具呈現物及一手術器具呈現物。
  13. 如申請專利範圍第12項所述之系統，其中，該計算機裝置依據該醫療探具呈現物找出的一偵測物及該手術器具呈現物的操作進行評分。
  14. 一種醫療用具的光學追蹤系統的校正方法，包含：一感測步驟，利用該光學追蹤系統的多個光學感測器光學地感測設置在該醫療用具上該光學追蹤系統的多個光學標記物，以分別產生多個感測信號；一初始校正步驟，依據該等感測信號進行該等光學感測器的座標體系與一手術情境三維模型的座標體系之間的一初始校正，以得到一初始轉換參數； 一最佳化步驟，最佳化該初始轉換參數的自由度，以得到一最佳化轉換參數；以及一修正步驟，修正該最佳化轉換參數中導因於該等光學標記物的設置誤差；其中，更包含一前置作業程序，該前置作業程序包括：校正該等光學感測器的座標體系；及調整針對該醫療用具與一手術目標物體的一縮放比例。
  15. 如申請專利範圍第14項所述之方法，其中，該初始校正步驟是利用奇異值分解、三角座標對位或線性最小均方估算。
  16. 如申請專利範圍第14項所述之方法，其中，該初始校正步驟是利用奇異值分解來找出該手術情境三維模型的一醫療用具呈現物的特徵點與該等光學感測器之間的一變換矩陣作為該初始轉換參數，該變換矩陣包括一共變異數矩陣以及一旋轉矩陣；該最佳化步驟是從該旋轉矩陣獲得多自由度的多個尤拉角，並對多自由度的參數利用高斯牛頓法迭代最佳化，以得到該最佳化轉換參數。
  17. 如申請專利範圍第14項所述之方法，其中，該醫療用具呈現物與一手術目標呈現物在該手術情境三維模型中的位置是根據該最佳化轉換參數與該等感測信號設定；該修正步驟是利用一反向轉換與該等感測信號修正該醫療用具呈現物與一手術目標呈現物在該手術情境三維模型中的位置。
TW108113268A 2019-04-16 2019-04-16 用於醫療用具的光學追蹤系統及訓練系統 TWI711428B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108113268A TWI711428B (zh) 2019-04-16 2019-04-16 用於醫療用具的光學追蹤系統及訓練系統
US16/531,532 US20200333428A1 (en) 2019-04-16 2019-08-05 Optical tracking system and training system for medical equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108113268A TWI711428B (zh) 2019-04-16 2019-04-16 用於醫療用具的光學追蹤系統及訓練系統

Publications (2)

Publication Number Publication Date
TW202038867A TW202038867A (zh) 2020-11-01
TWI711428B true TWI711428B (zh) 2020-12-01

Family

ID=72832244

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108113268A TWI711428B (zh) 2019-04-16 2019-04-16 用於醫療用具的光學追蹤系統及訓練系統

Country Status (2)

Country Link
US (1) US20200333428A1 (zh)
TW (1) TWI711428B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11847936B2 (en) 2018-11-15 2023-12-19 Intuitive Surgical Operations, Inc. Training users using indexed to motion pictures
WO2020185556A1 (en) * 2019-03-08 2020-09-17 Musara Mubayiwa Cornelious Adaptive interactive medical training program with virtual patients
EP3866107A1 (en) * 2020-02-14 2021-08-18 Koninklijke Philips N.V. Model-based image segmentation
US12171500B2 (en) * 2020-06-04 2024-12-24 Baxter Medical Systems Gmbh & Co. Kg Locating system for medical devices
CN113160676B (zh) * 2021-01-06 2022-11-11 浙江省人民医院 手术训练模型、减重代谢手术训练模型及训练方法
DE102021204031A1 (de) * 2021-04-22 2022-10-27 Carl Zeiss Meditec Ag Verfahren zum Betreiben eines Operationsmikroskops und Operationsmikroskop
CN113648061B (zh) * 2021-07-15 2022-08-09 上海交通大学医学院附属第九人民医院 一种基于混合现实的头戴式导航系统及导航配准方法
CN116399306B (zh) * 2023-03-27 2024-01-23 武汉市云宇智能科技有限责任公司 一种基于视觉识别的跟踪测量方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160191887A1 (en) * 2014-12-30 2016-06-30 Carlos Quiles Casas Image-guided surgery with surface reconstruction and augmented reality visualization
US20180289433A1 (en) * 2012-08-08 2018-10-11 Ortoma Ab Method and System for Computer Assisted Surgery

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180289433A1 (en) * 2012-08-08 2018-10-11 Ortoma Ab Method and System for Computer Assisted Surgery
US20160191887A1 (en) * 2014-12-30 2016-06-30 Carlos Quiles Casas Image-guided surgery with surface reconstruction and augmented reality visualization

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Philip F. McLauchlan ,"Gauge Independence in Optimization Algorithms for 3D Vision", International Workshop on Vision Algorithms, 1999 , page 1-9. *

Also Published As

Publication number Publication date
US20200333428A1 (en) 2020-10-22
TW202038867A (zh) 2020-11-01

Similar Documents

Publication Publication Date Title
TWI711428B (zh) 用於醫療用具的光學追蹤系統及訓練系統
AU2024203340B2 (en) Systems for assisting surgery
AU2020311392B2 (en) Augmented reality assisted joint arthroplasty
US20250017664A1 (en) Systems and methods for implantation of spinal plate
US9330502B2 (en) Mixed reality simulation methods and systems
US8257360B2 (en) Determining femoral cuts in knee surgery
CN101711127B (zh) 使用捕获的关节运动信息的植入规划
CN111249002B (zh) 全膝关节置换的术中规划调整方法、装置及设备
US12433679B2 (en) Bone registration methods for robotic surgical procedures
JP5866346B2 (ja) 運動パターンを使用して関節骨の奇形切除を判定する方法
CN109496143A (zh) 术前规划和对手术系统的相关术中配准
US12465427B2 (en) Surgical registration tools, systems, and methods of use in computer-assisted surgery
KR20160133367A (ko) 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법
Pettersson et al. Simulation of patient specific cervical hip fracture surgery with a volume haptic interface
TWI707660B (zh) 手術用穿戴式影像顯示裝置及手術資訊即時呈現系統
Lavallée et al. Computer integrated surgery and therapy: State of the art
JP2021153773A (ja) ロボット手術支援装置、手術支援ロボット、ロボット手術支援方法、及びプログラム
WO2020210967A1 (zh) 用于医疗用具的光学追踪系统及训练系统
TWI441106B (zh) 以影像為基礎之外科手術模擬系統
WO2020210972A1 (zh) 手术用穿戴式影像显示装置及手术资讯即时呈现系统
JP7414611B2 (ja) ロボット手術支援装置、処理方法、及びプログラム
Ramli et al. Visualization of the Newly Designed Jig and Fixture for Computer-Assisted Knee Replacement Surgery
Thomas Real-time Navigation Procedure for Robot-assisted Surgery

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees