[go: up one dir, main page]

TW201944366A - 擴增實境訓練系統 - Google Patents

擴增實境訓練系統 Download PDF

Info

Publication number
TW201944366A
TW201944366A TW108113915A TW108113915A TW201944366A TW 201944366 A TW201944366 A TW 201944366A TW 108113915 A TW108113915 A TW 108113915A TW 108113915 A TW108113915 A TW 108113915A TW 201944366 A TW201944366 A TW 201944366A
Authority
TW
Taiwan
Prior art keywords
augmented reality
virtual
module
user
training system
Prior art date
Application number
TW108113915A
Other languages
English (en)
Other versions
TWI733102B (zh
Inventor
黃宇軒
張皓宇
Original Assignee
黃宇軒
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 黃宇軒 filed Critical 黃宇軒
Publication of TW201944366A publication Critical patent/TW201944366A/zh
Application granted granted Critical
Publication of TWI733102B publication Critical patent/TWI733102B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本發明揭露了一種擴增實境訓練系統，包括一操作平台、一擴增實境立體顯微鏡組、一器械追蹤模組、以及一模擬產生模組。該擴增實境立體顯微鏡組是以攝影機捕捉真實立體影像、以及傳遞擴增實境影像於使用者眼中。該器械追蹤模組利用頂部以及底部數位攝影機以追蹤於一手術假體操作的一器械上部的一標記、以及追蹤該器械的下部。該模擬產生模組可產生及顯示合併真實立體影像以及虛擬影像的擴增實境影像，以模擬該器械與於該模擬產生模組的一處理器上執行的一訓練計畫之間的相互動作。據此，該擴增實境訓練系統可使用真實的器械作為使用者的介面，並建立一可靠且通用的顯微跟蹤框架。

Description

擴增實境訓練系統
本發明有關於一種擴增實境訓練系統，更具體而言，是有關於一種是用於顯微手術訓練的擴增實境訓練系統，該顯微手術可例如為眼科手術、神經外科手術、心血管手術、以及整形手術。
於西元1955年，Hunter以及其同事發明了第一台光學虛擬實境模擬系統，其使用機械手臂來接收細微動作的輸入。研究人員採用了如電磁傳感器、光學跟蹤相機、霍爾效應傳感器、慣性傳感器、以及複合系統來改善器械定位的精確度以及解析度。為了與傳感器互動，特別設計、改良、或有線的道具被使用以取代真正的器械，也因此該些道具的重量以及觸覺回饋模式與真正的器械不相同。
器械定位的準確度以及解析度以外，與手術器械的熟悉度對於一位白內障外科醫師是相當關鍵的。舉例而言，撕囊鑷可具有彎曲或直的尖端，以及圓形或扁平的手柄，每一種類型都需要配合不同的操作技巧。手術的技術與器械的種類有高度的相關性，尤其是顯微手術，因此，若真正的器械無法在練習時使用，訓練系統的成效將有所限制。傳統的光學跟蹤系統中，六個自由度的跟蹤至少需要將三個反射標記貼附於複製品上。該複製品的重量以及彈性與真正的器械將有所不同。於一電磁傳感系統中，準確度可能被真實器械中的金屬材料而影響。於一機械絞接系統中，使用者通常是操作機械手臂以取代手術器械，與真實手感有很大差異。上述的問題是先前的手術訓練系統遇到的基本困難。
上述的訓練系統皆是內建於虛擬實境(Virtual reality)中，這些系統跟蹤器械，並於一虛擬環境中呈現器械與眼睛的互動，因此，無法觀察到真正的器械。此外，雖然於虛擬環境中可被忽略，但於尺寸被放大的眼睛模型上操作的動作與真實手術有很大的不同。
本發明的目的在於提供一擴增實境(AR)訓練系統，以實現細微的動作跟蹤以及真實器械的練習，並可改善學員的手眼協調能力。
根據前述的目的，本發明提供了一種擴增實境訓練系統(ARTS)，包括：一操作平台，具有一模型放置區，供一手術假體放置、以及一工作空間，供一使用者於該手術假體上進行操作訓練；一擴增實境立體顯微鏡組，對應該操作平台設置，且以攝影機捕捉該手術假體以及操作於該手術假體上的一器械的真實立體影像，以及傳遞擴增實境影像於該使用者眼中；一器械追蹤模組，包含至少一頂部數位攝影機以及至少一底部數位攝影機，且提供該器械的位置訊號以及方向訊號，其中，該頂部數位攝影機設置於該工作空間的上方以追蹤該器械的一上部的一標記，而該底部攝影機設置於該工作空間的下方以追蹤該器械的一下部；以及一模擬產生模組，連接至該擴增實境立體顯微鏡組以及該器械追蹤模組上，並產生及顯示該擴增實境影像以模擬該器械與該訓練計畫之間的相互動作，其中，該擴增實境影像是合併來自該擴增實境立體顯微鏡組的該真實立體影像；以及基與該器械位置訊號、該器械方向訊號、與一訓練計畫互動所產生的複數個虛擬影像。
據此，該擴增實境訓練系統可應用於顯微手術的訓練，例如眼科手術、神經外科手術、心血管手術、以及整形手術等，以滿足使用者於訓練中使用真實手術器械的要求。透過該頂部攝影機以及該底部攝影機，該器械的位置可即時被計算，且可產生對應的虛擬動畫。該虛擬影像與該擴增實境立體顯微鏡組所捕捉的該真實立體影像重疊，而使用者可以雙目目鏡查看擴增實境的效果。當該擴增實境訓練系統是根據該立體顯微鏡以及手術顯微鏡的結構而設計時，其可提供觀察微小物件正確的立體視野的能力，以及提供超高畫質的雙目鏡顯示器以實現真實的使用者體驗。尤其，該擴增實境訓練系統可展現0.02 mm的空間準確度，其足以讓外科醫師進行白內障手術的訓練。使用該擴增實境訓練系統時，使用者可自由地創造所需的手術傷口。此外，器械的移動路徑不被限制，且手術操作空間為真實的大小，並未放大。
於本發明中，該擴增實境訓練系統可跟蹤多種器械，例如刮刀、剪刀、以及鑷子等。藉由特別設計的攝影機設置方式以及計算軟體，使用者可於該擴增實境訓練系統中使用預先註冊的器械，並有七個自由度的追蹤，包括鑷子的開合。由於本訓練系統的使用者介面中可使用無線的真實器械，使用者精進的手術技巧轉換至真實的手術時可有最短的過渡期。在使用擴增實境訓練系統之前，該器械上必須貼附一或多個標記，而所述標記可為被動式的標記(例如反射球)、或為主動式的標記(例如無線或有線充電式的LED模組)，且被貼附於該器械的上部。於一較佳實施態樣中，該標記為一被動式標記，且該擴增實境訓練系統的工作空間上方更包括一頂光模組。使用紅外線(IR)攝影機作為頂部攝影機以及底部攝影機時，該頂光模組提供紅外光以及可見光。因此，該器械的該上部可藉由該標記而被追蹤。此外，較佳地，該擴增實境訓練系統的工作空間下方更包括一底光模組，以提供紅外光以及可見光。更具體而言，該底光模組可包含複數個光源，使得使用者可更輕易的判斷該器械的下部的深度。相較於需要至少三個反射標記來追蹤六個自由度的傳統光學追蹤系統，僅需要一個標記的該擴增實境訓練系統可讓使用者忽略安裝標記後所造成的差異，且其身臨其境的體驗不會受到影響。
於本發明中，該模擬產生模組可包括一處理器以及一顯示器。該處理器連接至該擴增實境立體顯微鏡組以及該器械追蹤模組，而該顯示器連接至該處理器上，並顯示該擴增實境影像。更具體而言，該顯示器可包含一右螢幕以及一左螢幕，而該擴增實境影像則顯示於該右螢幕以及該左螢幕上，並藉由該擴增實境立體顯微鏡組的一光學模組而傳遞至使用者的眼睛。此外，該模擬產生模組可更包括一指導面板，連接至該處理器並顯示一三維視圖以可視化該手術假體的一三維模擬模型以及 該器械與該訓練計劃互動的一三維模擬影像。較佳地，該模擬產生模組的該處理器可於該指導面板上提供有關於該使用者於訓練計劃中操作的一分析報告，供該使用者檢視。針對白內障手術的訓練，該處理器所產生的虛擬影像包括一虛擬瞳孔區，且該訓練計劃於該處理器中執行，以提供以下訓練課程中的至少一者：(i) 放置至少一虛擬物件於該虛擬瞳孔區上以記錄該使用者於該訓練課程中於一預設期間內操作該器械的位置，以及分析該器械移動的範圍來評估該使用者的穩定握持器械技巧；(ii) 放置一虛擬起始點以及多個虛擬物件於該虛擬瞳孔區上，並紀錄使用者操作該器械觸碰該虛擬起始點至觸碰於不同高度的所述虛擬物件的次數以及時間，以評估該使用者的深度感測以及器械巡航技巧；(iii) 放置一虛擬參考圈於該虛擬瞳孔區上，並比較該使用者繪製的一虛擬跟蹤曲線與該虛擬參考圈，以評估該使用者的圓圈循跡技巧；(iv) 放置至少一虛擬物件以及一虛擬目標點於該虛擬瞳孔區上，並記錄該使用者操作一鑷子夾取所述虛擬物件至該虛擬目標點所需的時間，以評估該使用者使用該鑷子的技巧；以及(v) 放置一虛擬物件、一虛擬引導曲線、以及一虛擬釋放點於該虛擬瞳孔區上，並記錄使用者操作一鑷子抓取該虛擬物件以及將該虛擬物件沿著該虛擬引導曲線帶至該虛擬釋放點所需的時間，以評估該使用者的環形撕囊(capsulorhexis)技巧。
於本發明中，該擴增實境立體顯微鏡組可提供放大的立體影像，且可包括一攝影機模組、一光學模組、以及一目鏡模組。該攝影機模組對應該工作空間設置以捕捉該真實立體影像；而該光學模組對應該目鏡模組以及該模擬產生模組而設置，並藉由該目鏡模組以傳遞該擴增實境影像至該使用者的眼睛。更具體而言，該光學模組包括複數個光學透鏡、複數個稜鏡、複數個鏡子、複數個擴散器、以及複數個分束器。藉此，該擴增實境影像可透過所述光學透鏡、所述稜鏡、所述鏡子、所述擴散器、以及所述分束器而傳遞至該使用者的眼睛。
於本發明中，該手術假體可包括一眼睛模型，以作為白內障手術的訓練。較佳地，該眼睛模型可具有一人工傷口，該人工傷口允許該器械透過該人工傷口插入該眼睛模型。更具體而言，該眼睛模型具有一硬式底部以及於該硬式底部上的一柔軟部，該人工傷口形成於該柔軟部上。據此，該眼睛模型的該柔軟部與該器械之間的摩擦力可提供真實的觸覺反饋。此外，該訓練計劃該處理器中執行，於該人工傷口的邊緣設立警告指標，當感應到該器械碰撞該警告指標時將發出警告。
於本發明中，該擴增實境訓練系統可更包括一可操作介面模組，連接至該處理器，並使得該使用者得以操作調整該擴增實境立體顯微鏡組的一對焦平面或一縮放比例、或移動該擴增實境立體顯微鏡組。此外，該可操作介面模組使得該使用者得以操作調整光線以及控制其他客製化的功能。
本發明上述的目的、優點、以及新穎的技術特徵將藉由下文中結合附圖的詳細說明而更佳明確。
此技藝人士可由本說明書所揭示的內容輕易地了解本發明的其他優點與功效。惟需注意的是，以下圖式均為簡化的示意圖，圖式中的元件數目、形狀及尺寸可依實際實施狀況而隨意變更，且元件佈局狀態可更為複雜。本發明亦可藉由其他不同的具體實施例加以施行或應用，本說明書中的各項細節亦可基於不同觀點與應用，在不悖離本發明的精神下進行各種修飾與變更。
請參照圖1所示的本發明一實施例的一擴增實境訓練系統(ARTS)100。本實施例的該擴增實境訓練系統100主要包括一操作平台10、一擴增實境立體顯微鏡組30、一器械追蹤模組 50、以及一模擬產生模組70。於該擴增實境訓練系統100中，該模擬產生模組70可接收來自該擴增實境立體顯微鏡組30以及該器械追蹤模組50的訊號，並產生且顯示擴增實境影像AR於一顯示器73上，因此使用者藉由該擴增實境立體顯微鏡組30查看由該顯示器73反射至該使用者的眼睛的擴增實境影像AR。
為了示例說明，該擴增實境訓練系統100適用於眼睛手術的訓練(例如白內障手術訓練)，因此本實施例以一眼睛模型的示意圖作為手術假體20的示例。然而，應當理解的是，該擴增實境訓練系統100並非限制於眼睛手術的訓練，任何操作訓練皆可於該擴增實境訓練系統100上進行。本發明的該擴增實境訓練系統100的詳細結構及其主要元件之間的連接關係將於下文中更詳細地描述。
該操作平台10具有一模型放置區101供該手術假體20放置、以及一工作空間103供使用者的手可於該手術假體20上進行操作訓練(如手術訓練)。於本實施例中，該操作平台10被一盒體覆蓋以避免不必要的環境光線。此外，該盒體的內部覆蓋了黑色非反光材料以避免光的二次反射。
該擴增實境立體顯微鏡組30對應該操作平台10而設置(更具體而言，是設置於該操作平台10的該工作空間103上方)以攝影機捕捉該手術假體20以及操作於該手術假體20上的一器械40(如手術器械)的真實立體影像，以及以光學方式傳遞擴增實境影像AR於該使用者眼中。更具體而言，該擴增實境立體顯微鏡組30可包括一攝影機模組31、一光學模組33、以及一目鏡模組35。該攝影機模組31對應該工作空間103設置，以捕捉真實場景的影像。於本實施例中，該攝影機模組31裝備有相隔一適當距離的雙立體攝影機，以提供真實立體影像。雙立體攝影機之間的距離以及角度可符合不同的工作距離而調整。該光學模組33相對該目鏡模組35而設置，以傳遞顯示於該顯示器73該擴增實境影像AR至該目鏡模組35上。於本實施態樣中，該光學模組33包括雙鏡333，其中左邊及右邊的鏡子分別對應該目鏡模組35的左半及右半部而設置。如圖2所繪示的該雙鏡333以外，該光學模組33通常更包括複數個光學透鏡331、複數個稜鏡332、複數個擴散器334、以及複數個分束器335，因此該擴增實境影像AR可藉由所述光學透鏡331、所述稜鏡332、該雙鏡333、所述擴散器334、以及所述分束器335自該顯示器73反射至該使用者的眼睛。
該器械追蹤模組50包括一頂部數位攝影機51以及一底部數位攝影機53，並提供該器械40的位置以及方向訊號。該頂部數位攝影機51以及該底部數位攝影機53可為紅外線攝影機、RGB攝影機、景深攝影機、熱像攝影機、及其他種類的攝影機，並無特別的限制。本實施例使用紅外線攝影機作為頂部攝影機51及底部攝影機53，該頂部攝影機51設置於該工作空間103的上方，並追蹤該器械40的上部41(例如尾部)，該底部攝影機53設置於該工作空間103的下方，並追蹤該器械40的下部43(例如頭部)。舉例而言，於眼睛手術中，該底部數位攝影機53為可轉動地設置，例如圖3所示的於一中空眼睛模型21底下，且該頂部及底部數位攝影機51、53可聚焦於該手術假體20的手術區域內(例如該中空眼睛模型21的瞳孔區，其直徑為10 mm)。更具體而言，該頂部數位攝影機51的配置是為了追蹤貼附於該器械40的上部41的一標記45，而該底部攝影機53的設置是為了追蹤該器械40的下部43。該標記45是使用可貼附於該器械40的上部41的標記，且可為任何被動式標記或主動式標記。於本實施例使用一被動式標記作為該標記45，並設置一頂光模組81於該工作空間103的上方以提供紅外光以及可見光(如白光)。例如，該標記45可為一個小型反射球，該小型反射球為覆蓋有3MTM ScotchliteTM 反射膠帶的塑膠球，其不論光源於任何方向皆可產生均一的反射。該標記的直徑為6 mm，重量大約為0.8克，使用者可忽略安裝該標記時所產生的差異，且使用者的操作不會受到影響。在實際的手術中，視網膜會反射來自顯微鏡的光線以照亮器械40的下部43，為了模擬這個現象，本實施例如圖3所繪示，例如包括四個可調式光源(例如紅外光以及白光LED)的一底光模組83被貼附於該眼睛模型21的底部來幫助使用者更容易地評估下部43的深度。當使用具有對稱結構的鑷子作為手術用的器械40時，在操作過程中至少一個近端會與傷口底部接觸，此特徵可藉由來自底部數位攝影機53的影像的亮度以區別。當接觸的部分被確認後，該器械40的位置以及開口的角度可被計算出來。根據該頂部與該底部數位攝影機51、53所預先量測的訊息，可得到其尖端、反射球、以及轉折點之間的長度，且可計算該器械40的三維位置以及方向。此外，為了最小化來自各種顏色以及反射光的干擾，建議使用者於操作該器械時穿戴黑色乳膠手套。於本實施例中，該手術假體20更包括一擬真人體模型23與該眼睛模型21結合，如此一來可滿足白內障手術中物理反饋的要求。為了提供更加身臨其境的環境以及被動的觸覺反饋，該擬真人體模型23可由三維(3D)掃描所獲得之具有實際尺寸眼眶骨及額骨的一人類模型修改而得。至於該眼睛模型21，請參考圖4，一柔軟部211形成於一硬式底部213上以提供更加身臨其境的環境以及被動式的觸覺反饋。於本實施例中，使用以乙烯醋酸乙烯酯(EVA)製成的3D列印線料與0.2 mm的3D列印噴嘴以列印該柔軟部211於該硬式底部213上來作為脆弱的角膜模型。此外，一人工傷口212形成於該柔軟部211上以呈現一角膜傷口。據此，該器械40的下部43可通過該人工傷口212而插入該眼睛模型21，而該眼睛模型21的該柔軟部211與器械40之間的摩擦力可提供逼真的觸覺反饋。於本實施例中，該人工傷口212的寬度為2.4 mm，與微切口白內障手術中的標準角膜切口相同。該人工傷口212的高度經由專業白內障手術醫師重複地調整以及檢查以獲得逼真的變形特性，以限制橫向傾斜時鑷子的開口範圍。
於其他實施例中，該擴增實境訓練系統100更包括一無線電力傳輸模組91(如圖1所示)，其鄰接該操作平台10並於該工作空間103提供一感應電場。從而，任何設置於該工作空間103中的無線供電電子裝置(例如該器械40、該眼睛模型21、該底部數位攝影機53、一主動式LED標記、或可設計為無線充電裝置的任何光學/電學元件)皆可無線地供電使用。
該模擬產生模組70連接至該擴增實境立體顯微鏡組30以及該器械追蹤模組50，以產生並顯示該擴增實境影像AR以模擬該器械40與該訓練計畫之間的相互動作，其中，該擴增實境影像AR是合併來自該擴增實境立體顯微鏡組30的該真實立體影像；以及基與該器械位置訊號、該器械方向訊號、與一訓練計畫互動所產生的複數個虛擬影像。更具體而言，該模擬產生模組70可包括一處理器71，連接至該擴增實境立體顯微鏡組30以及該器械追蹤模組50、以及一顯示器73，連接至該處理器71並顯示該擴增實境影像AR。該顯示器73相對該光學模組33而設置，故顯示於該顯示器73上的該擴增實境影像AR可由該光學模組33傳遞，並透過該目鏡模組35而進入使用者的眼睛。更具體而言，該顯示器73可包括一右螢幕731以及一左螢幕733，該右螢幕731以及該左螢幕733對應地設置，並面朝該光學模組33(例如，分別面朝右鏡以及左鏡333)。據此，該右螢幕731顯示的右擴增實境影像AR藉由該光學模組33的右部(如右鏡333)而投射於該使用者的右眼中，而左螢幕顯示的左擴增實境影像AR藉由該光學模組33的左部(如左鏡333)而投射於該使用者的左眼中。於本實施例中，影像透視技術(video see-through, VST)被應用於本系統中，而該使用者觀看提供預先組合的真實以及虛擬的影像的顯示器。當真實以及虛擬的影像的延遲時間恆相同，且不會導致影像同步疊合的錯位時，可於VST系統中舒適地觀看其所提供的視覺結果，而低於33 ms的延遲時間是可接受的。為了獲得模擬顯微手術時可接受的解析度，較佳為使用任意尺吋的高解析度的面板作為影像來源，例如雙28吋4K液晶面板，以顯示該擴增實境影像AR。於本實施例中，如圖5所示，該右鏡333以及右螢幕731之間的水平距離D1及該左鏡333與該左螢幕733之間的水平距離D2分別設定為32 cm，以提供50度視角的高每度像素(pixels per degree, PPD)的影像(43 PPD)，以顯示顯微手術真實的視覺環境。此外，如圖6所示，該模擬產生模組70可更包括一指導面板75，連接至該處理器71並顯示一三維的視圖以可視化該手術假體20的一三維模擬模型以及該器械40與該訓練計劃互動的一三維模擬影像。較佳地，該處理器71於該指導面板75上提供有關於該使用者於訓練計劃中操作的一分析報告，以供使用者觀看。此外，在實際的操作下，如圖6所示，一可操作介面模組60可進一步地連接示該處理器71上，並供使用者可操作調整，舉例而言，該擴增實境立體顯微鏡組30的一對焦平面或一縮放比例、或移動該擴增實境立體顯微鏡組30，以及調整光線或控制其他客製化的功能。具體而言，該可操作介面模組60可為一腳踏板或任何一種使用者可操作的機構，以調整所需的條件。當該處理器71接收到由該使用者操作該可操作介面模組60所發出的指令時，該處理器71會產生對應的控制訊號，並發布於該擴增實境立體顯微鏡組30。於本實施例中，該擴增實境訓練系統100是以白內障手術作為示例，因此該處理器71中執行的訓練計畫設定警告指標並提供下文中的四個基本技術的訓練課程(穩定握持器械訓練、前房巡航訓練、圓圈循跡訓練、以及鑷子訓練)、以及一個手術步驟訓練課程(環形撕囊訓練)。
[傷口觸碰檢測]
若外科醫師於角膜傷口邊緣強行操作手術器械將造成角膜結構不可逆的損傷，而若外科醫師利用支軸概念(pivot concept)則可避免這些副作用。然而，當受訓者操作時會將注意力高度專注於該器械尖端，這時很難顧及到傷口的狀況。於該擴增實境訓練系統100中，如圖7至圖11所示，當器械40碰觸到設定於該人工傷口右側邊緣以及左側邊緣的警告指標W1 、W2 時，警告指標W1 、W2 時會變色。於傷口接觸檢測的模式下，觸碰傷口次數、傷口的總觸碰時間、以及最大的傷口觸碰時間都會被記錄並且分析。
[穩定握持器械訓練模式]
如圖7所示，六個虛擬物件P1 (繪示為六個球體)均勻地沿著相同的高度分布於該虛擬瞳孔區A，例如沿著虛體瞳孔區A的邊緣分布。當該器械40(繪示為一刮刀)的下部43觸碰所述虛擬物件P1 時，所述虛擬物件P1 會改變顏色，且在連續觸碰一預設時間後(如5秒)會消失。該使用者可以任意的順序觸碰所述虛擬物件P1 ，且當該器械40的下部43觸碰到所述虛擬物件P1 時，該尖端的位置每秒會記錄五次。於X、Y、Z軸上的動作範圍以及動作的立方空間將被計算以及分析以評估該使用者的穩定握持器械技巧。
[前房巡航訓練模式]
如圖8所示，一虛擬起始點P0 設定於該虛擬瞳孔區A的中心，而複數個虛擬物件P1 、P2 …、Pn (圖式中僅繪示P1 及P2 )則設定於不同高度，且皆位於該虛擬瞳孔區A中。該使用者須先行觸碰該虛擬起始點P0 ，隨後將出現一隨選的虛擬物件P1 。當該虛擬物件P1 被觸碰而消失後，該虛擬起始點P0 將再度出現，該使用者必須移動至該虛擬起始點P0 ，接著在移動至下一個隨選的虛擬物件P2 ，直到觸碰完一預設數量的虛擬物件P1 、P2 …、Pn 。該使用者所操作該器械40(繪示為刮刀)的下部43由該虛擬起始點P0 至下一個虛擬物件P1 、P2 …、Pn 的時間被定義為搜尋時間。總搜尋時間、最大搜尋時間、以及總任務時間皆被記錄並分析以評估該使用者的深度感測以及器械巡航技巧。
[圓圈循跡訓練模式]
如圖9所示，定義一虛擬參考圈C0 於該虛擬瞳孔區A的中心以代表該撕囊區，該使用者必須使用器械40(繪示為刮刀)的下部43自該傷口的對應邊開始跟蹤該虛擬參考圈C0 。此任務將依照該使用者的偏好而以順時針或逆時針跟蹤該虛擬參考圈C0 。該使用者所畫的虛擬循跡曲線C1 上的每一個參考點，可決定出於該虛擬參考圈C0 上有相同圓心角的的一對應點，並計算每一對參考點與對應點的平均距離。虛擬循跡曲線C1 與虛擬參考圈C0 之間的弗雷謝距離(Frechet distance)以及長度皆被計算。完成任務的所需時間被紀錄並根據圓心角標準化。據此，可評估該使用者的圓圈循跡技巧。
[鑷子訓練模式]
如圖10所示，設定一預設數量(如六個)且位於相同位置的的虛擬物件P1 (該虛擬物件P1 的操作完成之前，其他虛擬物件不會出現，故圖中僅繪示一個虛擬物件P1 )以及位於不同位置的一虛擬目標點T於該虛擬瞳孔區A上。該使用者必須先使用器械40(繪示為鑷子)夾取一個虛擬物件P1 ，接著再將其小心地帶到該虛擬目標點T使其消失。所述虛擬物件P1 是以逆時針的順序接近。該使用者抓取下一個虛擬物件P1 所需的時間被定義為搜尋時間，而將該虛擬物件P1 帶到該虛擬目標點T的時間被定義為抓取時間，所有移動路徑的長度皆被累積為一總路徑值。據此，可評估該使用者使用鑷子的技巧。
[環形撕囊訓練模式]
如圖11所示，於該前囊膜創造一初始開口皮瓣後，外科醫師應使用一撕囊鑷(capsule forceps)夾取近端的皮瓣，並拖動該皮瓣以在前囊膜上形成一圓形撕囊開口。當完成四分之一的裂口時應放開該皮瓣，接著外科醫師必須將該鑷子尖端移動至一個新的近端，重複以上步驟直到完成一個連續的圓形撕囊開口為止。在此模式中，該虛擬瞳孔區A中設定一虛擬物件P1 (繪示為一薄型盒子)、一虛擬引導曲線C2 、以及一虛擬釋放點R。該虛擬物件P1 (繪示為薄型盒子)被放置於理想的撕囊邊緣以表示該皮瓣的近端。該使用者必須夾取該虛擬物件P1 並將其沿著該虛擬引導曲線C2 拖拉至該虛擬釋放點R。此任務必須於四個方向重複施行，以練習一標準撕囊步驟的動作。抓取該虛擬物件P1所需的時間被定義為搜尋時間，而將其帶至該虛擬釋放點R的時間被定義為抓取時間。所有移動的路徑長度皆被累積為一總路徑值。據此，可評估該使用者的撕囊技巧。
[參加者]
2017年三月至四月，本研究共有28位參加者，其中有1位眼外科醫師助理、參加眼科培訓課程的1位實習醫師及2位一般醫學訓練住院醫師、18位眼科住院醫師、以及6位白內障手術醫師。根據訓練的程度將所述參加者分為三組：(1) 初學者，第二年住院醫師之前的學員，皆有觀看或協助白內障手術的經驗，但對於施行在人體上的手術步驟的經驗有限；(2) 中級學員，於監督下有施行白內障手術步驟的經驗，但未獨立進行手術(在參加此研究時未有任何獨立手術的經驗)；(3) 經驗豐富的白內障手術醫師，可獨立完成白內障手術。
[介入程序]
首先，以標準化的方式指導所有的參加者該擴增實境訓練系統100的操作方式(5分鐘)。在充份調整瞳孔間距之後，接著進行五分鐘的熱身階段使得參加者熟悉該擴增實境訓練系統100。接著開始介入前評量，5個訓練模式須以穩定握持器械訓練模式、前房巡航訓練模式、圓圈循跡訓練模式、鑷子訓練模式、以及環形撕囊訓練模式的順序一次完成。紀錄參與者的操作結果，且參與者的操作過程皆有一位資深的導師監控。
接著進行練習程序，包含重複穩定握持器械訓練以及前房巡航訓練模式5次，以及重複其他三種模式10次。上述的練習程序大概耗時1小時，若有需要，參與者可要求短暫的休息時間。練習之後開始介入後評量，所有的模式皆以相同的順序再進行一次，紀錄其操作結果並與介入前評量的結果比較，其比較結果如以下表1所示。
[表1]
[擴增實境訓練系統的驗證]
一個有意義的訓練系統必須具有藉由其評分參數以區分不同技術程度使用者的能力，本研究透過比較初學者組(n=12)與經驗豐富的白內障手術醫師(n=9)的介入前結果，而其比較結果如以下表2所示：
不同於其他參加者，有2位主治醫師多年來是從患者頭部的上方操作器械進行角膜切口，當他們於本研究中設計由顳側進行手術的人體模型上操作時，他們的雙手在角膜切口的不同方向上的支撐姿勢以及操作技術嚴重受到影響，並影響到其操作表現，因此，他們在建構效度分析中被從經驗豐富的白內障手術醫師組別中排除。
[表2]
[實驗結果]
[統計學分析]
本實施例的統計學分析是使用MedCalc軟體，版本為17.5.5(MedCalc software BVBA, Ostend, Belgium)。不同組別的表現參數的差異以及訓練方法之間主觀效能的統計學上的差異是使用雙尾Mann-Whitney U測試方法來評估。介入前以及介入後的操作表現則是使用雙尾Wilcoxon signed-rank測試來評估，顯著性差異的標準為0.05。手術經驗與手眼協調能力之間的關係是藉由Spearman's rank相關係數而計算，並藉由前房巡航訓練模式中的搜尋時間而量化。其結果如圖12所示。
[建構效度分析]
經驗豐富的白內障手術醫師在所有的訓練模式中至少有一個參數是顯著優於初學者，如表1及表2所示，穩定握持器械訓練模式中的Y軸的動作範圍 (P=0.47)；前房巡航訓練模式中的總任務時間(P = .016)以及搜尋時間(P = .016)；圓圈循跡訓練模式中的平均長度差異(P = .042)以及弗雷謝距離(P = .010)；鑷子訓練模式中的搜尋時間(P = .043)、抓取時間(P = .019)、總任務時間(P = .018)、總路徑長度(P = .019)、以及傷口觸碰時間(P = .037)；以及環形撕囊訓練模式中的抓取時間(P = .047)、總任務時間(P = .023)、總路徑長度(P = .001)、傷口觸碰時間(P = .047)、以及最大傷口觸碰時間(P = .039)。31個參數中有16個參數成功的通過建構效度測試。
[客觀功效分析]
如表1及表2所示，參與者於一小時的介入程序後，除了在穩定握持器械訓練模式中的X軸的動作範圍(P = .2275)以外，其他所有參數皆有統計上顯著的進步(P ＜ .05)。此外，除了穩定握持器械訓練模式中的Z軸的動作範圍(P = .024)、圓圈循跡訓練模式中的傷口觸碰次數(P = .027)、以及環形撕囊訓練模式中的搜尋時間(P = .032)以外，大部分的參數(27/31)皆有極高度的顯著差異(P＜0.01)。
本發明所提供的擴增實境訓練系統為第一個擴增實境顯微手術的模擬器，且為第一個使用真實器械作為操作介面的系統。本系統不只提供高空間解析度的擴增實境立體影像，更具有即時追蹤手術器械的超高準確度(20 μm)。本擴增實境訓練系統可分辨不同經驗值的手術技術表現，並成為一個新的手術熟練度的評估工具。操作時的三維動作皆被記錄下來，這些資料對於未來人工智能手術的開發可作為關鍵的訓練數據集。
上述的實施例僅用來例舉本發明的實施態樣，以及闡釋本發明的技術特徵，並非用來限制本發明的保護範疇。任何熟悉此技術者可輕易完成的改變或均等性的安排均屬於本發明所主張的範圍，本發明的權利保護範圍應以申請專利範圍為準。
100‧‧‧擴增實境訓練系統
10‧‧‧操作平台
101‧‧‧模型放置區
103‧‧‧工作空間
20‧‧‧手術假體
21‧‧‧眼睛模型
211‧‧‧柔軟部
212‧‧‧人工傷口
213‧‧‧硬式底部
23‧‧‧擬真人體模型
30‧‧‧擴增實境立體顯微鏡組
31‧‧‧攝影機模組
33‧‧‧光學模組
331‧‧‧光學透鏡
332‧‧‧稜鏡
333‧‧‧雙鏡
334‧‧‧擴散器
335‧‧‧分束器
35‧‧‧目鏡模組
40‧‧‧器械
41‧‧‧上部
43‧‧‧下部
45‧‧‧標記
50‧‧‧器械追蹤模組
51‧‧‧頂部攝影機
53‧‧‧底部攝影機
70‧‧‧模擬產生模組
71‧‧‧處理器
73‧‧‧顯示器
731‧‧‧右螢幕
733‧‧‧左螢幕
75‧‧‧指導面板
81‧‧‧頂光模組
83‧‧‧底光模組
圖1為本發明一實施態樣的擴增實境訓練系統的示意圖。
圖2為本發明一實施態樣的光學模組的方塊圖。
圖3為本發明一實施態樣的底部數位攝影機、底光模組、以及眼睛模型的組合的爆炸圖。
圖4為本發明一實施態樣的眼睛模型的示意圖。
圖5為本發明一實施態樣的光學模組、顯示器、以及目鏡模組的示意圖。
圖6為本發明一實施態樣的擴增實境立體顯微鏡組、器械追蹤模組、可操作介面模組、以及模擬產生模組之間的信號轉換的方塊圖。
圖7為本發明一實施態樣的穩定握持器械訓練模式下的擴增實境影像示意圖。
圖8為本發明一實施態樣的前房巡航訓練模式下的擴增實境影像示意圖。
圖9為本發明一實施態樣的圓圈循跡訓練模式下的擴增實境影像示意圖。
圖10為本發明一實施態樣的鑷子訓練模式下的擴增實境影像示意圖。
圖11為本發明一實施態樣的環形撕囊訓練模式下的擴增實境影像示意圖。
圖12為本發明一前房巡航訓練模式的經驗以及搜尋時間之間的關係圖。

Claims (20)

  1. 一種擴增實境訓練系統，包括： 一操作平台，具有一模型放置區，供一手術假體放置、以及一工作空間，供一使用者於該手術假體上進行操作訓練； 一擴增實境立體顯微鏡組，對應該操作平台設置，且以攝影機捕捉該手術假體以及操作於該手術假體上的一器械的真實立體影像，以及傳遞擴增實境影像於該使用者眼中； 一器械追蹤模組，包含至少一頂部數位攝影機以及至少一底部數位攝影機，且提供該器械的位置訊號以及方向訊號，其中，該頂部數位攝影機設置於該工作空間的上方以追蹤該器械的一上部的一標記，而該底部攝影機設置於該工作空間的下方以追蹤該器械的一下部；以及 一模擬產生模組，連接至該擴增實境立體顯微鏡組以及該器械追蹤模組上，並產生及顯示該擴增實境影像以模擬該器械與該訓練計畫之間的交互動作，其中，該擴增實境影像是合併來自該擴增實境立體顯微鏡組的該真實立體影像；以及基與該器械位置訊號、該器械方向訊號、與一訓練計畫互動所產生的複數個虛擬影像。
  2. 如申請專利範圍第1項所述的擴增實境訓練系統，其中，該模擬產生模組包括一處理器，連接至該擴增實境立體顯微鏡組以及該器械追蹤模組；以及一顯示器，連接至該處理器上，並顯示該擴增實境影像。
  3. 如申請專利範圍第1項所述的擴增實境訓練系統，其中，該底部數位攝影機為可旋轉地設置於該工作空間的下方。
  4. 如申請專利範圍第2項所述的擴增實境訓練系統，其中，該模擬產生模組更包括一指導面板，連接至該處理器且顯示一三維視圖以可視化該手術假體的一三維模擬模型以及 該器械與該訓練計劃互動 的一三維模擬影像。
  5. 如申請專利範圍第4項所述的擴增實境訓練系統，其中 ，該處理器於該指導面板上提供有關於該使用者於訓練計劃中操作的一分析報告。
  6. 如申請專利範圍第2項所述的擴增實境訓練系統，更包括一可操作介面模組，連接至該處理器，並使得該使用者得以操作調整該擴增實境立體顯微鏡組的一對焦平面或一縮放比例、或移動該擴增實境立體顯微鏡組。
  7. 如申請專利範圍第6項所述的擴增實境訓練系統，其中，該可操作介面模組使得該使用者得以操作調整光線。
  8. 如申請專利範圍第2項所述的擴增實境訓練系統，其中，該擴增實境立體顯微鏡組包括一攝影機模組、一光學模組、以及一目鏡模組，其中，該攝影機模組是對應該工作空間設置以捕捉該真實立體影像；以及，該光學模組是對應該目鏡模組以及該模擬產生模組而設置，並透過該目鏡模組以傳遞該擴增實境影像至該使用者的眼睛。
  9. 如申請專利範圍第8項所述的擴增實境訓練系統，其中，該光學模組包括複數個光學透鏡、複數個稜鏡、複數個鏡子、複數個擴散器、以及複數個分束器；以及，該擴增實境影像是透過所述光學透鏡、所述稜鏡、所述鏡子、所述擴散器、以及所述分束器而傳遞至該使用者的眼睛。
  10. 如申請專利範圍第1項所述的擴增實境訓練系統，其中，該頂部數位攝影機以及該底部數位攝影機為紅外線攝影機。
  11. 如申請專利範圍第10項所述的擴增實境訓練系統，更包括一底光模組，設置於該工作空間的下方以提供紅外光以及可見光。
  12. 如申請專利範圍第11項所述的擴增實境訓練系統，更包括一頂光模組，設置於該工作空間的上方以提供紅外光以及可見光。
  13. 如申請專利範圍第12項所述的擴增實境訓練系統，其中，該標記為一反光球。
  14. 如申請專利範圍第1項所述的擴增實境訓練系統，其中，該標記為一發光二極體模組。
  15. 如申請專利範圍第1項所述的擴增實境訓練系統，更包括一無線電力傳輸模組，鄰接該操作平台並於該工作空間提供一感應電場。
  16. 如申請專利範圍第1項所述的擴增實境訓練系統，其中，該手術假體包括一眼睛模型，該眼睛模型具有一人工傷口，該人工傷口允許該器械透過該人工傷口插入該眼睛模型。
  17. 如申請專利範圍第16項所述的擴增實境訓練系統，其中，該眼睛模型具有一硬式底部以及於該硬式底部上的一柔軟部，該人工傷口形成於該柔軟部上。
  18. 如申請專利範圍第16項所述的擴增實境訓練系統，其中，所述虛擬影像包括一虛擬瞳孔區。
  19. 如申請專利範圍第18項所述的擴增實境訓練系統，其中，該訓練計劃於該處理器中執行，於該人工傷口的邊緣設立警告指標，當感應到該器械碰撞該警告指標時將發出警告。
  20. 如申請專利範圍第18項所述的擴增實境訓練系統，其中，該訓練計劃於該處理器中執行，以提供以下訓練課程中的至少一者： (i) 設定至少一虛擬物件於該虛擬瞳孔區上以記錄該使用者於該訓練課程中於一預設期間內操作該器械的位置，以及分析該器械移動的範圍來評估該使用者的穩定握持器械技巧； (ii) 設定一虛擬起始點以及複數個虛擬物件於該虛擬瞳孔區上，並紀錄使用者操作該器械觸碰該虛擬起始點至觸碰於不同高度的所述虛擬物件的次數以及時間，以評估該使用者的深度感測以及器械巡航技巧； (iii) 設定一虛擬參考圈於該虛擬瞳孔區上，並比較該使用者繪製的一虛擬跟蹤曲線與該虛擬參考圈，以評估該使用者的圓圈循跡技巧； (iv) 設定至少一虛擬物件以及一虛擬目標點於該虛擬瞳孔區上，並記錄該使用者操作一鑷子夾取所述虛擬物件至該虛擬目標點所需的時間，以評估該使用者使用該鑷子的技巧；以及 (v) 設定一虛擬物件、一虛擬引導曲線、以及一虛擬釋放點於該虛擬瞳孔區上，並記錄使用者操作一鑷子抓取該虛擬物件以及將該虛擬物件沿著該虛擬引導曲線帶至該虛擬釋放點所需的時間，以評估該使用者的環形撕囊技巧。
TW108113915A 2018-04-23 2019-04-20 擴增實境訓練系統 TWI733102B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862661511P 2018-04-23 2018-04-23
US62/661511 2018-04-23

Publications (2)

Publication Number Publication Date
TW201944366A true TW201944366A (zh) 2019-11-16
TWI733102B TWI733102B (zh) 2021-07-11

Family

ID=66239932

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108113915A TWI733102B (zh) 2018-04-23 2019-04-20 擴增實境訓練系統

Country Status (5)

Country Link
US (1) US11373550B2 (zh)
EP (1) EP3561795B1 (zh)
JP (1) JP6842494B2 (zh)
CN (1) CN110390851B (zh)
TW (1) TWI733102B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890751B2 (en) * 2016-02-05 2021-01-12 Yu-Hsuan Huang Systems and applications for generating augmented reality images
EP3719779B1 (en) * 2017-11-30 2022-08-31 Mitsui Chemicals, Inc. Simulated eyeball, ocular surgery training device, and ocular surgery training method
WO2020066892A1 (ja) * 2018-09-28 2020-04-02 三井化学株式会社 模擬強膜、及び模擬眼球
CA3121791A1 (en) * 2018-12-12 2020-06-18 Tesseract Health, Inc. Biometric identification and health status determination
EP4618029A3 (en) * 2019-08-09 2025-11-05 Simtolife B.V. Apparatuses for simulating dental procedures and methods
US11328485B2 (en) * 2019-08-23 2022-05-10 Tencent America LLC Method and apparatus for displaying an augmented-reality image corresponding to a microscope view
CA3167953A1 (en) * 2020-02-14 2021-08-19 Simbionix Ltd. Airway management virtual reality training
CN111276032A (zh) * 2020-02-29 2020-06-12 中山大学中山眼科中心 一种虚拟手术训练系统
CN111728697B (zh) * 2020-07-21 2024-11-05 中国科学技术大学 一种基于头戴式三维增强现实设备的手术训练和导航装置
CN111741288B (zh) * 2020-07-21 2025-05-30 北京众绘虚拟现实技术研究院有限公司 一种虚拟手术训练用三维显示系统
US11357594B2 (en) 2020-08-07 2022-06-14 Johnson & Johnson Surgical Vision, Inc. Jig assembled on stereoscopic surgical microscope for applying augmented reality techniques to surgical procedures
JP7595833B2 (ja) * 2020-09-10 2024-12-09 株式会社シンクアウト 白内障手術評価システム
CN114550525B (zh) * 2020-11-24 2023-09-29 郑州畅想高科股份有限公司 一种基于混合现实技术的机车部件检修实训系统
CN113223342B (zh) * 2021-05-11 2023-06-16 浙江大学医学院附属邵逸夫医院 一种基于虚拟现实技术的手术仪器操作训练系统及其设备
CN113674574B (zh) * 2021-07-05 2023-10-13 河南泊云电子科技股份有限公司 一种增强现实半实物复杂机电设备培训系统
CN113808450B (zh) * 2021-08-20 2023-05-09 北京中电智博科技有限公司 外浮顶油罐模型事故处置训练方法、装置和设备
IT202200014020A1 (it) * 2022-07-01 2024-01-01 Pont Giulia Dal Dispositivo ottico integrato e relativo metodo di diagnostica per immagini
US12175891B2 (en) * 2023-04-04 2024-12-24 Help Me See, Inc. Surgical simulator systems and methods
CN116469289B (zh) * 2023-04-25 2024-02-09 自考人(广东)教育发展集团有限公司 基于虚拟现实的ots培训系统
CN117653463B (zh) * 2023-12-27 2024-08-09 上海交通大学医学院附属新华医院 用于眼科白内障手术的显微镜增强现实引导系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7826641B2 (en) * 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
EP1784787A4 (en) * 2004-08-23 2007-10-17 Gamecaster Inc APPARATUS, METHODS AND SYSTEMS FOR VISUALIZING AND HANDLING A VIRTUAL ENVIRONMENT
US20080297535A1 (en) * 2007-05-30 2008-12-04 Touch Of Life Technologies Terminal device for presenting an improved virtual environment to a user
US9424761B2 (en) * 2012-01-23 2016-08-23 Virtamed Ag Medical simulation system and method with configurable anatomy model manufacturing
TW201345491A (zh) * 2012-05-04 2013-11-16 Eped Inc 牙科補綴及贗復體數位建檔與製作之方法及其教學訓練
US9563266B2 (en) * 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
TWI576787B (zh) * 2016-02-05 2017-04-01 黃宇軒 擴增實境影像產生系統及其應用
CN105788390A (zh) * 2016-04-29 2016-07-20 吉林医药学院 基于增强现实的医学解剖辅助教学系统
CN106297472A (zh) * 2016-10-25 2017-01-04 深圳市科创数字显示技术有限公司 Ar与vr相结合的眼角膜智能手术培训系统
CN106251752A (zh) * 2016-10-25 2016-12-21 深圳市科创数字显示技术有限公司 Ar和vr相结合的医学培训系统
US10997943B2 (en) * 2018-03-02 2021-05-04 Facebook Technologies, Llc Portable compute case for storing and wirelessly communicating with an eyewear device

Also Published As

Publication number Publication date
US20190325785A1 (en) 2019-10-24
TWI733102B (zh) 2021-07-11
CN110390851B (zh) 2021-11-30
EP3561795B1 (en) 2023-04-05
CN110390851A (zh) 2019-10-29
EP3561795A1 (en) 2019-10-30
JP6842494B2 (ja) 2021-03-17
US11373550B2 (en) 2022-06-28
JP2019207401A (ja) 2019-12-05

Similar Documents

Publication Publication Date Title
TWI733102B (zh) 擴增實境訓練系統
CN108701429B (zh) 训练机器人手术系统的用户的方法、系统、以及存储媒体
US11284955B2 (en) Emulation of robotic arms and control thereof in a virtual reality environment
Süncksen et al. Gamification and virtual reality for teaching mobile x-ray imaging
Sinclair et al. Computer-simulated eye surgery: a novel teaching method for residents and practitioners
CN117762256A (zh) 眼睛跟踪校准技术
US20140315174A1 (en) Universal microsurgical simulator
Long et al. Integrating artificial intelligence and augmented reality in robotic surgery: An initial dvrk study using a surgical education scenario
CN108721070A (zh) 一种基于眼球追踪的智能视觉功能训练系统及其训练方法
KR20200048830A (ko) 가상현실 기반의 교육용 백내장 수술 시뮬레이션 시스템
Brickler et al. Effects of stereoscopic viewing and haptic feedback, sensory-motor congruence and calibration on near-field fine motor perception-action coordination in virtual reality
JP4129527B2 (ja) 仮想手術シミュレーションシステム
CN106781719A (zh) 一种基于虚拟现实技术的显微血管吻合手术教学展示系统
Soto et al. Ar stereoscopic 3d human eye examination app
Wheeler et al. Interactive computer-based simulator for training in blade navigation and targeting in myringotomy
Huang et al. CatAR: a novel stereoscopic augmented reality cataract surgery training system with dexterous instruments tracking technology
Batmaz Speed, precision and grip force analysis of human manual operations with and without direct visual input
CN111276022A (zh) 一种基于vr技术的胃镜模拟操作系统
Arnold et al. Performance of a skilled motor task in virtual and real environments
JP2020134710A (ja) 手術トレーニング装置
TW202418042A (zh) 立體影像互動模擬系統與運作方法
Kim et al. Intuition, accuracy, and immersiveness analysis of 3D visualization methods for haptic virtual reality
CN207264655U (zh) 基于运动捕捉和混合现实的眼科手术培训系统
Wang et al. Demonstration of VirtuEleDent: A Compact XR Tooth-Cutting Training System Using a Physical EMR-based Dental Handpiece and Teeth Model
Mukai et al. Development of a PC‐based real‐time surgical simulator