[go: up one dir, main page]

TWI810054B - 內視鏡導航方法及系統 - Google Patents

內視鏡導航方法及系統 Download PDF

Info

Publication number
TWI810054B
TWI810054B TW111133314A TW111133314A TWI810054B TW I810054 B TWI810054 B TW I810054B TW 111133314 A TW111133314 A TW 111133314A TW 111133314 A TW111133314 A TW 111133314A TW I810054 B TWI810054 B TW I810054B
Authority
TW
Taiwan
Prior art keywords
image
node
navigation
endoscope
distance
Prior art date
Application number
TW111133314A
Other languages
English (en)
Other versions
TW202410850A (zh
Inventor
王安平
吳建佑
官振鵬
黃甦
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW111133314A priority Critical patent/TWI810054B/zh
Priority to US18/071,450 priority patent/US20240074823A1/en
Application granted granted Critical
Publication of TWI810054B publication Critical patent/TWI810054B/zh
Publication of TW202410850A publication Critical patent/TW202410850A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pulmonology (AREA)
  • Otolaryngology (AREA)
  • Robotics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)
  • Diaphragms For Electromechanical Transducers (AREA)
  • Laminated Bodies (AREA)

Abstract

一種內視鏡導航方法，由處理控制裝置執行，該方法包括：取得導航影像並執行導航程序，導航程序包括：於導航影像中不存在節點時，控制內視鏡的彎曲部朝導航影像的影像中心移動，於導航影像中存在節點時，計算內視鏡與節點之間的距離，於距離小於距離閾值時，依據預設分支控制彎曲部移動，以及判斷預設分支是否為終點所位於的終點分支，若預設分支非為終點分支，取得另一導航影像並執行導航程序，以及若預設分支為終點分支，輸出通知。本發明更提供一種內視鏡導航系統。

Description

內視鏡導航方法及系統
本發明係關於一種內視鏡導航方法及系統，特別是關於一種以事件觸發為基礎的內視鏡導航方法及系統。
在現有的支氣管導航的技術中，內視鏡的操作人員須在術前先知道各種資訊，例如，支氣管的末端位置、支氣管的形狀等，以決定操控支氣管的方式(例如，控制支氣管移動的距離及方向)。然而，上述資訊的取得方式仰賴於術前的醫學影像，而術前取得的醫學影像仍與手術中的實景影像不完全相同(例如，呼吸動作、病人姿態等)，使操作人員仍無法在手術的過程中獲得準確的待手術或待檢測位置。
鑒於上述，本發明提供一種以滿足上述需求的內視鏡導航方法及系統。
依據本發明一實施例的一種內視鏡導航方法，由處理控制裝置執行，該方法包括：取得導航影像，並依據導航影像執行導航程序，導航程序包含：判斷導航影像中是否存在節點；若導航影像中不存在節點，控制內視鏡的彎曲部朝導航影像的影像中心移動；若導航影像存在節點，計算內視鏡與節點之間的距離；於距離小於距離閾值，依據 預設分支控制彎曲部移動；以及判斷預設分支是否為終點所位於的終點分支；若預設分支非為終點分支，取得另一導航影像，並對所述另一導航影像執行導航程序；以及若預設分支為終點分支，輸出通知。
依據本發明一實施例的一種內視鏡導航系統，包括：機械手臂以及處理控制裝置。機械手臂用於控制內視鏡，處理控制裝置連接於機械手臂以透過機械手臂控制內視鏡。處理控制裝置用於執行：取得導航影像，並依據導航影像執行導航程序，導航程序包含：判斷導航影像中是否存在節點；若導航影像中不存在節點，控制內視鏡的彎曲部朝導航影像的影像中心移動；若導航影像存在節點，計算內視鏡與節點之間的距離；於距離小於距離閾值，依據預設分支控制彎曲部移動；以及判斷預設分支是否為終點所位於的終點分支；若預設分支非為終點分支，取得另一導航影像，並對所述另一導航影像執行導航程序；以及若預設分支為終點分支，輸出通知。
綜上所述，依據本發明一或多個實施例所示的內視鏡導航方法及系統，能夠即時調整及判斷內視鏡的彎曲部的前進方向。因此，導航系統僅需遵循預設分支，即可在變動的實際人體管道(如，支氣管)中進行最適移動。
以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。
1,2:內視鏡導航系統
10,20:內視鏡
11,21:機械手臂
12,22:處理控制裝置
23:水平測定機構
O:起點
D:終點
F:錯誤點
L:距離
N1:第一節點
N2:第二節點
N3:第三節點
IMG:導航影像
301:水平測定影像
302:水平測定指標
303:水平面
P:位置
CENT:影像中心
D1:第一距離
D2:第二距離
Rv:虛擬內壁
A1,A2,A3,A4,A5,A6,A7:截面
S201,S203,S205,S207,S209,S211,S213,S215,S217,S501,S503,S505,S701,S703,S705,S707,S709,S711,S713,S901,S903,S905:步驟
圖1係依據本發明一實施例所繪示的內視鏡導航系統的方塊圖。
圖2係依據本發明一實施例所繪示的內視鏡導航方法的流程圖。
圖3(a)為完整支氣管的示意圖，圖3(b)為導航影像的示意圖。
圖4係依據本發明另一實施例所繪示的內視鏡導航系統的方塊圖。
圖5係依據本發明一實施例所繪示的控制內視鏡的彎曲部前進的流程圖。
圖6係繪示計算虛擬排斥力及虛擬吸引力的示意圖。
圖7係依據本發明一實施例所繪示的路徑規劃程序的流程圖。
圖8係繪示路徑規劃程序的示意圖。
圖9係繪示圖7的步驟S703的細部流程圖。
以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。
請參考圖1，其中圖1係依據本發明一實施例所繪示的內視鏡導航系統的方塊圖。內視鏡導航系統1包括機械手臂11以及處理控制裝置12。處理控制裝置12電性或通訊連接於內視鏡10以及機械手臂11，例如，處理控制裝置12可透過乙太網控制自動化技術(EtherCAT)的總線系統連接於機械手臂11。機械手臂11夾取內視鏡10，處理控制裝置12透過機械手臂11控制內視鏡10的移動，以取得 內視鏡10在支氣管內拍攝的影像。具體地，內視鏡10可設有直流伺服馬達(DC servo)，以使機械手臂11可操控內視鏡10的移動。此外，內視鏡10的彎曲部可設有USB的發光二極體(LED)燈條以及攝影機，發光二極體用於照亮支氣管內部，而攝影機用於取得支氣管的影像，並且攝影機取得的影像可即時地回饋至處理控制裝置12。
機械手臂11可為三軸機械手臂、四軸機械手臂或六軸機械手臂等，本發明不對機械手臂11的具體實現方式予以限制。處理控制裝置12可包括處理器、可程式化邏輯裝置或特殊應用積體電路等，且可與控制器(例如，運動控制器)整合為一個裝置，但本發明不對處理控制裝置12的具體實現方式予以限制。
請一併參考圖1、圖2、圖3(a)以及圖3(b)，其中圖2係依據本發明一實施例所繪示的內視鏡導航方法的流程圖，圖3(a)為完整支氣管的示意圖，圖3(b)為導航影像的示意圖。如圖2所示，依據本發明一實施例的內視鏡導航方法包括由處理控制裝置12執行：步驟S201：取得導航影像，並依據導航影像執行導航程序；步驟S203：判斷導航影像中是否存在節點；若步驟S203的判斷結果為「否」，執行步驟S205：控制內視鏡的彎曲部朝導航影像的影像中心移動；若步驟S203的判斷結果為「是」，執行步驟S207：計算內視鏡與節點之間的距離；步驟S209：判斷距離是否小於距離閾值；若步驟S209的判斷結果為「否」，執行步驟S211：控制彎曲部依當前移動方向移動；若步驟S209的判斷結果為「是」，執行步驟S213：依據預設分支控制彎曲部移動；步驟S215：判斷預設分支是否為終點所位於的終點分支；若步驟S215的判 斷結果為「否」，執行步驟S201；以及若步驟S215的判斷結果為「是」，執行步驟S217：輸出通知。
需先說明的是，以圖3(a)及圖3(b)為例，圖2所示的步驟是用於在手術時將內視鏡10從圖3(a)的起點O導航至終點D，避免內視鏡10被誤操作而移動到非目標區域(例如，圖3(a)所示的錯誤點F)。在導航過程中，內視鏡10的攝影機拍攝得的影像可為如圖3(b)所示的導航影像IMG，導航影像IMG包括以雙同心圓表示的水平測定影像301及水平測定指標302，以及在水平測定影像301內的支氣管影像，其中水平測定影像301及水平測定指標302的詳細內容將於後描述。
於步驟S201，處理控制裝置12自內視鏡10取得導航影像IMG。在取得導航影像IMG後，處理控制裝置12可依據導航影像IMG執行導航程序，以判斷內視鏡10接下來的移動方向，其中導航程序包括步驟S203、S205、S207以及S209。
於步驟S203，處理控制裝置12判斷導航影像IMG中是否存在支氣管的分岔點(節點)。簡言之，處理控制裝置12是判斷導航影像IMG中是否呈現兩個支氣管以判斷是否存在支氣管的分岔點。以圖3(b)為例，於步驟S203，處理控制裝置12是判斷導航影像IMG中是否存在左支氣管L與右支氣管R之間的節點N1(或判斷導航影像IMG中是否同時呈現左支氣管L及右支氣管R)。
若處理控制裝置12判斷導航影像IMG中不存在節點N1，則處理控制裝置12執行步驟S205，透過機械手臂11控制內視鏡 10的彎曲部朝導航影像IMG的影像中心移動，以將內視鏡10的彎曲部置中於導航影像IMG的影像中心。較佳地，在置中的過程中，處理控制裝置12透過機械手臂11控制內視鏡10的彎曲部保持水平。
若處理控制裝置12判斷導航影像IMG中存在節點N1，則處理控制裝置12執行步驟S207，計算內視鏡10的彎曲部與節點N1之間的距離L。同樣以圖3(a)為例，內視鏡10在支氣管中的位置及節點N1在支氣管中的位置如圖3(a)所示，處理控制裝置12執行步驟S207即是以下公式(1)計算距離L：
Figure 111133314-A0305-02-0008-1
 其中感測器直徑t為內視鏡10的彎曲部(攝影機)的直徑；焦距d為內視鏡10的彎曲部(攝影機)的焦距；及支氣管直徑T為左支氣管L及右支氣管R兩者的直徑之和。
於步驟S209，處理控制裝置12判斷距離L是否小於距離閾值，以判斷內視鏡10的彎曲部是否夠靠近節點N1，其中距離閾值例如為1.5公分，但本發明不予以限制。
若處理控制裝置12判斷距離L不小於距離閾值，則於步驟S211，處理控制裝置12透過機械手臂11控制內視鏡10的彎曲部依當前移動方向移動。以圖3(a)為例，當前移動方向是從起點O到節點N1的方向，而於步驟S211，處理控制裝置12是透過機械手臂11控制內視鏡10的彎曲部更往節點N1靠近。
若處理控制裝置12判斷距離L小於距離閾值，則於步驟S213，處理控制裝置12依據預設分支控制內視鏡10的彎曲部移動，其 中預設分支為預先設定的導航路徑之一，處理控制裝置12可依據多個預設分支控制內視鏡10的彎曲部從起點O移動到終點D。以圖3(a)及圖3(b)為例，在內視鏡10的彎曲部夠靠近第一節點N1後，若預設分支為左側分支，則處理控制裝置12可控制內視鏡10的彎曲部往左支氣管L移動。
於步驟S215，處理控制裝置12判斷預設分支是否為終點D所位於的終點分支，以判斷內視鏡10的彎曲部是否已抵達終點D。若處理控制裝置12判斷預設分支非為終點D所位於的終點分支，則處理控制裝置12執行步驟S201取得另一導航影像，以對所述另一導航影像執行導航程序。若處理控制裝置12判斷預設分支為終點D所位於的終點分支，則處理控制裝置12可輸出通知，其中所述通知是用於通知使用者內視鏡10的彎曲部已抵達終點D，即支氣管中待手術或檢測處。另需說明的是，處理控制裝置12可輸出通知至使用者端的終端裝置(例如，電腦、手機或平板電腦等)，處理控制裝置12亦可輸出通知至使用者可存取的雲端伺服器，本發明不對處理控制裝置12輸出通知的方式予以限制。
另外，在任何處理控制裝置12的目標是將內視鏡10的彎曲部導航到終點D的情況中，以圖3(a)為例，處理控制裝置12可先控制內視鏡10的彎曲部朝第一節點N1(取決於彎曲部的當前位置，亦可為第二節點N2或第三節點N3等)移動預設距離，並判斷內視鏡10的彎曲部與節點N1之間的距離L是否小於距離閾值，若距離L不小於距離閾值，則執行步驟S211；若距離L小於距離閾值，則執行步驟S213。
處理控制裝置12在控制內視鏡10的彎曲部朝第一節點N1移動預設距離時，處理控制裝置12可計算第一節點N1相對於影像中心(例如，內視鏡10的中心點)的向量，並依據此向量控制內視鏡10的彎曲部朝第一節點N1移動，使第一節點N1對齊於影像中心。換言之，以圖3(b)的第一節點N1的位置為例，處理控制裝置12可透過機械手臂11控制內視鏡10的彎曲部朝支氣管的管壁移動。
請一併參考圖3(b)及圖4，其中圖4係依據本發明另一實施例所繪示的內視鏡導航系統的方塊圖。圖4所示的內視鏡導航系統2包括機械手臂21、處理控制裝置22以及水平測定機構23，其中圖4的機械手臂21可與圖1的機械手臂11相同，圖4的處理控制裝置22可與圖1的處理控制裝置12相同，故於此不再對機械手臂21及處理控制裝置22的細節做進一步的說明。
與圖1的實施例的不同處在於，內視鏡導航系統2更包括水平測定機構23，水平測定機構23係安裝於內視鏡20上，且較佳是安裝在內視鏡20的彎曲部上，其中水平測定機構23例如是基於地球重力效應，透過影像顯示在鏡頭(例如，內視鏡20的鏡頭)周圍的內部封閉管路中的液體平面或是氣泡位置之水平狀態。內視鏡20在拍攝支氣管的影像時，會一併從水平測定機構23取得水平狀態並以圖像呈現於影像(例如，前述的導航影像)中，以取得水平測定影像301、水平測定指標302以及水平面303。
具體地，以透過水平面呈現水平狀態的水平儀為例，導航影像IMG包括水平測定影像301，水平測定影像301包括在圖3(b)中 以三角形表示的水平測定指標302以及水平面303，其中水平測定影像301中水平面303的上半部對應到病患的腹部，而水平面303的下半部對應到病患的背部。水平測定指標302是固定在水平測定機構23上，故水平測定指標302可隨著內視鏡10在支氣管內的姿態(例如，旋轉角度)移動，而水平面303是受重力影響而隨時垂直於重力方向。因此，處理控制裝置22在取得導航影像IMG時，可透過影像辨識以辨識出導航影像IMG中的水平測定指標302及水平面303，再判斷水平測定指標302與水平面303之間的相對位置，以判斷是否需調整內視鏡10在支氣管內的姿態(例如，旋轉角度)。進一步而言，例如，處理控制裝置22可預存水平測定指標302所對應的圖案(例如，圖3(b)中的三角形圖案)、代表液體的第一顏色及代表非液體的第二顏色；在取得導航影像IMG時，從導航影像IMG中以物件偵測技術擷取水平測定指標302，及判斷第一顏色與第二顏色的交界處為水平面303；以及取得水平測定指標302與水平面303之間的相對位置。
圖3(b)中所示的例子是水平測定指標302代表水平狀態，其中水平狀態是指水平測定指標302與水平面303之間的相對位置為：水平測定指標302位於第一顏色的區域且水平測定指標302與水平面303的垂直連線方向平行於重力方向，此時處理控制裝置22可不調整內視鏡10在支氣管內的姿態。若水平測定指標302位在水平測定影像301的右半圓而使水平測定指標302與水平面303之間的相對位置為水平測定指標302與水平面303的垂直連線方向不平行於重力方向，則此時內視鏡20非為水平狀態，則在判斷導航影像IMG中是否存在節 點之前，處理控制裝置22可透過機械手臂21控制內視鏡20的彎曲部順時針旋轉；若水平測定指標302位在水平測定影像301的左半圓而使水平測定指標302與水平面303之間的相對位置為水平測定指標302與水平面303的垂直連線方向不平行於重力方向，則此時內視鏡20非為水平狀態，則在判斷導航影像IMG中是否存在節點之前，處理控制裝置22可透過機械手臂21控制內視鏡20的彎曲部逆時針旋轉。簡言之，處理控制裝置22可依據水平測定指標302控制內視鏡20的彎曲部旋轉的方向，以使水平測定指標302代表水平狀態，進而在後續可準確地判斷導航影像IMG中的節點與支氣管之間的相對位置。
請接著一併參考圖1、圖5及圖6，其中圖5係依據本發明一實施例所繪示的控制內視鏡的彎曲部前進的流程圖，且圖2所示的步驟S213可包括圖5所示的步驟，圖6係繪示計算在預設分支中的虛擬排斥力及虛擬吸引力的示意圖。如圖5所示，圖2所示的步驟S213可包括：步驟S501：依據彎曲部相對於影像中心的虛擬向量與彎曲部及影像中心之間的第一距離計算虛擬吸引力；步驟S503：依據虛擬向量與彎曲部及預設分支的內壁之間的第二距離計算虛擬排斥力；以及步驟S505：依據虛擬排斥力及虛擬吸引力基於控制準則控制機械手臂以控制彎曲部，其中控制準則為使虛擬向量趨近於零。需先說明的是，步驟S501可與步驟S503同時執行，步驟S501亦可執行在步驟S503之前或之後，本發明不予以限制。
圖6示出導航影像IMG呈現預設分支的例子，其中導航影像IMG包括內視鏡10的彎曲部的位置P、導航影像IMG的影像中 心CENT、彎曲部的位置P與影像中心CENT之間的第一距離D1以及彎曲部的位置P與預設分支的內壁之間的第二距離D2。圖6中所示的位置P、影像中心CENT、第一距離D1以及第二距離D2是為了便於說明而繪示，在實際運用的情況中，導航影像IMG可不呈現位置P、影像中心CENT、第一距離D1以及第二距離D2。
於步驟S501，處理控制裝置12可透過以下公式(2)，依據彎曲部的位置P朝向影像中心CENT的虛擬向量與第一距離D1計算虛擬吸引力F1：
Figure 111133314-A0305-02-0013-2
 其中公式(2)中的M 1、B 1及K 1為力生成係數；P為虛擬向量；
Figure 111133314-A0305-02-0013-16
為對虛擬向量執行一次微分得到的速度；
Figure 111133314-A0305-02-0013-17
為對虛擬向量執行二次微分得到的加速度。
於步驟S503，處理控制裝置12可透過以下公式(3)，依據彎曲部的位置P朝向影像中心CENT的虛擬向量與第二距離D2計算虛擬排斥力F2：
Figure 111133314-A0305-02-0013-3
 其中公式(3)中的M 2、B 2及K 2為力生成係數；P為虛擬向量；
Figure 111133314-A0305-02-0013-18
為對虛擬向量執行一次微分得到的速度；
Figure 111133314-A0305-02-0013-19
為對虛擬向量執行二次微分得到的加速度。
公式(2)中的各力生成係數可分別與公式(3)中的各力生成係數相同或相異，且公式(2)及公式(3)中的力生成係數可依據使用情境設定。舉例而言，在虛擬吸引力及虛擬排斥力需對內視鏡10的 移動速度及加速度較為敏感的使用情境中，可將力生成係數M 1、B 1、M 2及B 2的值調升；在虛擬吸引力及虛擬排斥力需對內視鏡10的虛擬向量較為敏感的使用情境中，可將力生成係數K 1及K 2的值調升，或可將力生成係數M 1、B 1、M 2及B 2的值設定為零。
於步驟S505，處理控制裝置12控制機械手臂11以控制內視鏡10的彎曲部移動，以使位置P位於影像中心CENT，及虛擬向量為零。
以圖6為例，若位置P位於影像中心CENT，則內視鏡10的彎曲部受到最強的虛擬吸引力；若位置P達管壁處，則內視鏡10的彎曲部受到最強的虛擬排斥力。具體地，若第一距離D1大於第二距離D2使虛擬排斥力大於虛擬吸引力，可視為內視鏡10的彎曲部被虛擬排斥力推向影像中心CENT。反之，若第一距離D1小於第二距離D2使虛擬排斥力小於虛擬吸引力，可視為內視鏡10的彎曲部被虛擬吸引力吸引至影像中心CENT；而若第一距離D1等於第二距離D2，可視為虛擬排斥力等於虛擬吸引力，內視鏡10的彎曲部位於影像中心CENT，虛擬向量為零。簡言之，虛擬吸引力可視為加速內視鏡10的彎曲部靠近影像中心CENT的油門，而虛擬排斥力可視為避免內視鏡10的彎曲部接觸到支氣管管壁的剎車。
另外，所述的虛擬排斥力可以是以圖6的虛擬內壁Rv計算而得。具體地，第二距離D2可以是位置P與虛擬內壁Rv之間的距離，且虛擬內壁Rv的半徑小於預設分支的實際半徑。據此，在內視鏡10的彎曲部接近虛擬內壁Rv時，由於此時的虛擬排斥力已夠大而視為 內視鏡10的彎曲部被推離虛擬內壁Rv，故可避免內視鏡10的彎曲部接觸到支氣管管壁，降低支氣管因與內視鏡10接觸而受傷的風險。
進一步而言，處理控制裝置12可透過以下公式(4)到公式(8)依據虛擬吸引力及虛擬排斥力經由機械手臂11來驅動內視鏡10的彎曲部。公式(4)到公式(8)中的F可為虛擬排斥力或虛擬吸引 力；係數M可為
Figure 111133314-A0305-02-0015-10
或
Figure 111133314-A0305-02-0015-11
；B可為
Figure 111133314-A0305-02-0015-12
或
Figure 111133314-A0305-02-0015-13
；K可為
Figure 111133314-A0305-02-0015-14
或
Figure 111133314-A0305-02-0015-15
。公式(4)為控 制內視鏡10的彎曲部的動力學方程式；公式(5)為基於順應性阻尼控制法則所推導得到的驅動內視鏡10的彎曲部所需的扭(力)矩。處理控制裝置12可將公式(5)代入公式(4)，以及將內視鏡10(例如，微型管狀肺支氣管鏡)的彎曲部的各關節角度q與位置P的關係式代入公式(4)可得到公式(6)及(7)，再透過公式(7)得公式(8)，其中公式(8)與公式(2)或公式(3)的形式為等效的。簡言之，處理控制裝置12可將虛擬吸引力及虛擬排斥力代入以下公式(4)到公式(8)以取得力矩，並根據力矩驅動內視鏡10的彎曲部。
Figure 111133314-A0305-02-0015-4
Figure 111133314-A0305-02-0015-6
Figure 111133314-A0305-02-0015-7
Figure 111133314-A0305-02-0015-8
Figure 111133314-A0305-02-0015-9
因此，根據公式(4)到公式(8)，處理控制裝置12可控制機械手臂11，其中位置P、虛擬吸引力及虛擬排斥力之間的關係是由公式(2)及公式(3)所規範。
請接著一併參考圖1、圖7及圖8，其中圖7係依據本發明一實施例所繪示的路徑規劃程序的流程圖，圖8係繪示路徑規劃程序的示意圖。圖7所示的路徑規劃程序是用於規劃前述的預設分支，且較佳是從圖8的第一截面A1朝起點O的方向依序規劃各預設分支。如圖7所示，路徑規劃程序包括由處理控制裝置12執行：步驟S701：取得中介影像，其中中介影像對應於起點與終點之間的位置，且該位置與終點之間間隔預設距離；步驟S703：判斷中介影像是否存在事件節點；若步驟S703的判斷結果為「否」，執行步驟S705：控制彎曲部依當前移動方向移動；若步驟S703的判斷結果為「是」，執行步驟S707：於節點索引加1及記錄彎曲部的移動方向作為對應預設分支的事件以更新事件紀錄；步驟S709：取得另一中介影像，其中另一中介影像對應的時間戳記早於中介影像對應的時間戳記；步驟S711：判斷另一中介影像是否對應於起點；若步驟S711的判斷結果為「否」，執行步驟S703：以及若步驟S711的判斷結果為「是」，執行步驟S713：輸出事件紀錄。
於步驟S701，處理控制裝置12取得靠近終點D處的中介影像(下稱第一中介影像)。換言之，第一中介影像為內視鏡10取得支氣管內在所述靠近終點D處的影像，且內視鏡10取得中介影像的時間點是在執行導航程序之前。所述靠近終點D處的影像是指第一中介影像在支氣管中對應的位置與終點D之間的距離不超過預設距離，其中預 設距離例如為3公分，但本發明不予以限制。接著，處理控制裝置12對第一中介影像執行倒退取像程序，其中倒退取像程序包括圖7所示的步驟S703、S705、S707、S709及S711。
於步驟S703，處理控制裝置12判斷第一中介影像中是否存在事件節點，處理控制裝置12的判斷方式可與圖2的步驟S203相似，故不再於此贅述。
若處理控制裝置12判斷第一中介影像中不存在事件節點，則於步驟S705，處理控制裝置12可控制內視鏡的彎曲部依當前移動方向移動。以圖8為例，處理控制裝置12從終點D移動到截面A1處並取得在截面A1處的第一中介影像，當前移動方向即為從終點D移動到截面A1處的方向，此時第一中介影像中不存在事件節點，故處理控制裝置12透過機械手臂11控制內視鏡10的彎曲部再依當前移動方向沿支氣管移動。
若處理控制裝置12判斷第一中介影像中存在事件節點，則於步驟S707，處理控制裝置12可於節點索引加1及記錄內視鏡10的彎曲部的移動方向作為對應預設分支的事件以更新事件紀錄，其中節點索引的初始值可為0。換言之，假設第一中介影像為截面A2處的影像，且此時第一中介影像中存在事件節點(即支氣管分岔處)，則處理控制裝置12以「節點索引i+移動方向」的形式記錄對應一個預設分支的事件。進一步而言，對應截面A2處的事件可為「TE1=TN1+R」，表示第一事件TE1是在導航過程中會遇到的一個節點TN1，以及遇到此節點TN1時，內視鏡應往第三節點N3的右側(R側)支氣管移動；也就是 說，「R」表示此事件對應的預設分支為第三節點N3的右側支氣管，即第三節點N3與終點D之間的支氣管。
於步驟S709，處理控制裝置12取得另一中介影像(第二中介影像)，其中第二中介影像對應的時間戳記早於第一中介影像對應的時間戳記。以圖8為例，所述第二中介影像為對應截面A3的影像，且由於在取得如圖8所示的完整的支氣管醫學影像時，取像順序是從起點O開始取像直到終點D，故對應截面A3的第二中介影像的時間戳記會早於對應截面A2的第一中介影像的時間戳記。
於步驟S711，處理控制裝置12判斷第二中介影像是否對應於起點O，以判斷是否已記錄完所有的預設分支。若處理控制裝置12判斷第二中介影像未對應於起點O，則處理控制裝置12可依第二中介影像再次執行步驟S703，以對第二中介影像執行倒退取像程序。若處理控制裝置12判斷第二中介影像已對應於起點O，則處理控制裝置12可輸出事件紀錄給使用者查閱。
若以圖8所示的支氣管執行路徑規劃程序，則處理控制裝置12所記錄的事件即為對應於截面A2、A4及A5處的事件節點。換言之，事件紀錄包括對應截面A2處的事件「TE1=TN1+L」、對應截面A4處的事件「TE2=TN2+L」以及對應截面A5處的事件「TE3=TN3+R」；其中L代表左側。
因此，在依據以上一或多個實施例所述的內視鏡導航方法進行手術中的導航時，在內視鏡10的彎曲部通過起點O後，處理控制裝置12判斷在辨識到第一節點(TN3)時，需控制內視鏡10進入右 側的預設分支(第一節點N1與第二節點N2之間的支氣管)；處理控制裝置12判斷在辨識到第二節點(TN2)時，需控制內視鏡10進入左側的預設分支(第二節點N2與第三節點N3之間的支氣管)；處理控制裝置12判斷在辨識到第三節點(TN1)時，需控制內視鏡10進入左側的預設分支(第二節點N2與終點D之間的支氣管)；接著，處理控制裝置12即透過圖2的步驟S215判斷內視鏡10的彎曲部所位於的預設分支即為終點D所位於的終點分支。
請接著一併參考圖1、圖8及圖9，圖9係繪示圖7的步驟S703的細部流程圖。如圖9所示，圖7的步驟S703可包括：步驟S901：依據前中介影像與當前中介影像判斷氣管節點變化；若步驟S901的判斷結果為「從偵測不到氣管節點變為偵測到該氣管節點」，執行步驟S903：判斷中介影像中存在事件節點；若步驟S901的判斷結果為「從偵測到氣管節點變為偵測不到該氣管節點」，執行步驟S905：判斷中介影像中不存在事件節點；以及若步驟S901的判斷結果為「未變化」，執行步驟S905。簡言之，處理控制裝置12可根據各幀的中介影像的變化判斷是否偵測到事件節點。
以圖8對應截面A1及A2的中介影像為例，處理控制裝置12判斷在截面A1的前中介影像中未偵測到氣管節點，而在截面A2的當前中介影像中則偵測到氣管節點，故處理控制裝置12將當前中介影像中偵測到氣管節點作為事件節點(步驟S903)。
接著，內視鏡10從對應截面A2的位置移動到對應截面A3的位置，則在截面A2的影像為前中介影像，在截面A3的影像為當 前中介影像。此時，處理控制裝置12判斷在截面A3的當前中介影像中未偵測到氣管節點，處理控制裝置12判斷中介影像中不存在事件節點。因此，處理控制裝置12判斷氣管節點變化為從截面A2偵測到氣管節點變為從截面A3未偵測到氣管節點，不依據截面A3的當前中介影像更新事件紀錄(步驟S905)。
以圖8對應截面A6及A7的中介影像為例，在截面A6的前中介影像中未偵測到氣管節點，而在截面A7的當前中介影像中同樣未偵測到氣管節點，則處理控制裝置12判斷中介影像中不存在事件節點。因此，處理控制裝置12判斷氣管節點變化為在截面A6及A7皆未偵測到氣管節點，不依據截面A7的當前中介影像更新事件紀錄(步驟S905)。另外，若處理控制裝置12判斷前中介影像及當前中介影像中皆存在氣管節點，由於處理控制裝置12已將前中介影像中的氣管節點作為事件節點並記錄對應的事件，處理控制裝置12同樣可將氣管節點變化視為未變化，並執行步驟S905。
另需說明的是，上述由圖1的內視鏡導航系統1執行的一或多個實施例亦可由圖2的內視鏡導航系統2執行，及上述由圖2的內視鏡導航系統2執行的一或多個實施例亦可由圖1的內視鏡導航系統1執行。
綜上所述，依據本發明一或多個實施例所示的內視鏡導航方法及系統，即使術前影像與術中實景不同，透過本發明以事件觸發為基礎進行導航的技術，可減緩需要得知精準支氣管模型的需求，並能夠即時調整及判斷內視鏡的彎曲部的前進方向。因此，導航系統僅需遵 循事件紀錄中的事件順序，即可在變動的實際人體管道(如，支氣管)中進行最適移動。此外，依據本發明一或多個實施例所示的內視鏡導航方法及系統，可避免內視鏡的彎曲部接觸到支氣管管壁，降低支氣管因與內視鏡接觸而受傷的風險。
雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。
S201,S203,S205,S207,S209,S211,S213,S215,S217:步驟

Claims (16)

  1. 一種內視鏡導航方法，由一處理控制裝置執行，該方法包含：取得一導航影像，並依據該導航影像執行一導航程序，該導航程序包含：判斷該導航影像中是否存在一節點；若該導航影像中不存在該節點，控制一內視鏡的一彎曲部朝該導航影像的一影像中心移動；若該導航影像存在該節點，計算該內視鏡與該節點之間的一距離；於該距離小於一距離閾值，依據一預設分支控制該彎曲部移動；以及判斷該預設分支是否為一終點所位於的一終點分支；若該預設分支非為該終點分支，取得另一導航影像，並對該另一導航影像執行該導航程序；以及若該預設分支為該終點分支，輸出一通知。
  2. 如請求項1所述的內視鏡導航方法，更包含：控制該彎曲部朝該節點移動一預設距離；判斷該彎曲部與該節點之間的該距離是否小於該距離閾值；以及若該彎曲部與該節點之間的該距離不小於該距離閾值，控制該彎曲部依一當前移動方向移動。
  3. 如請求項2所述的內視鏡導航方法，其中控制該彎曲部朝該節點移動該預設距離包含：計算該節點相對於該影像中心的一向量；以及根據該向量控制該彎曲部朝該節點移動，使該節點對齊於該影像中心。
  4. 如請求項1所述的內視鏡導航方法，其中該處理控制裝置連接於一機械手臂，依據該預設分支控制該彎曲部移動包含：依據該彎曲部相對於該影像中心的一虛擬向量與該彎曲部及該影像中心之間的一第一距離計算一虛擬吸引力；依據該虛擬向量與該彎曲部及該預設分支的內壁之間的一第二距離計算一虛擬排斥力；以及依據該虛擬排斥力及該虛擬吸引力基於一控制準則控制該機械手臂以控制該彎曲部，其中該控制準則為使該虛擬向量趨近於零。
  5. 如請求項4所述的內視鏡導航方法，其中計算該虛擬吸引力包含：基於該虛擬向量、一生成係數及該第一距離計算該虛擬吸引力；計算該虛擬排斥力包含：以該彎曲部與一虛擬內壁之間的距離作為該第二距離，基於該虛擬向量、另一生成係數及該第二距離計算該虛擬排斥力，其中該虛擬內壁的半徑小於該預設分支的半徑。
  6. 如請求項1所述的內視鏡導航方法，其中該內視鏡上設有一水平測定機構，且該水平測定機構的一水平測定指標係呈現在該導 航影像上，在判斷該導航影像中是否存在該節點之前，該方法更包含由該處理控制裝置執行：依據該水平測定指標控制該彎曲部的方向，以使該水平測定指標代表一水平狀態。
  7. 如請求項1所述的內視鏡導航方法，其中該預設分支係基於由該處理控制裝置執行的一路徑規劃程序取得，該路徑規劃程序包含：取得一中介影像，其中該中介影像對應於一起點與該終點之間的一位置，且該位置與該終點之間間隔一預設距離；對該中介影像執行一倒退取像程序，其中該倒退取像程序包含：判斷該中介影像是否存在一事件節點；若該中介影像中存在該事件節點，於一節點索引加1及記錄該彎曲部的一移動方向作為對應該預設分支的一事件以更新一事件紀錄；取得另一中介影像，其中該另一中介影像對應的時間戳記早於該中介影像對應的時間戳記；以及判斷該另一中介影像是否對應於該起點；若該另一中介影像對應於該起點，輸出該事件紀錄；以及若該另一中介影像未對應於該起點，對該另一中介影像執行該倒退取像程序。
  8. 如請求項7所述的內視鏡導航方法，其中該中介影像係一當前中介影像，且判斷該中介影像是否存在該事件節點包含： 依據一前中介影像與該當前中介影像判斷一氣管節點變化；若該氣管節點變化為未變化，判斷該中介影像中不存在該事件節點；若該氣管節點變化為從偵測不到氣管節點變為偵測到該氣管節點，判斷該中介影像中存在該事件節點；以及若該氣管節點變化為從偵測到氣管節點變為偵測不到該氣管節點，判斷該中介影像中不存在該事件節點。
  9. 一種內視鏡導航系統，包含：一機械手臂，用於控制一內視鏡；以及一處理控制裝置，連接於該機械手臂以透過該機械手臂控制該內視鏡，該處理控制裝置用於執行：取得一導航影像，並依據該導航影像執行一導航程序，該導航程序包含：判斷該導航影像中是否存在一節點；若該導航影像中不存在該節點，控制該內視鏡的一彎曲部朝該導航影像的一影像中心移動；若該導航影像存在該節點，計算該內視鏡與該節點之間的一距離；於該距離小於一距離閾值，依據一預設分支控制該彎曲部移動；以及判斷該預設分支是否為一終點所位於的一終點分支； 若該預設分支非為該終點分支，取得另一導航影像，並對該另一導航影像執行該導航程序；以及若該預設分支為該終點分支，輸出一通知。
  10. 如請求項9所述的內視鏡導航系統，其中該處理控制裝置更執行：控制該彎曲部朝該節點前進一預設距離；判斷該彎曲部與該節點之間的該距離是否小於該距離閾值；以及若該彎曲部與該節點之間的該距離不小於該距離閾值，控制該彎曲部依一當前移動方向移動。
  11. 如請求項10所述的內視鏡導航系統，其中該處理控制裝置執行控制該彎曲部朝該節點前進該預設距離包含：計算該節點相對於該影像中心的一向量；以及根據該向量控制該彎曲部朝該節點移動，使該節點對齊於該影像中心。
  12. 如請求項9所述的內視鏡導航系統，其中該處理控制裝置執行依據該預設分支控制該彎曲部移動包含：依據該彎曲部相對於該影像中心的一虛擬向量與該彎曲部及該影像中心之間的一第一距離計算一虛擬吸引力；依據該虛擬向量與該彎曲部及該預設分支的內壁之間的一第二距離計算一虛擬排斥力；以及 依據該虛擬排斥力及該虛擬吸引力基於一控制準則控制該機械手臂以控制該彎曲部，其中該控制準則為使該虛擬向量趨近於零。
  13. 如請求項12所述的內視鏡導航系統，其中該處理控制裝置執行計算該虛擬吸引力包含：基於該虛擬向量、一生成係數及該第一距離計算該虛擬吸引力，該處理控制裝置執行計算該虛擬排斥力包含：以該彎曲部與一虛擬內壁之間的距離作為該第二距離，基於該虛擬向量、另一生成係數及該第二距離計算該虛擬排斥力，其中該虛擬內壁的半徑小於該預設分支的半徑。
  14. 如請求項9所述的內視鏡導航系統，更包含一水平測定機構，該水平測定機構安裝於該內視鏡上，且該水平測定機構的一水平測定指標係呈現在該導航影像上，在判斷該導航影像中是否存在該節點之前，該處理控制裝置更依據該水平測定指標控制該彎曲部的方向，以使該水平測定指標代表一水平狀態。
  15. 如請求項9所述的內視鏡導航系統，其中該預設分支係基於該處理控制裝置執行的一路徑規劃程序取得，該路徑規劃程序包含：取得一中介影像，其中該中介影像對應於一起點與該終點之間的一位置，且該位置與該終點之間間隔一預設距離；對該中介影像執行一倒退取像程序，其中該倒退取像程序包含：判斷該中介影像是否存在一事件節點； 若該中介影像中存在該事件節點，於一節點索引加1及記錄該彎曲部的一移動方向作為對應該預設分支的一事件以更新一事件紀錄；取得另一中介影像，其中該另一中介影像對應的時間戳記早於該中介影像對應的時間戳記；以及判斷該另一中介影像是否對應於該起點；若該另一中介影像對應於該起點，輸出該事件紀錄；以及若該另一中介影像未對應於該起點，對該另一中介影像執行該倒退取像程序。
  16. 如請求項15所述的內視鏡導航系統，其中該中介影像係一當前中介影像且該處理控制裝置執行判斷該中介影像是否存在該事件節點包含：依據一前中介影像與該當前中介影像判斷一氣管節點變化；若該氣管節點變化為未變化，判斷該中介影像中不存在該事件節點；若該氣管節點變化為從偵測不到氣管節點變為偵測到該氣管節點，判斷該中介影像中存在該事件節點；以及若該氣管節點變化為從偵測到氣管節點變為偵測不到該氣管節點，判斷該中介影像中不存在該事件節點。
TW111133314A 2022-09-02 2022-09-02 內視鏡導航方法及系統 TWI810054B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111133314A TWI810054B (zh) 2022-09-02 2022-09-02 內視鏡導航方法及系統
US18/071,450 US20240074823A1 (en) 2022-09-02 2022-11-29 Robotic bronchoscopy navigation method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111133314A TWI810054B (zh) 2022-09-02 2022-09-02 內視鏡導航方法及系統

Publications (2)

Publication Number Publication Date
TWI810054B true TWI810054B (zh) 2023-07-21
TW202410850A TW202410850A (zh) 2024-03-16

Family

ID=88149528

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111133314A TWI810054B (zh) 2022-09-02 2022-09-02 內視鏡導航方法及系統

Country Status (2)

Country Link
US (1) US20240074823A1 (zh)
TW (1) TWI810054B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112741689A (zh) * 2020-12-18 2021-05-04 上海卓昕医疗科技有限公司 应用光扫描部件来实现导航的方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10004387B2 (en) * 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US20140180063A1 (en) * 2012-10-12 2014-06-26 Intuitive Surgical Operations, Inc. Determining position of medical device in branched anatomical structure
EP4623851A1 (en) * 2019-09-30 2025-10-01 MAKO Surgical Corp. Systems for guiding movement of a tool
US20240252260A1 (en) * 2021-05-06 2024-08-01 Precision Robotics (Hong Kong) Limited Method, equipment and storage medium for navigating a tubular component in a multifurcated channel

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112741689A (zh) * 2020-12-18 2021-05-04 上海卓昕医疗科技有限公司 应用光扫描部件来实现导航的方法及系统

Also Published As

Publication number Publication date
TW202410850A (zh) 2024-03-16
US20240074823A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
KR102799357B1 (ko) 관상 네트워크의 경로-기반 내비게이션
JP7214757B2 (ja) 生理学的ノイズを検出する管腔網のナビゲーションのためのロボットシステム及び方法
CN104758066B (zh) 用于手术导航的设备及手术机器人
US9711066B2 (en) Endoscope simulator
CN112258567A (zh) 物体抓取点的视觉定位方法、装置、存储介质及电子设备
WO2024094227A1 (zh) 一种基于卡尔曼滤波和深度学习的手势姿态估计方法
JP5444952B2 (ja) センサフュージョンによる地図の自動生成、およびそのように自動生成された地図を用いて移動体の移動をするための、装置、方法、ならびにプログラム
CN111844007B (zh) 授粉机器人机械臂避障路径规划方法、装置
CN104049742A (zh) 三维指尖追踪
CN115530724A (zh) 内窥镜导航定位方法及装置
Zhang et al. Human-robot interaction for assisted wayfinding of a robotic navigation aid for the blind
CN109542094B (zh) 无期望图像的移动机器人视觉镇定控制
JP2017224071A (ja) 情報処理装置、および、情報処理方法
TWI810054B (zh) 內視鏡導航方法及系統
CN117481823A (zh) 基于双目视觉的辅助持镜机器人控制方法、系统及介质
TWI738543B (zh) 方向預測方法、虛擬實境頭戴式裝置以及非暫態電腦可讀取媒體
JP7467206B2 (ja) 映像管理支援システムおよび映像管理支援方法
WO2009008750A1 (en) Endoscope simulator
Kakogawa et al. A standards-based pipeline route drawing system using a towed sensing unit
Jin et al. Human-robot interaction for assisted object grasping by a wearable robotic object manipulation aid for the blind
CN111971149A (zh) 记录介质、信息处理设备和信息处理方法
CN112907633A (zh) 动态特征点识别方法及其应用
CN118787449A (zh) 基于多模态数据融合的手术器械导航装置及导航方法
Zhang et al. A static feature point extraction algorithm for visual-inertial slam
WO2017169143A1 (ja) 情報処理装置、情報処理方法及びキャリブレーションシステム