TW202442405A - 機器姿態的檢查方法及檢查系統 - Google Patents
機器姿態的檢查方法及檢查系統 Download PDFInfo
- Publication number
- TW202442405A TW202442405A TW112114070A TW112114070A TW202442405A TW 202442405 A TW202442405 A TW 202442405A TW 112114070 A TW112114070 A TW 112114070A TW 112114070 A TW112114070 A TW 112114070A TW 202442405 A TW202442405 A TW 202442405A
- Authority
- TW
- Taiwan
- Prior art keywords
- machine device
- posture
- motor
- current
- machine
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000003550 marker Substances 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000002159 abnormal effect Effects 0.000 claims abstract description 13
- 230000005856 abnormality Effects 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 3
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3983—Reference marker arrangements for use with image guided surgery
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Robotics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Mechanical Engineering (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Manipulator (AREA)
Abstract
本發明公開一種機器姿態的檢查方法及檢查系統。檢查方法包括:以影像擷取裝置對機器裝置所在的區域擷取當前影像,以及配置處理裝置以:辨識該當前影像中的基準標記及與機器裝置相連接的第一標記;依據基準標記及第一標記計算機器裝置的當前姿態;配置馬達編碼器以測量馬達的編碼器訊號;及根據當前姿態與編碼器訊號,藉此判斷機器裝置是否發生異常。
Description
本發明涉及一種檢查方法及檢查系統,特別是涉及一種機器姿態的檢查方法及檢查系統。
在現有的機器手臂控制技術中,常利用三維攝影機量測機器的固定端、移動端及目標物的位置,利用座標轉換換算出機器手臂的姿態與移動目標。接著,基於逆向運動學將空間中的目標點換算為機器手臂的制動器位置或速度指令,由電腦將該等指令傳送至控制器,並通過制動器進行實際的導航動作。重複以上步驟,由閉迴路方式控制,使機器手臂即時並連續的往目標移動,減少導航誤差。
然而,在現有的控制技術中,對機器手臂的監控能力有限,因此當發生諸如標記球脫落、機器人機構異常、馬達異常、編碼器異常、控制器無法克服過大的外力等異常時,會導致對機器手臂的位置判斷時產生錯誤,進而引發機器手臂不正常動作。
本發明所要解決的技術問題在於,針對現有技術的不足提供一種可確保機器姿態正常的機器姿態的檢查方法及檢查系統。
為了解決上述的技術問題,本發明所採用的其中一技術方案是提供一種機器姿態的檢查方法,包括:以影像擷取裝置對機器裝置所在的區域擷取當前影像;以及配置處理裝置以:辨識當前影像中的基準標記及與機器裝置相連接的第一標記;依據基準標記及第一標記計算機器裝置的當前姿態;配置至少一馬達編碼器以測量至少一馬達的編碼器訊號;以及根據當前姿態與編碼器訊號,藉此判斷機器裝置是否發生異常。
為了解決上述的技術問題,本發明所採用的另外一技術方案是提供一種機器姿態的檢查系統,包括機器裝置、影像擷取裝置及處理裝置。機器裝置包括至少一馬達及至少一馬達編碼器。影像擷取裝置經配置對機器裝置所在的區域擷取當前影像。處理裝置電性連接影像擷取裝置及機器裝置,且經配置以:辨識當前影像中的基準標記及與機器裝置相連接的第一標記;依據基準標記及第一標記計算機器裝置的當前姿態;通過至少一馬達編碼器測量至少一馬達的編碼器訊號;以及根據當前姿態與編碼器訊號,藉此判斷機器裝置是否發生異常。
本發明的其中一有益效果在於,本發明所提供的機器姿態的檢查方法及檢查系統,利用三維影像擷取裝置及馬達編碼器進行檢測,以得到機器裝置的姿態及馬達姿態,並進行相互比對,以確保機器裝置的姿態及動作為正常運作,並在偵測到異常時,提出警示、停止機器裝置以確保系統安全。
為使能更進一步瞭解本發明的特徵及技術內容,請參閱以下有關本發明的詳細說明與圖式,然而所提供的圖式僅用於提供參考與說明,並非用來對本發明加以限制。
以下是通過特定的具體實施例來說明本發明所公開有關“機器姿態的檢查方法及檢查系統”的實施方式,本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用,本說明書中的各項細節也可基於不同觀點與應用,在不背離本發明的構思下進行各種修改與變更。另外,本發明的附圖僅為簡單示意說明,並非依實際尺寸的描繪,事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容,但所公開的內容並非用以限制本發明的保護範圍。另外,本文中所使用的術語“或”,應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
圖1為本發明實施例的機器姿態的檢查系統的功能方塊圖。
參閱圖1所示,本發明實施例提供一種機器姿態的檢查系統1,包括機器裝置10、影像擷取裝置12、處理裝置14及顯示裝置16。
處理裝置14包括處理器140、記憶體142、輸入輸出介面144及影像處理器146。處理裝置14可例如由資料庫、一般處理器、計算機、伺服器、或其他具特定邏輯電路的獨特硬體裝置或具特定功能的設備來實作,如將程式碼和處理器/晶片整合成獨特硬體。更詳細地說,本發明提供的檢查系統及檢查方法的一部分或全部可使用電腦程式實現,電腦程式可儲存於一非暫態電腦可讀取記錄媒體中,例如唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取記錄媒體。
處理器140可例如為可程式邏輯控制電路(Programmable Logic Controller Circuit)、微處理電路(Micro-processor Circuit)或微控制電路(Micro-control Circuit)的積體電路、中央處理器等。
記憶體142為可用以儲存資料的任何儲存裝置,可為例如,但不限於隨機存取記憶體(random access memory;RAM)、唯讀記憶體(read only memory;ROM)、快閃記憶體、硬碟或其他可用以儲存資料的儲存裝置。
影像處理器146,亦可稱為顯示核心、視覺處理器、顯示晶片、顯示卡或繪圖晶片,其可例如是在個人電腦、工作站、遊戲機和一些行動裝置(如平板電腦、智慧型手機等)上執行繪圖運算工作的微處理器。其中,處理器140、記憶體142、輸入輸出介面144及影像處理器146可通過匯流排148進行通訊,但本發明不限於此。
此外,在本發明的實施例中,輸入輸出介面144可包括一或多個實體連接埠(例如可為通用輸入/輸出或支援HDMI、DisplayPort、USB、乙太網(ethernet)、乙太網控制自動化技術(Ethernet for Control Automation Technology, EtherCAT) 等規格的連接埠)及一或多個無線通訊模組(例如支援藍芽、WI-FI等規格的無線通訊介面卡),而處理裝置14可通過輸入輸出介面144以有線或無線的方式電性連接機器裝置10、影像擷取裝置12及顯示裝置16。
進一步地說,影像擷取裝置12可例如是包括複數個相機的三維相機,經配置以從對機器裝置10所在的區域擷取當前影像。影像擷取裝置12可擷取並測量物體的深度資訊,且可例如使用深度感測器、立體攝影機或時間飛行技術等技術,以不同的方式捕捉物體和環境的深度資訊,以獲得物體的精確位置。
機器裝置10可例如是並聯式機器人,其可包括控制器100、驅動器1011、1012、…、101n,馬達編碼器1021、1022、…、102n及馬達1031、1032、…、103n。機器裝置10可例如是並聯式機器人,例如,以史都華平台為基礎的手術器械,其包括基底平台105及移動平台104,且移動平台104相對基底平台105具有多個自由度,且由多個馬達所驅動。移動平台104可例如通過適配器夾取諸如鑽頭、套管針或鋸片的手術器械106。
詳細而言,機器裝置10的驅動機構可例如採用了具有六個移動自由度的並聯式機構,一共設置有六組致動單元及對應的六組臂。每一個致動單元可包括馬達、聯軸器、導螺桿以及滑桿。控制器100可與驅動器1011、1012、…、101n電性連接,以通過依據控制器100的控制命令驅動馬達1031、1032、…、103n驅動導螺桿旋轉,導螺桿進而帶動臂作動。此外,驅動器1011、1012、…、101n可分別與馬達編碼器1021、1022、…、102n電性連接,以在馬達1031、1032、…、103n被驅動時接收編碼器訊號,進而得到馬達1031、1032、…、103n的位置資訊,此位置資訊可傳送至控制器100作為位置回饋訊號。此外,處理裝置14亦可直接或間接電性連接馬達編碼器1021、1022、…、102n,以取得馬達編碼器1021、1022、…、102n的編碼器訊號。
透過上述的配置,當致動單元帶動臂作動時,連帶使得移動平台104於空間中移動或旋轉至不同位置/方位,藉此將適配器上的手術器械移動到所需的位置/方位。上述並聯式機構係應用了本領域熟知的史都華平台設計,故不在此贅述其細節。此外,除了上述並聯式機器人以外,機器裝置10亦可是串聯式機器人。
圖2為本發明實施例的機器裝置於手術環境中進行手術的示意圖。可參考圖2所示。基準標記BF,例如機器人基礎參考板(Robotic Base Frame),可固定設置於基底平台105上,而第一標記EF,例如前端器械導航參考板(End-effector Frame),可固定設置於移動平台104。基準標記BF及第一標記EF可例如通過光學定位方式、電磁定位方式或者慣性定位方式等任何習知的定位方式來輔助偵測機器裝置10及手術器械106相對於手術部位2的方向及位置。此外,基準標記BF及第一標記EF可例如包括用於發出電磁訊號、聲波、熱或其他可感知訊號的多個標記,且可相對於手術器械106以特定方向及角度分別安裝在基底平台105及移動平台104上。而在本發明的實施例中,可採用光學定位方式,因此,基準標記BF及第一標記EF可各自包括一或多個標記球。在本發明的較佳實施例中,基準標記BF及第一標記EF為分別設置於在基底平台105及移動平台104上的反光球或是主動產生可感知訊號的標示裝置。並且,手術部位2附近亦可設置有多個偵測標記(例如,位於手術部位2附近植入的動態參考板上),處理裝置14可藉此通過影像擷取裝置12或其他光學感測器同時檢測手術器械106相對於手術部位2的位置及方位。
進一步如圖2所示,在手術環境中進行手術時,手術人員可持機器裝置10(例如,機器手臂)以對手術部位2執行手術。處理裝置14可經配置以從影像擷取裝置12接收機器裝置10的相關位置資訊,進而以機器裝置10根據位置資訊導引手術器械106的運動。
更詳細而言,手術部位2附近可設置有第二標記FF(例如,於手術部位2附近先植入的動態參考板),處理裝置14可通過光學檢測器(例如,影像擷取裝置12)取得手術部位2附近的第二標記FF的影像,並綜合預先取得的斷層掃描影像,建立出手術部位2及內部骨骼的三維虛擬模型,並在虛擬模型中標記出偵測標記的位置。建構完成的三維虛擬模型可通過影像處理器146處理並進行模型渲染,再通過顯示裝置16顯示於導航界面中。
更詳細而言,在手術部位2附近所設置的該些標記(例如前述的動態參考板),在完成實際空間座標及包含手術部位2醫學影像的空間座標之註冊後,可得到一空間座標轉換矩陣。因此,處理裝置14可進一步通過此空間座標轉換矩陣及影像擷取裝置12取得手術部位2附近的動態參考板,將手術器械106和手術部位2及內部骨骼的三維虛擬模型通過影像處理器146處理並進行模型渲染,再通過顯示裝置16顯示於導航界面中。
接著,使用者便可在顯示裝置16所顯示的三維虛擬模型中規劃預定要進行手術的手術路徑60(例如,依據預定植入手術部位的一或多個椎弓釘定義出手術路徑)。並且,當手術路徑60規劃完成,處理裝置14可進一步依據手術路徑60計算出向手術部位的表皮外方向延伸的虛擬軸線61,並顯示於導航界面中,以指示使用者施術位置,藉此輔助使用者在施術過程中穩定的沿著施術路線前進。
以下進一步說明本發明提供的機器姿態的檢查方法,其適用於前述的機器姿態的檢查系統1,但本發明不限於此。
請參考圖3,其為本發明實施例的機器姿態的檢查方法的流程圖。如圖3所示,檢查方法包括下列步驟:
步驟S10:以影像擷取裝置對機器裝置所在的區域擷取當前影像。此步驟主要是利用三維相機先取得固設於機器裝置10的基準標記BF及第一標記EF的影像,以供後續判斷機器裝置10的姿態。
取得當前影像後,檢查方法可進一步包括配置處理裝置14以執行下列步驟:
步驟S11:辨識當前影像中的基準標記及與機器裝置相連接的第一標記。舉例而言,處理器140可經配置以執行物件辨識演算法,以從當前影像中找出基準標記BF及第一標記EF,然而,本發明不限於此,在一些實施例中,可執行物件辨識演算法以從當前影像中找出基準標記BF、第一標記EF及第二標記FF,同時取得對應的位置及方位,此等資訊可用於估算出機器裝置10本身的姿態、位置及方位,以及手術器械106相對於手術部位2的位置及方位。
步驟S12:依據基準標記及第一標記計算機器裝置的當前姿態。
詳細而言,移動平台104及基底平台105可分別為剛體平台,且可為移動平台104及基底平台105構成的史都華平台機構建立慣性座標(Inertial coordinates)以及附體座標(Body coordinates)。舉例來說,可以基底平台105的中心作為慣性座標原點,而附體座標類似於慣性座標,其原點固定於移動平台104的中心。慣性座標固定於基底平台105上不會移動,而附體座標乃隨著移動平台104運動而跟隨著移動,此即為史都華平台之結構與座標定義。利用此座標定義,即可以藉由移動平台104中心的慣性座標值來描述移動平台104於空間中之位置,並以一組姿態角來定義移動平台104及基底平台105在空間中的姿態。
更詳細而言,可通過變換矩陣(Transformation Matrix)來完整描述移動平台104於空間中相對於基底平台105的位置,包括旋轉及平移共6個自由度。變換矩陣可如下方數學式所示:
;
其中,
為變換矩陣,
為3x3的旋轉矩陣,常以尤拉角描述,
為 3x1的平移向量 (x,y,z)。
因此,由於基準標記BF與基底平台105的相對位置及方位關係是已知的,第一標記EF與移動平台104的相對位置及方位關係也是已知的,可據此依據上述座標定義及下方數學式估算出當前姿態。
。
其中,
為當前姿態,
為基準標記BF的位置方位資訊,
為將基準標記BF的位置方位資訊轉換為基底平台105的位置方位資訊的轉換矩陣,
為第一標記EF的位置方位資訊,
為將第一標記EF的位置方位資訊轉換為移動平台104的位置方位資訊的轉換矩陣。
步驟S13:通過馬達編碼器測量馬達的編碼器訊號。
如先前所述的,驅動器1011、1012、…、101n可在馬達1031、1032、…、103n被驅動時接收編碼器訊號,進而得到馬達1031、1032、…、103n的位置資訊,此位置資訊可傳送至控制器100作為位置回饋訊號。
步驟S14:根據當前姿態與編碼器訊號,藉此判斷機器裝置是否發生異常。
請參考圖4,其為步驟S14的第一細部流程圖。
舉例而言,當機器裝置10為並聯式機器人(例如史都華平台),可執行以下步驟:
步驟S140:以當前姿態經逆向運動學計算出推估馬達編碼器位置。
在此步驟中,可依據並聯機器人架構,以前述步驟中計算取得的當前姿態(
)經由逆向運動學來計算出單顆馬達的所在姿態。應理解的是,每一個馬達及其對應的制動軸與移動平台104及基底平台105的相對連接關係均為已知的。因此,在進行逆向運動學求解的過程中,可根據移動平台104及基底平台105在空間中的姿態,推估出每一個馬達對應的制動軸伸長量或旋轉量,以作為單顆馬達的所在姿態,進而可得到推估馬達編碼器位置。
步驟S141:比較推估馬達編碼器位置與馬達的編碼器訊號,以判斷機器裝置是否發生異常。
在本發明的實施例中,馬達編碼器可例如是增量型編碼器,可經過一機構減速轉換得到實際的制動軸伸長量或旋轉量。例如,機器手臂中可配置有線性制動器、旋轉制動器或其他繞特殊路徑移動的制動器 (例如,凸輪),並且可依照需求額外減速。此時,可依照機構的形式改變計算方式後,得到制動器的工作端最終的位置。
在本發明的一些實施例中,可選用旋轉馬達搭配滾珠螺桿,以組成線性制動器,線性制動器的工作端的位置即可依據下方數學式計算:
;
其中,
為制動器長度,
為編碼器原始量測值,
為滾珠螺桿伸長量,
為馬達編碼器的解析度。
因此,可進一步將實際的制動軸伸長量或旋轉量與推估的制動軸伸長量或旋轉量進行比較,以判斷機器裝置10是否發生異常。當實際的制動軸伸長量或旋轉量與推估的制動軸伸長量或旋轉量不同,則可知可能發生機器人機構異常、馬達異常、編碼器異常、標記脫落等狀況。反之,則代表機器裝置10並未發生異常。需說明,在此步驟中,實際上是將推估的馬達狀態與實際的馬達狀態進行比較,在此基礎上,不限制是將推估馬達編碼器位置與實際馬達編碼器位置進行比較,也可將推估馬達編碼器訊號與實際馬達編碼器訊號比較。上述涉及逆向運動學、馬達姿態及馬達編碼器訊號的轉換方式已為本領域具有通常知識者所熟知,故不在此贅述。
然而,除了上述通過逆向運動學進行的判斷方式,本發明實施例亦提供通過正向運動學進行的判斷方式。請參考圖5,其為步驟S14的第二細部流程圖。
如圖5所示,步驟S14可包括下列步驟:
步驟S142:以編碼器訊號經由正向運動學推算出推估姿態。
步驟S143:比較推估姿態與當前姿態,以判斷機器裝置是否發生異常。
若機器裝置10為串聯式機器人的架構,可通過執行上述步驟S142及S143,將編碼器訊號經由正向運動學推算出推估姿態,再與當前姿態(
)進行比較。上述涉及正向運動學、馬達姿態及馬達編碼器訊號的轉換方式已為本領域具有通常知識者所熟知,故不在此贅述。
請參考圖6,其為步驟S14的第三細部流程圖。除了上述判斷是否發生異常的方式之外,步驟S14還可包括下列步驟:
步驟S144:設定預定工作範圍。
步驟S145:將當前姿態與預定工作範圍進行比較,以判斷機器裝置是否位於預定工作範圍之外。
需要說明的是,圖4、5的檢查機制主要是將從影像擷取到的當前姿態與馬達編碼器量測到的姿態進行比對以判斷是否有不吻合的情形,藉此判斷是否有異常狀況。然而,該等檢查機制尚無法確保機器裝置(或手術器械106)仍在合理適當的工作範圍內。為此,本發明還提供另一檢查機制,以確保機器裝置(或手術器械106)仍在合理的使用空間內運作。
可參考圖7,其為步驟S14所述的當前姿態與預定工作範圍比較示意圖。在此步驟中,可針對移動平台104、基底平台105及手術器械106中的一或多者設定預定工作範圍WS,例如,如圖7所示,首先需確定機器裝置的所有機構可容許抵達的位置,將此範圍定義為總工作空間,接著,針對移動平台104依據需求在總工作空間中設定出預定工作範圍WS,設定的方式可以基底平台105為基準,找出移動平台104合理的工作範圍,進而設定預定工作範圍WS的大小及位置,且預定工作範圍WS可為二維空間或三維空間。在進行判斷時,則可例如是判斷移動平台104的中心點是否位於預定工作範圍WS之外。
以圖7為例,若偵測到第一標記EF’位於圖7中的位置,則可得知移動平台104’的位置如所示為向一側傾斜,而明顯超出預定工作範圍WS,此時可判斷機器裝置10發生異常。而造成此種異常的原因可能是基準標記BF或 第一標記EF脫落、機器人嚴重變形、或影像擷取裝置12異常導致。例如,針對機器人異常暴衝而移動到預定工作範圍WS外的狀況,圖4、5的檢查機制雖無法判斷,但仍可通過圖6的檢查機制來檢測出並進行警示。
請復參考圖3,響應於在步驟S14中判斷機器裝置10異常,則檢查方法進入步驟S15:產生警示,產生停止命令以停止機器裝置。
在此步驟中,當偵測到異常時,可通過各種方式來提出警示(例如通過警示燈、喇叭或顯示裝置16顯示異常訊息),同時停止機器手臂活動以確保安全。
響應於在步驟S14中判斷機器裝置10正常,則檢查方法進入步驟S16:根據當前姿態及目標姿態計算產生用於機器裝置的控制命令。
步驟S17:以控制命令控制馬達,以驅動機器裝置轉換至目標姿態。
在步驟S16、S17中,可利用基準標記BF及第一標記EF的方位,計算出機器裝置10於下一個預定時間點要執行的控制命令。也就是說,處理裝置14可依據機器裝置10的當前姿態,以手術器械106能沿著手術路徑60及虛擬軸線61前進時的機器裝置10的姿態為目標姿態,藉此輔助使用者在施術過程中穩定的沿著施術路線前進。
圖8為本發明實施例的機器姿態的檢查方法的另一流程圖。可參考圖8,在本發明的實施例中,檢查方法還可包括下列步驟:
步驟S16’:辨識當前影像中的第二標記。其中,第二標記FF與目標工作區域,也就是手術部位2相關。
步驟S17’:依據基準標記、第一標記及第二標記的位置計算機器裝置的當前位置。
步驟S18’:根據當前姿態、當前位置、目標姿態及目標位置計算產生用於該機器裝置的控制命令。
步驟S19’:以控制命令控制馬達以驅動機器裝置轉換至目標姿態並朝向目標位置移動。
類似的,在圖8的上述步驟中,可利用基準標記BF、第一標記EF及第二標記FF的位置及方位,計算出機器裝置10於下一個預定時間點要執行的控制命令。也就是說,處理裝置14可依據機器裝置10的當前姿態及當前位置,以手術器械106能沿著手術路徑60及虛擬軸線61前進時的機器裝置10的姿態及位置為目標姿態及目標位置,藉此輔助使用者在施術過程中穩定的沿著施術路線前進。
[實施例的有益效果]
本發明的其中一有益效果在於,本發明所提供的機器姿態的檢查方法及檢查系統,利用三維影像擷取裝置及馬達編碼器進行檢測,以得到機器裝置的姿態及馬達姿態,並進行相互比對,以確保機器裝置的姿態及動作為正常運作,並在偵測到異常時,提出警示、停止機器裝置以確保系統安全。
以上所公開的內容僅為本發明的優選可行實施例,並非因此侷限本發明的申請專利範圍,所以凡是運用本發明說明書及圖式內容所做的等效技術變化,均包含於本發明的申請專利範圍內。
1:機器姿態的檢查系統
10:機器裝置
100:控制器
1011、1012、…、101n:驅動器
1031、1032、…、103n:馬達編碼器
1031、1032、…、103n:馬達
12:影像擷取裝置
14:處理裝置
140:處理器
142:記憶體
144:輸入輸出介面
146:影像處理器
148:匯流排
16:顯示裝置
104、104’:移動平台
105:基底平台
106:手術器械
2:手術部位
60:手術路徑
61:虛擬軸線
BF:基準標記
EF、EF’:第一標記
FF:第二標記
S10~S17、S140~S145、S16’~S19’:步驟
圖1為本發明實施例的機器姿態的檢查系統的功能方塊圖。
圖2為本發明實施例的機器裝置於手術環境中進行手術的示意圖。
圖3為本發明實施例的機器姿態的檢查方法的流程圖。
圖4為步驟S14的第一細部流程圖。
圖5為步驟S14的第二細部流程圖。
圖6為步驟S14的第三細部流程圖。
圖7為步驟S14所述的當前姿態與預定工作範圍比較示意圖。
圖8為本發明實施例的機器姿態的檢查方法的另一流程圖。
S10~S17:步驟
Claims (14)
- 一種機器姿態的檢查方法,包括: 以一影像擷取裝置對一機器裝置所在的區域擷取一當前影像;以及 配置一處理裝置以: 辨識該當前影像中的一基準標記及與該機器裝置相連接的一第一標記; 依據該基準標記及該第一標記計算該機器裝置的一當前姿態; 配置至少一馬達編碼器以測量該至少一馬達的編碼器訊號;以及 根據該當前姿態與該編碼器訊號,藉此判斷該機器裝置是否發生異常。
- 如請求項1所述的檢查方法,其中,判斷該機器裝置是否發生異常之步驟中還包括先以該當前姿態經逆向運動學計算出一推估馬達編碼器位置,及比較該推估馬達編碼器位置與該至少一馬達的編碼器訊號。
- 如請求項1所述的檢查方法,其中,判斷該機器裝置是否發生異常之步驟中還包括先以該編碼器訊號經由正向運動學推算出一推估姿態,及比較該推估姿態與該當前姿態。
- 如請求項1所述的檢查方法,還包括配置該處理裝置以: 根據該當前姿態及一目標姿態計算產生用於該機器裝置的一控制命令;以及 以該控制命令控制該至少一馬達,以驅動該機器裝置轉換至該目標姿態。
- 如請求項1所述的檢查方法,還包括配置該處理裝置以: 辨識該當前影像中的一第二標記,該第二標記與一目標工作區域相關; 依據該基準標記、該第一標記及該第二標記的位置計算該機器裝置的一當前位置; 根據該當前姿態、該當前位置、該目標姿態及該目標位置計算產生用於該機器裝置的該控制命令;以及 以該控制命令控制該至少一馬達以驅動該機器裝置轉換至該目標姿態並朝向該目標位置移動。
- 如請求項1所述的檢查方法,還包括配置該處理裝置以: 將該當前姿態與一預定工作範圍進行比較,以判斷該機器裝置是否位於該預定工作範圍之外; 若該機器裝置位於該預定工作範圍之外,則判斷該機器裝置發生異常。
- 如請求項6所述的檢查方法,其中,該機器裝置包括一基底平台及相對該基底平台具有多個自由度的一移動平台,且該移動平台由該至少一馬達所驅動,該第一標記設置於該機器裝置的該基底平台,該第二標記設置於該機器裝置的該移動平台。
- 一種機器姿態的檢查系統,包括: 一機器裝置,包括至少一馬達及至少一馬達編碼器; 一影像擷取裝置,經配置對該機器裝置所在的區域擷取一當前影像; 一處理裝置,電性連接該影像擷取裝置及該機器裝置,且經配置以: 辨識該當前影像中的一基準標記及與該機器裝置相連接的一第一標記; 依據該基準標記及該第一標記計算該機器裝置的一當前姿態; 通過該至少一馬達編碼器測量該至少一馬達的編碼器訊號;以及 根據該當前姿態與該編碼器訊號,藉此判斷該機器裝置是否發生異常。
- 如請求項8所述的檢查系統,其中,判斷該機器裝置是否發生異常之步驟中還包括先以該當前姿態經逆向運動學計算出一推估馬達編碼器位置,及比較該推估馬達編碼器位置與該至少一馬達的編碼器訊號。
- 如請求項8所述的檢查系統,其中,判斷該機器裝置是否發生異常之步驟中還包括先以該編碼器訊號經由正向運動學推算出一推估姿態,及比較該推估姿態與該當前姿態。
- 如請求項8所述的檢查系統,還包括配置該處理裝置以: 根據該當前姿態及一目標姿態計算產生用於該機器裝置的一控制命令;以及 以該控制命令控制該至少一馬達,以驅動該機器裝置轉換至該目標姿態。
- 如請求項8所述的檢查系統,其中,該處理裝置還經配置以: 辨識該當前影像中的一第二標記,其中,該第二標記與一目標工作區域相關; 依據該基準標記、該第一標記及該第二標記的位置計算該機器裝置的一當前位置; 根據該當前姿態、該當前位置、該目標姿態及該目標位置計算產生用於該機器裝置的該控制命令;以及 以該控制命令控制該至少一馬達以驅動該機器裝置轉換至該目標姿態並朝向該目標位置移動。
- 如請求項8所述的檢查系統,還包括配置該處理裝置以: 將該當前姿態與一預定工作範圍進行比較,以判斷該機器裝置是否位於該預定工作範圍之外; 若該機器裝置位於該預定工作範圍之外,則判斷該機器裝置發生異常。
- 如請求項13所述的檢查系統,其中,該機器裝置包括一基底平台及相對該基底平台具有多個自由度的一移動平台,且該移動平台由該至少一馬達所驅動,該第一標記設置於該機器裝置的該基底平台,該第二標記設置於該機器裝置的該移動平台。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112114070A TWI851147B (zh) | 2023-04-14 | 2023-04-14 | 機器姿態的檢查方法及檢查系統 |
| US18/508,247 US20240342910A1 (en) | 2023-04-14 | 2023-11-14 | Machine posture inspection method and machine posture inspection system |
| EP23218569.4A EP4446066A1 (en) | 2023-04-14 | 2023-12-20 | Machine posture inspection method and machine posture inspection system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112114070A TWI851147B (zh) | 2023-04-14 | 2023-04-14 | 機器姿態的檢查方法及檢查系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI851147B TWI851147B (zh) | 2024-08-01 |
| TW202442405A true TW202442405A (zh) | 2024-11-01 |
Family
ID=89430390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112114070A TWI851147B (zh) | 2023-04-14 | 2023-04-14 | 機器姿態的檢查方法及檢查系統 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240342910A1 (zh) |
| EP (1) | EP4446066A1 (zh) |
| TW (1) | TWI851147B (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6468265B1 (en) * | 1998-11-20 | 2002-10-22 | Intuitive Surgical, Inc. | Performing cardiac surgery without cardioplegia |
| US8864652B2 (en) * | 2008-06-27 | 2014-10-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip |
| US9827054B2 (en) * | 2014-03-14 | 2017-11-28 | Synaptive Medical (Barbados) Inc. | Intelligent positioning system and methods therefore |
| JP6088679B1 (ja) * | 2016-02-19 | 2017-03-01 | ファナック株式会社 | カメラの画像により故障を判定するロボットシステムの故障診断装置 |
| JP2022521556A (ja) * | 2019-02-28 | 2022-04-08 | コーニンクレッカ フィリップス エヌ ヴェ | エンドエフェクタのフィードフォワード連続配置制御 |
| CN114952855B (zh) * | 2022-06-16 | 2025-04-15 | 苏州微创畅行机器人有限公司 | 机械臂位姿偏差索引表的形成方法及机械臂的控制方法 |
-
2023
- 2023-04-14 TW TW112114070A patent/TWI851147B/zh active
- 2023-11-14 US US18/508,247 patent/US20240342910A1/en active Pending
- 2023-12-20 EP EP23218569.4A patent/EP4446066A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4446066A1 (en) | 2024-10-16 |
| US20240342910A1 (en) | 2024-10-17 |
| TWI851147B (zh) | 2024-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7170784B2 (ja) | 撮像装置及び入力コントロールを再芯出しするためのシステム及び方法 | |
| CN105082161B (zh) | 双目立体摄像机机器人视觉伺服控制装置及其使用方法 | |
| US12004827B2 (en) | System and method for providing feedback during manual joint positioning | |
| CN104758066B (zh) | 用于手术导航的设备及手术机器人 | |
| WO2020190832A1 (en) | Robotic surgical collision detection systems | |
| CN103402714A (zh) | 主操作输入装置以及主-从机械手 | |
| EP2104455A2 (en) | Haptic feedback medical scanning methods and systems | |
| US20250022160A1 (en) | Systems and methods for mitigating collision of a robotic system | |
| US20230347517A1 (en) | Robotic apparatus and control method thereof | |
| CN111920522B (zh) | 手术监控方法及装置 | |
| CN113662665A (zh) | 膝关节置换手术机器人系统的精度检测方法和装置 | |
| CN112043396B (zh) | 手术机器人及其图形化控制装置、图形化显示方法 | |
| EP3698375A1 (en) | Method for acquiring and for altering a configuration of a number of objects in a procedure room and corresponding device | |
| CN115349956B (zh) | 机械臂结构、控制方法及机器人系统 | |
| TWI851147B (zh) | 機器姿態的檢查方法及檢查系統 | |
| CN118809668A (zh) | 机器姿态的检查方法及检查系统 | |
| WO2024007900A1 (zh) | 冗余自由度的调整方法、装置、计算机设备和机械臂 | |
| TWI860512B (zh) | 手術器械的導航方法及導航系統 | |
| CN111281541A (zh) | 检测手术中导航标志物移动的方法和装置 | |
| CN117653349A (zh) | 一种基于多模态融合的腔镜手术机器人三维重建系统 | |
| EP4382258A1 (en) | Robot control device, robot control system, and robot control method | |
| JP2025503550A (ja) | カメラ及び位置センサの較正 | |
| JP2021171882A (ja) | 作業システム及び作業制御装置 | |
| WO2025115013A1 (en) | Non-unique led pattern geometry and identification for robotics navigation | |
| Konietschke et al. | Accuracy identification of markerless registration with the dlr handheld 3d-modeller in medical applications |