TW201206387A - Robotic control of an oblique endoscope for fov images - Google Patents

Description

201206387 六、發明說明： 【發明所屬之技術領域】 本發明大致上係關於用於產生高解析度、大視場 (「FOV」）影像之一傾斜内視鏡的自動機控制。本發明明 確言之係關於用於在顯像一體積時自動機控制内視鏡位置/ 定向及速度的内視鏡影像回饋。 【先前技術】 一内視鏡係具有從一身體内部顯像之能力的一裝置。一 内視鏡之實例包含（但不限於）任何類型之醫療鏡（例如，支 氣管鏡、結腸鏡、腹腔鏡等等）。特定言之，硬式内視鏡 係由沿内視鏡軸設置的—系列透鏡組成。 微創手術係透過若干小孔而予以進行。内視鏡常常用來 提供手術部位的視覺回饋。舉例而言，在完整内視鏡心臟 手術中内視鏡係用於提供心臟動脈的手術中即時視覺 化。歸因於其尺寸（通常<=1〇 mm)及至所考慮之一解剖目 標之相對距離，内視鏡僅提供一小區域的視覺化。對於一 名外科醫生而言，此可能在瞭解觀看區域的一相對位置時 造成問題。 為改良視場，手術中所使用之内視鏡常常是傾斜的，其 中透鏡與内視鏡軸成一角度。此容許一外科醫生藉由沿内 視鏡之軸線轉動該内視鏡及/或改變該内視鏡在解剖區之 插入角度而對一解剖區進行一手動視覺掃描。從掃描中， 外科醫生使用在螢幕上觀看之一系列内視鏡影像來建立手 、 的〜像圖。然而，使用一傾斜觀看内視鏡手動掃 150238.doc 201206387 描手術區域可能是一個令人疲倦的過程且鑑於手眼協作之 複雜性而傾向於發生錯誤。 在本技術中，已使用自動機系統以在一外科醫生使用一 计算機滑鼠或其他輸入裝置控制該自動機系統時固持内視 鏡。然而，雖然將自動機附接至内視鏡可改良該内視鏡之 操控’但是先前技術並未解決建立手術部位之一心像圓的 困難。 【發明内容】 本發明提供用於使用-自動機操控的傾斜内視鏡而在微 創手術巾獲得-手術王作區之完整視野的方法^此等方法 涉及移動内視鏡直至影像擷取掃描涵蓋所需工作區體積。 所收集、與相關聯内視鏡位置及^向（從已知自動機運動 學導出）組合的影像序列係用於重構-視覺、圖形或以其 他方式表u作區體積。雖然促進獲得—工作區體積之最 大影像涵蓋的機會，但是此等方法進—步促進最大化内視 鏡影像之重構品質之機會、最小化運行時間且遵從由插入 點及内視鏡纜線所施加的任何物理限制。 本發明之一形式為一種採用一自動機單元及一控制單元 的自動機型顯像系統。 該自動機單元包含用於產生包含一工作區體積之複數幅 内視鏡影像之一視訊流的一傾斜内視鏡，以及用於在該工 作區體積内移動該内視鏡的一自動機。 該控制單元包含—自動機控制器、—掃描控制模組及一 影像重構器。t亥自動機控制器命令該自動機在該工作區體 15023S.doc 201206387 積内執行該内視鏡的一或多次影像擷取掃描，各影像擷取 掃描包含該内視鏡在該工作區體積内之—或多次轉動運 動。該掃描控制模組將在該或該等影像擷取掃描期間所產 生之各内視鏡影像與該内視鏡在該工作區體積内之一對應 轉動姿勢相連結。該影像重構器從經產生之内視鏡影像與 該内視鏡在該工作區體積内之該對應轉動姿勢之連結中重 構該工作區體積的一體積影像。 本發明之一第二形式包含一種用於使一傾斜内視鏡產生 ι a工作區體積之複數幅内視鏡影像之一視訊流的自動 機顯像方法。該自動機方法涉及命令一自動機執行該内視 鏡在該工作區體積内之一或多次影像擷取掃描，各影像擷 取掃描包含該自動機控制該内視鏡在該工作區體積内的一 或多次轉動運動。該自動機顯像方法進一步包含將該或該 等影像拮員取掃描期間所產生之各内視鏡影像與該内視鏡在 該工作區體積内的一對應轉動姿勢相連結，以及從該等經 產生之内視鏡影像與該内視鏡在該工作區體積内之該對應 轉動姿勢之連結中重構該工作區體積的體積影像。 從結合附圖閱讀之本發明之多項實施例之下列詳細描述 中’本發明之前述形式及其它形式以及本發明之各種特徵 及優點將變得進一步顯而易見。詳細描述及圖式僅為本發 明之說明性而非限制性，本發明之範圍係由隨附技術方案 及其等效物界定。 【實施方式】 如圖1所展不’一種自動機顯像系統採用一自動機單元 150238.doc 201206387 多個控制單凡2〇 ’用於涉及從一工作區體積之兩個⑺或 =個内視鏡影像重構-體積影像的任何自動機程序。此類 動機程序之實例包含（但不限於）醫療程序、裝配線程序 及涉及行動自動機之程序。特定言之，可利用該自動機系 統用於包合（但不限於）微創心臟手術（例如，冠狀動脈繞道 移植術或二尖瓣換置）、微創腹部手術（腹腔鏡檢查）(例 如，攝護腺切除術或膽囊切除術）及天然開口經腔道内視 鏡手術的醫療程序。 自動機單元1G包含-自動機u及硬式附接至該自動機u 的一傾斜内視鏡12。 中自動機11廣義上係定義為在結構上經組態為機 動化控制於操縱料自動機㈣所需之―末端效應器之 -或多個接頭的任何自動機裝置。實務上，自動㈣可具 有包含—末端效應器平移、—末端效應器軸線轉動之-五 ()個自由度’以及接頭之三⑺個轉動自由度的一最小 值。 本文中，内視鏡12廣義上係定義為在一工作區體積内具 有用於顯像之-傾斜視場的任何裝置。出於本發明之目的 之内視鏡12之實例包含（但不限於）任何類型之可撓或硬式 鏡（例如，内視鏡、關節鏡、支氣管鏡、膽道鏡、結腸 鏡、膀胱鏡、十二指腸鏡、胃鏡、宮腔鏡、腹腔鏡、喉 鏡月®至鏡、耳鏡、推腸鏡、鼻喉镜、乙狀結腸鏡、鼻赛 镜、胸腔镜等等）及類似於配備—影像系統之一鏡的任何 裝置（例如具有顯像之-巢套插管）。顯像是局部的，且表 150238.doc 201206387 面影像可光學地以光纖、透鏡或小型（例如基於CCD)成像 系統來獲得》 本文中，出於本發明之目的，術語「工作區體積」廣義 上係定義為任何三維空間，其中可將内視鏡丨2插入該三維 空間中用於在工作區體積内顯像（若干）目標且/或用於顯像 該工作區體積之邊界，本文中，術語「内視鏡影像」廣義 上係定義為内視鏡12之一視場内之一工作區體積之一影 像’且本文中’術語「體積影像」廣義上係定義為工作區 體積之兩幅（2)或多幅内視鏡影像的一拼接。 實務上’内視鏡12係安裝至自動機11的末端效應器。自 動機11之末端效應器之一姿勢為末端效應器在自動機^之 一座標系統内之一位置及一定向。在將内視鏡12插入一工 作區體積内的情況下，内視鏡12在工作區體積内之視場的 任何給定姿勢對應於末端效應器在自動機座標系統内的一 獨特姿勢。因此，可將工作區體積内由内視鏡12所產生之 各個別内視鏡影像與該工作區體積内内視鏡12的對應姿勢 相連結。 本文現將提供圖2A至圖2E之描述以促進自動機單元1〇 的操作瞭解。明確言之’在一球形工作區體積4〇内插入一 内視鏡30且一自動機（未展示）執行涉及内視鏡3〇在工作區 體積40内之一或多次轉動運動的一影像操取掃描及涉及内 視鏡30相對於工作區體積40之一預定區域之一固定姿勢的 一内視鏡影像擷取。 如圖2 A所展示，内視鏡3 〇係透過一插入點41而插入至在 150238.doc 201206387 工作區體積40之一下半球40b内設置一視場32之工作區體 積内的一深度。另外’内視鏡30具有與垂直於插入點41之 一工作區軸線42重合的一内視鏡軸線3 1 ^在一影像擷取掃 描期間’内視鏡30繞内視鏡軸線31自轉且掃描涵蓋$360。 的轉動以獲取工作區體積40的兩幅或多幅内視鏡影像。 如圖2B所展示，内視鏡30係透過一插入點41而插入至在 工作區體積40之一上半球40a内設置一視場32之工作區體 積内的一深度。内視鏡軸線3 1再次與工作區軸線42重合， 其中’在一影像擷取掃描期間，内視鏡30繞内視鏡轴線3 i 自轉且掃描涵蓋S360°的轉動以獲取工作區體積4〇的兩幅 或多幅内視鏡影像。 如圖2C所展示，内視鏡30係透過一插入點41而插入至在 工作區體積40之一下半球40b内設置一視場32之工作區體 積内的一深度，且内視鏡3 0係相對工作區軸線42傾斜。在 一影像擷取掃描期間’内視鏡30在掃描涵蓋$360。的轉動 的情況下同時繞内視鏡轴線3 1自轉且圍繞工作區軸線42旋 轉以獲取工作區體積40的兩幅或多幅内視鏡影像。或者， 内視鏡30可僅繞内視鏡軸線31自轉或僅圍繞工作區轴線42 旋轉。 如圖2D所展示，内視鏡30係透過一插入點41而插入至在 工作區體積40之一上半球40a内設置一視場32之工作區體 積内的一深度’且内視鏡3 0係相對工作區軸線42傾斜。在 一影像擷取掃据期間，内視鏡30在掃描涵蓋$360。的轉動 的情況下同時繞内視鏡轴線3 1自轉且圍繞工作區軸線42旋 150238.doc 201206387 轉以獲取工作區體積40的兩幅或多幅内視鏡影像。再者， 或者，内視鏡30可僅繞内視鏡轴線3 1自轉或僅圍繞工作區 軸線42旋轉。 如圖2E所展示，内視鏡30係透過一插入點41而插入且内 視鏡3 0係相對於工作區軸線42傾斜，藉以使視場32導向在 相對插入點41之一遠端運動中心（「RCM」）點42處。内視 鏡影像擷取涉及内視鏡30獲取定中心於RCM 42上的一内 視鏡影像。 實務上，工作區體積可或可非為球形。然而，在任一情 形中，熟悉此項技術者將從圖2A至圖2E之描述中明白如 何執行各種形狀與尺寸之工作區體積的影像擷取掃描及内 視鏡影像摘取。 往回參考圖1，控制單元2〇包含一自動機控制器21及一 影像重構器22。 本文中，自動機控制器2 1廣義上係定義為在結構上經組 態以提供一或多個自動機控制命令（r RCC」）25給自動機 11用於控制一影像擷取掃描或一内視鏡影像擷取所需之自 動機11之末端效應器之一姿勢的任何控制器。更特定言 之，自動機控制命令25支配在一影像擷取掃描期間達成自 動機11之末端效應器之所需轉動所需的各自動機接頭之確 定移動，且因此支配在該影像擷取掃描期間内視鏡12在一 工作區體積内之-所要轉動β類似地，自動機控制命令Μ 支配在-内視鏡影像擷取期間達成自動機u之末端效應器 之所要固定姿勢所需的各自動機接頭之確定移動，且因此 I50238.doc 201206387 支配在該内視鏡影像擷取期間内視鏡12在—卫作區體積内 之所要固定姿勢。 、本文中’影像重構器22廣義上較義為在結構上經組態 以執行用於從兩幅（2)或多幅重疊内視鏡影像產生_體積影 ㈣任何圖框拼接演算法的任何襄置。實務上，影像重構 器22可需要或可無需内視鏡12之校準。 舉例而言’當在圖3所展示之—平面上投射—圓台，如 圖2八至2〇所展示之内視鏡2〇的一次轉動可產生重疊内視 鏡影像51之-環狀序列5Ge在連續重疊内視鏡影像^中， 可觀察特徵部之轉動，諸如(例如)如圖4所展示之内視鏡影 像51a及51b之特徵部的轉動。 明確言之，緊靠内視鏡影像川及川的兩個突出特徵部 而繪出線52及53。隨著内視鏡轉動，特徵部隨著從内視鏡 影像51a至内視鏡影像51b一些特徵部會消失、且—些新特 徵部會在内視鏡影像51b内出現而轉動。若所觀察之序列 5〇之表面實際上為如所展示之-平面，則唯—影像榻取掃 描期間之已知自動機姿勢便足以重構序列5()之表面之圖 (拼集)。然而，由於所觀察之目標之形狀及深度未知，故 而須在諸圖框之間重構並且追蹤影像特徵部。 各特徵部在任何給定點 列方程式[1]而從影像在 出： 在影像重構器22之一實施例中， 之空間中之速度、及、可根據下 空間中之導數込及Iy及時間（It)而得 dx*Vx)+(Iy*Vy)-lt=〇 方程式[1]之一解為速度場-光流。明確言之，可俨 150238.doc 201206387 圖框之間有有限μ & 、 特徵部移動後使用一加窗（windowed)方 法且僅近似估外食 & 由中之導數而求解方程式[1]。藉由内視鏡 轉動而產生的所預 、 頂期之光流應取決於各點中之速度或轉動 及深度而位在呈士 、 /、有一可變向量長度的同心圓上。然而，所 追蹤之特徵部中之雜訊及缺陷將造成向量具有長度誤差及 角度誤差二者。跨越影像之平均誤差可經量化且用來校正 、鏡之速度。右正從體積中升高内視鏡，則光流將從影 像之中心流動°亦可^義如轉動情形中的相同誤差。 十於人轉動中之影像拼集而言，在知道那些特徵重疊 且那些特徵屬於新影像區段後，使用光流來對準連續内視 鏡~像的影像。若考慮轉動速度與視訊棟取之圖框速率之 間之比望各區段中有兩幅以上的圖框重疊。為改良拼 集之穩健性’可藉由對該等值求平均值或中間值而跨越許 多視野計算影像之各像素。跨越影像之該等值之平均偏差 (例如’標準方差)可用來評估重構之品質。或者，為改良 影像品質及清晰度，可以其至圖框邊界之距離來加權像素 值’從而以較高值加權靠近中心的像素。 對於用於多個影像序列之不同深度處之影像拼集而言， 可如在内視鏡影像之間相同地精確進行拼集。在此情形 中，替代一單個成像序列之拼接，相同方法可用來拼接多 個影像序列》 圖5A至圖5D繪示内視鏡圖框之一循序拼接。首先，將 如圖5B所展示之一内視鏡影像61拼接至如圖沾所展示的 一内視鏡影像60，其中醒目顯示内視鏡影像6〇以強調影像 150238.doc 12 201206387 拼接《接著，將如圖5C所展示之一内視鏡影像62拼接至内 視鏡影像61，其中再次醒目顯示内視鏡影像6〇以強調影像 拼接。一體積影像63中之進一步影像拼接結果係如圖51)所 展示，其中再次醒目顯示内視鏡影像6 〇以強調影像拼接。 往回參考圖丨，如本文將結合圖6之後續描述進一步闡 述，控制單元20包含一掃描控制模組23，本文中該掃描控 制模組23廣義上係定義為在結構上經組態用於將在一影像 擷取掃描或一内視鏡影像擷取期間所產生之各内視鏡影像 與内視鏡12在工作區體積内之對應姿勢相連結的任何模 組。另外，如本文將結合圖7之後續描述進一步闡述，掃 掐控制模組23可在結構上經組態用於控制工作區體積之各 影像擷取掃描期間内視鏡12的一轉動速度及/或一深度。 實務上，掃描控制模組23可由整合於自動機控制器21内、 整合於影像重構器22内、分散於自動機控制器21與影像重 構器22之間，或安裝於連接至自動機控制器^及/或影像 重構器22之一分離裝置上的硬體、軟體及/或韌體來實 施0 圖6繪示代表本發明之一自動機顯像方法的一流程圖 70。流程圖70之—階段371涵蓋由系統之—使用者手動進 行或由掃描控制模組23㈣進行的—初始深度定位及内視 鏡12之工作區㈣μ。實務上，視㈣之初始深度定 位及工作區軸線定向取決於該系統的自動機應用。 流程圖70之mS72涵蓋由影像重構器22及掃描控制 模，、且23執行由自動機控制器21命令之影像擷取掃描及視訊 150238.doc •13· 201206387 流13之處理。在此階段期間’掃描控制模組23將影像擷取 掃描期間所產生之各内視鏡影像與内視鏡12在工作區體積 内之對應轉動姿勢相連結以致使影像重構器22能夠適當拼 接内視鏡影像。 若僅欲執行多次影像擷取掃描，則流程圖7〇循環通過階 段S7 1-S73 ’其中掃描控制模組23以確保影像擷取掃描之 全部内視鏡影像充分重疊以促進體積影像之重構的一方式 對在工作區體積内之内視鏡進行深度定位與工作區軸線定 向。 若僅欲執行一次影像擷取掃描或在完成多次擷取掃描 後’流程圖70之一選用階段S74涵蓋内視鏡在工作區體積 内之深度定位與工作區軸線定向，此階段獲取該工作區體 積之一居中RCM或其他預定區域的一内視鏡影像。 貫務上’多次影像擷取掃描之次數及階段S74之需求係 取決於自動機程序及工作區體積之大小及形狀。 圖8 A至圖8 E繪不流程圖7 0的示例性執行。明確言之， 圖8Α展示通過一工作區體積100之一插入點1〇1而插入内視 鏡90直至内視鏡90之一頂部儘可能靠近工作區體積1〇〇的 底部，而在工作區體積1〇〇内無任何物體或光反射遮擋正 由内視鏡90產生的視訊流。此階段容許顯像工作區體積 1〇〇之底表面的最大區域。插入深度之確定可經由觀察而 手動完成或由追蹤影像中之一或多個解剖特徵部的掃描控 制模組23自動完成。 一旦處於圖8Β所展示之此組態，則内視鏡90繞其内視鏡 150238.doc -14 - 201206387 軸線完全轉動一次以獲取接近工作區體積100之底部之— 圓形圖框序列的影像掃描。當從上面觀看時投射掃描循著 一環面110。環面110之一寬度及因此由掃描涵蓋之面積取 決於傾斜内視鏡90之視角及從内視鏡90之一頂部至所顯像 . 之表面的一距離。工作區體積100之一 RCM 102並未被此 * 第一掃描涵蓋，因此將稍後在過程中解決。 一完整轉動在用於影像重構器22之初始内視鏡影像與最 終内視鏡影像之間提供適當重疊以重構連續條帶。舉例而 言，圍繞内視鏡軸線之一全程轉動通常將花費五（5)至十 (10)秒。手術領域中所使用之内視鏡通常以每秒約三十 (30)圖框進行。因此，在每十（1〇)度的轉動下，將存在約 八（8)幅内視鏡影像。 如圖8C所展示，在其定向固定的情況下，升高内視鏡9〇 使其離開工作區體積1〇〇以備下次掃描。此時，内視鏡9〇 在與如圖8D所展示之先前掃描之方向相反的方向上繞其内 視鏡軸線轉動。此將防止纜線變過度纏繞。從上面觀之， 累積涵蓋的區域現為兩個同心環面1丨〇及u丨且其等之間有 一些重疊。重疊之量應經選定以便促進重構，且由升高内 視鏡90之量來控制。如前，此決定可藉由觀察而得到，或 . 由追蹤影像中之解剖特徵部的掃描控制模組23自動得到。 在相反方向升高内視鏡9〇且進行轉動掃描的過程繼續直 至視野由於插入點101處之工作區體積1〇〇而被遮掩，或者 換吕之，直至從一垂直插入角度收集新資料的能力被耗 盡。 150238.doc -15- 201206387 若在内視鏡90之第一次反覆中，該内視鏡9〇之頂部未觸 碰工作區體積100的底部，則表示RCM 1〇2至表面上之投 射的-圓形區域將不可見q視覺化此區力，需傾斜内視 鏡90，藉此如圖8E所展示般使内視鏡9〇平行於工作區體積 的底表面。 取決於自動機程序及使用者偏好，維持内視鏡9〇垂直於 插入點101可足以在各影像擷取掃描期間視覺化與自動機 程序有關的全部結構。替代地或者同時地，在一或多次影 像擷取掃描期間，可如圖2(:及/或圖2D所展示般定向内視 鏡90。 明確言之，對於工作區體積1〇〇之上半部而言，繞插入 點1 01傾斜内視鏡9〇以使透鏡更靠近工作區體積i 〇〇。傾斜 之里使得與一先前掃描仍存在一些重疊。在内視鏡9〇現相 對於插入平面成角度的情況下，内視鏡90之視場接著圍繞 垂直於通過插入點丨〇丨之平面的工作區軸線旋轉。内視鏡 90同時亦繞其軸自轉’因此淨效應為内視鏡9〇之透鏡面對 總是最接近内視鏡9〇之一頂部之工作區體積1〇〇之表面。 當從上面觀看時’所得投射掃描採取如前之一環面的形 接著’内視鏡90同時升高且成角度以觀看工作區體積 100的甚至更高區段。接著，在相反方向上進行兩種同時 轉動（繞插入軸線法線自轉及圍繞軸旋轉）以緩解纜線纏繞 問題。此過程繼續直至收集不到進一步資訊或内視鏡9〇之 角度到達由工作區體積100所約束的一限度。餘留待被涵 150238.doc -16 - 201206387 蓋之最終區域為工作區體積100之底部處的區域，其與垂 直於插入平面且通過插入點101的一向量對齊成一直線。 再者，在此點處，内視鏡90之頂部應靠近插入點i 〇1，因 此使其傾斜並且轉動使得内視鏡9〇之透鏡面對底部。影像 應足夠大以涵蓋刺餘區域。一旦獲取影像，則從工作區體 積1 〇 〇移除内視鏡9 0且將影像序列重構成一.連貫的體積影 像，因此完成該方法。 頰似地，對於工作 將内視鏡90插入至插入平面直至工作區體積1〇〇内之可能 之最低深度。第-次掃描等同於請所展示的掃描。然 而，在各内視鏡升高步驟，升高運動組合内視鏡繞插入點 101的傾斜以減小連續掃描之透鏡至表面距離之間之像 差。完成各升高及傾斜以在與由先前掃描涵蓋之表面充分 重疊的情況下設置涵蓋新表面的一新掃描。初始掃描之後 之各次掃歸及繞插入平面法線及軸的同時轉動，以造成 内視鏡9〇之透鏡面對最靠近内視鏡90之表面的-方式同牛 化。重複掃描直至無新表面可見或者内視鏡9〇無法作㈣ 進一步之傾斜。接著定向内視鏡9〇以在被移除 積底面以完成程序。 取體 往回參寺圖6，可以用认々 各次掃描之内視鏡之—固定II 動速度及諸次掃描之間之 U疋轉 流程70。或者，圖7繪 進仃 f不代表促進對用於各次掃描之内拍 鏡之轉動速度及諸次掃播内視 的本發明之一影像回饋方法的-流程二IS調 的本發明之-制“丄.内視鏡之冰度距離之調整 流 150238.doc 201206387 程請之-階段S81涵蓋最初設定用於最初掃描之内視鏡 之轉動速度及用於最初掃描之内視鏡之最低深度的掃描控 制模組23，以及發布自動機命令25以達成工作區體積内之 内視鏡之設定深度及内視鏡在用於第一次掃描之設定轉動 速度下之轉動的自動機控制器21。在該第一次掃描之後， 流程圖80之一階段S82涵蓋分析體積影像之正進行中重構 之品質的掃描控制模組23。流程圖8〇將為各後續掃描而保 持循環在階段S81及S82中直至掃描控制模組23認知到體積 I像之JL進行f重構之品質無法令人接受之時。在該情形 中，流程圖80之一階段S83涵蓋為後續掃描調整内視鏡之 轉動速度且/或調整後續掃描之間之深度距離的模組Μ。 實務上’可將流程圖8〇整合於流程圖7〇之階段s7i中（圖 6) ° 舉例而言，在最初執行階段S71的情況下，將内視鏡 12(圓1)之一轉動速度設定為自動機u(圖⑽一最大轉動 速度。此將確保最快的可能操作。對於各圖框而言，影像 重構器22(圖1)進行如本文先前所述之拼集且模組^(圖〇 使用向里、平均值或二者評估重構之品質。若重構之品質 低於一使用者指定臨限’則模組23通知自動機控制器 21 (圖1)減小内視鏡12之轉動速度以確保更順暢的圖框轉 變，其將透過窗大小而影響光流計算且透過容許來自更多 巾田圖框之強度訊息而影響重構。可使用與影像品質之線性 關係或者由一預定放大倍數來減小速度。 實務上，即使品質改善仍可降低轉動速度。考慮到重構 150238.doc -18- 201206387 將最好地罪近目標，預期轉動速度將隨時間而降低。 類似地，可類似地進行内視鏡深度之控制。明確言之， 内視鏡12之深度非為—連續值。在各次掃描後將内視鏡升 高一特定量。因此，期望有更少之重疊及重構之更低品 質。展現以下是簡單的：對於相㈤之深度增加，將連續掃 私之間之5G /。的重疊增加^倍。此重疊可確保有足夠的資 。孔進行成功的掃描。因此，可在最初執行階段s71時將重 疊之ΐ叹疋成最初值（例如，>5〇%)。隨著演算法計算拼 集，可減小深度增量以達成較佳影像拼集。 :藉由下列而進行影像拼集之品質控制：1)將所預期之 光机向里疋向與所觀察之光流向量定向相比較舉例而 言，誤差指示符可為所預期之向量與所觀察之向量之間之 一角度；或者2)在將影像轉換成一參考圖框之後將兩個或 夕個t/像之間之像素值相比較^兩種措施均是對於每像素 可藉由取平均 '均方根或此項技術中已知之組合誤 差的任何其他統計方法而為—拼集步驟歸納該等措施。 4回乡考圖1 ’控制單元2G進—步包含-影像顯示模組 24:本文中該影像顯示模組以廣義上係定義為在結構上經 組態用於騎在—經重構之體積影像内之卫作區體積之一 視汛流的一影像之任何模組。舉例而言，可如圖9A所展示 般重構心臟120之—體積影像⑵，其中隨著如圖祁及圖 9C所展示般經由自動機u控制内視鏡12，在—經重構之體 積影㈣内醒目顯示來自内視鏡12的—視訊流122。此致 使内視鏡12之—使用者在使用者正經由内視鏡12進行-手 150238.doc -19- 201206387 術時能夠視需要視覺化體積影像】2J。 貫務上’影像顯示模組24可由整合於 J田1 β於自動機控制器21 …於影像重構器22内、分散於自動機控制器幻與影 像重構器22之間，或安裝於連接至自動機㈣㈣及/或 影像重構器22之一分離裝詈卜的麻挪紅λ 雕衷置上的硬體、軟體及/或韌體來 實施。 從本文圖！至圖9之描述中，一般技術者將明白本發明之 眾多優點包含(但不限於)最大化一體積影像之重構品質及 覆蓋的機會，最小化-體積影像之重構之運行時間，以及 遵從由工作區體積之插人點及内視鏡I線所施加的任何物 理限制。此外，雖財文以在各次掃描之後升高内視鏡來 4田述圖8’但疋實務上可在各次掃描之後下降該内視鏡。 儘管已參考示例性態樣、特徵及實施描述本發明，然而 :揭示之系統及方法不限於此類示例性態樣、特徵及/或 貫&事貫Ji從本文所提供之描述巾，熟悉此項技術者 將顯而易見在不脫離本發明之精神或範圍的情況下，所揭 示之系統及方法可以有修飾例、替代例及增強例。相應 地，本發明明確涵蓋在本發明之範圍内的此類修飾例、替 代例及增強例。 【圖式簡單說明】 圖1繪不根據本發明之一自動機顯像系統的一示例性實 施例》 圖2A至圖2E綠示圖1之自動機顯像系统的多種示例性顯 像模式β 150238.doc -20· 201206387 圖3繪不根據本發明的—示例性影像榻取掃描。 圖4繪不此項技術已知的—示例性影像處理。 圖5A至圖5D緣不根據本發明從内視鏡影像示例性產生 一體積影像。 圖6繪示根據本發明之一 施例的一流程圖代表。 圖7繪示根據本發明之— 例的一流程圖代表。 自動機顯像方法之一示例性實 影像回饋方法之一示例性實施 圖8A至圖8E繪示根據本發 的流程圖。 明不例性執行圖3及圖4繪示 不例性顯示一體積影像及 圖9A至圖9C繪示根據本發明 一内視鏡影像。 【主要元件符號說明】 10 自動機單元 11 自動機 12 傾斜内視鏡 13 視訊流 20 控制單元 21 自動機控制器 22 影像重構器 23 掃描控制模組 24 影像顯示模組 25 自動機命令 30 内視鏡 150238.doc •21- 201206387 31 内視鏡軸線 32 視場 40 工作區體積 40a 工作區體積之上半球 40b 工作區體積之下半球 41 插入點 42 工作區軸線 50 序列 51a 内視鏡影像 51b 内視鏡影像 52 線 53 線 60 内視鏡影像 61 内視鏡影像 62 内視鏡影像 63 體積影像 90 内視鏡 100 工作區體積 101 插入點

102 遠端運動中心/RCM 110 中心環面 111 中心環面 120 心臟 121 經重構之體積影像 122 視訊流 -22- 150238.doc

Claims (1)

1. 201206387 七、申請專利範圍： 1 · 一種自動機顯像系統，其包括： 一自動機單元（10)，其包含： 一傾斜内視鏡（12)，其可操作用於產生包含一工作 . 區體積（40)之複數幅内視鏡影像的一視訊流（13);及 . 一自動機（11)，其可操作用於在該工作區體積（4〇) 内移動該内視鏡（12);及 一控制單元（20)，其包含·· 一自動機控制器（21)，其可操作用於命令該自動機 (π)在該工作區體積（40)内執行該内視鏡（12)的至少_ 次影像擷取掃描； 其中各影像擷取掃描包含由該内視鏡（12)在該工作 區體積（40)内進行之至少一次轉動運動； 掃也控制模組（23)，其可操作用於將在該至少一 影像擷取掃描期間所產生之各内視鏡影像與該内視鏡 ()在/作區體積（40)内之一對應轉動姿勢相連 結；及 〜像重構器（22)，其可操作用於從該等經產生之 内視鏡影像與該内視鏡（12)在該工作區體積（40)内之 ‘ 該等對應轉動姿勢之連結中重構該工作區體積（40)的 一體積影像。 士明求項1之自動機顯像系統，其中該掃描控制模組（23) 進一步可刼作用於隨該體積影像之重構品質而控制各次 〜像擷取掃七田期間該内視鏡(12)在該工作區體積(40)内 150238.doc 201206387 之轉動速度及一深度之至少一者β 3. 如凊求項2之自動機顯像系統，其中該掃描控制模組ο〕) 進一步可操作用於隨以下之至少一者測試該體積影像之 構tm資’ 一所預期之光流向量定向與一經觀察之光 抓向量定向之間之一誤差；及轉換成一單參考圖框之兩 幅内視鏡影像之間之一像素比較。 4. 如請求項1之自動機顯像系統， 其中該工作區體積（4〇)之該體積影像之一重構包含加 權在該等内視鏡影像内之像素；且 其中’對於各内視鏡影像而言，該等經加權之像素自 該内視鏡影像之一中心至該内視鏡影像之各圖框邊界降 低其值。 5. 如請求項1之自動機顯像系統，其中該内視鏡（12)之該至 少一次轉動運動包含該内視鏡（12)繞著延伸通過該内視 鏡（12)之一内視鏡軸線的一自轉轉動。 6. 如請求項1之自動機顯像系統，其中該内視鏡（12)之該至 少一次轉動運動包含： 該内視鏡（12)相對於垂直於該内視鏡（12)至該工作區 體積（40)中之一插入點的一工作區軸線而傾斜；及 該内視鏡（12)繞著該工作區軸線的一旋轉轉動。 7. 如請求項1之自動機顯像系統， 其中该自動機控制器（21)進一步可操作用於命令該自 動機（11)執行該内視鏡（12)在該工作區體積（40)内之一内 視鏡影像擷取； 150238.doc • 2 - 201206387 其中該内視鏡影像擷取包含該自動機（11)固定該内視 鏡（12)相對於該工作區體積（4〇)之一預定區域的一姿 勢； 其中該掃描控制模組（23)進一步可操作用於將該内視 鏡影像擷取期間所產生之一内視鏡影像與該内視鏡（1 2) 相對於該工作區體積（40)之一預定區域的一固定姿勢相 連結；且 其中該影像重構器（22)進一步可操作用於從該經產生 之内視鏡影像與該内視鏡（12)在該工作區體積（4〇)内之 該固定姿勢之一連結中重構該工作區體積（4〇)之該體積 影像。 8. 如請求項1之自動機顯像系統，其中該控制單元（2〇)進一 步包含： 一影像顯示模組（24)，其繼該體積影像之一重構後可 操作用於在該經重構之體積影像之一顯示内醒目顯示該 視訊流（13 )。 9. 一種用於一自動機單元（1〇)的控制單元（20)，該自動機 單元（1〇)包含用於產生包含一工作區體積（40)之複數幅 内視鏡影像之一視訊流（13)的一傾斜内視鏡（12)，以及 用於在該工作區體積（40)内移動該内視鏡（12)的一自動 機（11)，該控制單元（20)包括： 一自動機控制器（21)，其可操作用於命令該自動機 (11)在該工作區體積（40)内執行該内視鏡（12)之至少一影 像擷取掃描； 150238.doc 201206387 其中各景> 像掏取掃描包含由該内視鏡（丨2)在該工作 區體積（40)内進行的至少一次轉動運動； 一掃描控制模組（23)，其可操作用於將在該至少一 次影像操取掃描期間所產生之各内視鏡影像與該内視 鏡（12)在该工作區體積（4〇)内之一對應轉動姿勢相連 結；及 影像重構器（22) ’其可操作用於從該等經產生之内 視鏡影像與該内視鏡（12)在該工作區體積（4〇)内之該對 應轉動姿勢之一連結中重構該工作區體積（4〇)的一體積 影像。 10. 如請求項9之控制單元（2〇)，其中該掃描控制 模組（23)進 步可操作用於隨該體積影像之一重構品質而控制各影 像擷取掃描期間該内視鏡（12)在該工作區體積（4〇)内之 一轉動速度及一深度之至少一者。 11. 如請求項10之控制單元（20)，其中該掃描控制模組（23) 進步可操作用於隨以下之至少一者來測試該體積影像 之泫重構品質：一所預期之光流向量定向與一經觀察之 光抓向1定向之間之一誤差；及轉換成一單參考圖框之 兩幅内視鏡影像之間之一像素比較。 12. 如請求項9之控制單元（2〇)， 其t該工作區體積（40)之該體積影像之一重構包含加 權在該等内視鏡影像内之像素；且 八中，對於各内視鏡影像而言，該等經加權之像素自 β内視鏡影像之一中心至該内視鏡影像之各圖框邊界而 I50238.doc 201206387 降低其值。 13·如請求項9之控制單元（20)，其中該内視鏡（12)之該至少 一次轉動運動包含該内視鏡（12)繞著延伸通過該内視鏡 (12)之一内視鏡軸線的一自轉轉動。 14·如請求項9之控制單元（20)，其中該内視鏡（12)之該至少 • 一次轉動運動包含： 該内視鏡（12)相對於垂直於該内視鏡（12)至該工作區 體積（40)中之一插入點的一工作區軸線而傾斜；及 該内視鏡（12)繞著該工作區轴線的一旋轉轉動。 15_如請求項9之控制單元（20)， 其中該自動機控制器（21)進一步可操作用於命令該自 動機（11)執行該内視鏡（12)在該工作區體積（40)内之一内 視鏡影像操取； 其中該内視鏡影像擷取包含該自動機（11)固定該内視 鏡（12)相對於該工作區體積（40)之一預定區域的一姿 勢； 其中該掃描控制模組（23)進一步可操作用於將在該内 視鏡影像擷取期間所產生之一内視鏡影像與該内視鏡 • (12)相對於該工作區體積（40)之一預定區域之一固定姿 ' 勢相連結；且 其中該影像重構器（22)進一步可操作用於從該經產生 之内視鏡影像與該内視鏡（12)在該工作區體積（40)内之 該固定姿勢之一連結中重構該工作區體積（4〇)之該體積 影像。 150238.doc 201206387 1 6.如请求項9之控制單元（20)，其中該控制單元（2〇)進一步 包含： 一影像顯示模組（24) ’其可繼該體積影像之一重構後 操作用於在該經重構之體積影像之一顯示内醒目顯示該 視訊流（13)。 17. —種用於使一傾斜内視鏡（12)產生包含一工作區體積 (40)之複數幅内視鏡影像之一視訊流（13)的自動機顯像 方法，該自動機顯像方法包括： 命令一自動機（11)執行該内視鏡（12)在該工作區體積 (40)内之至少一次影像擷取掃描； 其中各影像擷取掃描包含該自動機（丨丨）控制由該内 視鏡（12)在該工作區體積（4〇)内進行之至少一次轉動 運動； 將在該至少一次影像擷取掃描期間所產生之各内視鏡 之一對應轉 影像與該内視鏡（12)在該工作區體積（4〇)内 動姿勢相連結；及 工作區體積 工作區體積 從該等内視鏡影像與該内視鏡（12)在該 (40)内之該對應轉動姿勢之該連結中重構該 (40)的一體積影像。 如請求項17之自動機顯像方法，其中該 像方法’其中該掃描控制模組

   ，其進一步包括： 150238.doc 構品質而控 工作區體積 201206387 命令該自動機（11)執行該内視鏡（12)在該工作區體積 (40)内之一内視鏡影像擷取； 其中該内視鏡影像擷取包含該自動機（11)固定該内 視鏡（12)相對於該工作區體積（4〇)之一預定區域的一 姿勢； 將該内視鏡影像相員取期間所產生之一内視鏡影像與該 内視鏡（12)相對於該工作區體積（4〇)之一預定區域之一 固定姿勢相連結；及 從該經產生之内視鏡影像與該内視鏡（12)在該工作區 體積（40)内之一固定姿勢之該連結中重構該工作區體積 (40)的體積影像。 20.如响求項17之自動機顯像方法，其進一步包括： 繼该體積影像之—重構後在該經重構之體積影像之一 顯示内醒目顯示該視訊流（13)。 150238.doc