TW202423381A

TW202423381A - 手術影像的定位方法與其系統

Info

Publication number: TW202423381A
Application number: TW111145905A
Authority: TW
Inventors: 黃炳峰; 薛進原; 蔡博翔
Original assignee: 財團法人金屬工業研究發展中心
Priority date: 2022-11-30
Filing date: 2022-11-30
Publication date: 2024-06-16

Abstract

手術影像的定位方法包括：點雲相機對第一與第二定位標記拍攝點雲資料影像，第一定位標記固設於手術部位且第二定位標記固設於X光成像機；辨識點雲資料影像中的第一與第二定位標記以計算出點雲相機與手術部位之間的第一轉換模型及點雲相機與X光成像機之間的第二轉換模型，並據以計算出手術部位與X光成像機之間的第三轉換模型；影像定位相機對第一定位標記拍攝定位影像；辨識定位影像中的第一定位標記以計算出影像定位相機與手術部位之間的第四轉換模型；及根據第三與第四轉換模型計算出影像定位相機與X光成像機之間的第五轉換模型。

Description

手術影像的定位方法與其系統

本發明是關於一種手術影像的定位方法與其系統，且特別是關於一種採用點雲相機與影像定位相機的手術影像的定位方法與其系統。

目前在骨科或脊椎手術過程中，醫療人員常常需要將一些植體植入到人體內，而為了能夠精確地將植體植入到正確的位置，近年來逐漸發展出電腦輔助定位之手術影像導航技術，以提升手術時定位之準確度。

手術影像導航技術其中一項核心技術是由手術中取得X光影像與手術前拍攝的立體圖資影像進行對位，來創造虛擬器械投影至醫學影像圖資上讓醫師可以參考並確認器械與病灶相對關係，因此X光影像拍攝位置與拍攝目標物上定位點空間關係是否準確將直接影響手術影像導航精準度，如果此處產生的誤差過大，將於後續導航上持續產生累積誤差。因此如何減少誤差以提升手術影像導航精準度，為此領域技術人員所關心的議題。

本發明之目的在於提出一種手術影像的定位方法，由電腦系統執行，手術影像的定位方法包括：透過點雲相機拍攝涵蓋第一定位標記與第二定位標記的點雲資料影像，其中第一定位標記固設於手術部位且第二定位標記固設於X光成像機；由電腦系統辨識點雲資料影像中的第一定位標記，以計算出點雲相機與手術部位之間的第一轉換模型；由電腦系統辨識點雲資料影像中的第二定位標記，以計算出點雲相機與X光成像機之間的第二轉換模型；由電腦系統根據第一轉換模型與第二轉換模型計算出手術部位與X光成像機之間的第三轉換模型；透過影像定位相機拍攝涵蓋第一定位標記的定位影像；由電腦系統辨識定位影像中的第一定位標記，以計算出影像定位相機與手術部位之間的第四轉換模型；及由電腦系統根據第三轉換模型與第四轉換模型計算出影像定位相機與X光成像機之間的第五轉換模型。

在一些實施例中，上述手術影像的定位方法更包括：透過X光成像機對手術部位拍攝X光影像；及由電腦系統根據第五轉換模型結合X光影像與定位影像以提供導航介面。

在一些實施例中，上述X光成像機為具有發射端與接收端的C型臂X光機，且第二定位標記固設於接收端。

在一些實施例中，上述第一定位標記與第二定位標記分別具有可被點雲相機進行鑑別的結構特徵，且第一定位標記的結構特徵不同於第二定位標記的結構特徵。

在一些實施例中，上述第一轉換模型為第一矩陣，第二轉換模型為第二矩陣，第三轉換模型為第三矩陣，其中，第四轉換模型為第四矩陣，第五轉換模型為第五矩陣，其中。

本發明之目的在於另提出一種手術影像的定位系統，包括：固設於手術部位的第一定位標記、固設於X光成像機的第二定位標記、點雲相機、影像定位相機及通訊連接點雲相機與影像定位相機的電腦系統。點雲相機用以拍攝涵蓋第一定位標記與第二定位標記的點雲資料影像。影像定位相機用以拍攝涵蓋第一定位標記的定位影像。電腦系統用以：辨識點雲資料影像中的第一定位標記，以計算出點雲相機與手術部位之間的第一轉換模型；辨識點雲資料影像中的第二定位標記，以計算出點雲相機與X光成像機之間的第二轉換模型；根據第一轉換模型與第二轉換模型計算出手術部位與X光成像機之間的第三轉換模型；辨識定位影像中的第一定位標記，以計算出影像定位相機與手術部位之間的第四轉換模型；及根據第三轉換模型與第四轉換模型計算出影像定位相機與X光成像機之間的第五轉換模型。

在一些實施例中，上述X光成像機用以對手術部位拍攝X光影像，電腦系統通訊連接X光成像機，且電腦系統更用以：根據第五轉換模型結合X光影像與定位影像以提供導航介面。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

以下仔細討論本發明的實施例。然而，可以理解的是，實施例提供許多可應用的概念，其可實施於各式各樣的特定內容中。所討論、揭示之實施例僅供說明，並非用以限定本發明之範圍。關於本文中所使用之『第一』、『第二』、…等，並非特別指次序或順位的意思，其僅為了區別以相同技術用語描述的元件或操作。

圖1係根據本發明的實施例之手術影像的定位系統100的示意圖。手術影像的定位系統100包括電腦系統110、影像定位相機120、點雲相機130、X光成像機140、定位標記141與定位標記151。

影像定位相機120用以進行拍攝以產生定位影像。影像定位相機120例如為可見光相機，定位影像例如為可見光影像。影像定位相機120包括感光耦合元件(Charge-coupled Device，CCD)感測器、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)感測器或其他合適的感光元件，本發明並不在此限。點雲相機130用以進行拍攝以產生點雲資料影像。點雲相機130為用以進行點雲(point cloud)掃描的三維掃描器，例如深度相機、光學雷達掃描器或其他電腦視覺裝置。

相較於影像定位相機120，點雲相機130用以提供更為精確的影像資訊，以改善拍攝位置的誤差。舉例而言，若是以影像定位相機120進行拍攝來記錄定位標記的位置，其空間定位均方根誤差(RMSE)約為0.5釐米(mm)，因此在計算定位標記與X光成像機140空間關係最大誤差有可能達到1mm。換言之，影像定位相機可即時得到定位標記的姿態，但誤差較大。相對而言，透過點雲相機130進行點雲掃描來記錄定位標記的位置，可將定位標記與X光成像機140空間關係的誤差降低至點雲掃描本身的誤差值(0.1mm)。因此，點雲相機雖然需要較長的計算時間來得到定位標記的姿態，但誤差較小。由於X光成像機進行影像拍攝時，相較於手術動作，X光成像機與手術部位相對靜止，因此沒有即時定位的需求，是故本發明可配合點雲掃描來降低誤差。

X光成像機140用以進行拍攝以產生X光影像。X光成像機140為C型臂(C-arm)X光機，此C型臂X光機包含發射端142與接收端143。發射端142用以發射X光至接收端143，以拍攝X光影像。發射端142與接收端143可透過發射端142與接收端143之間的C型臂來旋轉，使得C型臂X光機可提供不同角度的X光影像。

電腦系統110通訊連接至影像定位相機120、點雲相機130與X光成像機140，其可透過任意的有線或無線的通訊手段來達成。電腦系統110用以接收定位影像、點雲資料影像與X光影像，並對其進行影像處理。電腦系統110可以是智慧型手機、平板電腦、個人電腦、筆記型電腦、伺服器、工業電腦或具有計算能力的各種電子裝置等，本發明並不在此限。

具體而言，電腦系統110用以根據影像定位相機120、點雲相機130與X光成像機140所拍攝的影像來提供手術導航介面，以顯示手術部位的位置。在一些實施例中，手術導航介面可以顯示在電腦系統110的螢幕上，但在一些實施例中手術導航介面也可以顯示在任意的頭戴式裝置、平板電腦、或透明顯示器上，本發明並不在此限。在此可以採用任意的虛擬實境、擴增實境、替代實境或混和實境等技術來形成上述的導航介面，本發明並不在此限。

定位標記141固設於X光成像機140的接收端143。當X光成像機140的發射端142與接收端143透過C型臂來旋轉時，定位標記141的位置也會隨之改變，因此定位標記141可用來追蹤接收端143的位置。定位標記151固設於手術部位。舉例而言，在此若是要對患者的脊錐進行手術，則定位標記151即是固設於患者的脊錐骨上，當患者的姿態改變時，定位標記151的位置也會隨之改變，因此定位標記151可用來追蹤脊錐骨的位置。在其他實施例中，定位標記151也可固設於患者的其他身體部位，本發明並不在此限。

定位標記141與定位標記151上具有特定的圖案以供影像定位相機120進行辨識，且定位標記141上的圖案不同於定位標記151上的圖案。具體而言，電腦系統110自影像定位相機120接收定位影像後，可透過影像處理或電腦視覺方法來辨識定位影像中的定位標記141與定位標記151。舉例來說，定位標記141與定位標記151上的圖案為已知，因此電腦系統110可根據分別對應於定位標記141與定位標記151的預設圖案在定位影像中辨識出定位標記141與定位標記151，並且分別記錄其相對於影像定位相機120的位置。

定位標記141與定位標記151上具有可被點雲相機130進行鑑別的特定的結構特徵(例如凸點，本發明並不在此限)，且定位標記141的結構特徵不同於定位標記151的結構特徵。具體而言，電腦系統110自點雲相機130接收點雲資料影像後，可透過影像處理或電腦視覺方法來辨識點雲資料影像中的定位標記141與定位標記151。舉例來說，定位標記141與定位標記151上的結構特徵為已知，因此電腦系統110可根據分別對應於定位標記141與定位標記151的結構特徵在點雲資料影像中辨識出定位標記141與定位標記151，並且分別記錄其相對於點雲相機130的位置。

圖2係根據本發明的實施例之手術影像的定位方法1000的流程圖，手術影像的定位方法1000包括步驟S1-S9。

圖3係根據本發明的實施例之手術影像的定位方法1000的步驟S1-S4的說明示意圖。請一併參照圖1、圖2與圖3，於步驟S1，透過點雲相機130拍攝涵蓋定位標記151與定位標記141的點雲資料影像。

於步驟S2，電腦系統110會辨識點雲資料影像中的定位標記151，以計算出點雲相機130與手術部位(即：定位標記151)之間的第一轉換模型。在一些實施例中，第一轉換模型例如為第一矩陣，且第一矩陣可表示為，其中C對應至點雲相機130，A對應至定位標記151。在一些實施例中，第一矩陣包含了在三維空間中位移、旋轉等資訊以紀錄定位標記151的姿態。具體而言，在上述辨識過程中，是將定位標記151在點雲資料影像中的座標轉換為在三維點雲空間中的轉換模型，此轉換可根據點雲相機130的點雲資料來執行，此轉換也可經由合適的電腦視覺技術來求得，本發明並不限制如何計算此轉換。

步驟S1與步驟S2的細節敘述如下。首先，X光成像機140用以拍攝涵蓋定位標記151的X光影像，同時點雲相機130拍攝涵蓋定位標記151的點雲資料影像。電腦系統110可以透過任意的影像處理或電腦視覺方法來辨識上述X光影像與點雲資料影像中的定位標記151，舉例來說，定位標記151具有特定的圖案，因此電腦系統110可以根據預設圖案來尋找X光影像中的定位標記151。舉例來說，定位標記151具有特定的結構特徵，因此電腦系統110可以根據預設結構特徵來尋找點雲資料影像中的定位標記151。在辨識出定位標記151之後，可以計算X光成像機140的座標系統與點雲相機130的座標系統之間的轉換模型(即：第一轉換模型)。具體而言，定位標記151在X光成像機140的座標系統中的座標表示為向量A，定位標記151在點雲相機130的座標系統中的座標表示為向量C，在配對向量A與向量C之後，可以根據以下算式，所計算出的第一矩陣，來表示上述的轉換模型(即：第一轉換模型)。

於步驟S3，電腦系統110會辨識點雲資料影像中的定位標記141，以計算出點雲相機130與X光成像機140的接收端143(定位標記141)之間的第二轉換模型。在一些實施例中，第二轉換模型為第二矩陣，且第二矩陣可表示為，其中B對應至定位標記141。在一些實施例中，第二矩陣包含了在三維空間中位移、旋轉等資訊以紀錄定位標記141的姿態。具體而言，在上述辨識過程中，是將定位標記141在點雲資料影像中的座標轉換為在三維點雲空間中的轉換模型，此轉換可根據點雲相機130的點雲資料來執行，此轉換也可經由合適的電腦視覺技術來求得，本發明並不限制如何計算此轉換。

於步驟S4，電腦系統110會根據第一轉換模型與第二轉換模型計算出手術部位(定位標記151)與X光成像機140的接收端143(定位標記141)之間的第三轉換模型。在一些實施例中，第三轉換模型為第三矩陣，且第三矩陣可表示為，其中，意即第三矩陣可透過以下算式計算出。

圖4係根據本發明的實施例之手術影像的定位方法1000的步驟S5-S7的說明示意圖。請一併參照圖1、圖2與圖4，於步驟S5，透過影像定位相機120拍攝涵蓋定位標記151的定位影像。

於步驟S6，電腦系統110會辨識定位影像中的定位標記151，以計算出影像定位相機120與手術部位(定位標記151)之間的第四轉換模型。在一些實施例中，第四轉換模型為第四矩陣，且第四矩陣可表示為，其中P對應至影像定位相機120。在一些實施例中，第四矩陣包含了在三維空間中位移、旋轉等資訊以紀錄定位標記151的姿態。具體而言，在上述辨識過程中，是將定位標記151在定位影像中的座標轉換為在三維空間中的轉換模型，此轉換可根據影像定位相機120的定位影像資訊來執行，此轉換也可經由合適的電腦視覺技術來求得，本發明並不限制如何計算此轉換。

步驟S5與步驟S6的細節敘述如下。首先，X光成像機140用以拍攝涵蓋定位標記151的X光影像，同時影像定位相機120拍攝涵蓋定位標記151的定位影像。電腦系統110可以透過任意的影像處理或電腦視覺方法來辨識上述X光影像與定位影像中的定位標記151，舉例來說，定位標記151具有特定的圖案，因此電腦系統110可以根據預設圖案來尋找X光影像與定位影像中的定位標記151。在辨識出定位標記151之後，可以計算X光成像機140的座標系統與影像定位相機120的座標系統之間的轉換模型(即：第四轉換模型)。具體而言，定位標記151在X光成像機140的座標系統中的座標表示為向量A，定位標記151在影像定位相機120的座標系統中的座標表示為向量P，在配對向量A與向量P之後，可以根據以下算式，所計算出的第四矩陣，來表示上述的轉換模型(即：第四轉換模型)。

於步驟S7，電腦系統110會根據第三轉換模型與第四轉換模型計算出影像定位相機120與X光成像機140的接收端143(定位標記141)之間的第五轉換模型。在一些實施例中，第五轉換模型為第五矩陣，且第五矩陣可表示為，第五矩陣可透過以下算式計算出。

請回到參照圖1與圖2，於步驟S8，透過X光成像機140對手術部位拍攝X光影像。

於步驟S9，電腦系統110會根據第五轉換模型(第五矩陣 )，結合X光成像機140所拍攝的X光影像與影像定位相機120所拍攝的定位影像，以提供導航介面。電腦系統110可以根據第五轉換模型提供導航介面，例如進一步計算出影像定位相機120相對於定位標記151的位置，進而在導航介面中對應的位置顯示一虛擬物件來表示對應的脊椎骨(定位標記151)。具體而言，第五轉換模型(第五矩陣 )表示的是X光成像機140的座標系統與影像定位相機120的座標系統之間的轉換模型，因此只要持續即時地利用影像定位相機120追蹤定位標記151在影像定位相機120的座標系統的位置，經由第五轉換模型進行轉換後，便可即時地在X光影像上取得定位標記151在X光成像機140的座標系統的即時位置資訊。在手術過程中，如果定位標記151移動了，電腦系統110便可以在導航介面中改變虛擬物件的位置，如此一來不需要使用X光成像機140重複地拍攝X光影像，仍能夠得知定位標記151在導航介面中對應的位置，從而避免了X光成像機140因為頻繁的拍攝而傷害人體。

在一些實施例中，導航介面可顯示在電腦系統110的螢幕上，但在另一些實施例中，導航介面也可顯示在通訊連接電腦系統110的頭戴式裝置、平板電腦或透明顯示器上，本發明並不在此限。在一些實施例中，可以採用任意的虛擬實境、擴增實境、替代實境或混合實境等技術來形成上述的導航介面，本發明並不在此限。舉例來說，可以利用影像處理的技術分割X光影像中的定位標記151以產生對應的虛擬物件，如此一來，醫生便可以透過導航介面得知目前脊椎骨(定位標記151)的位置。

值得注意的是，圖2中各步驟可以實作為多個程式碼或電路，本發明並不在此限。此外，圖2的方法可以搭配以上實施例使用，也可以單獨使用。換言之，圖2的各步驟之間也可以加入其他的步驟。

具體而言，本發明透過點雲相機與影像定位相機來實現雙重定位校正，在拍攝X光影像時，除了藉由影像定位相機所拍攝的定位影像來偵測X光成像機與定位標記的相對關係外，本發明還進一步地使用點雲掃描技術，精準計算此關係，並依據點雲資訊進行修正，依此方式，將可大幅降低X光成像機拍攝位置紀錄誤差值。換言之，本發明以點雲資訊來校正手術部位上的定位標記與X光成像機上的定位標記之間的空間關係，以減少影像定位相機所造成的定位經度上的誤差。

習知的手術導航系統針對X光成像機(C型臂X光機)的X光影像投影位置計算僅透過影像定位相機計算拍攝X光成像機上的定位標記與手術部位上的定位標記的位置資訊，也因此其在定位的精準度上，會受到影像定位相機的定位精度的影響，其空間定位均方根誤差(RMSE)約為0.5 mm，因此在計算X光成像機上的定位標記與手術部位上的定位標記之空間關係最大誤差有可能達到1mm。而基於X光成像機(C型臂X光機)進行影像拍攝時，相較於手術動作，X光成像機(C型臂X光機)與手術部位相對靜止(沒有即時定位的需求)，因此本發明進一步地導入點雲掃描技術，校正影像定位相機的定位精度所產生的誤差，將可進一步提升手術導航系統精度。具體而言，本發明將主要影像誤差消除，使得即時空間定位誤差獲得較大的寬容度。

以上概述了數個實施例的特徵，因此熟習此技藝者可以更了解本發明的態樣。熟習此技藝者應了解到，其可輕易地把本發明當作基礎來設計或修改其他的製程與結構，藉此實現和在此所介紹的這些實施例相同的目標及/或達到相同的優點。熟習此技藝者也應可明白，這些等效的建構並未脫離本發明的精神與範圍，並且他們可以在不脫離本發明精神與範圍的前提下做各種的改變、替換與變動。

100:手術影像的定位系統 110:電腦系統 120:影像定位相機 130:點雲相機 140:X光成像機 141,151:定位標記 142:發射端 143:接收端 1000:手術影像的定位方法 S1-S9:步驟 :第一矩陣 :第二矩陣 :第三矩陣 :第四矩陣 :算式

從以下結合所附圖式所做的詳細描述，可對本發明之態樣有更佳的了解。需注意的是，根據業界的標準實務，各特徵並未依比例繪示。事實上，為了使討論更為清楚，各特徵的尺寸都可任意地增加或減少。 [圖1]係根據本發明的實施例之手術影像的定位系統的示意圖。 [圖2]係根據本發明的實施例之手術影像的定位方法的流程圖。 [圖3]係根據本發明的實施例之手術影像的定位方法的步驟的說明示意圖。 [圖4]係根據本發明的實施例之手術影像的定位方法的步驟的說明示意圖。

1000:手術影像的定位方法

S1-S9:步驟

Claims

一種手術影像的定位方法，由一電腦系統執行，包括：透過一點雲相機拍攝涵蓋一第一定位標記與一第二定位標記的一點雲資料影像，其中該第一定位標記固設於一手術部位且該第二定位標記固設於一X光成像機；由該電腦系統辨識該點雲資料影像中的該第一定位標記，以計算出該點雲相機與該手術部位之間的一第一轉換模型；由該電腦系統辨識該點雲資料影像中的該第二定位標記，以計算出該點雲相機與該X光成像機之間的一第二轉換模型；由該電腦系統根據該第一轉換模型與該第二轉換模型計算出該手術部位與該X光成像機之間的一第三轉換模型；透過一影像定位相機拍攝涵蓋該第一定位標記的一定位影像；由該電腦系統辨識該定位影像中的該第一定位標記，以計算出該影像定位相機與該手術部位之間的一第四轉換模型；及由該電腦系統根據該第三轉換模型與該第四轉換模型計算出該影像定位相機與該X光成像機之間的一第五轉換模型。
如請求項1所述之手術影像的定位方法，更包括：透過該X光成像機對該手術部位拍攝一X光影像；及由該電腦系統根據該第五轉換模型結合該X光影像與該定位影像以提供一導航介面。
如請求項1所述之手術影像的定位方法，其中該X光成像機為具有一發射端與一接收端的一C型臂X光機，且該第二定位標記固設於該接收端。
如請求項1所述之手術影像的定位方法，其中該第一定位標記與該第二定位標記分別具有可被該點雲相機進行鑑別的一結構特徵，且該第一定位標記的該結構特徵不同於該第二定位標記的該結構特徵。
如請求項1所述之手術影像的定位方法，其中該第一轉換模型為一第一矩陣，其中該第二轉換模型為一第二矩陣，其中該第三轉換模型為一第三矩陣，其中，其中該第四轉換模型為一第四矩陣，其中該第五轉換模型為一第五矩陣，其中。
一種手術影像的定位系統，包括：一第一定位標記，用以固設於一手術部位；一第二定位標記，用以固設於一X光成像機；一點雲相機，用以拍攝涵蓋該第一定位標記與該第二定位標記的一點雲資料影像；一影像定位相機，用以拍攝涵蓋該第一定位標記的一定位影像；及一電腦系統，通訊連接該點雲相機與該影像定位相機，且該電腦系統用以：辨識該點雲資料影像中的該第一定位標記，以計算出該點雲相機與該手術部位之間的一第一轉換模型；辨識該點雲資料影像中的該第二定位標記，以計算出該點雲相機與該X光成像機之間的一第二轉換模型；根據該第一轉換模型與該第二轉換模型計算出該手術部位與該X光成像機之間的一第三轉換模型；辨識該定位影像中的該第一定位標記，以計算出該影像定位相機與該手術部位之間的一第四轉換模型；及根據該第三轉換模型與該第四轉換模型計算出該影像定位相機與該X光成像機之間的一第五轉換模型。
如請求項6所述之手術影像的定位系統，其中該X光成像機用以對該手術部位拍攝一X光影像，其中該電腦系統通訊連接該X光成像機，且該電腦系統更用以：根據該第五轉換模型結合該X光影像與該定位影像以提供一導航介面。
如請求項6所述之手術影像的定位系統，其中該X光成像機為具有一發射端與一接收端的一C型臂X光機，且該第二定位標記固設於該接收端。
如請求項6所述之手術影像的定位系統，其中該第一定位標記與該第二定位標記分別具有可被該點雲相機進行鑑別的一結構特徵，且該第一定位標記的該結構特徵不同於該第二定位標記的該結構特徵。
如請求項6所述之手術影像的定位系統，其中該第一轉換模型為一第一矩陣，其中該第二轉換模型為一第二矩陣，其中該第三轉換模型為一第三矩陣，其中，其中該第四轉換模型為一第四矩陣，其中該第五轉換模型為一第五矩陣，其中。