TWI851121B

TWI851121B - 估測骨質疏鬆的方法與電子裝置

Info

Publication number: TWI851121B
Application number: TW112112281A
Authority: TW
Inventors: 柯亮宇
Original assignee: 宏碁股份有限公司
Priority date: 2023-03-30
Filing date: 2023-03-30
Publication date: 2024-08-01
Also published as: TW202438011A; US12469132B2; US20240331141A1

Abstract

一種估測骨質疏鬆的方法與電子裝置。估測骨質疏鬆的方法包括下列步驟。獲取一X光影像。將X光影像輸入至第一卷積神經網路模型而產生X光影像的骨頭機率熱圖。根據骨頭機率熱圖、X光影像與第二卷積神經網路模型估測骨密預估值。

Description

估測骨質疏鬆的方法與電子裝置

本發明是有關於一種醫療影像評估技術，且特別是有關於一種估測骨質疏鬆的方法與電子裝置。

隨著科技的進步，人工智慧(AI)技術在醫療領域的應用已經受到相當的重視。應用AI技術來提升醫療品質與減輕醫生負擔已經是一門重要課題。台灣已進入高齡化社會，骨質疏鬆者也不斷增高。骨質疏鬆症不會有明顯症狀，但罹患骨質疏鬆症會造成骨骼脆弱，骨折危險性增高。也就是說，患者可能會因輕微創傷而引發骨折，進一步引起許多症狀及功能障礙，甚至造成死亡。因此，預防及篩檢骨質疏鬆症是重要的醫學及公共健康議題。

目前來說，胸部X光檢查是一種非常普遍的醫療檢查，對一般民眾來說是一種容易進行的檢查項目。胸部X光可以直接拍攝到胸骨與脊椎骨，因此有利於骨密檢測。然而，如何根據胸部X光影像來判定骨質疏鬆的尚有諸多需要探討的問題，以確保可以更精準地判斷骨質疏鬆。

有鑑於此，本發明提供一種估測骨質疏鬆的方法與電子裝置，其可提升根據X光影像估測骨密狀態的精確度。

本發明實施例提供一種估測骨質疏鬆的方法，適於一電子裝置，包括下列步驟。獲取一X光影像。將X光影像輸入至第一卷積神經網路模型而產生X光影像的骨頭機率熱圖(heatmap)。根據骨頭機率熱圖、X光影像與第二卷積神經網路模型估測骨密預估值。

本發明實施例提供一種估測骨質疏鬆的電子裝置，其包含儲存裝置以及處理器。處理器耦接儲存裝置，並且經配置以執行下列操作。獲取一X光影像。將X光影像輸入至第一卷積神經網路模型而產生X光影像的骨頭機率熱圖。根據骨頭機率熱圖、X光影像與第二卷積神經網路模型估測骨密預估值。

基於上述，本發明實施例的估測骨質疏鬆的方法與電子裝置可根據整張X光影像提供的資訊與骨頭機率熱圖來估測骨密預估值，因此可大幅提升抗干擾性與穩定度，並提升整體骨密預測精確度。

100:電子裝置

110:收發器

120:儲存裝置

130:處理器

Img_x:X光影像

M1:第一卷積神經網路模型

H1:骨頭機率熱圖

M2:第二卷積神經網路模型

E1:骨密預估值

Img_Bn:骨頭增強影像

EP1:增強處理

C1:串聯結果

M2_net1:特徵擷取網路

M2_net2:全連接網路

F_m:特徵圖

CT1、CT2、CT3:CT影像

H_groundtruth:真實圖

Img_xt:訓練X光影像

S202~S206:步驟

圖1是依據本發明之一實施例繪示的電子裝置示意圖。

圖2是依據本發明之一實施例繪示的估測骨質疏鬆的方法流程圖。

圖3是依據本發明之一實施例繪示的利用第一卷積神經網路模型與第二卷積神經網路模型估測骨密預估值的示意圖。

圖4是依據本發明之一實施例繪示的第二卷積神經網路模型的示意圖。

圖5是依據本發明之一實施例繪示的利用第一卷積神經網路模型與第二卷積神經網路模型估測骨密預估值的示意圖。

圖6是依據本發明之一實施例繪示的利用第一卷積神經網路模型與第二卷積神經網路模型估測骨密預估值的示意圖。

圖7是依據本發明之一實施例繪示的產生用以訓練第一卷積神經網路模型的真實圖的示意圖。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與裝置的範例。

請參照圖1，其是依據本發明之一實施例繪示的電子裝置示意圖。電子裝置100為具有計算能力的計算機設備。在不同的實施例中，電子裝置100例如是各式電腦裝置及/或伺服器裝置，但可不限於此。如圖1所示，電子裝置100包括收發器110、儲存裝置120，以及處理器130。

收發器110以無線或有線的方式傳送及接收訊號。收發器110還可以執行例如低噪聲放大、阻抗匹配、混頻、向上或向下頻率轉換、濾波、放大以及類似的操作。

儲存裝置120例如是任何型態的固定式或可移動式的隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟(hard disk drive，HDD)、固態硬碟(solid state drive，SSD)或類似元件或上述元件的組合，而用於儲存可由處理器130執行的多個模組、各種程式碼或各種指令。

處理器130耦接於收發器110與儲存裝置120，並可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器(microprocessor)、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式閘陣列電路(Field Programmable Gate Array，FPGA)、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器(Advanced RISC Machine，ARM)的處理器或類似品。

在本發明的實施例中，處理器130可存取儲存裝置120中記錄的模組、程式碼來實現本發明提出的估測骨質疏鬆的方法，其細節詳述如下。

請參照圖2及圖3，其中圖2是依據本發明之一實施例繪示的估測骨質疏鬆的方法流程圖，圖3是依據本發明之一實施例繪示的利用第一卷積神經網路模型與第二卷積神經網路模型估測骨密預估值的示意圖。本實施例的方法可由圖1的電子裝置100執行，以下即搭配圖1所示的元件及圖3的示意內容說明圖2各步驟的細節。

首先，在步驟S202中，處理器130可獲取X光影像Img_x。於一些實施例中，處理器130可透過收發器110獲取X光影像Img_x。X光影像Img_x是由可發射X光的設備來產生，例如X光機。X光影像Img_x由陣列排列的多個像素組成。基於人體組織對X光的吸收能力不同，X光影像Img_x上各個像素的原始像素值取決於X光穿透人體的X光劑量。另外需要說明的是，當X光穿透人體組織時，被X光穿透的人體組織可能包括皮膚、脂肪、肌肉、臟器或/及骨頭。因此，X光影像Img_x上各個像素的像素值係取決於X光穿透的一或多種人體組織的組成。

於一些實施例中，X光影像Img_x可為胸部X光影像。或者，於其他些實施例中，X光影像Img_x可為身體其他部位的X光影像。

接著，在步驟S204中，處理器130可將X光影像Img_x輸入至第一卷積神經網路模型M1而產生X光影像Img_x的骨頭機率熱圖H1。詳細來說，第一卷積神經網路模型M1是一個經過訓練的深度學習模型。經過訓練的第一卷積神經網路模型M1的模型參數可記錄於儲存裝置120中。第一卷積神經網路模型M1可包括多個卷積層與多個池化層。卷積層可使用一或多個卷積核(Kernel)進行卷積運算。池化層用以進行池化運算。於一些實施例中，第一卷積神經網路模型M1可以使用U-Net架構作為骨幹網路。U-Net架構可包括下採樣網路部份與上採樣網路部份。或者，於其他些實施例中，第一卷積神經網路模型M1可以使用M-Net架構、U-Net++架構或其他優化後的卷積神經網路架構作為骨幹網路。

更詳細來說，處理器130可將X光影像Img_x輸入至第一卷積神經網路模型M1，以使第一卷積神經網路模型M1輸出對應的骨頭機率熱圖H1。骨頭機率熱圖H1包括多個骨頭權重值，這些骨頭權重值可分別為機率值。骨頭機率熱圖H1上的多個骨頭權重值一對一對應至X光影像Img_x上的像素。於一些實施例中，若X光影像Img_x具有m*n個像素，則第一卷積神經網路模型M1所輸出的骨頭機率熱圖H1可包括m*n個骨頭權重值。於其他實施例中，若X光影像Img_x具有m*n個像素，則第一卷積神經網路模型M1所輸出的骨頭機率熱圖可包括u*v個骨頭權重值。處理器130可再包括u*v個骨頭權重值的骨頭機率熱圖進行縮放處理，以獲取包括m*n個骨頭權重值的骨頭機率熱圖H1。可知的，X光影像Img_x上各個像素的像素值係取決於X光穿透的多種不同人體組織的組成狀態。對應的，骨頭機率熱圖H1的某一個骨頭權重值則可代表X光影像Img_x上某一像素所對應之骨頭成份的機率值。換言之，骨頭機率熱圖H1上的骨頭權重值越高，代表X光影像Img_x上對應像素所對應到的骨頭成份越大。

另外需要說明的是，為使第一卷積神經網路模型M1具備上述能力，可利用多張CT影像來產生用以訓練第一卷積神經網路模型M1的真實(ground truth)資訊。此部份將於後文詳述。

最後，在步驟S206中，處理器130可根據骨頭機率熱圖H1、X光影像Img_x與第二卷積神經網路模型M2估測骨密預估值E1。於不同實施例中，骨密預估值E1可包括骨質密度(Bone mineral density，BMD)、T評分(T-score)或Z評分(Z-score)。

詳細來說，第二卷積神經網路模型M2是一個經過訓練的深度學習模型。經過訓練的第二卷積神經網路模型M2的模型參數可記錄於儲存裝置120中。第二卷積神經網路模型M2可包括特徵擷取網路與全連接(Fully Connected)網路。特徵擷取網路為用以擷取特徵資訊的卷積神經網路，其可包括多個卷積層與多個池化層。全連接網路則用以進行回歸(regression)運算而產生骨密預估值E1。也就是說，第二卷積神經網路模型M2的輸出資訊為骨密預估值E1。

須注意的是，不同實施例中，第二卷積神經網路模型M2的輸入資訊可實施為不同樣態。然而，於一些實施例中，第二卷積神經網路模型M2的輸入資訊必然包括骨頭機率熱圖H1。透過將骨頭機率熱圖H1提供給第二卷積神經網路模型M2，第二卷積神經網路模型M2可獲取X光影像Img_x上每個像素的骨頭成份的機率。於是，第二卷積神經網路模型M2可基於骨頭機率熱圖H1來決定參考X光影像Img_x上的哪些像素，從而更準確地預估出骨密預估值E1。換言之，第二卷積神經網路模型M2可參考骨頭機率熱圖H1上的骨頭權重值來達到加強專注在骨頭上的效果。

如圖3所示，於一些實施例中，第二卷積神經網路模型M2的輸入資訊可包括骨頭增強影像Img_Bn與骨頭機率熱圖H1。於此，處理器130可根據X光影像Img_x與骨頭機率熱圖H1產生骨頭增強影像Img_Bn。換言之，處理器130可根據骨頭機率熱圖H1對X光影像Img_x進行增強處理EP1而產生骨頭增強影像Img_Bn。骨頭增強影像Img_Bn可視為經過增強處理EP1的增強X光影像。

詳細來說，處理器130可根據骨頭機率熱圖H1上的骨頭權重值來調整X光影像Img_x上各像素的原始像素值，從而產生Img_Bn上的各像素的增強像素值。於一些實施例中，增強處理EP1包括以下操作。處理器130可根據一預設比例參數計算X光影像Img_x上各像素的正規化像素值。接著，處理器130可根據預設比例參數以及X光影像Img_x上各像素所對應的正規化像素值、原始像素值與骨頭權重值，計算出骨頭增強影像Img_Bn上各像素的增強像素值。骨頭機率熱圖H1包括X光影像Img_x上各像素所對應的骨頭權重值。

舉例來說，處理器130可根據下列公式(1)計算出X光影像Img_x上各像素的正規化像素值，並根據下列公式(2)計算出骨頭增強影像Img_Bn上的各像素的增強像素值。

其中，

為X光影像Img_x上像素P_x,y的正規化像素值；

為X光影像Img_x上像素P_x,y的原始像素值；A _mean為X光影像Img_x上所有像素的原始像素值的平均；A_SD為X光影像Img_x上所有像素的原始像素值的標準差；

為骨頭機率熱圖H1上對應於X光影像Img_x的像素P_x,y的骨頭權重植；

為骨頭增強影像Img_Bn上的像素Pe_x,y的增強像素值；α為預設比例參數。於此，x與y代表像素位置。

基於公式(1)與公式(2)，當預設比例參數α增加，可提高根據骨頭機率熱圖H1增強X光影像Img_x的增強幅度。當預設比例參數α減少，可降低根據骨頭機率熱圖H1增強X光影像Img_x的增強幅度。

又或者，舉例來說，處理器130可根據下列公式(3)計算出骨頭增強影像Img_Bn上的各像素的增強像素值。

其中，

為X光影像Img_x上像素P_x,y的原始像素值；

基於公式(3)，當預設比例參數α增加，可增加X光影像Img_x的比重並減低骨頭機率熱圖H1的比重。當預設比例參數α減少，可減少X光影像Img_x的比重並增加骨頭機率熱圖H1的比重。

透過利用骨頭機率熱圖H1來對X光影像Img_x進行增強處理EP1，骨頭增強影像Img_Bn中對應至高骨頭權重的增強像素值是經過較高幅度增強而產生，則骨頭增強影像Img_Bn中對應至低骨頭權重的增強像素值是經過較低幅度增強而產生。換言之，X光影像Img_x中對應至高骨頭成份的像素可以有效被加強。如圖3所示，骨頭增強影像Img_Bn可更清晰地呈現出人體骨頭。

之後，處理器130可將骨頭增強影像Img_Bn與骨頭機率熱圖H1輸入至第二卷積神經網路模型M2，以估測骨密預估值E1。第二卷積神經網路模型M2可為單輸入單輸出模型。於一些實施例中，第二卷積神經網路模型M2可包括特徵擷取網路與全連接網路。特徵擷取網路連接全連接網路。於一些實施例中，全連接網路可包括全局平均池化(Global average pooling，GAP)層。於一些實施例中，全連接網路可由全局平均池化(Global average pooling，GAP)層來實現。

詳細來說，圖4是依據本發明之一實施例繪示的第二卷積神經網路模型的示意圖。請參照圖4，於本實施例中，處理器130可串聯(concatenate)骨頭增強影像Img_Bn與骨頭機率熱圖H1，以產生串聯結果C1。串聯結果C1是透過結合骨頭增強影像Img_Bn與骨頭機率熱圖H1而生成。串聯(concatenate)處理是通道數的合併。於此，骨頭增強影像Img_Bn的通道數與骨頭機率熱圖H1的通道數為1。透過串聯處理，串聯結果C1的通道數為2。然而，於其他實施例中，處理器130可以融合方式來融合骨頭增強影像Img_Bn與骨頭機率熱圖H1。

於圖4所示的實施例中，處理器130可將骨頭增強影像Img_Bn與骨頭機率熱圖H1的串聯結果C1輸入至第二卷積神經網路模型M2，以估測骨密預估值E1。於圖4的實施例中，第二卷積神經網路模型M2包括特徵擷取網路M2_net1與全連接網路M2_net2。全連接網路M2_net2可包括全局平均池化層或由全局平均池化層來取代。特徵擷取網路M2_net1的中卷積層與池化層的數量與配置可依據實際需求而設置。於一些實施例中，特徵擷取網路M2_net1例如是緊密連接卷積網路(Densely connected convolution network，DenseNet)，但可不限於此。特徵擷取網路M2_net1可根據串聯結果C1進行特徵擷取(包括卷積處理與池化處理等等)而產生多張特徵圖F_m。其中，特徵擷取網路M2_net1中各卷積層所輸出的特徵圖的數量端視各個卷積層所使用的卷積核數量。

接著，處理器130可將多張特徵圖F_m饋入全連接網路M2_nt2。全連接網路M2_net2可根據多張特徵圖F_m進行回歸運算而輸出骨密預估值E1。於一些實施例中，這些特徵圖F_m可經過全局平均池化層處理之後才進行回歸運算而骨密預估值E1。

由此可見，第二卷積神經網路模型M2可根據骨頭機率熱圖H1得知骨頭增強影像Img_Bn中哪些像素的參考價值較高，並得知骨頭增強影像Img_Bn中哪些像素比較不具有參考價值。因此，第二卷積神經網路模型M2所估測的骨密預估值E1的準確度可有效提昇。並且，骨頭機率熱圖H1可達到像素層級(pixel level)的人體骨頭感知度，因而可大幅提升抗干擾性與穩定度。

另外需要說明的是，於第二卷積神經網路模型M2的訓練過程中，訓練資料中的真實骨密度可透過骨密測量儀器獲取。並且，訓練資料中的X光影像訓練集可透過X光機拍攝而獲取。或者，訓練資料中的X光影像訓練集可透過多張電腦斷層掃描(Computed Tomography，CT)影像模擬產生。此外，在完成第一卷積神經網路模型M1的訓練之後，處理器130可根據X光影像訓練集與經訓練的第一卷積神經網路模型M1產生用以進行模型訓練的多張骨頭機率熱圖。於第二卷積神經網路模型M2的訓練過程中，處理器130可根據真實骨密度、第二卷積神經網路模型M2輸出的骨密預估值與損失函數來計算出損失值。處理器130可根據損失函數所產生的損失值來調整第二卷積神經網路模型M2的模型權重，並判斷第二卷積神經網路模型M2是否學習完成。

此外，圖3是以第二卷積神經網路模型M2的輸入資訊包括骨頭增強影像Img_Bn與骨頭機率熱圖H1為實施範例說明。但是，於另一些實施例中，第二卷積神經網路模型M2的輸入資訊可包括X光影像Img_x與骨頭機率熱圖H1。或者，於又一些實施例中，第二卷積神經網路模型M2的輸入資訊可包括X光影像Img_x、骨頭增強影像Img_Bn與骨頭機率熱圖H1。

請參照圖5，其是依據本發明之一實施例繪示的利用第一卷積神經網路模型與第二卷積神經網路模型估測骨密預估值的示意圖。在處理器130利用第一卷積神經網路模型M1產生X光影像Img_x的骨頭機率熱圖H1之後，處理器130可將X光影像Img_x與骨頭機率熱圖H1輸入至第二卷積神經網路模型M2，以估測骨密預估值E1。於此，處理器130可例如依據圖4所示機制來將X光影像Img_x與骨頭機率熱圖H1進行串聯後，再將通道數為2的串聯結果饋入第二卷積神經網路模型M2中的特徵擷取網路M2_net1。

請參照圖6，其是依據本發明之一實施例繪示的利用第一卷積神經網路模型與第二卷積神經網路模型估測骨密預估值的示意圖。處理器130利用第一卷積神經網路模型M1產生X光影像Img_x的骨頭機率熱圖H1，並根據骨頭機率熱圖H1對X光影像Img_x進行增強處理EP1而產生骨頭增強影像Img_Bn，其細節已於前文說明，於此不另贅述。之後，處理器130可將X光影像Img_x、骨頭增強影像Img_Bn與骨頭機率熱圖H1輸入至第二卷積神經網路模型，以估測骨密預估值E1。於此，處理器130可例如依據圖4所示機制來將X光影像Img_x、骨頭增強影像Img_Bn與骨頭機率熱圖H1進行串聯，而產生通道數為3的串聯結果。之後，處理器130可將通道數為3的串聯結果饋入第二卷積神經網路模型M2中的特徵擷取網路M2_net1。

關於第一卷積神經網路模型M1的訓練，請參照圖7，其是依據本發明之一實施例繪示的產生用以訓練第一卷積神經網路模型的真實圖的示意圖。於一些實施例中，處理器130可例利用多張CT影像(例如圖7所示的CT影像CT1、CT2、CT3)訓練第一卷積神經網路模型M1。用以訓練第一卷積神經網路模型M1的真實(ground truth)圖H_groundtruth是根據這些CT影像而產生。

詳細來說，CT影像事實上是人體的截面掃描影像。於此，CT影像表示為XY平面影像。對應的，X光影像事實上是人體的投影影像，因此其可表示為XZ平面影像。根據CT影像上各像素點的CT值，處理器130可將CT影像上的像素點可直接分類為骨頭類別或非骨頭類別。更具體來說，CT值(又稱為Hounsfield unit(HU)value，HU值)介於300至700之間的像素點可分類為骨頭類別。相反地，CT值未介於300至700之間的像素點可分類為非骨頭類別。於圖7的範例中，根據CT影像CT1(即第一CT影像)上的各像素的CT值，處理器130可將CT影像CT1(即第一CT影像)上的各像素分類為骨頭類別或非骨頭類別。

在所有CT影像的像素都可被分類為骨頭類別或非骨頭類別的條件下，處理器130可根據沿著Z軸的多張CT影像(例如CT影像CT1、CT2、CT3)來模擬產生出用以訓練第一卷積神經網路模型M1的訓練X光影像Img_xt。處理器130例如可基於「Bone Structures Extraction and Enhancement in Chest Radiographs via CNN Trained on Synthetic Data」文獻中記載的技術來模擬產生出訓練X光影像Img_xt。故相關細節可參照上述文獻，於此不另贅述。或者，於另一些實施例中，用以訓練一卷積神經網路模型M1的X光影像訓練集可透過實際使用X光機拍攝而產生。

此外，於一些實施例中，處理器130可將CT影像CT1(即第一CT影像)上X軸座標分量(即第一座標分量)同為n且分類為骨頭類別的像素的CT值加總而獲取第一加總值，其中n為整數。處理器130可將CT影像CT1(即第一CT影像)上X軸座標分量(即第一座標分量)同為n的所有像素的CT值加總而獲取第二加總值。換言之，X軸座標相同且分類為骨頭類別的像素的CT值可以被加總，以產生第一加總值。另外，X軸座標相同的像素的CT值也可以被加總，以產生第二加總值。之後，透過將第一加總值除以第二加總值，處理器130可獲取真實圖H_groundtruth上的一個骨頭機率熱力真實值。於是，根據沿著Z軸的多張CT影像的資訊，處理器130可獲取真實圖H_groundtruth上的所有骨頭機率熱力真實值。可知的，基於一張CT影像，處理器130可產生真實圖H_groundtruth上延X軸方向之一橫行的多個骨頭機率熱力真實值。

舉例來說，處理器130可根據下列公式(3)至公式(5)產生真實圖H_groundtruth的骨頭機率熱力真實值。

其中，HU代表CT影像的CT值；

為位於CT影像上沿Y軸方向之一直行上且對應於骨頭類別的CT值的加總值(即第一加總值)；

為位於CT影像上沿Y軸方向之一直行上且對應於非骨頭類別的CT值的加總值；x與z代表骨頭機率熱力真實值的位置；y代表CT值的Y軸位置。此外，

代表位於CT影像上沿Y軸方向之一直行上所有CT值的加總值(即第二加總值)。

為真實圖H_groundtruth上的骨頭機率熱力真實值。

如此一來，透過公式(3)至公式(5)，處理器130可根據多張CT影像獲取真實圖H_groundtruth上的所有骨頭機率熱力真實值。於是，處理器130可根據真實圖H_groundtruth與訓練X光影像Img_xt來訓練第一卷積神經網路模型M1。更具體來說，處理器130可將訓練X光影像Img_xt輸入至第一卷積神經網路模型M1而產生一預測結果，處理器130可根據損失函數來計算上述預測結果與真實圖H_groundtruth之間的差距來更新第一卷積神經網路模型M1的模型參數。當損失函數所產生的損失值符合條件，處理器130可判定第一卷積神經網路模型M1訓練完成。於是，經過訓練的第一卷積神經網路模型M1可用於輔助估測人體的骨密預估值E1。

然而，於其他實施例中，雙能量X光機(Dual-energy X-ray absorptiometry，DXA)可直接輸出骨頭X光影像與胸部X光影像。因此，可直接將雙能量X光機產生的骨頭X光影像作為真實圖，並將雙能量X光機產生的胸部X光影像作為訓練X光影像，以訓練出用以預估骨頭機率熱圖的第一卷積神經網路模型M1。

在本發明的實施例中，處理器130可將骨密預估值E1提供予相關醫療人員，以作為診斷上的參考，但可不限於此。

綜上所述，本發明提出的估測骨質疏鬆的方法可先利用卷積神經網路模型來產生X光影像的骨頭機率熱圖。之後，另一卷積神經網路模型可基於骨頭機率熱圖與X光影像來預估受測者的骨密預估值。由此可見，本發明實施例可利用整張X光影像上的骨頭，不需要擷取特定部份範圍而捨棄X光影像上面的部份骨頭。此外，本發明實施例可將經過清晰化的骨頭增強影像與骨頭機率熱圖同時輸入至卷積神經網路模型，以使此卷積神經網路模型可參考骨頭機率熱圖來達到更加強專注在骨頭上進行預估的效果。因此，可大幅提升抗干擾性與穩定度，並提升整體骨密預測精確度。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S202~S206:步驟

Claims

一種估測骨質疏鬆的方法，適於一電子裝置，包括：獲取一X光影像；將該X光影像輸入至一第一卷積神經網路模型而產生該X光影像的一骨頭機率熱圖（heatmap）；以及根據該骨頭機率熱圖、該X光影像與一第二卷積神經網路模型估測一骨密預估值。
如請求項1所述的估測骨質疏鬆的方法，其中該X光影像為一胸部X光影像。
如請求項1所述的估測骨質疏鬆的方法，其中根據該骨頭機率熱圖、該X光影像與該第二卷積神經網路模型估測該骨密預估值的步驟包括：將該X光影像與該骨頭機率熱圖輸入至該第二卷積神經網路模型，以估測該骨密預估值。
如請求項1所述的估測骨質疏鬆的方法，其中根據該骨頭機率熱圖、該X光影像與該第二卷積神經網路模型估測該骨密預估值的步驟包括：根據該X光影像與該骨頭機率熱圖產生一骨頭增強影像；以及將該骨頭增強影像與該骨頭機率熱圖輸入至該第二卷積神經網路模型，以估測該骨密預估值。
如請求項4所述的估測骨質疏鬆的方法，其中根據該X光影像與該骨頭機率熱圖產生該骨頭增強影像的步驟包括：根據一預設比例參數計算該X光影像上各像素的正規化像素值；以及根據該預設比例參數、該X光影像上各像素所對應的該正規化像素值、一原始像素值與一骨頭權重值，計算出該骨頭增強影像上的各像素的增強像素值，其中該骨頭機率熱圖包括該X光影像上各像素所對應的該骨頭權重值。
如請求項4所述的估測骨質疏鬆的方法，其中將該骨頭增強影像與該骨頭機率熱圖輸入至該第二卷積神經網路模型，以估測該骨密預估值的步驟包括：將該X光影像、該骨頭增強影像與該骨頭機率熱圖輸入至該第二卷積神經網路模型，以估測該骨密預估值。
如請求項4所述的估測骨質疏鬆的方法，其中將該骨頭增強影像與該骨頭機率熱圖輸入至該第二卷積神經網路模型，以估測該骨密預估值的步驟包括：串聯該骨頭增強影像與該骨頭機率熱圖；以及將該骨頭增強影像與該骨頭機率熱圖的串聯結果輸入至該第二卷積神經網路模型，以估測該骨密預估值，其中該骨頭增強影像的通道數與該骨頭機率熱圖的通道數為1，且該串聯結果的通道數為2。
如請求項1所述的估測骨質疏鬆的方法，其中該第二卷積神經網路模型包括一特徵擷取網路，該第二卷積神經網路模型包括一全連接網路，該特徵擷取網路連接該全連接網路。
如請求項8所述的估測骨質疏鬆的方法，其中該全連接網路包括一全局平均池化（Global average pooling，GAP）層。
如請求項1所述的估測骨質疏鬆的方法，其中該骨密預估值包括骨質密度（Bone mineral density，BMD）、T評分（T-score）或Z評分（Z-score）。
如請求項1所述的估測骨質疏鬆的方法，其更包括：利用多張CT影像訓練該第一卷積神經網路模型，其中用以訓練該第一卷積神經網路模型的一真實（ground truth）圖是根據該些CT影像而產生。
如請求項11所述的估測骨質疏鬆的方法，其中該些CT影像包括第一CT影像，利用該些CT影像訓練該第一卷積神經網路模型的步驟包括：將該第一CT影像上的各像素分類為骨頭類別或非骨頭類別；將該第一CT影像上第一座標分量為n且分類為該骨頭類別的像素的CT值加總而獲取第一加總值，並將該第一CT影像上第一座標分量為n的所有像素的CT值加總而獲取第二加總值；以及透過將該第一加總值除以該第二加總值，獲取該真實圖上的一骨頭機率熱力真實值。
一種估測骨質疏鬆的電子裝置，包括：一儲存裝置，記錄有多個模組；以及處理器，耦接所述儲存裝置，並且經配置存取所述模組而執行：獲取一X光影像；將該X光影像輸入至一第一卷積神經網路模型而產生該X光影像的一骨頭機率熱圖（heatmap）；以及根據該骨頭機率熱圖、該X光影像與一第二卷積神經網路模型估測一骨密預估值。