TWI848575B - 圖像重建方法、電子設備及儲存介質 - Google Patents
圖像重建方法、電子設備及儲存介質 Download PDFInfo
- Publication number
- TWI848575B TWI848575B TW112106173A TW112106173A TWI848575B TW I848575 B TWI848575 B TW I848575B TW 112106173 A TW112106173 A TW 112106173A TW 112106173 A TW112106173 A TW 112106173A TW I848575 B TWI848575 B TW I848575B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- radial basis
- basis function
- image reconstruction
- function network
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 121
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 3
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申請提供一種圖像重建方法、電子設備及儲存介質，所述方法包括：透過獲取目標拍攝設備拍攝得到的物體的待重建圖像，以及物體的樣本圖像；基於待重建圖像與樣本圖像訓練徑向基函數網路；基於反卷積演算法將徑向基函數網路轉換為圖像重建模型，所述圖像重建模型用於對目標拍攝設備拍攝的圖像進行重建。本申請的方法能夠輔助圖像重建，提高待重建圖像的清晰率。
Description
本發明涉及圖像重建技術領域，特別是指一種圖像重建方法、電子設備及儲存介質。
為了提高手機的屏佔比從而為用戶提供更好的使用體驗，針對手機前置的屏下攝像頭的設計不斷往縮小式方向發展。屏下攝像頭安裝在顯示螢幕下方，屏下攝像頭對應位置上方的顯示螢幕的顯示區域的發光二極體之間的間隙將顯示圖元進行重新排列，讓外部光線可以透過顯示圖元的間隙投射到屏下攝像頭。然而由於顯示圖元的間隙很小，投射到屏下攝像頭的光線會發生衍射現象，使得點光源投射到屏下攝像頭時發生擴散現象，造成屏下攝像頭拍攝得到的圖像出現退化，例如屏下攝像頭拍攝得到的圖像中會出現模糊等。
鑒於以上內容，有必要提供一種圖像重建方法、電子設備及儲存介質，能夠輔助圖像重建，提高待重建圖像的清晰度。
所述圖像重建方法包括：獲取目標拍攝設備拍攝得到的物體的待重建圖像，以及所述物體的樣本圖像；基於所述待重建圖像與所述樣本圖像訓練徑向基函數網路；基於反卷積演算法將所述徑向基函數網路轉換為圖像重建模型，所述圖像重建模型用於對所述目標拍攝設備拍攝的圖像進
行重建。
可選地，所述徑向基函數網路包括輸入層、隱藏層與輸出層，其中：所述輸入層用於作為所述徑向基函數網路的輸入端；所述隱藏層以徑向基函數作為基底函數，所述隱藏層與所述輸出層全連接；所述輸出層基於累加函數輸出所述徑向基函數網路的輸出結果。
可選地，所述基於所述待重建圖像與所述樣本圖像訓練徑向基函數網路包括：初始化所述徑向基函數網路的結構參數與損失函數。
可選地，所述基於所述待重建圖像與所述樣本圖像訓練徑向基函數網路還包括：對所述徑向基函數網路的結構參數進行優化，直至將所述樣本圖像作為所述徑向基函數網路的輸入後，所述徑向基函數網路的輸出結果對應的所述損失函數收斂至預設的數值。
可選地，所述徑向基函數網路用於類比所述目標拍攝設備對應的點擴散函數模型。
可選地，所述損失函數包括二範數。
可選地，對所述徑向基函數網路進行優化使用的優化演算法包括梯度下降演算法。
可選地，所述反卷積演算法包括Weiner反卷積演算法。
所述電腦可讀儲存介質儲存有至少一個指令，所述至少一個指令被處理器執行時實現所述圖像重建方法或所述圖像重建方法。
所述電子設備包括儲存器和至少一個處理器，所述儲存器中儲存有至少一個指令，所述至少一個指令被所述至少一個處理器執行時實現所述圖像重建方法。
相較於習知技術，本申請實施例提供的圖像重建方法，本申請提供的圖像重建方法，透過獲取目標拍攝設備拍攝得到的物體的待重建圖像，以及所述物體的樣本圖像；基於所述待重建圖像與所述樣本圖像訓練徑向基函數網路；基於反卷積演算法將所述徑向基函數網路轉換為圖像重建模
型，所述圖像重建模型用於對所述目標拍攝設備拍攝的圖像進行重建。能夠利用多個徑向函數及誤差函數，訓練得到將未加螢幕的樣本圖像退化為趨近於迭加螢幕的待重建圖像的徑向基底網路，基於反卷積演算法將徑向基底網路轉換為圖像重建模型，利用圖像重建模型對其他目標拍攝設備拍攝的圖像進行重建，可以提高待重建圖像的清晰度與圖像重建的效率，還可以降低圖像重建的成本。
3:電子設備
30:圖像重建系統
31:儲存器
32:處理器
S1~S3:步驟
為了更清楚地說明本申請實施例或習知技術中的技術方案，下面將對實施例或習知技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。
圖1是本申請實施例提供的圖像重建方法的流程圖。
圖2是本申請實施例提供的徑向基函數網路的網路結構示例圖一。
圖3是本申請實施例提供的徑向基函數網路的網路結構示例圖二。
圖4是本申請實施例提供的圖像重建方法的示例圖。
圖5是本申請實施例提供的電子設備的架構圖。
如下具體實施方式將結合上述附圖進一步說明本申請。
為了能夠更清楚地理解本申請的上述目的、特徵和優點，下面結合附圖和具體實施例對本申請進行詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。
在下面的描述中闡述了很多具體細節以便於充分理解本申請，所
描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本申請的技術領域的技術人員通常理解的含義相同。本文中在本申請的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本申請。
在一個實施例中，為了提高手機的屏佔比從而為用戶提供更好的使用體驗，針對手機前置的屏下攝像頭的設計不斷往縮小式方向發展。屏下攝像頭安裝在顯示螢幕下方，屏下攝像頭對應位置上方的顯示螢幕的顯示區域的發光二極體之間的間隙將顯示圖元進行重新排列，讓外部光線可以透過顯示圖元的間隙投射到屏下攝像頭。然而由於顯示圖元的間隙很小，投射到屏下攝像頭的光線會發生衍射現象，使得點光源投射到屏下攝像頭時發生擴散現象，造成屏下攝像頭拍攝得到的圖像出現退化，例如屏下攝像頭拍攝得到的圖像中會出現模糊等。
為了消除光線衍射造成的屏下攝像頭拍攝得到的圖像的模糊，需要對屏下攝像頭拍攝得到的圖像進行重建，常用技術使用的方法直接使用深度學習網路建構一個龐大的處理網路，雖然往往可以呈現不錯的重建效果，但這種方法非常耗時。
為了解決上述問題，本申請實施例提供的圖像重建方法，透過獲取目標拍攝設備拍攝得到的物體的待重建圖像，以及所述物體的樣本圖像；基於所述待重建圖像與所述樣本圖像訓練徑向基函數網路；基於反卷積演算法將所述徑向基函數網路轉換為圖像重建模型，所述圖像重建模型用於對所述目標拍攝設備拍攝的圖像進行重建。能夠利用多個徑向函數及誤差函數，訓練得到將未加螢幕的樣本圖像退化為趨近於迭加螢幕的待重建圖像的徑向基底網路，基於反卷積演算法將徑向基底網路轉換為圖像重建模
型，利用圖像重建模型對其他目標拍攝設備拍攝的圖像進行重建，可以提高待重建圖像的清晰度與圖像重建的效率，還可以降低圖像重建的成本。
參閱圖1所示，為本申請較佳實施例的圖像重建方法的流程圖。
在本實施例中，所述圖像重建方法可以應用於電子設備(例如圖5所示的電子設備3)，電子設備上集成本申請實施例的方法所提供的圖像重建的功能，或者以軟體開發套件(Software Development Kit，SDK)的形式運行在電子設備中，所述電子設備可以是電腦、伺服器、筆記型電腦等設備。
如圖1所示，所述圖像重建方法具體包括以下步驟，根據不同的需求，該流程圖中步驟的順序可以改變，某些步驟可以省略。
步驟S1，獲取目標拍攝設備拍攝得到的物體的待重建圖像，以及所述物體的樣本圖像。
在一個實施例中，所述目標拍攝設備可以是屏下攝像頭(Under-Display Camera，UDC)，所述物體可以是任意的場景或物體。所述樣本圖像表示所述物體的標準圖像(Ground Truth圖像)，可以利用高解析度的攝像裝置拍攝所述物體得到所述樣本圖像。
具體地，所述待重建圖像與所述樣本圖像是在同一角度、距離下拍攝得到的同一物體的圖像，所述待重建圖像與所述樣本圖像的尺寸、大小一致，僅有解析度不同。
步驟S2，基於所述待重建圖像與所述樣本圖像訓練徑向基函數網路。
在一個實施例中，目標設備(例如屏下攝像頭)拍攝得到的待重建圖像會出現模糊，是由於環境光源與點擴散函數(Point Spread Function,PSF)進行迴旋積分(convolution integral)的結果。透過類比目標設備對應的點擴散函數，就可以基於逆轉換實現對待重建圖像的重建還原。
因此，將樣本圖像作為徑向基函數網路的輸入，透過徑向基函數
網路來模擬迴旋積分，使徑向基函數網路的輸出圖像無限接近待重建圖像，得到的徑向基函數網路的神經元與網路權重的組合將近似於目標設備對應的點擴散函數模型。
在一個實施例中，所述徑向基函數網路用於類比所述目標拍攝設備對應的點擴散函數模型。
在一個實施例中，所述徑向基函數網路(Radial basis function,RBF)是一種可以將n維的輸入資料投影至m維空間的三層網路結構，其中，n、m都表示大於或等於1的正整數。因此可以將圖像(例如，樣本圖像)轉化為n維向量，從而將圖像對應的n維向量作為所述徑向基函數網路的輸入資料，得到輸出的m維向量對應的圖像。
所述徑向基函數網路包括輸入層、隱藏層與輸出層，其中：所述輸入層用於作為所述徑向基函數網路的輸入端；所述隱藏層以徑向基函數作為基底函數，所述隱藏層與所述輸出層全連接；所述輸出層基於累加函數輸出所述徑向基函數網路的輸出結果。其中，所述徑向基函數包括高斯徑向基函數。
在一個實施例中，所述基於所述待重建圖像與所述樣本圖像訓練徑向基函數網路包括：初始化所述徑向基函數網路的結構參數與損失函數。其中，所述初始化包括但不限於隨機初始化，所述結構參數包括但不限於所述徑向基網路的隱藏層與輸出層的神經元之間的連接權重，所述損失函數包括但不限於二範數。
在一個實施例中，所述損失函數用於指示所述徑向基函數網路的輸出圖像與所述待重建圖像之間的差異，當所述損失函數收斂至預設的數值(例如，0.02)時，可以確定所述輸出圖像已經無限接近所述待重建圖像。
在一個實施例中，如圖2所示，為本申請實施例提供的徑向基函數網路的網路結構示例圖一，其中左側的黑色填充的圓形表示輸入層的多個神經元，中間灰色填充的圓形表示隱藏層的多個神經元kj，右側的白色
填充的圓形表示輸出層的多個神經元。
如圖2所示，徑向基函數網路中間的每個隱藏層的神經元都與右側的輸出層的所有神經元連接，並且具有對應的連接權重，例如圖中的權重w 0，0、權重w 0，1等。
其中，x=(x 1,x 2,...,x i ,...x n )表示輸入資料，y=(y 1,y 2,...,y v ,...y m )表示輸出結果，並且基於高斯徑向基函數可以得到：
，其中，i、j、v、m、n的取值都為大於或等於1的正整數，μ p 表示高斯徑向基函數的第p個中心點，σ表示x i 的標準方差。
在一個實施例中，所述結構參數還包括所述中心點的取值。
在一個實施例中，如圖3所示，為本申請實施例提供的徑向基函數網路的網路結構示例圖二。相較於圖2，圖3中的網路結構為簡化後的示例圖。其中，δ n 表示隱藏層的第n個神經元，其中每個隱藏層的神經元對應的高斯徑向基函數被簡化為高斯脈衝函數。
在一個實施例中，所述基於所述待重建圖像與所述樣本圖像訓練徑向基函數網路還包括：對所述徑向基函數網路的結構參數進行優化，直至將所述樣本圖像作為所述徑向基函數網路的輸入後，所述徑向基函數網路的輸出結果對應的所述損失函數收斂至預設的數值。
在一個實施例中，由於初始化所述徑向基函數網路的結構參數與損失函數時採用了隨機初始化方法，無法保證初始化得到的徑向基函數網路達到預期的損失函數收斂的效果，因此需要對所述徑向基函數網路的進行優化，對所述徑向基函數網路進行優化使用的優化演算法包括梯度下降演算法。
具體地，參考圖3中的權重w=(w 1,w 2,...,w i ,...w n )，二範數損失函數可以表示為：L(x,w)=(y-y')2=(y-Σ i w i x i )2，梯度下降演算法(Gradient Descent)可以表示為：
，使用梯
度下降演算法對權重進行優化時的反覆運算更新可以表示為：w i,t+1=w i,t -η△w i ，w i,t 表示第t次反覆運算更新後得到的權重，t表示大於或等於1的正整數，η表示梯度下降演算法的學習率(Learning Rate)。
在一個實施例中，利用梯度下降演算法能夠使得所述損失函數不斷收斂，直至收斂到預設的數值，得到對應的預期的徑向基函數網路。
步驟S3，基於反卷積演算法將所述徑向基函數網路轉換為圖像重建模型，所述圖像重建模型用於對所述目標拍攝設備拍攝的圖像進行重建。
在一個實施例中，上述方法中使用徑向基函數網路類比了對樣本圖像進行退化得到待重建圖像的點擴散函數，為了對其他待重建圖像進行重建還原，需要對所述徑向基函數進行反卷積(Deconvolution)，從而將所述徑向基函數網路轉換為圖像重建模型。
在一個實施例中，所述反卷積演算法包括Weiner反卷積演算法。Weiner反卷積演算法是一種非盲線性圖像恢復演算法，具體地，將清晰的樣本圖像x退化為模糊的待重建圖像y的轉化關係視為：
，其中h表示模糊核，Q表示雜訊，
表示卷積。Weiner反卷積演算法的原理包括使用一個Wiener卷積核G，使得G 
y與x之間的差異達到最小。
在一個實施例中，而由上述步驟S2中的徑向基函數網路模型，已經可以得知模糊核與雜訊的具體作用方式，因此，可以直接對徑向基函數網路模型進行非盲的Weiner反卷積演算法，得到所述圖像重建模型。具體使用的公式為本領域常用手段，不再進行描述。
在一個實施例中，本申請提供的圖像重建方法僅使用了樣本圖像與待重建圖形進行網路與模型的訓練，訓練成本教下且訓練過程的計算量較小，可以直接集成在目標拍攝設備內，例如，集成在包含屏下攝像頭的手機中。當用戶使用屏下攝像頭拍攝圖片後，可以快速得到拍攝的圖像的重建圖像，從而方便用戶對重建圖像進行預覽。
在一個實施例中，如圖4所示，為本申請實施例提供的圖像重建方法的示例圖。其中，x圖像為高清晰度的樣本圖像，y圖像為模糊的待重建圖像，x'表示對待重建圖像進行圖像重建後的提高了清晰度的圖像。可以看出，本申請實施例提供的圖像重建方法能夠有效降低待重建圖像的模糊度，提高待重建圖像的清晰度。
在一個實施例中，本申請提供的圖像重建方法，透過獲取目標拍攝設備拍攝得到的物體的待重建圖像，以及所述物體的樣本圖像；基於所述待重建圖像與所述樣本圖像訓練徑向基函數網路；基於反卷積演算法將所述徑向基函數網路轉換為圖像重建模型，所述圖像重建模型用於對所述目標拍攝設備拍攝的圖像進行重建。能夠利用多個徑向函數及誤差函數，訓練得到將未加螢幕的樣本圖像退化為趨近於迭加螢幕的待重建圖像的徑向基底網路，基於反卷積演算法將徑向基底網路轉換為圖像重建模型，利用圖像重建模型對其他目標拍攝設備拍攝的圖像進行重建，可以提高待重建圖像的清晰度與圖像重建的效率，還可以降低圖像重建的成本。
上述圖1詳細介紹了本申請的圖像重建方法，下面結合圖5，對實現所述圖像重建方法的軟體系統的功能模組以及實現所述圖像重建方法的硬體裝置架構進行介紹。
應該瞭解，所述實施例僅為說明之用，在專利申請範圍上並不受此結構的限制。
參閱圖5所示，為本申請較佳實施例提供的電子設備的結構示意圖。
在本申請較佳實施例中，所述電子設備3包括儲存器31、至少一個處理器32。本領域技術人員應該瞭解，圖5示出的電子設備的結構並不構成本申請實施例的限定，既可以是匯流排型結構，也可以是星形結構，所述電子設備3還可以包括比圖示更多或更少的其他硬體或者軟體，或者不同的部件佈置。
在一些實施例中，所述電子設備3包括一種能夠按照事先設定或儲存的指令，自動進行數值計算和/或資訊處理的終端，其硬體包括但不限於微處理器、專用積體電路、可程式化邏輯閘陣列、數位訊號處理器及嵌入式設備等。
需要說明的是，所述電子設備3僅為舉例，其他現有的或今後可能出現的電子產品如可適應於本申請，也應包含在本申請的保護範圍以內，並以引用方式包含於此。
在一些實施例中，所述儲存器31用於儲存程式碼和各種資料。例如，所述儲存器31可以用於儲存安裝在所述電子設備3中的圖像重建系統30，並在電子設備3的運行過程中實現高速、自動地完成程式或資料的存取。所述儲存器31包括唯讀記憶體(Read-Only Memory，ROM)、可程式設計唯讀記憶體(Programmable Read-Only Memory，PROM)、可抹除可程式設計唯讀記憶體(Erasable Programmable Read-Only Memory，EPROM)、一次可程式設計唯讀記憶體(One-time Programmable Read-Only Memory，OTPROM)、電子抹除式可複寫唯讀記憶體(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、唯讀光碟(Compact Disc Read-Only Memory，CD-ROM)或其他光碟儲存器、磁碟儲存器、磁帶儲存器、或者任何其他能夠用於攜帶或儲存資料的電腦可讀的儲存介質。
在一些實施例中，所述至少一個處理器32可以由積體電路組成，例如可以由單個封裝的積體電路所組成，也可以是由多個相同功能或不同功能封裝的積體電路所組成，包括一個或者多個中央處理器(Central Processing unit，CPU)、微處理器、數位訊號處理晶片、圖形處理器及各種控制晶片的組合等。所述至少一個處理器32是所述電子設備3的控制核心(Control Unit)，利用各種介面和線路連接整個電子設備3的各個部件，透過運行或執行儲存在所述儲存器31內的程式或者模組，以及調用儲存在所述儲存器31內的資料，以執行電子設備3的各種功能和處理資料，例如
執行圖1所示的圖像重建的功能。
在一些實施例中，所述圖像重建系統30運行於電子設備3中。所述圖像重建系統30可以包括多個由程式碼段所組成的功能模組。所述圖像重建系統30中的各個程式段的程式碼可以儲存於電子設備3的儲存器31中，並由至少一個處理器32所執行，以實現圖1所示的圖像重建的功能。
本實施例中，所述圖像重建系統30根據其所執行的功能，可以被劃分為多個功能模組。本申請所稱的模組是指一種能夠被至少一個處理器所執行並且能夠完成固定功能的一系列電腦程式段，其儲存在儲存器中。
儘管未示出，所述電子設備3還可以包括給各個部件供電的電源(比如電池)，優選的，電源可以透過電源管理裝置與所述至少一個處理器32邏輯相連，從而透過電源管理裝置實現管理充電、放電、以及功耗管理等功能。電源還可以包括一個或一個以上的直流或交流電源、再充電裝置、電源故障測試電路、電源轉換器或者逆變器、電源狀態指示器等任意元件。所述電子設備3還可以包括多種感測器、藍牙模組、Wi-Fi模組等，在此不再贅述。
應該瞭解，所述實施例僅為說明之用，在專利申請範圍上並不受此結構的限制。
上述以軟體功能模組的形式實現的集成的單元，可以儲存在一個電腦可讀取儲存介質中。上述軟體功能模組儲存在一個儲存介質中，包括若干指令用以使得一台電子設備(可以是伺服器、個人電腦等)或處理器(processor)執行本申請各個實施例所述方法的部分。
所述儲存器31中儲存有程式碼，且所述至少一個處理器32可調用所述儲存器31中儲存的程式碼以執行相關的功能。儲存在所述儲存器31中的程式碼可以由所述至少一個處理器32所執行，從而實現所述各個模組的功能以達到圖像重建的目的。
在本申請所提供的幾個實施例中，應該理解到，所揭露的裝置和方法，可以透過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。
另外，在本申請各個實施例中的各功能模組可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
對於本領域技術人員而言，顯然本申請不限於上述示範性實施例的細節，而且在不背離本申請的精神或基本特徵的情況下，能夠以其他的具體形式實現本申請。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本申請的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本申請內。不應將請求項中的任何附圖標記視為限制所涉及的請求項。此外，顯然“包括”一詞不排除其他單元或，單數不排除複數。裝置請求項中陳述的多個單元或裝置也可以由一個單元或裝置透過軟體或者硬體來實現。第一，第二等詞語用來表示名稱，而並不表示任何特定的順序。
最後所應說明的是，以上實施例僅用以說明本申請的技術方案而非限制，儘管參照以上較佳實施例對本申請進行了詳細說明，本領域的普通技術人員應當理解，可以對本申請的技術方案進行修改或等同替換，而不脫離本申請技術方案的精神和範圍。
S1~S3:步驟
Claims (9)
- 一種圖像重建方法，應用於電子設備中，其中，所述方法包括：獲取目標拍攝設備拍攝得到的物體的待重建圖像，以及所述物體的樣本圖像，其中，所述待重建圖像與所述樣本圖像是在同一角度、距離下拍攝得到的同一物體的圖像，所述待重建圖像與所述樣本圖像的尺寸、大小一致，僅有解析度不同；基於所述待重建圖像與所述樣本圖像訓練徑向基函數網路，所述徑向基函數網路用於類比所述目標拍攝設備對應的點擴散函數模型；基於反卷積演算法將所述徑向基函數網路轉換為圖像重建模型，所述圖像重建模型用於對所述目標拍攝設備拍攝的圖像進行重建。
- 如請求項1所述的圖像重建方法，其中，所述徑向基函數網路包括輸入層、隱藏層與輸出層，其中：所述輸入層用於作為所述徑向基函數網路的輸入端；所述隱藏層以徑向基函數作為基底函數，所述隱藏層與所述輸出層全連接；所述輸出層基於累加函數輸出所述徑向基函數網路的輸出結果。
- 如請求項1所述的圖像重建方法，其中，所述基於所述待重建圖像與所述樣本圖像訓練徑向基函數網路包括：初始化所述徑向基函數網路的結構參數與損失函數。
- 如請求項3所述的圖像重建方法，其中，所述基於所述待重建圖像與所述樣本圖像訓練徑向基函數網路還包括：對所述徑向基函數網路的結構參數進行優化，直至將所述樣本圖像作為所述徑向基函數網路的輸入後，所述徑向基函數網路的輸出結果對應的所述損失函數收斂至預設的數值。
- 如請求項3所述的圖像重建方法，其中，所述損失函數包括二範數。
- 如請求項3所述的圖像重建方法，其中，對所述徑向基函數網路進行優化使用的優化演算法包括梯度下降演算法。
- 如請求項1所述的圖像重建方法，其中，所述反卷積演算法包括Weiner反卷積演算法。
- 一種電腦可讀儲存介質，其中，所述電腦可讀儲存介質儲存有至少一個指令，所述至少一個指令被處理器執行時實現如請求項1至7中任意一項所述的圖像重建方法。
- 一種電子設備，其中，該電子設備包括儲存器和至少一個處理器，所述儲存器中儲存有至少一個指令，所述至少一個指令被所述至少一個處理器執行時實現如請求項1至7中任意一項所述的圖像重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112106173A TWI848575B (zh) | 2023-02-20 | 2023-02-20 | 圖像重建方法、電子設備及儲存介質 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112106173A TWI848575B (zh) | 2023-02-20 | 2023-02-20 | 圖像重建方法、電子設備及儲存介質 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI848575B true TWI848575B (zh) | 2024-07-11 |
| TW202435163A TW202435163A (zh) | 2024-09-01 |
Family
ID=92929220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112106173A TWI848575B (zh) | 2023-02-20 | 2023-02-20 | 圖像重建方法、電子設備及儲存介質 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI848575B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080738A (zh) * | 2019-11-28 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 图像重建的系统和方法 |
| US20210295501A1 (en) * | 2020-03-19 | 2021-09-23 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for image reconstruction and processing |
| CN114219742A (zh) * | 2021-09-09 | 2022-03-22 | 武汉工程大学 | 一种联合流形约束和fb-gan的人脸变形方法和系统 |
| TW202226164A (zh) * | 2020-12-23 | 2022-07-01 | 美商菲絲博克科技有限公司 | 像素對準之體積化身 |
-
2023
- 2023-02-20 TW TW112106173A patent/TWI848575B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080738A (zh) * | 2019-11-28 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 图像重建的系统和方法 |
| US20210295501A1 (en) * | 2020-03-19 | 2021-09-23 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for image reconstruction and processing |
| TW202226164A (zh) * | 2020-12-23 | 2022-07-01 | 美商菲絲博克科技有限公司 | 像素對準之體積化身 |
| CN114219742A (zh) * | 2021-09-09 | 2022-03-22 | 武汉工程大学 | 一种联合流形约束和fb-gan的人脸变形方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202435163A (zh) | 2024-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111669514B (zh) | 高动态范围成像方法和装置 | |
| TW202134997A (zh) | 用於對影像進行去雜訊的方法、用於擴充影像資料集的方法、以及使用者設備 | |
| US11741579B2 (en) | Methods and systems for deblurring blurry images | |
| US20230401672A1 (en) | Video processing method and apparatus, computer device, and storage medium | |
| JP7629915B2 (ja) | ゲームのスーパーレゾリューション | |
| US20220058827A1 (en) | Multi-view iterative matching pose estimation | |
| US11871145B2 (en) | Optimization of adaptive convolutions for video frame interpolation | |
| CN113076685A (zh) | 图像重建模型的训练方法、图像重建方法及其装置 | |
| CN114299088A (zh) | 图像处理方法及装置 | |
| CN109862208A (zh) | 视频处理方法、装置以及计算机存储介质 | |
| CN114581316A (zh) | 图像重建方法、电子设备、存储介质及程序产品 | |
| US10445921B1 (en) | Transferring motion between consecutive frames to a digital image | |
| CN120092246A (zh) | 神经网络训练方法及装置、图像处理方法及装置 | |
| CN114170085B (zh) | 一种时空超分辨率实时重建方法及系统 | |
| WO2024212750A1 (zh) | 图像信号处理方法、装置、设备及计算机可读存储介质 | |
| CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
| CN113962873B (zh) | 一种图像去噪方法、存储介质及终端设备 | |
| CN116091337B (zh) | 一种基于事件信号神经编码方式的图像增强方法及装置 | |
| Li et al. | Rendering nighttime image via cascaded color and brightness compensation | |
| TWI848575B (zh) | 圖像重建方法、電子設備及儲存介質 | |
| JP2025511219A (ja) | 本格的なカメラの効果を与えるためのモバイルデバイスからの画像の拡張 | |
| CN116029932A (zh) | 一种超高分辨率图像曝光错误矫正方法及系统 | |
| CN112241934A (zh) | 一种图像处理方法以及相关设备 | |
| WO2025076339A1 (en) | Generation of high-resolution images | |
| WO2024186456A1 (en) | Multi-frame architecture for gaming super-resolution |