TWI789071B

TWI789071B - 基於區域控制以及紋理合成進行圖像增強的圖像處理系統與相關圖像處理方法

Info

Publication number: TWI789071B
Application number: TW110139490A
Authority: TW
Inventors: 蕭進豪; 余家偉
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2021-10-25
Filing date: 2021-10-25
Publication date: 2023-01-01
Also published as: US20230130835A1; TW202318340A

Abstract

一種圖像處理系統包含：一材質圖像產生器、至少一紋理產生器以及一輸出控制器。該材質圖像產生器用以產生一材質圖像。該至少一紋理產生器耦接於該材質產生單元，用以調整該材質圖像的紋理特性來產生至少一紋理圖像。該輸出控制器耦接於該至少一紋理產生器，用以對一來源圖像進行區域特性分析以產生一分析結果，並根據該分析結果決定一區域權重，以及根據該區域權重，將該至少一紋理圖像與該來源圖像進行合成而產生一輸出圖像。

Description

基於區域控制以及紋理合成進行圖像增強的圖像處理系統與相關圖像處理方法

本發明關於圖像處理，尤指一種基於區域控制以及紋理合成技巧來進行圖像增強的圖像處理系統與相關圖像處理方法。

壓縮後的影像或串流影像的中高頻細節往往會隨著壓縮運算而丟失，一般會藉由圖像增強處理，嘗試還原這些已丟失的細節，常見的處理方式包含銳化與以及深度學習等圖像增強技巧。銳化一般是透過增加圖像中的高頻細節，如利用高通濾波器(high-pass filter)，加強圖像中的紋理與邊緣區域。而銳化處理的缺點在於，若壓縮運算已完全破壞了圖中的紋理與邊緣時，便無從增加更多細節。另一方面，深度學習則是透過大量輸入各類圖像來訓練圖像增強模型，使其獲得圖像內容與細節紋理間的關聯性的知識。後續在面對壓縮後的來源圖像時，圖像增強模型可以根據其中的圖像內容來猜測丟失的細節，並且重新生成。然此方式的缺點在於，透過深度學習所產生的紋理與細節較難控制，容易有不自然的假影(artifact)產生，並且該方式對於硬體的運算能力要求較高。

有鑑於此，本發明提供一種基於紋理合成(Texture Synthesis)與區域控制的圖像增強處理技巧。本發明的圖像增強處理具備細節生成的能力，即便在來源圖像的細節完全丟失的情況下仍可發揮一定的增強效果。並且由於本發明沒有使用深度學習網路來生成細節，故對於運算資源的要求也較低。在本發明的實施例中，係利用材質圖像產生器產生材質圖像，並透過一個或多個紋理產生器，對材質圖像的紋理特性進行調整，以生成紋理圖像，此圖像中的紋理具有特定方向性以及特定疏密程度。在本發明實施例中，藉由不同設定來產生多個紋理圖像，從而提升對於來源圖像中不同類型的細節的適應性。之後，根據對來源圖像的區域特性分析(如、頻率、亮度、語義分割或是物件動態)，在紋理圖像與來源圖像合成時，分區地控制紋理圖像所造成的圖像增強效果的強度，從而提升可調整性，也提升紋理與來源圖像中的細節的匹配程度，實現更好且更自然的圖像增強效果。

本發明之實施例提供一種圖像處理系統，該圖像處理系統包含：一材質圖像產生器、至少一紋理產生器以及一輸出控制器。該材質圖像產生器用以產生一材質圖像。該至少一紋理產生器耦接於該材質產生單元，用以調整該材質圖像的紋理特性來產生至少一紋理圖像。該輸出控制器耦接於該至少一紋理產生器，用以對一來源圖像進行區域特性分析以產生一分析結果，並根據該分析結果決定一區域權重，以及根據該區域權重，將該至少一紋理圖像與該來源圖像進行合成而產生一輸出圖像。

本發明之實施例提供一種圖像處理方法，該圖像處理方法包含：產生一材質圖像；調整該材質圖像的紋理特性來獲得至少一紋理圖像；對一來源圖像進行區域特性分析以產生一分析結果；根據該分析結果決定一區域權重；以及根據該區域權重，將該至少一紋理圖像與該來源圖像進行合成而產生一輸出圖像。

100:圖像處理系統

110:材質圖像產生器

112:圖樣擷取器

120_1~120_4:紋理產生器

122_1~122_3:方向性濾波器

124_1~124_3:低通濾波器

126:濾波器參數資料庫

130:輸出控制器

132:區域分析單元

134:權重產生單元

136_1~136_2:放大單元

138_1~138_2:合成單元

IMG_S:來源圖像

IMG_OUT:輸出圖像

IMG_MA:材質圖像

IMG_TXT、IMG_TXT1、IMG_TXT2:紋理圖像

第1圖繪示本發明第一實施例的圖像處理系統的架構圖。

第2圖繪示本發明實施例如何根據來源圖像的區域特性決定區域權重。

第3圖繪示本發明第二實施例的圖像處理系統的架構圖。

第4圖繪示本發明第三實施例的圖像處理系統的架構圖。

第5圖繪示本發明第四實施例的圖像處理系統的架構圖。

第6圖繪示本發明實施例的圖像處理方法的流程圖。

第7圖繪示本發明實施例中如何使用硬體裝置實現圖像處理方法。

在以下內文中，描述了許多具體細節以提供閱讀者對本發明實施例的透徹理解。然而，本領域的技術人士將能理解，如何在缺少一個或多個具體細節的情況下，或者利用其他方法或元件或材料等來實現本發明。在其他情況下，眾所皆知的結構、材料或操作不會被示出或詳細描述，從而避免模糊本發明的核心概念。

說明書中提到的「一實施例」意味著該實施例所描述的特定特徵、結構或特性可能被包含於本發明的至少一個實施例中。因此，本說明書中各處出現的「在一實施例中」不一定意味著同一個實施例。此外，前述的特定特徵、結構或特性可以以任何合適的形式在一個或多個實施例中結合。

請參考第1圖，該圖繪示本發明實施例的圖像處理系統的架構圖。如圖所示，影像處理系統100用以對來源圖像IMG_S進行圖像增強處理，從而產生輸出圖像IMG_OUT。其中，影像處理系統100包含有材質圖像產生器110、紋理產生器120_1~120_2以及輸出控制器130。請注意，在圖示的實施例中，雖僅繪示兩個紋理產生器120_1~120_2，但本發明所屬技術領域之人應能在後續的說明中理解，如何將本實施例所揭露的核心概念進行推廣與應用，以更多或者更少的第二紋理產生器來實現一個完整的圖像處理系統，而這樣變化仍屬於本發明的範疇。

材質圖像產生器110的作用在於產生一個材質圖像IMG_MA(圖像尺寸為HxW，與來源圖像IMG_S具有相同的尺寸)。在一個實施例中，材質圖像產生器110可以是隨機雜訊產生裝置，其可產生包含有具有隨機分布的雜訊的圖像。在本發明部分實施例中，隨機雜訊產生裝置可透過線性反饋移位暫存器(Linear Feedback Shift Register,LFSR)或使用基於熱雜訊(Therma1 Noise)的硬體亂數產生器(Hardware Random Number Generator,HRNG)等硬體電路方式實現。由材質圖像產生器110所產生的材質圖像IMG_MA，將被提供給紋理產生器120_1以及紋理產生器120_2。

紋理產生器120_1~120_2的作用在調整材質圖像IMG_MA的紋理特性，將材質圖像IMG_MA轉換成具有特定型態與分布的紋理。在一個實施例中，紋理產生器120_1~120_2中的每一者包含有一個或多個濾波器，可用以調整材質圖像IMG_MA中的雜訊分布方向與疏密程度。在第1圖所示的實施例中，紋理產生器120_1~120_2係由方向性濾波器(directional filter)122_1~122_2以及低通濾波器(low-pass filter)124_1~124_2所組成，其中，方向性濾波器122_1~122_2可改變材質圖像IMG_MA中的雜訊分布方向，而低通濾波器124_1~124_2則可改變材質圖像IMG_MA中的雜訊分布密度，透過如此的調整，紋理產生器120_1~120_2可分別生成獨特的紋理圖像IMG_TXT1與IMG_TXT2(其圖像尺寸可與來源圖像IMG_S相同，均為HxW)，分別適合用來增強來源圖像IMG_S中不同類型的細節。請注意，在本發明的其他實施例中，紋理產生器120_1~120_2可能包含數量有更多或更少的濾波器，或者其他類型的濾波器，又或者是不同順序的排列(如，低通濾波器在前，方向性濾波器在後)。本發明所屬技術領域之人士應能明瞭，基於以上的概念，如何透過不同類型或數量的濾波器來改變於材質圖像IMG_MA的紋理特性，從而產生特定的紋理圖像。由紋理產生器120_1~120_2所產生的紋理圖像IMG_TXT1與IMG_TXT2，將提供給輸出控制器130，輸出控制器130會將紋理圖像IMG_TXT1與IMG_TXT2與來源圖像IMG_S進行合成。

輸出控制器130包含有區域分析單元132、權重產生單元134、放大單元136_1~136_2以及合成單元138_1~138_2。輸出控制器130的作用在於感知來源圖像IMG_S的區域特性，據此對紋理合成進行權重控制，從而實現良好的圖像增強效果。區域分析單元132用以針對來源圖像IMG_S進行分區分析。如第2圖所示，區域分析單元132可以將來源圖像IMG_S區分成6x4個區域R0~R23，並且逐一分析區域特性。其中，區域分析單元132可以分析(但不限定於)：區域頻率(透過將來源圖像IMG_S轉換至頻域後進行分析)、區域亮度、區域語義(即區域類型，如為草地、水面或沙地等，可透過進行語義分割(Semantic Segmentation)來決定)，以及區域動態中的一個或多個特性。區域分析單元132對得到的區域頻率、區域亮度、區域語義，區域動態等特性進行量化後，而得到分析結果。由區域分析單元132所產生的分析結果，會提供給權重產生單元134。

權重產生單元134會根據這個分析結果，產生對應於紋理圖像IMG_TX1的區域權重A，以及對應於紋理圖像IMG_TX2的區域權重B。區域權重A與B如第2圖所示，分別包含有6x4個權重係數A0~A23與B0~B23，逐個區域指出了紋理圖像IMG_TXT1以及紋理圖像IMG_TXT2相對於來源圖像IMG_S的合成強度。例如，區域權重A中的權重係數A11指出將紋理圖像IMG_TXT1中的對應區域合成至來源圖像IMG_S的區域R11時應使用的強度，區域權重B中的權重係數B15指出將紋理圖像IMG_TXT2中的對應區域合成至來源圖像IMG_S的區域R15時應使用的強度。應當注意的是，上述的分區數量與區域權重A與B中的權重係數個數並非本發明的限制，在本發明其他實施例中，應存在其他可能。

再者，紋理圖像IMG_TXT1以及紋理圖像IMG_TXT2自身的紋理分布方向性與密度，可能導致其分別適合用於增強不同類型的圖像內容的細節。舉例來說，紋理圖像IMG_TXT1可能相對適合增強暗部細節，而紋理圖像IMG_TXT2可能相對適合增強亮度細節、或者是紋理圖像IMG_TXT1可能相對適合增強草地細節，紋理圖像IMG_TXT2可能相對適合增強水面細節，又或者是紋理圖像IMG_TXT1可能相對適合增強動態物件的細節，紋理圖像IMG_TXT2可能相對適合增強靜態物件的細節。而在得到區域分析單元132針對來源圖像IMG_S的區域特性所產生的分析結果後，權重產生單元134可根據紋理圖像IMG_TXT1與IMG_TXT2的特性決定區域權重A與B，從而加重或減輕紋理圖像IMG_TXT1與IMG_TXT2對來源圖像IMG_S中特定區域的影響。如，加強紋理特性適合一特定區域的紋理圖像，對該特定區域的權重(適應性細節增強)；減輕紋理特性不適合一特定區域的紋理圖像，對該特定區域的權重(適應性細節減弱)；加強所有紋理圖像對特定區域的權重，減輕所有紋理圖像對特定區域的權重。一旦權重產生單元134決定出區域權重A與B，放大單元136_1~136_2以及合成單元138_1~138_2便可基於其中的權重係數A0~A23以B0~B23將紋理圖像IMG_TXT1與IMG_TXT2與來源圖像IMG_S進行合成，從而產生輸出圖像IMG_OUT。

由以上的說明可知，紋理圖像IMGTXT1以及紋理圖像IMG_TXT2將影響圖像處理系統100針對具有不同內容的來源圖像的適應性。因此，在本發明其他實施例中，圖像處理系統100可能有更多的紋理產生器，以產生更多具有不同紋理分布方向與分布密度的與紋理圖像，進而更好地還原特定圖像內容的細節。另外，在第3圖與第4圖所示的實施例中，提供了不同紋理產生器的架構，其中，在第3圖所示的實施例中，紋理產生器120_3中的方向性濾波器122_3以及/或低通向性濾波器124_3的濾波器產參數係根據區域分析單元132的分析結果來決定。舉例來說，當區域分析單元132的分析出來源圖像IMG_S中的特定區域語義，濾波器參數資料庫126便根據此特定區域語義所對應的類別指標，輸出相應的濾波器參數給方向性濾波器122_3以及/或低通向性濾波器124_3，來生成紋理圖像IMG_TXT。而在這個實施例中，由於紋理產生器120_3產生的紋理圖像IMG_TXT對來源圖像IMG_S已經有直接的適應性，因此可以不需要多路紋理產生器，便可實現對來源圖像IMG_S中的不同類型細節的還原。而在第4圖所示的實施例中，紋理產生器120_4甚至可以由一卷積神經網路來實現。同樣地，由紋理產生器120_4產生的紋理圖像IMG_TXT對來源圖像IMG_S有直接的適應性，因此可省略其他的紋理產生器。

另一方面，在本發明其他實施例中，材質圖像產生器可由圖樣擷取器來實現，如第5圖所示的實施例，圖樣擷取器112用以從來源圖像IMG_S中擷取具有特定頻率的圖樣(pattern)，據此產生材質圖像IMG_MA，再由後續的紋理產生器120_1~120_2生成紋理圖像，並與來源圖像IMG_S進行合成。其中，圖像擷取器112可以包含索伯濾波器(Sobel Filter)或者是離散餘弦變換(Discrete Cosine Transform)單元，從而將來源圖像IMG_S中具有特定頻率的部分擷取出來，作為材質圖像IMG_MA。

第6圖繪示了本發明實施例的圖像處理方法的流程圖。如圖所示，本發明的圖像處理方法包含以下的步驟：S310：產生材質圖像；S320：調整材質圖像的紋理特性來產生紋理圖像；S330：對來源圖像進行區域特性分析以產生分析結果；S340：根據分析結果決定區域權重；以及S350：根據區域權重，將紋理圖像與來源圖像進行合成而產生輸出圖像。

由於上述步驟的原理以及具體細節已於先前實施例中詳細說明，故在此不進行重複描述。應當注意的是，上述的流程可能可以透過添加其他額外步驟或者是進行適當的變化與調整，更好地實現圖像增強處理，更進一步提升其圖像增強效果。再者，前述本發明實施例中所有的操作，都可以透過第7圖所示的裝置400來實現。其中，裝置400中的儲存單元410(如，非揮發性記憶體或揮發性記憶體)可用於儲存程式碼、指令、變數或資料。而裝置400中的硬體處理單元420(如，通用類型處理器)則可執行儲存單元410所儲存的程式碼與指令，並參考其中的變數或資料來執行前述實施例中所有的操作。

總結來說，本發明提供的圖像增強處理具備細節生成的能力，故即使在來源圖像的細節完全丟失的情況下仍可發揮一定的增強效果。並且由於未使用深度學習網路來生成細節，對於運算資源的要求也相對較低。在本發明的實施例中，係利用材質圖像產生器或圖樣擷取器來產生材質圖像，並透過一個或多個紋理產生器，對材質圖像的紋理特性進行調整，以生成紋理圖像。在本發明實施例中，藉由不同設定來產生多個紋理圖像，從而提升對於來源圖像中不同類型的細節的適應性。之後，根據對來源圖像的區域特性分析(如、頻率、亮度、語義分割或是物件動態)，在紋理圖像與來源圖像合成時，分區地控制紋理圖像所造成的圖像增強效果的強度，從而提升可調整性，並也提升紋理與來源圖像中的細節的匹配程度，實現更好且更自然的圖像增強效果。

本發明之實施例可使用硬體、軟體、韌體以及其相關結合來完成。藉由適當之一指令執行系統，可使用儲存於一記憶體中之軟體或韌體以及相應的指令執行處理器來實現本發明的實施例。就硬體而言，則是可應用下列任一技術或其相關結合來完成：具有可根據資料信號執行邏輯功能之邏輯閘的一個別運算邏輯、具有合適的組合邏輯閘之一特定應用積體電路(application specific integrated circuit,ASIC)、可程式閘陣列(programmable gate array,PGA)或一現場可程式閘陣列(field programmable gate array,FPGA)等。

說明書內的流程圖中的流程和方塊示出了基於本發明的各種實施例的系統、方法和電腦軟體產品所能實現的架構，功能和操作。在這方面，流程圖或功能方塊圖中的每個方塊可以代表程式碼的模組，區段或者是部分，其包括用於實現指定的邏輯功能的一個或多個可執行指令。另外，功能方塊圖以及/ 或流程圖中的每個方塊，以及方塊的組合，基本上可以由執行指定功能或動作的專用硬體系統來實現，或專用硬體和電腦程式指令的組合來實現。這些電腦程式指令還可以存儲在電腦可讀媒體中，該媒體可以使電腦或其他可編程數據處理裝置以特定方式工作，使得存儲在電腦可讀媒體中的指令，實現流程圖以及/或功能方塊圖中的方塊所指定的功能/動作。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100:圖像處理系統

110:材質圖像產生器

120_1~120_2:紋理產生器

122_1~122_2:方向性濾波器

124_1~124_2:低通濾波器