TWI813181B

TWI813181B - 影像處理電路與影像處理方法

Info

Publication number: TWI813181B
Application number: TW111107012A
Authority: TW
Inventors: 張嘉澤; 林煜翔; 莫家仁; 蔡林忠
Original assignee: 大陸商星宸科技股份有限公司
Priority date: 2021-09-09
Filing date: 2022-02-25
Publication date: 2023-08-21
Also published as: JP2023039912A; TW202312084A; KR20230037435A; US20230070778A1; CN115115532A; US12211214B2; KR102681979B1

Abstract

本發明揭露了一種影像處理電路，其包含有一神經網路處理器、一背景處理電路以及一混合電路。神經網路處理器用以對一輸入影像資料進行處理以判斷出該輸入影像資料中是否有一特定物體，以產生一熱度圖。背景處理電路對該輸入影像資料進行模糊化操作以產生一模糊化影像資料。混合電路依據該熱度圖來對該輸入影像資料與該模糊化影像資料進行混合操作，以產生一輸出影像資料。

Description

影像處理電路與影像處理方法

本發明係有關於將影像資料之背景部分進行模糊化的影像處理電路與影像處理方法。

目前具有影像擷取功能的電子裝置中，有部分的裝置會具有背景模糊功能，以對所擷取的影像資料中的背景部分進行模糊化的操作。舉例來說，在視訊會議時，電子裝置可以主動地分析相機所拍攝的影像資料以識別出人物的位置以供進行背景模糊操作，以保護使用者的隱私。然而，在背景模糊操作中可能會因為前景識別上的問題而造成前景邊緣在顯示上的瑕疵，而影響到視訊品質。

因此，本發明的目的之一在於提出一種影像處理方法，其透過神經網路處理器來產生熱度圖，再根據熱度圖來將原始影像與模糊化後的影像進行混合，以產生背景模糊後影像。

在本發明的一個實施例中，揭露了一種影像處理電路，其包含一神經網路處理器、一背景處理電路以及一混合電路。神經網路處理器對一輸入影像資料進行處理以判斷出該輸入影像資料中是否有一特定物體，以產生一熱度圖；背景處理電路對該輸入影像資料進行模糊化操作以產生一模糊化影像資料；混合電路依據該熱度圖來對該輸入影像資料與該模糊化影像資料進行混合操作，以產生一輸出影像資料。

在本發明的一個實施例中，揭露了一種影像處理方法，其包含以下步驟：使用一神經網路處理器來對一輸入影像資料進行處理以判斷出該輸入影像資料中是否有一特定物體，以產生一熱度圖；對該輸入影像資料進行模糊化操作以產生一模糊化影像資料；以及依據該熱度圖來對該輸入影像資料與該模糊化影像資料進行混合操作，以產生一輸出影像資料。

如前述的實施例，透過本發明，利用神經網路處理器精準的辨識能力及簡單架構的背景處理電路，即可以快速且有效地在維持前景之清晰度的情形下將背景變得模糊，且背景模糊後影像中的前景邊緣變得較為平滑。

第1圖為根據本發明一實施例之影像處理電路100的示意圖。如第1圖所示，影像處理電路100包含一縮放電路110、一神經網路處理器(neural network processor)120、一背景處理電路130、縮放電路140、150以及一混合電路160。在本實施例中，影像處理電路100可以適用於任何影像擷取裝置或是影像顯示裝置，例如相機、智慧型手機、平板電腦、筆記型電腦…等等，亦即，影像處理電路100可以接收來自一影像感測器或是一影像來源所產生的一輸入影像資料Din以產生一輸出影像資料Dout，其中該輸出影像資料可以在一顯示面板上進行顯示。

在影像處理電路100的操作中，縮放電路110對輸入影像資料Din進行縮小操作，以產生一縮小後輸入影像資料Din’。舉例來說，假設輸入影像資料Din所包含的圖框的解析度為1920*1080，而縮放電路110可以降低輸入影像資料Din的解析度，亦即縮小後輸入影像資料Din’所包含之圖框具有較低的解析度，以降低後續處理的資料量。接著，神經網路處理器120對縮小後輸入影像資料Din’進行圖像辨識，以判斷出縮小後輸入影像資料Din’中每一個圖框中是否具有一特定物體，以據以產生產生一熱度圖(heat map)。在本實施例中，該特定物體係為一人物，而在後續的說明中係以人物來進行說明。

在一實施例中，如第2圖所示，神經網路處理器120包含了一格式轉換電路210、一卷積神經網路(Convolutional Neural Network，CNN) 電路220以及一後端處理電路230。在神經網路處理器120的操作中，格式轉換電路210係將縮小後輸入影像資料Din’進行格式轉換以符合神經網路處理器120的需求，例如將原本的NV12格式轉換為紅藍綠(RGB)格式。卷積神經網路電路220對縮小後輸入影像資料Din’進行特徵擷取與辨識操作，以辨識出縮小後輸入影像資料Din’中一或多個人物的位置及邊緣，並據以產生一或多個特徵圖(feature map)。在一實施例中，卷積神經網路電路220係產生一人物特徵圖及一邊緣特徵圖。後端處理電路230對卷積神經網路電路220所產生的一或多個特徵圖進行融合及轉換，以產生一熱度圖DH，其中熱度圖DH係用來表示出縮小後輸入影像資料Din’中包含一或多個人物的區域。舉例來說，熱度圖DH與縮小後輸入影像資料Din’可具有相同的解析度，其中縮小後輸入影像資料Din’中包含一或多個人物的區域在對應的熱度圖DH中具有較高的數值(例如，255)，而縮小後輸入影像資料Din中的其餘區域在對應的熱度圖DH中具有較低的數值(例如，0)。

在一實施例中，參考第3圖所示之卷積神經網路電路220與後端處理電路230的操作的示意圖。如第3圖所示，縮小後輸入影像資料Din’可以先透過骨幹(backbone)310中多個局部誤差區塊(partial residual block)312_1~312_N中對應到不同之卷積層(convolution layer)的操作以產生對應的特徵值；接著，空洞空間金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)320接收來自骨幹310所產生的特徵值進行處理，以降低特徵值的維度並強化特徵值。接著，圖像語義估計(semantic estimation)模組330中對來自骨幹310與空洞空間金字塔池化320的特徵值進行多次特徵融合操作332_1~332_M，以產生一人物特徵圖。邊界校正模組340對人物特徵圖進行邊緣辨識，以產生一邊緣特徵圖。最後，熱度圖估計模組350中的特徵值擷取模組352根據人物特徵圖及/或邊緣特徵圖來擷取出一輸出特徵圖，而熱度圖產生模組354再依據輸出特徵圖產生熱度圖DH。在一實施例中，前述的骨幹310、空洞空間金字塔池化320、圖像語義估計模組330及邊界校正模組340可由卷積神經網路電路220所實現或包含於卷積神經網路電路220中，而熱度圖估計模組350可由後端處理電路230所實現或包含於後端處理電路230中。在一實施例中，後端處理電路230亦由一卷積神經網路電路所實現，也可整合於卷積神經網路電路220中。

如第3圖的操作示意圖所示，利用神經網路處理器120來產生熱度圖DH的過程可細分為三個部分，首先，依據縮小後輸入影像資料Din’產生人物特徵圖；然後，依據人物特徵圖產生邊緣特徵圖；最後再依據人物特徵圖及邊緣特徵圖來產生熱度圖DH。將產生熱度圖DH的過程分成前述三個部分來處理可提昇人物及邊緣辨識的準確率並降低神經網路處理器120處理時的複雜度。實施上，神經網路處理器120可分別針對前述三個部分進行訓練，亦即，提供參考人物圖供神經網路處理器120學習辨識人物以產生人物特徵圖，提供參考邊緣圖供神經網路處理器120學習自人物特徵圖中辨識邊緣以產生邊緣特徵圖，以及提供參考熱度圖供神經網路處理器120學習利用人物特徵圖及邊緣特徵圖來產生熱度圖DH。

背景處理電路130係對縮小後輸入影像資料Din’進行模糊化操作以產生一模糊化影像資料DBB。在一實施例中，背景處理電路130可以對縮小後輸入影像資料Din’中的每一個像素進行低通濾波操作，亦即將每一個像素與周圍多個像素作加權相加以得到該像素的一濾波後像素值，而在一實施例中，上述低通濾波操作可以透過一高斯濾波器矩陣(Gaussian filter matrix)來執行。在另一實施例中，如第4圖所示，背景處理電路130可以包含兩個縮放電路410、420，而縮放電路410可以將縮小後輸入影像資料Din’進行縮小操作，之後再透過縮放電路420進行放大操作來產生模糊化影像資料DBB。在一實施例中，縮放電路410、420可以進行多次操作來產生模糊化影像資料DBB，亦即模糊化影像資料DBB可以再次輸入至縮放電路410來進行下一輪的縮放操作以產生下一筆模糊化影像資料DBB，以供作為背景處理電路130的輸出。本發明中，背景處理電路130係直接對整個縮小後輸入影像資料Din’進行模糊化處理，並非是選擇性地僅針對縮小後輸入影像資料Din’中的部分區域。詳細來說，針對縮小後輸入影像資料Din’中的各個圖框，背景處理電路130係直接對整個圖框進行模糊化處理，由於整個圖框進行相同的處理，因此，背景處理電路130可採用相對簡單的電路架構，無須具備複雜電路架構/設計即可實現將圖像模糊化的功能。

接著，縮放電路140對熱度圖DH進行放大操作以產生一縮放後熱度圖DH’，其中熱度圖DH’的解析度係高於熱度圖DH，而在一實施例中，縮放後熱度圖DH’的解析度與輸入影像資料Din的解析度相同，例如縮放後熱度圖DH’與輸入影像資料Din的解析度均為1920*1080。類似地，縮放電路150對模糊化影像資料DBB進行放大操作以產生一縮放後模糊化影像資料DBB’，而在一實施例中，縮放後模糊化影像資料DBB’的解析度與輸入影像資料Din的解析度相同，例如縮放後模糊化影像資料DBB’與輸入影像資料Din的解析度均為1920*1080。

在混合電路160的操作中，混合電路160依據縮放後熱度圖DH’對輸入影像資料Din與縮放後模糊化影像資料DBB’進行混合操作，例如一加權相加操作，以產生輸出影像資料Dout，其中縮放後熱度圖DH’係作為混合操作時的權重依據。舉例來說，由於輸入影像資料Din、縮放後熱度圖DH’與縮放後模糊化影像資料DBB’具有相同的解析度，故針對具有相同位置的像素，輸出影像資料Dout之像素的像素值Pout可以計算如下： Pout = Pin*(PH/255) + PBB*((255-PH)/255)……………………………….(1)；其中Pin為輸入影像資料Din的像素值、PH為縮放後熱度圖DH’的像素值、而PBB為縮放後模糊化影像資料DBB’的像素值。在一例子中，假設目前所處理的像素是位於人物內的區域，則PH會是很高的數值，例如PH為‘255’ ，因此，透過上述公式(1)所計算出之輸出影像資料Dout的像素值Pout即為輸入影像資料Din的像素值Pin。在另一例子中，假設目前所處理的像素是位於人物外的區域(例如，背景區域)，則PH會是很低的數值，例如PH為‘0’，因此，透過上述公式(1)所計算出之輸出影像資料Dout的像素值Pout即為模糊化影像資料DBB’的像素值PBB。

在一實施例中，混合電路160對輸入影像資料Din與縮放後模糊化影像資料DBB’所進行的混合操作係依據縮放後熱度圖DH’逐像素自輸入影像資料Din與縮放後模糊化影像資料DBB’二者中對應像素的像素值中選擇其一輸出為輸出影像資料Dout中對應像素的像素值。舉例來說，縮放後熱度圖DH’中的像素值可為255或0，其中，當一像素的像素值為“255”時表示此像素是位於人物內的區域，而當一像素的像素值為“0”時表示此像素並非位於人物內的區域。在此實施例中，當目前所處理的像素在縮放後熱度圖DH’中的像素值為“255”時，混合電路160選擇輸出輸入影像資料Din中對應像素的像素值作為輸出影像資料Dout中對應像素的像素值，當目前所處理的像素在縮放後熱度圖DH’中的像素值為“0”時，混合電路160選擇輸出縮放後模糊化影像資料DBB’ 中對應像素的像素值作為輸出影像資料Dout中對應像素的像素值。

第5圖為輸入影像資料Din、縮放後熱度圖DH’、縮放後模糊化影像資料DBB’與輸出影像資料Dout的示意圖。如第5圖所示，透過影像處理電路100的處理，可以快速且有效地在維持前景(人物)之清晰度的情形下將背景變得模糊。

需注意的是，在以上第1~5圖的實施例中，輸入影像資料Din係先透過縮放電路110的處理後產生縮小後輸入影像資料Din，才進入至神經網路處理器120與背景處理處理器130進行後續處理，以降低整體電路的運算量，然而，此一特徵並非是本發明的限制。在其他的實施例中，神經網路處理器120與背景處理處理器130可以直接對輸入影像資料Din來進行處理，而此時縮放電路110、140、150便可以自影像處理電路100中移除，而混合電路160便直接根據熱度圖DH來對輸入影像資料Din與模糊化影像資料DBB進行混合操作以產生輸出影像資料Dout。在一實施例中，當電路處理速度夠快時，縮放電路140與縮放電路150可由同一電路來實現。

第6圖為根據本發明一實施例之影像處理方法的流程圖。本發明之影像處理方法可應用於一影像處理裝置中。同時參考以上實施例的內容，影像處理方法的流程如下所述。

步驟600：流程開始。

步驟602：使用一神經網路處理器來對一輸入影像資料進行處理以判斷出該輸入影像資料中是否有一特定物體，以產生一熱度圖。

步驟604：對該輸入影像資料進行模糊化操作以產生一模糊化影像資料。

步驟606：使用該熱度圖來對該輸入影像資料與該模糊化影像資料進行混合操作，以產生一輸出影像資料。

簡要歸納本發明，在本發明之影像處理電路與影像處理方法中，透過神經網路處理器分析原始影像來產生熱度圖，並將原始影像進行模糊化以產生模糊化後的影像，再根據熱度圖來將原始影像與模糊化後的影像進行混合，以產生背景模糊後影像來作為輸出影像資料。本發明利用神經網路處理器精準的辨識能力及簡單架構的背景處理電路，無須使用額外的感測器（例如距離感測器）來辨識物體，也無須使用複雜電路來選擇性模糊化影像畫面，即可快速且有效地在維持前景(人物)之清晰度的情形下將背景變得模糊，且背景模糊後影像中的前景邊緣變得較為平滑。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100:影像處理電路 110:縮放電路 120:神經網路處理器 130:背景處理電路 140, 150:縮放電路 160:混合電路 210:格式轉換電路 220:卷積神經網路電路 230:後端處理電路 310:骨幹 312_1~3112_N:局部誤差區塊 320:空洞空間金字塔池化 330:圖像語義估計模組 332_1~332_M:特徵融合 340:邊界校正模組 350:熱度圖估計模組 352:特徵值擷取模組 354:熱度圖產生模組 410, 420:縮放電路 Din:輸入影像資料 Din’:縮小後輸入影像資料 DH:熱度圖 DH’:縮放後熱度圖 DBB:模糊化影像資料 DBB’:縮放後模糊化影像資料 Dout:輸出影像資料

第1圖為根據本發明一實施例之影像處理電路的示意圖。第2圖為根據本發明一實施例之神經網路處理器的示意圖。第3圖為根據本發明一實施例之神經網路處理器中卷積神經網路電路與後端處理電路的操作示意圖。第4圖為根據本發明一實施例之背景處理電路的示意圖。第5圖為根據本發明一實施例之輸入影像資料、縮放後熱度圖、縮放後模糊化影像資料與輸出影像資料的示意圖。第6圖為根據本發明一實施例之影像處理方法的流程圖。

100:影像處理電路

110:縮放電路

120:神經網路處理器

130:背景處理電路

140,150:縮放電路

160:混合電路

Din:輸入影像資料

Din’:縮小後輸入影像資料

DH,DH’:熱度圖

DBB,DBB’:模糊化影像資料

Dout:輸出影像資料

Claims

一種影像處理電路，包含有：一神經網路處理器，對一輸入影像資料進行處理以判斷出該輸入影像資料中是否有一特定物體，以產生一熱度圖；一背景處理電路，對該輸入影像資料進行模糊化處理以產生一模糊化影像資料；以及一混合電路，依據該熱度圖來對該輸入影像資料與該模糊化影像資料進行混合操作，以產生一輸出影像資料。
如申請專利範圍第1項所述之影像處理電路，其中該背景處理電路係對整個該輸入影像資料進行模糊化處理，以產生該模糊化影像資料。
如申請專利範圍第1項所述之影像處理電路，其中該神經網路處理器包含有：一卷積神經網路電路，對該輸入影像資料進行特徵擷取與辨識操作，以辨識出該輸入影像資料中該特定物體的位置，以產生一物體特徵圖，及對該物體特徵圖進行邊緣辨識操作，以產生一邊緣特徵圖；以及一後端處理電路，依據該物體特徵圖及該邊緣特徵圖產生該熱度圖。
如申請專利範圍第1項所述之影像處理電路，其中該神經網路處理器對該輸入影像資料進行物體辨識以產生一物體特徵圖、對該物體特徵圖進行邊緣辨識以產生一邊緣特徵圖、以及依據該物體特徵圖及該邊緣特徵圖產生該熱度圖。
如申請專利範圍第1項所述之影像處理電路，其中該背景處理電路係對該輸入影像資料中每一個像素進行低通濾波操作，以產生該模糊化影像資料。
如申請專利範圍第1項所述之影像處理電路，其中該背景處理電路係對該輸入影像資料進行至少一輪的縮小操作與放大操作以產生該模糊化影像資料。
如申請專利範圍第1項所述之影像處理電路，其中該混合電路對輸入影像資料與該模糊化影像資料進行一加權相加操作以產生該輸出影像資料，其中該加權相加操作所使用的權重係根據該熱度圖所產生。
如申請專利範圍第1項所述之影像處理電路，該混合電路依據該熱度圖逐像素自該輸入影像資料與該模糊化影像資料二者中對應像素的像素值中選擇其一輸出為該輸出影像資料中對應像素的像素值。
如申請專利範圍第1項所述之影像處理電路，另包含有：一第一縮放電路，用以對該輸入影像資料進行進縮小操作以產生一縮小後輸入影像資料；其中該神經網路處理器對該縮小後輸入影像資料進行處理以判斷出該縮小後輸入影像資料中是否有該特定物體以產生該熱度圖，且該背景處理電路對該縮小後輸入影像資料進行模糊化處理以產生該模糊化影像資料。
如申請專利範圍第9項所述之影像處理電路，另包含有：一第二縮放電路，對該熱度圖進行放大操作以產生一縮放後熱度圖；以及一第三縮放電路，對該模糊化影像資料進行放大操作以產生一縮放後模糊化影像資料；其中該混合電路依據該縮放後熱度圖來對該輸入影像資料與該縮放後模糊化影像資料進行混合操作，以產生該輸出影像資料。
一種影像處理方法，應用於一影像處理裝置，其包含有：利用一神經網路處理器來對一輸入影像資料進行處理以判斷出該輸入影像資料中是否有一特定物體，以產生一熱度圖；對該輸入影像資料進行模糊化處理以產生一模糊化影像資料；以及依據該熱度圖來對該輸入影像資料與該模糊化影像資料進行混合操作，以產生一輸出影像資料。
如申請專利範圍第11項所述之影像處理方法，其中對該輸入影像資料進行模糊化處理的操作中係對整個該輸入影像資料進行模糊化處理，以產生該模糊化影像資料。
如申請專利範圍第11項所述之影像處理方法，其中該神經網路處理器對該輸入影像資料進行物體辨識以產生一物體特徵圖、對該物體特徵圖進行邊緣辨識以產生一邊緣特徵圖、以及依據該物體特徵圖及該邊緣特徵圖產生該熱度圖。
如申請專利範圍第11項所述之影像處理方法，其中依據該熱度圖來對該輸入影像資料與該模糊化影像資料進行混合操作的操作中，係對輸入影像資料與該模糊化影像資料進行一加權相加操作以產生該輸出影像資料，其中該加權相加操作所使用的權重係根據該熱度圖所產生。
如申請專利範圍第11項所述之影像處理方法，其中依據該熱度圖來對該輸入影像資料與該模糊化影像資料進行混合操作的操作中，係依據該熱度圖逐像素自該輸入影像資料與該模糊化影像資料二者中對應像素的像素值中選擇其一輸出為該輸出影像資料中對應像素的像素值。