TWI396143B - 照片分割方法及系統及照片之影像配合方法 - Google Patents

Description

照片分割方法及系統及照片之影像配合方法

本發明關於一種動物或其他生命體之相片自動分割之方法及系統，特別是關於藉由分割影像為相應之三次圖(前景、背景及未知區域)執行自動分割於相片之方法及系統。

由於在潛在背景替換應用、一般物件識別及內容基礎的讀取，影像分割及配合(Image segmentation and mating)係電腦視像及圖案識別領域之熱門話題。不同於視訊物件，靜態影像缺乏連續圖框間之暫態關係，因此該等問題嚴重受限。基此，經常需要使用者間的互動(例如塗寫介面)以產生完整的像素標示。

單一影像配合方式係靜態影像分割之典型方式之一。該方式假定一輸入影像中各第(x_i ,y_i )像素的強度係前景色彩F及後景色彩B之線性組合，該強度可依下式計算：

I_i =α_i F_i +(1-α_i )B_i ,

其中α_i 係像素之部分不透明值(partial opacity)或透明度遮罩(alpha matte)。對於一個彩色影像的各個像素而言，7個未知中有3個合成方程式。然而，自然的影像配合造成背景上的無限制且本質上受限。為了解決該問題，使用者被要求提供額外三次圖(tri-map)或刷短線(塗寫)形式之資訊。因此，自動分割無法以該方法達成。

根據本發明一方面之照片分割方法，其包含：根據一第一預設遮罩決定照片之一第一前景；應用具有權重資料之高斯混合模型(Gaussian Mixture Models；GMM-WD)於該第一前景以產生一第二前景；根據該第二前景決定該照片之第一背景；應用該GMM-WD於該第一背景以產生一第二背景；以及根據該第二背景及該第二前景決定一未知區域。

根據本發明另一方面之照片之影像配合方法，其包含：確認該照片之一第一前景；確認該照片之一第一背景；應用具權重資料之高斯混合模型(GMM-WD)於該第一前景及該第一背景，以產生一第二前景及一第二背景；利用自該照片去除該第二前景及第二背景以確認一未知區域；根據該第二前景、第二背景及該未知區域，實施一影像配合流程。

根據本發明又一方面之照片之三次圖之自動產生系統，其包含：一根據一預設遮罩確認該照片之一第一前景之手段；一根據該預設遮罩確認該照片之一第一背景之手段；一應用具權重資料之高斯混合模型(GMM-WD)於該第一前景及該第一背景以產生一第二前景及一第二背景之手段；以及一利用自該照片去除該第二前景及第二背景以確認一第一區域之手段。

前述係本發明之大綱及較大範圍之特徵以便於瞭解本發明下列之詳細敘述。本發明新增之特徵將隨後敘述且形成本發明之宣告標的。本領域之技術人士可輕易利用相關概念及實施例作為基礎修改或設計其他結構或流程以實施本發明相同之目的。該等同之結構並不脫離本發明宣告中之精神及範圍。

以下詳細討論本發明於目前較佳實施例的製作和使用。不過應當理解，本發明提供許多可應用的發明概念，其可在各種各樣的具體情況下實施。該討論的具體實施例僅說明了製作和使用該發明的具體方式，並沒有限制本發明的範圍。

圖1顯示本發明一實施例之動物或其他生命體影像之自動圖像分割。臉部偵測11將臉部偵測演算法應用於照片。利用比對自照片中選擇之臉部特徵及一臉部資料庫的資料，臉部偵測由照片的數位影像自動確認臉窗(face window)。一實施例中，可採用一個所謂adaBoost臉部偵測演算法以執行臉部確認。

眼部偵測12將眼部偵測演算法應用於輸入影像之決定的臉部區域並基於分類器或臉部遮罩以偵測眼部。一較佳實施例中，眼部偵測12係基於Castrillon提出的方法。分類器或臉部遮罩係根據訓練組及儲存於臉部資料庫之結果進行訓練。

利用比較儲存之臉部遮罩及輸入影像，且伴隨輸入影像之臉部偵測及眼部偵測，儲存之臉部遮罩可正規化或重設大小，且輸入影像之臉部區域可確定。例如，當輸入影像係人類時，根據人類訓練組其平均眼寬為89.4mm，而平均面高為121.3mm。基此，眼寬為面高的89.4/121.3倍。假定偵測眼矩形的中心為Naison(n)，鼻根及鼻額骨的接合處的中心點及輸入影像的臉部區域可藉由前述演算法及偵測眼部的中心位置自動正規化或重設大小。

本發明另提出皮膚區域分割13及頭髮區域分割14之方法。一般皮膚及頭髮包含陰影，因此皮膚或頭髮之顏色常不一致。顏色不一致的問題可利用基於預選擇之訓練組之陰影分析及色彩失真分析加以解決。本發明之一方面，如圖3所示，皮膚區域分割13首先根據決定的眼部區域下方的兩個矩形區域從一訓練組中選擇皮膚區域。利用首先設定照片之真實色彩值Ii及預期色彩值Ei作為圖4中像素(xi,yi)亮度及色座標值，皮膚區域13進行陰影分析。其次，皮膚區域分割13藉由下式決定皮膚區域是否有陰影：

其中α_i 為關於一特定像素(x_i, y_i )真實亮度之相關目前亮度；(r_i ,g_i ,b_i )係RGB之像素之色彩向量；(μ_r ,μ_g ,μ_b )係平均色彩；(σ_r ,σ_g ,σ_b )係選擇訓練組之色彩標準差。若α_i 小於1，皮膚或頭髮區域有陰影；若α_i 大於1，皮膚或頭髮區域被照亮。

皮膚區域分割13另計算色彩失真分析如下：

其中CD_i 係像素(x_i ,y_i )之色彩失真。若計算所得之色彩失真小於一預設閥值且α_i 落入一預定範圍，該點即符合預定模式而歸類為該訓練組之一區域中。藉此即可決定皮膚區域。

頭髮區域分割14可使用與前述皮膚區域分割相同之方法決定頭髮區域。

一些皮膚區域和頭髮區域或包含外來物件，藉由控制一特定區域中色彩的平均值的標準差值，該外來物件或包含/不包含作為區域的一部分。當像素的顏色分佈並不位於訓練組的平均值的一特定標準差內，外來物件的影像或被去除。如圖3之(b)、(c)及(d)所示，皮膚區域分割13及頭髮區域分割14可去除標準差分別距離訓練組色彩分佈平均值一倍、二倍或三倍之標準差的像素。圖3之(a)係標準差訓練組之原始像素。

一些臉部區域如眼、鼻及嘴或包含無法輕易分類之陰影。當照片中的主要圖樣為人，皮膚區域分割13及頭髮區域分割14將五邊形的臉部遮罩應用於所決定的眼部，像素的位置定義於五邊形中作為皮膚像素。圖樣亦可為單色、其他照片或其他背景。

頭髮區域可能包含半透明像素，因而當應用頭髮及皮膚分割演算法時創造一些不確定性。頭髮區域14因而假定頭髮區域鄰近於皮膚區域分割14決定之皮膚區域。頭髮區域的可能位置被限制。此外，不確定的頭髮區域或被分類為未知區域或藉由分派不確定頭髮區域之各像素為可能屬於前景、背景或未知區域而進行重分類，其類似下述之技術。

身體遮罩應用流程120基於一訓練過程決定身體遮罩的可能的身體區域，以收集眼部偵測12測得之眼部寬度資訊、臉部偵測11測得之頦下(menton)位置以及來自訓練組之所有影像之相關身體像素。身體遮罩應用流程120根據收集的資訊自動對準及選擇輸入影像之身體區域。身體遮罩應用流程120據此決定身體遮罩之身體區域W(x_i ,y_i )之位置機率且可能重設選擇身體區域的大小。本發明一實施例中，若照片中圖樣包含人時，身體遮罩之底部可延伸至一遮罩之底部。

如圖2所示，疊代身體/背景分割121提供步驟21中各像素(x_i ,y_i )之色彩資訊r_i ,g_i ,b_i 。屬於身體或背景區域之各像素(x_i ,y_i )之機率係定義為p(background=0∣x_i ,y_i ,r_i ,g_i ,b_i )或p(background=1∣x_i ,y_i ,r_i ,g_i ,b_i )。若各像素係有條件地獨立於其他像素，其機率可重寫為：

根據Baye理論，屬於背景之各像素之機率變成：

類似地，屬於身體區域之各像素之機率表示成：

如圖2所示，步驟22基於Gaussian混合模型(GMM模型)藉由各像素之色彩及藉由身體遮罩應用製程120決定之身體遮罩定義代表之一身體區域及一背景區域。步驟22使用相同於步驟21中定義之各像素(x_i ,y_i )之色彩資訊r_i ,g_i ,b_i 及機率。藉由計算訓練日期組決定之身體遮罩中之正規化像素位置之頻率，機率函數w _i =ρ(background=0∣x_i ,y_i )可代表屬於身體區域之像素之機率。當w _i =1，像素係處於身體區域中。二維多變量之正規分佈之機率密度函數可為下式表示：

透過上述密度函數之線性組合之像素ρ(r_i ,g_i ,b_i )可由下式代表：

P_j 的總合等於1。據此，有J個高斯分佈提供於該色彩分佈ρ(r_i ,g_i ,b_i )。該公式暗示顏色為(r_i ,g_i ,b_i )之像素i或有一顏色分佈為機率P_j ,j=1,2,...,J之J個高斯分佈之一。屬於身體區域之像素之機率為w _i =ρ(background=0∣x_i ,y_i )。當w _i =1，像素屬於身體區域。前述決定之身體遮罩之各彩色像素可被包含於GMM模型預測之訓練樣本。在訓練過程中，被包含的像素可利用人工確定身體區域中之可能顏色分佈，或自動利用以下所述之預期最大化(Expectation Maximization；EM)演算法之概念加以決定。

N個訓練向量之組X，典型之最大可能(Maximum Likelihood；ML)公式化對於可能性函數進行最大化，以計算未知參數Θ之特定估算。

如圖2所示，步驟22另應用GMM-WD以修飾身體遮罩應用120決定之身體區域，以減少當照片之圖樣之姿勢異於訓練組之姿勢時之錯誤。具權重資料之GMM緊接著一期望步驟(E-步驟)23及一最大化步驟(M-步驟)24。於本發明一實施例中，一權重函數W (ρ_i ,w _i )=ρ_i ^{w i} 係提供於M-步驟24。權重函數提供較高權重w _i 給一個樣本點x_i ，以保持ML預估之影響。當w _i 接近於0時，權重函數接近於1，因此於最大化步驟中有微小影響。至於其他權重函數只要符合前述條件亦可加以採用。

假定本發明係採用權重函數W (ρ_i ,w _i )=ρ_i ^{w i} ，可能性函數為

當可能性函數採用其最大值，參數可被決定，亦即

若J_i 代表x_i 產生之混合，對數可能性函數為：

其中j_i 採區間[1,J]中之整數值，且未知參數向量為Θ=[θ^T ,P^T ]^T 。因此參數之EM演算法可如以下所示之E-步驟23。假定係疊代之第t+1步驟有θ(t)，預期值可為

從j去掉指標i，且加總j的所有可能的J值，一個輔助的目標函數獲得如下：

在計算E-步驟23之預期後，進行M步驟24。混合權重係正規化於M步驟24中如下：

Q(θ^t ,θ^t+1 )係最大化，並使得一次微分為0。

一Lagrange乘數μ係用以解出如下之偏微分函數：

Lagrange乘數μ可如以下加以決定：

據此，藉由最大化Q(θ^t ,θ^t+1 )及使得其一次微分為0，可獲致混合權重之疊代更新方案：

本發明另定義一輔助函數以量測訓練樣本x_i 對於混合j之貢獻如下：

如圖2所示，於步驟25中根據提出的權重函數結合預期最大化演算法(E-步驟23及M-步驟24)可分派各像素的權重、步驟22中由GMM-WD定義之身體區域及前述之公式及條件。因此，身體遮罩之決定不僅基於顯示於身體區域中之像素顏色之頻率，且基於分派於該像素之權重。分派於步驟25之權重可疊代或自動取得。身體遮罩之取得可根據無預先選擇訓練組之特定身體區域指派之權重。因此，多種變化之身體區域或姿勢無須手動調整即可自動決定。步驟26中，前景及相應之背景係根據修飾之身體區域、臉部區域、皮膚區域及頭髮區域而決定。

如圖2所示，當身體區域決定後，疊代身體/背景分割121根據設定包含眼、臉、頭髮區域之頭部區域之機率為0及計算各像素間w_i 和1之差異另決定步驟25中之相應背景。屬於背景之各像素之機率可依下式計算：

J_body 和J_background 分別為身體及背景顏色模型之高斯混合之數目。P_jbody 和P_jbackground 分別為身體和背景GMM模型之混合權重。

如圖2所示，前景和背景可基於照片前景和背景之色彩差異另由混合之重設權重流程27加以修飾。例如，前景之身體區域選擇重設權重，如以下所述，定義身體區域d _jbody 之區別值以預估與背景混合之相似度。

λ_jbody 係Σ_jbody '的特徵值的總和，而λ_jbackground 係Σ_jbackground 的特徵值的總和。與背景混合較低色彩相似度之身體混合得到較大的差異值。新的混合權重定義如下：

新的身體遮罩w'i可根據新混合權重和原始密度函數作為新的假設身體遮罩獲得。既然新的混合權重關於原始密度函數之參數並非最佳，流程回到步驟22且以新的假設身體遮罩取代身體遮罩，接著再次應用具權重資料模型之GMM以根據新的假設身體遮罩w'i修飾及決定身體之背景，亦即：

重設權重流程可應用於照片之任一區域，但不限定於前景或背景之身體區域。一實施例中，可拒絕w_i <0.9之像素i，而助於以較佳條件進行比較。一般而言，應用一次重設權重對於所有的混合是足夠的。

如圖1所示，產生三次圖15，其結合前景區域、背景區域及未知區域如下述。例如，前景區域可包含但非限制於前述之頭部區域、頭髮區域及身體區域。屬於身體之像素i之機率及屬於背景之像素之機率可如下述：

根據由訓練組收集之資訊，預設二個閥值T₁ 及T₂ 。若ρ_i >T₁ ，像素i屬於身體區域；若ρ_i <T₂ ，像素i屬於背景區域；否則像素i歸類為未知區域。

影像配合16結合三次圖並基於決定的臉部區域、眼部區域及Anat Levin,Dani Lischinski,and Yair Weiss提出之密閉形式配合演算法(參IEEE transactions on Pattern Analysis and Machine Intelligence(PAMI),Vol. 30,No. 2,2008)以產生透明度遮罩。

影像合成17收集照片及新背景影像或如圖1所示之其他部分之各分割部分。一較佳實施例中，背景替換18可將原始影像之背景由新的背景影像取代。

本發明一實施例中，36個人像影像的可能性的身體遮罩及身體區域係手動地標示為基礎事實訓練組以訓練先前模型之位置。人像影像係利用基於前述強化state-of-the-art AdaBoost偵測器之臉部及眼部偵測器進行偵測。其次，前次遮罩係幾何對準及修剪成適合大小。修剪後之前次遮罩不應大於輸入影像。圖5中，第一列(即(a)及(b))包含輸入人像影像及預估透明度遮罩。本發明計算之三次圖係顯示於第二列(即(c)-(e))。第三列(即(f)-(h))係與前述三次圖互補。第四列(即(i)-(j))顯示不同背景之替代或配合結果。

身體/背景分割之消耗時間的平均比例佔所有消耗時間超過85%。計算效能之瓶頸歸於針對疊代之身體背景分割之耗時的GMM模型參數估算。為加速流程，本發明提出以下的效率提升策略。

若身體/背景遮罩提供合理的假設，策略1略過重設權重步驟。換言之，混合重設權重對於每個輸入影像並非絕對必要。

策略2降低訓練組取樣率，其可加速GMM流程。當具非瑣細的身體/背景遮罩值的所有像素係用於估計GMM的參數，其過程將變得非常耗時。因此，降低取樣率係合理的技術以降低計算成本。

策略3設定EM演算法之疊代之最大次數為50。EM演算法依初始值可收斂至可見的資料可能性函數之區域最大值。某些例子中，EM演算法緩慢收斂；因此若在預設之疊代次數後並未收斂，可簡單地中止疊代。其他加速傳統EM演算法之方法亦被提出，例如利用共軛梯度或修改Newton-Raphson技術。

前述策略之執行並無照片分割精確性之實質損失。基於圖5所示之輸入影像，各提出的策略或可減少完成替代背景為白色背景之所需時間。結果如下表所示。

本發明之技術內容及技術特點已揭示如上，然而熟悉本項技術之人士仍可能基於本發明之教示及揭示而作種種不背離本發明精神之替換及修飾。因此，本發明之保護範圍應不限於實施例所揭示者，而應包括各種不背離本發明之替換及修飾，並為以下之申請專利範圍所涵蓋。

11．．．臉部偵測

12．．．眼部偵測

13．．．皮膚區域分割

14．．．頭髮區域分割

15．．．三次地圖產生

16．．．影像配合

17．．．影像合成

18．．．產生背景替代

120．．．身體遮罩應用

121．．．疊代身體/背景分割

21~27．．．步驟

圖1顯示本發明一實施例之照片分割流程圖；

圖2顯示圖1之疊代身體/背景分割步驟之函數流程圖；

圖3顯示臉部區域下之定義訓練組之兩矩形區域以選擇皮膚區域；

圖4顯示特定位置(x_i ,y_i )之像素的亮度及色度座標值；以及

圖5顯示本發明一實施例之照片之分割成前景、背景及未知區域及其背景的替換。

11．．．臉部偵測

12．．．眼部偵測

13．．．皮膚區域分割

14．．．頭髮區域分割

15．．．三次地圖產生

16．．．影像配合

17．．．影像合成

18．．．產生背景替代

120．．．身體遮罩應用

121．．．疊代身體/背景分割

Claims (18)

1. 一種照片分割方法，包含：根據一第一預設遮罩決定一照片之一第一前景；應用具有權重資料之高斯混合模型(GMM-WD)於該第一前景以產生一第二前景；根據該第二前景決定該照片之第一背景；應用該GMM-WD於該第一背景以產生一第二背景；以及根據該第二背景及該第二前景決定一第一區域；其中，該第一預設遮罩係利用以下之步驟決定：決定一第一臉部區域；決定一眼部區域；決定一皮膚區域；根據該眼部區域及該皮膚區域相較於該第一臉部區域之顏色失真分析決定一第二臉部區域；決定一頭髮區域；及決定一身體區域；其中該預設遮罩係該第二臉部區域、該頭髮區域及該身體區域之組合。
2. 根據請求項1所述之照片分割方法，其中該GMM-WD包含一權重函數及權重資料，於該GMM-WD之最大化步驟中，當該權重資料接近0時，該權重函數接近1。
3. 根據請求項1所述之照片分割方法，其中該GMM-WD另包含一預期最大化演算法。
4. 根據請求項1所述之照片分割方法，其中該第一預設遮罩係根據訓練組決定。
5. 根據請求項1所述之照片分割方法，其中該身體區域係應用該GMM-WD進行修飾。
6. 根據請求項1所述之照片分割方法，其中該身體區域係延伸至照片之底部。
7. 根據請求項1所述之照片分割方法，其中該頭髮區域係假設鄰近該皮膚區域。
8. 根據請求項1所述之照片分割方法，其另包含：使用一重設權重流程決定一第二預設遮罩；根據該第二預設遮罩決定該照片之一第三前景；應用GMM-WD於該第三前景以產生一第四前景；根據該第四前景決定該照片之一第三背景；應用GMM-WD於該第三背景以產生一第四背景；及根據該第四背景及第四前景決定一第二區域。
9. 根據請求項8所述之照片分割方法，其中該重設權重流程包含應用於GMM-WD之密度函數之權重。
10. 根據請求項9所述之照片分割方法，其中該重設權重流程根據一差異值決定該權重，藉此與該第三背景有較小顏色相似性者得到較大之差異值。
11. 根據請求項1所述之照片分割方法，其中該照片分割利用降低該第一預設遮罩之取樣率進行加速。
12. 根據請求項3所述之照片分割方法，其中該照片分割利用中止該預期最大化演算法之疊代流程進行加速。
13. 根據請求項8所述之照片分割方法，其中該照片分割利用略過該重設權重流程進行加速。
14. 一種照片之影像配合方法，包含：確認該照片之一第一前景； 確認該照片之一第一背景；應用具權重資料之高斯混合模型(GMM-WD)於該第一前景及該第一背景，以產生一第二前景及一第二背景；利用自該照片去除該第二前景及該第二背景確認一第一區域；以及根據該第二前景、該第二背景及該第一區域，實施一影像配合流程；其中該第二前景、該第二背景及該第一區域由其他圖樣取代。
15. 根據請求項14所述之影像配合方法，其中該圖樣係單色、其他照片或其他背景。
16. 根據請求項14所述之影像配合方法，其中取代後之照片利用重設權重流程進行修飾，重設權重流程包含應用於GMM-WD之密度函數之權重，且係根據一差異值決定該權重，藉此與該第三背景有較小顏色相似性者得到較大之差異值。
17. 一種照片分割系統，包含：一根據一預設遮罩確認一照片之一第一前景之手段；一根據該預設遮罩確認該照片之一第一背景之手段；一應用具權重資料之高斯混合模型(GMM-WD)於該第一前景及該第一背景以產生一第二前景及一第二背景之手段；一利用自該照片去除該第二前景及該第二背景以確認一第一區域之手段；以及一重設權重手段，係應用於GMM-WD之一密度函數。
18. 根據請求項17所述之照片分割系統，其中該重設權重手段根據一差異值決定該權重，藉此與該第三背景有較小顏色相似性者得到較大之差異值。