TWI807851B - 一種領域泛化之人臉防偽的特徵解析系統、方法及其電腦可讀媒介 - Google Patents

Abstract

本發明係提供一種領域泛化之人臉防偽的特徵解析系統、方法及其電腦可讀媒介，包括活體特徵抽取模組、輪廓特徵抽取模組、領域特徵抽取模組、活體分類器模組、臉部輪廓重建模組及領域分類器模組，其中，計算出活體分類損失、活體混淆損失、輪廓重建損失、輪廓混淆損失、領域分類損失及領域混淆損失以更新前述該些模組，直至該些模組達到收斂，進而完成其神經網路之訓練。是以，本發明經訓練後能精準地從一影像中抽取出人臉之活體特徵，以於對影像中的人臉進行活體判斷時，不會受到領域或環境因素的干擾，進而達到領域泛化之人臉防偽之效果。

Description

一種領域泛化之人臉防偽的特徵解析系統、方法及其電腦可讀媒介

本發明關於一種人臉防偽的特徵解析技術，尤其是指一種領域泛化之人臉防偽的特徵解析系統、方法及電腦可讀媒介。

隨人臉辨識系統逐漸成熟，越來越多系統或裝置(如手機及大樓門禁)等皆以人臉辨識作為基礎進行驗證，但這也面臨新的安全性問題，例如：惡意攻擊者試圖透過印刷出之人臉或螢幕顯示出人臉來欺騙人臉辨識模型，故人臉防偽(face anti-spoofing)成為提升資訊安全的一項重要技術。

然而，既有的人臉防偽模型，常會因為領域的差異影響到辨識的效果，例如：某人臉防偽模型使用相機拍攝的人臉資料進行訓練，但在將模型應用於監視器影像的人臉辨識時，會因為資料的光線、拍攝角度、 設備的焦距或解析度等領域的差異，而影響到辨識的效果，此問題被稱為領域差異性。

因此，如何避免領域差異性之問題，並實現領域泛化之人臉防偽，以精準地達到領域泛化之人臉防偽的效果，遂成為業界亟待解決的課題。

為解決前述習知的技術問題或提供相關之功效，本發明提供一種領域泛化之人臉防偽的特徵解析系統，係包括：一活體特徵抽取模組，係接收一欲判斷是否具有活體之人臉影像之影像資料，以從該影像資料中抽取出活體特徵；一活體分類器模組，係通訊連接該活體特徵抽取模組，以接收該影像資料之活體特徵，再由該活體分類器模組依據該影像資料之活體特徵計算出該影像資料之活體分類結果；以及一處理模組，係通訊連接該活體分類器模組，以接收該影像資料之活體分類結果，再由該處理模組依據該影像資料之活體分類結果判斷該影像資料中之人臉影像是否為活體。

本發明復提供一種領域泛化之人臉防偽的特徵解析方法，係包括：由活體特徵抽取模組接收一欲判斷是否具有活體之人臉影像之影像資料，以從該影像資料中抽取出活體特徵；由活體分類器模組接收該影像資料之活體特徵後，依據該影像資料之活體特徵計算出該影像資料之活體分類結果；以及由處理模組接收該影像資料之活體分類結果後，依據該影像資料之活體分類結果判斷該影像資料中之人臉影像是否為活體。

於一實施例中，該領域泛化之人臉防偽的特徵解析系統及方法更包括：一通訊連接該活體分類器模組之輪廓特徵抽取模組、一通訊連接該輪廓特徵抽取模組之臉部輪廓重建模組、一通訊連接該活體分類器模組之領域特徵抽取模組，以及一通訊連接該活體特徵抽取模組、該輪廓特徵抽取模組及該領域特徵抽取模組之領域分類器模組。

於一實施例中，該處理模組更計算出一活體分類損失、一活體混淆損失、一輪廓重建損失、一輪廓混淆損失、一領域分類損失及一領域混淆損失，以由該處理模組依據該活體分類損失、該活體混淆損失、該輪廓重建損失、該輪廓混淆損失、該領域分類損失及該領域混淆損失之其中至少一者更新該活體特徵抽取模組、該輪廓特徵抽取模組、該領域特徵抽取模組、該活體分類器模組、該臉部輪廓重建模組及該領域分類器模組。

於一實施例中，由該活體特徵抽取模組接收至少一訓練影像資料，以從該訓練影像資料中抽取出該訓練影像資料之活體特徵，再由該活體分類器模組及該領域分類器模組依據該訓練影像資料之活體特徵分別計算出一第一活體分類結果及一第一領域分類結果，以令該處理模組依據該第一活體分類結果及該第一領域分類結果分別計算出該活體分類損失及該活體混淆損失。

於一實施例中，由該輪廓特徵抽取模組接收至少一訓練影像資料，以從該訓練影像資料中抽取出人臉影像之輪廓特徵，再由該臉部輪廓重建模組依據該輪廓特徵重建一臉部輪廓，以令該處理模組依據經重建之該臉部輪廓以計算出該輪廓重建損失。

於一實施例中，由該活體分類器模組及該領域分類器模組依據該輪廓特徵分別計算出一第二活體分類結果及一第二領域分類結果，以令該處理模組依據該第二活體分類結果及該第二領域分類結果計算出該輪廓混淆損失。

於一實施例中，由該領域特徵抽取模組接收至少一訓練影像資料，以從該訓練影像資料中抽取出領域特徵，再由該活體分類器模組及該領域分類器模組依據該領域特徵分別計算出一第三活體分類結果及一第三領域分類結果，以令該處理模組依據該第三領域分類結果及該第三活體分類結果分別計算出該領域分類損失及該領域混淆損失。

本發明又提供一種電腦可讀媒介，應用於具有處理器及/或記憶體的電腦或計算裝置中，該電腦或該計算裝置透過處理器及/或記憶體執行一目標程式及電腦可讀媒介，並用於執行電腦可讀媒介時執行如上所述之領域泛化之人臉防偽的特徵解析方法。

由上述可知，本發明之領域泛化之人臉防偽的特徵解析系統、方法及其電腦可讀媒介，藉由計算出的損失函數(即活體分類損失、活體混淆損失、輪廓重建損失、輪廓混淆損失、領域分類損失及領域混淆損失)對上述該些模組進行更新，並直至該些模組達到收斂，進而完成其神經網路之訓練。是以，本發明之領域泛化之人臉防偽的特徵解析系統經訓練後能精準地從一影像中抽取出領域泛化之人臉之活體特徵，以於對影像中的人臉進行活體判斷時，不會受到領域或環境因素的干擾，故本發明可應用於任意的領域中，以達到領域泛化(Domain Generalization)之效果。

1:領域泛化之人臉防偽的特徵解析系統

11:活體特徵抽取模組

12:輪廓特徵抽取模組

13:領域特徵抽取模組

14:活體分類器模組

15:臉部輪廓重建模組

16:領域分類器模組

17:處理模組

S21A~S23A及S21B~S23B:步驟

S31A~S33A及S31B~S33B:步驟

S41A~S43A及S41B~S43B:步驟

S51~S511:步驟

圖1及圖1-1係為本發明之領域泛化之人臉防偽的特徵解析系統。

圖2A係為本發明之活體分類損失之計算流程示意圖。

圖2B係為本發明之活體混淆損失之計算流程示意圖。

圖3A係為本發明之輪廓重建損失之計算流程示意圖。

圖3B係為本發明之輪廓混淆損失之計算流程示意圖。

圖4A係為本發明之領域分類損失之計算流程示意圖。

圖4B係為本發明之領域混淆損失之計算流程示意圖。

圖5係為本發明之領域泛化之人臉防偽的特徵解析系統中之模組的神經網路之訓練方法流程示意圖。

以下藉由特定的具體實施例說明本發明之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。

須知，本說明書所附圖式所繪示之結構、比例、大小等，均僅用以配合說明書所揭示之內容，以供熟悉此技藝之人士之瞭解與閱讀，並非用以限定本發明可實施之限定條件，故不具技術上之實質意義，任何結構之修飾、比例關係之改變或大小之調整，在不影響本發明所能產生之功效及所能達成之目的下，均應仍落在本發明所揭示之技術內容得能涵蓋之範圍內。同時，本說明書中所引用之如「一」、「第一」、「第二」、 「上」及「下」等之用語，亦僅為便於敘述之明瞭，而非用以限定本發明可實施之範圍，其相對關係之改變或調整，在無實質變更技術內容下，當視為本發明可實施之範疇。

圖1係為本發明之領域泛化之人臉防偽的特徵解析系統1，包括：一活體特徵抽取模組11、一輪廓特徵抽取模組12、一領域特徵抽取模組13、一活體分類器模組14、一臉部輪廓重建模組15及一領域分類器模組16，其中，活體特徵抽取模組11、輪廓特徵抽取模組12、領域特徵抽取模組13、活體分類器模組14、臉部輪廓重建模組15及領域分類器模組16皆由人工神經網路(Artificial Neural Network，簡稱：ANN)(或稱：神經網路、類神經網路(Neural Network，簡稱：NN))所構建而成。在一實施例中，領域泛化之人臉防偽的特徵解析系統1更包括一通訊連接上述該些模組之處理模組17(如圖1-1所示)，係用於計算上述該些模組之損失函數(Loss Function)。

在一實施例中，領域泛化之人臉防偽的特徵解析系統1係可建立於相同(或不同)伺服器(如通用型伺服器、檔案型伺服器、儲存單元型伺服器等)及電腦等具有適當演算機制之電子設備中，其中，領域泛化之人臉防偽的特徵解析系統1中之各個模組均可為軟體、硬體或韌體；若為硬體，則可為具有資料處理與運算能力之處理單元、處理器、電腦或伺服器；若為軟體或韌體，則可包括處理單元、處理器、電腦或伺服器可執行之指令，且可安裝於同一硬體裝置或分布於不同的複數硬體裝置。

所述之活體特徵抽取模組11係為一個輸入維度為H×W×3，而輸出維度為D的神經網路，其中，H及W分別為領域泛化之人臉防偽的特徵解析系統1所接收之影像資料的高度及寬度，3代表彩色影像的三個顏色 通道，以及D為活體特徵的向量長度(或稱特徵長度)。於此實施例中，活體特徵抽取模組11所使用之神經網路係為扣除最後一層的ResNet18，且特徵長度D為512。具言之，領域泛化之人臉防偽的特徵解析系統1接收所輸入之一張影像資料(包含人臉影像)，由活體特徵抽取模組11從複雜的影像資料中抽取出長度為D的活體特徵，以作為用來判斷該影像資料中之人臉是否為活體的資訊。

於本實施例中，為了使從該影像資料中抽取出的活體特徵不包含無關的領域資訊，而透過處理模組17計算出一活體分類損失及一活體混淆損失，以依據活體分類損失及活體混淆損失訓練活體特徵抽取模組11，其中，活體分類損失及活體混淆損失之計算方式如下所述：

1.活體分類損失：

如圖2A所示，活體分類損失之計算流程包含：

於步驟S21A中，輸入一訓練影像資料，且訓練影像資料包含人臉影像。

於步驟S22A中，由活體特徵抽取模組11從訓練影像資料中抽取出活體特徵後，再由活體分類器模組14依據訓練影像資料之活體特徵計算出一第一活體分類結果。詳言之，活體分類器模組14為一種類神經網路，且輸入維度為D之活體特徵，以及輸出與活體標籤y _i 相同維度之預測值。以活體分類器模組14為一層全連接層為例，活體分類器模組14所預測出之第一活體分類結果為θ_L×E _L (x _i,j )+b_L，其中，θ_L及b_L為活體分類器模組14之參數。

於步驟S23A中，由處理模組17利用活體分類損失之損失函數(1)計算出第一活體分類結果與訓練影像資料之活體標籤之間的差距，以得到活體分類損失。詳言之，活體分類損失係為確保活體特徵中包含輸入影像中可供活體判斷的重要資訊，其中，活體分類損失之損失函數(1)之方程式例如下所示：

其中，x _i,j 為輸入的訓練影像資料；E _L 為活體特徵抽取模組11；C _L 為活體分類器模組14；y _i 為訓練影像資料之活體標籤；S為訓練時使用到的領域數量，在此實施例中為訓練影像資料集的數量；N為神經網路平行運算時，一次輸入的訓練影像資料數量(即batch size)；以及L _live 為活體分類損失，即活體特徵經由活體分類器模組14計算後所得到之第一活體分類結果與活體標籤之間的差距。

2.活體混淆損失：

如圖2B所示，活體混淆損失之計算流程包含：

於步驟S21B中，輸入一訓練影像資料。

於步驟S22B中，由活體特徵抽取模組11從訓練影像資料中抽取出活體特徵，再由領域分類器模組16依據訓練影像資料之活體特徵計算出一第一領域分類結果。詳言之，領域分類器模組16為一種類神經網路，且輸入維度為D之活體特徵，以及輸出為與領域標籤m _i 相同維度之預測值。以領域分類器模組16為一層全連接層為例，領域分類器模組16所預測出的 第一領域分類結果為θ_D×E _L (x _i,j )+b_D，其中，θ_D及b_D為領域分類器模組16之參數。

於步驟S23B中，由處理模組17利用活體混淆損失之損失函數(2)計算出第一領域分類結果與均勻分佈之間的差距，以得到活體混淆損失。詳言之，活體混淆損失係為確保訓練影像資料之活體特徵中不包含訓練影像資料之領域資訊(如拍攝時的光線、使用設備的焦距與解析度等)，故領域分類器模組16辨識的第一領域分類結果應接近均勻分佈，其中，活體混淆損失之損失函數(2)之方程式例如下所示：

其中，x _i,j 為輸入的訓練影像資料；E _L 為活體特徵抽取模組11；C _D 為領域分類器模組16；S為訓練影像資料集的數量；N為一次輸入的訓練影像資料數量；以及

為活體混淆損失，即活體特徵經由領域分類器模組16計算後所得到之第一領域分類結果與均勻分佈之間的差距。

在一實施例中，第一活體分類結果及第一領域分類結果可為0~1之間的機率值，或是以百分比呈現之數值，且於此不限活體分類結果之數值呈現方式。

所述之輪廓特徵抽取模組12亦為一個輸入維度為H×W×3，而輸出維度為D的神經網路。於此實施例中，活體特徵抽取模組11所使用之神經網路係為扣除最後一層的ResNet18，且特徵長度D為512。具言之，領域泛化之人臉防偽的特徵解析系統1接收所輸入之一張影像資料，由輪廓特徵 抽取模組12從複雜的影像資料中抽取出長度為D的輪廓特徵，以作為用來重建該影像資料中之臉部輪廓的資訊。

於本實施例中，為了使從該影像資料中抽取出的輪廓特徵不包含無關的活體資訊及領域資訊，而透過處理模組17計算出一輪廓重建損失及一輪廓混淆損失，其中，輪廓重建損失及輪廓混淆損失之計算方式如下所述：

1.輪廓重建損失：

如圖3A所示，輪廓重建損失之計算流程包含：

於步驟S31A中，輸入一訓練影像資料。

於步驟S32A中，由輪廓特徵抽取模組12從訓練影像資料中抽取出輪廓特徵，再由臉部輪廓重建模組15依據訓練影像資料之輪廓特徵重建出一臉部輪廓。

詳言之，臉部輪廓重建模組15為一種類神經網路，且輸入維度為D之輪廓特徵，而輸出的預測值之維度與預先訓練之臉部輪廓生成模組Φ所生成的輪廓Φ(x _i,j )之輪廓維度相同。以臉部輪廓重建模組15為一層全連接層且輪廓維度為H×W為例，臉部輪廓重建模組15所重建出之臉部輪廓為θ_C×E _c (x _i,j )+b_C，其中，θ_C及b_C為領域分類器模組16之參數，θ_C之維度為H×W×D，b_C之維度為H×W，故重建出之輪廓為大小H×W的預測值。

於步驟S33A中，由處理模組17利用輪廓重建損失之損失函數(3)計算出經重建之臉部輪廓與訓練影像資料之臉部輪廓之間的差距，以得到輪廓重建損失。詳言之，輪廓重建損失係為確保輪廓特徵中包含輸入 的訓練影像資料之中可供重建出臉部輪廓的重要資訊，其中，輪廓重建損失之損失函數(3)之方程式例如下所示：

其中，x _i,j 為輸入的訓練影像資料；E _C 為輪廓特徵抽取模組12；D _C 為臉部輪廓重建模組15；Φ為預先訓練之臉部輪廓生成模組(圖中未示)，以從輸入的訓練影像資料抽取出臉部輪廓，俾供與經重建之臉部輪廓計算出輪廓重建損失；S為訓練影像資料集的數量；N為一次輸入的訓練影像資料數量；以及L _cont 為輪廓重建損失，即輪廓特徵經由臉部輪廓重建模組15重建後所得到之臉部輪廓與預先訓練之臉部輪廓生成模組所抽取之臉部輪廓之間的差距。

在一實施例中，預先訓練之臉部輪廓生成模組係為利用PRNet所建立的輸入維度為D，而輸出維度為H×W×3的神經網路。

2.輪廓混淆損失：

如圖3B所示，輪廓混淆損失之計算流程包含：

於步驟S31B中，輸入一訓練影像資料。

於步驟S32B中，由輪廓特徵抽取模組12從訓練影像資料中抽取出輪廓特徵後，再由活體分類器模組14及領域分類器模組16依據訓練影像資料之輪廓特徵分別計算出一第二活體分類結果及一第二領域分類結果。具言之，以活體分類器模組14及領域分類器模組16皆為一層全連接層為例，活體分類器模組14所預測出之第二活體分類結果為θ_L×E _C (x _i,j )+b_L，而領域分類器模組16所預測出的第二領域分類結果為θ_D×E _C (x _i,j )+ b_D，其中，θ_L及b_L為活體分類器模組14之參數，而θ_D及b_D為領域分類器模組16之參數。

於步驟S33B中，由處理模組17利用輪廓混淆損失之損失函數(4)計算出第二活體分類結果、第二領域分類結果與均勻分佈之間的差距，以得到輪廓混淆損失。詳言之，輪廓混淆損失係為確保輪廓特徵中不包含輸入影像中的活體資訊或領域資訊，故第二活體分類結果及第二領域分類結果皆應接近均勻分佈，其中，輪廓混淆損失之損失函數(4)之方程式例如下所示：

其中，x _i,j 為輸入的訓練影像資料；E _C 為輪廓特徵抽取模組12；C _L 為活體分類器模組14；C _D 為領域分類器模組16；S為訓練影像資料集的數量；N為一次輸入的訓練影像資料數量；以及

為輪廓混淆損失，即輪廓特徵經由活體分類器模組14及領域分類器模組16計算後所得到之第二活體分類結果及第二領域分類結果相較於均勻分佈之間的差距之總和。

在一實施例中，第二活體分類結果及第二領域分類結果可為0~1之間的機率值，或是以百分比呈現之數值，且於此不限活體分類結果之數值呈現方式。

所述之領域特徵抽取模組13亦為一個輸入維度為H×W×3，而輸出維度為D的神經網路。於此實施例中，領域特徵抽取模組13所使用之神經網路係為扣除最後一層的ResNet18，且特徵長度D為512。具言之，領域泛化之人臉防偽的特徵解析系統1接收所輸入之一張影像資料，由領域特徵抽 取模組13從複雜的影像資料中抽取出長度為D的領域特徵，以作為用來分辨該影像資料中之領域資訊(如拍攝時的光線、使用設備的焦距與解析度等)。

於本實施例中，為了使從該影像資料中抽取出的領域特徵不包含無關的活體資訊，而透過處理模組17計算出一領域分類損失及一領域混淆損失，其中，領域分類損失及領域混淆損失之計算方式如下所述：

1.領域分類損失：

如圖4A所示，領域分類損失之計算流程包含：

於步驟S41A中，輸入一訓練影像資料。

於步驟S42A中，由領域特徵抽取模組13從訓練影像資料中抽取出領域特徵後，再由領域分類器模組16依據訓練影像資料之領域特徵計算出一第三領域分類結果。具言之，以領域分類器模組16為一層全連接層為例，領域分類器模組16所預測出的第三領域分類結果為θ_D×E _D (x _i,j )+b_D，其中，θ_D及b_D為領域分類器模組16之參數。

於步驟S43A中，由處理模組17利用領域分類損失之損失函數(5)計算出第三領域分類結果與訓練影像資料之領域標籤之間的差距，以得到領域分類損失。詳言之，領域分類損失係為確保領特徵中包含輸入影像中可供領域判斷的重要資訊，其中，領域分類損失之損失函數(5)之方程式例如下所示：

其中，x _i,j 為輸入的訓練影像資料；E _D 為領域特徵抽取模組13；C _D 為領域分類器模組16；m _i 為訓練影像資料之領域標籤；S為訓練影像資料集的數 量；N為一次輸入的訓練影像資料數量；以及L _dom 為領域分類損失，即領域特徵經由領域分類器模組16計算後所得到之第三領域分類結果與領域標籤之間的差距。

2.領域混淆損失：

如圖4B所示，領域混淆損失之計算流程包含：

於步驟S41B中，輸入一訓練影像資料。

於步驟S42B中，由領域特徵抽取模組13從訓練影像資料中抽取出領域特徵，再由活體分類器模組14依據訓練影像資料之領域特徵計算出一第三活體分類結果。具言之，以活體分類器模組14為一層全連接層為例，活體分類器模組14所預測出的第三活體分類結果為θ_L×E _D (x _i,j )+b_L，其中，θ_L及b_L為活體分類器模組14之參數。

於步驟S43B中，由處理模組17利用領域混淆損失之損失函數(6)計算出第三活體分類結果與均勻分佈之間的差距，以得到領域混淆損失。詳言之，領域混淆損失係為確保訓練影像資料之領域特徵中不包含訓練影像資料之活體資訊，故活體分類器模組14辨識的第三活體分類結果應接近均勻分佈，其中，領域混淆損失之損失函數(6)之方程式例如下所示：

其中，x _i,j 為輸入的訓練影像資料；E _D 為領域特徵抽取模組13；C _L 為活體分類器模組14；S為訓練影像資料集的數量；N為一次輸入的訓練影像資料數量；以及

為領域混淆損失，即領域特徵經由活體分類器模組14計算後所得到之第三活體分類結果與均勻分佈之間的差距。

在一實施例中，第三領域分類結果及第三活體分類結果可為0~1之間的機率值，或是以百分比呈現之數值，且於此不限活體分類結果之數值呈現方式。

於另一實施例中，以於藉由輸入的訓練影像資料而得到各項損失函數(1)~(6)之損失(即活體分類損失、活體混淆損失、輪廓重建損失、輪廓混淆損失、領域分類損失及領域混淆損失)後，由處理模組17利用類神經網路的反向傳播(Backpropagation，BP)，並結合梯度下降法(Gradient descent)計算出各項損失函數(1)~(6)之梯度，以藉由各個損失函數(1)~(6)之梯度回饋最佳化方法，俾對活體特徵抽取模組11、輪廓特徵抽取模組12、領域特徵抽取模組13、活體分類器模組14、臉部輪廓重建模組15及領域分類器模組16中之權重進行更新，進而優化各項損失函數(1)~(6)，亦即得到更小的損失函數。再者，各項損失函數(1)~(6)的權重可根據訓練影像資料及神經網路之設計進行調整。

詳言之，於活體特徵抽取模組11、輪廓特徵抽取模組12、領域特徵抽取模組13、活體分類器模組14、臉部輪廓重建模組15及領域分類器模組16進行更新時，所分別使用到的損失函數如下所述：

1.活體特徵抽取模組11：活體分類損失及活體混淆損失

2.活體分類器模組14：活體分類損失

3.輪廓特徵抽取模組12：輪廓重建損失及輪廓混淆損失

4.臉部輪廓重建模組15：輪廓重建損失

5.領域特徵抽取模組13：領域分類損失及領域混淆損失

6.領域分類器模組16：領域分類損失

接著，持續輸入複數訓練影像資料至活體特徵抽取模組11、輪廓特徵抽取模組12、領域特徵抽取模組13、活體分類器模組14、臉部輪廓重建模組15及領域分類器模組16中，以對該些模組進行如上述實施例所述之訓練過程，直至各項損失函數(1)~(6)達到收斂，藉此完成活體特徵抽取模組11、輪廓特徵抽取模組12、領域特徵抽取模組13、活體分類器模組14、臉部輪廓重建模組15及領域分類器模組16之神經網路的訓練。另一方面，通常以觀察損失函數下降的趨勢做為訓練時模型收斂與否的參考。

在一實施例中，判斷活體特徵抽取模組11、輪廓特徵抽取模組12、領域特徵抽取模組13、活體分類器模組14、臉部輪廓重建模組15及領域分類器模組16之神經網路的訓練是否達到收斂，以由各項損失函數(1)~(6)的總和大小來進行判斷。具言之，由於實作時各項損失函數(1)~(6)之大小會來回震盪，故需要將各項損失函數(1)~(6)隨更新次數的變化以折線圖表示，並將折線做平滑化，由處理模組17計算各項損失函數(1)~(6)在一定的更新次數內(如：500次)的下降數值是否小於一門檻值，以於下降數值小於一門檻值時判斷該些模組之神經網路的訓練達到收斂，而此門檻值可依據訓練準確度的需求設定之，故於此不限門檻值。

在一實施例中，亦可由處理模組17從臉部輪廓重建模組15所重建之臉部輪廓的品質、活體分類器模組14或/及領域分類器模組16所得到之分類結果的正確率，來判斷活體特徵抽取模組11、輪廓特徵抽取模組12、領域特徵抽取模組13、活體分類器模組14、臉部輪廓重建模組15及領域分類器模組16之神經網路的訓練是否完成。

圖5係為本發明之領域泛化之人臉防偽的特徵解析系統中之模組的神經網路之訓練方法流程示意圖，且一併參閱圖1~圖4-2說明之。此外，本實施例與上述實施例相同處不再贅述，且此訓練方法流程包含以下步驟S51至步驟S511：

於步驟S51中，輸入一訓練影像資料，其包含人臉影像，以及人臉影像以外的領域資訊(如拍攝時的光線、使用設備的焦距與解析度等)。

於步驟S52中，由活體特徵抽取模組11從訓練影像資料中抽取出有關於人臉影像之活體特徵。

於步驟S53中，由活體分類器模組14依據活體特徵計算出一第一活體分類結果，進而計算出第一活體分類結果與訓練影像資料之活體標籤之間的差距，以得到活體分類損失。

於步驟S54中，由領域分類器模組16依據訓練影像資料之活體特徵計算出一第一領域分類結果，進而計算出第一領域分類結果與均勻分佈之間的差距，以得到活體混淆損失。

於步驟S55中，由輪廓特徵抽取模組12從訓練影像資料中抽取出有關於人臉影像之輪廓特徵。

於步驟S56中，由臉部輪廓重建模組15依據訓練影像資料之輪廓特徵重建一臉部輪廓，進而計算出經重建之臉部輪廓與訓練影像資料之臉部輪廓之間的差距，以得到輪廓重建損失。

於步驟S57中，由活體分類器模組14及領域分類器模組16依據訓練影像資料之輪廓特徵分別計算出一第二活體分類結果及一第二領域 分類結果，進而計算出第二活體分類結果、第二領域分類結果與均勻分佈之間的差距，以得到輪廓混淆損失。

於步驟S58中，由領域特徵抽取模組13從複雜的影像資料中抽取出領域特徵。

於步驟S59中，由領域分類器模組16依據訓練影像資料之領域特徵計算出一第三領域分類結果，進而計算出第三領域分類結果與訓練影像資料之領域標籤之間的差距，以得到領域分類損失。

於步驟S510中，由活體分類器模組14依據訓練影像資料之領域特徵計算出一第三活體分類結果，進而計算出第三活體分類結果與均勻分佈之間的差距，以得到領域混淆損失。

於步驟S511中，以依據活體分類損失、活體混淆損失、輪廓重建損失、輪廓混淆損失、領域分類損失及領域混淆損失其中至少一者對活體特徵抽取模組11、輪廓特徵抽取模組12、領域特徵抽取模組13、活體分類器模組14、臉部輪廓重建模組15及領域分類器模組16中之權重進行更新，直至上述該些模組達到收斂。

此外，本發明還揭示一種電腦可讀媒介，係應用於具有處理器(例如，CPU、GPU等)及/或記憶體的計算裝置或電腦中，且儲存有指令，並可利用此計算裝置或電腦透過處理器及/或記憶體執行此電腦可讀媒介，以於執行此電腦可讀媒介時執行上述之方法及各步驟。

下列係為本發明之本發明之領域泛化之人臉防偽的特徵解析系統1應用實施例，且一併參閱圖1說明之。

於本實施例中，本發明之領域泛化之人臉防偽的特徵解析系統1中之模組已經上述實施例之訓練完成，以於接收到一欲判斷是否為活體的影像資料後，由活體特徵抽取模組11從影像資料抽取出活體特徵，且因經訓練後領域泛化之人臉防偽的特徵解析系統1能將與活體無關的輪廓特徵與領域特徵抽離，故活體特徵不會受到人臉輪廓及領域差異的影響。

再者，活體分類器模組14接收由活體特徵抽取模組11所抽取之活體特徵，以計算出一活體分類結果，即可藉由活體分類結果判斷該影像是否為活體。具言之，可以取一閾值，若活體分類結果高於該閾值，則處理模組17判定影像資料為異常，即影像資料中不具備活體；若低於該閾值，則理模組判定影像資料為正常，即影像資料中具備活體。

在一實施例中，活體分類結果及閾值可為0~1之間的機率值，或是以百分比呈現之數值，且閾值可依據需求設定之，故於此不限活體分類結果及閾值之數值呈現方式，以及閾值之大小。

綜上所述，本發明之領域泛化之人臉防偽的特徵解析系統、方法及其電腦可讀媒介，藉由計算出的損失函數(即活體分類損失、活體混淆損失、輪廓重建損失、輪廓混淆損失、領域分類損失及領域混淆損失)對活體特徵抽取模組、輪廓特徵抽取模組、領域特徵抽取模組、活體分類器模組、臉部輪廓重建模組及領域分類器模組等模組進行更新，並直至前述該些模組達到收斂，進而完成該些模組之神經網路之訓練。因此，本發明之領域泛化之人臉防偽的特徵解析系統經訓練後能精準地從一影像中抽取出領域泛化之人臉之活體特徵，以於對影像中的人臉進行活體判斷時，不 會受到領域或環境因素的干擾，故本發明可應用於任意的領域中，以達到領域泛化之人臉防偽之效果。

再者，相較於先前技術利用單一特徵抽取器，以抽取並判斷人臉的活體特徵，導致其應用受限於訓練時所使用的領域，以及單一特徵抽取器所抽取之活體特徵更包含無關的人臉輪廓特徵及領域特徵(如拍攝時的光線、使用設備的焦距與解析度等)，進而影響到人臉防偽的判斷效果。 然而，本發明分別使用輪廓特徵抽取模組及領域特徵抽取模組，能將與活體特徵無關的人臉輪廓資訊及領域特徵抽離，藉此讓活體特徵不受人臉輪廓差異與領域差異的干擾，能夠專注於人臉的活體特徵判讀。

是以，本發明能應用於不同的領域中，以進行人臉的活體特徵判斷，藉此避免有心人士利用非活體之人臉照片或影片進行驗證，進而達到領域泛化之人臉防偽之目的。

上述實施形態僅例示性說明本發明之原理及其功效，而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施形態進行修飾與改變。因此，本發明之權利保護範圍應如申請專利範圍所列。

1:領域泛化之人臉防偽的特徵解析系統

11:活體特徵抽取模組

12:輪廓特徵抽取模組

13:領域特徵抽取模組

14:活體分類器模組

15:臉部輪廓重建模組

16:領域分類器模組

Claims (13)

1. 一種領域泛化之人臉防偽的特徵解析系統，係包括：一活體特徵抽取模組，係接收一欲判斷是否具有活體之人臉影像之影像資料，以從該影像資料中抽取出活體特徵；一活體分類器模組，係通訊連接該活體特徵抽取模組，以接收該影像資料之活體特徵，再由該活體分類器模組依據該影像資料之活體特徵計算出該影像資料之活體分類結果；一領域分類器模組，係通訊連接該活體特徵抽取模組；以及一處理模組，係通訊連接該活體分類器模組，以接收該影像資料之活體分類結果，再由該處理模組依據該影像資料之活體分類結果判斷該影像資料中之人臉影像是否為活體，其中，由該活體特徵抽取模組接收至少一訓練影像資料，以從該訓練影像資料中抽取出該訓練影像資料之活體特徵，再由該活體分類器模組及該領域分類器模組依據該訓練影像資料之活體特徵分別計算出一第一活體分類結果及一第一領域分類結果，以令該處理模組依據該第一活體分類結果及該第一領域分類結果分別計算出一活體分類損失及一活體混淆損失。
2. 如請求項1所述之領域泛化之人臉防偽的特徵解析系統，更包括：一通訊連接該活體分類器模組之輪廓特徵抽取模組、一通訊連接該輪廓特徵抽取模組之臉部輪廓重建模組、一通訊連接該活體分類器模組之領域特徵抽取模組，以及通訊連接該輪廓特徵抽取模組及該領域特徵抽取模組之該領域分類器模組，其中，該處理模組更計算出一輪廓重建損失、一輪廓混淆損失、一領域分類損失及一領域混淆損失。
3. 如請求項2所述之領域泛化之人臉防偽的特徵解析系統，其中，由該處理模組依據該活體分類損失及該活體混淆損失更新該活體特徵抽取模組、依據該活體分類損失更新該活體分類器模組、依據該輪廓重建損失及該輪廓混淆損失更新該輪廓特徵抽取模組、依據該輪廓重建損失更新該臉部輪廓重建模組、依據該領域分類損失及該領域混淆損失更新該領域特徵抽取模組、以及依據該領域分類損失更新該領域分類器模組。
4. 如請求項2所述之領域泛化之人臉防偽的特徵解析系統，其中，由該輪廓特徵抽取模組接收至少一訓練影像資料，以從該訓練影像資料中抽取出人臉影像之輪廓特徵，再由該臉部輪廓重建模組依據該輪廓特徵重建一臉部輪廓，以令該處理模組依據經重建之該臉部輪廓以計算出該輪廓重建損失。
5. 如請求項4所述之領域泛化之人臉防偽的特徵解析系統，其中，由該活體分類器模組及該領域分類器模組依據該輪廓特徵分別計算出一第二活體分類結果及一第二領域分類結果，以令該處理模組依據該第二活體分類結果及該第二領域分類結果計算出該輪廓混淆損失。
6. 如請求項2所述之領域泛化之人臉防偽的特徵解析系統，其中，由該領域特徵抽取模組接收至少一訓練影像資料，以從該訓練影像資料中抽取出領域特徵，再由該活體分類器模組及該領域分類器模組依據該領域特徵分別計算出一第三活體分類結果及一第三領域分類結果，以令該處理模組依據該第三領域分類結果及該第三活體分類結果分別計算出該領域分類損失及該領域混淆損失。
7. 一種領域泛化之人臉防偽的特徵解析方法，係包括： 由活體特徵抽取模組接收一欲判斷是否具有活體之人臉影像之影像資料，以從該影像資料中抽取出活體特徵；由活體分類器模組接收該影像資料之活體特徵後，依據該影像資料之活體特徵計算出該影像資料之活體分類結果；以及由處理模組接收該影像資料之活體分類結果後，依據該影像資料之活體分類結果判斷該影像資料中之人臉影像是否為活體，其中，由該活體特徵抽取模組接收至少一訓練影像資料，以從該訓練影像資料中抽取出該訓練影像資料之活體特徵；由該活體分類器模組及一領域分類器模組依據該訓練影像資料之活體特徵分別計算出一第一活體分類結果及一第一領域分類結果；及由該處理模組依據該第一活體分類結果及該第一領域分類結果分別計算出一活體分類損失及一活體混淆損失。
8. 如請求項7所述之領域泛化之人臉防偽的特徵解析方法，更包括由該處理模組計算出一輪廓重建損失、一輪廓混淆損失、一領域分類損失及一領域混淆損失。
9. 如請求項8所述之領域泛化之人臉防偽的特徵解析方法，更包括由該處理模組依據該活體分類損失及該活體混淆損失更新該活體特徵抽取模組、依據該活體分類損失更新該活體分類器模組、依據該輪廓重建損失及該輪廓混淆損失更新一輪廓特徵抽取模組、依據該輪廓重建損失更新一臉部輪廓重建模組、依據該領域分類損失及該領域混淆損失更新一領域特徵抽取模組、以及依據該領域分類損失更新該領域分類器模組。
10. 如請求項9所述之領域泛化之人臉防偽的特徵解析方法，更包括：由該輪廓特徵抽取模組接收至少一訓練影像資料，以從該訓練影像資料中抽取出人臉影像之輪廓特徵；及由該臉部輪廓重建模組依據該輪廓特徵重建一臉部輪廓，以令該處理模組依據經重建之該臉部輪廓以計算出該輪廓重建損失。
11. 如請求項10所述之領域泛化之人臉防偽的特徵解析方法，更包括：由該活體分類器模組及該領域分類器模組依據該輪廓特徵分別計算出一第二活體分類結果及一第二領域分類結果；及由該處理模組依據該第二活體分類結果及該第二領域分類結果計算出該輪廓混淆損失。
12. 如請求項9所述之領域泛化之人臉防偽的特徵解析方法，更包括：由該領域特徵抽取模組接收至少一訓練影像資料，以從該訓練影像資料中抽取出領域特徵；由該活體分類器模組及該領域分類器模組依據該領域特徵分別計算出一第三活體分類結果及一第三領域分類結果；及由該處理模組依據該第三領域分類結果及該第三活體分類結果分別計算出該領域分類損失及該領域混淆損失。
13. 一種電腦可讀媒介，應用於計算裝置或電腦中，係儲存有指令，以執行如請求項7至12之任一者所述之領域泛化之人臉防偽的特徵解析方法。

Images