TW202326514A

TW202326514A - 真人辨識方法及其系統

Info

Publication number: TW202326514A
Application number: TW110148551A
Authority: TW
Inventors: 展鵬蔡; 郭朕逢; 盧奇曼傑斯漢那斯克
Original assignee: 新加坡商瑞昱新加坡有限公司
Priority date: 2021-12-23
Filing date: 2021-12-23
Publication date: 2023-07-01
Also published as: US12400483B2; US20230206699A1; TWI796063B

Abstract

真人辨識方法包含依據第一影像、第二影像及特徵點程序，獲得多個第一特徵點及多個第二特徵點，第一特徵點包含二第一固定特徵點及至少一第一變動特徵點，第二特徵點包含二第二固定特徵點及至少一第二變動特徵點；依據第一固定特徵點及第二固定特徵點，獲得第一轉換函式；依據第一轉換函式及第一變動特徵點，獲得至少一核對特徵點；及依據核對特徵點及第二變動特徵點，判斷第二影像是否為假人影像。另一實施例之真人辨識方法包含依據第一特徵點及第二特徵點，獲得第四轉換函式；在第四轉換函式不符合預設限制時，判斷第二影像為真人影像。

Description

真人辨識方法及其系統

本發明是有關於一種人臉辨識技術，尤其是一種真人辨識方法及其系統。

人臉辨識技術的各種應用逐漸增加，且考慮不同使用情境對隱私及安全性層級的要求不同，反欺騙（Anti Spoofing）的技術應用需求因應而生，例如活體辨識（liveness detection）。藉此，不僅可以偵測生物特徵（例如人臉特徵），還能分辨待識別的人物影像是否為真人，以避免使用照片、影片進行欺騙的行為發生。

然而，乘載人臉辨識功能的邊緣裝置一般具有較少的運算資源及記憶資源，且人臉辨識功能已佔用邊緣裝置的大部分的運算資源及記憶資源。因此，若活體辨識功能需要較高的運算資源及記憶資源時，可能造成邊緣裝置無法負擔活體辨識功能所需的運算資源及記憶資源。也就是說，邊緣裝置可能無法加裝活體辨識功能，從而無法預防欺騙行為的發生。

鑒於上述，本發明提供一種真人辨識方法及其系統。依據一些實施例，真人辨識方法包含依據一第一影像及一特徵點程序，獲得二第一固定特徵點及至少一第一變動特徵點；依據一第二影像及特徵點程序，獲得二第二固定特徵點及至少一第二變動特徵點；依據該些第一固定特徵點及該些第二固定特徵點，獲得一第一轉換函式；依據第一轉換函式及至少一第一變動特徵點，獲得至少一核對特徵點；及依據至少一核對特徵點及至少一第二變動特徵點，判斷第二影像是否為假人影像。

依據一些實施例，真人辨識系統包含一非暫態儲存媒體及一處理器。處理器電性連接非暫態儲存媒體。非暫態儲存媒體用以儲存一程式。處理器用以載入程式以執行下列步驟：依據一第一影像及一特徵點程序，獲得二第一固定特徵點及至少一第一變動特徵點；依據一第二影像及特徵點程序，獲得二第二固定特徵點及至少一第二變動特徵點；依據該些第一固定特徵點及該些第二固定特徵點，獲得一第一轉換函式；依據第一轉換函式及至少一第一變動特徵點，獲得至少一核對特徵點；及依據至少一核對特徵點及至少一第二變動特徵點，判斷第二影像是否為假人影像。

依據一些實施例，真人辨識方法包含依據一第一影像及一特徵點程序，獲得複數個第一特徵點；依據一第二影像及特徵點程序，獲得複數個第二特徵點；依據該些第一特徵點及該些第二特徵點，獲得一第四轉換函式；及在第四轉換函式不符合一預設限制時，判斷第二影像為真人影像，其中預設限制包含一核限制（epipolar constraint）及一仿射限制（affine constraint）。

綜上所述，依據一些實施例，透過簡易的運算即可獲得第一轉換函式及第四轉換函式，且依據第一轉換函式及第四轉換函式即可判斷待識別的人物影像是否為假人影像，從而判斷利用照片或影片進行欺騙的行為是否發生。也就是說，在實現欺騙行為的判斷之同時，還可以降低進行欺騙行為的判斷所需的運算資源及記憶資源。

參照圖1，係為本發明依據一些實施例之真人辨識系統10的方塊示意圖。真人辨識系統10包含一非暫態儲存媒體11及一處理器13。在一些實施例中，真人辨識系統10還包含一攝影裝置15。處理器13電性連接非暫態儲存媒體11及攝影裝置15。攝影裝置15用以拍攝一使用者（具體來說，使用者的臉部），以產生一組連續之多個畫格（frame）的一視訊訊號。例如，視訊訊號是每一秒連續的60個畫格。其中，每一畫格即為一個原始影像40（如圖9A所示）。非暫態儲存媒體11儲存有程式，以供處理器13載入後依據該些畫格，執行本發明之真人辨識方法。藉此，判斷使用者是真人或是假人。其中，假人可為使用面具來假冒使用者或是使用照片來假冒使用者，真人係指使用者本人。

在一些實施例中，處理器13可以為中央處理器、微處理器、特定應用積體電路（Application-specific Integrated Circuit，ASIC）、或系統單晶片（System on a Chip，SOC）等運算電路。

參照圖2，係為本發明依據一些實施例之真人辨識方法的流程示意圖。首先，處理器13依據第一影像（於後稱為第一原始影像20，如圖3A所示）及特徵點程序，獲得複數個第一特徵點（步驟S201），並依據第二影像（於後稱為第二原始影像30，如圖3B所示）及特徵點程序，獲得複數個第二特徵點（步驟S203）。該些第一特徵點包含二第一固定特徵點及至少一第一變動特徵點，該些第二特徵點包含二第二固定特徵點及至少一第二變動特徵點。第一原始影像20可以為前述之連續的多個畫格中排序為第一個的畫格，且剩餘的任一接續畫格可以為第二原始影像30，但本發明不限於此，第一原始影像20可以為前述之連續的多個畫格中排序第二個以後的其中一個畫格，且接續第一原始影像20的任一畫格可以為第二原始影像30。

特徵點程序可以由卷積神經網路（Convolutional Neural Network，CNN）實現。舉例來說，設計人員可以透過輸出入介面（例如鍵盤、滑鼠、影像傳輸介面等）（圖未示）輸入多個包含有人臉的樣本影像至處理器13。處理器13依據樣本影像進行方向梯度直方圖（Histograms of Oriented Gradients，HOG）特徵及哈爾特徵（Haar-like features，Haar）等影像特徵的機器學習訓練，以決定出一判斷邏輯（於後稱為第一判斷邏輯）。其中，有關人臉偵測的影像特徵的機器學習訓練可以是已知或是自行開發的模型，其細節在此省略。處理器13依據第一判斷邏輯，即可對第一原始影像20及第二原始影像30進行人臉偵測，以判斷第一原始影像20及第二原始影像30中是否具有人臉，並框出第一原始影像20及第二原始影像30中的人臉位置（於後將具有已框出人臉位置的第一原始影像20稱為第一邊框影像，並將具有已框出人臉位置的第二原始影像30稱為第二邊框影像）。設計人員還可以透過輸出入介面輸入多個具有已框出人臉位置的樣本影像（於此稱為人臉邊框樣本影像）至處理器13。處理器13依據人臉邊框樣本影像進行特徵點的機器學習訓練，以決定出一判斷邏輯（於後稱為第二判斷邏輯）。其中，特徵點的機器學習訓練可以是已知或是自行開發的模型，其細節在此省略。處理器13依據第二判斷邏輯，即可偵測出影像（例如第一邊框影像及第二邊框影像）中人臉的特徵點。特徵點例如但不限於眉峰、眼球、鼻孔、上嘴唇中間、及下嘴唇中間等。

相較於第一變動特徵點及第二變動特徵點，第一固定特徵點及第二固定特徵點較不易受表情變化而變動。例如，第一固定特徵點及第二固定特徵點可以為眼球、鼻孔、及上嘴唇中間，第一變動特徵點及第二變動特徵點可以為眉峰及下嘴唇中間。在一些實施例中，第一固定特徵點及第二固定特徵點是對應於臉部的同一特徵。例如，二第一固定特徵點及二第二固定特徵點皆是對應於臉部的雙眼球。第一變動特徵點及第二變動特徵點可以是對應於臉部的同一特徵。例如，第一變動特徵點及第二變動特徵點皆是對應於臉部的同一眉峰。

在一些實施例中，步驟S203與步驟S201的順序可以對調。在本實施例中，處理器13可以在執行步驟S201之前，將第一原始影像20儲存於非暫態儲存媒體11，以供處理器13後續執行步驟S201。

在一些實施例中，第一變動特徵點的數量相同於或是不同於第二變動特徵點的數量。在一些實施例中，第一變動特徵點的數量及第二變動特徵點的數量皆大於一數量閾值。在一些實施例中，若第一變動特徵點的數量不大於數量閾值時，處理器13控制攝影裝置15產生另一視訊訊號，另一視訊訊號具有新的一組連續的多個畫格（於後稱為另一組畫格），處理器13重新對該另一組畫格中的第一原始影像20執行特徵點程序（即重複步驟S201），直至從單一第一原始影像20獲得的第一變動特徵點的數量大於數量閾值。在步驟S203的一些實施例中，在第一變動特徵點的數量大於數量閾值的情形下，若從第二原始影像30獲得的第二變動特徵點的數量不大於數量閾值時，處理器13重複從接續第一原始影像20的畫格中選擇另一第二原始影像30及對該另一第二原始影像30執行特徵點程序，直至從單一第二原始影像30獲得的第二變動特徵點的數量大於數量閾值。在單一組畫格中，當接續第一原始影像20的畫格皆被選擇完的情形下，從單一第二原始影像30獲得的第二變動特徵點的數量仍不大於數量閾值時，處理器13控制攝影裝置15產生具有另一組畫格的另一視訊訊號，且處理器13依據該另一組畫格，重複執行步驟S201。數量閾值可以被預先儲存於非暫態儲存媒體11。

復參照圖2。在獲得該些第一固定特徵點、至少一第一變動特徵點、該些第二固定特徵點及至少一第二變動特徵點之後，處理器13依據該些第一固定特徵點及該些第二固定特徵點，獲得一轉換函式（於後稱為第一轉換函式）（步驟S205）。舉例來說，處理器13可以對該些第一固定特徵點的座標向量進行平移運算、旋轉運算及縮放運算，以使該些第一固定特徵點可以轉換為該些第二固定特徵點，並將平移運算、旋轉運算及縮放運算進行整合而形成出第一轉換函式。

參照圖3A~3B及圖4。圖3A~3B係為本發明依據一些實施例之第一原始影像20及第二原始影像30的示意圖。圖4係為本發明依據一些實施例之第一轉換函式的轉換示意圖。在一些實施例中，第一轉換函式可以由式1表示。式1可以由式2~式8推導出。其中，O _S及A _S為來自第一原始影像20的該些第一固定特徵點，O _D及A _D為來自第二原始影像30的該些第二固定特徵點，為O _S及A _S的水平平移量，為O _S及A _S的垂直平移量。為平移後的向量。為旋轉後的向量，為與之間的夾角。再經過旋轉及縮放後即轉換為。為與之間的夾角。為O _S及A _S之向量的水平分量，為O _S及A _S之向量的垂直分量，為O _D及A _D之向量的水平分量，為O _D及A _D之向量的垂直分量。 x為水平軸， y為垂直軸。

…………（式1）

…………………………（式2）

………………（式3）

………………（式4）

……（式5）

…………………………（式6）

……………………（式7）

……………………（式8）

復參照圖2。在獲得第一轉換函式之後，處理器13依據第一轉換函式及至少一第一變動特徵點，獲得至少一核對特徵點（步驟S207）。具體來說，透過第一轉換函式，將第一變動特徵點轉換為核對特徵點。如此，核對特徵點與第二變動特徵點是處於同一座標基準下。在一些實施例中，二第一固定特徵點之間具有一第一距離，且二第二固定特徵點之間具有一第二距離。第一距離相同或是不同於第二距離。由於第一轉換函式可以是向量函數，因此透過第一距離及第二距離，可以提升第一轉換函式轉換第一變動特徵點至核對特徵點的精準度。

在一些實施例中，第一轉換函式可以由式9表示，且式1實質相同於式9。其中，、、、與式1相同而不再重複贅述。為至少一核對特徵點的水平座標，為至少一核對特徵點的垂直座標，為至少一第一變動特徵點的水平座標，為至少一第一變動特徵點的垂直座標。

…………………（式9）

在一些實施例中，第一轉換函式可以由式10表示，且式10實質相同於式9。其中，、、、、、與式1相同而不再重複贅述。

…………………（式10）

在獲得該至少一核對特徵點之後，處理器13依據至少一核對特徵點及至少一第二變動特徵點，判斷第二原始影像30是否為假人影像（步驟S209）。例如，由於核對特徵點與第二變動特徵點是處於同一座標基準下，因此透過比對核對特徵點的座標是否與第二變動特徵點的座標相符，來判斷第二原始影像30是否為假人影像。具體來說，當核對特徵點的座標與第二變動特徵點的座標相符時，表示第二原始影像30中的人臉未發生表情變化且人臉並未轉動，則處理器13判斷第二原始影像30為假人影像。也就是說，第二原始影像30可能是透過照片假冒使用者而獲得，因此並未有表情變化發生及人臉轉動發生。當核對特徵點的座標與第二變動特徵點的座標不相符時，表示第二原始影像30中的人臉有發生表情變化或是人臉有發生轉動，則處理器13判斷第二原始影像30為真人影像。

在步驟S209的一些實施例中，核對特徵點及第二變動特徵點可以是複數個。處理器13是依據多個對應於同一臉部特徵的核對特徵點及第二變動特徵點，來判斷第二原始影像30是否為假人影像。其中，多個對應於同一臉部特徵的核對特徵點及第二變動特徵點可以是部份的核對特徵點及第二變動特徵點或是全部的核對特徵點及第二變動特徵點。

在步驟S209的一些實施例中，在至少一核對特徵點與至少一第二變動特徵點之間的一差異程度小於一差異閾值時，處理器13判斷第二原始影像30為假人影像。具體來說，在差異程度小於差異閾值時，表示第二原始影像30中的人臉未發生表情變化且人臉並未轉動。也就是說，第二原始影像30可能是透過照片假冒使用者而獲得（即假人影像）。差異程度可以為在同一座標基準下，核對特徵點與第二變動特徵點之間的歐幾里得距離（Euclidean distance）。在一些實施例中，差異程度可以為在同一座標基準下，對應於同一臉部特徵的核對特徵點及第二變動特徵點之間的歐幾里得距離。差異閾值可以預先儲存於非暫態儲存媒體11。

在一些實施例中，步驟S205~S209可以由相似性限制（similarity constraint）的相關運算來實現。

在一些實施例中，第一轉換函式可以透過簡單的運算（例如加、減、乘、除運算）而計算得，因此可以降低判斷第二原始影像30是否為假人影像所需的運算資源及記憶資源。

參照圖5，係為本發明依據一些實施例之真人辨識方法的流程示意圖。由於步驟S501、S503與步驟S201、S203相同，因此不再重複贅述。在一些實施例中，在獲得該些第一特徵點及該些第二特徵點之後，處理器13依據該些第一特徵點及該些第二特徵點，獲得一轉換函式（於後稱為第四轉換函式）（步驟S505）。第四轉換函式可以由變換矩陣（Transformation matrix）實現。舉例來說，處理器13對該些第一特徵點及該些第二特徵點進行線性變換而產生第四轉換函式。具體來說，處理器13可以依據式11計算出第四轉換函式。其中， I ₂為該些第二特徵點的座標， I ₁為該些第一特徵點的座標。 T為第四轉換函式（例如m×n的變換矩陣，其中在二維座標下m及n為2，在齊次座標下m及n為3）。在步驟S505的一些實施例中，處理器13是依據多個對應於同一臉部特徵的第一特徵點及第二特徵點，獲得第四轉換函式。其中，多個對應於同一臉部特徵的第一特徵點及第二特徵點可以是部份的第一特徵點及第二特徵點或是全部的第一特徵點及第二特徵點。

…………………………（式11）

接著，處理器13判斷第四轉換函式是否符合一預設限制（步驟S507）。預設限制包含一核限制及一仿射限制。當第四轉換函式符合預設限制中的任一種限制時，處理器13判斷第二原始影像30為假人影像（步驟S509）。當第四轉換函式不符合預設限制時（具體來說，第四轉換函式不符合預設限制中的所有限制時），處理器13判斷第二原始影像30為真人影像（步驟S511）。舉例來說，在第四轉換函式符合核限制（如式12所示）時，第二原始影像30為第一原始影像20的核幾何（Epipolar geometry），且相較於第一原始影像20，第二原始影像30中的人臉未發生表情變化。具體來說，第二原始影像30可能是透過面具假冒使用者而獲得，因此並未有表情變化發生，則處理器13判斷第二原始影像30為假人影像。舉另一例來說，在第四轉換函式符合仿射限制（如式13或是式14所示）時，第二原始影像30為第一原始影像20的仿射幾何（Affine geometry），且相較於第一原始影像20，第二原始影像30中的人臉未發生表情變化且人臉並未轉動。具體來說，第二原始影像30可能是透過照片假冒使用者而獲得，因此並未有表情變化發生及人臉轉動發生，則處理器13判斷第二原始影像30為假人影像。

…………………………（式12）

其中， I ₂為該些第二特徵點的座標， I ₁為該些第一特徵點的座標，為 I ₂的轉置矩陣（transpose matrix）， t為平移向量， R為旋轉矩陣。

…………（式13）

…………（式14）

…………………………（式15）

…………………………（式16）

其中， cx及 cy分別為旋轉中心的水平座標及垂直座標，scl為縮放尺度，θ為旋轉弧度。

當第四轉換函式不符合預設限制時，表示第二原始影像30不是第一原始影像20的一種幾何變形。也就是說，第二原始影像30中的人臉可能發生表情變化，亦即第二原始影像30是由真人拍攝。因此，在此種情形下，處理器13判斷第二原始影像30為真人影像。

在一些實施例中，第四轉換函式可以透過簡單的運算（例如加、減、乘、除運算）而計算得，因此可以降低判斷第二原始影像30是否為假人影像所需的運算資源及記憶資源。

在一些實施例中，第一轉換函式不同於第四轉換函式。也就是說，基於第一轉換函式及第四轉換函式可以分別形成不同的判斷條件（例如步驟S209及S507）。如此，即可提升偵測第二原始影像30是否為假人影像的準確率。

參照圖6，係為本發明依據一些實施例之真人辨識方法的流程示意圖。在一些實施例中，在獲得該些第一特徵點及該些第二特徵點之前（或是在獲得該些第一固定特徵點及至少一第一變動特徵點之前及在獲得該些第二固定特徵點及至少一第二變動特徵點之前），處理器13執行步驟S600~S606。首先，處理器13依據一第一轉正影像及一人臉識別程序，獲得一第一認證結果（步驟S600）。接著，處理器13依據一第二轉正影像及人臉識別程序，獲得一第二認證結果（步驟S602）。

第一轉正影像係為將第一原始影像20執行一轉正程序（容後詳述）而獲得，第二轉正影像係為將第二原始影像30執行轉正程序而獲得。舉例來說，畫格在尚未進行轉正程序之前是原始影像40（如圖9A所示），且原始影像40中人臉可能過小、過大、或是傾斜。若直接對原始影像40進行人臉識別，可能造成人臉識別的誤差增加。轉正程序可以將原始影像40進行適當的放大、縮小及旋轉後，產生具有適當大小且人臉端正的轉正影像50（如圖9C所示）。例如，轉正影像50中的人臉是未傾斜的、佔據轉正影像50的三分之二的版面、及位於轉正影像50的中央。如此，即可提升人臉識別程序的精準度。

人臉識別程序可以由卷積神經網路實現。舉例來說，設計人員可以透過輸出入介面輸入多個具有已標示特徵點且人臉已轉正的樣本影像（於此稱為特徵點轉正樣本影像）至處理器13。處理器13依據特徵點轉正樣本影像進行人臉識別的機器學習訓練，以決定出一判斷邏輯（於後稱為第三判斷邏輯）。其中，人臉識別的機器學習訓練可以是已知或是自行開發的模型，其細節在此省略。處理器13依據第三判斷邏輯，即可對影像（例如第一轉正影像及第二轉正影像）進行人臉識別，以產生出關聯於影像的人臉描述向量（例如關聯於第一轉正影像的一第一人臉描述向量及關連於第二轉正影像的一第二人臉描述向量）。其中，每一人臉對應一個人臉描述向量，且不同的人臉對應不同的人臉描述向量。也就是說，若第一轉正影像中的人臉不同於第二轉正影像中的人臉時，第一人臉描述向量不同於第二人臉描述向量。在一些實施例中，人臉描述向量可以以浮點數實現。例如，人臉描述向量可以為128位元或是256位元等的浮點數。在一些實施例中，第一判斷邏輯、第二判斷邏輯及第三判斷邏輯互不相同。

非暫態儲存媒體11可以儲存有多個已註冊的人臉描述向量，該些已註冊的人臉描述向量分別對應多個已先向真人辨識系統10進行註冊的使用者（於後稱為已註冊的使用者）。處理器13判斷第一人臉描述向量是否相符於非暫態儲存媒體11中的任一已註冊的人臉描述向量。若第一人臉描述向量相符於任一已註冊的人臉描述向量時，表示第一轉正影像中的人臉符合該些已註冊的使用者的其中一個的人臉，則處理器13將第一人臉描述向量作為第一認證結果。若第一人臉描述向量不相符於任一已註冊的人臉描述向量時，表示第一轉正影像中的人臉不符合該些已註冊的使用者的任一個的人臉，則處理器13產生一認證不通過指令以作為第一認證結果。

與第一認證結果相似地，處理器13判斷第二人臉描述向量是否相符於非暫態儲存媒體11中的任一已註冊的人臉描述向量。若第二人臉描述向量相符於任一已註冊的人臉描述向量時，表示第二轉正影像中的人臉符合該些已註冊的使用者的其中一個的人臉，則處理器13將第二人臉描述向量作為第二認證結果。若第二人臉描述向量不相符於任一已註冊的人臉描述向量時，表示第二轉正影像中的人臉不符合該些已註冊的使用者的任一個的人臉，則處理器13產生認證不通過指令以作為第二認證結果。

在一些實施例中，處理器13可以是對第一人臉描述向量及已註冊的人臉描述向量（或是對第二人臉描述向量及已註冊的人臉描述向量）進行歐幾里得距離運算或是餘弦相似度運算，以獲得一比對參數。當比對參數小於一比對閾值時，表示第一人臉描述向量相符於已註冊的人臉描述向量（或是第二人臉描述向量相符於已註冊的人臉描述向量）。當比對參數不小於比對閾值時，表示第一人臉描述向量不相符於已註冊的人臉描述向量（或是第二人臉描述向量不相符於已註冊的人臉描述向量）。比對閾值可以預先儲存於非暫態儲存媒體11中。

在獲得第一認證結果及第二認證結果之後，處理器13可以判斷第一認證結果是否與第二認證結果相同（步驟S606）。例如，處理器13判斷第一認證結果的第一人臉描述向量是否與第二認證結果的第二人連描述向量相同。也就是說，處理器13判斷第一人臉描述向量及第二人連描述向量是否相符於同一已註冊的使用者之人臉描述向量。當第一認證結果與第二認證結果相同（例如，第一人臉描述向量與第二人連描述向量相同）時，處理器13執行獲得該些第一特徵點及該些第二特徵點之步驟（即步驟S201~S203或是步驟S501~S503）。當第一認證結果與第二認證結果不相同時，處理器13重複獲得第一認證結果之步驟（即步驟S600）。例如，處理器13控制攝影裝置15產生具有另一組畫格的另一視訊訊號，並且處理器13依據該另一組畫格，重新獲得另一第一轉正影像。處理器13對該另一第一轉正影像執行人臉識別程序，以產生出新的第一認證結果，並依據該另一組畫格執行步驟S602及其接續步驟。如此，可以確保真假人的辨識是在第二原始影像30是拍攝自已註冊的使用者的情形下執行。也就是說，可以節省處理器13對真假人的辨識所消耗的運算資源及儲存資源（例如，無需在第二原始影像30不是拍攝自已註冊的使用者的情形下，進行真假人的辨識）。

參照圖7，係為本發明依據一些實施例之真人辨識方法的流程示意圖。在一些實施例中，當第一認證結果與第二認證結果不相同時，處理器13重複獲得第二認證結果之步驟（即步驟S602）。例如，處理器13重新從接續第一原始影像20的畫格中選擇另一第二原始影像30，對該另一第二原始影像30執行轉正程序以產生另一第二轉正影像，重新對該另一第二轉正影像執行人臉識別程序，以產生出新的第二認證結果，並執行步驟S604。

在步驟S604中，處理器13判斷獲得第二認證結果之步驟（即步驟S602）的重複次數是否達到一預定次數（步驟S604）。在獲得第二認證結果之步驟的重複次數未達到預定次數時，處理器13執行步驟S606。在獲得第二認證結果之步驟的重複次數達到預定次數時，表示已依據多個第二轉正影像的第二認證結果進行多次步驟S606的判斷，則處理器13重複獲得第一認證結果之步驟（即步驟S600）。也就是說，在步驟S606已執行多次的情形下，第一認證結果仍與第二認證結果不相同。預定次數可以預先儲存於非暫態儲存媒體11。

舉例來說，在某些情形下，某一使用者在使用真人辨識系統10後，即立即離開現場，且另一使用者在前一使用者離開現場後，使用真人辨識系統10。也就是說，在此情形下，在擷取出的同一組畫格下，基於第一原始影像20所產生的第一轉正影像的人臉不同於基於第二原始影像30所產生的第二轉正影像中的人臉，致使第一轉正影像之作為第一認證結果的第一人臉描述向量不同於第二轉正影像之作為第二認證結果的第二人臉描述向量。因此，透過步驟S604可以限制步驟S606的判斷次數，從而節省處理器13的運算資源，並可確保在一定的時間下，使用真人辨識系統10的使用者並未改變。

在一些實施例中，當第一認證結果具有認證不通過指令時，處理器重複獲得第一認證結果之步驟（即步驟S600）。具體來說，當第一認證結果具有認證不通過指令時，表示第一轉正影像中的人臉並未對應到（拍攝自）任一已註冊的使用者的人臉。因此，處理器13重複步驟S600，直至第一認證結果具有第一人臉描述向量（或是第一認證結果不具有認證不通過指令）。其中，步驟S600的重複方式已於前述說明，在此不再重複贅述。相似地，當第二認證結果具有認證不通過指令時，處理器重複獲得第二認證結果之步驟（即步驟S602）。具體來說，當第二認證結果具有認證不通過指令時，表示第二轉正影像中的人臉並未對應到（拍攝自）任一已註冊的使用者的人臉。因此，處理器13重複步驟S602，直至第二認證結果具有第二人臉描述向量（或是第二認證結果不具有認證不通過指令）。其中，步驟S602的重複方式已於前述說明，在此不再重複贅述。

參照圖8，係為本發明依據一些實施例之轉正程序的流程示意圖。在一些實施例中，在執行轉正程序時，處理器13依據該些第一固定特徵點及二預設特徵點，獲得一轉換函式（於後稱為第二轉換函式）（步驟S800）。具體來說，處理器13是依據該些第一固定特徵點的座標及該些預設特徵點的座標，獲得第二轉換函式。也就是說，第一固定特徵點的座標透過第二轉換函式可以轉換成該些預設特徵點的座標。二預設特徵點可以作為用以產生出第一轉正影像的對齊點。二預設特徵點可以是由設計人員設計並儲存於非暫態儲存媒體11中。在一些實施例中，二第一固定特徵點與二預設特徵點是對應於同一臉部特徵，例如二第一固定特徵點與二預設特徵點皆是對應於臉部的雙眼球。之後，處理器13依據第二轉換函式及第一原始影像20的每一像素，對第一原始影像20進行人臉對齊（face alignment）而轉換出第一轉正影像（步驟S802）。例如，處理器13將第一原始影像20的每一像素的座標透過第二轉換函式而轉換出新的座標，並將第一原始影像20的每一像素依據每一新的座標進行排列而形成出第一轉正影像。在一些實施例中，第二轉換函式可以為相似性變換矩陣。

與步驟S800~S802相似地，在執行轉正程序時，處理器13還依據該些第二固定特徵點及該些預設特徵點，獲得一轉換函式（於後稱為第三轉換函式）（步驟S804）。之後，處理器13依據第三轉換函式及第二原始影像30的每一像素，對第二原始影像30進行人臉對齊而轉換出第二轉正影像（步驟S806）。在一些實施例中，步驟S800~S802與步驟S804~S806的順序可以對調。

在步驟S804的一些實施例中，處理器13是依據該些第二固定特徵點的座標及該些預設特徵點的座標，獲得第三轉換函式。也就是說，第二固定特徵點的座標透過第三轉換函式可以轉換成該些預設特徵點的座標。二預設特徵點除了作為用以產生第一轉正影像的對齊點之外，也可以作為用以產生出第二轉正影像的對齊點。在步驟S804的一些實施例中，二第二固定特徵點與二預設特徵點是對應於同一臉部特徵，例如二第二固定特徵點與二預設特徵點皆是對應於臉部的雙眼球。在步驟S806的一些實施例中，處理器13將第二原始影像30的每一像素的座標透過第三轉換函式而轉換出新的座標，並將第二原始影像30的每一像素依據每一新的座標進行排列而形成出第二轉正影像。在一些實施例中，第三轉換函式可以為相似性變換矩陣。

參照圖9A~9C，係為本發明依據一些實施例之原始影像40及轉正影像50的示意圖。從圖9A可見，透過對原始影像40（例如第一原始影像20或是第二原始影像30）執行特徵點程序，可以獲得二固定特徵點O _DD、A _DD（例如二第一固定特徵點或是二第二固定特徵點）。接著，依據該二固定特徵點O _DD、A _DD及二預設特徵點O _SS、A _SS（如圖9B所示），可以計算出二固定特徵點O _DD、A _DD與二預設特徵點O _SS、A _SS之間的轉換函式（例如第二轉換函式或是第三轉換函式）。之後，將原始影像40中的每一像素透過轉換函式進行轉換，即可產生轉正影像50（例如，第一轉正影像或是第二轉正影像）（如圖9C所示）。

在一些實施例中，第二轉換函式及第三轉換函式實質相同於第一轉換函式。例如，在式1~式8中，O _S及A _S可以為預設特徵點，且O _D及A _D可以為二第一固定特徵點或是二第二固定特徵點。如此，可以節省真人辨識系統10的運算資源及儲存資源。例如，僅需基於一種變換矩陣即可實現第一轉換函式、第二轉換函式及第三轉換函式。在一些實施例中，由於第二轉換函式及第三轉換函式實質相同於第一轉換函式且第一轉換函式不同於第四轉換函式，因此第二轉換函式及第三轉換函式不同於第四轉換函式。

10:真人辨識系統 11:非暫態儲存媒體 13:處理器 15:攝影裝置 17:影像擷取裝置 20:第一原始影像 30:第二原始影像 40:原始影像 50:轉正影像 S201~S209、S501~S511、S600~S606、S800~S806:步驟 O _S、A _S:第一固定特徵點 O _D、A _D:第二固定特徵點 t _x :O _S及A _S的水平平移量 t _y _:O _S及A _S的垂直平移量 A’ _S: 平移後的向量點 A’’ _S: 旋轉後的向量點 Ф’: 與之間的夾角 Ф’’: 與之間的夾角 ds _x :O _S及A _S之向量的水平分量 ds _y :O _S及A _S之向量的垂直分量 dd _x :O _D及A _D之向量的水平分量 dd _y :O _D及A _D之向量的垂直分量 x:水平軸 y:為垂直軸 O _DD、A _DD:固定特徵點 O _SS、A _SS:預設特徵點

[圖1]係為本發明依據一些實施例之真人辨識系統的方塊示意圖。 [圖2]係為本發明依據一些實施例之真人辨識方法的流程示意圖。 [圖3A~3B]係為本發明依據一些實施例之第一原始影像及第二原始影像的示意圖。 [圖4]係為本發明依據一些實施例之第一轉換函式的轉換示意圖。 [圖5]係為本發明依據一些實施例之真人辨識方法的流程示意圖。 [圖6]係為本發明依據一些實施例之真人辨識方法的流程示意圖。 [圖7]係為本發明依據一些實施例之真人辨識方法的流程示意圖。 [圖8]係為本發明依據一些實施例之轉正程序的流程示意圖。 [圖9A~9C]係為本發明依據一些實施例之原始影像及轉正影像的示意圖。

S201~S209:步驟

Claims

一種真人辨識方法，包含：依據一第一影像及一特徵點程序，獲得二第一固定特徵點及至少一第一變動特徵點；依據一第二影像及該特徵點程序，獲得二第二固定特徵點及至少一第二變動特徵點；依據該些第一固定特徵點及該些第二固定特徵點，獲得一第一轉換函式；依據該第一轉換函式及該至少一第一變動特徵點，獲得至少一核對特徵點；及依據該至少一核對特徵點及該至少一第二變動特徵點，判斷該第二影像是否為假人影像。
如請求項1所述之真人辨識方法，其中，在該至少一核對特徵點與該至少一第二變動特徵點之間的一差異程度小於一差異閾值時，判斷該第二影像為假人影像。
如請求項1所述之真人辨識方法，其中，該第一轉換函式為，並實質相同於，其中，O _S及A _S為該些第一固定特徵點，O _D及A _D為該些第二固定特徵點，為O _S及A _S的水平平移量，為O _S及A _S的垂直平移量，，，為O _S及A _S之向量的水平分量，為O _S及A _S之向量的垂直分量，為O _D及A _D之向量的水平分量，為O _D及A _D之向量的垂直分量，為該至少一核對特徵點的水平座標，為該至少一核對特徵點的垂直座標，為該至少一第一變動特徵點的水平座標，為該至少一第一變動特徵點的垂直座標。
如請求項3所述之真人辨識方法，其中，該第一轉換函式實質相同於。
如請求項1所述之真人辨識方法，更包含：在獲得該些第一固定特徵點及該至少一第一變動特徵點之前及在獲得該些第二固定特徵點及該至少一第二變動特徵點之前，執行：依據一第一轉正影像及一人臉識別程序，獲得一第一認證結果，其中該第一轉正影像係為將該第一影像執行一轉正程序而獲得；依據一第二轉正影像及該人臉識別程序，獲得一第二認證結果，其中該第二轉正影像係為將該第二影像執行該轉正程序而獲得；及當該第一認證結果與該第二認證結果不相同時，重複該獲得該第一認證結果之步驟。
如請求項5所述之真人辨識方法，其中，當該第一認證結果與該第二認證結果相同時，執行該獲得該些第一固定特徵點及該至少一第一變動特徵點之步驟及該獲得該些第二固定特徵點及該至少一第二變動特徵點之步驟。
如請求項5所述之真人辨識方法，其中，當該第一認證結果具有一認證不通過指令時，重複該獲得該第一認證結果之步驟，當該第二認證結果具有該認證不通過指令時，重複該獲得該第二認證結果之步驟。
如請求項5所述之真人辨識方法，其中，該轉正程序包含：依據該些第一固定特徵點及二預設特徵點，獲得一第二轉換函式；依據該第二轉換函式及該第一影像的每一像素，對該第一影像進行人臉對齊而轉換出該第一轉正影像；依據該些第二固定特徵點及該些預設特徵點，獲得一第三轉換函式；及依據該第三轉換函式及該第二影像的每一像素，對該第二影像進行人臉對齊而轉換出該第二轉正影像，其中，該第二轉換函式及該第三轉換函式實質相同於該第一轉換函式。
一種真人辨識系統，包含：一非暫態儲存媒體，用以儲存一程式；及一處理器，電性連接該非暫態儲存媒體，用以載入該程式以執行下列步驟：依據一第一影像及一特徵點程序，獲得二第一固定特徵點及至少一第一變動特徵點；依據一第二影像及該特徵點程序，獲得二第二固定特徵點及至少一第二變動特徵點；依據該些第一固定特徵點及該些第二固定特徵點，獲得一第一轉換函式；依據該第一轉換函式及該至少一第一變動特徵點，獲得至少一核對特徵點；及依據該至少一核對特徵點及該至少一第二變動特徵點，判斷該第二影像是否為假人影像。
如請求項9所述之真人辨識系統，其中，在該至少一核對特徵點與該至少一第二變動特徵點之間的一差異程度小於一差異閾值時，該處理器判斷該第二影像為假人影像。
如請求項9所述之真人辨識系統，其中，該第一轉換函式為，並實質相同於，其中，O _S及A _S為該些第一固定特徵點，O _D及A _D為該些第二固定特徵點，為O _S及A _S的水平平移量，為O _S及A _S的垂直平移量，，，為O _S及A _S之向量的水平分量，為O _S及A _S之向量的垂直分量，為O _D及A _D之向量的水平分量，為O _D及A _D之向量的垂直分量，為該至少一核對特徵點的水平座標，為該至少一核對特徵點的垂直座標，為該至少一第一變動特徵點的水平座標，為該至少一第一變動特徵點的垂直座標。
如請求項11所述之真人辨識系統，其中，該第一轉換函式實質相同於。
如請求項9所述之真人辨識系統，其中，在獲得該些第一固定特徵點及該至少一第一變動特徵點之前及在獲得該些第二固定特徵點及該至少一第二變動特徵點之前，該處理器執行下列步驟：依據一第一轉正影像及一人臉識別程序，獲得一第一認證結果，其中該第一轉正影像係為將該第一影像執行一轉正程序而獲得；依據一第二轉正影像及該人臉識別程序，獲得一第二認證結果，其中該第二轉正影像係為將該第二影像執行該轉正程序而獲得；及當該第一認證結果與該第二認證結果不相同時，重複該獲得該第一認證結果之步驟。
如請求項13所述之真人辨識系統，其中，當該第一認證結果與該第二認證結果相同時，該處理器執行該獲得該些第一固定特徵點及該至少一第一變動特徵點之步驟及該獲得該些第二固定特徵點及該至少一第二變動特徵點之步驟。
如請求項13所述之真人辨識系統，其中，當該第一認證結果具有一認證不通過指令時，該處理器重複該獲得該第一認證結果之步驟，當該第二認證結果具有該認證不通過指令時，該處理器重複該獲得該第二認證結果之步驟。
如請求項13所述之真人辨識系統，其中，該轉正程序包含：依據該些第一固定特徵點及二預設特徵點，獲得一第二轉換函式；依據該第二轉換函式及該第一影像的每一像素，對該第一影像進行人臉對齊而轉換出該第一轉正影像；依據該些第二固定特徵點及該些預設特徵點，獲得一第三轉換函式；及依據該第三轉換函式及該第二影像的每一像素，對該第二影像進行人臉對齊而轉換出該第二轉正影像，其中，該第二轉換函式及該第三轉換函式實質相同於該第一轉換函式。
一種真人辨識方法，包含：依據一第一影像及一特徵點程序，獲得複數個第一特徵點；依據一第二影像及該特徵點程序，獲得複數個第二特徵點；依據該些第一特徵點及該些第二特徵點，獲得一第四轉換函式；及在該第四轉換函式不符合一預設限制時，判斷該第二影像為真人影像，其中該預設限制包含一核限制（epipolar constraint）及一仿射限制（affine constraint）。
如請求項17所述之真人辨識方法，更包含：在該第四轉換函式符合該預設限制中的任一限制時，判斷該第二影像為假人影像。
如請求項17所述之真人辨識方法，更包含：在獲得該些第一特徵點及該些第二特徵點之前，執行：依據一第一轉正影像及一人臉識別程序，獲得一第一認證結果，其中該第一轉正影像係為將該第一影像執行一轉正程序而獲得；依據一第二轉正影像及該人臉識別程序，獲得一第二認證結果，其中該第二轉正影像係為將該第二影像執行該轉正程序而獲得；當該第一認證結果與該第二認證結果相同時，執行該獲得該些第一特徵點及該些第二特徵點之步驟；及當該第一認證結果與該第二認證結果不相同時，重複該獲得該第一認證結果之步驟。
如請求項19所述之真人辨識方法，其中，該轉正程序包含：依據該些第一特徵點中之二第一固定特徵點及二預設特徵點，獲得一第二轉換函式；依據該第二轉換函式及該第一影像的每一像素，對該第一影像進行人臉對齊而轉換出該第一轉正影像；依據該些第一特徵點中之二第二固定特徵點及該些預設特徵點，獲得一第三轉換函式；及依據該第三轉換函式及該第二影像的每一像素，對該第二影像進行人臉對齊而轉換出該第二轉正影像，其中，該第二轉換函式及該第三轉換函式不同於該第四轉換函式。