TWI501195B - 物件偵測方法及其裝置 - Google Patents

Description

物件偵測方法及其裝置

本發明是有關於一種影像處理方法及其裝置，且特別是有關於一種影像中的物件偵測方法及其裝置。

在2001年時，由Viola-Jones所提出的漸進階梯物件偵測演算法(Boosted Cascade Object Detection Algorithm，以下VJ演算法)，具有偵測速度快及準確性高等優點，於是被廣泛的使用於影像中的即時物件偵測(Real-Time Object Detection)，例如人臉偵測上。VJ演算法蒐集多個同一物件的資料，透過漸進階梯訓練(boosted cascade training)的方式產生對應的特徵資料庫(Haar-Feature Database,HFDB)，當需要於影像中偵測該物體時，利用此資料庫在輸入影像中大小不同的視窗(window)中尋找符合物件特徵的區域，即可完成物件偵測。

本案揭露一種物件偵測方法及其裝置，可快速偵測於各種旋轉角度的同一物件。

本案揭露一種物件偵測方法，包括以下步驟。首先，擷取一影像，其中該影像包括多個取樣視窗。接著，利用階段子分類器偵測取樣視窗中是否包括一物件。然後，以 一預設旋轉角度旋轉分類器至少一次，並且在每一次旋轉分類器時，偵測取樣視窗中是否包括物件，其中當偵測到取樣視窗包括物件時，繼續利用旋轉成同角度的分類器的一第二階段子分類器至一第N階段子分類器偵測取樣視窗中是否包括物件，其中N為大於1的正整數。再者，以一預設影像角度旋轉影像至少一次，並在每一次旋轉影像時，執行上述偵測物件的動作。最後，輸出包括物件的取樣視窗。

本案揭露一種物件偵測裝置，適用一物件偵測方法，包括：一攝像單元及一分類器。攝像單元擷取一影像，其中影像包括多個取樣視窗。分類器包括第一階段子分類器至第N階段子分類器，其中N為大於1的正整數。其中，分類器接收影像，以第一階段子分類器偵測取樣視窗是否包括物件，其中當偵測得到取樣視窗包括物件時，繼續利用旋轉成同角度的分類器的一第二階段子分類器至第N階段子分類器偵測取樣視窗中是否包括物件，其中N為大於1的正整數。

本案揭露一種物件偵測方法及其裝置，利用全角度偵測的預分類器先偵測影像中多個取樣視窗內是否包括欲偵測之物件，接著利用旋轉分類器並配合旋轉影像的方式偵測影像中多個角度之物件，當位於角度之第一階段子分類器偵測到欲偵測之物件，則依序利用分類器中剩餘之第二階段至第N階段子分類器偵測該物體。

承上所述，本案所描述之物件偵測方法其裝置，只需要 訓練單一角度之特徵資料庫(Haar-Feature Database,HFDB)便能偵測所有角度的物體，且僅需目前習知技術中偵測單一角度物件之演算法一倍的時間。

以下將參照相關圖式，說明依本案較佳實施例之一種事件產生之處理方法及處理系統，其中相同的元件將以相同的參照符號加以說明。

圖1為根據本發明一實施例所繪示物件偵測方法的步驟流程圖。請參照圖1，首先，在步驟S101時，擷取一影像，其中影像包括多個取樣視窗。然後在步驟S102時，利用一分類器中的第一階段子分類器偵測取樣視窗中是否包括物件。

在步驟S103時，以一預設旋轉角度旋轉分類器至少一次，並且在每一次旋轉分類器時，偵測取樣視窗中是否包括物件，其中當偵測到取樣視窗包括物件時，繼續利用旋轉成同角度的分類器的一第二階段子分類器至一第N階段子分類器偵測取樣視窗中是否包括物件，其中N為大於1的正整數。然後在步驟S104時，以一預設影像角度旋轉該影像至少一次，並在每一次旋轉影像時，執行上述偵測物件(步驟S102、S103)的動作。在步驟S105時，偵測完成，輸出包括物件的取樣視窗。

在一實施例中，本案的物件偵測方法更包含下述步驟：利用一預分類器偵測該些取樣視窗中是否包括該物件，其 中該預分類器為一全角度物件偵測分類器，其中此步驟可在步驟S102之前。

為了更詳細的說明取樣視窗與物件的關係以下將配合圖式解釋於取樣視窗中偵測物件的關係。圖2A、圖2B及圖2C所示為影像中物件與取樣視窗的關係示意圖，其中所欲偵測之物件為人臉。請參照圖2A，影像310中包括多個取樣視窗(例如取樣視窗320)，其中該些取樣視窗可能互相重疊亦可能不重疊，視實施時的實際情況而進行設置調整。當取樣視窗320中包括物件330時，分類器便能透過訓練特徵資料庫(Haar-Feature Database,HFDB)的各個階段所包括的特徵(Haar Feature)來判斷得到目前之視窗(例如取樣視窗320)中是否包括欲偵測之物件330。由於欲偵測的物件，例如人臉，在影像中之大小不一，HFDB中的取樣視窗(例如取樣視窗320)亦同樣的包括不同大小的取樣視窗以便於辨識在影像中遠近大小不一的物件。

請繼續參照圖2B及圖2C，其中圖2C中的影像312為圖2B中的影像311逆時針旋轉45度的結果。其中，欲偵測的物件同為人臉，而影像311中之人臉331的角度並非垂直於影像311及312的底邊，例如在影像311及312中的物件320與影像311及312底邊有順時鐘45度的差距。欲利用現有的HFDB(例如偵測圖2A中物件320所使用的HFDB)時，則可以有兩種作法。

第一種作法如圖2B所示，將採樣視窗320旋轉成採 樣視窗321之角度並利用對應於採樣視窗321角度之HFDB進行偵測。另外第二種作法則為如同圖2C所示，將影像311旋轉成為影像312，而由與偵測圖2A物件相同之HFDB以及採樣視窗320偵測物件331。而本發明即是在圖2A、圖2B及圖2C中所示之物件為人臉，但偵測之物件並不限定於此，在訓練HFDB時則亦對應於欲偵測之物件蒐集該物件之影像資料。本發明則是同時搭配上述的兩種作法進行同一物件多個角度的偵測，以下將配合實施例及圖式更詳細的說明本發明之內容。

圖3所示為根據本發明一實施例所繪示之物件偵測方法的資料處理流程圖，其中值得說明的是在本實施例中的輸入為一影像，但在本實施例中的分類器皆是以一個取樣視窗為單位，對影像中的所有取樣視窗進行偵測。以及，在本實施例中亦以人臉作為被偵測之物件。

請參照圖3，首先被擷取之影像IMG以一取樣視窗為單元進行膚色偵測程序410。由於所欲偵測的物件對象為人臉，在膚色偵測程序410的程序中只有被判斷具有符合膚色的顏色範圍的影像內容的該些取樣視窗才會接著進行之後偵測物件的流程。而被判定為不含膚色範圍的取樣視窗則在膚色偵測程序410時被標記為非物件取樣視窗(non-object sampling window)，至此之後不再對該些非物件取樣視窗進行物件之偵測動作。標記非物件取樣視窗的作法隨實施時之實際情況而有不同，例如使用一記錄資訊記錄非物件取樣視窗的代表座標等，但本發明不並限定 上述之實施方式。

值得注意的是，膚色偵測程序410實際辨識物件的能力較弱，但其功用在於快速的濾去不包括物件的取樣視窗。因此，在其他實施例中，膚色偵測程序410亦可以由其他預先濾波(pre-filter)程序取代或是組合使用，例如可濾去僅包括平坦無細節邊緣影像內容之取樣視窗的(edge)濾波器等，但本發明並不限定於上述設置。

請繼續參照圖3，將影像IMG輸入計算積分影像(integral image)程序411後得到積分影像II。積分影像II可用以簡化後方程序的計算複雜度，例如程序430~440中，取樣視窗與特徵間的特徵積分值之計算複雜度。由於積分影像II的計算方式實為本領域具通常知識者可輕易完成之技術，在此則不多贅述。

於程序420中，預分類器420接收影像IMG及積分影像II，針對未被標示為非物件取樣視窗的取樣視窗進行物件偵測。在本實施例中，預分類器以包括了各種角度的人臉的影像資料訓練出一小型之HFDB，在此之功用與程序410相似，主要用以濾除非物件取樣視窗。由於僅為濾除非物件取樣視窗而非真正作為物件的檢測，預分類器的HFDB級數較少，誤檢率也可以較一般的HFDB高，但其優點在於可以在短時間內訓練完成，並且大幅縮短偵測之時間，更由此設置大幅的減少總體運算時間。

接著，在程序430中，分類器接收影像IMG及積分影像H，以分類器的第一階段子分類器偵測影像中各個取 樣視窗是否包括人臉，以及以預設的分類器旋轉角度多次旋轉分類器的第一階段子分類器，並在第一階段子分類器位於各個角度時，偵測各個取樣視窗是否包括人臉。由於一般用於子分類器中的特徵皆為矩形方塊或是矩形方塊之組合，在本實施例中設定預設旋轉角度為九十度，因此在本實施例的程序430中，分類器則以旋轉0度、90度、180度及270度之第一階段子分類器偵測取樣視窗中是否包括上述四個角度的人臉。

一般而言，第一階段子分類器偵測人臉的實施方式為根據第一階段子分類器中的特徵與該取樣視窗對應之積分影像內容計算一特徵積分值，當此特徵積分值大於第一階段子分類器預設的一閥值(threshold)時，則代表通過第一階段子分類器之偵測可傳送至下一階段進行偵測。在本實施例中，分類器比較上述四個方向(0度、90度、180度及270度)的第一階段子分類器所計算得到的特徵積分值，其中具有最高特徵積分值者將作為預測方向。

如圖3所示，在本實施例中當前之取樣視窗，0度的第一階段子分類器計算得到最高之特徵積分值，於是在程序440時分類器便繼續利用0度之第二階段至第N階段子分類器進行偵測。其中，N為一大於1的正整數，對應於分類器的HFDB之階段數。若上述第二階段至第N階段子分類器皆通過偵測，則於程序450分類器判斷該取樣視窗包括物件，也就是人臉。

除了偵測正向之影像中是否包括物件外，本發明更以 一預設影像角度旋轉影像至少一次，並在每次旋轉影像時，執行如上述程序430至程序450之偵測物件動作。請繼續參照圖3，在本實施例中設定預設影像角度為45度，在程序460時，分類器將影像IMG旋轉45度，並重新對旋轉後影像IMG2計算旋轉後影像的積分影像II2。接著在程序470時，以相同於程序430的偵測動作，分類器利用0度、90度、180度及270度的第一階段子分類器計算與旋轉後影像IMG2的取樣視窗之間的特徵積分值。於本實施例中當前之取樣視窗，90度的第一階段子分類器具有最高的特徵積分值，因此於程序480時分類器利用90度的第二階段至第N階段子分類器偵測人臉。當上述的第一階段至第N階段的子分類器皆通過偵測，則分類器於程序490判斷在該取樣視窗中包括人臉。

如此一來，結合程序430~450以及程序460~程序490的偵測動作，分類器可偵測到影像中相對於原始影像0度、45度、90度、135度、180度、225度、270度及315度，8個角度的物件。本發明亦可透過預設影像角度以及預設旋轉角度的設定調整可偵測的物件角度，進而調整偵測物件的精準度以及運算複雜度。例如，維持預設旋轉角度與上述實施例相同，但調整預設影像角度為30度，則分類器便可偵測到12個角度之物件，較上述8個角度之偵測可獲得一較為精確之結果，然而本發明不限定於上述之設定。

本發明亦提供一種物件偵測裝置，適用上述之物件偵 測方法。圖4為根據本發明一實施例所繪示之物件偵測裝置的裝置方塊圖。請參照圖4，物件偵測裝置50包括攝像單元510及分類器530。一攝像單元，擷取一影像IMG，其中影像包括多個取樣視窗。分類器530耦接攝像單元510，包括第一階段子分類器至第N階段子分類器，其中N為大於1的正整數。

分類器530接收影像IMG，以第一階段子分類器偵測取樣視窗中是否包括物件，其中當第一階段子分類器旋轉預設旋轉角度的一倍數時偵測得到取樣視窗中包括物件時，繼續利用旋轉成同角度的分類器530的第二階段子分類器至第N階段子分類器偵測取樣視窗中是否包括物件，其中N為大於1的正整數。

分類器530以一預設影像角度旋轉該影像IMG至少一次，並在每一次旋轉影像IMG時，以第一階段子分類器偵測取樣視窗是否包括物件，其中當偵測得到取樣視窗中包括物件時，利用旋轉成同角度的分類器530的第二階段子分類器至第N階段子分類器偵測取樣視窗中是否包括物件，並以預設旋轉角度旋轉分類器530至少一次，在每一次旋轉分類器時，皆以第一階段子分類器偵測取樣視窗是否包括物件。在完成所述偵測動作後，分類器530輸出包括物件的取樣視窗。

在一實施例中，本案的物件偵測裝置更包含一預分類器(圖中未顯示)，設置於該攝像單元510與該分類器530之間，從攝像單元510接收影像並偵測取樣視窗是否包括 物件，其中預分類器為一全角度物件偵測分類器。

物件偵測裝置50的詳細實施方式可參考上述之實施例的說明，在此則不另贅述。另外，當物件偵測裝置50包括如圖3所示實施例中，膚色偵測、預分類器及積分影像的計算之步驟時，物件偵測裝置50則更包括耦接攝像單元510的膚色偵測單元(未繪示)，耦接攝像單元510及膚色偵測單元的預分類器(未繪示)，以及攝像單元510的計算單元(未繪示)，詳細之實施方式亦可參考圖3所示之實施例。

值得一提的是，物件偵測裝置50中的分類器530，以及上述之預分類器、膚色偵測單元及計算單元，可分別由實體電路的方式實現，或是利用一處理器運作一應用程式，配合所需之記憶體的方式實現，而本發明並不限定於上述之實施方式。

綜上所述，本發明提供了一種物件偵測方法及其裝置，利用膚色偵測等預先濾波器以及少階段數的全角度物件偵測的預分類器預先濾除影像中不包括欲偵測物件的取樣視窗，接著，旋轉分類器並對其中之一預測方向進行完整的物件偵測動作。然後旋轉影像實行相同之偵測動作而達到偵測影像中是否包括於多個角度之欲偵測物件。

藉此，本發明可大幅縮短整體之物件偵測時間，並且不需要為了偵測多角度之物件而多加耗費訓練特徵資料庫之時間。再者，更不會因為額外訓練的特徵資料庫而造成於各角度之物件偵測結果參差不齊的情況。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

310、311、312、IMG、IMG2‧‧‧影像

320、321‧‧‧取樣視窗

330、331‧‧‧物件

510‧‧‧攝像單元

530‧‧‧分類器

S101~S105‧‧‧步驟

S1~SE‧‧‧子分類器

410~490、SE‧‧‧程序

WD‧‧‧視窗

II、II2‧‧‧積分影像

圖1為根據本發明一實施例所繪示物件偵測方法的步驟流程圖。

圖2A、圖2B及圖2C所示為影像中物件與取樣視窗的關係示意圖。

圖3所示為根據本發明一實施例所繪示之物件偵測方法的資料處理流程圖。

圖4為根據本發明一實施例所繪示之物件偵測裝置的裝置方塊圖。

S101~S105‧‧‧步驟

Claims (14)

1. 一種物件偵測方法，包括：a.擷取一影像，其中該影像包括多個取樣視窗；b.利用一分類器中的一第一階段子分類器偵測該些取樣視窗中是否包括一物件；c.以一預設旋轉角度旋轉該分類器至少一次，並且在每一次旋轉該分類器時，執行步驟b.之動作，其中當偵測到該些取樣視窗包括該物件時，繼續利用旋轉成同角度的該分類器的一第二階段子分類器至一第N階段子分類器偵測該些取樣視窗中是否包括該物件，其中N為大於1的正整數；d.以一預設影像角度旋轉該影像至少一次，並在每一次旋轉該影像時，執行上述步驟b.及步驟c.之動作；以及e.輸出該些包括該物件的取樣視窗。
2. 如申請專利範圍第1項所述方法，其中於所述步驟b.之前，所述方法更包括：於執行步驟a.後，對該影像執行一膚色偵測程序。
3. 如申請專利範圍第1項所述方法，其中於所述步驟b.之前，所述方法更包括：於執行步驟a.後，利用一預分類器偵測該些取樣視窗中是否包括該物件，其中該預分類器為一全角度物件偵測分類器。
4. 如申請專利範圍第2項所述方法，其中，於執行步驟a.後步驟b.之前，若該些取樣視窗中不包 括該物件，則標記該些取樣視窗為非物件取樣視窗，不對該些非物件取樣視窗執行所述步驟b.至步驟c.。
5. 如申請專利範圍第1項所述方法，其中：於執行步驟a.後步驟b.之前，計算得到該影像的積分影像，並且根據該影像的積分影像執行所述步驟b.及步驟c.。
6. 如申請專利範圍第5項所述方法，其中於執行步驟d.時，每一次旋轉該影像時，重新計算得到該影像的積分影像。
7. 如申請專利範圍第1項所述方法，其中：該分類器中包括至少一特徵方塊組。
8. 一種物件偵測裝置，適用一物件偵測方法，該裝置包括：一攝像單元，擷取一影像，其中該影像包括多個取樣視窗；以及一分類器，耦接該攝像單元，包括第一階段子分類器至第N階段子分類器，其中N為大於1的正整數；其中，該分類器接收該影像，以該第一階段子分類器偵測該些取樣視窗是否包括該物件，並且以一預設旋轉角度旋轉該分類器至少一次，並偵測該些取樣視窗是否包括該物件，其中當偵測得到該等取樣視窗包括該物件時，繼續利用旋轉成同角度的該分類器的一第二階段子分類器至第N階段子分類器偵測該等取樣視窗中是否包括物件，其 中N為大於1的正整數，該分類器更以一預設影像角度旋轉該影像至少一次，並在每一次旋轉該影像時，偵測該些取樣視窗是否包括該物件。
9. 如申請專利範圍第8項所述裝置，其中所述裝置更包括：一膚色偵測單元，耦接該攝像單元與一預分類器之間，接收該影像並對該影像進行一膚色偵測。
10. 如申請專利範圍第8項所述裝置，其中所述裝置更包括：一預分類器，設置於該攝像單元與該分類器之間，從該攝像單元接收該影像並偵測該些取樣視窗是否包括該物件，其中該預分類器為一全角度物件偵測分類器。
11. 如申請專利範圍第9項所述裝置，其中：該分類器偵測該些取樣視窗是否包括該物件，若該些取樣視窗中不包括該物件，則利用該膚色偵測程序標記該些取樣視窗為非物件取樣視窗。
12. 如申請專利範圍第11項所述裝置，其中：該分類器不偵測該些非物件取樣視窗。
13. 如申請專利範圍第8項所述裝置，其中所述裝置更包括：一計算單元，耦接該分類器，計算得到該影像的積分影像並傳送至該分類器。
14. 如申請專利範圍第8項所述裝置，其中：該分類器中包括至少一特徵方塊組。