TWI424361B - 物件追蹤方法 - Google Patents

Description

物件追蹤方法

本發明係關於一種物件追蹤方法，特別係指一種應用於數位相機，可快速地動態調整數位相機對焦框之大小的物件追蹤方法。

綜觀目前市面上具有物體追蹤功能的數位相機中，除了人臉辨識外，大多都是以一固定大小的對焦框進行追蹤，對焦框的大小並不會隨著物體變化而有所改變，故無法有效的去顯示物體大小變化的狀態，舉例來說，當物體遠離鏡頭時，物體大小會變小，而固定大小焦框中便會夾雜許多不是待追蹤物體的影像，降低了對焦框的精細度。

雖然，目前人臉辨識於數位相機的應用上，對焦框的大小會隨著人臉大小來進行變化，不過此類透過機器學習將已知的人臉特徵記錄起來，再進行對焦的動作僅適用於人臉追蹤與辨識上，並無法將人臉辨識的技術應用在追蹤任何物體。

另外，對於一動態物體在移動過程中，如果沒有特別方法去偵測物體大小的變化，只是透過單純固定對焦框去追蹤，極為容易因物體大小或形狀改變而追蹤失敗。

因此，如何透過一種方法或手段更有效的建立對焦框，讓數位相機或其他影像擷取裝置於連續畫面中，除了能有效對任何物體進行追蹤及定位，並且根據物體形狀大小來更新對焦框的資訊，此乃相關研發製造廠商努力的目標。

為了精進物件追蹤的技術，讓數位相機或其他影像擷取裝置能夠更快速有效的進行物件的追蹤與定位，本發明以顏色分析的技術，透過分析物件所涵蓋之像素的權重值，並結合進行區域性的分類的方法，來偵測物件的形狀與大小，進而根據物件的形狀和大小更新對焦框的資訊。

根據本發明所揭露之一種物件追蹤方法，首先，於一第一禎畫面中，進行一分類程序，以取得一第一焦框內各像素之多個第一分類，其中，該第一焦框內包含有欲追蹤之物件並具有一第一矩形框。接著，於一第二禎畫面中，根據該第一矩形框進行一定位程序，以取得一第二矩形框，並於該第二矩形框周圍各像素依序取得一顏色特徵，並根據該些顏色特徵建立多個第二分類。將所建立之第二分類依序與對應之該第一分類比較兩者之相似程度，以取得一相似程度值，再將該些相似程度值與一預定之閥值(threshold)進行比較。

當該些相似程度高於該閥值時，漸進式調整該第二矩形框至該些第二分類所涵蓋之像素範圍。當相似程度低於該閥值時，停止調整該第二矩形框，以建立一第二焦框。

綜上所述，本發明係透過顏色偵測的方式，先是利用一焦框內像素的顏色特徵，於連續畫面中進行定位來追蹤物件的位移程度，並且以物件所涵蓋之像素的權重值，進行區域性的分類來偵測物件的形狀與大小，進而更新焦框的資訊，如此一來，以動態方式調整焦框的大小，可有助於後續進行對焦的作業。

因此，不同於過往以固定焦框來進行物件的追蹤，此類昔知的固定焦框追蹤方式容易因為物件大小或形狀改變而失敗，本發明利用部分經分類的權重值資訊來進行物件偵測與追蹤，以快速地改變焦框的大小來達到更穩定的物件追蹤功效。

有關本發明的特徵、實作與功效，茲配合圖式作最佳實施例詳細說明如下。

請參考及『第3A圖』所示，『第3A圖』係本發明之物件追蹤方法的流程圖，本發明可應用於一種影像擷取裝置(例如：數位相機或攝影機等)，其物件追蹤方法係包括；步驟S30：於一第一禎畫面中，進行一分類程序，以取得一第一焦框內各像素之多個第一分類，其中，該第一焦框內具有一第一矩形框；步驟S31：於一第二禎畫面中，根據該第一矩形框進行一定位程序，以取得一第二矩形框；步驟S32：依序取得該第二矩形框周圍各像素之一顏色特徵，並根據該些顏色特徵建立多個第二分類；步驟S33：依序計算該些第二分類與對應之該第一分類的相似程度，以分別取得一相似程度值；步驟S34：依序比較該相似程度值與一預定之閥值(threshold)；步驟S35：當該些相似程度高於該閥值時，漸進調整該第二矩形框至該些第二分類所涵蓋之像素範圍；以及步驟S36：當相似程度低於該閥值時，停止調整該第二矩形框，以建立一第二焦框。

其中，請配合參考『第3B圖』所示，『第3B圖』係本發明之分類程序的流程圖。

本發明之分類程序係包括：步驟S301：取得該第一焦框內各該像素之該顏色特徵；步驟S302：根據該些顏色特徵分別對應計算該些第一權重值；以及步驟S303：將該些第一權重值由大而小建立該些第一分類。

其中，請配合參考『第3C圖』所示，『第3C圖』係本發明之定位程序的流程圖。定位程序係包括：步驟S311：根據該第一矩形框所涵蓋之該像素範圍，於該第二禎畫面中，查找與該第一矩形框具有近似權重值之一位置；以及步驟S312：設定該位置為該第二矩形框。

上述之像素權重值與查找近似權重值的方法，可透過於一色彩空間內進行一色彩分布描述子(Color Layout Descriptor)描述影像中色彩的空間配置與建構色彩直方圖(Color Historgram)的方式來取得，此乃具有本案之技藝人士知悉之技術，故在此不加以累述。

其中，根據步驟S33所述，本發明於建立第二分類後，會依序計算該些第二分類與對應之該第一分類的相似程度，以分別取得一相似程度值。此相似程度值的計算可透過以權重值之特徵向量(feature vector)之間的歐基里德距離(Euclidean distance)來量測，所得到的數值越小，即代表兩張影像的相似度越高，不過此乃具有本案通常技藝人士知悉之技術，於此不加以累述。

其中，根據步驟S34所述依序比較該相似程度值與一預定之閥值，該閥值係指物件追蹤能夠容許相似程度的數值，舉例來說，如果相似度最高定義為"10"，最低定義為"0"，閥值設定為"5"，亦即當相似程度值結果為”5”以上的像素範圍才能算是可以被接受為「相似」，是第二焦框的範圍，其餘的部份則會排除在外。

請參考『第1A圖』至『第1E圖』所示，『第1A圖』至『第1D圖』係以圖解的方式，搭配一實施例來說明本發明追蹤物件方法於實施時的示意圖，『第1A圖』為本發明物件追蹤方法之步驟S30的示意圖，『第1B圖』為本發明物件追蹤方法之步驟S31的示意圖，『第1C圖』為本發明物件追蹤方法之步驟S32~S35的示意圖，『第1D圖』為本發明物件追蹤方法之步驟S36的示意圖，『第1E圖』為第1A圖中第一焦框內各像素權重值的示意圖。

於本實施例中，當一數位相機欲對一動態物件進行拍攝時，本發明會先對鏡頭所擷取的畫面進行一初始設定，來設定出一第一焦框10，以確定第一焦框10所框住的影像為欲追蹤的物件50(『第1A圖』)。此第一焦框10的設定可透過預設一預定區域，由使用者來調整數位相機之鏡頭與物件的位置，使用者透過觀察數位相機之預覽畫面，將物件50於鏡頭的影像調整至該預定區域內，再透過按一下快門或其他致能(enable)的方式，以完成第一焦框10的設定。

另外，隨著觸控技術的成熟，第一焦框10的設定亦可透過於數位相機之預覽畫面上，直接以使用者手動觸控的方式，框選出第一焦框10的大小。

請參考『第1A圖』、『第1E圖』及『第3B圖』所示，於本實施例中，欲拍攝之物件50為一不規則形狀的物件，第一焦框10內具有24個像素，各像素分別經過分類程序分別具有以下以群組方式表現之權重值：{1,1,1,1,0.9,0.9,0.9,0.8,0,8,0.8,0.7,0.7,0.7,0.7,0.6,0.6,0.6,0.6,0.5,0.4,0.4,0.4,0.3,0.3}接著，根據步驟S301至S303所述之分類程序，第一分類的數目可依據使用者的需求來進行調整，於本實施例中，第一分類的數目為3組，各第一分類之名稱分別定義為第一分類A、第一分類B及第一分類C，第一分類A具有第一權重值{1,1,1,1}，第一分類B具有第一權重值{0.9,0.9,0.9,0.8,0.8,0.8,0.7,0.7,0.7,0.7}，第一分類C具有第一權重值{0.6,0.6,0.6,0.6,0.5,0.4,0.4,0.4,0.3,0.3}。

然而，於第一焦框10內物件50的顏色分布來說，由於第一分類A具有最大的第一權重值，第一分類A所涵蓋之像素具有最明顯的顏色特徵，因此，將第一分類A所涵蓋之像素範圍定義為第一矩形框10A，對於動態物件的追蹤來說具有較佳的效果。

當第一矩形框10A設定完成後，請參考『第1C圖』及『3A圖』所示，根據步驟S311及S312所述，於第二禎畫面中進行設定第二矩形框10B，當第二矩形框10B設定完成後，即表示本發明已成功動態偵測物件50的位移的狀況，接著，依據第二矩形框10B之位置(步驟32)，依序對第二矩形框10B周圍各像素取得一顏色特徵，並依照上述分類程序的方式，將各像素的顏色特徵計算其權重值，並對應進行多個分類，第二矩形框10B所分類之權重值，於此定義為第二分類。

接著，在執行完步驟S32之後，步驟S33及S35會將第二分類與對應之第一分類的權重值進行相似程度的比較，透過計算相似程度值以及將所計算之相似程度值與閥值進行比較，當相似程度值高於閥值時，便會放大第二矩形框10B，並且反覆執行步驟S32至S35直到相似程度值低於閥值，此時的第二矩形框10B大小即為第二禎畫面中，配合物件大小的第二焦框11(如『第1D圖』所示)。

值得注意的是，本發明之物件追蹤方法可適用追蹤各種不同形狀和大小的物件，特別對於不規則形狀的物件來說，本發明無須透過邊緣偵測(edge detection)方法，而是以顏色偵測及權重概念的方式，自動偵測欲追蹤物件的形狀，其複雜度及運算需求皆遠低於邊緣偵測方法。

請參考『第2A圖』至『第2D圖』及『第3C圖』所示，本說明書另揭露三種不同實施樣態，『第2A圖』有別於上述實施例在於圖式中的物件為一個具有規則的等腰三角形，『第2B圖』係『第2A圖』中物件於縮小時，應用本發明之第二焦框呈現的示意圖，『第2C圖』係『第2A圖』中物件於放大時，應用本發明之第二焦框呈現的示意圖，『第2D圖』係『第2A圖』中物件於旋轉時(改變角度)，應用本發明之第二焦框呈現的示意圖。

然而，為達成『第2B圖』及『第2C圖』之第二焦框於物件發生縮小或放大時，其技術手段與方法與上述之步驟皆為相同，故此不加以累述。不過，對於『第2D圖』來說，如果直接使用上述之步驟S311及S312，第二焦框12的對焦範圍將會容置過多物件51以外的影像像素，使得第二焦框12的精細度降低，因此，上述之步驟S31的定位程序需要進行改良，以適用角度發生改變的物件，請參考『第3D圖』所示，『第3D圖』係定位程序另一實施例之流程圖。改良之定位程序包括：步驟S313：根據該第一矩形框所涵蓋之該像素範圍，於該第二禎畫面中定位出與該第一矩形框具有近似權重值之一位置；步驟S314：設定該位置為該第二矩形框，並取得該第二矩形框內各像素之多個權重值；步驟S315：根據該第一矩形框與該第二矩形框之該些權重值的一向量關係，計算一夾角：以及步驟S316：根據該夾角旋轉該第二矩形框。

因此，藉由上述步驟S313至S315，透過事先改變第二矩形框10C的角度Θ，可使得第二焦框12A更緊密貼合於物件上51，增加第二焦框12A對焦範圍的精細度。

綜上所述，本發明係透過顏色偵測的方式，先是利用一焦框內像素的顏色特徵，於連續畫面中進行定位來追蹤物件的位移程度，並且以物件所涵蓋之像素的權重值，進行區域性的分類來偵測物件的形狀、大小與角度，進而更新焦框的資訊，如此一來，以動態方式調整焦框的大小，可有助於後續進行對焦的作業。

雖然本發明之實施例揭露如上所述，然並非用以限定本發明，任何熟習相關技藝者，在不脫離發明之精神和範圍內，舉凡依申請範圍所述之形狀、構造、特徵及精神當可做些許之變更，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

10．．．第一焦框

10A．．．第一矩形框

10B,10C．．．第二矩形框

11,12,12A．．．第二焦框

50,51．．．物件

第1A圖係本發明物件追蹤方法之步驟S30的示意圖。

第1B圖係本發明物件追蹤方法之步驟S31的示意圖。

第1C圖係本發明物件追蹤方法之步驟S32~S35的示意圖。

第1D圖係本發明物件追蹤方法之步驟S36的示意圖。

第1E圖係第1A圖中第一焦框內各像素權重值的示意圖。

第2A圖係應用本發明之一實施例的示意圖。

第2B圖係第2A圖中物件於縮小時，應用本發明之第二焦框呈現的示意圖。

第2C圖係第2A圖中物件於放大時，應用本發明之第二焦框呈現的示意圖。

第2D圖係第2A圖中物件於旋轉時，應用本發明之第二焦框呈現的示意圖。

第3A圖係本發明之物件追蹤方法的流程圖。

第3B圖係本發明之分類程序的流程圖。

第3C圖係本發明之定位程序的流程圖。

第3D圖係本發明之另一定位程序的流程圖。

Claims (3)

1. 一種物件追蹤方法，係包括：於一第一禎畫面中，進行一分類程序，以取得一第一焦框內各像素之多個第一分類，其中，該第一焦框內具有一第一矩形框，其中該分類程序係包括：取得該第一焦框內各該像素之顏色特徵；根據該些顏色特徵分別對應計算多個權重值；以及將該些權重值由大而小建立該些第一分類，其中該第一矩形框係將該具有該些權重值中最大權重值之第一分類所涵蓋的像素範圍，設定該第一矩形框；於一第二禎畫面中，根據該第一矩形框進行一定位程序，以取得一第二矩形框；依序取得該第二矩形框周圍各像素之顏色特徵，並根據該些顏色特徵建立多個第二分類；依序計算該些第二分類與對應之該些第一分類的相似程度，以分別取得一相似程度值；依序比較每一該相似程度值是否大於一預定之閥值(threshold)；若是，漸進調整該第二矩形框至該些第二分類所涵蓋之像素範圍；以及若否，停止調整該第二矩形框，以建立一第二焦框。
2. 如請求項第1項所述之物件追蹤方法，其中，該定位程序係包 括：根據該第一矩形框所涵蓋之該像素範圍，於該第二禎畫面中，查找與該第一矩形框具有近似該些權重值之一位置；以及設定該位置為該第二矩形框。
3. 如請求項第1項所述之物件追蹤方法，其中，該定位程序係包括：根據該第一矩形框所涵蓋之該像素範圍，於該第二禎畫面中定位出與該第一矩形框具有近似該些權重值之一位置；設定該位置為該第二矩形框，並取得該第二矩形框內各像素之多個權重值；根據該第一矩形框與該第二矩形框之該些權重值的一向量關係，計算一夾角；以及根據該夾角旋轉該第二矩形框。