TWI382267B - 自動景深捕捉系統及自動景深捕捉方法 - Google Patents

Description

自動景深捕捉系統及自動景深捕捉方法

本發明關於一種影像捕捉系統，尤其，關於一種用於相機之自動景深捕捉系統及自動景深捕捉方法。

電視自二十世紀初期發展至今，從黑白、彩色一直進步到今日的數位電視，是人類對視覺界限的挑戰，也是科技精益求精的表現。在二十一世紀的今天，人類仍舊不斷在顯示技術上突破，希望能夠再為人類帶來另一個不同的視覺影像革命。而顯示技術也從更鮮豔、更細緻的畫面朝著更真實的方向前進。

在以往的顯示媒介，都是以二維的顯示器為主，舉凡映像管電視、電腦螢幕一直到現代的液晶螢幕和電漿電視，皆以呈現出二維的畫面為主。但對人類而言，雙眼視覺更加地真實及自然。在如此的潮流下，立體視覺內容的提供也將會成為新時代數位相片之必需。立體影像可以呈現不同視點的影像給觀眾的雙眼，雙視點三維電視系統上，可以帶給觀眾立體視覺的呈現，在呈現音樂會、電影、運動、景點導覽的影片時尤其特別。而若要有立體感，知道被攝物的「深度」則為最重要。

依據習知技藝，要利用相機拍出立體照片，多半必須以雙鏡頭雙底片為之。在數位的時代，則可以雙鏡頭雙感光元件，只要相機位置校正到適合位置，即可完成立體照 片的拍攝。為了解決上述問題，美國專利第6,959,253號揭露一種用來對超過一個相機之機器視覺測量系統之校準方法。此外，美國專利第6,781,618號揭露一種架構三維景象模型之方法，先以第一相機拍攝具有未知特徵之一景象以取得第一影像，再以第二相機拍攝具有已知特徵之另一景象以取得對應第二影像。第一及第二相機彼此具有一固定實體關係。其三維模型可藉由使用兩個相機之對應方位及固定實體關係來分析。

請參見圖1。其揭示美國專利號第6,977,674號立體影像捕捉裝置之電路結構方塊圖。如圖1所示，使用具有一RGB晶片彩色濾鏡14之CCD作為其成像裝置11。意即，應用於光圈22R、22G、及22B之彩色濾鏡對應於成像裝置11所使用之彩色濾鏡。成像裝置(CCD)11所偵測到的影像訊號將提供給影像處理單元30，使得訊號從類比訊號轉換成數位訊號再進行預設訊號處理。立體影像捕捉裝置之影像捕捉操作及錄製媒介M之影像資料錄製操作皆受操作開關群組34之操作所控制。雖然僅有一個相機鏡頭拿來捕捉立體影像，相機鏡頭應該設計成特定及複雜的形狀並進一步由很多受限制的裝置所實現。

上述裝置使用數個校準鏡頭來實現捕捉立體影像的目的，其中這些裝置更大且更複雜。因此，影像校準被認為可達成重建三維影像的目的。三維影像重建方法包含下列步驟：暫存一景象之正視影像、結合攝影測量影像及景象之工業繪圖以形成正視與透視之對位影像，再從COP影 像重建三維影像。然而，攝影測量影像必須事先由數個相機拍攝。

在美國專利第6,724,930號中，其揭露一種三維方位及方向感測裝置。請參見圖2，其揭示依據美國專利第6,724,930號三維方位及方向感測裝置之結構方塊圖。如圖2所示，具有獨特幾何特徵之複數個標誌2(簡稱為代碼標誌)被置於所欲估計三維方位及方向之物體上或鄰近。這些代碼標誌2皆由影像擷取裝置3所拍攝，且所拍攝影像5將被傳送到電腦4。理論上，物體1及影像擷取裝置3具有其本身之座標系統，而由影像擷取裝置3所拍攝之影像5定義為相機影像平面。然而，影像5應該進一步由電腦處理。在電腦4接收影像5之後，電腦4會從影像5中找出對應於代碼標誌2之候選區域。電腦4會詳細分析所找出之候選區域，然後計算對應於候選區域代碼標誌2之代碼的幾何特徵。識別出代碼後，電腦藉由將此區域視為標誌區域來將方位暫存於影像及代碼中。最後，藉由使用在步驟2暫存於影像中之代碼標誌2的二維影像方位及有關物體1之代碼標誌2的三維方位，電腦4將可計算有關影像擷取裝置3之物體1之三維方位及方向。電腦分析同時了引入很多操作。

然而，在實際應用時，由於習知技藝在三維深度捕捉時，需要使用不只一台相機及很多複雜的校準鏡頭或很多電腦程式操作，故難以實施。因此，需要提供一種透過數位訊號處理的方式來取得物體深度之系統及方法，藉由差異對深度轉換模組提供差異向量及相機外部參數以取得 其深度，這簡化了整個結構及流程，並達成不用改變相機本身而能自動取得物體深度的目的，因此更容易讓使用者拍攝立體影像，並可修正那些習知技藝之缺點及解決上述問題。

本段章節輯取了本發明之某些特色，而其他體現本發明特徵與優點的一些典型實施例將在後段的說明中詳細敘述。應理解的是本發明能夠在不同的態樣上具有各種的變化，其皆不脫離本發明的範圍，且其中的說明及圖式在本質上係當作說明之用，而非用以限制本發明。

如前所述，習知技藝受限於上述之問題。本發明之一目的為提供一種透過數位訊號處理的方式來取得物體之深度用於相機之自動景深捕捉系統，藉由差異對深度轉換模組提供差異向量及相機外部參數以取得其深度，這簡化了整個結構及流程，並達成不用改變相機本身而能自動取得物體深度的目的，因此更容易讓使用者拍攝立體影像，並可修正那些習知技藝之缺點及解決上述問題。

依照本發明之一觀點，用於相機之自動景深捕捉系統包含一相機鏡頭，用來拍攝複數個影像；一相機校準裝置，包含一用來估計複數個影像的複數個外極資料之外極估計模組；及一用來估計位置資料之相機外部參數估計模組；至少一圖框緩衝器，用以暫時儲存複數個影像；一影像修正模組，用來修正對應於複數個外極資料之複數個影 像並取得複數個修正影像；一差異估計模組，與相機校準裝置及影像修正模組連接用來接收位置資料並取得修正影像之差異向量；一差異對深度轉換模組，用來取得回應於差異向量及位置資料之深度；及一深度影像繪製模組，用來繪製對應於深度之三維影像。

根據本案構想，複數個影像可由相機在不同方位所拍攝。

根據本案構想，複數個外極資料為複數個外極線及外極點。

根據本案構想，外極估計模組進一步用追蹤演算法的方式來產生一回應於複數個外極線及外極點之矩陣。

根據本案構想，矩陣在至少兩個複數個影像之間包含一相對移動向量及一相對方向向量。

根據本案構想，位置資料為相機之三維方位及角度。

本發明之另一目的為提供一種透過數位訊號處理的方式來取得物體深度之自動景深捕捉方法，藉由差異對深度轉換模組提供差異向量及相機外部參數以取得其深度，這簡化了整個結構及流程。並達成不用改變相機本身而能自動取得物體深度的目的，因此更容易讓使用者拍攝立體影像，並可修正那些習知技藝之缺點及解決上述問題。

依照本發明之觀點，用於相機之自動景深捕捉方法包含下列步驟a)拍攝複數個影像；b)估計複數個影像的複數個外極資料以取得一矩陣；c)估計回應於複數個外極資料 及矩陣之位置資料；d)修正對應於複數個外極資料之複數個影像以取得複數個修正影像；e)計算位置資料以取得修正影像之差異向量；f)取得回應於差異向量及位置資料之景深；及g)繪製對應於景深之三維影像。

根據本案構想，步驟a)經由相機鏡頭來執行。

根據本案構想，複數個影像為相機在不同方位下所拍攝。

根據本案構想，步驟b)經由外極估計模組來執行。

根據本案構想，複數個外極資料為複數個影像之複數個外極線及外極點。

根據本案構想，回應於複數個外極線及外極點之基本矩陣是由追蹤演算法的方式來取得。

根據本案構想，基本矩陣在至少兩個複數個影像之間包括一相對移動向量及一相對方向向量。

根據本案構想，步驟c)經由相機外部參數估計模組來執行。

根據本案構想，位置資料為相機之三維方位及角度。

根據本案構想，步驟d)經由影像修正模組來執行。

根據本案構想，步驟e)經由差異估計模組來執行。

根據本案構想，步驟f)經由差異對深度轉換模組來執行。

根據本案構想，步驟g)經由深度影像繪製模組來執行。

根據本案構想，自動景深捕捉方法進一步包含步驟b1)提供至少一圖框緩衝器，用以暫時儲存複數個影像。

本發明上述觀點及優點，熟悉本技藝之人士將可藉由下列圖式與實施例說明，俾得一更清楚之了解。

本發明揭露一種數位訊號處理的方式來取得物體深度之系統及方法。本發明的觀點及優點，熟悉本技藝之人士將可藉由下列圖式與實施例說明，俾得一更清楚之了解。本段落所述之實施例係解釋本發明，但不限制本發明。

請參見圖3。其揭示依據本發明一種用於相機之自動景深捕捉系統。如圖3所示，本發明之捕捉系統包含一相機鏡頭401，用來拍攝複數個影像；一相機校準裝置41，包含一外極估計模組411，用來估計複數個影像的複數個外極資料；及一相機外部參數估計模組412，用來估計位置資料；至少一圖框緩衝器413，用以暫時儲存複數個影像；一影像修正模組42，用來修正對應於複數個外極資料之複數個影像並取得複數個修正影像；一差異估計模組43，與相機校準裝置41及影像修正模組42連接以接收位置資料並取得修正影像之差異向量；一差異對深度轉換模組44，用來取得回應於差異向量及位置資料之景深；及一深度影像繪製模組45，用來繪製對應於景深之三維影像。

在實際應用時，複數個影像為相機在不同方位下所各別拍攝。在相機鏡頭401拍攝至少兩個影像之後，影像將暫時儲存到圖框緩衝器413。儲存於影像緩衝器413之影像會再提供給相機校準裝置41之外極估計模組411。在此實 施例中，複數個外極資料為複數個外極線及外極點。外極估計模組411會產生一矩陣，諸如下述方程式中由旋轉矩陣R 及平移矩陣t 所構成之矩陣 其回應於複數個外極線及外極點，並以追蹤演算法的方式來取得。該矩陣在至少兩個複數個影像之間包含一相對移動向量及一相對方向向量。舉例來說，基本矩陣可當成矩陣使用並描述為：F~K₂ ^-1 EK₁ ^-1 ，其中K₁ 及K₂ 皆為由不同角度所拍攝之兩個影像的相機參數。為了即時運算考量，得以反向先以全域差別估計取得外極線的方向，再以外極線去反推出基本矩陣。如此即可增加效率。所算出的矩陣將會被傳送至相機外部參數估計模組412。

在接收複數個外極線及矩陣之後，相機外部參數估計模組412將可產生相機之位置資料，其中位置資料為相機之三維方位及角度，並與先前影像之來源相關。位置資料將提供給差異估計模組43及差異對深度轉換模組44。

影像修正模組42會修正至少兩個對應於複數個外極資料之複數個影像，並取得複數個修正影像，其中兩個影像之外極線被修正為同一個；且給移動之兩個影像一個中心點，並命名為捕捉影像中心點。將相機外部參數估計模組412之修正影像及位置資料輸入到差異估計模組43。在 本發明中，外極估計模組411、相機外部參數估計模組412、及圖框緩衝器413可整合到相機校準裝置41，其為一較小尺寸之IC裝置，以取代大型電腦。

在差異估計模組43接收到相機外部參數估計模組412之修正影像及位置資料之後，產生一差異向量以傳送到差異對深度轉換模組44。差異對深度轉換模組44將產生回應於差異向量及位置資料之深度，然後深度影像繪製模組45將可繪製對應於深度之三維影像。

如前所述，本發明可經由相機來執行。如圖4所示，其揭示依據本發明一種用於相機之自動景深捕捉系統。如圖4所示，數位相機50包含上述本發明之系統。此外，更有一具有一影像感測器501之相機鏡頭於數位相機50上。當使用者半按快門按鈕502時，數位相機50將開始執行捕捉三維影像之流程。其結果可顯示於數位相機50之二維或三維螢幕上(圖5未顯示)。為了捕捉更多影像，數位相機50可移動或旋轉數個方向60。當使用者對於結果滿意時，使用者可完全按下快門按鈕502以完成拍攝三維影像，且其結果將輸出或儲存。圖5進一步揭示用於本發明相機之顯示螢幕。顯示螢幕70可進一步包含一標註區域701以定義聚焦區域以作為實現本發明捕捉流程的主要目標。

依照上述系統之觀點，本發明進一步提供一種用於相機之自動景深捕捉方法。請參見圖6。其依據本發明揭示一種用於相機之自動景深捕捉方法。依據圖3及圖6，其方法包含下列步驟a)經由相機鏡頭401拍攝複數個影像，如程 序S601所示，其中複數個影像暫時儲存於圖框緩衝器413;b)經由外極估計模組411估計複數個影像的複數個外極資料以取得基本矩陣，如程序S602所示；c)經由相機外部參數估計模組412估計回應於複數個外極資料及基本矩陣之位置資料，如程序S603所示；d)經由影像修正模組42修正對應於複數個外極資料之複數個影像以取得複數個修正影像，如程序S604所示；e)經由差異估計模組43計算位置資料以取得修正影像之差異向量，如程序S605所示；f)經由差異對深度轉換模組44以取得回應於差異向量及位置資料之深度，如程序S606所示；及g)經由深度影像繪製模組45繪製對應於深度之三維影像，如程序S607所示。

在實際應用時，複數個影像為相機在不同方位下所各別拍攝。在相機鏡頭401拍攝至少兩個影像之後，影像將暫時儲存於圖框緩衝器413。儲存於影像緩衝器413之影像將再提供給相機校準裝置41之外極估計模組411。在此實施例中，複數個外極資料為複數個外極線及外極點。外極估計模組411以追蹤演算法的方式來產生一回應於複數個外極線及外極點之基本矩陣，其中基本矩陣在至少兩個複數個影像之間包含一相對移動向量及一相對方向向量。如前所述，本發明的方法可達成不用改變相機本身而能自動取得物體深度的目的，因此更容易讓使用者拍攝立體影像。

總而言之，本發明提供一種透過數位訊號處理的方式來取得物體深度用於相機之自動景深捕捉系統。藉由差異對深度轉換模組提供差異向量及相機外部參數以取得其深度，這簡化了整個結構及流程，並達成不用改變相機本身而能自動取得物體深度的目的，因此更容易讓使用者拍攝三維影像。並可修正那些習知技藝的缺點及解決上述問題。

縱使本發明已由上述之實施例詳細敘述而可由熟悉本技藝之人士任施匠思而為諸般修飾，然皆不脫如附申請專利範圍所欲保護者。

1‧‧‧物體

2‧‧‧代碼標誌

3‧‧‧影像擷取裝置

4‧‧‧電腦

5‧‧‧影像

11‧‧‧成像裝置

22R、22G、22B‧‧‧彩色濾鏡

30‧‧‧影像處理單元

34‧‧‧操作開關群組

41‧‧‧相機校準裝置

42‧‧‧影像修正模組

43‧‧‧差異估計模組

44‧‧‧差異對深度轉換模組

45‧‧‧深度影像繪製模組

401‧‧‧相機鏡頭

411‧‧‧外極估計模組

412‧‧‧相機外部參數估計模組

413‧‧‧圖框緩衝器

50‧‧‧數位相機

501‧‧‧影像感測器

502‧‧‧快門按鈕

60‧‧‧方向

70‧‧‧顯示螢幕

701‧‧‧標註區域

第1圖揭示依據習知技藝立體影像捕捉裝置之電路結構方塊圖；第2圖揭示依據習知技藝三維方位及位置感測裝置之結構方塊圖；第3圖揭示依據本發明一種用於相機之自動景深捕捉系統；第4圖揭示依據本發明一種用於相機之自動景深捕捉系統；第5圖進一步揭示用於本發明相機之顯示螢幕；及第6圖揭示依據本發明一種用於相機之自動景深捕捉方法。

401‧‧‧相機鏡頭

41‧‧‧相機校準裝置

411‧‧‧外極估計模組

412‧‧‧相機外部參數估計模組

413‧‧‧圖框緩衝器

42‧‧‧影像修正模組

43‧‧‧差異估計模組

44‧‧‧差異對深度轉換模組

45‧‧‧深度影像繪製模組

Claims (20)

1. 一種用於相機之自動景深捕捉系統，包括：一相機鏡頭，用來拍攝複數個影像；一相機校準裝置，包含一用來估計該複數個影像的複數個外極資料之外極估計模組，及一用來估計位置資料之相機外部參數估計模組；至少一圖框緩衝器，用以暫時儲存該複數個影像；一影像修正模組，用來修正對應於該複數個外極資料之該複數個影像並取得複數個修正影像；一差異估計模組，與該相機校準裝置及該影像修正模組連接，用來接收該位置資料並取得該修正影像之差異向量；一差異對深度轉換模組，用來取得回應於該差異向量及該位置資料之深度；及一深度影像繪製模組，用來繪製一對應於該深度之三維影像。
2. 如申請專利範圍第1項所述之自動景深捕捉系統，其中該複數個影像為該相機在不同方位下所拍攝。
3. 如申請專利範圍第1項所述之自動景深捕捉系統，其中該複數個外極資料為複數個外極線及外極點。
4. 如申請專利範圍第3項所述之自動景深捕捉系統，其中該外極估計模組進一步用追蹤演算法的方式來產生一回應於該複數個外極線及外極點之矩陣。
5. 如申請專利範圍第4項所述之自動景深捕捉系統，其中該矩陣在至少兩個該複數個影像之間包括一相對移動向量及 一相對方向向量。
6. 如申請專利範圍第1項所述之自動景深捕捉系統，其中該位置資料為該相機之三維方位及角度。
7. 一種用於相機之自動景深捕捉方法，包括下列步驟：a)拍攝複數個影像；b)估計該複數個影像之複數個外極資料以取得一矩陣；c)估計回應於該複數個外極資料及該矩陣之位置資料；d)修正對應於該複數個外極資料之該複數個影像以取得複數個修正影像；e)計算該位置資料以取得該修正影像之差異向量；f)取得回應於該差異向量及該位置資料之深度；及g)繪製對應於該深度之三維影像。
8. 如申請專利範圍第7項所述之自動景深捕捉方法，其中該步驟a)經由相機鏡頭來執行。
9. 如申請專利範圍第7項所述之自動景深捕捉方法，其中該複數個影像為該相機在不同方位下所拍攝。
10. 如申請專利範圍第7項所述之自動景深捕捉方法，其中該步驟b)經由外極估計模組來執行。
11. 如申請專利範圍第7項所述之自動景深捕捉方法，其中該複數個外極資料為該複數個影像之複數個外極線及外極點。
12. 如申請專利範圍第11項所述之自動景深捕捉方法，其中回應於該複數個外極線及外極點之該矩陣是以追蹤演算法的方式來取得。
13. 如申請專利範圍第7項所述之自動景深捕捉方法，其中該矩陣在至少兩個該複數個影像之間包括一相對移動向量及一相對方向向量。
14. 如申請專利範圍第7項所述之自動景深捕捉方法，其中該步驟c)經由相機外部參數估計模組來執行。
15. 如申請專利範圍第7項所述之自動景深捕捉方法，其中該位置資料為該相機之三維方位及角度。
16. 如申請專利範圍第7項所述之自動景深捕捉方法，其中該步驟d)經由影像修正模組來執行。
17. 如申請專利範圍第7項所述之自動景深捕捉方法，其中該步驟e)經由差異估計模組來執行。
18. 如申請專利範圍第7項所述之自動景深捕捉方法，其中該步驟f)經由差異對深度轉換模組來執行。
19. 如申請專利範圍第7項所述之自動景深捕捉方法，其中該步驟g)經由深度影像繪製模組來執行。
20. 如申請專利範圍第7項所述之自動景深捕捉方法，進一步包括步驟b1)提供至少一圖框緩衝器，用以暫時儲存該複數個影像。