TW201327019A

TW201327019A - 利用多畫面三維相機拍攝具視角彈性視點合成全景三維影像的技術

Info

Publication number: TW201327019A
Application number: TW101142599A
Authority: TW
Inventors: Henry Harlyn Baker
Original assignee: Hewlett Packard Development Co
Priority date: 2011-11-28
Filing date: 2012-11-15
Publication date: 2013-07-01
Also published as: WO2013081576A1

Abstract

提供一種用以拍攝一全景三維影像的視角彈性、視點合成之多畫面相機。此相機包括一機殼以安裝多個成像器於一格子中，此等多個成像器具有多個焦距及一基線長度，此等多個焦距及基線長度係選擇成可在一遠方場所提供與在一所欲視點的視差改變約略相匹配的一視差改變。

Description

利用多畫面三維相機拍攝具視角彈性視點合成全景三維影像的技術

本發明係有關於利用多畫面三維相機拍攝具視角彈性視點合成全景三維影像的技術。

拍攝多畫面三維(3D)資訊以提供觀眾多重視點之真實三維體驗變得越來越流行。在例如運動競賽、時裝表演、三維電影、音樂會等等的娛樂節目中，觀眾現在已能進入更逼真的且有時融入的視覺體驗中，以圖模擬所能拍攝的三維資訊的豐富性。傳統上拍攝三維資訊已經藉以下方式達成：放置一對成像器(例如相機感測器)相距一特定距離、對準兩者以求正確感知性、及同步拍攝成對立體影像，然後合成之。細心選擇成像器之間的距離是傳達所欲感知性的關鍵性要素。若成像器太靠近，則觀眾(不能調整其兩眼的距離)會有景像深度範圍太小的感覺；若成像器太分開，則觀眾看到誇張的三維、突出的物體，比方說物體似乎太長。

對此電影攝影技師可以藉下列方式調和之，即一直維持與一般人相同的觀看情況：觀者兩眼間距離約65mm，中央視角約53°。不過通常成像器不能置於讓觀者可定位於所欲視角的想要位置。在這些情況下，成像器可能必須移到另一個可取像的位置。在距離較大時，成像器的鏡頭可能不再適合所欲的內容，可能必須採用較長的鏡頭以得到想要的視角。這種置換及增加的焦距可能破壞所想要的感知性，因為這可能造成影像深度範圍太小。為了重建正確的深度範圍，必須以改變成像器的距離而調和之，例如若拍攝位置是兩倍於所想要感知位置距離，則把成像器間的距離加倍。因此對觀眾提供滿意的三維體驗受限於觀看距離、焦距及感知範圍之間的關係。

依據本發明之一實施例，係特地提出一種用以拍攝一全景三維影像的視角彈性視點合成多畫面相機，其包含：一安裝多個成像器於一格子中的機殼；以及多個成像器，具有多個焦距與一基線長度，該等多個焦距與該基線長度係選擇成可在一遠方場所提供與來自一所欲視點之一視差改變相近似的一視差改變。

100‧‧‧三維拍攝場所

105a-c、500、530‧‧‧多畫面相機

110、205‧‧‧遠方場所

110a‧‧‧運動場

110b‧‧‧音樂舞台

110c‧‧‧電影場景

115a-g‧‧‧觀眾

120、660‧‧‧拍攝與合成模組

125‧‧‧合成且全景的三維影像

200a-b‧‧‧視點

210‧‧‧雙眼視差

215、515‧‧‧基線

220‧‧‧焦距

225‧‧‧距離範圍

300~310、400~415‧‧‧步驟

505、520、525、535‧‧‧成像器

510、540‧‧‧相機機殼

545‧‧‧鏡頭

600‧‧‧計算系統

605‧‧‧處理器

610‧‧‧依電性記憶體

615‧‧‧非依電性記憶體

620‧‧‧電腦可讀媒體

625‧‧‧輸入裝置

630‧‧‧記憶體控制器

635‧‧‧匯流排

640‧‧‧網路連接

645‧‧‧圖像控制器

650‧‧‧顯示器

655‧‧‧電腦可讀指令

本申請案配合下面的詳細說明並輔以所附圖式可以更加完整瞭解，圖式中前後相同的參考號碼均指同一元件，且其中：圖1為圖解一範例三維拍攝場所之示意圖，其中諸實施例可得以實現；圖2為圖解欲在一實際的拍攝場所作為所想要視點約略達成相同的視差改變所需幾何關係之示意圖；圖3為以一視角彈性、視點合成之多畫面相機拍攝一全景三維影像之流程圖；圖4為根據各種不同實施例形成一合成且全景三維影像之流程圖；圖5A-B為一視角彈性、視點合成之多畫面相機之舉例示意圖；以及圖6為根據本揭露而實現一拍攝與合成模組之舉例計算系統之方塊圖。

本案揭露一種用以拍攝一全景三維影像的視角彈性、視點合成之多畫面相機、方法及非暫時性電腦可讀媒體。如本文一般所述者，一多畫面相機具有多個成像器(例如影像感測器)以拍攝一景像的多個畫面，每一成像器拍攝一不同的畫面。多畫面相機亦可具有與此等成像器整合在一起的多個鏡頭。如下面更加詳細說明的，多畫面相機包括多個成像器及鏡頭，置於一條線或一格子中以拍攝多個畫面。一與相機連接的拍攝與合成模組接收這些多畫面，並合成之成為一合成且全景的三維影像。

在各種不同的實施例中，雖然置於偏離多個視點之一位置處，一視角彈性、視點合成之多畫面相機能夠對這些多個視點的觀眾提供一影像景像之多個視角。多畫面相機對不同的視角提供適應性換位的樣子，但並沒有任何實際上的實體移動。適應性換位之達成，是將在實際相機位置針對距離(即選擇具有某種範圍間距的兩個形貌)的視差(disparity；即兩眼所見的某些形貌在投射位置的差異)之改變，約略匹配到相機若置於所欲視點所能觀察的視差改變。

實際相機位置處的視差改變，是在拍攝與合成模組，藉由考慮雙眼視差、多畫面相機的基線、多畫面相機中所用的鏡頭焦距、以及從所欲視點到所拍攝影像景像的距離範圍之間的幾何關係而計算。如本文一般所述者，雙眼視差是指由於雙眼水平距離使一觀者的左眼與右眼所見的影像位置差異。多角度相機的基線是指相機中相距最遠的成像器的投影中心之間的水平距離。

應瞭解的是本文下面所述的實施例可能包括各種不同的元件與特色，某些元件與特色可以移除及/或修改，但不會偏離用以拍攝一全景三維影像的視角彈性、視點合成之多畫面相機、方法及非暫時性電腦可讀媒體的範圍。亦需瞭解的是下面的說明中，提出了許多具體的細節以供完全瞭解諸實施例，但應瞭解的是這些實施例沒有這些具體細節的限制仍可實現。在其他的狀況中，習知的方法與架構可能未加以詳述，以避免不必要地模糊了諸實施例的說明。而且諸實施例可互相組合而使用。

說明書中提到的「一實施例」、「一例子」或相似的用語意指配合實施例或例子而說明之一特定的特色、結構或性質是包括於至少該一例子中，但不一定在其他例子中。說明書中各處的詞彙「一實施例中」或類似的詞彙之不同措辭狀況不一定均指同一實施例。如本文所用者，一模組可以是硬體與在該硬體上執行以提供一既定功能的軟體之組合。

現在參考圖1，說明一圖解諸實施例可得以實現之一範例三維拍攝場所之示意圖。三維拍攝場所100代表一個為在多個視點之多個觀眾拍攝三維資訊的場所。多畫面相機105a-c置於離開一遠方場所110及依在此遠方場所110可取得的三維資訊而定的一既定位置。遠方場所110可以是比方說一運動場110a、一音樂舞台110b、一電影場景110c等等。多個觀眾115a-g可以位於多個離開遠方場所110的視點，這些視點可能與多畫面相機105a-c的實際位置不同，且比多畫面相機105a-c更靠近遠方場所110。

連接於多畫面相機105a-c的拍攝與合成模組120接收由多畫面相機105a-c所拍攝的多個畫面，且合成這些多個畫面成為一合成且全景的三維影像125。合成且全景的三維影像125可以在一表演場所(例如電影院、音樂會後台等)呈現給觀眾看，此表演場所可能不同於或相同於拍攝場所100。在各種不同的實施例中，產生合成且全景的三維影像125使得當其在表演場所呈現給觀眾時，觀眾有身歷拍攝場所100之正確視角的感覺。

此之達成是在多畫面相機105a-c拍攝多畫面時使能造成如同相機置於觀眾的位置之感覺。要這麼做必需多畫面相機105a-c實際位置處相對於距離的視差改變約略與所欲地點(例如在觀眾115a-e的位置)的視差改變相同。如下面對於各種實施例所說明的，拍攝與合成模組120為一所欲觀者計算在一所欲位置之視差的改變，然後得出當拍攝遠方場所110的影像時欲於多畫面相機105a-c使用的基線長度與諸焦距。

應瞭解的是，雖然三個多畫面相機105a-c示於圖 1，但這種多畫面相機少幾個或多幾個都可以使用。亦需瞭解的是多個三維場所110a-c示出並排當作遠方場所110僅供舉例說明之用，熟於此技者瞭解遠方場所110其實只是拍攝三維資訊之單一場所(例如運動場110a或音樂舞台110b或電影場景110c)。

現在注意圖2，其圖解約略達成在作為一所欲視點的一實際拍攝場所之相同的視差改變所需的幾何關係。視點200a-b可代表注視遠方場所205處的三維資訊之一觀者的雙眼位置。目標是將在離開視點200a-b而置放之一個或多個多畫面相機處所感受的視差改變，約略匹配於一觀者在視點200a-b所注視的視差改變。為此，觀者在視點200a-b的視差改變可以藉由考慮雙眼視差210之間的幾何關係、觀者雙眼間的基線215之距離(例如65毫米)、觀者雙眼的焦距220(例如17-22毫米)、以及從視點200a-b到遠方場所205的距離範圍225而計算。

讓d代表雙眼視差210，b代表基線215，f代表焦距220，z代表從視點200a-b到遠方場所205的距離範圍225，則其等之間的幾何關係可由下式表示：對距離範圍(z)225取導數，得到：觀者在視點200a-b所觀察的視差改變相對於距離△d/△z因此可確定為如下：

熟於此技者可以體會的是上面式子3中視差改變△d可以對一所欲的距離範圍z計算。若一多畫面相機的位置離開所欲的距離範圍z在一距離z_c處，則式子3可用以為相機選擇一基線長度b _c，且為相機中所用的鏡頭選擇一焦距f _c，以約略達成式子3中所得的相同的視差改變△d。在一實施例中，可以選擇焦距f _c以在遠方場所205拍攝場景(例如運動會、音樂會、電影場景等)。相機的基線長度b _c於是可以計算如下，以約略達成在所欲視點的相同的視差改變△d：在另一實施例中，基線長度b _c與焦距f _c可以一起選擇以約略達成如式子3所得的相同△d。

所瞭解的是，將實際相機位置的視差改變約略匹配於所欲視點的視差改變，改善了所拍攝三維資料的真實性與正圓度。正圓度是說明一所觀形狀在三維中觀看的各向等性的程度，亦即，一圓球是否看起來是圓球形或是具有無意形成的空間景深扭曲。當三維影像沒有以心目中的正圓度的感知性質而取得時，則人的臉部看起來可能像薄煎餅，或鼻子可能變長了。此外，不搭配的焦距與基線可能導致巨大畸形或縮小變形的感覺，其中在前景或背景的形體看起來都有不相襯的大小。

熟於此技者也會瞭解，在選擇三維影像資料的較佳人類觀看所需基線是有取捨的，因為自一距離觀看的透視效果一旦拍攝後就不能以一影像為基礎的方式來改變。此意謂在某些其他距離觀看的三維影像資料之呈現型態可以針對較佳的「正圓度」而建立，但可以繼續從原來的視角描出物體。結果是通常的投影關係可能對於相對尺寸出現矛盾的感覺。為了調適應此點，本文所呈現的關於基線與焦距選擇的論點可以擴大包括儘可能縮小透視效果影響的考慮。在一例子中，可提供一引導性計量使產生的尺寸變化可以不超過比方說所欲的真實視角的10%，且所配置的基線可以選擇以提供對於該限制的一可接受的正圓度。

現在參考圖3，一用於以視角彈性、視點合成之多畫面相機拍攝一全景三維影像之流程圖於此加以說明。首先，多畫面相機置於一離開要拍攝的影象場景(例如遠方場所110)一距離之處(步驟300)。其次，選擇相機的一基線長度以達成與在所欲視點的一觀者相對應之視差改變(步驟305)。視差改變首先就一在所欲視點的觀者計算如上述式子3所示。然後選擇相機的基線長度(或加上相機所用的鏡頭焦距)以約略匹配如式子4中的視差改變。最後，以所選的基線長度拍攝影像而形成一合成的全景三維影像(步驟310)。

應瞭解的是選擇一多畫面相機的基線長度與鏡頭焦距而將相機所感受的視差改變約略匹配於在所欲視點的視差改變，使串流/記錄三維視訊的製片導演或其他管弦樂的編者能讓多畫面相機置於一處，但仍然能對觀眾送出像是來自另一位置(即所欲視點)的三維感知性。目標是可讓多畫面三維相機置於離開其理想位置處，並提供適應性換位的觀感，但又沒有任何實體的移動。

亦應瞭解的是選擇多畫面相機的基線長度及鏡頭焦距可以委由一模組(例如拍攝與合成模組120)進行，而不是由一活人技士執行，因而降低成本並增加靈活度。不用一活人技士實質移動一三維相機，例如比方說移動一發出隆隆聲的拍攝平台、及變換鏡頭(例如一變焦鏡頭)以在所欲視點提供不同的視角，實質相機移動的感覺可藉選擇多畫面相機的基線長度與焦距以約略匹配於來自所欲視點的視差改變而提供。所選的基線長度與焦距則可用來拍攝多個影像，供隨後可加以合成而形成一合成且全景的三維影像。

現在參考圖4，說明一根據不同實施例形成合成且全景三維影像的流程圖。首先，針對在所欲視點之觀者的視差改變在一與多畫面相機相連的拍攝與合成模組中計算(步驟400)。其次，確定多畫面相機的實際位置與一被拍攝場所之間的距離(步驟405)。然後選擇多畫面相機的基線長度及多個焦距以為在所欲視點的觀者約略達成相同的視差改變(步驟410)。最後，利用所選的多畫面三維相機的基線長度及多個焦距所拍攝的多個影像被連接於相機的拍攝與合成模組接收(步驟415)。拍攝與合成模組接著把多個影像合成以形成一合成且全景的三維影像。

應瞭解的是圖4中所示的步驟可用一連接多畫面相機的拍攝與合成模組(例如拍攝與合成模組120)執行。這種多畫面相機之一例示於圖5A中，多畫面相機500有多個成像器505安排在相機機殼510的格子中，每一成像器可以是一具有既定焦距的影像感測器。多畫面相機500的基線515以相機中相隔最遠的成像器之間的水平距離表示，例如以成像器520與525之間的水平距離表示。

另一例示性多畫面相機示於圖5B。多畫面相機530有多個成像器535安排在一相機機殼540的格子中，成像器間穿插著具有多種焦距的多個鏡頭(例如變焦鏡頭、遠距鏡頭等)，例如比方說鏡頭545。可以選擇多個焦距以拍攝景像內容(例如運動會、音樂會、電影場景等)。在一實施例中，諸鏡頭與各焦距可以為一既定場景依演繹法選擇，與相機成像器535連接的拍攝與合成模組可用來為相機選擇所欲的基線長度。

應瞭解的是圖5A-B所示的多畫面相機以一拍攝與合成模組(例如拍攝與合成模組120)運作而為在一既定的拍攝場所之相機選擇基線長度與諸焦距。因此，這些多畫面相機可稱為視角彈性、視點合成的相機，因為這些多畫面相機能拍攝不同的視角，並合成來自不同視點之影像，而無需任何實體上的移動。

如熟於此技者亦可瞭解的是，連接於多畫面相機(例如相機500與535)的拍攝與合成模組可以用硬體、軟體或軟硬體之組合而實現。現在參考圖6，說明一用以根據本揭露實現拍攝與合成模組的計算系統。計算系統600可包括一處理器605與諸記憶體資源，例如比方說，依電性記憶體610及/或非依電性記憶體615，以執行一有形的非暫時性媒體(例如依電性記憶體610、非依電性記憶體615、及/或電腦可讀媒體620)中所儲存的指令，及/或含有組配來執行本揭露各種例子之邏輯組件之特定應用積體電路(ASIC)所儲存的指令。

一機器(例如一計算裝置)可包括及/或經由一輸入裝置625接收儲存一組電腦可讀指令(例如軟體)之一有形的非暫時性電腦可讀媒體620。如本文所用者，處理器605可包括一個或多個處理器，例如在一平行處理系統中者。記憶體可包括可由處理器605定址以執行電腦可讀指令的記憶體。電腦可讀媒體620可包括例如隨機存取記憶體(RAM)之依電性及/或非依電性記憶體，例如硬碟、軟碟及/或磁帶記憶體之磁性記憶體、固態驅動機(SSD)、快閃記憶體、相變記憶體等等。在一些實施例中，非依電性記憶體615可以是包括許多實質上非依電性記憶體裝置的一本地或遠方資料庫。

處理器605可控制計算系統600的整體運作。處理器605可連接於一記憶體控制器630，記憶體控制器630可對依電性記憶體610(例如RAM)讀出及/或寫入資料。記憶體控制器630可包括一ASIC及/或具有自己的記憶體資源(例如依電性及/或非依電性記憶體)之一處理器。依電性記憶體610可包括一或多個記憶體模組(例如晶片)。處理器605可連接於一匯流排635，以在處理器605、網路連接640及計算系統600其他部分之間提供通訊。非依電性記憶體615可為計算系統600提供永久的資料儲存。此外，圖像控制器645可連接於一可有可無的顯示器650。

每一計算系統600可包括一計算裝置，此計算裝置包括控制電路，例如一處理器、一狀態機器、ASIC、控制器、及/或類似的機器。如本文所用者，「一」及/或「一個」等用語可指一個或一個以上的所命名物件。於是比方說「一處理器」可包括一個或一個以上的處理器，例如在一平行處理配置中的處理器即是。

控制電路可具有一種結構，其提供一種既定的功能、及/或執行儲存於一非暫時性的電腦可讀媒體(例如非暫時性的電腦可讀媒體620)上之電腦可讀指令。非暫時性的電腦可讀媒體620可以有線連接於或以無線方式整合或通訊耦接於一計算裝置。舉例而言，非暫時性的電腦可讀媒體620可以是一內部記憶體、一可攜式記憶體、一可攜式碟片、或一位於另一計算資源內部的記憶體(例如可使電腦可讀指令能透過網際網路下載者)。

非暫時性的電腦可讀媒體620可以有電腦可讀指令655儲存於其上，由處理器605執行以根據本揭露實現一拍攝與合成模組660。非暫時性的電腦可讀媒體620，如本文所用的，可以包括依電性及/或非依電性記憶體。依電性記憶體可以含有依靠電源而儲存資訊之記憶體，例如各種不同態樣的動態隨機存取記憶體(DRAM)等等。非依電性記憶體可包括不依靠電源而儲存資訊的記憶體，非依電性記憶體的例子可包括例如快閃記憶體、EEPROM及相變隨機存取記憶體(PCRAM)等等之固態媒體。非暫時性的電腦可讀媒體620可包括光碟、數位視訊碟片(DVD)、藍光光碟、實密碟片(CD)、雷射碟片、以及如磁帶機、軟碟與硬碟機之磁性媒體、如快閃記憶體、EEPROM、PCRAM之固態媒體以及任何其他式樣的電腦可讀媒體。

應瞭解的是前面所揭露實施例的說明是供熟於此技者能作出或使用本揭露。這些實施例的各種不同的修飾對熟於此技者而言是容易明白的，本文所定義的通用原則可以適用於其他實施例，但不會偏離本揭露的精神與範圍。因此本揭露並未意圖受限於本文所示的諸實施例，而是要符合於與本文所揭露的原則及新穎特色一致的最廣範圍。舉例而言，應瞭解的是本揭露不限於一特定組態，例如計算系統600。

熟於此技者能進一步瞭解：配合本文所揭露的實施例而說明的各種不同的例示性模組與步驟，可以用電子硬體、電腦軟體、或兩者之組合予以實現。舉例而言，圖4的範例步驟可以用軟體模組、硬體模組或元件、或軟體與硬體模組或元件的組合而實現。因此，在一實施例中，圖4的一個或多個舉例步驟可包含硬體模組或元件。在另一實施例中，圖4的一或多個步驟可包含儲存於一電腦可讀儲存媒體上而可用一處理器執行的軟體碼。

為了清楚說明硬體與軟體的此種可互換性，各種不同的說明性元件、方塊、模組與步驟已經大體就其功能性(例如拍攝與合成模組660)說明於上。這些功能以硬體或是軟體實現取決於整體系統所受的特別應用與設計限制。熟於此技者對每一特別應用可以用不同的方式實現所述的功能，但這種實現決定不應解讀為導致偏離本揭露的範圍。

100‧‧‧三維拍攝場所

105a-c‧‧‧多畫面相機

110‧‧‧遠方場所

110a‧‧‧運動場

110b‧‧‧音樂舞台

110c‧‧‧電影場景

115a-g‧‧‧觀眾

120‧‧‧拍攝與合成模組

125‧‧‧合成且全景的三維影像

Claims

一種用以拍攝全景三維(3D)影像的視角彈性視點合成多畫面相機，包含：一安裝多個成像器於一格子中的機殼；以及多個成像器，具有多個焦距與一基線長度，該等多個焦距與該基線長度係選擇成可在一遠方場所提供與來自一所欲視點的一視差改變相近似的一視差改變。
如請求項1之視角彈性視點合成多畫面相機，其中在該遠方場所的該視差改變是藉由考慮視角大小變化而調整。
如請求項1之視角彈性視點合成多畫面相機，其中該等多個成像器包含多個影像感測器。
如請求項3之視角彈性視點合成多畫面相機，其中該等多個影像感測器穿插著多個鏡頭。
如請求項1之視角彈性視點合成多畫面相機，其中在一所欲視點之該視差改變是針對在該所欲視點之一觀者而計算。
如請求項1之視角彈性視點合成多畫面相機，其中在一所欲視點之該視差改變是根據該視點及該遠方場所之間的一距離而計算。
如請求項1之視角彈性視點合成多畫面相機，其中該基線長度與該等多個焦距是根據該遠方場所及該多畫面相機的一位置之間的距離而選擇。
一種用以拍攝視角彈性視點合成多畫面全景三維影像之方法，該方法包含：將一多畫面三維相機置於離開一遠方場所一距離處，該多畫面三維相機具有附有多種焦距之多個成像器，安排在一格子中；選擇一基線長度以達成在離開該遠方場所之該距離處與來自一所欲視點之一視差改變約略匹配的一視差改變；以及以所選的基線長度拍攝多個影像以形成該全景三維影像。
如請求項8之方法，其更包含調整在離開該遠方場所之該距離處的該視差改變而考慮視角大小變化。
如請求項8之方法，其中選擇該基線長度包含對應於一所欲視點而定出該視差改變。
如請求項10之方法，其中對應於一所欲視點定出該視差改變包含定出一觀者雙眼間的一基線距離、該觀者雙眼的一焦距、及該所欲視點與相機位置之間的一距離。
如請求項8之方法，其中該基線長度為該相機與該遠方場所之間距離的一函數。
一種非暫時性電腦可讀媒體，具有儲存於其上之一些指令，此等指令可由一處理器執行而：為在一所欲視點的觀者計算一視差改變；確定一多畫面三維相機的位置與一遠方場所之間的一距離；為該多畫面三維相機選擇一基線長度與多個焦距，以達成在該遠方場所而與針對在該所欲視點的觀者的該視差改變約略匹配的一視差改變；以及接收利用為置於離開該遠方場所該距離的該多畫面三維相機所選的該基線長度與多個焦距而拍攝的多個影像。
如請求項13之非暫時性電腦可讀媒體，其更包含藉由考慮視角大小變化以調整該遠方場所的該視差改變之一些指令。
如請求項13之非暫時性電腦可讀媒體，其中為一觀者計算一視差改變的該等指令包含確定該觀者雙眼間的一基線距離、該觀者雙眼的一焦距、及該所欲視點與相機位置之間的一距離的一些指令。
如請求項13之非暫時性電腦可讀媒體，其中該基線長度與該等多個焦距是根據該多畫面三維相機的位置與該遠方場所之間的該距離來選擇。
如請求項13之非暫時性電腦可讀媒體，其更包含用以合成該等多個影像而形成一全景三維影像之一些指令。