TWI766067B - 多重攝影機捕獲後影像處理方法、系統及非暫時性電腦可讀媒體 - Google Patents

Abstract

影像處理可包括儲存由一第一攝影機捕獲之一場景之一第一影像，儲存由一第二攝影機捕獲之該場景之一第二影像，及儲存一第一使用者編製影像。該第一使用者編製影像可自以下各者中之至少一者衍生：(a)該第一影像，及(b)該第二影像。該影像處理可進一步包括：接收一第二命令以編輯該第一使用者編製影像，編輯該第一使用者編製影像，及將該經編輯第一使用者編製影像儲存為一第二使用者編製影像。

Description

多重攝影機捕獲後影像處理方法、系統及非暫時性電腦可讀 媒體

本發明尤其係關於重新編製場景之數位影像。

行動裝置通常包括用於成像場景之攝影機。攝影機包括光學總成，光學總成具有鏡頭及光圈，光學總成將光自場景導向至影像感測器上。影像感測器量測經聚焦光，且處理器將量測儲存為影像檔案。

光學總成之組態判定來自場景之光如何聚焦至影像感測器上。舉例而言，光學總成之組態判定影像之(a)視場及(b)變焦級別。視場係關於影像中捕獲之場景區域之量。變焦級別係關於經捕獲場景區域之品質。

舉例而言，使用者可拍攝城市地平線之全景影像及地平線中之特定建築物之遠焦影像。假定兩種影像皆具有相等解析度，則全景影像將具有寬視場，因此展示許多不同建築物，但全景影像將具有低變焦級別，使得不存在許多不同建築物之特定細節(例如，窗戶)。與此對比，遠焦影像將具有窄視場，因此可能僅展示單一建築物，但遠焦影像將處於高變焦級別，使得存在單一建築物之特定細節(例如，窗戶)。

在某些情況下，使用者可能希望捕獲後重新編製視場及/或變焦級別。舉例而言，在拍攝全景影像之後，使用者可能希望檢視特定建築物之細節。或，在拍攝遠焦影像之後，使用者可能希望檢視相鄰建築物。

揭示一種用於成像處理之方法。該方法可包括：回應於一第一命令而儲存由一第一攝影機捕獲之一場景之一第一影像，該第一影像包含第一像素；回應於該第一命令而儲存由一第二攝影機捕獲之該場景之一第二影像，該第二影像包含第二像素；回應於該第一命令而儲存該場景之一第一使用者編製影像，該第一使用者編製影像包含自以下各者中之至少一者衍生之第一使用者編製像素：(a)該等第一像素，及(b)該等第二像素。

該方法可包括：接收一第二命令以編輯該第一使用者編製影像；編輯該第一使用者編製影像；將該經編輯第一使用者編製影像儲存為一第二使用者編製影像。

該方法可包括將該第一使用者編製影像及該第二使用者編製影像儲存為後設資料。在存取該後設資料後，就可顯現該第一使用者編製影像及/或可顯現該第二使用者編製影像。

顯現該第一使用者編製影像可包括自該等第一及/或第二像素重新衍生該等第一使用者編製像素。顯現該第二使用者編製影像可包括自該等第一像素及/或該等第二像素重新衍生該等第二使用者編製像素。該後設資料可將該第一使用者編製影像映射至該第一及/或第二影像。該後設資料可將該第二使用者編製影像映射至該第一影像及/或該第二影像。

根據該方法，該第一使用者編製影像及該第二使用者編製影像可具有一相同視場及變焦級別。在此狀況下，該第一使用者編製影像係自該第一影像而非該第二影像衍生。歸因於應用於該第二使用者編製影像之一相片效果，該第二使用者編製影像可自該第一及第二影像兩者衍生。

該方法可包括呈現該第一使用者編製影像之一縮圖。該縮圖可為該第一使用者編製影像之一縮小取樣樣本，且回應於該第一命令而自動地出現。該第一命令可由一單一捕獲命令組成。該第二使用者編製影像之一縮圖可回應於該儲存該經編輯第一使用者編製影像而自動地替換該第一使用者編製影像之該縮圖。

揭示一種處理系統，該處理系統可包括一或多個處理器，其經組態以執行該方法。揭示一種非暫時性電腦可讀媒體。該媒體可包括程式碼，該程式碼在由一或多個處理器執行時致使該一或多個處理器執行操作。該程式碼可包括用於執行該方法之程式碼。

揭示一種處理系統。該處理系統可包括一或多個處理器，其經組態以進行以下操作：回應於一第一命令而儲存由一第一攝影機捕獲之一場景之一第一影像，該第一影像包含第一像素；回應於該第一命令而儲存由一第二攝影機捕獲之該場景之一第二影像，該第二影像包含第二像素；回應於該第一命令而儲存該場景之一第一使用者編製影像，該第一使用者編製影像包含自以下各者中之至少一者衍生之第一使用者編製像素：(a)該等第一像素，及(b)該等第二像素。

該一或多個處理器可經組態以進行以下操作：接收一第二命令以編輯該第一使用者編製影像；編輯該第一使用者編製影像；將該經編輯第一使用者編製影像儲存為一第二使用者編製影像。

揭示一種處理系統。該處理系統可包括：用於回應於一第一命令而儲存由一第一攝影機捕獲之一場景之一第一影像的構件，該第一影像包含第一像素；用於回應於該第一命令而儲存由一第二攝影機捕獲之該場景之一第二影像的構件，該第二影像包含第二像素；用於回應於該第一命令而儲存該場景之一第一使用者編製影像的構件，該第一使用者編製影像包含自以下各者中之至少一者衍生之第一使用者編製像素：(a)該等第一像素，及(b)該等第二像素。

該處理系統可進一步包括：用於接收一第二命令以編輯該第一使用者編製影像的構件；用於編輯該第一使用者編製影像的構件；用於將該經編輯第一使用者編製影像儲存為一第二使用者編製影像的構件。

揭示一種非暫時性電腦可讀媒體。該媒體可包括程式碼，該程式碼在由一或多個處理器執行時致使該一或多個處理器執行操作。該程式碼可包括用於進行以下操作之程式碼：回應於一第一命令而儲存由一第一攝影機捕獲之一場景之一第一影像，該第一影像包含第一像素；回應於該第一命令而儲存由一第二攝影機捕獲之該場景之一第二影像，該第二影像包含第二像素；回應於該第一命令而儲存該場景之一第一使用者編製影像，該第一使用者編製影像包含自以下各者中之至少一者衍生之第一使用者編製像素：(a)該等第一像素，及(b)該等第二像素。

該程式碼可包括用於進行以下操作之程式碼：接收一第二命令以編輯該第一使用者編製影像；編輯該第一使用者編製影像；將該經編輯第一使用者編製影像儲存為一第二使用者編製影像。

10:場景

11:視場

21:視場

100:行動裝置/成像系統

101:本體或外部框架

102:顯示器

103:實體按鈕

104:攝影機群組

105:第一攝影機

106:第二攝影機

107:虛擬按鈕

108:虛擬按鈕

109:虛擬按鈕

110:觀景器區

400:數位檔案

411:第一影像

412:第一視場

413:第一變焦級別

421:第二影像

422:第二視場

423:第二變焦級別

431:使用者編製影像

431a:第一使用者編製影像

431b:第二使用者編製影像

431c:第三使用者編製影像

431d:第四使用者編製影像

431x:使用者編製影像

432:使用者編製視場

432x:使用者編製視場

433:使用者編製變焦級別

433x:使用者編製變焦級別

441:經顯示影像

442:經顯示視場

442a:第一經顯示視場

442b:第二經顯示視場

443:經顯示變焦級別

451:校準

461:映圖

471:歷史

601:工作室區

602:區域

701:區域

702:區域

801:區域

802:區域

902:區塊

904:區塊

906:區塊

908:區塊

910:區塊

912:區塊

914:區塊

916:區塊

918:區塊

1001:縮圖

1010:工作室區

1102:區塊

1104:區塊

1106:區塊

1108:區塊

1110:區塊

1112:區塊

1114:區塊

1116:區塊

1118:區塊

1120:區塊

1122:區塊

1124:區塊

1126:區塊

1128:區塊

1130:區塊

1132:區塊

1134:區塊

1136:區塊

1201:第一像素

1201a:第一像素

1201b:第一像素

1211a:第一影像像素叢集

1211b:第一影像像素叢集

1211c:第一影像像素叢集

1301:第二像素

1311a:第二影像像素叢集

1311b:第二影像像素叢集

1401:第一區域

1402:第二區域

1403:邊界

1404:像素

1405:像素

1406:像素

1407:像素

1408:像素

1409:像素

1410:像素

1411:像素

1412:像素

1502:區塊

1504:區塊

1506:區塊

1508:區塊

1510:區塊

1512:區塊

1601:視訊封包

1611:第一視訊

1612:第一圖框

1621:第二視訊

1622:第二圖框

1631:使用者編製視訊

1631a:片段

1631b:片段

1631c:片段

1632:使用者編製圖框

1651:校準

1661:映圖

1701:處理器

1702:記憶體

1703:輸入/輸出裝置/輸入-輸出裝置

1704:感測器

1705:使用者介面

1706:馬達/致動器

1707:資料匯流排/連線

A₁₁:視角

A₂₁:視角

d:向量

為了清楚地及簡易地閱讀，一些圖省略了某些特徵之視圖。除非另有明確陳述，否則圖式未按比例繪製。

圖1為行動裝置之示意性前視平面圖及場景之示意性圖示。

圖2為行動裝置之示意性後視平面圖。

圖3包括下部部分及上部部分。下部部分為行動裝置之第一及第二攝影機的示意性俯視平面圖。上部部分為第一攝影機之第一視場及第二攝影機之第二視場的示意性前視平面圖。

圖4為電子檔案之方塊圖。

圖5至圖8為使用者編製影像之視圖。

圖9為實例方法之方塊圖。

圖10為呈現縮圖之行動裝置的示意性前視平面圖。

圖10A為行動裝置之示意性前視平面圖且以虛線指示工作室區。

圖11為實例方法之方塊圖。

圖12為來自第一座標系統之透視之第一影像的示意圖。

圖13為來自第二座標系統之透視之第二影像的示意圖。

圖14為來自全域座標系統之透視之使用者編製影像的示意圖。

圖15為實例方法之方塊圖。

圖16為電子檔案之方塊圖。

圖16A展示經分割使用者編製視訊。

圖17為處理系統之方塊圖。

第1部分

雖然可以各種形式體現本文中所描述之特徵、方法、裝置及系統，但在圖式中展示且在下文描述一些例示性及非限制性實施例。本文中所描述之特徵可為選用的。實施方案相比於所論述之實例可包括更多、不同或更少的特徵。

運用說明性實例描述主題。本發明並不限於此等實例。可對本發明進行改變及修改而不脫離其精神。申請專利範圍意欲包含此等改變及修改。

第2部分

圖1及圖2分別展示行動裝置100之前部及背部，行動裝置100可包括本體或外部框架101、顯示器102、一或多個實體按鈕103，及攝影機群組104，攝影機群組104包括第一攝影機105及第二攝影機106。儘管圖2展示第一攝影機105直接在第二攝影機106側面，但此配置(如本申請案中所揭示之全部特徵)僅係例示性的。第一攝影機105相對於第二攝影機106可具有任何位置。第一及第二攝影機105、106可安置於單獨行動裝置上。第一及第二攝影機105、106可位於行動裝置100之任何部分(例如，前部、背部、側)上。

行動裝置100可經組態以進入觀景器模式。在處於觀景器模式時，行動裝置100可呈現虛擬按鈕107至109及觀景器區110。按鈕107可控制哪一攝影機群組104在作用中(例如，按鈕「F」用於正面拍攝攝影機群組104(為了清楚起見而未展示)且按鈕「B」用於圖2所展示之背置自拍或後置自拍攝影機群組104)。

按鈕108，有時在本文中被稱作「攝影機按鈕108」，可控制觀景器區110是否展示由第一攝影機105(按鈕「1」)或第二攝影機106(按鈕「2」)捕獲之影像。攝影機按鈕108可因此控制攝影機群組104之哪一攝影機105、106 在作用中，此在下文予以進一步論述。捕獲按鈕109可致使行動裝置100捕獲場景10之一或多個影像。

儘管觀景器區110被展示為佔據顯示器102之部分，但觀景器區110可與顯示器102同延。在處於觀景器模式時，選定攝影機群組104之至少一個攝影機可連續地成像(例如，捕獲)場景10。此等影像可呈現於觀景器區110中以提供至少一個攝影機之視圖之樣本。當使用者按下捕獲按鈕109時，行動裝置100可致使攝影機群組104正式地將場景10之一或多個影像儲存於記憶體(例如，非揮發性記憶體)中。

參看圖1至圖3，第一攝影機105可具有較寬視角A₁₁，從而產生較寬視場11；且第二攝影機106可具有較窄視角A21，從而產生較窄視場21。因此，第一攝影機105可具有較小光學變焦，而第二攝影機106可具有較大光學變焦。視場11、21可具有任何縱橫比。縱橫比可相同或不同。圖1展示行動裝置100在觀景器區110中呈現第二攝影機106之窄視場21。

根據一些實例，行動裝置10可經組態使得較寬視場11完全地圍封較窄視場21。第一攝影機105相比於第二攝影機106可具有較低光學變焦。儘管視場11及21已被描述為「較寬」及「較窄」，但視場11及21可具有多種不同關係，如下文所論述。根據其他實例，視場11、21可大小相同且相異。

圖1繪示由第一攝影機105捕獲之場景10之影像可如何不同於由第二攝影機106捕獲之場景10之影像。在第一攝影機105之較寬視場11的情況下，第一攝影機105可同時地捕獲場景物件A、B及C。歸因於第一攝影機105之較低光學變焦，第一攝影機105可能不能夠解析場景物件A、B及C之一些細節。舉例而言，若場景物件B為樹，則第一攝影機105可能不能夠解析樹之個別樹葉之輪廓。

在第二攝影機106之較窄視場21的情況下，第二攝影機106相比於第一攝影機105可捕獲場景10之較少二維區域。在圖1之實例中，較窄視場21包括場景物件B，但不包括場景物件A或C。歸因於第二攝影機106之較高光學變焦，第二攝影機106相比於第一攝影機105可解析經捕獲二維區域之更多細節。舉例而言，且若場景物件B為樹，則第二攝影機106可能能夠解析個別樹葉之輪廓。

根據一些實例，第一攝影機105配備有廣角鏡頭，且第二攝影機106配備有攝遠鏡頭。然而，此配置僅僅係例示性的。在其他實例中，第一攝影機105及第二攝影機106兩者皆配備有攝遠鏡頭，但第一攝影機105之光學變焦被設定為低於第二攝影機106之光學變焦。根據一些實例，第一攝影機105及第二攝影機106皆未配備有廣角或攝遠鏡頭。

因為第一及第二攝影機105、106各自具有獨特優勢及劣勢，所以行動裝置100可經組態以指示第一攝影機105及第二攝影機106兩者皆捕獲場景10。舉例而言，當使用者按下捕獲按鈕109時，行動裝置100可致使第一攝影機105捕獲視場11作為第一影像411，且致使第二攝影機106同時地捕獲視場21作為第二影像421。如本文中所使用，「同時地」意謂「實質上同時地」，且包括第一攝影機105略微在第二攝影機106捕獲視場21之前/略微在第二攝影機106捕獲視場21之後(例如，在第二攝影機106捕獲視場21之前/之後的0.5秒或更少)捕獲視場11的狀況。

第3部分

圖4為行動裝置100可準備之數位檔案400的方塊圖。數位檔案400可包括由第一攝影機105捕獲之第一影像411、由第二攝影機106捕獲之第二影像421、使用者編製影像431、經顯示影像441、校準451、映圖461，及歷史471。

第一影像411可為由第一攝影機105捕獲之全解析度影像。第一影像411可具有等於視場11之第一視場412，及對應於第一攝影機105之光學變焦之第一變焦級別423。第一影像411可應用第一座標系統。

第二影像421可為由第二攝影機106捕獲之全解析度影像。第二影像421可具有等於視場21之第二視場422，及對應於第二攝影機106之光學變焦之第二變焦級別423。第二影像421可應用第二座標系統。

第一視場412可完全地圍封第二視場422。替代地，第一視場412可僅與第二視場422之部分重疊。第一變焦級別423可低於第二變焦級別423。根據一些實例，第一及第二影像411、421已預空間上及預光度上對準。

使用者編製影像431可為第一影像411之樣本、第二影像421之樣本，及第一影像411之樣本與第二影像412之樣本的組合。如本文中所使用，術語「樣本」傳達源。舉例而言，若第一影像411被全域地取樣1：1，則使用者編製影像431可等效於第一影像411。

使用者編製影像431可自第一影像411衍生，自第二影像421衍生，及自第一及第二影像411、421兩者衍生。

影像像素可自樣本衍生。衍生可考量對樣本之調整。舉例而言，若自第一影像411取樣一百萬個像素，則該一百萬個經取樣像素可被調整(例如，光度上對準)且插入至使用者編製影像431中。在此狀況下，使用者編製影像431將包括自第一影像411衍生(例如，自第一影像411之樣本衍生)之像素。在一些實例中，經衍生像素之數目可相同於經取樣像素之數目。衍生可不包括調整。因此，經衍生像素可等於經取樣像素。在一些實例中，經衍生像素之數目可小於經取樣像素之數目。

使用者編製影像431可具有使用者編製視場432及使用者編製變焦級別433。使用者編製視場432可等於第一視場412、第二視場422，或任何其 他使用者選定視場。使用者編製變焦級別433可等於第一變焦級別413、第二變焦級別423，或任何其他使用者選定級別。使用者編製影像433可應用下文所論述之全域座標系統G。

使用者編製影像431可反映使用者在捕獲時選擇之任何相片效果。相片效果之實例包括色移、景深(例如，焦外成像(Bokeh)效果)，及平均化效果。舉例而言，平均化效果可平均化兩個不同影像(例如，第一影像411及第二影像421)中之像素之全部或選定群組的色彩通道值。景深(例如，焦外成像)效果可依賴於第一影像411中之像素及第二影像421中之像素的色彩通道值。

行動裝置100可將後處理效果(例如，重新編製)應用於使用者編製影像431，而非第一影像411及第二影像421。因此，行動裝置100可保留存在於第一及第二影像411、421中之原始源資料。行動裝置100可經組態以初始地將使用者編製影像431設定為等於由作用中攝影機捕獲之影像加使用者在捕獲時選擇之任何相片效果。

第一及第二影像411、412可分別具有下文所論述之原生第一及第二座標系統。可應用全域座標系統G以比較第一影像411、第一視場412及第一變焦級別413與第二影像421、第二視場422及第二變焦級別423。圖2及圖3展示向量d將第一攝影機105與第二攝影機106分離。因而，自第一座標系統至全域座標系統G之變換可為非線性的，且自第二座標系統至全域座標系統G之變換可為非線性的。

根據一些實例，全域座標系統G為經糾正座標系統。當本申請案提到存取第一影像411及第二影像421之特徵時，此存取可經由全域座標系統G、第一座標系統或第二座標系統而執行。

舉例而言，若行動裝置100存取第一視場412，則行動裝置100可經由第一座標系統或全域座標系統G存取第一視場412。若行動裝置100存取第 二變焦級別423，則此存取可經由第一座標系統或全域座標系統G而進行。若行動裝置100自第一影像411衍生像素，則此等像素可經由全域座標系統G而衍生。

全域座標系統G可等效於第一座標系統或第二座標系統。替代地，全域座標系統G可變換(線性地或非線性地)至第一座標系統，及變換(線性地或非線性地)至第二座標系統。

經顯示影像441可為呈現於行動裝置顯示器102上之視圖。經顯示影像441可依賴於自源(例如，第一影像411、第二影像421、使用者編製影像431)衍生之像素。經顯示影像441可具有經顯示視場442及經顯示變焦級別443。經顯示影像441可應用全域座標系統G。

因為經顯示影像441可具有等於工作室區601(下文所論述)之預定解析度，所以經顯示變焦級別443可隨經顯示視場442及預定解析度而變。

映圖461可使行動裝置100能夠將第一影像411之特徵及第二影像421之特徵變換至全域座標系統G。行動裝置100可運用第一影像411、第二影像421及校準451產生映圖461。

第4部分

圖5至圖8描繪使用者編製影像431之實例重新編製。經重新編製使用者編製影像431亦被稱作經重新編製影像431。如圖5所展示，第一使用者編製影像431a等於第二影像421，其中使用者編製視場432等於第二視場422，且使用者編製變焦級別433等於第二變焦級別423。

圖6展示第二使用者編製影像431b(亦即，第一經重新編製影像)。區域601與第一視場412重疊，但不與第二視場422重疊。因此，行動裝置100運用自第一影像411衍生之像素填入區域601。若使用者編製變焦級別433超過第一變焦級別413，則第一影像411可能不能夠供應足夠的像素以填入區域 601。在此狀況下，行動裝置100可內插以填滿剩餘像素。內插可依賴於自第一影像411衍生之像素及自第二影像421衍生之像素。

區域602與第一及第二視場412、422兩者相交(亦即，重疊)。因此，行動裝置100可取決於使用者編製變焦級別433而運用自第一影像411或第二影像421衍生之像素填入區域602。為了使區域602能夠具有與第一使用者編製影像431a相同的視場及變焦級別，行動裝置100可使能夠動態地調整使用者編製影像433之縱橫比。

圖7展示第三使用者編製影像431c(亦即，經兩次重新編製影像)。使用者編製變焦級別433超過第一變焦級別413，而使用者編製視場432等於第一視場412。因此，第三使用者編製影像431c相比於第一影像411具有較大解析度。

區域701與第一視場412重疊，但不與第二視場422重疊。因此，行動裝置100自第一影像411取樣用於區域701之像素。如上文所陳述，如本文中所使用，術語取樣可包括1：1取樣。因此，行動裝置100可運用自一塊第一影像411衍生之全部像素填入區域701。

區域702與第一及第二視場412、422重疊。行動裝置100可藉由取樣第一影像411或第二影像421將像素供應至區域702。行動裝置100可藉由比較使用者編製變焦級別433與第一變焦級別413及第二變焦級別423而在取樣第一影像411或第二影像421之間選擇。為了填滿區域701之任何未經填入像素，行動裝置100可內插自第一影像411及第二影像421衍生之像素。

參看圖8，第四使用者編製影像431d包括區域801，但不包括區域802。使用者編製變焦級別433等於第一變焦級別413。因此，行動裝置100可運用來自一塊第一影像411之像素(例如，經1：1衍生像素)填入區域801。使用者 編製視場432不同於第一視場412，因此產生經調整縱橫比。圖8進一步展示場景物件D(自其他視圖省略)，其已經由景深(例如，焦外成像)相片效果而模糊。

因為可在重新編製期間保留第一及第二影像411、421之原始資料，所以行動裝置100使能夠在第一至第四使用者編製影像431a至431d之間按任何次序重新編製。舉例而言，使用者可在第四使用者編製影像431d處開始，重新編製至第二使用者編製影像431b，重新編製至第一使用者編製影像431a，接著以第三使用者編製影像431c結束。

為了重新編製使用者編製影像431，行動裝置100可藉由存取使用者編製影像431且基於經存取使用者編製影像431呈現經顯示影像441而開始。經顯示影像441可自使用者編製影像431衍生(例如，取樣)。

使用者可操縱經顯示影像441(例如，水平移動、變焦、應用相片效果)。隨著使用者操縱經顯示影像441，行動裝置100可基於第一影像411及第二影像421重新顯現經顯示影像441。在使用者完成操縱經顯示影像441之後，行動裝置100可基於操縱之淨效應重新編製使用者編製影像431。行動裝置100可將使用者編製影像431設定為等於經重新編製影像。然而，行動裝置100可保留原始使用者編製影像(例如，作為後設資料或作為傳統影像檔案(例如，JPEG))。

因此，當使用者重新存取使用者編製影像431時，行動裝置100可預設為呈現自經重新編製使用者編製影像衍生之經顯示影像441，而非原始使用者編製影像。然而，行動裝置100可使使用者能夠恢復至原始使用者編製影像。

因此，行動裝置100之實例使能夠動態地重新編製使用者編製影像431，而不要求使用者正式地存取或檢視第一影像411或第二影像421。此係 因為可在幕後自動地存取及衍生行動裝置100提取第一影像411及/或第二影像421所需要之任何資料。

此外，行動裝置100之實例使使用者能夠以使用者編製影像431作為開始點而重新編製。作為第一實例，且參看圖6，設想到，使用者意欲使使用者編製影像431包括全部場景物件A，但造成產生第二使用者編製影像431b之錯誤。代替自草稿開始(例如，在第一使用者編製影像431a處開始)，使用者可開啟第二使用者編製影像431b且自第二使用者編製影像431b之初始條件開始重新編製。

作為第二實例，且參看圖8，設想到，使用者意欲使使用者編製影像431缺少任何相片效果，但造成產生第四使用者編製影像431d之錯誤。代替自草稿開始(例如，在第一使用者編製影像431a處開始，重新編製視場以匹配於第四使用者編製影像431d，及重新編製變焦級別以匹配於第四使用者編製影像431d)，使用者可在第四使用者編製影像431d處開始，且指示行動裝置100移除景深效果。

作為回應，行動裝置100可保持第四使用者編製影像431d之視場及變焦級別，基於經保持之視場及變焦級別自第一及/或第二影像411、421衍生像素，且運用經衍生像素填入經重新編製影像。

第5部分

根據一些實例，行動裝置100根據圖9所展示之一系列發起操作(亦被稱為編製方法或發起方法)為使用者編製影像選擇像素源。

在區塊902處，行動裝置100可比較使用者編製視場432與第一視場412及第二視場422。在區塊904處，行動裝置100可將使用者編製視場432分割成第一及第二區域。第一區域(例如，圖7之區域701)與第一視場412重疊，但 不與第二視場422重疊。第二區域與第一視場412及第二視場422重疊(例如，圖7之區域702)。

在區塊906處，行動裝置100可選擇用於取樣對應於第一區域之一塊第一視場412之取樣密度。行動裝置100可藉由比較第一變焦級別413與使用者編製變焦級別433選擇取樣密度。

若第一變焦級別413

使用者編製變焦級別433，則行動裝置100可將取樣密度設定為1：1，使得取樣該塊第一影像411中之每一像素。否則，且根據一些實例，行動裝置100僅取樣該塊第一影像411中之一些像素。以小於1：1比率之取樣被稱為縮小取樣或按比例縮小。在區塊908處，行動裝置100取樣第一影像411且運用自樣本衍生之像素填入第一區域。

在區塊910處，行動裝置100可比較使用者選定變焦級別433與預定及使用者可選擇值K，其中第一變焦級別413

K

第二變焦級別423。若使用者選定變焦級別433

K，則行動裝置100可在區塊912處為對應於第二區域之一塊第一視場412選擇取樣密度。若使用者選定變焦級別433>K，則行動裝置100可在區塊916處為對應於第二區域之一塊第二視場422選擇取樣密度。

在區塊912處，行動裝置100可藉由比較第一變焦級別413與使用者編製變焦級別433選擇取樣密度。若第一變焦級別413

使用者編製變焦級別433，則行動裝置100可將取樣密度設定為1：1，使得取樣該塊第一影像411中之每一像素。否則，行動裝置100可僅取樣該塊第一影像411中之一些像素。在區塊914處，行動裝置100可取樣第一影像411且運用自樣本衍生之像素填入第二區域。

在區塊916處，行動裝置100可藉由比較第二變焦級別423與使用者編製變焦級別433選擇取樣密度。若第一變焦級別423

使用者編製變焦級別433，則行動裝置100可將取樣密度設定為1：1，使得取樣該塊第二影像421中之 每一像素。否則，行動裝置100可僅取樣該塊第一影像421中之一些像素。在區塊914處，行動裝置100可取樣第二影像421且運用樣本填入第二區域。

若在區塊908、914及918(在適當時被執行)結束之後使用者編製影像431缺少像素，則可自經填入像素內插遺漏像素之值。

第6部分

行動裝置100可提供圖庫模式。在開啟圖庫模式後，且如圖10所展示，行動裝置100就可向使用者呈現複數個影像縮圖1001。每一縮圖1001可為不同使用者編製影像431之預覽(例如，樣本)。

當使用者選擇(例如，輕觸)縮圖1001時，行動裝置100可存取與縮圖相關聯之影像且進入工作室模式。在工作室模式期間，經存取影像或其縮小取樣樣本可呈現於工作室區1010(其可與觀景器區110同延)中。

工作室模式可包括複數個使用者可選擇子模式，包括：(a)重新編製檢視器模式、(b)非重新編製檢視器模式(亦被稱為錨定模式)、(c)使用者編製視場重新編製模式、(d)使用者編製變焦重新編製模式，及(e)相片效果重新編製模式。行動裝置100可使使用者能夠經由一或多個虛擬按鈕在各模式之間動態地切換。

重新編製可調整使用者編製影像431(如上文所論述)及/或經顯示影像441。重新編製可為使用者互動(例如，放大、縮小、水平移動、應用相片效果)之結果。重新編製可包括編製。

在重新編製期間，且如上文參考圖9所論述，可運用自第二影像421衍生之像素編製自第一影像411衍生之像素。若行動裝置100被觸控啟用，則重新編製可為觸控回應性的(例如，捏合以向外變焦，分離兩個手指以向內變焦，滑移單一手指以水平移動)。若行動裝置100被非觸控啟用，則重新編製可運用合適的輸入裝置(例如，滑鼠、鍵盤)而進行。

初始地，使用者編製影像431可等於由作用中攝影機捕獲之影像。如上文所論述，使用者可應用攝影機按鈕108以將第一攝影機105或第二攝影機106指定為「作用中」，且觀景器區110中之預覽可由作用中攝影機發起。因此，且根據此實例，若使用者在第二攝影機106被指定為作用中時按下捕獲按鈕109，則使用者編製影像431將初始地被設定為等於第二影像421。

在進入工作室模式後，行動裝置100就可自動地呈現經顯示影像441，其中經顯示視場442等於使用者編製視場432。行動裝置100可自動地對工作室區1010調整大小以適應經顯示視場442之縱橫比。

第6A部分

經顯示影像441可開始，其中經顯示視場442等於使用者編製視場443。在重新編製檢視器模式期間，可直接自第一影像411及第二影像421取樣經顯示影像441之像素，而不參考使用者編製影像431。根據一些實例，在重新編製檢視器模式期間，第一影像411、第二影像421或使用者編製影像431可不發生改變。

隨著使用者水平移動或變焦，重新編製檢視器模式可應用圖9之上述像素發起(在需要時，包括內插)，惟應用經顯示變焦級別443而非使用者編製變焦級別433除外。

第6B部分

錨定模式使使用者能夠與特定影像互動(例如，水平移動、變焦)，而無自動重新編製。在錨定模式期間，使用者可選擇使用者編製影像431、第一影像411，或第二影像421。錨定模式可預設至使用者編製影像431。

根據一些實例，錨定模式致使行動裝置100供應具有自僅單一影像(例如，第一影像411、第二影像421，或使用者編製影像431)取樣之像素之經 顯示影像441。根據一些實例，在錨定模式期間，第一影像411、第二影像421或使用者編製影像431不發生改變。

在處於錨定模式時，行動裝置100可比較經顯示變焦級別443與源影像變焦級別。該比較可判定取樣是否涉及縮小取樣或1：1取樣。若經顯示變焦級別443超過源影像變焦級別，則行動裝置100可內插經取樣像素。

第6C部分

根據一些實例，視場重新編製(field of view recomposition；FOVR)模式使使用者能夠調整使用者編製視場432，而不影響使用者編製變焦級別433。在處於FOVR模式時，可根據針對重新編製檢視器模式所論述之技術發起及呈現經顯示影像441。

在處於FOVR模式時，使用者可點選自動地將使用者編製視場432設定為等於經顯示視場442之虛擬按鈕。替代地，使用者可在影像之所要部分周圍繪製幾何形狀(例如，矩形)。此後，行動裝置100可將使用者編製視場432設定為等於安置於該幾何形狀中之經顯示視場442之部分。行動裝置100可將幾何形狀限制為矩形(例如，正方形)。

第6D部分

根據一些實例，變焦級別重新編製(level of zoom recomposition；LOZR)模式使使用者能夠調整使用者編製變焦級別433，而不影響使用者編製視場432。在處於LOZR模式時，可根據針對重新編製檢視器模式所論述之技術發起及呈現經顯示影像441。行動裝置100可經組態以防止使用者在LOZR模式期間水平移動至目前使用者編製視場432外部。

為了設定使用者編製變焦級別433，使用者可點選自動地將使用者編製變焦級別433設定為等於經顯示變焦級別443之虛擬按鈕。替代地，使用 者可鍵入值。若使用者選擇鍵入值，則行動裝置100可呈現輸入視窗，其列出第一及第二變焦級別413、423兩者，連同當前使用者編製變焦級別433。

第6E部分

在重新編製時，使用者可將一或多個相片效果應用於使用者編製影像431。相片效果之一個實例為景深(例如，焦外成像)效果。為了模擬景深效果，行動裝置100可應用第一及第二影像411、421以建構立體深度映圖。另一實例為色移效果(例如，將每一像素之紅色值增大10%)。另一實例為平均化效果，其平均化遍及兩個影像之像素之色彩通道。

在使用者選擇存在於使用者編製影像431中之項目(例如，B)之後，行動裝置100可估計選定項目之景深範圍，且使在經估計景深範圍外部之項目模糊。

當使用者選擇在第二視場422外部之項目(例如，C)時，行動裝置100可應用一維及非立體技術以建置深度映圖且估計深度範圍。因此，行動裝置100可針對第一及第二影像411、421兩者中捕獲之項目應用第一景深技術，且可針對僅在第一影像411中捕獲之項目應用第二景深技術。

相片效果重新編製模式使使用者能夠移除先前應用之相片效果。舉例而言，且參看圖8，使用者可能希望移除所應用之景深(例如，焦外成像)效果，該效果引起場景物件D失真。為此，行動裝置100可重新產生使用者編製影像431。

更具體言之，行動裝置100可存取使用者編製視場432及使用者編製變焦級別433，接著運用自第一影像411及第二影像412衍生之像素重新產生使用者編製影像431。重新產生可依賴於參考圖9所論述之發起操作(包括內插)。

根據此實例，第一及第二影像411、412缺少相片效果。因此，經重新產生使用者編製影像431將不包括不當的景深效果，但將維持所要的使用者編製視場432及變焦級別433。在自使用者編製影像431移除不當的相片效果之後，使用者可應用新且不同的相片效果。

在使用者已將相片效果應用於使用者編製影像431之後，其他模式可繼續應用該相片效果。舉例而言，在重新編製檢視器模式期間，可在呈現各種經顯示影像441時維持該相片效果。下文進一步論述用於維持一或多個所應用相片效果之技術。

第7部分

圖11展示建置及重新編製使用者編製影像431之實例方法。該方法包括一系列操作。行動裝置100可經組態以執行此等操作中之一些或全部。

在區塊1102處，行動裝置100進入觀景器模式。在區塊1104處，使用者選擇攝影機群組104。在區塊1106處，使用者自選定攝影機群組104選擇作用中攝影機。在區塊1108處，行動裝置100在觀景器區110中呈現來自作用中攝影機之視圖。為此，行動裝置100可運用作用中攝影機(而非非作用中攝影機)捕獲影像且在觀景器區110中呈現影像。在呈現之後，行動裝置100可捨棄此等經捕獲影像。

在區塊1110處，使用者可按下捕獲按鈕109。作為回應，行動裝置100可同時地(例如，實質上同時地，如上文所論述)運用第一及第二攝影機105、106(亦即，作用中攝影機及非作用中攝影機)兩者捕獲場景10。在區塊1112處，行動裝置100可載入校準451。在區塊1114處，行動裝置100可將使用者編製影像431設定為等於由作用中攝影機拍攝之影像。

在區塊1116處，行動裝置100可將第一影像411、第二影像421、使用者編製影像431、校準451及歷史471(下文進一步所論述)組合成封包。封包 可為單一離散檔案。封包可為zip檔案、具有媒體圖像物件副檔名之JPEG容器，及其類似者。校準451、映圖461及歷史471可作為例如JPEG應用程式標頭或影像後設資料而包括於封包中。歷史471可包括註明使用者編製影像431之身分識別之第一輸入項目(例如，輸入項目一：使用者編製影像431=第一影像411)。

在區塊1118處，行動裝置100可將縮圖1001添加至影像圖庫。縮圖1001可為使用者編製影像431之預覽(例如，樣本、裁剪、衍生)。在區塊1120處，使用者可點選(例如，輕觸)縮圖1001。在區塊1122處，行動裝置100可呈現經顯示影像441，其中經顯示視場442等於使用者編製視場432。區塊1122可預設至非重新編製檢視器模式。區塊1122可包括圖15之操作，如下文進一步所論述。

在區塊1124處，行動裝置100可判定封包包括抑或缺少映圖461。若封包缺少映圖461，則行動裝置100可執行區塊1124及1126。若封包包括映圖461，則行動裝置100可跳至區塊1128。

在可與區塊1122並行地發生之區塊1124處，行動裝置100可基於第一影像411、第二影像421及校準451產生映圖461。下文進一步所論述之映圖461可包括使第一影像411中之像素及第二影像421中之像素與全域座標系統相關的一或多個映圖(例如，變換)。映圖461可用於空間對準及/或光度(例如，色彩、強度)對準。在區塊1126處，行動裝置100可將映圖461添加至封包。封包可為zip檔案、具有媒體圖像物件副檔名之JPEG容器，及其類似者。

在區塊1128處，使用者可使用本申請案中所論述之技術中之任一者重新編製使用者編製影像431及/或經顯示影像441，該等技術包括圖9之發起操作(包括內插)。因此，在區塊1128處，使用者可自非重新編製檢視器模式 切換至其他模式中之任一者(例如，重新編製檢視器模式、視場重新編製模式、變焦級別重新編製模式、相片效果重新編製模式)。

在區塊1130處，使用者可指示行動裝置(例如，經由虛擬按鈕)儲存經重新編製使用者編製影像431。在區塊1132處，行動裝置100可將輸入項目添加至歷史471(下文所論述)。

在區塊1134處，行動裝置100可在封包中重寫使用者編製影像431以反映經重新編製使用者編製影像431。在區塊1136處，行動裝置100可更新縮圖以反映經重新編製使用者編製影像431(例如，取樣經重新編製使用者編製影像431)。

在區塊1136之後，且若使用者退出圖庫模式，則行動裝置100可在區塊1120處開始。若使用者保持於圖庫模式，則行動裝置100可在區塊1122處開始。根據一些實例，縮圖1001不被更新直至使用者退出圖庫模式。

第8部分

校準451可包括以下各者中之一些或全部：(a)第一攝影機105與第二攝影機106之間的向量d(參見圖3)、(b)第一攝影機105之自動聚焦位置(若第一攝影機105能夠自動聚焦)、(c)第二攝影機106之自動聚焦位置(若第二攝影機106能夠自動聚焦)，及相關於對準第一影像411與第二影像421之任何其他資料。

用於對準影像與相交視場之技術在此項技術中為吾人所知。Nash等人之美國公開案第2017/0024846號尤其揭示此等技術之實例。根據一些實例，未經變換之第一影像411中具有關鍵項目(例如，邊緣、亮度、色彩)之像素與未經變換之第二影像421中具有對應關鍵項目之像素匹配。

在此等像素已匹配之後，行動裝置100可內插(亦即，估計)以判定具有非關鍵項目之像素應如何匹配。可運用一系列已知技術識別關鍵項目及 對應關鍵項目，該等技術包括平方差總和技術、拉普拉斯高斯(Laplacian of Gaussian)技術、漢森(Hessian)行列式技術，及其類似者。

根據一些實例，針對未經變換之第一影像411及未經變換之第二影像412中之每一像素計算相同的通道與跨通道水平及垂直色彩梯度。針對每一像素計算以下各者之加權平均值：(a)相同的通道與跨通道水平色彩梯度，及(b)相同的通道與跨通道垂直色彩梯度。

每一像素之加權平均值表示針對每一像素之邊緣方向。將未經變換之第二影像412中之像素分組成小叢集，且判定針對每一小叢集之平均邊緣方向。接著比較針對第二影像412之每一小叢集之平均邊緣方向與針對第一影像411之選定中心區域中之每一像素之邊緣方向。根據平方差總和技術之一個實例，未經變換之第一影像411之叢集及選定中心區域被迭代直至平方差總和降至低於一預定臨限值。

運用此技術(或另一技術)，行動裝置100可判定未經變換之第一影像411中之哪些像素與第二視場422相交。可接著將此等相交(亦被稱為重疊)像素中之每一者映射至第二影像421中之一或多個像素之叢集。此動作之後，行動裝置100可準備一或多個全域座標系統G，連同一或多個變換函數G(x)及G-1(x)，其在全域座標系統G與第一及第二影像411、421之間轉換。根據一些實例，全域座標系統G被設定為第一影像411之座標系統(亦即，第一座標系統)。

映圖461可包括經由一或多個平移、按比例調整、旋轉及/或變形而空間上對準第一座標系統、第二座標系統及/或全域座標系統G之一或多個變換。映圖461可進一步包括光度上將未經變換之第一影像411相對於第二影像421及/或全域座標系統G對準(例如，藉由等化色彩、強度及對比度)之一或多個變換。

圖12應用第一座標系統，且圖13應用第二座標系統。因此，參考圖12及圖13所論述之特徵(例如，視場、變焦級別)可為未經變換(亦即，不根據全域座標系統G之透視表達)者。

圖12將第一影像411展示為第一像素1201之一矩陣。每一第一像素1201可具有三維色彩向量(例如，一紅色值、一綠色值及一藍色值)。為了清楚起見，僅繪示一些第一像素1201，尤其是第一影像像素叢集1211a、1211b及1211c中之彼等像素。第一影像像素叢集1211a及1211b中之第一像素1201在第二視場422外部，且因此不與第二影像421中之第二像素1301相交。第一影像像素叢集1211c中之第一像素1201在第三視場422內部，且因此確實與第二影像421中之第二像素1301相交。

圖13將第二影像421展示為第二像素1301之矩陣。每一第二像素1301可具有三維色彩向量，如上文所描述。為了清楚起見，僅繪示一些第二像素1301，尤其是第二影像像素叢集1311a、1311b中之彼等像素。

如先前所論述，映圖461可使一或多個第二像素1301之叢集與每一相交第一像素1201(例如，安置於第二視場422內部之每一第一像素1201)相關。根據此實例，第二像素叢集1311a映射至第一像素1201a，且第二像素叢集1311b映射至第一像素1201b。映圖461因此指示第一像素1201a之視場與第二像素叢集1311a同延。

因為第二變焦級別423超過第一變焦級別413，所以相比於第一像素1201，視場映射至更多的第二像素1301。如圖13所展示，第二像素叢集1311a、1311b可為非矩形。實務上，第二像素叢集1311a、1311b可具有如藉由對準程序所判定之任何形狀。

在第二視場外部之第一像素1201(例如，第一叢集1211a及1211b中之第一像素1201)可被標記為非相交。每一相交第一像素1201可與對應於關聯第二像素叢集之二維區域連結。

舉例而言，第一像素1201a具有第一座標(m,n)。第一像素1201可映射至圍繞第二像素群組1311a之周界繪製之形狀。此處，該周界將由第二座標中表達之以下片段(例如，向量)表示：(0,0)-(2,0)；(2,0)-(2,2)；(2,2)-(1,2)；(1,2)-(0,3)；(0,3)-(0,0)。

映圖461使能夠在重新編製程序期間運用第二像素1301編製第一像素1201。根據一些實例，行動裝置100基於映圖461產生使用者編製影像431及經顯示影像441。

舉例而言，且參看圖12，第一經顯示視場442a可在第一座標系統中被表達為：(0,0)-(m-1,0)；(m-1,0)-(m-1,n-1)；(m-1,n-1)-(0,n-1)；(0,n-1)-(0,0)。在判定第一經顯示視場442a如何映射至第一影像411之後，行動裝置100可判定第一經顯示視場442a中之任何第一像素1201是否相交(亦即，重疊)。行動裝置100可應用此資訊以顯現經顯示影像441，如參考圖9所論述。

圖12展示第二經顯示視場442b，其現在包括第一像素叢集1211c。相對於第二經顯示視場442b，第一像素叢集1211c中之僅第一像素1201重疊。因此，第二經顯示視場442b可被劃分成兩個部分：涵蓋非重疊第一像素1201之第一部分，及涵蓋重疊第一像素1211c之第二部分。

行動裝置100可應用此資訊以顯現經顯示影像441，如參考圖9所論述。若自第二影像421取樣，則行動裝置100可應用映圖461以判定哪些第二像素1301對應於第二經顯示視場442b之相交部分。

隨著使用者重新編製使用者編製影像431及/或經顯示影像441，行動裝置100可重新編製映射。舉例而言，設想到，使用者希望自第二使用者 編製影像431b(圖6)重新編製至第一使用者編製影像431a(圖5)。在存取第三使用者編製影像431c後，行動裝置100就可將第二使用者編製影像431b映射至第一及第二影像411、421。

更具體言之，行動裝置100可將第二使用者編製視場432b映射至第一及第二影像411、421，接著應用圖9之發起技術以運用自第一及第二影像411、421衍生之像素填入第二使用者編製視場432b。當使用者停留於第一使用者編製影像431a之第一視場432a時，行動裝置100可重新編製映射，接著重新應用圖9之發起技術以運用自第一及第二影像411、421衍生之像素填入第一使用者編製視場431a。

代替判定第一使用者編製視場432如何自草稿映射至第一及第二影像411、421，行動裝置100可記錄產生第一使用者編製視場432a之使用者操縱、淨計使用者操縱，且將第一使用者編製視場設定為等於第二使用者編製視場432b加淨操縱。

舉例而言，設想到，第一使用者編製視場431a表示自第二使用者編製視場432a之一千單位向右水平移動(例如，全域座標系統G之單位)。若使用者向右水平移動兩千單位，接著向左水平移動一千單位，則淨操縱將為向右水平移動一千單位。行動裝置100可接著藉由將一千單位與第二使用者編製視場432b之X軸座標相加而計算第一使用者編製視場432a。

第9部分

如先前所論述，第一及第二影像411、421可各自被儲存為矩陣，其中矩陣中之每一胞元包括三維色彩向量。矩陣可進一步經由有損或無損壓縮而以壓縮形式被儲存。即使在壓縮之情況下，矩陣仍可消耗大量記憶體。

映圖461使使用者編製影像441能夠被無損地儲存為參考矩陣。當以此方式被儲存時，使用者編製影像441可具有與第一影像411及/或第二影像 412相同的顯現後解析度，但消耗小於1/10之儲存空間(且在一些狀況下小於1/100之儲存空間)。

在存取參考矩陣後，行動裝置100就可藉由重新取樣第一影像411及第二影像421動態地計算個別像素之色彩向量。此後，行動裝置100可建立使用者編製影像441之臨時複本(例如，在揮發性記憶體上)。在使用者退出圖庫模式之後，行動裝置100可自記憶體清除臨時複本。

圖14展示被臨時儲存為三維向量之二維矩陣(亦即，呈非參考矩陣形式)之實例使用者編製影像431x。使用者編製影像431x具有使用者編製視場432x及使用者編製變焦級別433x。使用者編製視場432x包括第一區域1401及第二區域1402。邊界1403分離該兩個區域。

第二區域1402與第一視場412及第二視場422兩者相交。第一區域1401僅與第一視場412相交。因而，行動裝置100在第一區域1401中具有僅自第一影像411衍生之像素。行動裝置100已應用圖9之上述發起操作以判定第二區域1402中之像素應自第一影像411抑或第二影像421發起。

在圖14之實例中，使用者編製變焦級別433x為第二變焦級別423。因而，第二區域1402中之像素已自第二影像421衍生。黑色點指示經衍生像素。因為使用者編製變焦級別433x超過第一變焦級別413，所以第一區域1401中僅一些像素係自第一影像411衍生。此等像素被加點。

第一區域1401中之剩餘未加點像素係基於相鄰像素中之色彩值而內插(如參考圖9之發起操作所論述)。舉例而言，像素1404之色彩向量可能已基於像素1405、1406及1407中之色彩向量而內插。像素1408之色彩向量可能已基於像素1409至1412中之色彩向量而內插。

使用者編製影像431可被儲存為參考矩陣(例如，後設資料)。參考矩陣可包括：(a)使用者編製視場之全域座標；(b)使用者編製變焦級別之值； (c)後處理效果之身分識別及座標；(d)特定全域座標系統之身分識別，此係因為映圖461可包括複數個全域座標系統；(e)第一影像411之身分識別；及(f)第二影像421之身分識別。

因為行動裝置100可應用第一及第二影像411、421以重新顯現使用者編製影像431，所以參考矩陣可表示第一影像411與第二影像421之疊加，加任何後處理效果。

假設G(x,y)為自唯一座標系統y(例如，第一或第二座標系統)至全域座標系統G之非線性變換。G(x,y)可包括糾正。因此，G(第一影像411，第一座標系統)可執行移位、變形，及/或用以在全域座標系統G中置放第一影像411之移位。相似地，G(第二影像421，第二座標系統)可執行移位、變形，及/或用以在全域座標系統G中置放第一影像421之移位。

根據一些實例，第一影像411之座標系統(亦即，第一座標系統)用作全域座標系統，使得：G(第一影像411，第一座標系統)=第一座標系統中之第一影像411。

使用者編製視場432可依據全域座標系統被儲存。假設矩陣M為座標(例如，點或向量)之矩陣，其依據全域座標系統表達使用者編製視場432：

。根據此實例，每一(x,y)座標對表示使用者編製視場432之角落。根據另一實例，每一座標對可表示標記使用者編製視場432之外部邊界之二維向量。在圖14之實例中，矩陣

假設G^-1(x,y)為自全域座標系統至唯一座標系統y(例如，第一或第二座標系統)之非線性變換。因此，G^-1(M，第一座標系統)將使用者編製視場 432變換成第一座標系統。相似地，G^-1(M，第二座標系統)將使用者編製視場432變換成第二座標系統。映圖461可包括G及G^-1兩者。

因而，行動裝置100可自參考矩陣RM重新顯現任何特定使用者編製影像431：RM=(M，使用者編製變焦級別433，相片效果)。如上文所論述，參考可進一步包括全域座標系統之身分識別、第一影像411之身分識別(例如，檔案名稱)，及第二影像之身分識別(例如，檔案名稱)。

圖15為用於應用參考矩陣之一系列操作(例如，方法)的例示性方塊圖。圖15之操作可在圖11之區塊期間發生。

區塊1502至1512可在圖11之區塊1122期間發生。在區塊1502處，行動裝置100可存取使用者編製影像431之參考矩陣。在存取參考矩陣後，行動裝置100就可在區塊1504處將座標M反變換至第一座標系統及第二座標系統。G^-1(M，第一座標系統)將使用者編製視場432置放於第一座標中。G^-1(M，第二座標系統)將使用者編製視場432置放於第二座標中。

在圖14之實例中，第一區域1401在第二視場422外部。因此，G^-1(區域1401，第二座標系統)可傳回空值，而G^-1(區域1402，第二座標系統)依據第二座標系統表達區域1402。

在區塊1506處，行動裝置100可應用圖9之發起操作(其在需要時包括內插以填滿遺漏像素)。在區塊1508處，行動裝置100可應用參考矩陣RM中列出之相片效果以產生使用者編製影像431之最終階段。所列出之相片效果中之每一者可為列出為應用相片效果所需要之任何初始條件(例如，相片效果之種類、相片效果之二維座標、相片效果之程度)的矩陣。

在區塊1510處，行動裝置100可臨時將使用者編製影像431之經顯現複本儲存於記憶體(例如，揮發性記憶體)中作為三維色彩向量之二維矩 陣。在區塊1512處，行動裝置100可使用上述技術基於臨時儲存之使用者編製影像431呈現經顯示影像441。

參看圖11，且在區塊1128處，行動裝置100可取決於選定模式而重新編製使用者編製影像431及/或經顯示影像441。為了呈現經顯示影像441，行動裝置100可依賴於臨時儲存之使用者編製影像431。在區塊1134處，行動裝置100可抹除臨時儲存之使用者編製影像431。當重寫使用者編製影像431x時，行動裝置100可產生新參考矩陣。

根據一些實例，行動裝置100可保留複數個參考矩陣且因此未必在區塊1134處執行重寫。參看以下表格，使用者編製影像431之每一重新編製可作為新輸入項目儲存於歷史471中(未展示每一參考矩陣之其他可能特徵，諸如全域座標系統G之身分識別)：

因此，代替獨立於歷史471而儲存使用者編製影像431，如圖4所展示，可將使用者編製影像431作為最近輸入項目(在此狀況下為輸入項目編號n)儲存於歷史471中。行動裝置100可包括用以呈現歷史471且使使用者能夠選擇任何輸入項目編號以將使用者編製影像431恢復至先前佈局之選項。行動裝置100可包括用以顯現歷史471中之任何輸入項目以具有運用三維色彩向量而填入之胞元之二維矩陣的選項。

行動裝置100可包括使能夠藉由行動裝置100上之其他程式(例如，電子郵件程式、文字訊息程式)存取使用者編製影像431的API。當經由API調用使用者編製影像431時，行動裝置100可自動地顯現使用者編製影像431且將經顯現複本供應至請求程式。

第10部分

圖16展示包括第一視訊1611、第二視訊1621、使用者編製視訊1631、校準1651及映圖1661之視訊封包1601。第一視訊1611可包括複數個第一圖框1612，其各者可為不同的第一影像411。第二視訊1621可包括複數個第二圖框1622，其各者可為不同的第二影像421。使用者編製視訊可包括複數個使用者編製圖框1632，其各者可為不同的使用者編製影像431。

映圖1661可包括複數個不同映圖，其各自應用於第一視訊1611之一或多個圖框、第二視訊1621之一或多個圖框，及使用者編製視訊1631之一或多個圖框。映圖1661可運用校準1651而建構，如先前關於映圖461及校準451所論述。

如圖16A所展示，行動裝置100可使能夠進行使用者編製視訊成為複數個片段1601之使用者選定分割。此處，使用者已將使用者編製視訊1631分割成第一、第二及第三片段1631a、1631b及1631c。每一片段之長度及片段之總數目可為使用者可選擇的。

行動裝置100可使使用者能夠針對每一片段獨立地選擇使用者編製視場、使用者編製變焦級別及一或多個相片效果。替代地，行動裝置100可使使用者能夠針對每一片段獨立地選擇使用者編製視場及一或多個相片效果，且接著自動地應用變焦級別。藉此使行動裝置100能夠將使用者編製視訊1631之每一圖框維持於均一解析度。

行動裝置100可將使用者編製視訊1631儲存為具有複數個輸入項目之表格。下文展示實例表格：

每一輸入項目編號可對應於使用者編製視訊1631之圖框。每一輸入項目可包括圖框參考矩陣，其具有以下項目：(a)使用者編製視場；(b)使用者編製變焦級別；(c)一或多個相片效果；(d)全域座標變換函數(及反全域座標變換函數-未展示)；(e)第一視訊1611之參考圖框及第二視訊1621之參考圖框。

項目(a)、(b)及(c)可如上文參考圖14及圖15所描述而運作。關於項目(d)，每一使用者編製圖框可與不同全域變換函數G(x)相關聯，且因此與不同反全域變換函數G-1(x)相關聯。項目(e)及(f)描述在顯現特定使用者編製圖框時參考第一及第二視訊1611、1621之哪些圖框。儘管每一對項目(e)及(f)在上述表格中具有相同值，但其他實例可針對每一對項目(e)及(f)具有不同值。此在第一及第二視訊具有不同圖框速率之情況下將係有利的。

為了播放使用者編製視訊1631，行動裝置100可呈現複數個經顯示圖框。每一經顯示圖框可以經顯示影像441可基於使用者編製影像431而顯現之相同方式基於對應使用者編製圖框而顯現。

行動裝置100可經組態以將使用者編製視訊1631顯現成已知視訊格式(例如，AVI格式)。當外部程式(例如，電子郵件程式、文字訊息程式)經由 上述API調用使用者編製視訊1631時，API可自動地將使用者編製視訊1631顯現成典型視訊格式。典型視訊格式可將每一圖框儲存為胞元之二維矩陣，每一胞元對應於不同像素，且每一胞元具有三維色彩向量。典型視訊格式可儲存此等圖框之經壓縮版本。藉由將視訊1631儲存為複數個輸入項目，此與傳統格式相對，行動裝置100可節約儲存空間。

第11部分

行動裝置100可為智慧型電話、平板電腦、數位攝影機或膝上型電腦。行動裝置100可為Android®裝置、Apple®裝置(例如，iPhone®、iPad®或Macbook®)，或Microsoft®裝置(例如，Surface Book®、Windows®電話或Windows®桌上型電腦)。行動裝置100可表示非行動裝置，諸如載具，或桌上型電腦(例如，電腦伺服器)。

如圖17所展示，行動裝置100可包括處理系統1700。處理系統1700可包括一或多個處理器1701、記憶體1702、一或多個輸入/輸出裝置1703、一或多個感測器1704、一或多個使用者介面1705、一或多個馬達/致動器1706，及一或多個資料匯流排1707。

處理器1701可包括一或多個相異處理器，其各自具有一或多個核心。該等相異處理器中之每一者可具有相同或不同結構。處理器1701可包括一或多個中央處理單元(central processing unit；CPU)、一或多個圖形處理單元(graphics processing unit；GPU)、特定應用積體電路(application specific integrated circuit；ASIC)、數位信號處理器(digital signal processor；DSP)，及其類似者。

處理器1701經組態以至少在相異處理器中之一或多者中之一者能夠執行程式碼時執行特定功能或操作，該程式碼儲存於體現該功能或操作之記憶體1702上。處理器1701可經組態以執行本文中所揭示之任何及全部功能、方法及操作。

記憶體1702可包括揮發性記憶體、非揮發性記憶體，及能夠儲存資料之任何其他媒體。揮發性記憶體、非揮發性記憶體及任何其他類型之記憶體中之每一者可包括多個不同記憶體裝置，其位於多個相異部位處且各自具有不同結構。

記憶體1702之實例包括非暫時性電腦可讀媒體，諸如RAM、ROM、快閃記憶體、EEPROM、諸如DVD之任何種類之光學儲存磁碟、Blu-Ray®光碟、磁性儲存體、全像儲存體、HDD、SSD，可用以儲存呈指令或資料結構形式之程式碼之任何媒體，及其類似者。本申請案中所描述之任何及全部方法、功能及操作可完全得以儲存於記憶體1702中之有形及/或非暫時性機器可讀程式碼之形式予以體現。

輸入-輸出裝置1703可包括用於運輸資料之任何組件，諸如埠及車載資訊系統。輸入-輸出裝置1703可使能夠經由USB®、DisplayPort®、HDMI®、乙太網路及其類似者進行有線通信。輸入-輸出裝置1703可使能夠與合適記憶體1703進行電子、光學、磁性及全像通信。輸入-輸出裝置可使能夠經由WiFi®、Bluetooth®、蜂巢式技術(例如，LTE®、CDMA®、GSM®、WiMax®、NFC®)、GPS及其類似者進行無線通信。

感測器1704可捕獲環境之實體量測，且將該等實體量測報告至處理器1701。感測器1704可包括第一攝影機105及第二攝影機106。第一攝影機 105及第二攝影機106中之每一者可包括沿著光軸而配置之一或多個鏡頭、一或多個光圈及一或多個光電二極體面板。一或多個光電二極體面板可捕獲入射光之光度，處理器1701可將其轉換成影像檔案。第一攝影機105可包括廣角鏡頭，且第二攝影機106可包括攝遠鏡頭。

使用者介面1705可使使用者能夠與成像系統100互動。使用者介面1705可包括顯示器(例如，OLED觸控螢幕、LED觸控螢幕)、實體按鈕、揚聲器、麥克風、鍵盤，及其類似者。使用者介面1705可包括顯示器102及實體按鈕103。

馬達/致動器1706可使處理器1701能夠控制機械或化學力。若第一或第二攝影機105、106包括自動聚焦，則馬達/致動器1706可沿著鏡頭之光軸移動鏡頭以提供自動聚焦。

資料匯流排1707可在處理系統1700之組件之間運輸資料。資料匯流排1707可包括印刷於基板上或以其他方式應用於基板之導電路徑(例如，邏輯板上之導電路徑)、SATA纜線、同軸纜線、USB®纜線、乙太網路纜線、銅線，及其類似者。資料匯流排1707可為被安裝處理器1701及揮發性記憶體之邏輯板之導電路徑。資料匯流排1707可包括無線通信路徑。資料匯流排1707可包括一系列不同連線1707(例如，USB®纜線)，處理系統1700之不同組件係經由連線1707而連接。

902:區塊

904:區塊

906:區塊

908:區塊

910:區塊

912:區塊

914:區塊

916:區塊

918:區塊

Claims (39)

1. 一種用於影像處理之方法，其包含：接收由一第一攝影機捕獲之一場景之一第一影像，該第一影像包含第一像素且具有一第一視場；接收由一第二攝影機捕獲之該場景之一第二影像，該第二影像包含第二像素且具有一第二視場；回應於一第一命令而儲存該場景之一第一使用者編製影像，該第一使用者編製影像包含第一使用者編製像素及具有一使用者編製視場，且基於該使用者編製視場與該第一視場相交，自該第一像素衍生該第一使用者編製像素；接收一第二命令以編輯該第一使用者編製影像；基於該第二命令編輯該第一使用者編製影像；將該經編輯第一使用者編製影像儲存為一第二使用者編製影像；接收一第三命令以改變該第二使用者編製影像之該視場；基於該第三命令編輯該第二使用者編製影像；以及儲存經編輯的該第二使用者編製影像，以作為該場景之一第三使用者編製影像，該第三使用者編製影像包含第二使用者編製像素及具有一第二使用者編製視場，且基於該第二使用者編製視場與該第二視場相交，自該等第二像素衍生該第二使用者編製像素。
2. 如請求項1之方法，其進一步包含：自該第一使用者編製影像衍生一經顯示影像；以及呈現該經顯示影像；其中該第二命令包含至少一個命令以調整該經顯示影像；其中編輯該第一使用者編製影像包含： 回應於該至少一個命令，針對該第二使用者編製影像自動地衍生第三使用者編製像素。
3. 如請求項1之方法，其中該第二視場安置於該第一視場內。
4. 如請求項3之方法，其中該第一使用者編製影像包含自該第一影像衍生之像素。
5. 如請求項3之方法，其中該第一使用者編製影像包含自該等第一像素衍生之像素，且該第一使用者編製影像不包含自該等第二像素衍生之像素；以及其中該第二使用者編製影像中之一像素係自該等第一像素中之一或多者及該等第二像素中之一或多者衍生。
6. 如請求項1之方法，其中編輯該第一使用者編製影像包含自該等第一像素及該等第二像素兩者針對該第二使用者編製影像衍生第三使用者編製像素，而不顯示該第一影像且不顯示該第二影像。
7. 如請求項6之方法，其中：(a)該第一影像及該第二影像兩者皆被糾正至一全域平面，或(b)該第一影像及該第二影像未被糾正至一全域平面，且自該等第二像素衍生該等第二使用者編製像素包含經由一或多個空間變換來存取該第二影像。
8. 如請求項1之方法，進一步包含基於一個或多個該第一影像及該第二影像生成一深度映圖，其中編輯該第一使用者編製影像包含：接收一相片效果選擇；及回應於該相片效果選擇，基於產生之該深度映圖應用一相片效果至該第一使用者編製影像。
9. 如請求項8所述之方法，其中編輯該第一使用者編製影像包含基於產生之該深度映圖，改變應用至該第一使用者編製影像之焦外成像效果(Bokeh effect)。
10. 如請求項8之方法，其中該第一使用者編製影像包含自該等第一像素衍生之像素，但不包含自該等第二像素衍生之像素，且歸因於該相片效果，該第二使用者編製影像包含自該等第一像素及該等第二像素衍生之像素。
11. 如請求項8之方法，其中編輯該第一使用者編製影像包含：接收在該第一使用者編製影像中的一第一項目的一選擇；回應於該第一項目的該選擇，基於產生之該深度映圖估計該第一項目的一景深範圍；以及執行模糊在該第一使用者編製影像估計的該景深範圍外部的一第二項目之操作。
12. 如請求項11之方法，進一步包含：確定該第一項目在該第一影像中但不在該第二影像中；以及應用一維及非立體技術以產生包括該第一項目之該深度映圖。
13. 如請求項8之方法，其中產生該深度映圖包含基於該第一影像及該第二影像產生該深度映圖。
14. 如請求項1之方法，其中編輯該第一使用者編製影像包含調整一景深效果。
15. 如請求項1之方法，進一步包含：接收一第四命令以儲存該經編輯第一使用者編製影像；回應於該第四命令而將該經編輯第一使用者編製影像儲存為該第二使用者編製影像；回應於該第三命令而刪除該第一使用者編製影像。
16. 如請求項3之方法，其中編輯該第一使用者編製影像包含應用一相片效果至該第一使用者編製影像。
17. 如請求項16之方法，其中該第二命令係與該相片效果的一選擇相關聯。
18. 如請求項17之方法，其中該相片效果包含一焦外成像效果。
19. 如請求項17之方法，其中該相片效果包含一色移。
20. 如請求項3之方法，進一步包含空間對準該第一影像及該第二影像。
21. 如請求項20之方法，進一步包含光度對準該第一影像及該第二影像。
22. 一種處理系統，其包含：一記憶體；以及一或多個處理器，該一或多個處理器經組態以進行以下操作：接收由一第一攝影機捕獲之一場景之一第一影像，該第一影像包含第一像素及具有一第一視場；接收由一第二攝影機捕獲之該場景之一第二影像，該第二影像包含第二像素及具有一第二視場；回應於一第一命令而儲存該場景之一第一使用者編製影像，該第一使用者編製影像包含第一使用者編製像素及具有一使用者編製視場，且基於該使用者編製視場與該第一視場相交，自該第一像素衍生該第一使用者編製像素；接收一第二命令以編輯該第一使用者編製影像；基於該第二命令編輯該第一使用者編製影像；將該經編輯第一使用者編製影像儲存為一第二使用者編製影像；接收一第三命令以改變該第二使用者編製影像之該視場；基於於該第三命令編輯該第二使用者編製影像；以及 儲存經編輯的該第二使用者編製影像，以作為該場景之一第三使用者編製影像，該第三使用者編製影像包含第二使用者編製像素及具有一第二使用者編製視場，且基於該第二使用者編製視場與該第二視場相交，自該第二像素衍生該第二使用者編製像素。
23. 如請求項22之處理系統，其中該一或多個處理器經組態以進行以下操作：自該第一使用者編製影像衍生一經顯示影像；呈現該經顯示影像；以及藉由以下操作來編輯該第一使用者編製影像：回應於用以調整該經顯示影像之至少一個命令而針對該第二使用者編製影像自動地衍生第三使用者編製像素，該第二命令包含該至少一個命令。
24. 如請求項22之處理系統，其中該第二視場安置於該第一視場內。
25. 如請求項24之處理系統，其中該第一使用者編製影像包含自該第一影像衍生之像素。
26. 如請求項24之處理系統，其中該第一使用者編製影像包含自該等第一像素衍生之像素，且該第一使用者編製影像不包含自該等第二像素衍生之像素；以及其中該第二使用者編製影像中之一像素係自該等第一像素中之一或多者及該等第二像素中之一或多者衍生。
27. 如請求項22之處理系統，其中該一或多個處理器經組態以藉由以下操作來編輯該第一使用者編製影像：自該等第一像素及該等第二像素兩者針對該第二使用者編製影像衍生第三使用者編製像素，而不致使顯示該第一影像且不致使顯示該第二影像。
28. 如請求項22之處理系統，其中該處理系統為一無線通訊設備，該處理系統進一步包含一第一攝影機及一第二攝影機，其中該一或多個處理器經組態以進行以下操作：命令該第一攝影機回應於該第一命令而捕獲該第一影像；命令該第二攝影機回應於該第一命令而捕獲該第二影像；以及回應於該第一命令而衍生該等第一使用者編製像素。
29. 如請求項22之處理系統，其中該一或多個處理器經組態以基於一個或多個該第一影像及該第二影像產生一深度映圖。
30. 如請求項29之處理系統，其中該一或多個處理器經組態以基於產生之該深度映圖，藉由改變應用至該第一使用者編製影像之焦外成像效果以編輯該第一使用者編製影像。
31. 如請求項29之處理系統，其中該一或多個處理器經組態以藉由以下操作來編輯該第一使用者編製影像：接收在該第一使用者編製影像中的一第一項目的一選擇；回應於該第一項目的該選擇，基於產生之該深度映圖估計該第一項目的一景深範圍；以及模糊在該第一使用者編製影像估計的該景深範圍外部的一第二項目。
32. 如請求項29之處理系統，其中該一或多個處理器經組態以藉由以下操作來編輯該第一使用者編製影像：確定該第一項目在該第一影像中但不在該第二影像中；以及應用一維及非立體技術以產生包括該第一項目之該深度映圖。
33. 如請求項24之處理系統，其中編輯該第一使用者編製影像包含應用一相片效果至該第一使用者編製影像。
34. 如請求項33之處理系統，其中該第二命令係與該相片效果的一選擇相關聯。
35. 如請求項34之處理系統，其中該相片效果包含一焦外成像效果。
36. 如請求項33之處理系統，其中該相片效果包含一色移。
37. 如請求項34之處理系統，其中該一或多個處理器經組態以空間對準該第一影像及該第二影像。
38. 如請求項37之處理系統，其中該一或多個處理器經組態以光度對準該第一影像及該第二影像。
39. 一種非暫時性電腦可讀媒體，其包含程式碼，該程式碼在由一或多個處理器執行時致使該一或多個處理器執行操作，該程式碼包含用於進行以下操作之程式碼：接收由一第一攝影機捕獲之一場景之一第一影像，該第一影像包含第一像素及具有一第一視場；接收由一第二攝影機捕獲之該場景之一第二影像，該第二影像包含第二像素及具有一第二視場；回應於一第一命令而儲存該場景之一第一使用者編製影像，該第一使用者編製影像包含第一使用者編製像素及具有一使用者編製視場，且基於該使用者編製視場與該第一視場相交，自該第一像素衍生該第一使用者編製像素；接收一第二命令以編輯該第一使用者編製影像；基於該第二命令編輯該第一使用者編製影像；將經編輯的該第一使用者編製影像儲存為一第二使用者編製影像；接收一第三命令以改變該第二使用者編製影像之該視場；基於該第三命令，編輯該第二使用者編製影像； 儲存經編輯的該第二使用者編製影像，以作為該場景之一第三使用者編製影像，該第三使用者編製影像包含第二使用者編製像素及具有一第二使用者編製視場，且基於該第二使用者編製視場與該第二視場相交，自該第二像素衍生該第二使用者編製像素。

Images