TW202533167A - 用於使用者裝置姿態預測之結構線產生 - Google Patents

Abstract

一用戶端裝置或一線上系統使用基於一影像產生之結構線來預測該用戶端裝置之一姿態。該等結構線係劃定該影像中描繪之實體世界中之結構之線。該用戶端裝置亦使用一結構模型來預測其姿態。一結構模型係表示一區域內之該實體世界中之結構之一模型。該用戶端裝置藉由應用一目標函數來基於該結構模型及該等結構線預測其姿態。接著，該用戶端裝置可反覆地更新一經估計姿態且對該經更新姿態進行評分，直至該用戶端裝置識別該等結構線充分擬合該結構模型所處之該經估計姿態。

Description

用於使用者裝置姿態預測之結構線產生

所描述之標的物大體上係關於預測一使用者裝置之姿態，且特定言之，係關於產生一影像之結構線以預測一使用者裝置之姿態。

線上系統可在使用者穿越實體世界時向使用者提供一擴增實境(AR)體驗。此等系統判定使用者之用戶端裝置在真實世界中之姿態以判定如何向使用者呈現內容。一些系統使用由一裝置之相機擷取之影像來判定用戶端裝置之姿態。例如，一線上系統可將一相機影像中描繪之物件或結構與虛擬世界之其他影像(例如，如儲存於虛擬模型中)匹配，且使用該匹配來判定一用戶端裝置之姿態。然而，此等方法通常在運算上係昂貴的，此係因為其等通常使用複雜機器學習模型來匹配影像，且需要大量資料來儲存來自一用戶端裝置之一影像可與之匹配之全部影像。

一用戶端裝置或一線上系統使用基於一影像產生之結構線來預測該用戶端裝置之一姿態。該用戶端裝置擷取一影像且基於該經擷取影像產生結構線。該等結構線係劃定該影像中描繪之實體世界中之結構之線。例如，結構線可表示所描繪結構之間之邊界，或可表示影像中之線性結構，諸如樹或電線桿。另外，一結構線可指示其等劃定其邊界之結構之類型。

該用戶端裝置亦使用一結構模型來預測其姿態。一結構模型係表示一區域內之該實體世界中之結構之一模型。例如，該結構模型可為指示該實體世界內之不同結構之類型及位置之一地圖。在一些實施例中，該結構模型係針對不同位置含有不同層級之資訊之一階層模型。例如，在最廣泛層級上，該結構模型可具有廣泛適用於一特定類型之全部結構之一模型。在往下一層級上，基於該結構模型針對各區域具有多少資訊，該結構模型可針對不同區域具有不同模型。

該用戶端裝置藉由應用一目標函數來基於該結構模型及該等結構線預測其姿態。該目標函數係產生表示該用戶端裝置處於一特定姿態之可能性之一輸出之一函數。例如，為了使用該目標函數，該用戶端裝置可基於該等結構線及該結構模型估計一初始姿態且對該姿態進行評分。該目標函數可自該經估計姿態對該等所產生之結構線與該結構模型之擬合程度進行評分。例如，該目標函數可使用該結構模型自該經估計姿態預測可見結構線，且將該等所產生之結構線與該等經預測結構線進行比較以運算一評分。接著，該用戶端裝置可反覆地更新該經估計姿態且對該經更新姿態進行評分，直至該用戶端裝置識別該等結構線充分擬合該結構模型所處之一經估計姿態。

圖及以下描述僅藉由圖解來描述某些實施例。熟習此項技術者將自以下描述認知，在不脫離所描述之原理之情況下，可採用結構及方法之替代實施例。在任何可行之處，在圖中使用類似或相同元件符號來指示類似或相同功能性。在元件共用一共同數字，其後接著一不同字母的情況下，此指示元件係類似或相同的。單獨提及數字通常指代此等元件之任一者或任何組合，除非上下文另外指示。

在一平行實境遊戲之上下文中描述各種實施例，該平行實境遊戲包含一虛擬世界地理中之擴增實境內容，該虛擬世界地理平行於真實世界地理之至少一部分，使得玩家在真實世界中之移動及動作影響虛擬世界中之動作。所描述之標的物適用於期望姿態預測之其他情況。另外，基於電腦之系統之固有靈活性容許系統之組件之間及當中之任務及功能性之各種可能組態、組合及劃分。

實例基於位置之平行實境遊戲 圖1係平行於真實世界100之一虛擬世界110之一概念圖。虛擬世界110可充當一平行實境遊戲之玩家之遊戲板。如繪示，虛擬世界110包含平行於真實世界100之地理之一地理。特定言之，定義真實世界100中之一地理區域或空間之一座標範圍被映射至定義虛擬世界110中之一虛擬空間之一對應座標範圍。真實世界100中之座標範圍可與城鎮、街區、城市、校園、地點、國家、大洲、整個地球或其他地理區域相關聯。地理座標範圍內之各地理座標被映射至虛擬世界110中之一虛擬空間中之一對應座標。

一玩家在虛擬世界110中之位置對應於玩家在真實世界100中之位置。例如，定位於真實世界100中之位置112處之玩家A在虛擬世界110中具有一對應位置122。類似地，定位於真實世界100中之位置114處之玩家B在虛擬世界110中具有一對應位置124。當玩家在真實世界100中之一地理座標範圍內四處移動時，玩家亦在定義虛擬世界110中之虛擬空間之座標範圍內四處移動。特定言之，當一玩家在真實世界100中之地理座標範圍內導航時，與由玩家攜帶之一行動運算裝置相關聯之一定位系統(例如，一GPS系統、一定位系統或兩者)可用於追蹤玩家之位置。與玩家在真實世界100中之位置相關聯之資料用於更新玩家在定義虛擬世界110中之虛擬空間之對應座標範圍內之位置。以此方式，玩家可藉由簡單地在真實世界100中之對應地理座標範圍當中行進來沿著定義虛擬世界110中之虛擬空間之座標範圍內之一連續軌跡導航，而不必在真實世界100中之特定離散位置處簽入或週期性地更新位置資訊。

基於位置之遊戲可包含要求玩家行進至分散在虛擬世界110中之各種虛擬位置處之各種虛擬元素或虛擬物件或與其等互動之遊戲目標。一玩家可藉由行進至真實世界100中之虛擬元素或物件之對應位置來行進至此等虛擬位置。例如，一定位系統可追蹤玩家之位置，使得當玩家在真實世界100中導航時，玩家亦在平行虛擬世界110中導航。接著，玩家可與特定位置處之各種虛擬元素及物件互動以達成或執行一或多個遊戲目標。

一遊戲目標可使玩家與定位於虛擬世界110中之各種虛擬位置處之虛擬元素130互動。此等虛擬元素130可連結至真實世界100中之地標、地理位置或物件140。真實世界地標或物件140可為藝術品、紀念碑、建築物、企業、圖書館、博物館或其他適合真實世界地標或物件。互動包含擷取、聲稱擁有、使用一些虛擬物品、花費一些虛擬貨幣等。為了擷取此等虛擬元素130，一玩家行進至真實世界中之連結至虛擬元素130之地標或地理位置140，且與虛擬世界110中之虛擬元素130執行任何必要互動(如由遊戲規則定義)。例如，玩家A可必須行進至真實世界100中之一地標140以與連結於該特定地標140之一虛擬元素130互動或擷取該虛擬元素130。與虛擬元素130之互動可需要真實世界中之動作，諸如拍攝一照片或驗證、獲得或擷取關於與虛擬元素130相關聯之地標或物件140之其他資訊。

遊戲目標可要求玩家使用由玩家在基於位置之遊戲中收集之一或多個虛擬物品。例如，玩家可在虛擬世界110中行進，尋找可用於完成遊戲目標之虛擬物品132 (例如，武器、生物、力量提升或其他物品)。可藉由行進至真實世界100中之不同位置或藉由在虛擬世界110抑或真實世界100中完成各種動作(諸如與虛擬元素130互動、與非玩家角色或其他玩家戰鬥、或完成任務等)來找到或收集此等虛擬物品132。在圖1中展示之實例中，一玩家使用虛擬物品132來擷取一或多個虛擬元素130。特定言之，一玩家可在虛擬世界110中靠近虛擬元素130或在虛擬元素130內之位置處部署虛擬物品132。以此方式部署一或多個虛擬物品132可導致玩家或玩家之團隊/派系擷取虛擬元素130。

在一個特定實施方案中，作為平行實境遊戲之部分，一玩家可必須收集虛擬能量。虛擬能量150可分散在虛擬世界110中之不同位置處。一玩家可藉由行進至真實世界100中與虛擬世界110中之虛擬能量之位置對應之位置(或在其之一臨限值距離內)來收集虛擬能量150。虛擬能量150可用於為虛擬物品提供力量或執行遊戲中之各種遊戲目標。失去全部虛擬能量150之一玩家可與遊戲斷開連接或被阻止玩遊戲達一定量之時間或直至其等已收集額外虛擬能量150。

根據本發明之態樣，平行實境遊戲可為一大規模多玩家之基於位置之遊戲，其中遊戲中之每一參與者共用同一虛擬世界。玩家可被分成分開的團隊或派系，且可一起工作以達成一或多個遊戲目標，諸如擷取或聲稱擁有一虛擬元素。以此方式，平行實境遊戲本質上可為鼓勵遊戲內之玩家之間之合作之一社群遊戲。在平行實境遊戲期間，來自對立團隊之玩家可彼此對抗(或有時合作以達成共同目標)。一玩家可使用虛擬物品來攻擊或阻礙對立團隊之玩家之進程。在一些情況下，在平行實境遊戲中，鼓勵玩家聚集在真實世界位置處以進行合作或互動事件。在此等情況下，遊戲伺服器試圖確保玩家確實實體存在，而未對其等之位置造假。

圖2描繪一遊戲介面200之一項實施例，其可被呈現(例如，在一玩家之智慧型電話上)為玩家與虛擬世界110之間之介面之部分。遊戲介面200包含一顯示窗210，該顯示窗210可用於顯示虛擬世界110及遊戲之各種其他態樣，諸如玩家位置122及虛擬世界110中之虛擬元素130、虛擬物品132及虛擬能量150之位置。使用者介面200亦可顯示其他資訊，諸如遊戲資料資訊、遊戲通信、玩家資訊、用戶端位置驗證指令及與遊戲相關聯之其他資訊。例如，使用者介面可顯示玩家資訊215，諸如玩家姓名、經驗等級及其他資訊。使用者介面200可包含用於存取各種遊戲設定及與遊戲相關聯之其他資訊之一選單220。使用者介面200亦可包含一通信介面230，該通信介面230實現遊戲系統與玩家之間及平行實境遊戲之一或多個玩家之間之通信。

根據本發明之態樣，一玩家可藉由在真實世界中隨身攜帶一用戶端裝置來與平行實境遊戲互動。例如，一玩家可藉由在一智慧型電話上存取與平行實境遊戲相關聯之一應用程式且帶著智慧型電話在真實世界中四處移動來玩遊戲。就此而言，玩家不需要為了玩基於位置之遊戲而在一顯示螢幕上連續觀看虛擬世界之一視覺表示。因此，使用者介面200可包含容許一使用者與遊戲互動之非視覺元素。例如，當玩家正在接近遊戲中之一虛擬元素或物件時或當在平行實境遊戲中發生一重要事件時，遊戲介面可向玩家提供可聽通知。在一些實施例中，一玩家可使用音訊控制件240來控制此等可聽通知。可取決於虛擬元素或事件之類型向使用者提供不同類型之可聽通知。可聽通知可取決於一玩家與一虛擬元素或物件之近接度而在頻率或音量上增加或減少。可向使用者提供其他非視覺通知及信號，諸如一振動通知或其他適合通知或信號。

平行實境遊戲可具有各種特徵以增強及鼓勵平行實境遊戲內之遊戲玩法。例如，玩家可累積可在整個遊戲中使用(例如，以購買遊戲內物品、兌換其他物品、製作物品等)之一虛擬貨幣或另一虛擬獎勵(例如，虛擬代幣、虛擬積分、虛擬材料資源等)。當玩家完成一或多個遊戲目標且在遊戲內獲得經驗時，玩家可前進通過各種關卡。玩家亦可能夠獲得可用於完成遊戲內之遊戲目標之增強「力量」或虛擬物品。

使用所提供之本發明之一般技術者將瞭解，許多遊戲介面組態及基礎功能性係可能的。本發明不旨在限於任何一種特定組態，除非明確相反地陳述。

實例遊戲系統 圖3繪示一網路連結運算環境300之一項實施例。網路連結運算環境300使用一用戶端-伺服器架構，其中一遊戲伺服器320透過一網路370與一用戶端裝置310通信以在用戶端裝置310處向一玩家提供一平行實境遊戲。網路連結運算環境300亦可包含其他外部系統，諸如贊助商/廣告商系統或商業系統。儘管圖3中僅展示一個用戶端裝置310，然任何數目個用戶端裝置310或其他外部系統可透過網路370連接至遊戲伺服器320。此外，網路連結運算環境300可含有不同或額外元件，且功能性可以不同於下文描述之方式分佈於用戶端裝置310與伺服器320之間。

網路連結運算環境300提供玩家在具有平行於真實世界之一地理之一虛擬世界中之互動。特定言之，真實世界中之一地理區域可直接連結或映射至虛擬世界中之一對應區域。一玩家可藉由移動至真實世界中之各種地理位置而在虛擬世界中四處移動。例如，一玩家在真實世界中之位置可經追蹤且用於更新玩家在虛擬世界中之位置。通常，藉由找到玩家與虛擬世界互動所透過之一用戶端裝置310之位置且假定玩家處於同一(或近似相同)位置來判定玩家在真實世界中之位置。例如，在各種實施例中，若玩家在真實世界中之位置在與虛擬世界中之一虛擬元素之虛擬位置對應之真實世界位置之一臨限值距離(例如，十公尺、二十公尺等)內，則玩家可與虛擬元素互動。為了方便起見，參考「玩家之位置」描述各種實施例，但熟習此項技術者將瞭解，此等參考可指玩家之用戶端裝置310之位置。

一用戶端裝置310可為能夠由一玩家用於與遊戲伺服器320介接之任何攜帶式運算裝置。例如，一用戶端裝置310較佳地係可由一玩家攜帶之一攜帶式無線裝置，諸如一智慧型電話、攜帶式遊戲裝置、擴增實境(AR)耳機、蜂巢式電話、平板電腦、個人數位助理(PDA)、導航系統、手持式GPS系統或其他此裝置。對於一些使用情況，用戶端裝置310可為行動性較低之一裝置，諸如一桌上型或一膝上型電腦。此外，用戶端裝置310可為具有一內建運算裝置之一車輛。

用戶端裝置310與遊戲伺服器320通信以提供一實體環境之感測資料。在一項實施例中，用戶端裝置310包含一相機總成312、一遊戲模組314、定位模組316及局部化模組318。用戶端裝置310亦包含用於透過網路370提供通信之一網路介面(未展示)。在各種實施例中，用戶端裝置310可包含不同或額外組件，諸如額外感測器、顯示器及軟體模組等。

相機總成312包含可擷取影像資料之一或多個相機。相機擷取描述具有一特定姿態(相機在環境內之位置及定向)之用戶端裝置310周圍之環境之一場景之影像資料。相機總成312可使用具有不同顏色擷取範圍及不同擷取速率之各種光感測器。類似地，相機總成312可包含具有一系列不同鏡頭(諸如一廣角鏡頭或一長焦鏡頭)之相機。相機總成312可經組態以擷取單一影像或多個影像作為一視訊之圖框。

用戶端裝置310亦可包含用於收集關於用戶端裝置周圍之環境之資料之額外感測器，諸如移動感測器、加速度計、陀螺儀、氣壓計、溫度計、光感測器、麥克風等。由相機總成312擷取之影像資料可附加有描述關於影像資料之其他資訊之後設資料，諸如額外感測資料(例如，溫度、環境之亮度、氣壓、位置、姿態等)或擷取資料(例如，曝光長度、快門速度、焦距、擷取時間等)。

遊戲模組314向一玩家提供參與平行實境遊戲之一介面。遊戲伺服器320透過網路370將遊戲資料傳輸至用戶端裝置310以供遊戲模組314使用以向處於遠離遊戲伺服器之位置之一玩家提供遊戲之一本端版本。在一項實施例中，遊戲模組314在用戶端裝置310之一顯示器上呈現描繪一虛擬世界(例如，演現虛擬世界之影像)且容許一使用者與虛擬世界互動以執行各種遊戲目標之一使用者介面。在一些實施例中，遊戲模組314呈現使用來自平行實境遊戲之虛擬元素擴增之真實世界之影像(例如，由相機總成312擷取)。在此等實施例中，遊戲模組314可根據自用戶端裝置310之其他組件接收之其他資訊來產生或調整虛擬內容。例如，遊戲模組314可根據在影像資料中擷取之場景之一深度圖來調整待顯示於使用者介面上之一虛擬物件。

遊戲模組314亦可控制各種其他輸出以容許一玩家與遊戲互動，而無需玩家查看一顯示螢幕。例如，遊戲模組314可控制容許玩家在不看顯示螢幕之情況下玩遊戲之各種音訊、振動或其他通知。

定位模組316可為用於判定用戶端裝置310之位置之任何裝置或電路系統。例如，定位模組316可藉由使用一衛星導航定位系統(例如，一GPS系統、一伽利略(Galileo)定位系統、全球導航衛星系統(GLONASS)、北斗衛星導航及定位系統)、一慣性導航系統、一航位推算系統、IP位址分析、三角量測及/或與蜂巢式塔或Wi-Fi熱點之近接度或其他適合技術來判定實際或相對位置。

當玩家在真實世界中帶著用戶端裝置310四處移動時，定位模組316追蹤玩家之位置且將玩家位置資訊提供至遊戲模組314。遊戲模組314基於玩家在真實世界中之實際位置來更新與遊戲相關聯之虛擬世界中之玩家位置。因此，一玩家可簡單地藉由在真實世界中攜帶或運送用戶端裝置310來與虛擬世界互動。特定言之，玩家在虛擬世界中之位置可對應於玩家在真實世界中之位置。遊戲模組314可透過網路370將玩家位置資訊提供至遊戲伺服器320。作為回應，遊戲伺服器320可制定各種技術來驗證用戶端裝置310之位置以防止作弊者未對其等之位置造假。應理解，僅在已向一玩家通知將存取玩家之位置資訊及將如何在遊戲之上下文中利用位置資訊(例如，更新虛擬世界中之玩家位置)之後授予許可的情況下，才利用與玩家相關聯之位置資訊。另外，以保護玩家隱私之一方式儲存及維持與玩家相關聯之任何位置資訊。

在一些實施例中，定位模組316基於結構線來估計一用戶端裝置之姿態。結構線係劃定一影像內描繪之結構之線。定位模組316使用一目標函數將此等結構線與一結構模型進行比較以預測用戶端裝置之一姿態。下文進一步詳細描述用於基於結構線來估計一用戶端裝置之一姿態之一實例方法。

局部化模組318提供判定用戶端裝置310之位置之一額外或替代方式。在一項實施例中，局部化模組318接收由定位模組316針對用戶端裝置310判定之位置，且藉由判定相機總成312之一或多個相機之一姿態來細化該位置。局部化模組318可使用由定位模組316產生之位置來選擇用戶端裝置310周圍之環境之一3D地圖，且相對於3D地圖進行局部化。局部化模組318可自本端儲存器或自遊戲伺服器320獲得3D地圖。3D地圖可為用戶端裝置310周圍之環境之一點雲、網格或任何其他適合3D表示。替代地，局部化模組318可在無需參考一粗略位置(諸如由一GPS系統提供之一粗略位置)之情況下，諸如藉由判定用戶端裝置310相對於另一裝置之相對位置來判定用戶端裝置310之一位置或姿態。

在一項實施例中，局部化模組318應用一經訓練模型來判定由相機總成312擷取之影像相對於3D地圖之姿態。因此，局部化模型可判定用戶端裝置310之位置及定向之一準確(例如，在幾公分及幾度內)判定。接著可使用基於感測器讀數之航位推算、週期性重新局部化或兩者之一組合來隨時間追蹤用戶端裝置310之位置。具有用戶端裝置310之一準確姿態可使遊戲模組314能夠以給出虛擬物件正在與真實世界互動之印象之一方式呈現上覆於真實世界之影像上之虛擬內容(例如，藉由在一顯示器上結合來自相機總成312之一即時饋送顯示虛擬元素)或上覆於真實世界本身上之虛擬內容(例如，藉由在一AR耳機之一透明顯示器上顯示虛擬元素)。例如，一虛擬角色可隱藏於一真實樹後面，一虛擬帽子可放置於一真實雕像上，或若一真人太快接近一虛擬生物，則虛擬生物可逃跑及隱藏。

遊戲伺服器320包含將遊戲功能性提供至用戶端裝置310之一或多個運算裝置。遊戲伺服器320可包含一遊戲資料庫330或與其通信。遊戲資料庫330儲存在透過網路370伺服或提供至用戶端裝置310之平行實境遊戲中使用之遊戲資料。

儲存於遊戲資料庫330中之遊戲資料可包含：(1)與平行實境遊戲中之虛擬世界相關聯之資料(例如，用於在一顯示裝置上演現虛擬世界之影像資料、虛擬世界中之位置之地理座標等)；(2)與平行實境遊戲之玩家相關聯之資料(例如，玩家設定檔，包含但不限於玩家資訊、玩家經驗等級、玩家貨幣、虛擬世界/真實世界中之當前玩家位置、玩家能量水準、玩家偏好、團隊資訊、派系資訊等)；(3)與遊戲目標相關聯之資料(例如，與當前遊戲目標、遊戲目標之狀態、過去遊戲目標、未來遊戲目標、所要遊戲目標等相關聯之資料)；(4)與虛擬世界中之虛擬元素相關聯之資料(例如，虛擬元素之位置、虛擬元素之類型、與虛擬元素相關聯之遊戲目標；用於虛擬元素之對應實際世界位置資訊；虛擬元素之行為、虛擬元素之相關性等)；(5)與真實世界物件、地標、連結至虛擬世界元素之位置相關聯之資料(例如，真實世界物件/地標之位置、真實世界物件/地標之描述、連結至真實世界物件之虛擬元素之相關性等)；(6)遊戲狀態(例如，當前玩家數目、遊戲目標之當前狀態、玩家排行榜等)；(7)與玩家動作/輸入相關聯之資料(例如，當前玩家位置、過去玩家位置、玩家移動、玩家輸入、玩家查詢、玩家通信等)；或(8)在平行實境遊戲之實施期間使用、與其相關或獲得之任何其他資料。儲存於遊戲資料庫330中之遊戲資料可藉由系統管理員或藉由自使用者(例如，玩家)接收(諸如透過網路370自一用戶端裝置310接收)之資料離線抑或即時填充。

在一項實施例中，遊戲伺服器320經組態以自一用戶端裝置310接收對遊戲資料之請求(例如經由遠端程序呼叫(RPC))且經由網路370回應彼等請求。遊戲伺服器320可將遊戲資料編碼於一或多個資料檔案中，且將資料檔案提供至用戶端裝置310。另外，遊戲伺服器320可經組態以經由網路370自一用戶端裝置310接收遊戲資料(例如，玩家位置、玩家動作、玩家輸入等)。用戶端裝置310可經組態以週期性地將玩家輸入及其他更新發送至遊戲伺服器320，該遊戲伺服器使用其等來更新遊戲資料庫330中之遊戲資料以反映遊戲之任何及全部改變狀況。

在圖3中展示之實施例中，遊戲伺服器320包含一通用遊戲模組322、一商業遊戲模組323、一資料收集模組324、一事件模組326、一製圖系統327及一3D地圖儲存器329。如上文提及，遊戲伺服器320與一遊戲資料庫330互動，該遊戲資料庫330可為遊戲伺服器之部分或遠端地被存取(例如，遊戲資料庫330可為經由網路370存取之一分佈式資料庫)。在其他實施例中，遊戲伺服器320含有不同或額外元件。另外，功能可以不同於所描述之一方式分佈於元件當中。

通用遊戲模組322託管用於一組玩家(例如，平行實境遊戲之全部玩家)之平行實境遊戲之一例項，且充當用於該組玩家之平行實境遊戲之當前狀態之權威來源。作為託管者，通用遊戲模組322產生遊戲內容以呈現給玩家(例如，經由其等各自用戶端裝置310)。當託管平行實境遊戲時，通用遊戲模組322可存取遊戲資料庫330以擷取或儲存遊戲資料。通用遊戲模組322亦可自用戶端裝置310接收遊戲資料(例如，深度資訊、玩家輸入、玩家位置、玩家動作、地標資訊等)，且將所接收遊戲資料併入至用於平行實境遊戲之整組玩家之整個平行實境遊戲中。通用遊戲模組322亦可管理遊戲資料透過網路370至用戶端裝置310之遞送。在一些實施例中，通用遊戲模組322亦管控用戶端裝置310與平行實境遊戲之互動之安全態樣，諸如保護用戶端裝置與遊戲伺服器320之間之連接、在各種用戶端裝置之間建置連接、或驗證各種用戶端裝置310之位置以防止玩家藉由對其等之位置造假來作弊。

商業遊戲模組323可與通用遊戲模組322分離或作為其之一部分。商業遊戲模組323可管理平行實境遊戲內與真實世界中之一商業活動連結之各種遊戲特徵之包含。例如，商業遊戲模組323可透過網路370自諸如贊助商/廣告商、企業或其他實體之外部系統接收對包含與真實世界中之商業活動連結之遊戲特徵之請求。接著，商業遊戲模組323可在確認經連結商業活動已發生時配置以將此等遊戲特徵包含於平行實境遊戲中。例如，若一企業向平行實境遊戲之提供商支付一商定金額，則識別企業之一虛擬物件可出現在平行實境遊戲中之對應於企業(例如，一商店或餐館)之一真實世界位置之一虛擬位置處。

資料收集模組324可與通用遊戲模組322分離或作為其之一部分。資料收集模組324可管理平行實境遊戲內與真實世界中之一資料收集活動連結之各種遊戲特徵之包含。例如，資料收集模組324可修改儲存於遊戲資料庫330中之遊戲資料以將與資料收集活動連結之遊戲特徵包含於平行實境遊戲中。資料收集模組324亦可依據資料收集活動分析由玩家收集之資料，且提供資料以供各種平台存取。

事件模組326管理玩家對平行實境遊戲中之事件之存取。儘管為了方便而使用術語「事件」，然應瞭解，此術語無需指涉在一特定位置或時間之一特定事件。實情係，其可指涉存取受控之遊戲內容之任何佈建，其中使用一或多個存取準則來判定玩家是否可存取該內容。此內容可為包含具有較少存取控制或不具有存取控制之遊戲內容之一較大平行實境遊戲之部分，或可為一獨立、存取受控之平行實境遊戲。

製圖系統327基於一組影像產生一地理區之一3D地圖。3D地圖可為地理區之3D幾何形狀之一點雲、多邊形網格或任何其他適合表示。3D地圖可包含提供額外上下文資訊之語義標籤，諸如識別物件(桌子、椅子、時鐘、燈柱、樹等)、材料(混凝土、水、磚、草等)或遊戲性質(例如，角色可越過、適合於某些遊戲內動作等)。在一項實施例中，製圖系統327將3D地圖連同任何語義/上下文資訊一起儲存於3D地圖儲存器329中。3D地圖可結合位置資訊(例如，3D地圖之中心之GPS座標、界定3D地圖之範圍之一環形圍欄或類似者)儲存於3D地圖儲存器329中。因此，遊戲伺服器320可將3D地圖提供至用戶端裝置310，該等用戶端裝置310提供指示其等在由3D地圖覆蓋之地理區域內或附近之位置資料。

網路370可為任何類型之通信網路，諸如一區域網路(例如，內部網路)、廣域網路(例如，網際網路)或其等之某一組合。網路亦可包含一用戶端裝置310與遊戲伺服器320之間之一直接連接。一般言之，遊戲伺服器320與一用戶端裝置310之間之通信可經由一網路介面使用任何類型之有線或無線連接、使用各種通信協定(例如，TCP/IP、HTTP、SMTP、FTP)、編碼或格式(例如，HTML、XML、JSON)或保護方案(例如，VPN、安全HTTP、SSL)來載送。

本發明提及伺服器、資料庫、軟體應用程式及其他基於電腦之系統，以及所採取之動作及發送至此等系統或自此等系統發送之資訊。一般技術者將認知，基於電腦之系統之固有靈活性容許組件之間及當中之任務及功能性之多種可能組態、組合及劃分。例如，被揭示為由一伺服器實施之程序可使用一單一伺服器或組合工作之多個伺服器來實施。資料庫及應用程式可在一單一系統上實施，或可跨多個系統分佈。分佈式組件可循序或並行操作。

在所揭示之系統及方法存取及分析關於使用者之個人資訊或利用諸如位置資訊之個人資訊之情況下，可向使用者提供控制程序或特徵是否收集資訊以及控制是否或如何自系統或其他應用程式接收內容之一機會。未收集或使用此資訊或資料，直至已向使用者提供關於應收集何種資訊以及如何使用該資訊之有意義通知。除非使用者提供同意，否則不收集或使用該資訊，該同意可由使用者隨時撤銷或修改。因此，使用者可控制關於使用者之資訊如何收集且由應用程式或系統使用。另外，某些資訊或資料可在其被儲存或使用之前以一或多種方式處理，使得移除個人可識別資訊。例如，可處理一使用者之識別，使得無法判定使用者之個人可識別資訊。

實例方法 圖4係描述根據一項實施例之預測一使用者之姿態之一實例方法之一流程圖。圖4之步驟係自一使用者裝置(例如，用戶端裝置310)之視角繪示。例如，該方法可由用戶端裝置310之局部化模組328執行。然而，一些或全部步驟可由其他實體或組件執行，諸如一線上系統(例如，遊戲伺服器320)。另外，一些實施例可並行執行步驟，以不同順序執行步驟，或執行不同步驟。

一用戶端裝置存取400用戶端裝置擷取之一影像。影像可為一單一影像或可為一視訊中之一單一圖框。用戶端裝置亦可存取由用戶端裝置擷取之與影像相關聯之感測器資料。例如，用戶端裝置可在擷取影像時之時間或接近該時間擷取感測器資料，使得感測器資料表示反映用戶端裝置在擷取影像時之姿態之量測。感測器資料可包含GNSS資料、IMU資料、陀螺儀資料或磁力計資料。

用戶端裝置基於影像產生410一組結構線。一結構線係影像上劃定影像中描繪之實體世界中之一結構之一線。圖5繪示根據一些實施例之針對由用戶端裝置擷取之影像510產生之實例結構線500。結構線可表示影像內描繪之結構。例如，在結構之形狀係實質上線性(例如，一樹或一電線桿)之情況下，結構線可表示整個結構。替代地，一結構線可表示影像中之結構之間之一邊界。例如，用戶端裝置可產生表示一草坪與一人行道之間或一建築物與天空之間之一邊界之一結構線。

在一些實施例中，結構線僅係表示一影像內描繪之線之線，諸如線性結構或結構之間之邊界之線。然而，結構線亦可包含描述結構線表示之邊界之結構之結構線資料。例如，結構線資料指示結構線是否對應於一邊界或一單一結構。類似地，結構線資料可指示結構線劃定之結構之一或多種類型。

用戶端裝置可應用電腦視覺技術來產生結構線。例如，用戶端裝置可將一邊緣偵測或線偵測演算法應用於所存取之影像以產生結構線。在一些實施例中，用戶端裝置將一電腦視覺模型應用於所存取之影像以產生該組結構線。電腦視覺模型可為經訓練以針對一影像產生結構線之一機器學習模型。例如，可基於包含已用結構線手動標記之影像之一組訓練實例來訓練電腦視覺模型。在結構線包含額外資訊(諸如與一結構線相關聯之(若干)結構之(若干)類型)之實施例中，電腦視覺模型可經進一步訓練以基於影像預測結構之類型，例如使用用額外資訊標記之訓練實例。

用戶端裝置可使用其他電腦視覺模型及技術來產生結構線。例如，用戶端裝置可將一語義分割電腦視覺模型應用於影像以將影像分割成描繪不同物件之部分。用戶端裝置可基於此等片段之邊緣或基於片段之間之邊界來識別結構線。另外，用戶端裝置可使用語義分割來識別由結構線表示之結構之類型。

用戶端裝置存取420一結構模型以預測用戶端裝置之姿態。一結構模型係表示一區域內之實體世界中之結構之一模型。例如，結構模型可為指示實體世界內之不同結構(例如，道路、建築物、水體、植物或地標)之類型及位置之一地圖。結構模型亦可包含表示真實世界結構之一三維網格。

在一些實施例中，用戶端裝置使用其位置之一初始估計來識別對應於初始估計周圍之區域之一結構模型。例如，用戶端裝置可使用感測器資料來產生用戶端裝置之姿態之一初始估計。用戶端裝置可將經估計姿態傳輸至一線上系統(例如，一遊戲伺服器)且自線上系統接收結構模型。線上系統可儲存用於不同地理區或區域之不同結構模型，且線上系統可使用經估計姿態來識別用於經估計姿態之一對應結構模型。結構模型可為一統計模型或一機器學習模型。

在一些實施例中，結構模型係針對不同位置含有不同層級之資訊之一階層模型。例如，在最廣泛層級上，結構模型可具有廣泛適用於一特定類型之全部結構之一模型(例如，結構模型可具有用於全部類型之公路之一模型)。在往下一個層級上，基於結構模型針對各區域具有多少資訊，結構模型可針對不同區域具有不同模型。例如，結構模型可針對一結構之各子類型(例如，針對公路之各類型，諸如一步道、銜接道路、住宅道路等)具有一不同模型。當模型接收到更多資訊時，階層結構模型可更新階層結構模型使用之細節程度。例如，一遊戲之玩家可在其等玩一手機遊戲時自動收集關於其等所處之區域之資訊，此從而容許階層模型針對某些區域使用更特定參數。

在一些實施例中，階層結構模型維持預測結構線之位置之某些初始參數，且基於由使用者收集之額外資訊來更新此等參數。例如，階層結構模型可儲存表示結構之相對實體位置或尺寸之一般估計之預設參數。例如，階層結構模型可儲存表示人行道寬度或長度、街道寬度或長度、人行道至街道之距離、建築物高度、寬度或深度、或建築物與街道或人行道之距離之參數。階層結構模型可使用此等預設參數來建置地理區之地圖。當線上系統接收到來自使用者用戶端裝置之資料時，線上系統可更新地理區之參數且相應地更新地圖。例如，若預設參數預測人行道具有兩公尺之一平均寬度，但由一使用者擷取之感測器資料指示一地理區內之一人行道具有三公尺之一寬度，則線上系統可更新該地理區之一人行道寬度參數，且相應地更新該地理區之地圖資料中之人行道。

階層結構模型可儲存地理區及其等之子區之多個層級之參數。例如，階層結構模型可產生一地理區之經更新參數，如上文提及。然而，線上系統可接收該地理區之一子區內之額外資料，且可基於額外細節更新該子區之參數。

用戶端裝置基於所產生之結構線及所存取之結構模型來預測430用戶端裝置之一姿態。為了預測姿態，用戶端裝置將一目標函數應用於結構線及結構模型。目標函數係產生表示用戶端裝置處於一特定姿態之可能性之一輸出之一函數。例如，為了使用目標函數，用戶端裝置可估計一初始姿態且基於結構線及結構模型對姿態進行評分。目標函數可自經估計姿態對所產生之結構線與結構模型擬合之良好程度進行評分。例如，目標函數可使用結構模型自經估計姿態預測可見結構線，且將所產生之結構線與經預測結構線進行比較以運算一評分。在一些實施例中，目標函數使用感測器資料來對一姿態進行評分。

用戶端裝置可反覆地更新經估計姿態且對經更新姿態進行評分，直至用戶端裝置識別結構線充分擬合結構模型所處之一經估計姿態。在一些實施例中，用戶端裝置應用一梯度下降演算法以使用目標函數預測用戶端裝置之一姿態。

在一些實施例中，用戶端裝置使用自多個影像產生之該組結構線來改良預測之準確性。例如，在所存取之影像係一視訊之一圖框之情況下，當用戶端裝置擷取視訊時，用戶端裝置可針對視訊之一些或全部圖框連續地執行上文描述之方法，且用戶端裝置可在其接收到更多圖框時更新其預測姿態。

用戶端裝置基於用戶端裝置之經預測姿態產生440虛擬內容。例如，用戶端裝置可產生基於用戶端裝置之姿態之虛擬實境或擴增實境內容。在一些實施例中，用戶端裝置藉由將經預測姿態傳輸至一線上系統來產生虛擬內容，且線上系統將虛擬內容傳輸至用戶端裝置。在虛擬內容係擴增實境內容之實施例中，用戶端裝置可修改由用戶端裝置之一相機擷取之影像以包含虛擬內容。用戶端裝置向使用者顯示450虛擬內容。

實例運算系統 圖6係適於用作一用戶端裝置310或遊戲伺服器320之一實例電腦600之一方塊圖。實例電腦600包含耦合至一晶片組604之至少一個處理器602。對一處理器(或電腦600之任何其他組件)之參考應被理解為係指協同工作以提供所描述功能性之任何一個此組件或此等組件之組合。晶片組604包含一記憶體控制器集線器620及一輸入/輸出(I/O)控制器集線器622。一記憶體606及一圖形配接器612耦合至記憶體控制器集線器620，且一顯示器618耦合至圖形配接器612。一儲存裝置608、鍵盤610、指向裝置614及網路配接器616耦合至I/O控制器集線器622。電腦600之其他實施例具有不同架構。

在圖6中展示之實施例中，儲存裝置608係一非暫時性電腦可讀儲存媒體，諸如一硬碟機、光碟唯讀記憶體(CD-ROM)、DVD或一固態記憶體裝置。記憶體606保持由處理器602使用之指令及資料。指向裝置614係一滑鼠、軌跡球、觸控螢幕或其他類型之指向裝置，且可與鍵盤610 (其可為一螢幕上鍵盤)組合使用以將資料輸入至電腦系統600中。圖形配接器612在顯示器618上顯示影像及其他資訊。網路配接器616將電腦系統600耦合至一或多個電腦網路，諸如網路370。

由圖3之實體使用之電腦之類型可取決於實施例及實體所需之處理能力而變化。例如，遊戲伺服器320可包含一起工作以提供所描述功能性之多個刀片伺服器。此外，電腦可缺少上文描述之一些組件，諸如鍵盤610、圖形配接器612及顯示器618。

額外考量 上文描述之一些部分依據演算法程序或操作來描述實施例。通常由熟習運算領域技術者使用此等演算法描述及表示來將其等工作之實質內容有效地傳達給其他熟習此項技術者。此等操作雖然在功能上、運算上或邏輯上描述，但應被理解為由電腦程式實施，包括由一處理器或等效電路執行之指令、微碼或類似者。此外，亦已證明，不失一般性地，將此等功能操作配置稱為模組有時係方便的。

對「一項實施例」或「一實施例」之任何參考意謂結合該實施例描述之一特定元件、特徵、結構或特性包含於至少一項實施例中。在說明書中之各種位置出現之片語「在一項實施例中」不一定皆指代同一實施例。類似地，在一元件或組件前使用「一」或「一個」僅係為了方便。此描述應被理解為意謂存在一或多個元件或組件，除非明顯另有含義。

當值被描述為「近似」或「實質上」(或其等之派生詞)時，此等值應被解釋為精確+/-10%，除非上下文明顯另有含義。例如，「近似十」應被理解為意謂「在九至十一之一範圍內」。

術語「包括(comprises、comprising)」、「包含(includes、including)」、「具有(has、having)」或其等之任何其他變體旨在涵蓋一非排他性包含。例如，包括一元件清單之一程序、方法、物品或設備不一定僅限於該等元件而可包含未明確列出或此程序、方法、物品或設備固有之其他元件。此外，除非明確相反規定，否則「或」指代一包含性或且不指代一排他性或。例如，一條件A或B由以下任一者滿足：A為真(或存在)且B為假(或不存在)、A為假(或不存在)且B為真(或存在)以及A及B兩者皆為真(或存在)。

在閱讀本發明之後，熟習此項技術者將瞭解用於提供所描述之功能性之一系統及一程序之又額外替代結構及功能設計。因此，雖然已繪示及描述特定實施例及應用，但應理解，所描述之標的物不限於所揭示之精確構造及組件。保護範疇應僅受限於以下發明申請專利範圍。

100:真實世界 110:虛擬世界 112:位置 114:位置 122:位置 124:位置 130:虛擬元素 132:虛擬物品 140:地標/地理位置/物件 150:虛擬能量 200:遊戲介面/使用者介面 210:顯示窗 215:玩家資訊 220:選單 230:通信介面 240:音訊控制件 300:網路連結運算環境 310:用戶端裝置 312:相機總成 314:遊戲模組 316:定位模組 318:局部化模組 320:遊戲伺服器 321:通用遊戲模組 323:商業遊戲模組 324:資料收集模組 326:事件模組 327:製圖系統 329:3D地圖儲存器 330:遊戲資料庫 370:網路 400:存取 410:產生 420:存取 430:預測 440:產生 450:顯示 500:結構線 510:影像 600:電腦/電腦系統 602:處理器 604:晶片組 606:記憶體 608:儲存裝置 610:鍵盤 612:圖形配接器 614:指向裝置 616:網路配接器 618:顯示器 620:記憶體控制器集線器 622:輸入/輸出(I/O)控制器集線器

圖1描繪根據一項實施例之具有平行於真實世界之一地理之一虛擬世界之一表示。

圖2描繪根據一項實施例之一平行實境遊戲之一例示性介面。

圖3係根據一項實施例之適於用於裝置姿態預測之結構線產生之一網路連結運算環境之一方塊圖。

圖4係根據一項實施例之用於裝置姿態預測之結構線產生之一程序之一流程圖。

圖5繪示根據一項實施例之針對由用戶端裝置擷取之影像產生之實例結構線。

圖6繪示根據一項實施例之適於在圖1之網路連結運算環境中使用之一實例電腦系統。

400:存取

410:產生

420:存取

430:預測

440:產生

450:顯示

Claims (20)

1. 一種方法，其包括： 存取由藉由一使用者操作之一用戶端裝置擷取之一影像； 藉由將一電腦視覺模型應用於該所存取之影像來基於該影像產生一組結構線，其中該電腦視覺模型係經訓練以針對一影像產生結構線之一機器學習模型； 存取在擷取該影像時之一時間在該用戶端裝置之一位置周圍之一區域之一結構模型； 藉由使用一目標函數將該組結構線與該結構模型進行比較來預測該用戶端裝置在擷取該影像時之一姿態，其中該目標函數係基於來自由該用戶端裝置擷取之一影像之一組結構線及一結構模型產生表示一用戶端裝置處於一特定姿態之一可能性之一輸出之一函數； 基於該用戶端裝置之該經預測姿態產生虛擬內容；及 在該用戶端裝置上顯示該虛擬內容。
2. 如請求項1之方法，其進一步包括： 存取由該用戶端裝置擷取之複數個影像，其中該複數個影像包括該所存取之影像；及 基於該複數個影像產生該組結構線。
3. 如請求項1之方法，其進一步包括： 存取描述在擷取該用戶端裝置時之一時間該用戶端裝置之一姿態之感測器資料；及 基於該目標函數預測該用戶端裝置之該姿態，其中該目標函數基於該感測器資料產生一輸出。
4. 如請求項1之方法，其中該組結構線之一結構線表示由該影像描繪之一實質上線性結構。
5. 如請求項1之方法，其中該組結構線之一結構線表示由該影像描繪之結構之間之一邊界。
6. 如請求項1之方法，其中該電腦視覺模型經訓練以識別影像內之結構組。
7. 如請求項1之方法，其中該電腦視覺模型包括一語義分割模型，且其中產生該組結構線包括基於由該語義分割模型產生之片段來產生該組結構線。
8. 如請求項1之方法，其中產生該組結構線包括： 識別該影像中描繪之一組結構之各者之一類型。
9. 如請求項8之方法，其中該組結構線包括與該組結構之一結構相關聯之一結構類型之一指示。
10. 如請求項1之方法，其中該虛擬內容包括擴增實境內容。
11. 一種非暫時性電腦可讀媒體，其儲存指令，該等指令當被執行時導致一處理器執行包括以下之操作： 存取由藉由一使用者操作之一用戶端裝置擷取之一影像； 藉由將一電腦視覺模型應用於該所存取之影像來基於該影像產生一組結構線，其中該電腦視覺模型係經訓練以針對一影像產生結構線之一機器學習模型； 存取在擷取該影像時之一時間在該用戶端裝置之一位置周圍之一區域之一結構模型； 藉由使用一目標函數將該組結構線與該結構模型進行比較來預測該用戶端裝置在擷取該影像時之一姿態，其中該目標函數係基於來自由該用戶端裝置擷取之一影像之一組結構線及一結構模型產生表示一用戶端裝置處於一特定姿態之一可能性之一輸出之一函數； 基於該用戶端裝置之該經預測姿態產生虛擬內容；及 在該用戶端裝置上顯示該虛擬內容。
12. 如請求項11之電腦可讀媒體，其進一步包括： 存取由該用戶端裝置擷取之複數個影像，其中該複數個影像包括該所存取之影像；及 基於該複數個影像產生該組結構線。
13. 如請求項11之電腦可讀媒體，其進一步包括： 存取描述在擷取該用戶端裝置時之一時間該用戶端裝置之一姿態之感測器資料；及 基於該目標函數預測該用戶端裝置之該姿態，其中該目標函數基於該感測器資料產生一輸出。
14. 如請求項11之電腦可讀媒體，其中該組結構線之一結構線表示由該影像描繪之一實質上線性結構。
15. 如請求項11之電腦可讀媒體，其中該組結構線之一結構線表示由該影像描繪之結構之間之一邊界。
16. 如請求項11之電腦可讀媒體，其中該電腦視覺模型經訓練以識別影像內之結構組。
17. 如請求項11之電腦可讀媒體，其中該電腦視覺模型包括一語義分割模型，且其中產生該組結構線包括基於由該語義分割模型產生之片段來產生該組結構線。
18. 如請求項11之電腦可讀媒體，其中產生該組結構線包括： 識別該影像中描繪之一組結構之各者之一類型。
19. 如請求項18之電腦可讀媒體，其中該組結構線包括與該組結構之一結構相關聯之一結構類型之一指示。
20. 如請求項11之電腦可讀媒體，其中該虛擬內容包括擴增實境內容。