[go: up one dir, main page]

TWI805840B - 點雲壓縮位元串流格式方法及裝置 - Google Patents

點雲壓縮位元串流格式方法及裝置 Download PDF

Info

Publication number
TWI805840B
TWI805840B TW108133216A TW108133216A TWI805840B TW I805840 B TWI805840 B TW I805840B TW 108133216 A TW108133216 A TW 108133216A TW 108133216 A TW108133216 A TW 108133216A TW I805840 B TWI805840 B TW I805840B
Authority
TW
Taiwan
Prior art keywords
bitstream
video track
restricted video
track
isobmff
Prior art date
Application number
TW108133216A
Other languages
English (en)
Other versions
TW202037174A (zh
Inventor
亞曼得 哈姆扎
永 何
Original Assignee
美商Vid衡器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商Vid衡器股份有限公司 filed Critical 美商Vid衡器股份有限公司
Publication of TW202037174A publication Critical patent/TW202037174A/zh
Application granted granted Critical
Publication of TWI805840B publication Critical patent/TWI805840B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

提供了用於對包括寫碼點雲序列的點雲位元串流進行編碼和/或解碼的方法、裝置、系統、架構和介面。在這些方法、裝置、系統、架構和介面中包括可以包括處理器和記憶體的裝置。一種方法可以包括以下中的任意者:將該點雲位元串流的分量映射到軌道中;根據該分量的該映射,產生識別幾何結構串流或紋理串流中的任意者的資訊;產生與對應於各個幾何結構分量串流的層相關聯的資訊;以及產生指示與該點雲位元串流相關聯的操作點的資訊。

Description

點雲壓縮位元串流格式方法及裝置
以下大致涉及無線和/或有線通信網路。例如,本文揭露的一個或複數實施例涉及用於解碼與三維(3D)點雲相關聯的資訊的方法和裝置,該三維點雲可以使用無線和/或有線通信網路來發送和/或接收。3D點雲可以提供實體空間、虛擬空間和/或沉浸式媒體的表示。例如,點雲可以是表示3D空間的點的集合,其使用指示每個點的位置的座標以及與這些點中的一個或複數點相關聯的一個或複數屬性(諸如,顏色、透明度、獲取時間、雷射的反射率或材料性質等中的任意者)。點雲可以以多種方式被捕獲。點雲可以通過使用複數相機和深度感測器中的任意者(諸如,例如光檢測和測距(LiDAR)雷射掃描器)而被捕獲。為了表示3D空間,使用點雲來(例如,實際地)重構物件和場景的點的數量可以是數百萬或數十億的數量級,並且可以是進一步增加的數量。點雲的這種大量的點可能需要用於點雲資料的儲存和傳輸的有效表示和壓縮,並且例如可被應用以改善在遠端呈現、虛擬實境和大規模動態3D地圖等領域中使用的3D點的捕獲和渲染中進展。
範例性網路及裝置
圖1A是示出了可以實施一個或複數所揭露的實施例的範例通信系統100的示圖。該通信系統100可以是為複數無線使用者提供語音、資料、視訊、消息傳遞、廣播等內容的多重存取系統。該通信系統100可以通過共用包括無線頻寬在內的系統資源而使複數無線使用者能夠存取此類內容。舉例來說,通信系統100可以使用一種或多種通道存取方法,例如分碼多重存取(CDMA)、分時多重存取(TDMA)、分頻多重存取(FDMA)、正交FDMA(OFDMA)、單載波FDMA(SC-FDMA)、零尾唯一字DFT擴展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、資源塊過濾OFDM以及濾波器組多載波(FBMC)等等。
如圖1A所示,通信系統100可以包括無線傳輸/接收單元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交換電話網路(PSTN)108、網際網路110以及其他網路112,然而應該瞭解,所揭露的實施例設想了任意數量的WTRU、基地台、網路和/或網路元件。每一個WTRU 102a、102b、102c、102d可以是被配置成在無線環境中操作和/或通信的任何類型的裝置。舉例來說,任一WTRU 102a、102b、102c、102d都可被稱為“站”和/或“STA”,其可以被配置成傳輸和/或接收無線信號,並且可以包括使用者設備(UE)、行動站、固定或行動訂戶單元、基於訂閱的單元、呼叫器、行動電話、個人數位助理(PDA)、智慧型電話、膝上型電腦、小筆電、個人電腦、無線感測器、熱點或Mi-Fi裝置、物聯網(IoT)裝置、手錶或其他可穿戴裝置、頭戴顯示器(HMD)、車輛、無人機、醫療裝置和應用(例如遠端手術)、工業裝置和應用(例如機器人和/或在工業和/或自動處理鏈環境中操作的其他無線裝置)、消費類電子裝置、以及在商業和/或工業無線網路上操作的裝置等等。WTRU 102a、102b、102c、102d中的任意者可被可交換地稱為UE。
通信系統100還可以包括基地台114a和/或基地台114b。每一個基地台114a、114b可以是被配置成通過以無線方式與WTRU 102a、102b、102c、102d中的至少一個有無線介面來促進存取一個或複數通信網路(例如CN 106/115、網際網路110、和/或其他網路112)的任何類型的裝置。舉例來說,基地台114a、114b可以是基地收發台(BTS)、節點B、e節點B、本地節點B、本地e節點 B、gNB、新無線電(NR)節點B、網站控制器、存取點(AP)、以及無線路由器等等。雖然每一個基地台114a、114b都被描述成了單個元件,然而應該瞭解。基地台114a、114b可以包括任何數量的互連基地台和/或網路元件。
基地台114a可以是RAN 104/113的一部分,並且該RAN還可以包括其他基地台和/或網路元件(未顯示),例如基地台控制器(BSC)、無線電網路控制器(RNC)、中繼節點等等。基地台114a和/或基地台114b可被配置成在名為胞元(未顯示)的一個或複數載波頻率上傳輸和/或接收無線信號。這些頻率可以處於授權頻譜、無授權頻譜或是授權與無授權頻譜的組合之中。胞元可以為相對固定或者有可能隨時間變化的特定地理區域提供無線服務覆蓋。胞元可被進一步分成胞元扇區。例如,與基地台114a相關聯的胞元可被分為三個扇區。由此,在一個實施例中,基地台114a可以包括三個收發器,也就是說,胞元的每一個扇區有一個。在實施例中,基地台114a可以使用多輸入多輸出(MIMO)技術,並且可以為胞元的每一個扇區使用複數收發器。舉例來說,通過使用波束成形,可以在期望的空間方向上傳輸和/或接收信號。
基地台114a、114b可以通過空中介面116來與WTRU 102a、102b、102c、102d中的一者或多者進行通信,其中該空中介面可以是任何適當的無線通訊鏈路(例如射頻(RF)、微波、釐米波、微米波、紅外線(IR)、紫外線(UV)、可見光等等)。空中介面116可以使用任何適當的無線電存取技術(RAT)來建立。
更具體地說,如上所述,通信系統100可以是多重存取系統,並且可以使用一種或多種通道存取方案,例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如,RAN 104/113中的基地台114a與WTRU 102a、102b、102c可以實施無線電技術,例如通用行動電信系統(UMTS)陸地無線電存取(UTRA),其可以使用寬頻CDMA(WCDMA)來建立空中介面115/116。WCDMA可以包括如高速封包存取(HSPA)和/或演進型HSPA(HSPA+)之類的通信協定。HSPA可以包括高速下鏈(DL)封包存取(HSDPA)和/或高速UL封包存取(HSUPA)。
在實施例中,基地台114a和WTRU 102a、102b、102c可以實施無線電技術,例如演進型UMTS陸地無線電存取(E-UTRA),其中該技術可以使用長期演進(LTE)和/或先進LTE(LTE-A)和/或先進LTA Pro(LTE-A Pro)來建立空中介面116。
在實施例中,基地台114a和WTRU 102a、102b、102c可以實施無線電技術,例如NR無線電存取,其中該無線電技術可以使用新型無線電(NR)來建立空中介面116。
在實施例中,基地台114a和WTRU 102a、102b、102c可以實施多種無線電存取技術。舉例來說,基地台114a和WTRU 102a、102b、102c可以共同實施LTE無線電存取和NR無線電存取(例如使用雙連接(DC)原理)。由此,WTRU 102a、102b、102c使用的空中介面可以多種類型的無線電存取技術和/或向/從多種類型的基地台(例如eNB和gNB)發送的傳輸為特徵。
在其他實施例中,基地台114a和WTRU 102a、102b、102c可以實施無線電技術,例如IEEE 802.11(即無線保真度(WiFi))、IEEE 802.16(全球微波互通存取(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、臨時標準2000(IS-2000)、臨時標準95(IS-95)、臨時標準856(IS-856)、全球行動通信系統(GSM)、用於GSM演進的增強資料速率(EDGE)以及GSM EDGE(GERAN)等等。
圖1A中的基地台114b可以是無線路由器、本地節點B、本地e節點B或存取點,並且可以使用任何適當的RAT來促成局部區域中的無線連接,例如營業場所、住宅、車輛、校園、工業設施、空中走廊(例如供無人機使用)以及道路等等。在一個實施例中,基地台114b與WTRU 102c、102d可以通過實施IEEE 802.11之類的無線電技術來建立無線區域網路(WLAN)。在實施例中,基地台114b與WTRU 102c、102d可以通過實施IEEE 802.15之類的無線電技術來建立無線個人區域網路(WPAN)。在再一實施例中,基地台114b和WTRU 102c、102d可通過使用基於蜂巢的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)來建立微微胞元或毫微微胞元。如圖1A所示,基地台114b可以直連到網際網路110。由此,基地台114b不需要經由CN 106/115來存取網際網路110。
RAN 104/113可以與CN 106/115進行通信,其中該CN可以是被配置成向一個或複數WTRU 102a、102b、102c、102d提供語音、資料、應用和/或網際網路協定語音(VoIP)服務的任何類型的網路。該資料可以具有不同的服務品質(QoS)需求,例如不同的輸送量需求、潛時需求、容錯需求、可靠性需求、資料輸送量需求、以及移動性需求等等。CN 106/115可以提供呼叫控制、記帳服務、基於行動位置的服務、預付費呼叫、網際網路連接、視訊分發等等,和/或可以執行使用者驗證之類的高級安全功能。雖然在圖1A中沒有顯示,然而應該瞭解,RAN 104/113和/或CN 106/115可以直接或間接地和其他那些與RAN 104/113使用相同RAT或不同RAT的RAN進行通信。例如,除了與使用NR無線電技術的RAN 104/113相連之外,CN 106/115還可以與使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi無線電技術的別的RAN(未顯示)通信。
CN 106/115還可以充當供WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110和/或其他網路112的閘道。PSTN 108可以包括提供簡易老式電話服務(POTS)的電路交換電話網路。網際網路110可以包括使用了共同通信協定(例如TCP/IP網際網路協定族中的傳輸控制協定(TCP)、使用者資料包協定(UDP)和/或網際網路協定(IP))的全球性互聯電腦網路及裝置之系統。網路112可以包括由其他服務操作者擁有和/或操作的有線和/或無線通訊網路。例如,網路112可以包括與一個或複數RAN相連的另一個CN,其中該一個或複數RAN可以與RAN 104/113使用相同RAT或不同RAT。
通信系統100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如,WTRU 102a、102b、102c、102d可以包括在不同無線鏈路上與不同無線網路通信的複數收發器)。例如,圖1A所示的WTRU 102c可被配置成與可以使用基於蜂巢的無線電技術的基地台114a通信,以及與可以使用IEEE 802無線電技術的基地台114b通信。
圖1B是示出了範例WTRU 102的系統圖式。如圖1B所示,WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、小鍵盤126、顯示器/觸控板128、非可移記憶體130、可移記憶體132、電源134、全球定位系統(GPS)晶片組136以及其他週邊設備138。應該瞭解的是,在保持符合實施例的同時,WTRU 102還可以包括前述元件的任何子組合。
處理器118可以是通用處理器、專用處理器、常規處理器、數位訊號處理器(DSP)、複數微處理器、與DSP核心關聯的一個或複數微處理器、控制器、微控制器、專用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)電路、其他任何類型的積體電路(IC)以及狀態機等等。處理器118可以執行信號寫碼、資料處理、功率控制、輸入/輸出處理、和/或其他任何能使WTRU 102在無線環境中操作的功能。處理器118可以耦合至收發器120,收發器120可以耦合至傳輸/接收元件122。雖然圖1B將處理器118和收發器120描述成各別組件,然而應該瞭解,處理器118和收發器120也可以整合在一個電子封裝或晶片中。
傳輸/接收元件122可被配置成經由空中介面116來傳輸或接收往或來自基地台(例如基地台114a)的信號。舉個例子,在一個實施例中,傳輸/接收元件122可以是被配置成傳輸和/或接收RF信號的天線。作為範例,在實施例中,傳輸/接收元件122可以是被配置成傳輸和/或接收IR、UV或可見光信號的放射器/檢測器。在又一實施例中,傳輸/接收元件122可被配置成傳輸和/或接收RF和光信號。應該瞭解的是,傳輸/接收元件122可以被配置成傳輸和/或接收無線信號的任何組合。
雖然在圖1B中將傳輸/接收元件122描述成是單個元件,但是WTRU 102可以包括任何數量的傳輸/接收元件122。更具體地說,WTRU 102可以使用MIMO技術。由此,在實施例中,WTRU 102可以包括兩個或複數通過空中介面116來傳輸和接收無線電信號的傳輸/接收元件122(例如複數天線)。
收發器120可被配置成對傳輸/接收元件122所要傳送的信號進行調變,以及對傳輸/接收元件122接收的信號進行解調。如上所述,WTRU 102可以具有多模式能力。因此,收發器120可以包括賦能WTRU 102經由多種RAT(例如NR和IEEE 802.11)來進行通信的複數收發器。
WTRU 102的處理器118可以耦合到揚聲器/麥克風124、小鍵盤126和/或顯示器/觸控板128(例如液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元),並且可以接收來自揚聲器/麥克風124、小鍵盤126和/或顯示器/觸控板128(例如液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元)的使用者輸入資料。處理器118還可以向揚聲器/麥克風124、小鍵盤126和/或顯示器/觸控板128輸出使用者資料。此外,處理器118可以從諸如非可移記憶體130和/或可移記憶體132之類的任何適當的記憶體存取資訊,以及將資訊存入這些記憶體。非可移記憶體130可以包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟或是其他任何類型的記憶存放裝置。可移記憶體132可以包括用戶身份模組(SIM)卡、記憶棒、安全數位(SD)記憶卡等等。在其他實施例中,處理器118可以從那些並非實體位於WTRU 102的記憶體存取資訊,以及將資料存入該記憶體,作為範例,該記憶體可以位於伺服器或家用電腦(未顯示)。
處理器118可以接收來自電源134的電力,並且可被配置分發和/或控制用於WTRU 102中的其他組件的電力。電源134可以是為WTRU 102供電的任何適當裝置。例如,電源134可以包括一個或複數乾電池組(如鎳鎘(NiCd)、鎳鋅(NiZn)、鎳氫(NiMH)、鋰離子(Li-ion)等等)、太陽能電池以及燃料電池等等。
處理器118還可以耦合到GPS晶片組136,該晶片組可被配置成提供與WTRU 102的當前位置相關的位置資訊(例如經度和緯度)。WTRU 102可以經由空中介面116接收來自基地台(例如基地台114a、114b)的加上或取代GPS晶片組136資訊之位置資訊,和/或根據從兩個或更多個附近基地台接收的信號定時來確定其位置。應該瞭解的是,在保持符合實施例的同時,WTRU 102可以經由任何適當的定位方法來獲取位置資訊。
處理器118還可以耦合到其他週邊設備138,其中該週邊設備可以包括提供附加特徵、功能和/或有線或無線連接的一個或複數軟體和/或硬體模組。例如,週邊設備138可以包括加速度計、電子指南針、衛星收發器、數位相機(用於照片和/或視訊)、通用序列匯串流排(USB)埠、振動裝置、電視收發器、免持耳機、Bluetooth®模組、調頻(FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器、虛擬實境和/或增強實境(VR/AR)裝置、以及活動跟蹤器等等。週邊設備138可以包括一個或複數感測器,該感測器可以是以下的一個或複數:陀螺儀、加速度計、霍爾效應感測器、磁力計、方位感測器、鄰近感測器、溫度感測器、時間感測器、地理位置感測器、高度計、光感測器、觸控感測器、磁力計、氣壓計、手勢感測器、生物測定感測器和/或濕度感測器。
WTRU 102可以包括全雙工無線電裝置,其中對於該無線電裝置來說,一些或所有信號(例如與用於UL(例如對傳輸而言)和下鏈(例如對接收而言)的特別子訊框相關聯)的接收或傳輸可以是並行和/或同時的。全雙工無線電裝置可以包括經由硬體(例如扼流圈)或是憑藉處理器(例如各別的處理器(未顯示)或是經由處理器118)的信號處理來減小和/或實質消除自干擾的干擾管理單元139。在實施例中,WTRU 102可以包括傳送和接收一些或所有信號(例如與用於UL(例如對傳輸而言)或下鏈(例如對接收而言)的特別子訊框相關聯)的半雙工無線電裝置。
圖1C是示出了根據實施例的RAN 104和CN 106的系統圖式。如上所述,RAN 104可以在空中介面116上使用E-UTRA無線電技術來與WTRU 102a、102b、102c進行通信。該RAN 104還可以與CN 106進行通信。
RAN 104可以包括e節點B 160a、160b、160c,然而應該瞭解,在保持符合實施例的同時,RAN 104可以包括任何數量的e節點B。每一個e節點B 160a、160b、160c都可以包括在空中介面116上與WTRU 102a、102b、102c通信的一個或複數收發器。在一個實施例中,e節點B 160a、160b、160c可以實施MIMO技術。由此,舉例來說,e節點B 160a可以使用複數天線來向WTRU 102a傳輸無線信號,和/或以及接收來自WTRU 102a的無線信號。
每一個e節點B 160a、160b、160c都可以關聯於一個特定胞元(未顯示),並且可被配置成處理無線電資源管理決定、交接決定、UL和/或DL中的使用者排程等等。如圖1C所示,e節點B 160a、160b、160c彼此可以通過X2介面進行通信。
圖1C所示的CN 106可以包括移動性管理實體(MME)162、服務閘道(SGW)164以及封包資料網路(PDN)閘道(或PGW)166。雖然前述的每一個元件都被描述成是CN 106的一部分,然而應該瞭解,這其中的任一元件都可以由CN操作者之外的實體擁有和/或操作。
MME 162可以經由S1介面連接到RAN 104中的每一個e節點B 160a、160b、160c,並且可以充當控制節點。例如,MME 142可以負責驗證WTRU 102a、102b、102c的使用者,執行承載啟動/去啟動處理,以及在WTRU 102a、102b、102c的初始附著過程中選擇特別的服務閘道等等。MME 162還可以提供一個用於在RAN 104與使用其他無線電技術(例如GSM和/或WCDMA)的其他RAN(未顯示)之間進行切換的控制平面功能。
SGW 164可以經由S1介面連接到RAN 104中的每一個e節點B 160a、160b、160c。SGW 164通常可以路由和轉發往/來自WTRU 102a、102b、102c的使用者資料封包。SGW 164可以執行其他功能,例如在eNB間的交接過程中錨定使用者平面,在DL資料可供WTRU 102a、102b、102c使用時觸發傳呼處理,以及管理並儲存WTRU 102a、102b、102c的上下文等等。
SGW 164可以連接到PGW 166,該PGW可以為WTRU 102a、102b、102c提供封包交換網路(例如網際網路110)存取,以便促成WTRU 102a、102b、102c與賦能IP的裝置之間的通信。
CN 106可以促成與其他網路的通信。例如,CN 106可以為WTRU 102a、102b、102c提供電路切換式網路(例如PSTN 108)存取,以便促成WTRU 102a、102b、102c與傳統的陸線通信裝置之間的通信。例如,CN 106可以包括一個IP閘道(例如IP多媒體子系統(IMS)伺服器)或與之進行通信,並且該IP閘道可以充當CN 106與PSTN 108之間的介面。此外,CN 106可以為WTRU 102a、102b、102c提供針對其他網路112的存取,該其他網路可以包括其他服務操作者擁有和/或操作的其他有線和/或無線網路。
雖然在圖1A至圖1D中將WTRU描述成了無線終端,然而應該想到的是,在某些代表實施例中,此類終端與通信網路可以使用(例如臨時或永久性)有線通信介面。
在一些代表實施例中,該其他網路112可以是WLAN。
採用基礎架構基本服務集(BSS)模式的WLAN可以具有用於該BSS的存取點(AP)以及與該AP相關聯的一個或複數站(STA)。該AP可以存取或是有介面到分散式系統(DS)或是將訊務送入和/或送出BSS的別的類型的有線/無線網路。源於BSS外部往STA的訊務可以通過AP到達並被遞送至STA。源自STA往BSS外部的目的地的訊務可被發送至AP,以便遞送到分別的目的地。處於BSS內部的STA之間的訊務可以通過AP來發送,例如源STA可以向AP發送訊務並且AP可以將訊務遞送至目的地STA。處於BSS內部的STA之間的訊務可被認為和/或稱為點到點訊務。該點到點訊務可以在源與目的地STA之間(例如在其間直接)用直接鏈路建立(DLS)來發送。在某些代表實施例中,DLS可以使用802.11e DLS或802.11z通道化DLS(TDLS)。使用獨立BSS(IBSS)模式的WLAN可不具有AP,並且處於該IBSS內部或是使用該IBSS的STA(例如所有STA)彼此可以直接通信。在這裡,IBSS通信模式有時可被稱為“特定(ad-hoc)”通信模式。
在使用802.11ac基礎設施操作模式或類似的操作模式時,AP可以在固定通道(例如主通道)上傳送信標。該主通道可以具有固定寬度(例如20MHz的頻寬)或是經由傳訊動態設置的寬度。主通道可以是BSS的操作通道,並且可被STA用來與AP建立連接。在某些代表實施例中,所實施的可以是具有衝突避免的載波感測多重存取(CSMA/CA)(例如在802.11系統中)。對於CSMA/CA來說,包括AP在內的STA(例如每一個STA)可以感測主通道。如果特別STA感測到/檢測到和/或確定主通道繁忙,那麼該特定STA可以回退。在指定的BSS中,在任何指定時間可有一個STA(例如只有一個站)進行傳輸。
高輸送量(HT)STA可以使用寬度為40 MHz的通道來進行通信(例如經由將20 MHz的主通道與20 MHz的相鄰或不相鄰通道相結合來形成寬度為40 MHz的通道)。
超高輸送量(VHT)STA可以支援寬度為20 MHz、40 MHz、80 MHz和/或160 MHz的通道。40 MHz和/或80 MHz通道可以通過組合連續的20 MHz通道來形成。160 MHz通道可以通過組合8個連續的20 MHz通道或者通過組合兩個不連續的80 MHz通道(這種組合可被稱為80+80配置)來形成。對於80+80配置來說,在通道編碼之後,資料可被傳遞並經過一個分段解析器,該分段解析器可以將資料非成兩個串流。在每一個串流上可以各別執行反向快速傅利葉變換(IFFT)處理以及時域處理。該串流可被映射在兩個80 MHz通道上,並且資料可以由執行傳輸的STA來傳送。在執行接收的STA的接收器上,用於80+80配置的上述操作可以是相反的,並且組合資料可被發送至媒體存取控制(MAC)。
802.11af和802.11ah支援1 GHz以下的操作模式。相對於802.11n和802.11ac中使用的,在802.11af和802.11ah中通道操作頻寬和載波有所縮減。802.11af在TV白空間(TVWS)頻譜中支援5 MHz、10 MHz和20 MHz頻寬,並且802.11ah支援使用非TVWS頻譜的1 MHz、2 MHz、4 MHz、8 MHz和16 MHz頻寬。根據某些代表實施例,802.11ah可以支援儀錶類型控制/機器類型通信(例如巨集覆蓋區域中的MTC裝置)。MTC可以具有某些能力,例如包含了支援(例如只支援)某些和/或有限頻寬的受限能力。MTC裝置可以包括電池,並且該電池的電池壽命高於臨界值(例如用於保持很長的電池壽命)。
可以支援複數通道和通道頻寬的WLAN系統(例如,802.11n、802.11ac、802.11af以及802.11ah)包括一個可被指明成主通道的通道。該主通道的頻寬可以等於BSS中的所有STA所支援的最大共同操作頻寬。主通道的頻寬可以由STA設置和/或限制,其中該STA源自在支援最小頻寬操作模式的BSS中操作的所有STA。在關於802.11ah的範例中,即使BSS中的AP和其他STA支援2 MHz、4 MHz、8 MHz、16 MHz和/或其他通道頻寬操作模式,但對支援(例如只支援)1 MHz模式的STA(例如MTC類型的裝置)來說,主通道的寬度可以是1 MHz。載波感測和/或網路分配向量(NAV)設置可以取決於主通道的狀態。如果主通道繁忙(例如因為STA(其只支援1 MHz操作模式)對AP進行傳輸),那麼即使大多數的頻帶保持空閒並且可供使用,也可以認為整個可用頻帶繁忙。
在美國,可供802.11ah使用的可用頻帶是902 MHz到928 MHz。在韓國,可用頻帶是917.5 MHz到923.5 MHz。在日本,可用頻帶是916.5 MHz到927.5 MHz。依照國家碼,可用於802.11ah的總頻寬是6 MHz到26 MHz。
圖1D是示出了根據實施例的RAN 113和CN 115的系統圖式。如上所述,RAN 113可以在空中介面116上使用NR無線電技術來與WTRU 102a、102b、102c進行通信。RAN 113還可以與CN 115進行通信。
RAN 113可以包括gNB 180a、180b、180c,但是應該瞭解,在保持符合實施例的同時,RAN 113可以包括任何數量的gNB。每一個gNB 180a、180b、180c都可以包括一個或複數收發器,以便通過空中介面116來與WTRU 102a、102b、102c通信。在一個實施例中,gNB 180a、180b、180c可以實施MIMO技術。例如,gNB 180a、180b可以使用波束成形處理來向和/或從gNB 180a、180b、180c傳輸和/或接收信號。由此,舉例來說,gNB 180a可以使用複數天線來向WTRU 102a傳輸無線信號,和/或接收來自WTRU 102a的無線信號。在實施例中,gNB 180a、180b、180c可以實施載波聚合技術。例如,gNB 180a可以向WTRU 102a傳送複數分量載波(未顯示)。這些分量載波的一個子集可以處於無授權頻譜上,而剩餘分量載波則可以處於授權頻譜上。在實施例中,gNB 180a、180b、180c可以實施協作多點(CoMP)技術。例如,WTRU 102a可以接收來自gNB 180a和gNB 180b(和/或gNB 180c)的協作傳輸。
WTRU 102a、102b、102c可以使用與可縮放參數配置相關聯的傳輸來與gNB 180a、180b、180c進行通信。例如,對於不同的傳輸、不同的胞元和/或不同的無線傳輸頻譜部分來說,OFDM符號間距和/或OFDM子載波間距可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可縮放長度的子訊框或傳輸時間間隔(TTI)(例如包含了不同數量的OFDM符號和/或持續變化的絕對時間長度)來與gNB 180a、180b、180c進行通信。
gNB 180a、180b、180c可被配置成與採用分立配置和/或非分立配置的WTRU 102a、102b、102c進行通信。在分立配置中,WTRU 102a、102b、102c可以在不也存取其他RAN(例如e節點B 160a、160b、160c)的情況下與gNB 180a、180b、180c進行通信。在分立配置中,WTRU 102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作為行動錨點。在分立配置中,WTRU 102a、102b、102c可以使用無授權頻帶中的信號來與gNB 180a、180b、180c進行通信。在非分立配置中,WTRU 102a、102b、102c會在也與別的RAN(例如e節點B 160a、160b、160c)進行通信/相連的同時與gNB 180a、180b、180c進行通信/相連。舉例來說,WTRU 102a、102b、102c可以通過實施DC原理而以實質同時的方式與一個或複數gNB 180a、180b、180c以及一個或複數e節點B 160a、160b、160c進行通信。在非分立配置中,e節點B 160a、160b、160c可以充當WTRU 102a、102b、102c的行動錨點,並且gNB 180a、180b、180c可以提供附加的覆蓋和/或輸送量,以便為WTRU 102a、102b、102c提供服務。
每一個gNB 180a、180b、180c都可以關聯於特別胞元(未顯示),並且可以被配置成處理無線電資源管理決定、交接決定、UL和/或DL中的使用者排程、支援網路截割、雙連接性、NR與E-UTRA之間的互通處理、路由往使用者平面功能(UPF)184a、184b的使用者平面資料、以及路由往存取和移動性管理功能(AMF)182a、182b的控制平面資訊等等。如圖1D所示,gNB 180a、180b、180c彼此可以通過Xn介面通信。
圖1D所示的CN 115可以包括至少一個AMF 182a、182b,至少一個UPF 184a、184b,至少一個對話管理功能(SMF)183a、183b,並且有可能包括資料網路(DN)185a、185b。雖然每一個前述元件都被描述成CN 115的一部分,但是應該瞭解,這其中的任一元件都可以被CN操作者之外的其他實體擁有和/或操作。
AMF 182a、182b可以經由N2介面連接到RAN 113中gNB 180a、180b、180c的其中之一或更多,並且可以充當控制節點。例如,AMF 182a、182b可以負責驗證WTRU 102a、102b、102c的使用者,支援網路截割(例如處理具有不同需求的不同PDU對話),選擇特別的SMF 183a、183b,管理註冊區域,終止NAS傳訊,以及移動性管理等等。AMF 182a、1823b可以使用網路截割處理,以便基於WTRU 102a、102b、102c使用的服務類型來定制為WTRU 102a、102b、102c提供的CN支援。舉例來說,針對不同的使用情況,可以建立不同的網路截割,該使用情況例如為依賴於超可靠低潛時(URLLC)存取的服務、依賴於增強型大規模行動寬頻(eMBB)存取的服務、和/或用於機器類型通信(MTC)存取的服務等等。AMF 182可以提供用於在RAN 113與使用其他無線電技術(例如LTE、LTE-A、LTE-A Pro和/或諸如WiFi之類的非3GPP存取技術)的其他RAN(未顯示)之間切換的控制平面功能。
SMF 183a、183b可以經由N11介面連接到CN 115中的AMF 182a、182b。SMF 183a、183b還可以經由N4介面連接到CN 115中的UPF 184a、184b。SMF 183a、183b可以選擇和控制UPF 184a、184b,並且可以通過UPF 184a、184b來配置訊務路由。SMF 183a、183b可以執行其他功能,例如管理和分配WTRU或UE IP位址、管理PDU對話、控制策略實施和QoS,以及提供下鏈資料通知等等。PDU對話類型可以是基於IP的、不基於IP的,以及基於乙太網路的等等。
UPF 184a、184b可以經由N3介面連接到RAN 113中gNB 180a、180b、180c的其中之一或更多,其可以為WTRU 102a、102b、102c提供對封包交換網路(例如網際網路110)的存取,以便促成WTRU 102a、102b、102c與賦能IP的裝置之間的通信。UPF 184、184b可以執行其他功能,例如路由和轉發封包、實施使用者平面策略、支援多連接(multi-homed)PDU對話、處理使用者平面QoS、緩衝下鏈封包、以及提供行動性錨定處理等等。
CN 115可以促成與其他網路的通信。例如,CN 115可以包括或者可以與充當CN 115與PSTN 108之間的介面的IP閘道(例如IP多媒體子系統(IMS)伺服器)進行通信。此外,CN 115可以為WTRU 102a、102b、102c提供針對其他網路112的存取,其可以包括其他服務操作者擁有和/或操作的其他有線和/或無線網路。在一個實施例中,WTRU 102a、102b、102c可以經由到UPF 184a、184b的N3介面以及介於UPF 184a、184b與DN 185a、185b之間的N6介面通過UPF 184a、184b連接到本地資料網路(DN)185a、185b。
有鑒於圖1A至圖1D以及關於圖1A至圖1D的相應描述,在這裡對照以下的一項或多項描述的功能的其中之一或更多或全部可以由一個或複數模擬裝置(未顯示)來執行:WTRU 102a-d、基地台114a-b、e節點B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF 184a-b、SMF 183a-b、DN 185 a-b和/或這裡描述的其他任何裝置(一個或複數)。這些模擬裝置可以是被配置成類比這裡所描述功能之一個或複數或全部的一個或複數裝置。舉例來說,這些模擬裝置可用於測試其他裝置和/或模擬網路和/或WTRU功能。
該模擬裝置可被設計成在實驗室環境和/或操作者網路環境中實施關於其他裝置的一項或多項測試。例如,該一個或複數模擬裝置可以在被完全或部分作為有線和/或無線通訊網路一部分實施和/或部署的同時執行一個或複數或所有功能,以便測試通信網路內部的其他裝置。該一個或複數模擬裝置可以在被臨時作為有線和/或無線通訊網路的一部分實施/部署的同時執行一個或複數或所有功能。該模擬裝置可以直接耦合到別的裝置以用於執行測試之目的,和/或可以使用空中無線通訊來執行測試。
該一個或複數模擬裝置可以在未被作為有線和/或無線通訊網路一部分實施/部署的同時執行包括所有功能在內的一個或複數功能。例如,該模擬裝置可以在測試實驗室和/或未被部署(例如測試)的有線和/或無線通訊網路的測試場景中使用,以便實施關於一個或複數組件的測試。該一個或複數模擬裝置可以是測試裝置。該模擬裝置可以使用直接的RF耦合和/或經由RF電路(作為範例,該電路可以包括一個或複數天線)的無線通訊來傳輸和/或接收資料。
數位視訊能力可被併入到廣泛範圍的裝置中,這些裝置可包含數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位相機、數位記錄裝置、視訊遊戲裝置、視訊遊戲控制台、蜂巢式、衛星或其它無線無線電電話等。許多數位視訊裝置實施視訊壓縮技術,例如由運動圖像專家組(MPEG)界定的標準中所描述的那些技術,例如MPEG-2、MPEG-4;以及由國際電信聯盟(ITU)界定的標準中所描述的那些技術,例如ITU-T H.263或ITU-T H.264/MPEG-4第10部分、高級視訊寫碼(AVC)以及這些標準的擴展,以更有效地發送和接收數位視訊資訊(其包括與三維(3D)點雲相關聯的資訊)。
圖2是示出了可以執行和/或實施一個或複數實施例所在的範例視訊編碼(encoding)和解碼(decoding)系統10的框圖。該系統10可包括源裝置12,其經由通信通道16將編碼的視訊資訊傳輸到目的地裝置14。
該源裝置12和目的地裝置14可以是寬範圍裝置中的任意者。在一些實施例中,該源裝置12和目的地裝置14可以包括無線傳輸和/或接收單元(WTRU),例如無線手機或者可以在通信通道16上傳送視訊資訊的任意無線裝置,在這種情況下,該通信通道16包括無線鏈路。然而,本文中描述、揭露或以其它方式明確地、隱含地和/或固有地提供(統稱為“提供”)的方法、裝置和系統不一定限於無線應用或設置。例如,這些技術可應用於空中電視廣播、電纜電視傳輸、衛星電視傳輸、網際網路視訊傳輸、編碼到儲存媒體上的編碼數位視訊、或其它場景。因此,該通信通道16可包括和/或可為適於傳輸編碼視訊資料的無線或有線媒體的任意組合。
該源裝置12可以包括視訊編碼器單元18、傳輸和/或接收(Tx/Rx)單元20和Tx/Rx元件22。如圖所示,該源裝置12可選地包含視訊源24。該目的地裝置14可包含Tx/Rx元件26、Tx/Rx單元28和視訊解碼器單元30。如圖所示,該目的地裝置14可以可選地包括顯示裝置32。該Tx/Rx單元20、28中的每一個可以是或包括傳輸器、接收器或傳輸器和接收器的組合(例如,收發器或傳輸器-接收器)。該Tx/Rx元件22、26中的每一個可以是例如天線。根據本揭露,源裝置12的視訊編碼器單元18和/或該目的地裝置的視訊解碼器單元30可被配置和/或調適(統稱為"調適")以應用本文中所提供的寫碼(coding)技術。
該源和目的地裝置12、14可以包括其他元件/組件或佈置。例如,該源裝置12可以被調適以從外部視訊源接收視訊資料。並且,該目的地裝置14可以與外部顯示裝置(未示出)有介面,而不是包括和/或使用該(例如,整合的)顯示裝置32。在一些實施例中,由該視訊編碼器單元18產生的資料串流可例如通過直接數位移轉而被傳送到其它裝置,而不需要將該資料調變到載波信號上,其中該其它裝置可以調變或不調變用於傳輸的資料。
圖2所示的系統10僅是一個範例。本文所提供的技術可由任意數位視訊編碼和/或解碼裝置執行。儘管通常由各別的視訊編碼和/或視訊解碼裝置來執行本文所提供的技術,但該技術也可由通常稱為“編解碼器(CODEC)”的組合視訊編碼器/解碼器來執行。此外,本文所提供的技術還可由視訊前置處理器等來執行。該源裝置12和目的地裝置14僅為這些寫碼裝置的範例,其中該源裝置12產生(和/或接收視訊資料且產生)編碼的視訊資訊以供傳輸到該目的地裝置14。在一些實施例中,該裝置12、14可以大致對稱的方式操作,使得該裝置12、14中的每一者包括視訊編碼和解碼組件和/或元件(統稱為“元件”)。因此,該系統10可以支援裝置12、14之間的單向和雙向視訊傳輸中的任意者,例如,用於視訊串流進行、視訊重播、視訊廣播、視訊電話通訊和視訊會議中的任意者。在一些實施例中,該源裝置12可為(例如)視訊串流進行伺服器,其被調適以產生(和/或接收視訊資料並產生)用於一個或一個以上目的地裝置的編碼的視訊資訊,其中該目的地裝置可經由有線和/或無線通訊系統與該源裝置12通信。
外部視訊源和/或視訊源24可以是和/或包括視訊擷取裝置,諸如視訊攝像機、包含先前捕獲的視訊檔案、和/或來自視訊內容提供方的視訊饋送。或者,該外部視訊源和/或視訊源24可產生基於電腦圖形的資料作為源視訊或關於現場視訊、歸檔視訊和電腦產生視訊的組合。在一些實施例中,如果視訊源24是視訊相機,那麼源裝置12和目的地裝置14可為或實施為相機電話或視訊電話。然而,如上文所提及,本文所提供的技術可大體上適用於視訊寫碼,且可應用於無線和/或有線應用。在任意情況下,所捕獲的、預捕獲的、電腦產生的視訊、視訊饋送或其它類型的視訊資料(統稱為“未編碼的視訊”)可由視訊編碼器單元18編碼以便形成編碼的視訊資訊。
該Tx/Rx單元20可以例如根據通信標準調變編碼的視訊資訊,以便形成攜帶編碼的視訊資訊的一個或複數調變信號。該Tx/Rx單元20還可以將調變信號遞送到其傳輸器以便傳輸。該傳輸器可以經由Tx/Rx元件22將該調變信號發送到該目的地裝置14。
在該目的地裝置14處,該Tx/Rx單元28可以經由Tx/Rx元件26從通道16上接收該調變信號。該Tx/Rx單元28可以解調該調變信號以獲得該編碼的視訊資訊。Tx/RX單元28可將該編碼的視訊資訊遞送到視訊解碼器單元30。
視訊解碼器單元30可對該編碼的視訊資訊進行解碼以獲得解碼的視訊資料。該編碼的視訊資訊可包含由視訊編碼器單元18界定的語法資訊。該語法資訊可以包括一個或複數元素(“語法元素”);其中的一些或全部可用於對該編碼的視訊資訊進行解碼。該語法元素可包括例如該編碼的視訊資訊的特性。該語法元素還可包括用於形成該編碼的視訊資訊的未編碼視訊的特性和/或描述對該未編碼視訊的處理。
該視訊解碼器單元30可輸出解碼的視訊資料以供稍後儲存和/或在外部顯示器(未圖示)上顯示。或者,該視訊解碼器單元30可以將解碼的視訊資料輸出到顯示裝置32。該顯示裝置32可以是和/或包括調適成向使用者顯示解碼的視訊資料的各種顯示裝置之任意個別者、複數組合。這種顯示裝置的例子包括液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器、陰極射線管(CRT)等。
該通信通道16可以是任意無線或有線通信媒體(諸如射頻(RF)頻譜或一個或複數實體傳輸線),或無線和有線媒體的任意組合。該通信通道16可形成基於封包的網路的一部分,例如區域網路、廣域網路或全球網路(例如,網際網路)的一部分。該通信通道16通常表示用於將視訊資料從該源裝置12傳輸到該目的地裝置14的任意適當的通信媒體或不同通信媒體的集合,這其中包括有線或無線媒體的任意適當的組合。該通信通道16可包含路由器、交換機、基地台或可用於促進從源裝置12到目的地裝置14的通信的任意其它裝備。下面參考圖8、9A-9E提供了可以促進裝置12、14之間的這種通信的範例通信系統的細節。下面還提供了可以代表裝置12、14的裝置的細節。
該視訊編碼器單元18和該視訊解碼器單元30可根據一個或一個以上標準和/或規範操作,例如MPEG-2、H.261、H.263、H.264/AVC、根據SVC擴展(“H.264/SVC”)擴展的H.264等。然而,應當理解,這裡提供的方法、裝置和系統可應用於根據不同標準實施(和/或符合不同標準)的其它視訊編碼器、解碼器和/或CODEC,或者可應用於專用視訊編碼器、解碼器和/或CODEC,其可包括未來的將要開發的視訊編碼器、解碼器和/或CODEC。然而,此外,本文提供的技術不限於任何特別寫碼標準。
上述H.264/AVC的相關部分可從國際電信聯盟獲得,例如,ITU-T建議H.264,或者更具體的,“ITU-T Rec.H.264和ISO/IEC14496-10 (MPEG4-AVC)”、“Advanced Video Coding for Generic Audiovisual Services,' v5, March, 2010;”,其通過引用結合於此,並且其在此可以被稱為H.264標準或H.264規範、或者H.264/AVC標準或規範。該H.264/AVC標準是由ITU-T視訊解碼專家組(VCEG)與ISO/IEC MPEG一起制定的,作為共同夥伴關係(稱為聯合視訊團隊(JVT))的產品。在一些方面,本文提供的技術可應用於通常符合H.264標準的裝置。該JVT繼續對H.264/AVC標準進行擴展。
在ITU-T的各種論壇(例如,Key Technologies Area (KTA)論壇),已經進行了推進H.264/AVC標準的工作。至少一些論壇部分地尋求推進表現出比H.264/AVC標準所表現出的寫碼效率更高的寫碼效率的解碼技術。例如,ISO/IEC MPEG和ITU-T VCEG已經建立了視訊寫碼的聯合協作團隊(JCT-VC),其已經開始開發下一代視訊寫碼和/或壓縮標準,即,高效視訊寫碼(HEVC)標準。在一些方面中,本文所提供的技術可提供相對於和/或根據H.264/AVC和/或HEVC (當前草案)標準的寫碼改進。
儘管圖2中未展示,但在一些方面中,該視訊編碼器及視訊解碼器單元18、30中的每一者可包括音訊編碼器和/或解碼器和/或整合有音訊編碼器和/或解碼器(視情況而定)。該視訊編碼器和視訊解碼器單元18、30可包括適當的MUX-DEMUX單元或其它硬體和/或軟體,以處理共同資料串流或各別資料串流中的音訊和視訊這兩者的編碼。如果適用,該MUX-DEMUX單元可符合例如ITU-T建議H.223多工器協定或例如使用者資料報協定(UDP)等的其它協定。
該視訊編碼器單元18和視訊解碼器單元30中的每一者或多者可被包括在一個或一個以上編碼器或解碼器中;其中的任意者可以被整合為CODEC的一部分,並且可以與分別的相機、電腦、行動裝置、用戶裝置、廣播裝置、機上盒、伺服器等整合或以其他方式組合。此外,該視訊編碼器單元18及該視訊解碼器單元30可分別被實施為多種合適編碼器及解碼器電路系統中的任意者,例如一個或一個以上微處理器、數位訊號處理器(DSP)、專用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任意組合。或者,該視訊編碼器及視訊解碼器單元18、30中的任一者或兩者可實質上以軟體實施,且因此,視訊編碼器單元18和/或視訊解碼器單元30的元件的操作可由一個或一個以上處理器(未圖示)執行的適當軟體指令執行。同樣,除了該處理器之外,這樣的實施例還可以包含晶片外的組件,例如外部記憶體(例如,以非揮發性記憶體的形式)、輸入/輸出介面等。
在其它實施例中,該視訊編碼器單元18及該視訊解碼器單元30中的每一者的元件中的一些可實施為硬體,而其它的可使用由一個或一個以上處理器(未圖示)執行的適當軟體指令來實施。在視訊編碼器和/或視訊解碼器單元18、30的元件的操作可由一個或一個以上處理器執行的軟體指令執行所在的任意實施例中,此軟體指令可維持在電腦可讀媒體上,該電腦可讀媒體包括磁片、光碟和CPU可讀的任意其它揮發性(例如,隨機存取記憶體(“RAM”))或非揮發性(例如,唯讀記憶體(“ROM”))大型存放區系統。該電腦可讀媒體可以包括協作的或互連的電腦可讀媒體,其專有存在於處理系統上,或者分佈在對於該處理系統可以是本地或遠端的複數互連的處理系統之間。
國際標準組織/國際電工技術委員會(ISO/IEC)聯合技術委員會1/SC29 /工作組11 (JTC1/SC29/WG11)運動圖像專家組(MPEG)的3D圖形子組已經開發了3D點雲壓縮(PCC)標準,其包括:(1)用於靜態點雲的基於幾何結構(geometry)的壓縮標準;以及(2)用於動態點雲的基於視訊的壓縮標準。這些標準可以提供3D點雲的儲存和傳輸。這些標準還可以支援點雲幾何結構座標和屬性的有損和/或無損寫碼。
圖3是示出了用於基於視訊的點雲壓縮(V-PCC)的位元串流的結構的示圖。
參照圖3,位元串流(例如,所產生的視訊位元串流)和元資料(metadata)可以被多工在一起以產生V-PCC位元串流。位元串流語法(例如,與MPEG相關的V-PCC標準的位元串流語法)可以如表1所示定義。 1 - V-PCC 位元串流語法
bitstream( ) { 描述符
      bitstream_header( )  
      ByteCount = 0  
      while( ByteCount > bitstream_size_in_bytes){  
             group_of_frames_header( )  
             group_of_frames_geometry_video_stream( )  
             group_of_frames_auxiliary_information( )  
             group_of_frames_occupancy_map( )  
            group_of_frames_texture_video_stream( )  
      }  
}  
參考圖3的位元串流語法,位元串流可以例如以全域標頭開始,其可以應用於整個PCC位元串流,並且該全域標頭之後可以跟隨有訊框組(GOF)單元的序列。GOF(例如,一個GOF單元)可提供任意數量的PCC訊框的表示(例如,級聯表示),這些PCC訊框共用可在GOF標頭(例如,標頭前導和/或在GOF單元的開始處)中定義的性質。也就是說,GOF單元可以包括GOF標頭,其後跟隨有分量串流的序列。
分量串流可以包括一個或複數視訊串流(例如,用於紋理的視訊串流、用於幾何結構的一個或兩個視訊串流)和元資料串流。然而,本揭露不限於此,並且分量串流可以包括任意數量的元資料串流。該元資料串流可以包括子串流,例如用於佔用圖的子串流和用於輔助資訊的子串流。該元資料串流中的該資訊可以與幾何結構訊框相關聯,並且可以用於重構點雲。GOF單元內的串流可以是:(1)按順序的;以及(2)不是以逐訊框為基礎而被交織的。
圖4是示出了作為V-PCC單元序列的V-PCC位元串流的結構的示圖。
在V-PCC胞元草案(CD)的一個版本中,V-PCC位元串流可由一組V-PCC單元組成,如圖4所示。例如,如在V-PCC CD中定義的V-PCC單元的語法在下表2中示出。在這種情況下,每個V-PCC單元具有V-PCC單元標頭和V-PCC單元有效載荷。
該V-PCC單元標頭描述V-PCC單元類型,如下表3所示。具有單元類型2、3和4的V-PCC單元可分別被定義(例如,在V-PCC CD中)為佔用資料單元、幾何結構資料單元和屬性資料單元。這些資料單元表示用於重構點雲的(例如,所需的)三個(例如,主要)分量。除了V-PCC單元類型之外,V-PCC屬性單元標頭還指定屬性類型及其索引,從而允許支援相同屬性類型的複數實例。
該佔用、幾何結構和屬性V-PCC單元的有效載荷對應於可由在對應的佔用、幾何結構和屬性參數集V-PCC單元中指定的視訊解碼器解碼的視訊資料單元(例如,HEVC NAL單元)。 2 V-PCC 單元語法
vpcc_unit( ) { 描述符
      vpcc_unit_header( )  
      vpcc_unit_payload( )  
}  
3 V-PCC 單元標頭語法
vpcc_unit_header( ) { 描述符
       vpcc_unit_type u(5)
        if( vpcc_unit_type  = =  VPCC_AVD  | |  vpcc_unit_type  = =  VPCC_GVD  | |                 vpcc_unit_type  = =  VPCC_OVD  | |  vpcc_unit_type  = =  VPCC_PSD )  
vpcc_sequence_parameter_set_id u(4)
        if( vpcc_unit_type  = =  VPCC_AVD ) {  
               vpcc_attribute_index u(7)
                if( sps_multiple_layer_streams_present_flag ) {  
vpcc_layer_index u(4)
                        pcm_separate_video_data( 11 )  
                }  
                Else  
                        pcm_separate_video_data( 15 )  
        } else if( vpcc_unit_type  = =  VPCC_GVD ) {  
                if( sps_multiple_layer_streams_present_flag ) {  
vpcc_layer_index u(4)
                        pcm_separate_video_data( 18 )  
                }  
                Else  
                        pcm_separate_video_data( 22 )  
        } else if( vpcc_unit_type  = =  VPCC_OVD  | |  vpcc_unit_type  = =  VPCC_PSD ) {  
               vpcc _reserved_zero_23bits u(23)
        } else  
               vpcc_reserved_zero_27bits u(27)
}  
4 V-PCC 單元有效載荷語法
vpcc_unit_payload( ) { 描述符
      if( vpcc_unit_type  = =  VPCC_SPS )  
             sequence_parameter_set( )  
      else if( vpcc_unit_type  = =  VPCC_PSD )  
             patch_sequence_data_unit( )  
      else if( vpcc_unit_type  = =  VPCC_OVD  | |                    vpcc_unit_type  = =  VPCC_GVD  | |                    vpcc_unit_type  = =  VPCC_AVD)  
             video_data_unit( )  
}  
該V-PCC CD將V-PCC位元串流指定為一組V-PCC單元,其中存在五種類型的V-PCC單元:VPCC_SPS、VPCC_PSD、VPCC_OVD、VPCC_GVD和VPCC_AVD。該VPCC_SPS由其它單元類型通過單元標頭處的VPCC_sequence_parameter_set_id引用。
圖5是示出了V-PCC單元資料類型、單元標頭語法和對活動序列參數集(SPS)的引用的示圖。SPS包含序列級語法元素,諸如SPS_frame_width、SPS_frame_height、SPS_layer_count_minus1和配置標誌。SPS還包括語法結構,諸如profile_tier_level(簡檔_層級_級別)、occupancy_parameter_set、geometry_parameter_set和一個或複數attribute_parameter_set。
VPCC_PSD還包括複數PSD參數集單元類型,例如PSD_SPS、PSD_GFPS、PSD_GPPS、PSD_AFPS、PSD_APPS、PSD_FPS和PSD_PFLU。每個參數集可以引用不同的序列級參數集或PSD級參數集,並且每個參數集包括複數置換標誌、賦能標誌或呈現標誌,例如,以減少負擔。
圖6是示出了SPS參數集和PSD參數集的示圖。SPS和PSD中包括的參數集以及參數集與較高級參數集之間的引用鏈路在圖6中示出。圖6的虛線指示較高參數集處的參數可以被較低級別參數集覆蓋。 ISO基本媒體檔案格式
根據MPEG標準(例如ISO/IEC14496 (MPEG-4)標準),用於基於時間的媒體的檔案格式可以包括幾個部分。例如,這些部分可以基於ISO基本媒體檔案格式(ISOBMFF)、包括在ISO基本媒體檔案格式(ISOBMFF)中和/或從ISO基本媒體檔案格式(ISOBMFF)導出,該ISO基本媒體檔案格式是結構化的、與媒體無關的定義。
根據ISOBMFF的檔案格式可支援(例如可包含、包括等)用於媒體資料的定時呈現的結構和/或媒體資料資訊,該媒體資料諸如音訊、視訊、虛擬/增強實境等。ISOBMFF還可支援非定時資料,諸如檔結構內不同級別的元資料。根據ISOBMFF,檔可具有電影的邏輯結構,使得該電影可包含一組時間平行行軌道(track)。根據ISOBMFF,檔可具有時間結構,使得該軌道可包括例如在時間上的樣本序列。該樣本序列可被映射到整個電影的時間線中。ISOBMFF基於盒子結構檔的概念。盒子結構化檔可包括一系列盒子(例如,其中盒子可被稱為基元),其具有大小和類型。根據ISOBMFF,該類型可根據32位元值來識別,這些值可由四個可列印字元表示,也稱為四字元碼(4 CC)。根據ISOBMFF,未定時資料可以包含在元資料盒子中(例如在檔級別的元資料盒子中),或者可以被附加到電影盒子或該電影內的定時資料串流,例如軌道。
ISOBMFF容器包括可被稱為電影盒子(MovieBox(moov))的盒子,該盒子可包含檔(例如,該容器)中所包括的(例如,連續的)媒體串流的元資料。元資料可以在MovieBox中的盒子層次結構內(例如,在軌道盒子(TrackBox (Trak))內被用信號通知。軌道可以表示包括在該檔中的連續媒體串流。媒體串流可以是樣本序列,諸如基本媒體串流的音訊或視訊存取單元,並且可以被裝入在檔(例如容器)的頂級別處存在的媒體資料盒子(MediaDataBox(mdat))中。每個軌道的元資料可以包括樣本描述條目的清單,每個樣本描述條目提供例如:(1)在軌道中使用的寫碼和/或封裝格式;以及(2)用於處理該格式的初始化資料。每個樣本可以與該軌道的樣本描述條目相關聯。(例如,對於每個軌道的)顯式時間線映射可以使用工具(例如,編輯列表)來定義。該編輯列表可以使用編輯列表盒子(EditListBox)來發信號通知,其中每個條目可以通過以下各項中的任意者來定義該軌道時間線的一部分:(1)對合成時間線的部分進行映射;或(2)指示空時間(例如,在呈現時間線的複數部分沒有映射到媒體的情況下,‘空’編輯)。該EditListBox可具有以下語法:
Figure 02_image001
媒體檔可以通過使用工具(例如,分段)而被遞增地產生、漸進地下載和/或調適地資料串流化。根據ISOBMFF,分段容器可包括MovieBox,其後跟隨有分段序列,例如電影片段。每個電影片段可以包括:(1) 電影片段盒子(MovieFragmentBox (moof)),其可包括樣本表的子集;以及(2) 媒體資料盒子(MediaDataBox (mdat)),其可以包括該樣本表的該子集的樣本。該MovieBox可以僅包含非樣本特定資訊,例如軌道和/或樣本描述資訊。在該電影片段內,一組軌道片段可以由複數軌道片段盒子(TrackFragmentBox (Traf))實例來表示。軌道片段可以具有零個或複數軌道運行,並且軌道運行可以記錄(例如,表示)該軌道的樣本的連續運行。MovieFragmentBox可包括電影片段標頭盒子(MovieFragmentHeaderBox (mfhd)),其可包括序號(例如,以1開始且針對檔中的每一電影片段在值上循序改變的號)。 3D點雲
3D點雲可以用於新媒體,諸如VR和沉浸式3D圖形,以便賦能與VR和/或新媒體的新形式的交互作用和通信。MPEG通過3D工作組已經開發了定義壓縮動態點雲的位元串流的標準。在MPEG標準中定義的位元串流被組織成訊框組(GOF)單元的序列,並且每個GOF單元包括複數訊框的分量串流的序列。在MPEG標準位元串流的情況下,PCC解碼器可能需要分析整個位元串流,例如從第一位元開始,以便尋求某個GOF和/或同步GOF邊界。在這種情況下,由於PCC訊框不在GOF單元內被內部地交錯,因此需要存取(例如,讀取、儲存等)整個GOF單元以便安全解碼和重構。此外,在這種情況下,重播定時資訊是視訊寫碼分量位元串流的訊框定時資訊所固有的。此外,在這種情況下,所利用的用於分量串流的視訊編解碼器可以不在PCC位元串流中的較高級別上被用信號通知,並且該PCC位元串流可以不提供對PCC特定的媒體簡檔、層級和/或級別的支援。
根據實施例,諸如PCC位元串流的位元串流可以基於(例如,可以符合、可以類似於等) ISOBMFF。例如,V-PCC位元串流的檔案格式可基於該ISOBMFF。根據實施例,V-PCC位元串流可提供PCC串流的(例如,不同的、複數、多組等)分量的靈活儲存和提取。根據實施例,V-PCC位元串流可(例如,以ISOBMFF位元串流的方式、根據ISOBMFF位元串流、類似於ISOBMFF位元串流、符合ISOBMFF位元串流等)被重構為ISOBMFF位元串流。
圖7是示出了GOF串流到電影片段的映射的示圖。
片段(例如,ISOBMFF片段)可用於定義(例如,識別、劃界、分界等) V-PCC位元串流。參照圖7,片段(例如,每個電影片段)可以通過以下映射而被定義:(1) 將GOF標頭資料映射到到MovieFragmentBox;以及(2)將GOF視訊串流和/或GOF元資料(例如,輔助資訊、佔用圖等)映射到該電影片段的MediaDataBox。在圖7的情況下,每個GOF單元可以被映射到ISOBMFF片段,或者換句話說,僅示出了GOF單元和電影片段之間的一對一映射。
另外,在某些情況下,用於VPCC修補(patch)序列資料單元(VPCC_PSD)的參數集引用結構設計可能存在問題。也就是說,當patch_frame_parameter_set經由pfps_patch_sequence_parameter_set_id引用活動修補序列參數集、經由pfps_geometry_patch_frame_parameter_set_id引用活動幾何結構修補參數集、以及經由pfps_attribute_patch_frame_parameter_set_id引用活動屬性修補參數集時,可能會存在問題。每個活動幾何結構修補參數集通過gpps_geometry_frame_parameter_set_id引用活動幾何結構訊框參數集,且每個活動幾何結構訊框參數集通過gfps_patch_sequence_parameter_set_id引用活動修補序列參數集。此外,每個活動屬性修補參數集通過apps_attribute_frame_parameter_set_id引用活動屬性訊框參數集,且每個活動屬性訊框參數集通過afps_patch_sequence_parameter_set_id引用活動修補序列參數集。
在上述有問題的情況下,當pfps_patch_sequence_parameter_set_id、gfps_patch_sequence_parameter_set_id和afps_patch_sequence_parameter_set_id的值不同時,修補訊框參數集可以結束引用三個不同的活動修補序列參數集,並且當不同的活動修補序列參數集包含不同的參數值時,這是有問題的。 基於ISOBMFF的V-PCC位元串流
圖8是示出了根據實施例的V-PCC位元串流結構的示圖。
根據實施例,V-PCC位元串流結構可基於ISOBMFF位元串流結構。根據實施例,例如如圖8所示的項目和/或元素(例如,盒子)可被映射到(例如,對應)ISOBMFF盒子。根據實施例,分量串流可被映射到例如容器檔內的個別軌道。根據實施例,V-PCC串流的分量串流可包括以下中的任意者:(1)用於幾何結構或紋理資訊中的任意者的一個或複數(例如,兩個或三個)視訊串流;以及(2)用於佔用圖或輔助資訊中的任意者的一個或複數定時元資料串流。
根據實施例,其它分量串流(例如,不同於以上討論的分量串流的類型)可被包括在V-PCC串流中。例如,其它串流可以包括與點雲(例如,3D點雲)的點相關聯的任意數量或類型的屬性的串流。根據實施例,例如,為了提供GOF標頭資訊,可以在容器檔中包括(例如,附加的)定時元資料軌道。根據實施例,可以用信號通知元資料。根據實施例,元資料(例如,描述檔中的分量串流的特性和/或不同軌道之間的關係的資訊)可以例如使用根據MPEG標準提供的工具而被用信號通知。
根據實施例,媒體和/或定時元資料軌道的樣本可以被包含在MediaDataBox (mdat)中。根據實施例,串流的樣本可以被順序地儲存在該MediaDataBox中。例如,在媒體儲存的情況下,每個串流的樣本可以一起儲存在MediaDataBox中,其中該串流是按順序的,使得包括第一串流的所有樣本的序列之後可以是包括第二串流的所有樣本的另一序列。
根據實施例,分量(例如,分量串流)的樣本可被分成組塊(chunk)。例如,可以根據GOF單元的任意大小而將分量串流的樣本分成組塊。根據實施例,塊組可以被交織。例如,組塊可在MediaDataBox內被交織,以便支援V-PCC位元串流的漸進式下載。根據實施例,組塊可以具有(即,可以具有)不同的大小,並且組塊內的樣本可以具有(即,可以具有)不同的大小。
樣本至組塊盒子(SampleToChunkBox (stsc))可以被包含在軌道的樣本表盒子(SampleTableBox (stbl))中,並且SampleToChunkBox (stsc)可以包括表。根據實施例,SampleToChunkBox可用於找到(例如,可指示、可用於確定)以下各項中的任意者:包含樣本的組塊、與組塊相關聯的位置(例如,一個或複數樣本)、或描述與組塊相關聯的樣本的資訊。根據實施例,組塊偏移盒子(ChunkOffsetBox (stco或co64))可被包括在軌道的SampleTableBox (stbl)中,並且可指示(例如,可被給予)在一包含檔中(例如,容器中)的每個組塊的索引。 幾何結構和紋理軌道
根據實施例,PCC位元串流的分量視訊串流可被映射到ISOBMFF容器檔中的軌道。例如,PCC位元串流中的每個分量視訊串流(例如,紋理串流和幾何結構串流中的每個)可被映射到ISOBMFF容器檔中的軌道。在這種情況下,分量串流的存取單元(AU)可以被映射到相應軌道的樣本。可能存在這樣一種情況,即,分量串流(例如,紋理串流和幾何結構串流)不被直接渲染。
根據實施例,可以使用受限視訊方案來發信號通知與分量串流的軌道相關聯的後解碼器要求。例如,如根據ISOBMFF定義的受限視訊方案可以用於用信號通知與紋理串流和幾何結構串流的軌道相關聯的後解碼器要求。根據實施例,用信號通知與分量串流的軌道相關聯的後解碼器要求可使得播放器/解碼器能夠檢查檔(例如,容器)並識別用於渲染位元串流的要求。根據實施例,用信號通知與分量串流的軌道相關聯的後解碼器要求可以使得傳統播放器/解碼器不解碼和/或不渲染分量串流。根據實施例,受限方案(例如,受限視訊方案)可以應用於PCC位元串流的幾何結構軌道和紋理軌道中的任意者。
根據實施例,幾何結構和紋理軌道中的任意者可以是(例如,被變換成、被標記為、被認為是等)受限視訊方案軌道。根據實施例,對於任意幾何結構和紋理軌道,例如,可以將分別樣本條目代碼設置為四字元碼(4 CC) “resv”,並且可以將受限方案資訊盒子(RestrictedSchemeInfoBox)添加到分別樣本描述,而不修改所有其它盒子。根據實施例,可以基於用於對串流進行編碼的視訊編解碼器的原始樣本條目類型可被儲存在RestrictedSchemeInfoBox內的原始格式盒子(OriginalFormatBox)中。
可以在方案類型盒子(SchemeTypeBox)中定義限制的本質(例如,方案類型),並且可以將與該方案相關聯的資訊(例如,該方案所需的資料)儲存在方案資訊盒子(SchemeInformationBox)中,例如,如ISOBMFF所定義的。SchemeTypeBox和SchemeInformationBox可被儲存在RestrictedSchemeInfoBox中。根據實施例,scheme_type欄位(例如,被包括在SchemeTypeBox中)可以用於指示點雲幾何結構受限方案 。例如,在幾何結構視訊串流軌道的情況下,包括在SchemeTypeBox中的scheme_type欄位可以被設置為'pcgm',以指示該限制的該本質是點雲幾何結構受限方案 。作為另一範例,在紋理視訊串流軌道的情況下,scheme_type欄位可以被設置為'pctx',指示點雲紋理受限方案 。PCC深度平面資訊盒子(PCCDepthPlaneInfoBox)可以被包括在每個軌道的SchemeInformationBox中。根據實施例,在兩個或複數幾何結構軌道存在於檔(例如,容器)中的情況下,PCCDepthPlaneInfoBox可指示(例如,識別、包括指示以下內容的資訊等)每一軌道的分別深度圖像平面資訊。例如,在存在兩個幾何結構軌道的情況下,該深度圖像平面資訊可指示哪個軌道包含深度圖像平面0視訊串流以及哪個軌道包含深度圖像平面1視訊串流。根據實施例,PCCDepthPlaneInfoBox可包括depth_image_layer,該depth_image_layer可以是包括深度圖像平面資訊的欄位。例如,depth_image_layer可以是深度圖像平面的索引(例如,指示深度圖像平面的索引的資訊),其中值0指示深度圖像平面0,值1指示深度圖像平面1,並且其它值被保留以供將來使用。根據實施例,包括depth_image_layer的PCCDepthPlaneInfoBox可被定義為:
Figure 02_image003
根據實施例,在以下情況下:(1)對於任意幾何結構或紋理分量,多層都是可用的,以及(2)在分量軌道中攜帶了任意數量的分量層,這些層可以在軌道的SchemeInformationBox中的PCC分量層資訊盒子(PCCComponentLayerInfoBox)中被用信號通知。PCCComponentLayerInfoBox可以被定義為:
Figure 02_image005
根據實施例,PCCComponentLayerInfoBox的語義可以包括:(1) min_layer可指示軌道攜帶的V-PCC分量的最小層的索引;以及(2) max_layer可指示軌道攜帶的V-PCC分量的最大層的索引。
根據實施例,V-PCC紋理分量可為(例如,被認為是)通用(例如,更為通用的)視訊寫碼分量類型的子類型,其可被稱為V-PCC屬性分量。此外,一組屬性軌道可以存在於容器中,其中這些軌道的子集可以攜帶紋理屬性的資訊。屬性軌道可以是受限視訊方案軌道,例如,SchemeTypeBox的scheme_type欄位被設置為4 CC “pcat”。SchemeInformationBox中的PCC屬性資訊盒子(PCCAttributeInfoBox)可以識別屬性的類型,而attribute_type的值可以指示該屬性的該類型,例如,如V-PCC CD中所定義的。PCCAttributeInfoBox可以被定義為:
Figure 02_image007
用於對紋理和幾何結構視訊串流進行編碼的視訊解碼器不受限制。此外,可以使用不同的視訊編解碼器來編碼紋理和幾何結構視訊串流。根據實施例,解碼器(例如,PCC解碼器/播放器)可識別用於分量視訊串流的編解碼器(例如,編解碼器的類型)。例如,PCC解碼器/播放器可識別用於某分量視訊串流的編解碼器的類型,其可通過觀察(inspect)其軌道在ISOBMFF容器檔中的樣本條目來進行識別。V-PCC串流中的每個GOF的標頭可包括例如 absolute_d1_flag的標誌,該標誌指示如何對除最接近投影平面的層之外的幾何結構層進行寫碼。在設置了absolute_d1_flag的情況下,可以使用兩個幾何結構串流來重構3D點雲,而在沒有設置absolute_d1_flag的情況下,可以僅使用一個幾何結構串流來重構3D點雲。
根據實施例,absolute_d1_flag的值可跨GOF單元而改變。例如,對於呈現時間內的一個或複數時段,在第二幾何結構軌道中可能沒有樣本。根據實施例,可以使用第二幾何結構軌道中的EditListBox來發信號通知跨GOF單元的absolute_d1_flag的值的改變。根據實施例,解析器(例如,被包括在PCC解碼器/播放器中)可以基於編輯清單中的資訊來確定是否可以重構第二幾何結構軌道。例如,PCC解碼器/播放器可通過針對在給定時間戳記處之樣本之可用性檢查第二幾何結構軌道的編輯清單來確定是否可重構第二幾何結構軌道。 佔用圖和輔助資訊軌道
根據實施例,解碼器可以使用佔用圖和輔助資訊中的任意者來重構3D點雲。例如,在解碼器側,可以使用該佔用圖和輔助資訊從幾何結構串流重構點雲。該佔用圖和輔助資訊可以是每個GOF單元內的幾何結構串流之外的串流的一部分。根據實施例,該佔用圖和輔助資訊可以被包括在(例如,各別的)定時元資料軌道中,我們可以將其稱為佔用圖軌道 。根據實施例,佔用圖軌道的樣本可以包含單個訊框的佔用圖和輔助資訊中的任意者。根據實施例,佔用圖軌道可以由軌道的樣本描述中的以下樣本條目來識別:
Figure 02_image009
根據實施例,兩個定時元資料軌道可以用於各別攜帶佔用圖資訊和輔助資訊。根據實施例,對於單個組合的佔用圖和輔助資訊軌道的情況,佔用圖軌道可以具有如上所示的樣本條目。根據實施例,用於輔助資訊的定時元資料軌道在其樣本描述中可以具有以下樣本條目:
Figure 02_image011
根據實施例,諸如修補資料的輔助資訊可以在點雲元資料軌道的樣本中被攜帶,並且例如,可以不需要各別的輔助資訊軌道。
根據實施例,可以使用視訊解碼器來寫碼佔用圖,並且可以將所產生的視訊串流放置在受限視訊方案軌道中。根據實施例,例如,為了指示點雲佔用圖受限視訊方案,受限視訊方案軌道的SchemeTypeBox的scheme_type欄位可以被設置為'pomv'。 點雲元資料軌道
PCC位元串流的元資料可出現在位元串流內的不同級別,例如,出現在全域標頭和GOF單元的標頭中。此外,元資料可以適用於佔用圖的修補級別和訊框級別中的任意者。根據實施例,點雲元資料軌道可包括與全域標頭和GOF標頭的任意者相關聯的元資料。根據實施例,點雲元資料軌道可以是(例如,各別的、單個的等)定時元資料軌道,並且元資料資訊可如下該那樣被組織。
全域標頭資訊可應用於串流內的所有GOF單元。根據實施例,全域標頭資訊可儲存在定時元資料軌道的樣本描述處,其在解析PCC檔時被認為是條目點。根據實施例,解碼/播放該PCC串流的PCC解碼器/播放器可在容器中尋找該定時元資料軌道。根據實施例,該定時元資料軌道可以由該軌道的樣本描述中的點雲樣本條目(PointCloudSampleEntry)識別。根據實施例,該PointCloudSampleEntry可以包含PCC解碼器配置記錄(PCCDecoderConfigurationRecord),例如,以便提供以下各項中的任意者:(1)關於位元串流的PCC簡檔的資訊;以及(2)關於播放器為了解碼分量串流而可能需要支援的視訊編解碼器的資訊。根據實施例,該PointCloudSampleEntry還可以包含PCC標頭盒子(PCCHeaderBox),例如,以便包括在(例如,MPEG V-PCC的)全域位元串流標頭中用信號通知的資訊。
根據實施例,該PointCloudSampleEntry的語法可以如下:
Figure 02_image013
Figure 02_image015
根據實施例,PCC標頭結構(PCCHeaderStruct)的欄位的語義可以是:(1) PCC_category2_container_version指示PCC位元串流的版本;(2) GOF_metadata_enabled_flag指示在GOF級是否賦能PCC元資料;(3) GOF_scale_enabled_flag指示在GOF級是否賦能縮放;(4) GOF_offset_enabled_flag指示在GOF級別是否賦能偏移;(5) GOF_rotation_enabled_flag指示在GOF級是否賦能旋轉;(6) GOF_point_size_enabled_flag指示在GOF級是否賦能點大小;以及(7) GOF_point_shape_enabled_flag指示在GOF級是否賦能點形狀。根據實施例,PCC解碼器配置記錄(PCCDecoDerconfigurationRecord)的欄位的語義可以是:(1) ConfigurationVersion是版本欄位;對記錄的不相容改變由該版本欄位中的版本號的改變來指示;(2) general_profile_space指定用於解釋general_profile_idc的上下文;(3) general_tier_flag指定用於解釋general_level_idc的層級上下文;(4) general_profile_idc,當general_profile_space等於0時,指示寫碼的點雲序列所符合的簡檔;(5) 及general_level_idc指示該寫碼的點雲序列所符合的級別。
根據實施例,應用於GOF單元的資訊(例如,應用於所有GOF單元的任意資訊)可以被儲存在定時元資料軌道的樣本描述處。根據實施例,PCCDecoDerconfigurationRecord的欄位可以是PCCHeaderStruct的一部分。根據實施例,PCCHeaderBox可以是MovieBox內的頂級別盒子。根據實施例,PCC解碼器/播放器可(例如,容易地)識別其是否能夠解碼和播放檔,並且可確定是否支援所列出的簡檔,例如,而不必解析檔中的所有軌道來尋找該PCC元資料軌道。根據實施例,點雲元資料軌道中的每個樣本可包含例如根據MPEG V-PCC定義的GOF標頭資訊。根據實施例,以下示出了GOF標頭樣本(GOFHeaderSample)和GOFHeaderStruct(其是一包括了在GOF頭中定義的所有欄位的資料結構)的語法:
Figure 02_image017
根據實施例,解析器(例如,PCC解碼器/播放器)可通過解析GOF元資料樣本來識別GOF單元中有多少訊框。例如,該解析器可以識別例如GOF單元中有多少訊框,從而可以從幾何結構和紋理視訊軌道中讀取正確數量的樣本。根據實施例,點雲元資料軌道可被連結到分量視訊軌道。例如,ISOBMFF標準的軌道引用工具可以用於將點雲元資料軌道連結到分量視訊軌道。
根據實施例,內容描述引用'cdsc'可以用於將PCC元資料軌道連結到分量軌道。或者換句話說,可以產生從PCC元資料軌道到分量軌道的內容描述引用'cdsc'。根據實施例,該連結可以由以下形成:(1)將軌道引用盒子(TrackReferenceBox)添加到TrackBox (例如,添加到TrackBox內);以及(2)將類型'cdsc'的軌道參考類型盒子(TrackReferenceTypeBox)放置在TrackReferenceBox內。根據實施例,TrackReferenceTypeBox可以包含指明該PCC元資料引用的分量視訊軌道的任意數量的Track_ID。根據實施例,例如,可以定義用於PCC位元串流的新的軌道參考類型,而不是'cdsc'。根據實施例,軌道引用鏈可以通過以下而被使用:(1)添加從PCC元資料軌道到幾何結構視訊軌道(一個或複數)的'cdsc'軌道引用;以及(2)添加從幾何結構視訊軌道(一個或複數)到佔用圖和紋理軌道的'auxl'軌道引用。
根據實施例,例如,可以使用點雲參數集軌道來代替定時元資料軌道。根據實施例,點雲參數集軌道可類似於AVC參數集軌道,例如,如ISO/IEC所定義的。根據實施例,該軌道的樣本條目可以被定義如下:
Figure 02_image019
根據實施例,PCC參數串流樣本條目可包含(例如,包括) PCC參數串流配置盒子,其可被定義如下:
Figure 02_image021
根據實施例,PCC參數集軌道中的樣本可具有一解碼時間,該解碼時間等於(例如,在實例處)參數集(一個或複數)生效的時間(例如,在對應GOF的第一訊框被解碼的時間/在對應GOF的第一訊框被解碼時)。
根據實施例,例如,如V-PCC CD中所描述的,在位元串流被構造為V-PCC單元序列的情況下,參數集V-PCC單元可以被攜帶在例如由媒體處置器類型4 CC 'vpcc'所識別的並且具有類型'vpc1'的樣本條目的軌道(例如,新類型的軌道)中。根據實施例,由媒體處置器類型4 CC 'vpcc'識別的軌道(例如,新類型的軌道)可以被定義為:
Figure 02_image023
根據實施例,vpcc_unit_payload陣列可以(例如,僅)包含序列級參數集的酬載。根據實施例,在序列參數集被定義為包括例如如V-PCC CD中定義的佔用、幾何結構或屬性參數集的任意者的情況下,則vpcc_unit_payload陣列可以(例如,僅)包含序列參數集V-PCC單元。根據實施例,在定義了複數序列級參數集的情況下,例如通過將序列參數集與其他分量參數集(例如,幾何結構、佔有和屬性參數集)分離,VPCC_unit_payload可以(例如,應當)是序列級參數集之一(例如,序列、幾何結構、佔有或屬性參數集的任意者)的酬載。根據實施例,在修補單元序列參數集(例如,如V-PCC CD中定義的PSD_SPS)包含應用於整個序列的資訊的情況下,PSD_SPS酬載可以(例如,也可以)被存儲在VPCC樣本條目(VPCCSampleEntry)的vpcc_unit_payload陣列中。根據實施例,例如,作為直接擴展樣本條目(SampleEntry)的替代,VPCCSampleEntry可以被定義為擴展(例如,新定義的)體積樣本條目(VolumecenterSampleEntry),其可以擴展SampleEntry並且可以提供用於體積媒體的基本樣本條目類型。該軌道中的樣本可以對應於點雲訊框。例如,在具有僅包含patch_sequence_data V-PCC單元酬載的限制的情況下,每個V-PCC樣本可包含任意數量的vpcc_unit_payload實例。對應於跨分量軌道的相同訊框的樣本可以具有與V-PCC軌道中的該訊框的對應樣本相同的合成時間。
根據實施例,VPCCSampleEntry可以使得vpcc_unit_payload陣列可以(例如,僅)包含序列級參數集的有效載荷,例如序列參數集,以及如果是各別的,則包含幾何結構、佔用和屬性參數集。根據實施例,VPCCSampleEntry可以被定義為:
Figure 02_image025
具有多層的分量軌道
分量軌道可以攜帶多於一層的分量,並且播放器可以(例如,應當)能夠識別和提取屬於特別層的樣本。根據實施例,可以利用樣本分組特徵(例如,ISO/IEC14496-12的樣本分組特徵)。根據實施例,例如分組類型被設置為4 CC 'vpld'的用於對分量層樣本進行分組的新樣本組描述可以被定義為:
Figure 02_image027
Figure 02_image029
根據實施例,用於VPPCC層樣本分組條目(VPCCLayerSampleGroupEntry)的語義可以是:(1) layer_index可以是組的樣本所屬的層的索引;(2) absolute_coding_flag可以指示與樣本組相關聯的層的樣本是否依賴於來自另一層樣本組的樣本,其中,在absolute_coding_flag被設置為1的情況下,該樣本可以(例如,確實)不依賴於另一層的樣本,並且其中,在absolute_coding_flag被設置為0的情況下,該樣本可以依賴於另一層的樣本;以及(3) predictor_layer_index可以是該組的樣本所依賴的層的索引。
根據實施例,可以使用例如ISO/IEC14496-12中定義的樣本至組盒子(SampleToGroupBox)來完成樣本到相應層組的映射。例如,該SampleToGroupBox可以包含複數條目,其中每個條目將複數連續樣本與樣本組描述盒子(SampleGroupDescriptionBox)中的組條目之一相關聯。 用於容器檔中的點雲資料的單點條目
根據實施例,關於構成單個V-PCC內容的(例如,所有)軌道的資訊可以在該容器檔中的單個位置中用信號通知,並且例如,播放器可以盡可能早地識別這些軌道及其類型,而不必解析每個軌道的樣本描述。根據實施例,這種早期識別可以通過在一個盒子中(例如,在容器檔的頂級別,或者在該檔頂級別的元盒子(MetaBox ('meta'))內)用信號通知軌道資訊來實現。
根據實施例,這樣的盒子可以是具有新盒子類型的(例如,新定義的)盒子,或者是繼承並擴展例如在ISO/IEC14496-12中定義的實體至組盒子(EntityToGroupBox)的盒子。根據實施例,用信號通知的資訊可包括屬於該V-PCC內容的軌道(例如,所有軌道)的軌道ID的列表。對於每個信號通知的軌道,軌道類型(例如,元資料、佔用圖、幾何結構等)以及由該軌道攜帶的分量層(如果適用的話)可以(例如,也可以)在這樣的盒子中被用信號通知。根據實施例,這樣的盒子可以(例如,也可以)包含關於該內容的簡檔和級別的資訊。根據實施例,這種攜帶前述資訊的盒子(例如,新定義的盒子)可以被定義為:
Figure 02_image031
根據實施例,VPCC內容盒子(VPCCContentBox)的欄位的語義可以是:(1) content_id是儲存在容器中的所有V-PCC內容間的V-PCC內容的唯一id;num_tracks指示作為該V-PCC內容的一部分的軌道的總數;(2) track_id是儲存在容器中的軌道之一的trackID;(3) track_type指示分量軌道的類型(例如,紋理、幾何結構、元資料等);(4) min_layer指示由該軌道攜帶的V-PCC分量的最小層的索引;以及(5) max_layer指示由該軌道攜帶的V-PCC分量的最大層的索引。
根據實施例,V-PCC內容資訊盒子的定義的另一範例可以用於在擴展例如如ISO/IEC所定義的EntityToGroupBox時。即,根據實施例,該V-PCC內容資訊可以被定義為:
Figure 02_image033
Figure 02_image035
根據實施例,track_type、min_layer和max_layer中的任意者的語義可以與上面定義的VPCCContentBox的對應欄位的語義相同。 用信號通知點雲內容和分量的替代版本
根據實施例,在ISOBMFF容器中可獲得相同點雲的多於一個版本(例如,相同點雲的不同解析度)的情況下,每個版本可具有各別的點雲元資料軌道。
根據實施例,在ISO/IEC14496-12中定義的替代軌道機制可以用於發信號通知這些軌道是彼此的替代。根據實施例,作為彼此的替換的點雲元資料軌道可以(例如,應當)對在ISOBMFF容器中的它們分別的一個或複數軌道標頭盒子(TrackHeaderBox)中的alternate_group欄位具有相同值。
類似地,當點雲分量(例如,幾何結構、佔有或屬性分量中的任意者)的複數版本(例如,位元元速率)可用時,用於該分量的不同版本的一個或複數TrackHeaderBox中的alternate_group欄位可(例如,應當)具有相同值。
根據實施例,攜帶用於相同點雲的不同版本的元資料的單個點雲元資料軌道在ISOBMFF容器中可用。根據實施例,可以在軌道的樣本表的樣本描述盒子(SampleDescriptionBox)中的各別樣本條目中用信號通知每個版本的序列參數集。這些樣本條目的類型可以是VPCCSampleEntry。根據實施例,樣本分組特徵(例如,ISO/IEC14496-12中的樣本分組特徵)可以用於對點雲元資料軌道中屬於每個版本的樣本進行分組。 用於V-PCC位元串流的分段ISOBMFF容器
圖9是示出了根據實施例的用於V-PCC位元串流的分段ISOBMFF容器的示圖。
根據實施例,GOF單元可被映射到ISOBMFF電影片段。參照圖9,每個電影片段可對應於(例如,基本的)V-PCC位元串流中的一個或複數GOF單元。根據實施例,電影片段可以僅包含相應GOF單元的樣本。根據實施例,與整個位元串流有關的元資料(例如,全域串流標頭)以及容器中存在(例如,包括)的軌道的數量可被儲存在MovieBox中。根據實施例,MovieBox可包含用於每個分量串流的(例如,一個)TrackBox和用於GOF標頭定時元資料軌道的(例如,附加的)TrackBox。
根據實施例,可以存在一對一映射的情況,其中每個電影片段僅包含一個GOF單元。在這種情況下,可能不需要該GOF標頭定時元資料軌道。根據實施例,GOF標頭可被儲存在MovieFragmentHeaderBox中。根據實施例,該MovieFragmentHeaderBox可包括可選盒子,該可選盒子包括PCCGOF標頭盒子(PCCGOFHeaderBox)。根據實施例,PCCGOFHeaderBox可以被定義如下:
Figure 02_image037
根據實施例,在V-PCC基本串流由一組V-PCC單元組成的情況下,V-PCC序列參數集資訊可被包括在MovieBox中的點雲元資料軌道的VPCCSampleEntry中。 複數點雲串流
根據實施例,ISOBMFF容器可包括多於一個V-PCC串流。根據實施例,每個串流可以由一組軌道表示。根據實施例,軌道分組(例如,軌道分組工具)可以用於識別軌道所屬的串流。根據實施例,例如,對於一個PCC串流,軌道組盒子(TrackGroupBox) (‘trgr’)可被添加到:(1)所有分量串流的TrackBox;以及(2) PCC元資料軌道。根據實施例,PCC組盒子(PCCGroupBox)的語法可以定義軌道分組類型(例如,新的類型),其中軌道組類型盒子(TrackGroupTypeBox)可以根據ISOBMFF來定義,並且可以包含單個track_group_id欄位。根據實施例,PCCGroupBox的語法如下:
Figure 02_image039
根據實施例,屬於相同PCC串流的軌道對於track_group_type 'pccs'可以具有相同的track_group_id(例如,track_group_id的相同值),並且屬於不同PCC串流的軌道可以具有不同/分別的track_group_id。根據實施例,PCC串流可根據具有track_group_type等於'pccs'的track_group_type盒子內的track_group_id來識別。
根據實施例,例如,在單個容器中包括(例如,允許)複數點雲串流的情況下,PCCHeaderBox可用於指示每個PCC串流的操作點和全域標頭。根據實施例,PCCHeaderBox的語法可以如下:
Figure 02_image041
根據實施例,上述識別的欄位的語義可以是:(1) number_of_PCC_streams可以指示在檔中可以儲存多少點雲串流;以及(2) PCC_stream_id可以是與分量串流的軌道的track_group_id相對應的每個點雲串流的唯一識別符。 用信號通知PCC簡檔
為了以可交互操作的方式實施媒體寫碼標準,例如,跨具有類似功能要求的各種應用實施媒體寫碼標準,簡檔、層級和級別可以被使用成(例如,可以指定)一致點。簡檔可以定義在產生(例如,一致的)位元串流時使用的一組寫碼工具和/或演算法,並且級別可以定義(例如,可以放置)關於位元串流的(例如,某些、關鍵等)參數的約束,例如,與解碼器處理負載、記憶體能力等中的任意者相對應的參數。
根據實施例,品牌(brand)可用於例如通過以軌道特定方式指示品牌來指示與V-PCC簡檔的一致性。ISOBMFF包括品牌的概念,其可以使用檔案類型盒子(FileTypeBox)中的compatible_brands列表而被指示。每個品牌是向ISO註冊的四字元代碼,其識別精確的規範。FileTypeBox的compatible_brands列表中品牌的存在可用於指示檔符合該品牌的要求。類似地,軌道類型盒子(TrackTypeBox) (例如,其在TrackBox內部)可用於指示個別軌道與某品牌的一致性。根據實施例,品牌可用於指示與V-PCC簡檔的一致性,例如,因為TrackTypeBox可具有與FileTypeBox類似或相同的語法,並且可用於以軌道特定的方式指示品牌。根據實施例,V-PCC簡檔也可以作為PCCHeaderBox的一部分而被用信號發送。根據實施例,V-PCC簡檔也可以在VPCC內容盒子(VPCCConentBox)中被用信號發送,例如,如上文參考容器檔中的點雲資料的單點條目所定義的。 VPCC參數集引用
如上所述,為VPCC_PSD設計的某些參數集引用結構可能是有問題的。
圖10是示出了根據實施例的PSD參數集引用結構的示圖。
根據實施例,例如,與有問題的結構相反,訊框級幾何結構參數集和屬性參數集的參數可以被整合到單個分量參數集中。根據實施例,這種單個分量參數集可以引用單個活動修補序列參數集,並且將幾何結構修補參數集以及屬性修補參數集的參數整合到單個分量修補參數集,該單個分量修補參數集引用活動幾何結構屬性訊框參數集。根據實施例,修補訊框參數集可引用單個活動幾何結構屬性修補參數集。圖10示出了提出的PSD參數集引用結構。
圖11是示出了根據實施例的另一PSD參數集引用結構的示圖。
根據實施例,幾何結構訊框參數集以及屬性訊框參數集中的任意者的參數可以被包括在修補序列參數集中。即,幾何結構修補參數集的參數和屬性修補參數集的參數可被組合以形成component_patch_parameter_set。根據實施例,該component_patch_parameter_set可以引用活動修補序列參數集。根據實施例,如圖11所示,修補訊框參數集可引用活動分量修補參數集。 支援空間存取和發信號通知所關注區域
點雲中的所關注區域(RoI)可以由3D邊界盒子定義。根據實施例,例如導自RoI內的點的投影產生的修補可以被包裹到幾何結構、佔有和屬性分量中的任意者的2D訊框中的一組圖塊(tile)內。根據實施例,可以以更高的品質/解析度來編碼該圖塊(例如,2D訊框中的圖塊集合),且可(例如,接著)獨立地寫碼該圖塊。例如,該圖塊可被獨立地寫碼為HEVC MCTS圖塊,並且它們分別的樣本可被儲存在各別的ISOBMFF軌道中。例如,這可以允許(例如,促進)對RoI的空間隨機存取,而不必解碼整個2D訊框。
根據實施例,例如來自跨點雲的分量的(例如,該點雲的分量之間)對應2D圖塊軌道可例如通過使用(例如,如上所述的)軌道分組工具而被分組在一起。根據實施例,可以將TrackGroupBox (‘trgr’)添加到分量軌道所相關聯的(例如全部的)TrackBox。根據實施例,V-PCC分量軌道的2D圖塊軌道的新型軌道分組可以具有(例如,根據ISO/IEC定義的)軌道組類型盒子(TrackGroupTypeBox)並且可以包含單個track_group_id欄位。該新型軌道分組可以被定義為:
Figure 02_image043
根據實施例,屬於相同點雲2D圖塊的軌道可具有對於track_group_type 'p2dt'的相同track_group_id值。根據實施例,與點雲2D圖塊相關聯的軌道的track_group_id可不同於與另一(例如,任意其它)點雲2D圖塊相關聯的軌道的track_group_id。具有track_group_type等於'p2dt'的TrackGroupTypeBox內的track_group_id可以用作該點雲2D圖塊的識別符。
根據實施例,例如,通過使用VPCC所關注區域盒子(VPCCRegionOfInterestBox),點雲中的3D RoI可以與任意數量的點雲2D圖塊相關聯。根據實施例,VPCCRegionOfInterestBox可以被定義為:
Figure 02_image045
根據實施例,3D區域盒子(3DRegionBox)和/或VPCC所關注區域盒子(VPCCRegionOfInterestBox)的欄位的語義可以包括以下各項中的任意者:(1) region_x可以是邊界盒子的參考點的x座標;(2) region_y可以是邊界盒子的參考點的y座標;(3) region_z可以是邊界盒子的參考點的z座標;(4) region_width可以指示邊界盒子沿x軸的長度;(5) region_height可以指示邊界盒子沿y軸的長度;(6) region_depth可以指示邊界盒子沿z軸的長度;(7) roi_count可指示點雲中的RoI的數量;(8) 2d_tile_count可以指示與該RoI相關聯的點雲2D圖塊的數量;以及(9) track_group_id可以是用於(例如,對應於點雲2D圖塊的)類型'p2dt'的軌道組的軌道組識別符的陣列。
根據實施例,在點雲序列中的RoI是靜態(例如,不改變)的情況下,VPCCRegionOfInterestBox可被包括在PCC元資料軌道中的VPCCSampleEntry或MetaBox中的VPCC內容分組盒子(VPCCContentGroupingBox)中的任意者中。根據實施例,在點雲序列中的RoI是動態的情況下,可以在該PCC元資料軌道的樣本中用信號通知該VPCCRegionOfInterestBox。結論
儘管上述按照特定組合描述了特徵和元素,但是本領域技術人員將理解的是每個特徵或元素可以被單獨使用或以與其它特徵和元素的任何組合來使用。此外,於此描述的方法可以在嵌入在電腦可讀媒體中由電腦或處理器執行的電腦程式、軟體或韌體中實施。非暫態電腦可讀儲存媒體的範例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體記憶裝置、諸如內部硬碟和可移除磁片之類的磁媒體、磁光媒體、以及諸如CD-ROM碟片和數位多用途碟片(DVD)之類的光媒體。與軟體相關聯的處理器可以用於實施在WTRU 102、UE、終端、基地台、RNC或任意主機電腦中使用的射頻收發器。
此外,在上述的實施方式中,提及了處理平臺、計算系統、控制器以及包含處理器的其他裝置。這些裝置可以包含至少一個中央處理單元(“CPU”)和記憶體。根據電腦程式設計領域的技術人員的實踐,對動作和操作或指令的符號代表的引用可以由各種CPU和記憶體執行。這些動作和操作或指令可以稱為“被執行”、“電腦執行”或“CPU執行”。
本領域技術人員可以理解動作和符號描述的操作或指令包括CPU對電信號的操縱。電氣系統表示可以代表資料位元,其使得電信號產生變換或還原以及資料位元在儲存系統中的記憶體位置的維持由此重新配置或以其他方式改變CPU的操作以及信號的其他處理。維持資料位元的記憶體位置是具有對應於或代表資料位元的特別電、磁、光或有機性質的實體位置。應當理解,代表性實施方式不限於上述的平臺或CPU且其他平臺和CPU可以支援提供的方法。
資料位元也可以被維持在電腦可讀媒體上,其包括磁片、光碟以及任意其他揮發性(例如隨機存取記憶體(“RAM”))或非揮發性(例如唯讀記憶體(“ROM”))CPU可讀的大型儲存系統。電腦可讀媒體可以包括協作或互連的電腦可讀媒體,其專有存在於處理器系統上或分佈在可以是處理系統本地的或遠端的複數互連處理系統間。可以理解代表性實施方式不限於上述的記憶體且其他平臺和記憶體可以支援所描述的方法。
在示出的實施方式中,這裡描述的操作、處理等的任一者可以被實施為儲存在電腦可讀媒體上的電腦可讀指令。該電腦可讀指令可以由行動單元、網路元件和/或任意其他計算裝置的處理器執行。
系統方面的硬體和軟體實施之間有一點區別。硬體或軟體的使用一般(但不總是,因為在某些環境中硬體與軟體之間的選擇可以是很重要的)是代表成本與效率折中的設計選擇。可以有影響這裡描述的過程和/或系統和/或其他技術的各種工具(例如,硬體、軟體、和/或韌體),且較佳的工具可以隨著部署的過程和/或系統和/或其他技術的上下文而改變。例如,如果實施方確定速度和精度是最重要的,則實施方可以選擇主要是硬體和/或韌體工具。如果靈活性是最重要的,則實施方可以選擇主要是軟體實施。可替換地,實施方可以選擇硬體、軟體和/或韌體的某種組合。
上述詳細描述通過使用框圖、流程圖和/或範例已經提出了裝置和/或過程的各種實施方式。在這些框圖、流程圖和/或範例包含一個或複數功能和/或操作的範圍內,本領域技術人員可以理解這些框圖、流程圖或範例內的每個功能和/或操作可以被寬範圍的硬體、軟體或韌體或實質上的其任意組合方式個別實施和/或一起實施。合適的處理器包括例如通用處理器、專用處理器、常規處理器、數位訊號處理器(DSP)、複數微處理器、與DSP核心相關聯的一個或複數微處理器、控制器、微控制器、專用積體電路(ASIC)、專用標準產品(ASSP);場可程式設計閘陣列(FPGA)電路、任意其他類型的積體電路(IC)和/或狀態機。
雖然以上以特別的組合提供了特徵和元素,但是本領域技術人員可以理解每個特徵或元素可以單獨使用或與其他特徵和元素任意組合使用。本揭露不限於本申請描述的特別實施方式,這些實施方式旨在作為各種方面的範例。在不背離其實質和範圍的情況下可以進行許多修改和變形,這些對本領域技術任意是所知的。本申請的描述中使用的元素、動作或指令不應被理解為對本發明是關鍵或必要的除非明確說明。除了本文中列舉的這些方法和裝置,本領域技術人員根據以上描述還可以知道在本揭露範圍內的功能上等同的方法和裝置。這些修改和變形也應落入所附申請專利範圍的範圍。本揭露僅由所附申請專利範圍限定,包括其等同的全面的範圍。應當理解本揭露不限於特定的方法或系統。
還應該理解,這裡使用的術語僅用於描述特別的實施方式,且不是限制性的。這裡使用的術語“站”及其縮寫“STA”、“使用者設備”及其縮寫“UE”可以表示(i)無線傳輸和/或接收單元(WTRU),例如下文該;(ii)任意數量的WTRU的實施方式,例如下文所述;(iii)具有無線能力和/或有線能力(例如可接線的)裝置,被配置(尤其)WTRU(例如上述的)的一些或所有結構和功能;(iii)具有無線能力和/或有線能力的裝置,被配置少於WTRU的所有結構和功能,例如下文該;和/或(iv)其他。可以表示(或可與之互換使用)這裡描述的任意UE或行動裝置的範例WTRU的細節已在上面參考圖1A至圖1D被提供。
在某些代表性實施方式中,這裡描述的主題的一些部分可以經由專用積體電路(ASIC)、場可程式設計閘陣列(FPGA)、數位訊號處理器(DSP)和/或其他整合格式來實施。但是,本領域技術人員可以理解這裡揭露的實施方式的一些方面,其整體或部分,可以同等地由積體電路實施,作為在一個或複數電腦上運行的一個或複數電腦程式(例如在一個或複數電腦系統上運行的一個或複數程式)、在一個或複數處理器上運行的一個或複數程式(例如在一個或複數微處理器上運行的一個或複數程式)、韌體、或實質上地這些的任意組合,以及根據本揭露針對該軟體和/或韌體設計電路系統和/或寫代碼是本領域技術人員所知的。此外,本領域技術人員可以理解這裡描述的主題的機制可以被分佈為各種形式的程式產品,以及這裡描述的主題的範例性實施方式適用,不管用於實際執行該分佈的信號承載媒體的特別類型如何。信號承載媒體的範例包括但不限於以下:可記錄類型的媒體,例如軟碟、硬碟磁碟驅動機、CD、DVD、數位磁帶、電腦記憶體等,以及傳輸類型的媒體,例如數位和/或類比通信媒體(例如光纖電纜、波導、有線通信鏈路、無線通訊鏈路等)。
這裡描述的主題有時示出了不同元件,其包含在或連接到不同的其他元件。可以理解這些描繪的架構僅是範例,且實際中實施相同的功能的許多其他架構可以被實施。在概念上,實施相同功能更的元件的任何安排有效地“相關聯”由此可以實施期望的功能。因此,這裡組合以實施特定功能的任意兩個元件可以視為彼此“相關聯”由此實施期望的功能,不管架構或中間組件如何。同樣地,相關聯的任意兩個元件也可以被視為彼此“操作上連接”或“操作上耦合”以實施期望的功能,以及任意兩個能夠這樣相關聯的元件也可以被視為彼此“操作上可耦合”以實施期望的功能。操作上可耦合的特定範例包括但不限於實體上可配對和/或實體上交互作用的元件和/或無線可交互作用的和/或無線交互作用的元件和/或邏輯上交互作用和/或邏輯上可交互作用的元件。
關於這裡使用基本上任何複數和/或單數術語,本領域技術人員可以在適合上下文和/或應用時從複數轉義到單數和/或從單數轉義到複數。為了清晰,這裡可以明確提出各種單數/複數置換。
本領域技術人員可以理解一般地這裡使用的術語以及尤其在所附申請專利範圍中使用的術語(例如所附申請專利範圍的主體部分)一般是“開放性”術語(例如術語“包括”應當理解為“包括但不限於”,術語“具有”應當理解為“至少具有”,術語“包括”應當理解為“包括但不限於”等)。本領域技術人員還可以理解如果所引入申請專利範圍要描述特定數量,則在申請專利範圍中會顯式描述此意向,且在沒有這種描述的情況下不存在這種意向。例如,如果要表示僅一個項,則可以使用術語“單個”或類似的語言。為幫助理解,以下所附的申請專利範圍和/或這裡的描述可以包含前置短語“至少一個”或“一個或複數”的使用以引出申請專利範圍描述。但是,這些短語的使用不應當理解為暗示被不定冠詞“一”引出的申請專利範圍描述將包含這樣的被引出的申請專利範圍描述的任意特定申請專利範圍限定到包含僅一個這樣的描述的實施方式,即使在同一個申請專利範圍包括前置短語“一個或複數”或“至少一個”以及不定冠詞(例如“一”)(例如“一”應當被理解為表示“至少一個”或“一個或複數”)。對於用於引出申請專利範圍描述的定冠詞的使用也是如此。此外,即使引出的申請專利範圍描述的特定數量被明確描述,但是本領域技術人員可以理解這種描述應當被理解為表示至少被描述的數量(例如光描述“兩個描述”沒有其他修改符,表示至少兩個描述,或兩個或更多個描述)。
此外,在使用類似於“A、B和C等中的至少一者”的慣例的這些實例中,一般來說這種慣例是本領域技術人員理解的慣例(例如“系統具有A、B和C中的至少一者”可以包括但不限於系統具有僅A、僅B、僅C、A和B、A和C、B和C和/或A、B和C等)。在使用類似於“A、B或C等中的至少一者”的慣例的這些實例中,一般來說這種慣例是本領域技術人員理解的慣例(例如“系統具有A、B或C中的至少一者”可以包括但不限於系統具有僅A、僅B、僅C、A和B、A和C、B和C和/或A、B和C等)。本領域技術人員還可以理解表示兩個或更多個可替換項的實質上任何分隔的字和/或短語,不管是在說明書中、申請專利範圍還是附圖中,應當被理解為包括包含兩個項之一、任意者或兩個項的可能性。例如,短語“A或B”被理解為包括“A”或“B”或“A”和“B”的可能性。此外,這裡使用的術語“任意”之後接列舉的複數項和/或多種項旨在包括該複數項和/或多種項的“任意”、“任意組合”、“任意複數”和/或“複數的任意組合”,個別或與其他項和/或其他種項結合。此外,這裡使用的術語“集合”或“群組”旨在包括任意數量的項,包括零。此外,這裡使用的術語“數量”旨在包括任意數量,包括零。
此外,如果按照馬庫西組描述本揭露的特徵或方面,本領域技術人員可以理解也按照馬庫西組的任意個別成員或成員子組來描述本揭露。
本領域技術人員可以理解,出於任意和所有目的,例如為了提供書面描述,這裡揭露的所有範圍還包括任意和所有可能的子範圍以及其子範圍的組合。任意列出的範圍可以容易被理解為足以描述和賦能被分成至少相等的兩半、三份、四份、五份、十份等的相同範圍。作為非限制性範例,這裡描述的每個範圍可以容易被分成下三分之一、中三分之一和上三分之一等。本領域技術人員還可以理解諸如“多至”、“至少”、“大於”、“小於”等的所有語言包括描述的數字並指可以隨之被分成上述的子範圍的範圍。最後,本領域技術人員可以理解,範圍包括每一個別的成員。因此,例如具有1-3個胞元的群組指具有1、2、或3個胞元的群組。類似地,具有1-5個胞元的群組指具有1、2、3、4或5個胞元的群組等等。
此外,申請專利範圍不應當理解為限制到提供的順序或元素除非描述有這種效果。此外,在任意申請專利範圍中術語“用於…的裝置” 的使用旨在援引35 U.S.C. §112, ¶ 6或手段功能用語的申請專利範圍格式,沒有術語“用於…的裝置”的任意申請專利範圍不具有此種意圖。
與軟體相關聯的處理器可以用於實施在無線傳輸/接收單元(WTRU)、使用者設備(UE)、終端、基地台、移動性管理實體(MME)或演進封包核心(EPC)或任何主機電腦中使用的射頻收發器。WTRU可以結合以硬體和/或軟體實施的模組(包括軟體定義無線電(SDR))和其他組件,該組件例如是相機、視訊相機模組、視訊電話、對講電話、振動裝置、揚聲器、麥克風、電視收發器、免持耳機、小鍵盤、藍牙®模組、調頻(FM)無線電單元、近場通信(NFC)模組、液晶顯示(LCD)顯示單元、有機發光二極體(OLED)顯示單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器和/或任意無線區域網路(WLAN)或超寬頻(UWB)模組。
雖然在通信系統方面描述了本發明,但是可以理解系統可以在微處理器/通用電腦(未示出)上以軟體實施。在某些實施方式中,各種元件的功能中的一個或複數可以控制通用電腦的軟體來實施。
此外,雖然參考特定實施方式示出和描述了本發明,但是本發明無意於限於示出的細節。相反,在申請專利範圍的等同範圍內且不悖離本發明的情況下可以在細節上進行各種修改。
在整個揭露內容中,技術人員理解某些代表性實施例可以替代其他代表性實施例或與其他代表性實施例組合使用。
儘管上述按照特定組合描述了特徵和元素,但是本領域技術人員將理解的是每個特徵或元素可以被單獨使用或以與其它特徵和元素的任何組合來使用。此外,於此描述的方法可以在嵌入在電腦可讀媒體中由電腦或處理器執行的電腦程式、軟體或韌體中實施。非暫態電腦可讀儲存媒體的範例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體存放裝置、諸如內部硬碟和可移除磁片之類的磁媒體、磁光媒體、以及諸如CD-ROM碟片和數位多用途碟片(DVD)之類的光媒體。與軟體相關聯的處理器可以用於實施在WTRU、UE、終端、基地台、RNC或任意主機電腦中使用的射頻收發器。
此外,在上述的實施方式中,提及了處理平臺、計算系統、控制器以及包含處理器的其他裝置。這些裝置可以包含至少一個中央處理單元(“CPU”)和記憶體。根據電腦程式設計領域的技術人員的實踐,對動作和操作或指令的符號描述的引用可以由各種CPU和記憶體執行。這些動作和操作或指令可以稱為“被執行”、“電腦執行”或“CPU執行”。
本領域技術人員可以理解動作和符號描述的操作或指令包括CPU對電信號的操縱。電氣系統表示可以代表資料位元,其使得電信號產生變換或還原以及資料位元在記憶體系統中的記憶體位置的維持由此重新配置或以其他方式改變CPU的操作以及信號的其他處理。維持資料位元的記憶體位置是具有對應於或代表資料位元的特別電、磁、光或有機性質實體位置。
資料位元也可以被維持在電腦可讀媒體上,其包括磁片、光碟以及任意其他揮發性(例如隨機存取記憶體(“RAM”))或非揮發性(例如唯讀記憶體(“ROM”))CPU可讀的大型儲存系統。電腦可讀媒體可以包括協作或互連的電腦可讀媒體,其專有存在於處理器系統上或分佈在可以是處理系統本地的或遠端的複數互連處理系統間。可以理解代表性實施方式不限於上述的記憶體且其他平臺和記憶體可以支援所描述的方法。
作為範例,合適的處理器包括通用處理器、專用處理器、傳統處理器、數位訊號處理器(DSP)、複數微處理器、與DSP核心相關聯的一個或複數微處理器、控制器、微控制器、專用積體電路(ASIC)、特定應用標準產品(ASSP)、現場可程式設計閘陣列(FPGA)電路、任何其他類型的積體電路(IC)和/或狀態機。
儘管已經就通信系統描述了本發明,但是可以預期,系統可以在微處理器/通用電腦(未示出)上的軟體中被實施。在某些實施例中,各種組件的一個或複數功能可以用控制通用電腦的軟體來實施。
另外,儘管本文參考特定實施例說明和描述了本發明,但是本發明並不旨在限於所示的細節。相反,在申請專利範圍的等同範圍內且不悖離本發明的情況下可以在細節上進行各種修改。
10:視訊編碼(encoding)和解碼(decoding)系統 12:源裝置 14:目的地裝置 16:通信通道 18:視訊編碼器單元 20、28:傳輸和/或接收(Tx/Rx)單元 22、26:Tx/Rx元件 24:視訊源 30:視訊解碼器單元 32:顯示裝置 100:通信系統 102、102a、102b、102c、102d:無線傳輸/接收單元(WTRU) 104、113:無線電存取網路(RAN) 106、115:核心網路(CN) 108:公共交換電話網路(PSTN) 110:網際網路 112:其他網路 114a、114b:基地台 116:空中介面 118:處理器 120:收發器 122:傳輸/接收元件 124:揚聲器/麥克風 126:小鍵盤 128:顯示器/觸控板 130:非可移記憶體 132:可移記憶體 134:電源 136:全球定位系統(GPS)晶片組 138:週邊設備 160a、160b、160c:e節點B 162:移動性管理實體(MME)
164:服務閘道(SGW)
166:封包資料網路(PDN)閘道
180a、180b、180c:gNB
182a、182b:存取和移動性管理功能(AMF)
183a、183b:對話管理功能(SMF)
184a、184b:路由往使用者平面功能(UPF)
185a、185b:資料網路(DN)
GOF:訊框組
SPS:對活動序列參數集
V-PCC:基於視訊的點雲壓縮
VPCC_PSD:VPCC修補(patch)序列資料
藉由以下結合附圖以範例性方式給出的詳細描述,可以得到更詳細的理解。說明中的附圖是範例。因此,附圖和詳細描述不應被視為限制性的,並且其他同等有效的範例也是可行的和可能的。此外,附圖中相同的附圖標記表示相同的元素,並且其中: 圖1A是示出了可以實施一個或複數揭露的實施例所在的範例性通信系統的系統圖。 圖1B是示出了根據實施例的可在圖1A中所示的通信系統內使用的範例性無線傳輸/接收單元(WTRU)的系統圖; 圖1C是示出了根據實施例的可在圖1A中所示的通信系統內使用的範例性無線電存取網路(RAN)和範例性核心網路(CN)的系統圖; 圖1D是示出了根據實施例的可在圖1A中所示的通信系統內使用的另一範例性RAN和另一範例性CN的系統圖; 圖2是示出了可以執行和/或實施一個或複數實施例所在的範例視訊編碼和解碼系統的框圖; 圖3是示出了用於基於視訊的點雲壓縮(V-PCC)的位元串流的結構的示圖; 圖4是示出了作為V-PCC單元序列的V-PCC位元串流的結構的示圖; 圖5是示出了V-PCC單元資料類型、單元標頭語法和對活動序列參數集(SPS)的引用的示圖; 圖6是示出了SPS參數集和PSD參數集的示圖; 圖7是示出了GOF串流到電影片段的映射的示圖; 圖8是示出了根據實施例的V-PCC位元串流結構的示圖; 圖9是示出了根據實施例的用於V-PCC位元串流的分段ISOBMFF容器的示圖; 圖10是示出了根據實施例的PSD參數集引用(reference)結構的示圖;以及 圖11是示出了根據實施例的另一PSD參數集引用結構的示圖。
GOF:訊框組

Claims (19)

  1. 一種在寫碼點雲(PC)序列的一PC位元串流中傳送一解碼資訊的方法,該方法包括:將該PC位元串流的一元資料分量位元串流映射到一國際標準組織/國際電工技術委員會基本媒體檔案格式(ISOBMFF)的一第一受限視訊軌道中,其中該ISOBMFF的該第一受限視訊軌道包括該元資料分量位元串流的一或多個存取單元;將該PC位元串流的一幾何結構子位元串流映射到該ISOBMFF的一第二受限視訊軌道,其中該ISOBMFF的該第二受限視訊軌道包括該幾何結構子位元串流的一或多個存取單元;將該PC位元串流的一佔用子位元串流映射到該ISOBMFF的一第三受限視訊軌道,其中該ISOBMFF的該第三受限視訊軌道包括該佔用子位元串流的一或多個存取單元,其中該第一受限視訊軌道包括以該ISOBMFF進行編碼的該PC位元串流的一或多個分量位元串流的指示,且其中該PC位元串流的該一或多個分量位元串流包括該幾何結構子位元串流及該佔用子位元串流;將一受限方案資訊盒子添加到該第一受限視訊軌道、該第二受限視訊軌道以及該第三受限視訊軌道,該受限方案資訊盒子指出分別的視訊軌道為一受限視訊軌道;以及產生一ISOBMFF容器以傳送用於該PC位元串流的該元資料分量位元串流映射、該幾何結構子位元串流映射以及該佔用子位元串流映射。
  2. 如請求項1所述的方法,其中該第一受限視訊軌道包括與該PC位元串流的該元資料分量位元串流相關聯的複數樣本,該第二受限視訊軌道包括與該PC位元串流的該幾何結構子位元串流相關聯的複數第二樣本,以及該第 三受限視訊軌道包括與該PC位元串流的該佔用子位元串流相關聯的複數第三樣本。
  3. 如請求項1所述的方法,其中該第二受限視訊軌道以及該第三受限視訊軌道包括該PC位元串流的一或多層的一指示。
  4. 如請求項3所述的方法,其中該一或多層的每一層與相關於一深度圖像平面的一分別深度相關聯。
  5. 如請求項1所述的方法,更包括將該PC位元串流的一屬性子位元串流映射到該ISOBMFF的一第四受限視訊軌道,其中該ISOBMFF的該第四受限視訊軌道包括該屬性子位元串流的一或多個存取單元。
  6. 如請求項1所述的方法,其中在一個寫碼PC序列中的該第一受限視訊軌道、該第二受限視訊軌道以及該第三受限視訊軌道在該ISOBMFF的一單個位置中被用信號通知。
  7. 如請求項5所述的方法,其中該屬性子位元串流與一屬性類型相關聯,該屬性類型包括一顏色、一透明度、一獲取時間、或另一材料性質。
  8. 如請求項1所述的方法,其中該元資料分量位元串流包括一或多個PC標頭資訊以及全域標頭資訊。
  9. 如請求項1所述的方法,還包括產生一或多個定時元資料分量位元串流,其中與該些定時元資料分量位元串流相關聯的樣本被包括在一媒體資料盒子(MediaDataBox)中。
  10. 如請求項1所述的方法,其中一ISOBMFF軌道引用工具被用於將該PC位元串流的該元資料分量位元串流連結到該第一受限視訊軌道、該第二受限視訊軌道以及該第三受限視訊軌道。
  11. 一種包括用於在寫碼點雲(PC)序列的一PC位元串流中傳送解碼資訊的電路的裝置,該電路包括一傳輸器、一接收器、一處理器及一記憶體中的任一者,被配置為:將該PC位元串流的一元資料分量位元串流映射到一國際標準組織/國際電工技術委員會基本媒體檔案格式(ISOBMFF)的一第一受限視訊軌道中,其中該ISOBMFF的該第一受限視訊軌道包括該元資料分量位元串流的一或多個存取單元;將該PC位元串流的一幾何結構子位元串流映射到該ISOBMFF的一第二受限視訊軌道,其中該ISOBMFF的該第二受限視訊軌道包括該幾何結構子位元串流的一或多個存取單元;將該PC位元串流的一佔用子位元串流映射到該ISOBMFF的一第三受限視訊軌道,其中該ISOBMFF的該第三受限視訊軌道包括該佔用子位元串流的一或多個存取單元,其中該第一受限視訊軌道包括以該ISOBMFF進行編碼的該PC位元串流的一或多個分量位元串流的指示,且其中該PC位元串流的該一或多個分量位元串流包括該幾何結構子位元串流及該佔用子位元串流;將一受限方案資訊盒子添加到該第一受限視訊軌道、該第二受限視訊軌道以及該第三受限視訊軌道,該受限方案資訊盒子指出分別的視訊軌道為一受限視訊軌道;以及產生一ISOBMFF容器以傳送用於該PC位元串流的該元資料分量位元串流映射、該幾何結構子位元串流映射以及該佔用子位元串流映射。
  12. 如請求項11所述的裝置,其中該第一受限視訊軌道包括與該PC位元串流的該元資料分量位元串流相關聯的複數樣本,該第二受限視訊軌道包括與該PC位元串流的該幾何結構子位元串流相關聯的複數第二樣本,以及該 第三受限視訊軌道包括與該PC位元串流的該佔用子位元串流相關聯的複數第三樣本,以及其中該第二受限視訊軌道以及該第三受限視訊軌道包括該PC位元串流的一或多層的一指示。
  13. 如請求項12所述的裝置,其中該一或多層的每一層與相關於一深度圖像平面的一分別深度相關聯。
  14. 如請求項11所述的裝置,其中該處理器還被配置為將該PC位元串流的一屬性子位元串流映射到該ISOBMFF的一第四受限視訊軌道,其中該ISOBMFF的該第四受限視訊軌道包括該屬性子位元串流容器的一或多個存取單元。
  15. 如請求項11所述的裝置,其中該處理器還被配置為產生一或多個定時元資料分量位元串流,其中與該些定時元資料分量位元串流相關聯的樣本被包括在一媒體資料盒子(MediaDataBox)中。
  16. 如請求項11所述的裝置,其中一ISOBMFF軌道引用工具被用於將該PC位元串流的該元資料分量位元串流連結到該第一受限視訊軌道、該第二受限視訊軌道以及該第三受限視訊軌道。
  17. 如請求項14所述的裝置,其中該屬性子位元串流與一屬性類型相關聯,該屬性類型包括一顏色、一透明度、一獲取時間、或另一材料性質。
  18. 如請求項11所述的裝置,其中該元資料分量位元串流包括一PC標頭資訊以及一全域標頭資訊中的一或多個。
  19. 如請求項11所述的裝置,其中在一個寫碼PC序列中的該第一受限視訊軌道、該第二受限視訊軌道以及該第三受限視訊軌道在該ISOBMFF的一單個位置中被用信號通知。
TW108133216A 2018-09-18 2019-09-16 點雲壓縮位元串流格式方法及裝置 TWI805840B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862732774P 2018-09-18 2018-09-18
US62/732774 2018-09-18
US201962820026P 2019-03-18 2019-03-18
US62/820026 2019-03-18

Publications (2)

Publication Number Publication Date
TW202037174A TW202037174A (zh) 2020-10-01
TWI805840B true TWI805840B (zh) 2023-06-21

Family

ID=68165705

Family Applications (2)

Application Number Title Priority Date Filing Date
TW112118967A TWI887657B (zh) 2018-09-18 2019-09-16 點雲壓縮位元串流格式方法及裝置
TW108133216A TWI805840B (zh) 2018-09-18 2019-09-16 點雲壓縮位元串流格式方法及裝置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW112118967A TWI887657B (zh) 2018-09-18 2019-09-16 點雲壓縮位元串流格式方法及裝置

Country Status (9)

Country Link
US (3) US11568573B2 (zh)
EP (1) EP3853822A1 (zh)
JP (3) JP7460611B2 (zh)
KR (1) KR20210074278A (zh)
CN (2) CN112740282B (zh)
AU (2) AU2019342612B2 (zh)
MX (1) MX2021003179A (zh)
TW (2) TWI887657B (zh)
WO (1) WO2020060813A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740282B (zh) 2018-09-18 2024-05-24 Vid拓展公司 用于点云压缩比特流格式的方法和装置
CN113302944B (zh) 2018-12-28 2023-10-27 索尼集团公司 信息处理装置和信息处理方法
KR102585498B1 (ko) * 2019-03-20 2023-10-06 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신 방법
JP7731870B2 (ja) * 2019-08-14 2025-09-01 フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 無線通信ネットワークにおけるデータストリームの分離能力の検討
EP4042381A4 (en) * 2019-09-30 2022-11-02 ZTE Corporation FILE FORMAT FOR POINT CLOUD DATA
WO2021072131A1 (en) * 2019-10-09 2021-04-15 Sony Corporation Synchronization of decoded frames before point cloud reconstruction
CN114930863B (zh) * 2020-01-09 2023-08-08 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
KR102406846B1 (ko) * 2020-03-18 2022-06-10 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
EP4128786A1 (en) * 2020-04-02 2023-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. File format schemes allowing efficient roi, stream access and parameter set handling
WO2021201390A1 (ko) * 2020-04-03 2021-10-07 엘지전자 주식회사 포인트 클라우드 데이터 처리 장치 및 방법
GB2593945A (en) * 2020-04-06 2021-10-13 Canon Kk Method and apparatus for encapsulating region related annotation in an image file
WO2021210867A1 (ko) * 2020-04-12 2021-10-21 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN115380537A (zh) * 2020-04-13 2022-11-22 Lg电子株式会社 发送点云数据的设备、发送点云数据的方法、接收点云数据的设备及接收点云数据的方法
EP4138397A4 (en) * 2020-04-14 2024-03-27 LG Electronics, Inc. POINT CLOUD DATA TRANSMISSION APPARATUS, POINT CLOUD DATA TRANSMISSION METHOD, POINT CLOUD DATA RECEIVING APPARATUS, AND POINT CLOUD DATA RECEIVING METHOD
CN113542720A (zh) * 2020-04-15 2021-10-22 英特尔公司 用于提供与点云内容相关联的摄像头信息的装置和方法
WO2021251141A1 (ja) * 2020-06-09 2021-12-16 ソニーグループ株式会社 情報処理装置および方法
WO2021262623A1 (en) * 2020-06-22 2021-12-30 Interdigital Patent Holdings, Inc. Adaptive streaming of geometry-based point clouds
EP4085421B1 (en) 2020-06-24 2025-06-18 ZTE Corporation Three-dimensional content processing methods and apparatus
US11706450B2 (en) * 2020-09-18 2023-07-18 Samsung Electronics Co., Ltd. Partial decoding and reconstruction of a video-based point cloud compression bitstream
US12412311B2 (en) 2020-10-09 2025-09-09 Qualcomm Incorporated High level syntax refinements for geometry point cloud compression (G-PCC)
CN120807834A (zh) * 2020-11-26 2025-10-17 腾讯科技(深圳)有限公司 非时序点云媒体的处理方法、装置、设备及存储介质
PL4275181T3 (pl) * 2021-01-05 2024-08-12 Telefonaktiebolaget Lm Ericsson (Publ) Przetwarzanie strumienia 3d
CN115243053B (zh) * 2021-04-22 2024-04-16 腾讯科技(深圳)有限公司 点云编解码方法及相关设备
CN116744007A (zh) * 2022-04-22 2023-09-12 腾讯科技(深圳)有限公司 点云媒体的编解码方法及相关产品
WO2024143466A1 (ja) * 2022-12-28 2024-07-04 ソニーグループ株式会社 情報処理装置および方法
WO2025009902A1 (ko) * 2023-07-04 2025-01-09 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2025014219A1 (ko) * 2023-07-13 2025-01-16 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3349182A1 (en) * 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9357199B2 (en) * 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
EP3092806A4 (en) * 2014-01-07 2017-08-23 Nokia Technologies Oy Method and apparatus for video coding and decoding
US20160373771A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Design of tracks and operation point signaling in layered hevc file format
EP3249921A1 (en) 2016-05-24 2017-11-29 Thomson Licensing Method, apparatus and stream for immersive video format
EP3310052A1 (en) * 2016-10-12 2018-04-18 Thomson Licensing Method, apparatus and stream for immersive video format
US11514613B2 (en) 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
CN112237005B (zh) * 2018-04-05 2023-11-07 Vid拓展公司 用于全向视频的视点元数据
KR20210025527A (ko) * 2018-07-06 2021-03-09 소니 주식회사 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
US11095908B2 (en) * 2018-07-09 2021-08-17 Samsung Electronics Co., Ltd. Point cloud compression using interpolation
US11138762B2 (en) * 2018-07-11 2021-10-05 Samsung Electronics Co., Ltd. Visual quality of video based point cloud compression using one or more additional patches
CN112740282B (zh) 2018-09-18 2024-05-24 Vid拓展公司 用于点云压缩比特流格式的方法和装置
US11132818B2 (en) * 2018-09-28 2021-09-28 Apple Inc. Predicting attributes for point cloud compression according to a space filling curve
US11109012B2 (en) 2018-10-03 2021-08-31 Samsung Electronics Co., Ltd. Carriage of PCC in ISOBMFF for flexible combination
CN113302944B (zh) 2018-12-28 2023-10-27 索尼集团公司 信息处理装置和信息处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3349182A1 (en) * 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format
WO2018130491A1 (en) * 2017-01-13 2018-07-19 Thomson Licensing Method, apparatus and stream for immersive video format

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 R. Skupin, Y. Sanchez; Y.-K. Wang; M. M. Hannuksela; J. Boyce; M. Wien, Standardization status of 360 degree video coding and delivery, 2017 IEEE Visual Communications and Image Processing (VCIP) 10-13 December 2017 https://ieeexplore.ieee.org/document/8305083 *

Also Published As

Publication number Publication date
TWI887657B (zh) 2025-06-21
CN112740282A (zh) 2021-04-30
JP2024079755A (ja) 2024-06-11
US20220051443A1 (en) 2022-02-17
CN118447142A (zh) 2024-08-06
KR20210074278A (ko) 2021-06-21
AU2024205823A1 (en) 2024-09-05
US12260597B2 (en) 2025-03-25
JP7691541B2 (ja) 2025-06-11
JP2025131655A (ja) 2025-09-09
CN112740282B (zh) 2024-05-24
TW202345604A (zh) 2023-11-16
TW202037174A (zh) 2020-10-01
US11568573B2 (en) 2023-01-31
EP3853822A1 (en) 2021-07-28
JP2022501898A (ja) 2022-01-06
US20250166230A1 (en) 2025-05-22
MX2021003179A (es) 2021-08-11
AU2019342612B2 (en) 2024-05-16
WO2020060813A1 (en) 2020-03-26
US20230119983A1 (en) 2023-04-20
JP7460611B2 (ja) 2024-04-02
AU2019342612A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
TWI805840B (zh) 點雲壓縮位元串流格式方法及裝置
TWI887396B (zh) 用於基於視訊的點雲流的isobmff容器中的部分存取支援
US20250056045A1 (en) Video-based point cloud streams
US20250159313A1 (en) Video-based point cloud streams
JP2024502822A (ja) ビジュアルボリュメトリックビデオベース(v3c)及びジオメトリベース点群(g-pcc)メディアのストリーミングのためのmmtシグナリング
TWI845715B (zh) 在串流服務中立體內容成分次位元串流動態適應
TW202539239A (zh) 用於基於視訊的點雲流的isobmff容器中的部分存取支援
TW202207714A (zh) 基於幾何之點雲的適應性串流