[go: up one dir, main page]

JP7563385B2 - 情報処理装置、情報処理方法、再生処理装置及び再生処理方法 - Google Patents

情報処理装置、情報処理方法、再生処理装置及び再生処理方法 Download PDF

Info

Publication number
JP7563385B2
JP7563385B2 JP2021545219A JP2021545219A JP7563385B2 JP 7563385 B2 JP7563385 B2 JP 7563385B2 JP 2021545219 A JP2021545219 A JP 2021545219A JP 2021545219 A JP2021545219 A JP 2021545219A JP 7563385 B2 JP7563385 B2 JP 7563385B2
Authority
JP
Japan
Prior art keywords
information
lod
slice
partial
geometry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021545219A
Other languages
English (en)
Other versions
JPWO2021049333A1 (ja
Inventor
遼平 高橋
光浩 平林
央二 中神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021049333A1 publication Critical patent/JPWO2021049333A1/ja
Application granted granted Critical
Publication of JP7563385B2 publication Critical patent/JP7563385B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Description

本発明は、情報処理装置、情報処理方法、再生処理装置及び再生処理方法に関する。
動画圧縮の国際標準化技術としてＭＰＥＧ（Moving Picture Experts Group）－４が知られている。また、ＩＳＯＢＭＦＦ（International Organization for Standardization Base Media File Format）は、このＭＰＥＧ－４のファイルコンテナ仕様である。すなわち、ＭＰＥＧ－４により圧縮された動画データや音声データをＩＳＯＢＭＦＦファイルに格納して配信することが可能である。
また、３次元空間を表現する方法として、３次元空間上に位置情報と色や反射などの属性情報とを同時に持った点の集合であるポイントクラウド（Point Cloud）を用いる方法がある。このポイントクラウドに関して、３次元形状を示すジオメトリー（geometry）と属性情報を示すアトリビュート（attribute）とに分けて符号化するGeometry based Point Cloud Compression（Ｇ－ＰＣＣ）という符号化技術が存在する。このＧ－ＰＣＣは、ＭＰＥＧ－Ｉ Geometry-based Point Cloud Compression Part 9（ISO/IEC 23090-9）において規定されている。符号化が行われたジオメトリーのデータはジオメトリービットストリームと呼ばれ、圧縮が行われたアトリビュートのデータはアトリビュートビットストリームと呼ばれる。アトリビュートビットストリームのデコードには、復号化されたジオメトリーのデータが必要である。
また、Ｇ－ＰＣＣで符号化されたビットストリームであるＧ－ＰＣＣビットストリームのローカルストレージからの再生処理やネットワーク配信の効率化を目的として、Ｇ－ＰＣＣビットストリームをＩＳＯＢＭＦＦファイルに格納する方法の検討がなされている。
さらに、画像粒度の階層別符号化であるＬｏＤ（Level of Detail）スケーラブル符号化が、ジオメトリーについてはOctreeとして、アトリビュートについては、エンコードオプション（Scalable Fix Weight Lifting）としてコーデックレイヤでサポートされている。これにより、ジオメトリービットストリーム及びアトリビュートビットストリームの復号化を所望のＬｏＤで中断して、Ｇ－ＰＣＣビットストリームのフルデコード時のＬｏＤよりも低いＬｏＤでポイントクラウドを再構成し、レンダリングできる。
ISO/IEC CD 23090-9:2019 Information technology. MPEG-I (Coded Representation of Immersive Media). Part 9: Geometry-based Point Cloud Compression, 2019-07-01
しかしながら、提案されているＬｏＤスケーラブル復号化の技術では、ＬｏＤスケーラブル復号化の機能をデコーダ毎に個別に追加実装する必要がある。このようにＬｏＤスケーラブル復号化がデコーダの実装依存である場合、再生処理装置間でＬｏＤスケーラブル復号化が行える装置と行えない装置が存在するおそれがある。そのため、視聴者の要望に沿った視聴体験を提供することが困難となる。
そこで、本開示では、視聴者の要望に沿った視聴体験を提供することができる情報処理装置、情報処理方法、再生処理装置及び再生処理方法を提供する。
本開示によれば、符号化部は、ポイントクラウドデータを、品質レベルであるＬｏＤ（Level of Detail）に対応する段階的な階層構造を有するように符号化して１以上のジオメトリースライスを含むデータ領域から構成されるビットストリームを生成する。メタデータ生成部は、前記ＬｏＤと前記ジオメトリースライスにおける前記ＬｏＤに対応する部分領域である部分スライスとの対応を特定するための部分スライス特定情報を生成する。ファイル生成部は、前記部分スライス特定情報を含むファイルを生成する。
Ｇ－ＰＣＣビットストリームの構造を示す図である。 Ｇ－ＰＣＣビットストリームの１つのポイントクラウドフレームのイメージ図である。 ジオメトリーのoctree符号化を表す図である。 ＬｏＤスケーラブル符号化を説明するための図である。 ＬｏＤスケーラブル復号の第１の方法による処理例を示す図である。 ＬｏＤスケーラブル復号の第２の方法による処理例を示す図である。 配信システムの一例のシステム構成図である。 ファイル生成装置のブロック図である。 第１の実施形態に係るアクセス情報及び階層情報を説明するための図である。 第１の実施形態に係るSubSampleInformationBoxを示す図である。 第１の実施形態係るSubSampleInformationBoxの格納例を示す図である。 クライアント装置のブロック図である。 復号処理部の詳細を表すブロック図である。 第１の実施形態に係るファイル生成装置によるファイル生成処理のフローチャートである。 第１の実施形態に係るクライアント装置により実行される再生処理のフローチャートである。 第１の実施形態の変形例（１）に係るcodec_specific_parametersの一例を表す図である。 第１の実施形態の変形例（２－１）に係るアクセス情報及び階層情報を説明するための図である。 第１の実施形態の変形例（２－１）に係る時間対応メタデータの一例を表す図である。 第１の実施形態の変形例（２－１）に係る時間対応メタデータの格納例を示す図である。 第１の実施形態の変形例（２－１）に係るcodec specific parametersの一例を表す図である。 第１の実施形態の変形例（２－２）に係る時間対応メタデータの一例を表す図である。 レイヤ構造スライスを有するＧ－ＰＣＣビットストリームを示す図である。 第１の実施形態の変形例（３－２）に係る時間対応メタデータの一例を表す図である。 第１の実施形態の変形例（３－２）に係る部分スライスの抽出を示す図である。 第１の実施形態の変形例（３－３）に係る時間対応メタデータの一例を表す図である。 サンプルグループの構成の一例を示す図である。 第２の実施形態に係るUnitMapEntryの一例を示す図である。 第２の実施形態に係るサンプルグループの一例を示す図である。 タイル毎にＬｏＤを異ならせたポイントクラウドの３次元画像の一例を示す図である。 第２の実施形態の変形例（１）に係る時間対応メタデータの一例を示す図である。 第２の実施形態の変形例（２－１）に係るサンプルグループとsub-sampleの対応関係を示す図である。 第２の実施形態の変形例（２－１）においてサンプルグループにdepth値を格納する場合のUnitMapEntryを示す図である。 第２の実施形態の変形例（２－１）に係るdepth値を格納したサンプルグループの状態を示す図である。 第２の実施形態の変形例（２－２）においてサンプルグループを用いた場合の時間対応メタデータを示す図である。 第２の実施形態の変形例（２－２）に係る各レイヤとＬｏＤとの対応付けを示す図である。 Ｇ－ＰＣＣ静止画のＩＳＯＢＭＦＦファイルへの格納方法を示す図である。 第３の実施形態に係るSubSampleItemPropertyの一例を示す図である。 Ｇ－ＰＣＣ静止画の時間対応メタデータを用いた格納方法を示す図である。 第３の実施形態の変形例（１）に係る時間対応メタデータの一例を示す図である。 Ｇ－ＰＣＣ静止画をタイル毎にＬｏＤを異ならせる場合の部分スライス特定情報の格納方法を示す図である。 第３の実施形態の変形例（２）に係るTileLoDDecodeIntemPropertyの一例を示す図である。 Matroska Media Containerのフォーマットを表す図である。 コンピュータのハードウェア構成図である。
以下に、本願の開示する情報処理装置、再生処理装置及び情報処理方法の実施形態を図面に基づいて詳細に説明する。なお、本技術で開示される範囲は、実施形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
非特許文献１：（上述）
非特許文献２：ISO/IEC 14496-12:2015 Information technology. Coding of audio-visual object. Part 12: ISO base media file format, 2015-12
非特許文献３：ISO/IEC M49043, [G-PCC] CE12.15 report on LoD generation for spatial scalability version 2, 2019-07-06
非特許文献４：ISO/IEC N18607, Technologies Under Consideration for Carriage of Point Cloud Data, 2019-08-26
非特許文献５：”Matroska Media Container”, ［令和２年６月１５日検索］， インターネット ＜URL ： https://www.matroscka.org/＞
非特許文献６：”WebP Container Specification”, ［令和２年６月１５日検索］， インターネット ＜URL ： https://developers.google.com/speed/webp/docs/riff_container＞
つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献２及び４－６記載されているFile Structure、非特許文献１及び３に記載されているＧ－ＰＣＣビットストリーム構造で用いられている用語が実施形態において直接的に定義されていない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施形態において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たすものとする。
また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１．１ 第１の実施形態の変形例（１）
１．２ 第１の実施形態の変形例（２－１）
１．３ 第１の実施形態の変形例（２－２）
１．４ 第１の実施形態の変形例（２－３）
１．５ 第１の実施形態の変形例（３－１）
１．６ 第１の実施形態の変形例（３－２）
１．７ 第１の実施形態の変形例（３－３）
２．第２の実施形態
２．１ 第２の実施形態の変形例（１）
２．２ 第２の実施形態の変形例（２－１）
２．３ 第２の実施形態の変形例（２－２）
３．第３の実施形態
３．１ 第３の実施形態の変形例（１）
３．２ 第３の実施形態の変形例（２）
４．第４の実施形態
［１．第１の実施形態］
（第１の実施形態に係るシステムの構成）
図１は、Ｇ－ＰＣＣビットストリームの構造を示す図である。また、図２は、Ｇ－ＰＣＣビットストリームの１つのポイントクラウドフレームのイメージ図である。図１に示すＧ－ＰＣＣビットストリーム１は、図２に示すポイントクラウドフレーム１０をまとめた一連の映像のビットストリームである。
図２に示すように、ポイントクラウドフレーム１０は、複数のポイント１５により形成されるボリュメトリックデータを表す。また、ポイントクラウドフレーム１０は、複数のタイル１１を含む。タイル１１とは、１つのポイントクラウドフレーム１０を囲む立体であるBounding boxを同形状の直方体に分割した場合の１つの直方体を指す。タイル１１は、ポイントクラウドフレーム１０に含まれるポイント１５の点群の外枠である。そして、１つのタイル１１は、複数のスライス１２を含む。スライス１２は、タイル１１に含まれるポイント１５の集合である。そして、１つのスライス１２は、１つのジオメトリースライス１３、及び、０またはそれ以上のアトリビュートスライス１４を含む。なお、図２においては、アトリビュートスライスを有する場合の例を記載する。アトリビュートスライス１４は属性毎に１つずつ存在する。スライス１２が位置情報だけであり属性が存在しない点の集合の場合、アトリビュートスライス１４は存在しない。これに対して、スライス１２が色や反射が付加された点の集合の場合、色や反射といった属性ごとにアトリビュートスライス１４が設定される。
ポイントクラウドフレーム１０におけるジオメトリーの圧縮には、図３に示すoctree符号化が用いられる。図３は、ジオメトリーのoctree符号化を表す図である。octree符号化とは、Voxel表現されたデータにおいて、各ブロック内のポイントの有無を、８分木によって表現する手法である。octree符号化では、樹形図６に示すように、ポイント１５が存在するブロックの値を１とし、ポイント１５が存在しないブロックの値を０として表現される。樹形図６における、８分木毎の階層が深度（depth）と呼ばれる。depthが深くなるほどポイント１５の存在を示す空間領域が小さく制限されていくため、ジオメトリーはdepthが深くなるほど、段階的に画像粒度が細かくなり精彩になる。そして、一番浅いdepthからあるdepthに達するまでの深度を表す範囲が、ＬｏＤにあたる。すなわち、例えば、図３に示すdepth＝０～３の階層が存在する場合、depth＝０の領域がＬｏＤ＝０の領域に対応し、depth＝０とdepth＝１の階層をまとめた領域がＬｏＤ＝１の領域に対応し、depth＝０～２の領域をまとめた領域がＬｏＤ＝２の領域に対応し、depth＝０～３の領域をまとめた領域がＬｏＤ＝３の領域に対応する。すなわち、ＬｏＤが高くなるにしたがって段階的に画像粒度が細かくなり精彩になるともいえる。
また、アトリビュートの圧縮には、Predicting Weight Lifting符号化、Region Adaptive Hierarchical Transform（ＲＡＨＴ）符号化またはFix Weight Lifting符号化が用いられる。そして、アトリビュートは、点の属性の情報であり、ジオメトリーと対応して設定されるため、octree符号が行われるジオメトリーに対して設定されたアトリビュートは、ジオメトリーと同様に階層構造を有し、ＬｏＤが高くなるにしたがって段階的に画像粒度が細かくなり精彩になる。
図１に戻って説明を続ける。Ｇ－ＰＣＣビットストリーム１は、図１に示す構造を有する。Ｇ－ＰＣＣビットストリーム１は、ＳＰＳ（Sequence Parameter Set）、ＧＰＳ（Geometry Parameter Set）及びＡＰＳ（Attribute Parameter Set）を有する。ＳＰＳには、各ビットストリームの復号に用いる基本的な情報が格納される。ＧＰＳには、ジオメトリーの復号に用いるパラメータが格納される。ＡＰＳには、アトリビュートの復号に用いる基本的な情報が格納される。ＧＰＳ及びＡＰＳには、対応するＳＰＳの識別子（Ｉｄ：Identifier）が格納され、そのＳＰＳに関連付けられる。ＧＰＳ及びＡＰＳは、ジオメトリースライス１３単位で異なってもよいし、アトリビュートスライス１４単位で異なってもよい。
また、Ｇ－ＰＣＣビットストリーム１は、タイルインベントリ（tile inventory）、ジオメトリースライス（geometry slice）１３及びアトリビュートスライス（attribute slice）１４を有する。タイルインベントリは、タイル２０の数やタイル２０の構造を含む。タイルインベントリは、ポイントクラウドフレーム１０毎に異なってもよい。
また、上述したように、ジオメトリースライス１３とアトリビュートスライス１４との組み合わせによりスライス１２となる。スライス１２は、独立デコード可能であり、異なるスライス１２の間で重複するポイント１５があってもよい。また、タイル１１は、複数のスライス１２を含む外枠となる。タイル１１は、異なるタイル１１の間で重複する領域が存在してもよい。
ジオメトリースライス１３は、保持するＧＰＳの識別子であるgps_idによりＧＰＳに対応づけられる。また、ジオメトリースライス１３は、自己が形成するスライス１２が属するタイル１１の識別子であるtile_idを保持し、保持するtile_idによりタイルインベントリに対応付けられる。さらにジオメトリースライス１３は、自己が形成するスライス１２の識別子であるslice_idを保持する。一連のジオメトリースライス１３により、ジオメトリービットストリームが形成される。
アトリビュートスライス１４は、保持するＡＰＳの識別子であるaps_idによりＡＰＳに対応づけられる。また、アトリビュートスライス１４は、自己が形成するスライス１２の識別子であるslice_idを保持し、保持するslice_idによりジオメトリースライス１３に対応付けられる。一連のアトリビュートスライス１４により、アトリビュートビットストリームが形成される。
また、octree符号化されたジオメトリービットストリームは、所定の階層までの画像粒度で復号を行うことが可能である。さらに、同様に所定の階層までの画像粒度で復号を行うことが可能であるＬｏＤスケーラブル符号化が、アトリビュートについても、エンコードオプションとしてコーデックレイヤでサポートされた。図４は、ＬｏＤスケーラブル符号化を説明するための図である。
図４に示すジオメトリービットストリーム２１及びアトリビュートビットストリーム２２は、ＬｏＤスケーラブル符号化により、画像粒度に応じて階層化された構造を有する。ジオメトリービットストリーム２１及びアトリビュートビットストリーム２２は、紙面に向かって、上から下に向けてＬｏＤが高くなり、表示する画像におけるデータの密度が上昇して画像粒度が上がる。
ＬｏＤスケーラブル符号化を用いて、ジオメトリースライス１３及びアトリビュートスライス１４のデコードをデータの途中、すなわち階層の途中で停止することにより、所望の階層に対応するＬｏＤでポイントクラウドフレーム１０を構成し、レンダリングできる。以下では、画像粒度が細かく精細度が高い画像を表現する復号を高ＬｏＤでの復号と呼び、画像粒度が粗く精細度が低い画像を表現する復号を低ＬｏＤでの復号と呼ぶ。そして、アトリビュートビットストリームがＬｏＤスケーラブル符号化を用いて符号化されたＧ－ＰＣＣビットストリームに対する復号化をＬｏＤスケーラブル復号化と呼ぶ。
すなわち、ジオメトリービットストリーム２１は、低ＬｏＤでの復号により、低ＬｏＤ部分に対応する部分ジオメトリービットストリーム２３が復号されて画像粒度の低い画像が生成される。部分ジオメトリービットストリーム２３は、各ジオメトリースライス１３の一部分である部分スライス（partial slice）により形成される。また高ＬｏＤでの復号により、例えばフルデコード時にはジオメトリービットストリーム２１の全体が復号されて画像粒度の高い画像が生成される。
同様に、アトリビュートビットストリーム２２は、低ＬｏＤでの復号により、低ＬｏＤ部分に対応する部分アトリビュートビットストリーム２４が復号されて画像粒度の低い画像が生成される。部分アトリビュートビットストリーム２４は、各アトリビュートスライス１４の一部分である部分スライスにより形成される。また高ＬｏＤでの復号により、例えばＧ－ＰＣＣビットストリーム１に含まれるすべてのスライス１２をデコードする時にはアトリビュートビットストリーム２２の全体が復号されて画像粒度の高い画像が生成される。
ここで、ＬｏＤスケーラブル復号化の処理方法としては、各スライス１２について所望のＬｏＤまで復号化を行う第１の方法、及び、第１の方法の後に残りの高ＬｏＤの位置のデータを追加で復号化する第２の方法がある。
図５は、ＬｏＤスケーラブル復号の第１の方法による処理例を示す図である。第１の方法の場合、デコーダは、Ｇ－ＰＣＣビットストリーム１におけるＳＰＳからタイルインベントリまでを無条件でデコードする。その後、デコーダは、処理Ｐ１に示すように所望のＬｏＤに応じたジオメトリースライス１３の部分スライスをデコードする。その後、デコーダは、処理Ｐ２に示すように残りをスキップして次のアトリビュートスライス１４の先頭から次の部分スライスの復号を行う。
図６は、ＬｏＤスケーラブル復号の第２の方法による処理例を示す図である。第２の方法の場合、デコーダは、第１の方法で行った復号と同様の復号を行った後に、処理Ｐ３に示すように残りのデータの先頭へスキップして、処理Ｐ４に示すように残りのデータの復号を行う。例えば、第１の方法の処理Ｐ１が終わった後、処理Ｐ２を行うとの同じタイミングで、第２の方法の処理Ｐ３を行うように並列処理をすることが可能である。また、第１の方法の処理Ｐ１およびＰ２が終わった後に、アトリビュートスライス１４に対する処理Ｐ１を行うと同タイミングで第２の方法の処理Ｐ３を行うように並列処理することも可能である。さらには、全てのスライスを処理し終えた後、処理Ｐ３を行う、といったことも可能である。なお、第２の方法は、再生処理装置側にリソースや時間に余裕がある場合に用いられる方法である。
しかしながら、現在提案されているＬｏＤスケーラブル復号の技術では、ＬｏＤスケーラブル復号化の機能をデコーダ毎に個別に追加実装する必要がある。換言すれば、ＬｏＤスケーラブル復号についての第１の方法では、デコーダが所望のＬｏＤで復号を中断する機能を備えることが求められる。また、ＬｏＤスケーラブル復号についての第２の方法では、高ＬｏＤでの復号を行うために、デコーダは、先に完了した低ＬｏＤでの復号の完了位置を記憶し、その完了位置から高ＬｏＤでの復号を再開する機能を備えることが求められる。
このようにＬｏＤスケーラブル復号を実現するためにデコーダ毎に追加機能を実装する場合、ＬｏＤスケーラブル復号はデコーダの実装依存となり、再生処理装置間でＬｏＤスケーラブル復号が行える装置と行えない装置が発生する。このようなことから、視聴者の要望に沿った視聴体験を提供することが困難となる。
例えば、Ｇ－ＰＣＣビットストリーム１のユースケースとして、ポイントクラウド地図データで、視点位置に近い領域は高ＬｏＤでの復号を行い表示し、遠い領域は低ＬｏＤでの復号を行い表示することが期待される。この場合の復号及び表示には、再生可能となった画像を順次表示するプログレッシブデコーディングも含まれてもよい。また、他のユースケースとして、映画製作において、実物の映画セットをデジタルデータ化したバーチャルアセット利用時に、プレビューは低ＬｏＤで復号を行い、実際のシーンレンダリングには高ＬｏＤでの復号を行うことが期待される。
これらのユースケースを実現するためには、Ｇ－ＰＣＣビットストリーム１全体のＬｏＤスケーラブル復号や、Ｇ－ＰＣＣビットストリーム１のタイル１１の３次元空間位置の識別及びタイル１１毎のＬｏＤスケーラブル復号を、デコーダに非依存で行うことが好ましい。そこで、以下に示す情報処理装置及び再生処理装置を用いて、デコーダに非依存なＬｏＤスケーラブル復号を実現する。
図７は、配信システムの一例のシステム構成図である。配信システム５００は、情報処理装置であるファイル生成装置１００、再生処理装置であるクライアント装置２００及びＷｅｂサーバ３００を含む。ファイル生成装置１００、クライアント装置２００及びＷｅｂサーバ３００は、ネットワーク４００に接続される。そして、ファイル生成装置１００、クライアント装置２００及びＷｅｂサーバ３００は、ネットワーク４００を介して相互に通信可能である。ここで、図７においては、各装置を１台ずつ示しているが、配信システム５００は、ファイル生成装置１００及びクライアント装置２００をそれぞれ複数台含んでもよい。
ファイル生成装置１００は、ポイントクラウドによる３次元画像を提供するデータであるポイントクラウドコンテンツを生成する。ポイントクラウドコンテンツには、Ｇ－ＰＣＣビットストリーム１やメタデータが含まれる。ファイル生成装置１００は、生成したポイントクラウドコンテンツをＷｅｂサーバ３００にアップロードする。ここで、本実施形態では、Ｗｅｂサーバ３００がポイントクラウドコンテンツをクライアント装置２００に提供する構成について説明するが、配信システム５００は他の構成を採ることも可能である。例えば、ファイル生成装置１００が、Ｗｅｂサーバ３００の機能を含み、生成したポイントクラウドコンテンツを自装置内に格納し、クライアント装置２００に提供する構成であってもよい。
Ｗｅｂサーバ３００は、ファイル生成装置１００からアップロードされたポイントクラウドコンテンツを保持する。そして、Ｗｅｂサーバ３００は、クライアント装置２００からの要求にしたがい指定されたポイントクラウドコンテンツを提供する。
クライアント装置２００は、ポイントクラウドコンテンツの送信要求をＷｅｂサーバ３００へ送信する。その後、クライアント装置２００は、送信要求で指定したポイントクラウドコンテンツをＷｅｂサーバ３００から取得する。そして、クライアント装置２００は、ポイントクラウドコンテンツに含まれるＧ－ＰＣＣビットストリーム１を復号して映像を生成して、その映像をモニタなどの表示装置に表示させる。
（第１の実施形態に係るファイル生成装置の構成）
次に、ファイル生成装置１００の詳細について説明する。図８は、ファイル生成装置のブロック図である。情報処理装置であるファイル生成装置１００は、図８に示すように、抽出部１０１、ファイル生成処理部１０２、送信部１０３及び制御部１０４を有する。制御部１０４は、ファイル生成処理部１０２の制御に関する処理を実行する。例えば、制御部１０４は、ファイル生成処理部１０２の各部の動作タイミングなどの統括制御を行う。
抽出部１０１は、対象となるポイントクラウドコンテンツの元データの入力を受け付ける。ポイントクラウドコンテンツの元データには、ポイントクラウドデータ及びメタデータを生成するための制御情報が含まれる。制御情報は、例えば、ポイントクラウドデータの時間制御情報、ジオメトリーのデータとアトリビュートのデータとの対応関係情報及び必要なパラメータなどが含まれる。抽出部１０１は、取得したポイントクラウドコンテンツの元データに含まれるポイントクラウドデータからジオメトリーのデータとアトリビュートのデータとを抽出する。そして、抽出部１０１は、ジオメトリー及びアトリビュートのデータ、並びに、制御情報をファイル生成処理部１０２へ出力する。
ファイル生成処理部１０２は、符号化部１２１及びファイル生成部１２６を有する。さらに、符号化部１２１は、ジオメトリーエンコーダ１２２、アトリビュートエンコーダ１２３及びビットストリーム生成部１２４を有する。
ジオメトリーエンコーダ１２２は、抽出部１０１により出力されたジオメトリーのデータ及びジオメトリーに関する制御情報を取得する。そして、ジオメトリーエンコーダ１２２は、ジオメトリーのデータに対して符号化処理を施し、制御情報を用いてポイントクラウドコンテンツにおけるジオメトリースライスを生成する。ここでは、ジオメトリーエンコーダ１２２は、octree符号化を行い、ＬｏＤを有するジオメトリースライスライスを生成する。また、ジオメトリーエンコーダ１２２は、各ジオメトリースライス及び各符号化パラメータ情報をアトリビュートエンコーダ１２３へ出力する。そして、ジオメトリーエンコーダ１２２は、ジオメトリービットストリームを形成する各ジオメトリースライス、各符号化パラメータ情報及び制御情報をビットストリーム生成部１２４へ出力する。
アトリビュートエンコーダ１２３は、抽出部１０１により出力されたアトリビュートのデータ及びアトリビュートに関する制御情報を取得する。そして、アトリビュートエンコーダ１２３は、制御情報及びジオメトリーエンコーダ１２２から入力された情報を用いて、アトリビュートのデータに対して符号化処理を施し、ポイントクラウドコンテンツにおけるアトリビュートスライス１４を生成する。ここでは、アトリビュートエンコーダ１２３は、octree符号化が施されたジオメトリースライスに対応するＬｏＤを有するアトリビュートスライスと、アトリビュートデータとの対応関係を示すアトリビュートスライスの情報とを生成する。そして、アトリビュートエンコーダ１２３は、アトリビュートビットストリームを形成する複数のアトリビュートスライス、各アトリビュートスライスの情報及び制御情報をビットストリーム生成部１２４へ出力する。
ビットストリーム生成部１２４は、ジオメトリービットストリームを形成する複数のジオメトリースライス、各ジオメトリースライスの情報及び制御情報の入力をジオメトリーエンコーダ１２２から受ける。また、ビットストリーム生成部１２４は、アトリビュートビットストリームを形成する複数のアトリビュートスライス及び制御情報の入力をアトリビュートエンコーダ１２３から受ける。
そして、ビットストリーム生成部１２４は、スライスを形成する組となるジオメトリースライスとアトリビュートスライスとを組み合わせて時系列で並べる。さらに、ビットストリーム生成部１２４は、並べた各スライスに合わせて、制御情報を用いてＳＰＳ、ＧＰＳ、ＡＰＳ及びタイルインベントリを生成する。次に、ビットストリーム生成部１２４は、ジオメトリースライスとアトリビュートスライスとを並べたデータに、ＳＰＳ、ＧＰＳ、ＡＰＳ及びタイルインベントリを付加して、図１に示すフォーマットを有するＧ－ＰＣＣビットストリームを生成する。その後、ビットストリーム生成部１２４は、生成したＧ－ＰＣＣビットストリーム及び制御情報をメタデータ生成部１２５へ出力する。
メタデータ生成部１２５は、Ｇ－ＰＣＣビットストリーム及び制御情報の入力をビットストリーム生成部１２４から受ける。そして、メタデータ生成部１２５は、Ｇ－ＰＣＣビットストリームを形成する各ジオメトリースライス及びアトリビュートスライスに対し、ＬｏＤ及びＬｏＤに対応する部分スライスを示す階層情報であるdepth情報をそれぞれ生成する。
そして、メタデータ生成部１２５は、各ＬｏＤに対応するジオメトリースライスの部分スライス及びアトリビュートスライスの部分スライスへのアクセス情報を生成する。さらに、メタデータ生成部１２５は、階層情報とアクセス情報とを関連付ける部分スライス特定情報を生成する。以下に、メタデータ生成部１２５によるアクセス情報、階層情報及び部分スライス特定情報の生成の詳細について説明する。
メタデータ生成部１２５は、ＳＰＳ、ＧＰＳ、ＡＰＳ及びタイルインベントリをGPCCDecoderConfigurationRecordに格納すると決定する。ただし、メタデータ生成部１２５は、ＧＰＳ、ＡＰＳ及びタイルインベントリを含ませるか否かは、sample entry typeに応じて決定する。
図９は、第１の実施形態に係るアクセス情報及び階層情報を説明するための図である。図８のメタデータ生成部１２５は、ポイントクラウドコンテンツにおける１フレームを構成する１以上のジオメトリースライス及び０以上のアトリビュートスライスを１つのsampleとして設定し、trackに格納する。例えば、メタデータ生成部１２５は、図９に示すように、１つのポイントクラウドフレームに含まれる各ジオメトリースライス及び各アトリビュートスライスを１つのsample３１に格納する。
次に、図８のメタデータ生成部１２５は、各ジオメトリースライス及びアトリビュートスライスに対し、ＬｏＤに対応するdepth情報に基づいてsub-sampleを設定し、ＬｏＤとの対応を示す部分スライス特定情報を生成する。具体的には、メタデータ生成部１２５は、図９のように、ジオメトリースライス及びアトリビュートスライスの各スライスを、depth毎に分割して分割スライスとして設定し、各分割スライスをsub-sampleとして設定する。そして、メタデータ生成部１２５は、ＬｏＤに対応するdepth情報から、必要なdepthに対応する分割スライスを組み合わせることで形成される部分スライスと、ＬｏＤとの対応関係を示す部分スライス特定情報を生成する。
すなわち、各depthに対応する分割スライスは、ＬｏＤが高くなりdepthが深くなるにしたがって階層毎に増加する差分の領域である。図９におけるsub-sample＃１，＃２，＃３・・・が、個々の分割スライスに対応する。例えば、sub-sample＃１は、ジオメトリースライスにおける最も浅いdepthにあたる分割スライスに対応する。また、sub-sample＃２は、ジオメトリースライスにおける２番目に浅いdepthにあたる分割スライスに対応する。すなわち、sub-sample＃２は、最も低いＬｏＤと次に低いＬｏＤの差分にあたる分割スライスに対応する。また、sub-sample＃３は、ジオメトリースライスにおける最も深いdepthに対応する分割スライスに対応する。すなわち、sub-sample＃３は、最も深いＬｏＤと次に深いＬｏＤの差分にあたる分割スライスに対応する。また、sub-sample＃４は、アトリビュートスライスにおける最も浅いdepthにあたる分割スライスに対応する。また、sub-sample＃５は、アトリビュートスライスにおける２番目に浅いdepthにあたる分割スライスに対応する。また、sub-sample＃６は、アトリビュートスライスにおける最も深いdepthに対応する分割スライスに対応する。
次に、図８のメタデータ生成部１２５は、各ＬｏＤに対応する部分スライスへのアクセス情報として、各分割スライスのサイズ情報を設定する。これにより、クライアント装置２００は、分割スライスのサイズ情報を用いて、指定されたＬｏＤに対応する分割スライスへアクセスすることや、それ以外の分割スライスをスキップすることができる。具体的には、部分スライスは分割スライスから形成されていることから、設定された部分スライス特定情報と、分割スライスのサイズ情報を組み合わせることにより、指定されたＬｏＤに対応する部分スライスへアクセスすることが可能である。
また、メタデータ生成部１２５は、スライスを分割するに際し、各分割スライスが対応するdepthを表す情報であるdepth値を設定する。例えば、メタデータ生成部１２５は、図９におけるsub-sample＃１のdepth値を０とし、sub-sameple＃２のdepth値を１とし、sub-sameple＃３のdepth値を２とする。また、メタデータ生成部１２５は、sub-sample＃４のdepth値を０とし、sub-sameple＃５のdepth値を１とし、sub-sameple＃６のdepth値を２とする。ＬｏＤは、ジオメトリースライス毎及びアトリビュートスライス毎に存在するので、本実施形態では、depth値は、ジオメトリースライス毎及びアトリビュートスライス毎に先頭から０から始まる割り当てが行われる。
そして、メタデータ生成部１２５は、図１０に示すシンタックス３２で表されるSubSampleInformationBoxに格納するデータを生成する。図１０は、第１の実施形態に係るSubSampleInformationBoxを示す図である。図１０におけるｉを変数とするforループのそれぞれが１つ１つのsub-sampleに対応する。そして、メタデータ生成部１２５は、subsample_sizeで各sub-sampleのサイズを表す。また、メタデータ生成部１２５は、各sub-sampleで表される分割スライスのdepth値をcodec_specific_parametersで表す。codec_specific_parametersは、符号化コーデック毎に決まるsab-sampleの情報であり、シンタックス３３で表される。これにより、メタデータ生成部１２５は、分割スライスへのアクセス情報である分割スライスのサイズと階層情報であるdepth値とを関連付ける部分スライス特定情報をSubSampleInformationBoxに格納する。すなわち、メタデータ生成部１２５は、部分スライス特定情報をsub-sample Informationに格納する。その後、メタデータ生成部１２５は、Ｇ－ＰＣＣビットストリーム１をファイル生成部１２６へ出力する。また、メタデータ生成部１２５は、ＳＰＳ、ＧＰＳ、ＡＰＳ及びタイルインベントリ、ジオメトリースライス１３及びアトリビュートスライス１４のそれぞれの格納先の情報、並びに、SubSampleInformationBoxを含むメタデータをファイル生成部１２６へ出力する。
ここで、本実施形態では、メタデータ生成部１２５は、ＳＰＳ、ＧＰＳ、ＡＰＳ及びタイルインベントリをGPCCDecoderConfigurationRecordに格納するとし、ジオメトリースライス１３及びアトリビュートスライス１４を１つのtrackのsampleに格納するとした。ただし、格納方法はこれに限らず、例えば、メタデータ生成部１２５は、ＳＰＳ、ＧＰＳ、ＡＰＳ及びタイルインベントリの一部又は全部をsampleに格納するように構成してもよい。ＧＰＳ、ＡＰＳ及びタイルインベントリが、GPCCDecoderConfigurationRecordに格納されるか、sampleに格納されるかは、sample entry typeに応じて決定される。また、メタデータ生成部１２５は、ジオメトリースライス１３とアトリビュートスライス１４とを、それぞれ個別のtrackのsampleに格納するように構成してもよい。
ファイル生成部１２６は、Ｇ－ＰＣＣビットストリーム１、各データの格納先の情報、並びに、SubSampleInformationBoxに格納するデータの入力をメタデータ生成部１２５から受ける。そして、ファイル生成部１２６は、取得したメタデータをＩＳＯＭＢＦＦファイルに格納する。例えば、ファイル生成部１２５は、ＩＳＯＢＭＦＦのsub-sample informationにＬｏＤ毎の部分スライス対応情報を格納する。次に、ファイル生成部１２６は、Ｇ－ＰＣＣビットストリーム１を図１１に示すようにＩＳＯＢＭＦＦファイルの実データ領域であるmdatに格納したＧ－ＰＣＣファイルを生成する。図１１は、第１の実施形態に係るSubSampleInformationBoxの格納例を示す図である。具体的には、ファイル生成部１２６は、ジオメトリースライス１３及びアトリビュートスライス１４を１つのtrackのsampleに格納する。また、ファイル生成部１２６は、ＳＰＳ、ＧＰＳ、ＡＰＳ及びタイルインベントリをGPCCDecoderConfigurationRecordに格納する。さらに、ファイル生成部１２６は、図１１のボックス３４で示すように、movie box配下の、tack box配下の、media box配下の、sample table boxの下にSubSampleInformationBoxを格納する。図１１では、movie boxはmoovと表され、tack boxはtrakと表され、media boxはmediaと表され、sample table boxはstblと表される。他にも、ファイル生成部１２６は、movie fragment box配下のtrack fragment boxの下にSubSampleInformationBoxを格納してもよい。その後、ファイル生成部１２６は、生成したＧ－ＰＣＣファイルを送信部１０３へ出力する。
送信部１０３は、Ｇ－ＰＣＣビットストリーム１のＧ－ＰＣＣファイルをファイル生成部１２６から受ける。そして、送信部１０３は、取得したＧ－ＰＣＣビットストリーム１のＧ－ＰＣＣファイルをＷｅｂサーバ３へ送信してポイントクラウドコンテンツをアップロードする。
［第１の実施形態に係るクライアント装置の構成］
図１２は、クライアント装置のブロック図である。図１２に示すように、再生処理装置であるクライアント装置２００は、再生処理部２０１、表示部２０２及び制御部２０３を有する。制御部２０３は、再生処理部２０１の各部の動作を制御する。例えば、制御部２０３は、再生処理部２０１の各部の動作のタイミングを統括制御する。再生処理部２０１は、ファイル取得部２１１及び復号処理部２１２を有する。
ファイル取得部２１１は、ポイントクラウドコンテンツのデータの取得要求をＷｅｂサーバ３００に送信する。そして、ファイル取得部２１１は、ポイントクラウドコンテンツのＧ－ＰＣＣビットストリーム１のＧ－ＰＣＣファイルが格納されたＩＳＯＢＭＦＦファイルをＷｅｂサーバ３００から取得する。その後、ファイル取得部２１１は、取得したＩＳＯＢＭＦＦファイルを復号処理部２１２へ出力する。
復号処理部２１２は、ファイル処理部２２１、復号部２２２及び表示情報生成部２２３を有する。図１３は、復号処理部の詳細を表すブロック図である。
ファイル処理部２２１は、データ抽出部２３１を有する。データ抽出部２３１は、ファイル取得部２１１から出力されたＧ－ＰＣＣビットストリーム１が格納されたＧ－ＰＣＣファイルを取得する。次に、データ抽出部２３１は、取得したＧ－ＰＣＣファイルをパースしてメタデータを抽出する。次に、データ抽出部２３１は、メタデータに含まれるSubSampleInformationBoxから分割スライス毎の部分スライス特定情報を取得する。そして、データ抽出部２３１は、再生が指定されたＬｏＤにあたる分割スライスに対応するsub-sampleの情報を部分スライス特定情報から取得し、図９の処理Ｐ３で示すようにＧ－ＰＣＣファイルのsampleから指定されたＬｏＤの領域に含まれる分割スライスを抽出する。この後、データ抽出部２３１は、指定されたＬｏＤ以上の領域に含まれる分割スライスのサイズを部分スライス特定情報から取得する。そして、データ抽出部２３１は、図９の処理Ｐ４のように、指定されたＬｏＤ以上の領域の分割スライスをスキップして次の指定されたＬｏＤの領域に含まれる部分スライスの先頭に移動する。ファイル処理部２２１は、以上の処理Ｐ３及びＰ４を繰り返して、指定されたＬｏＤにあたる部分スライスをジオメトリースライス１３及びアトリビュートスライス１４から抽出する。これにより、ファイル処理部２２１は、ジオメトリービットストリーム及びアトリビュートビットストリームにおける指定されたＬｏＤに対応する部分スライス群を取得する。
その後、ファイル処理部２２１は、指定されたＬｏＤに対応するジオメトリービットストリームに含まれる部分スライス群及びジオメトリーの復号に関するパラメータを復号部２２２のジオメトリーデコーダ２３２へ出力する。また、ファイル処理部２２１は、指定されたＬｏＤに対応するアトリビュートビットストリームに含まれる部分スライス群及びアトリビュートの復号に関するパラメータを復号部２２２のアトリビュートデコーダ２３３へ出力する。
復号部２２２は、ジオメトリーデコーダ２３２及びアトリビュートデコーダ２３３を有する。
ジオメトリーデコーダ２３２は、指定されたＬｏＤに対応するジオメトリービットストリームに含まれる部分スライス群及びジオメトリーの復号に関するパラメータの入力をファイル処理部２２１から受ける。そして、ジオメトリーデコーダ２３２は、ジオメトリーの復号に関するパラメータを用いて、取得した部分スライス群を復号する。これにより、ジオメトリーデコーダ２３２は、指定されたＬｏＤに対応するジオメトリーのデータを取得する。この際、ジオメトリーデコーダ２３２は、復号を行った部分スライスの位置情報をアトリビュートデコーダ２３３へ出力する。その後、ジオメトリーデコーダ２３２は、復号した部分スライス群を表示情報生成部２２３のポイントクラウド生成部２３４へ出力する。
アトリビュートデコーダ２３３は、指定されたＬｏＤに対応するアトリビュートビットストリームに含まれる部分スライス群及びアトリビュートの復号に関するパラメータの入力をファイル処理部２２１から受ける。そして、アトリビュートデコーダ２３３は、アトリビュートの復号に関するパラメータ及びジオメトリーデコーダ２３２から取得した部分スライスの位置情報を用いて、取得した部分スライス群を復号する。これにより、アトリビュートデコーダ２３３は、指定されたＬｏＤに対応するアトリビュートのデータを取得する。その後、アトリビュートデコーダ２３３は、復号した部分スライス群を表示情報生成部２２３のポイントクラウド生成部２３４へ出力する。
このように、ジオメトリーデコーダ２３２及びアトリビュートデコーダ２３３は、指定されたＬｏＤに対応する部分スライス群をファイル処理部２２１から取得することで、通常のデコードを行うことで指定されたＬｏＤに対応するポイントクラウドを生成できる。すなわち、ジオメトリーデコーダ２３２及びアトリビュートデコーダ２３３は、指定されたＬｏＤに対応する部分スライスの抽出や使用しない部分スライスのスキップなどの処理を行わなくてもよい。
表示情報生成部２２３は、ポイントクラウド生成部２３４及び画像処理部２３５を有する。
ポイントクラウド生成部２３４は、復号処理が施されたジオメトリービットストリームの部分スライス群の入力をジオメトリーデコーダ２３２から受ける。また、ポイントクラウド生成部２３４は、復号処理が施されたアトリビュートビットストリームの部分スライス群の入力をアトリビュートデコーダ２３３から受ける。そして、ポイントクラウド生成部２３４は、指定されたＬｏＤに対応するジオメトリーデータと指定されたＬｏＤに対応するアトリビュートのデータとを組み合わせて、指定されたＬｏＤに対応するポイントクラウドを生成する。その後、ポイントクラウド生成部２３４は、生成したポイントクラウドを画像処理部２３５へ出力する。
画像処理部２３５は、指定されたＬｏＤに対応するポイントクラウドのデータの入力をポイントクラウド生成部２３４から受ける。そして、画像処理部２３５は、取得したポイントクラウドのデータを用いてレンダリングを行って表示画像を生成する。その後、画像処理部２３５は、表示画像を表示部２０２へ出力する。
表示部２０２は、モニタなどの表示装置を有する。表示部２０２は、画像処理部２３５により生成された表示画像の入力を受ける。そして、表示部２０２は、取得した表示画像を表示装置に表示させる。これにより、表示部２０２は、指定されたＬｏＤに対応する表示画像を表示装置に表示させることができる。
［第１の実施形態に係るファイル生成手順］
次に、図１４を参照して、本実施形態に係るファイル生成装置１００によるファイル生成処理の流れについて説明する。図１４は、第１の実施形態に係るファイル生成装置によるファイル生成処理のフローチャートである。
抽出部１０１は、ポイントクラウドを用いた３次元映像を表示させるポイントクラウドコンテンツの元データの入力を受け付ける。次に、抽出部１０１は、取得したポイントクラウドコンテンツの元データに含まれるポイントクラウドのデータからジオメトリーのデータとアトリビュートのデータとを抽出する。ジオメトリーエンコーダ１２２は、ジオメトリーのデータに対して符号化処理を施し、ＬｏＤを有するジオメトリースライス１３を生成する。アトリビュートエンコーダ１２３は、制御情報及びジオメトリーエンコーダ１２２から入力された位置情報を用いて、アトリビュートのデータに対して符号化処理を施しＬｏＤを有するアトリビュートスライス１４を生成する。これにより、ジオメトリーエンコーダ１２２及びアトリビュートエンコーダ１２３は、ポイントクラウドのデータを符号化する（ステップＳ１０１）。
ビットストリーム生成部１２４は、符号化されたジオメトリースライス１３及びアトリビュートスライス１４を組み合わせて、Ｇ－ＰＣＣビットストリーム１を生成する（ステップＳ１０２）。
メタデータ生成部１２５は、Ｇ－ＰＣＣビットストリーム１をビットストリーム生成部１２４から取得する。次に、メタデータ生成部１２５は、ジオメトリースライス１３及びアトリビュートスライス１４を単一のtrackの１つのsampleに格納すると決定する。さらに、メタデータ生成部１２５は、ジオメトリースライス１３及びアトリビュートスライス１４における各階層に対応する分割スライスをそれぞれsub-sampleと定義する。次に、メタデータ生成部１２５は、各分割スライスに対応するdepthを表すdepth値をそれぞれの分割スライスに設定する。そして、ファイル生成部１２６は、各分割スライスのdepth値を部分スライス特定情報としてSubSampleInfomarionBoxに格納する（ステップＳ１０３）。
また、メタデータ生成部１２５は、各ＬｏＤに対応するジオメトリースライスの部分スライス及びアトリビュートスライスの部分スライスへのアクセス情報などのメタデータをファイル生成部１２６へ出力する。ファイル生成部１２６は、Ｇ－ＰＣＣビットストリーム１及び部分スライス特定情報を含むSubSampleInfomarionBox及びメタデータを、ＩＳＯＢＭＦＦファイルのメタデータ領域に格納したＧ－ＰＣＣファイルを生成する（ステップＳ１０４）。その後、ファイル生成部１２６は、生成したＧ－ＰＣＣファイルを送信部１０６へ出力する。
送信部１０６は、ポイントクラウドコンテンツのＧ－ＰＣＣファイルの入力をファイル生成部１２６から受ける。そして、送信部１０６は、取得したＧ－ＰＣＣファイルをＷｅｂサーバ３へ送信して、ポイントクラウドコンテンツをアップロードする（ステップＳ１０５）。
［第１の実施形態に係る再生処理手順］
次に、図１５を参照して、本実施形態に係るクライアント装置２００により実行される再生処理の流れを説明する。図１５は、第１の実施形態に係るクライアント装置により実行される再生処理のフローチャートである。
ファイル取得部２１１は、ポイントクラウドコンテンツの取得要求をＷｅｂサーバ３００へ送信し、指定しポイントクラウドコンテンツのＧ－ＰＣＣファイルをＷｅｂサーバ３００から取得する。次に、ファイル処理部２２１のデータ抽出部２３１は、Ｇ－ＰＣＣファイルであるＩＳＯＢＭＦＦファイルをパースしてメタデータを抽出する。そして、データ抽出部２３１は、メタデータに含まれるSubSampleInformationBoxから部分スライス特定情報を取得する（ステップＳ２０１）。
次に、データ抽出部２３１は、部分スライス特定報に基づき、指定されたＬｏＤのポイントクラウドの生成に用いるジオメトリービットストリーム及びアトリビュートビットストリームの部分スライス群を抽出する（ステップＳ２０２）。そして、データ抽出部２３１は、ジオメトリービットストリームの部分スライス群を復号部２２２のジオメトリーデコーダ２３２へ出力する。また、データ抽出部２３１は、アトリビュートビットストリームの部分スライス群を復号部２２２のアトリビュートデコーダ２３３へ出力する。
ジオメトリーデコーダ２３２及びアトリビュートデコーダ２３３は、それぞれが抽出されたジオメトリービットストリームの部分スライス群及び抽出されたアトリビュートビットストリームの部分スライス群を復号する（ステップＳ２０３）。これにより、ジオメトリーデコーダ２３２及びアトリビュートデコーダ２３３は、指定されたＬｏＤに対応するジオメトリーのデータ及びアトリビュートのデータを取得する。
表示情報生成部２２３のポイントクラウド生成部２３４は、復号されたジオメトリービットストリームの部分スライス群及びアトリビュートビットストリームの部分スライス群を組み合わせてポイントクラウドを生成する（ステップＳ２０４）。その後、ポイントクラウド生成部２３４は、ポイントクラウドのデータを画像処理部２３５へ出力する。
画像処理部２３５は、ポイントクラウドのデータをポイントクラウド生成部２３４から取得する。次に、画像処理部２３５は、レンダリングを実行して表示画像を生成する。そして、画像処理部２３５は、生成した表示画像を表示部２０２へ送信してポイントクラウドによる３次元映像を表示させる（ステップＳ２０５）。
ここで、本実施形態では、メタデータ生成部１２５は、ジオメトリースライス及びアトリビュートスライスの分割スライスをsub-sampleとして設定したが、他にも、ジオメトリースライス及びアトリビュートスライスをsub-sampleとして設定してもよい。その場合、メタデータ生成部１２５は、例えば、codec_specific_parametersのbyte length(32bit)を拡張して、各ＬｏＤにおける分割スライスのサイズをsub-sample毎に格納することで分割スライスをsub-sampleと定義した場合と同様の効果を得ることができる。
以上に説明したように、本実施形態に係るファイル生成装置は、ジオメトリースライス及びアトリビュートスライスのＬｏＤに対応する階層毎の分割スライスをsub-sampleとして設定する。そして、ファイル生成装置は、分割スライスへのアクセス情報として分割スライスのサイズを取得する。さらに、ファイル生成装置は、各分割スライスが対応するdepthを表す情報であるdepth値を設定する。そして、ファイル生成装置は、必要なdepthに対応する分割スライスを組み合わせることで形成される部分スライスと、ＬｏＤとの対応関係を示す部分スライス特定情報を含むSubSampleInformationBoxを生成する。クライアント装置は、Ｇ－ＰＣＣビットストリームのＩＳＯＢＭＦＦファイルからSubSampleInformationBoxに含まれる部分スライス特定情報を取得して、ジオメトリースライス及びアトリビュートスライスの中から指定されたＬｏＤに対応する部分スライス群を取得する。そして、クライアント装置のデコーダは、ＬｏＤに対応する部分スライス群を復号することで、指定されたＬｏＤに対応するジオメトリーのデータ及びアトリビュートのデータを取得することができる。
このように、クライアント装置は、Ｇ－ＰＣＣビットストリームのＩＳＯＢＭＦＦファイルに含まれる部分スライス特定情報を基に、所望のＬｏＤに対応するデータを得るために用いる部分スライスの位置を識別して抽出しデコーダに入力することができる。これにより、デコーダにＬｏＤスケーラブル復号のための追加機能を実装せずに、ＬｏＤスケーラブル復号を行うことが可能となる。したがって、デコーダに非依存のＬｏＤスケーラブル復号を行うことができ、クライアント装置の種類に依らずに視聴者の要望に沿った視聴体験を提供することができる
［１．１ 第１の実施形態の変形例（１）］
次に、第１の実施形態の変形例（１）について説明する。本変形例に係るファイル生成装置１００は、クライアント装置２００の処理能力に応じてＬｏＤを選択可能にするための指標をクライアント装置２００に提供する。
本変形例に係るファイル生成装置１００のメタデータ生成部１２５は、SubSumpleInformationBoxにおけるcodec_specific_parametersにＬｏＤ毎の復号の対象となるポイントの数であるデコード点数を格納する。例えば、メタデータ生成部１２５は、図１６に示すシンタックス３５で示されるcodec_specific_parametersを生成する。図１６は、第１の実施形態の変形例（１）に係るcodec_specific_parametersの一例を表す図である。シンタックス３５におけるtotal_pointがデコード点数を表す。
ここで、本変形例では、メタデータ生成部１２５は、デコード点数を指標として用いたが、指標はこれに限らず、ＬｏＤ毎のデコード処理における負荷を表す情報であれば他の情報であってもよい。また、本変形例では、メタデータ生成部１２５は、codec_specific_parametersに指標を格納したが、他にも、ＩＳＯＢＭＦＦファイルではなく、Ｇ－ＰＣＣビットストリーム１のHigh Level Syntax（ＨＬＳ）に指標を格納してもよい。ＨＬＳとしては、例えば、ＳＰＳ、ＡＰＳ、ＧＰＳ、タイルインベントリ、ジオメトリースライス１３又はアトリビュートスライス１４などを用いることができる。
クライアント装置２００のファイル処理部２２１は、ポイントクラウドコンテンツのＩＳＯＢＭＦＦファイルをパースしてメタデータを取得する。そして、ファイル処理部２２１は、メタデータに含まれるSubSumpleInformationBoxにおけるcodec_specific_parametersを確認して、ＬｏＤ毎のデコード点数を取得する。次に、ファイル処理部２２１は、ＬｏＤ毎のデコード点数を用いて、自装置の処理能力に応じた適切なＬｏＤを選択する。その後、ファイル処理部２２１は、選択したＬｏＤに対応する部分スライスをジオメトリースライス及びアトリビュートスライスから抽出して、復号部２２２へ出力する。
以上に説明したように、本実施形態に係るファイル生成装置は、ＬｏＤ毎のデコード処理の負荷を表す指標をクライアント装置へ送信する。クライアント装置は、提供された指標を基に復号対象とするＬｏＤを選択する。これにより、クライアント装置は、低ＬｏＤによる復号を行う場合に、より詳細な基準を用いて復号対象とするＬｏＤを判定することができる。したがって、クライアント装置はより適切なＬｏＤの３次元映像を利用者に提供することができ、視聴者の要望に沿った視聴体験を提供することができる。
［１．２ 第１の実施形態の変形例（２－１）］
次に、第１の実施形態の変形例（２－１）について説明する。本変形例に係るファイル生成装置１００は、所望のＬｏＤを得るための部分スライス特定情報を時間対応メタデータ（timed metadata）に格納することが第１の実施形態と異なる。
図１７は、第１の実施形態の変形例（２－１）に係るアクセス情報及び階層情報を説明するための図である。実施形態に係るファイル生成装置１００のメタデータ生成部１２５は、部分スライス特定情報を時間対応メタデータ３６に格納することを決定する。この際、メタデータ生成部１２５は、時間対応メタデータ３６のsample entry typeをLoDDecodeSampleと設定する。さらに、メタデータ生成部１２５は、timed metadata trackとＧ－ＰＣＣビットストリーム１を格納するtrackとを、track referenceで紐づける。また、メタデータ生成部１２５は、ＤＴＳ（Decoding Time Stamp）アラインするＧ－ＰＣＣビットストリーム１のsampleについてＬｏＤ毎のデコード位置情報を時間対応メタデータに格納する。すなわち、Ｇ－ＰＣＣビットストリーム１のジオメトリースライス及びアトリビュートスライスを格納するsampleと時間対応メタデータとは、図１７で示されるように時間同期される。
図１８は、第１の実施形態の変形例（２－１）に係る時間対応メタデータの一例を表す図である。例えば、メタデータ生成部１２５は、図１８に示すシンタックスを有する時間対応メタデータ３６を生成する。図１８のシンタックスにおけるunit_indexは、Ｇ－ＰＣＣビットストリーム１の中のジオメトリースライス及びアトリビュートスライスの識別情報となるインデックスを表す。また、data_length_byteは、各ＬｏＤに対応する部分スライスのサイズにおけるバイト単位の部分の数値を表す。また、data_length_bitsは、各ＬｏＤに対応する部分スライスのサイズにおけるビット単位の部分の数値を表す。すなわち、data_length_byteとdata_length_bitsとを加算した値が、各ＬｏＤに対応する部分スライスのサイズにあたる。ここで、各ＬｏＤに対応する部分スライスのサイズとは、そのＬｏＤに対応する画像を得るための全てのデータのサイズ、すなわちそのＬｏＤに含まれる各階層に対応する分割スライスのデータの合計にあたる。例えば、図１７に示すように、１つのジオメトリースライスにおいて分割スライスに対応する階層Ｄ１～Ｄ２が存在し、ＬｏＤ＝１に対応する部分スライスが階層Ｄ２までのデータを含む場合、そのdata_length_byteとdata_length_bitsとを加算した値は、サイズＺ１を表す値となる。この場合、ジオメトリースライス及びアトリビュートスライスのそれぞれのunit_indexと、data_length_byteとdata_length_bitsとを加算した値に対応する各ジオメトリースライス１３及びアトリビュートスライス１４の先頭からのデータ長とがアクセス情報にあたる。
図１９は、第１の実施形態の変形例（２－１）に係る時間対応メタデータの格納例を示す図である。ファイル生成部１２６は、Ｇ－ＰＣＣビットストリーム１とともに、時間対応メタデータ３６を含むメタデータの入力をメタデータ生成部１２５から受ける。
そして、ファイル生成部１２６は、Ｇ－ＰＣＣビットストリーム１をsampleに格納する。また、ファイル生成部１２６は、ボックス３７に示すtimed metadata trackの中に時間対応メタデータ３６を格納する。さらに、ファイル生成部１２６は、ボックス３８で示す場所にRef Doc#4で規定されたSubSampleInformationBoxを格納する。この場合、sub-sampleは、１つのパラメータセット、ジオメトリースライス又はアトリビュートスライスと設定される。また、codec specific parametersは、図２０で示すシンタックス３９のように規定される。図２０は、第１の実施形態の変形例（２－１）に係るcodec specific parametersの一例を表す図である。図２０に示すシンタックス３９で示す情報により、スライス１２の境界及びそのslice１２のタイプ、すなわち、パラメータセット、ジオメトリースライス又はアトリビュートスライスのいずれであるかが識別可能となる。また、ボックス３７に格納された時間対応メタデータ３６とボックス３８に格納されたsub-sampleの情報とは、track referenceで紐づけられる
クライアント装置２００のファイル処理部２２１は、ポイントクラウドコンテンツのＩＳＯＢＭＦＦファイルをパースして時間対応メタデータ３６を取得する。そして、ファイル処理部２２１は、指定されたＬｏＤに対応する部分スライスのデコード位置を時間対応メタデータ３６から取得する。そして、ファイル処理部２２１は、取得したデコード位置に対応するデコード時刻のデータをジオメトリースライス及びアトリビュートスライスから取得することで、指定されたＬｏＤに対応する部分スライスを抽出する。その後、ファイル処理部２２１は、抽出した部分スライス群を復号部２２２へ出力する。
以上に説明したように、本変形例に係るファイル生成装置は、部分スライス特定情報を時間対応メタデータに格納する。そして、クライアント装置は、時間対応メタデータから指定されたＬｏＤに対応する部分スライスのデコード位置を特定して部分スライスをジオメトリースライス及びアトリビュートスライスから抽出する。第１の実施形態では、所望のＬｏＤのポイントクラウドをデコードする場合、クライアント装置は、デコード前にSubSampleInformationをすべて読み取り、デコードする部分スライスの位置の算出処理を行った。これに対して、本変形例に係るクライアント装置は、Ｇ－ＰＣＣビットストリームのsampleのデコード時刻を基準に、sample毎に所望のＬｏＤに対応する部分スライスのデコード位置を同時刻のtimed metadata sampleから取得することができ、部分スライスを抽出する処理が簡略化される。また、クライアント装置は、時間対応メタデータを参照することで、Ｗｅｂサーバからの配信時に、指定されたＬｏＤに対応する画像を表示するために用いる部分スライスに限定してデータを取得することも可能である。
［１．３ 第１の実施形態の変形例（２－２）］
次に、第１の実施形態の変形例（２－２）について説明する。本変形例に係るファイル生成装置は、第１の実施形態の変形例（１）と同様に、クライアントの処理能力に応じてＬｏＤを選択するための指標を時間対応メタデータに格納する。
図２１は、第１の実施形態の変形例（２－２）に係る時間対応メタデータの一例を表す図である。本変形例に係るメタデータ生成部１２５は、行４０で示すＬｏＤ毎のデコード点数を表すtotal_pointsの情報が格納された時間対応メタデータ３６を生成する。
ここで、本変形例では、メタデータ生成部１２５は、デコード点数を指標として用いたが、指標はこれに限らず、ＬｏＤ毎のデコード処理における負荷を表す情報であれば他の情報であってもよい。また、本変形例では、メタデータ生成部１２５は、ＩＳＯＢＭＦＦファイルに格納する情報を生成したが、これに限らず、Ｇ－ＰＣＣビットストリーム１のＨＬＳに格納する指標を生成してもよい。ＨＬＳとしては、例えば、ＳＰＳ、ＡＰＳ、ＧＰＳ、タイルインベントリ、ジオメトリースライス１３又はアトリビュートスライス１４などを用いることができる。
クライアント装置２００のファイル処理部２２１は、ポイントクラウドコンテンツのＩＳＯＢＭＦＦファイルをパースしてメタデータを取得する。そして、ファイル処理部２２１は、時間対応メタデータ３６に含まれる各sub-sampleに対応するＬｏＤ毎のデコード点数を取得する。次に、ファイル処理部２２１は、ＬｏＤ毎のデコード点数を用いて、自装置の処理能力に応じた適切なＬｏＤを選択する。その後、ファイル処理部２２１は、選択したＬｏＤに対応する部分スライスをジオメトリースライス及びアトリビュートスライスから抽出して、復号部２２２へ出力する。
以上に説明したように、本実施形態に係るファイル生成装置は、時間対応メタデータを用いてＬｏＤ毎のデコード処理の負荷を表す指標をクライアント装置へ送信する。クライアント装置は、時間対応メタデータを用いて提供された指標を基に復号対象とするＬｏＤを選択する。これにより、クライアント装置は、低ＬｏＤによる復号を行う場合に、より詳細な基準を用いて復号対象とするＬｏＤを判定することができる。したがって、時間対応メタデータにより部分スライス毎のＬｏＤを通知する場合にも、クライアント装置はより適切なＬｏＤの３次元映像を利用者に提供することができ、視聴者の要望に沿った視聴体験を提供することができる。
［１．４ 第１の実施形態の変形例（２－３）］
次に、第１の実施形態の変形例（２－３）について説明する。メタデータ生成部１２５は、部分スライス特定情報をさらに拡張して、各部分スライスがジオメトリースライス１３またはアトリビュートスライス１４のいずれであるかを表す部分スライスのユニットタイプを格納してもよい。加えて、アトリビュートスライス１４の場合には、メタデータ生成部１２５は、アトリビュートタイプ（attribute_type）を部分スライス特定情報に格納して、クライアント装置２側で属性に応じて各アトリビュートスライス１４の復号を行うか否かを決定できるようにしてもよい。
また、メタデータ生成部１２５は、時間対応メタデータ３６に格納したunit_index、data_length_byte及びdata_length_bitsの代わりに、Ref Doc#4で規定のSubSampleInformationBoxのentryと紐づけてそれらの情報を格納してもよい。さらに、メタデータ生成部１２５は、unit_indexの代わりにbyte positionを時間対応メタデータ３６に格納してもよい。
また、メタデータ生成部１１２５は、全てのdecode entryを新規定義したLodDecodeBoxに部分スライス特定情報を格納し、それらのLodDecodeBoxをSammpleEntryに格納してもよい。
［１．５ 第１の実施形態の変形例（３－１）］
次に、第１の実施形態の変形例（３－１）について説明する。本変形例に係るファイル生成装置１００は、レイヤ構造スライスを有するＧ－ＰＣＣビットストリーム１を用いることが第１の実施形態と異なる。
図２２は、レイヤ構造スライスを有するＧ－ＰＣＣビットストリームを示す図である。レイヤ構造スライスとは、図２２に示すように、ＬｏＤの階層毎にスライス１２を分割してレイヤ化した構造である。すなわち、第１の実施形態におけるジオメトリースライス及びアトリビュートスライスの分割スライスがレイヤと呼ばれる単位で予め定義され、ジオメトリースライス及びアトリビュートスライスは、レイヤによる階層単位構造を有する。各スライス１２は、各depthに対応する階層毎にジオメトリーレイヤ４１及びアトリビュートレイヤ４２を含む。
第１の実施形態でもジオメトリースライス及びアトリビュートスライスは部分スライスを形成する階層構造を有したが、各分割スライスは予め決められた単位として定義されてはいなかった。これに対して、本変形例に係るジオメトリースライス及びアトリビュートスライスは、その中に予め決められた単位であるレイヤを有する。特定のレイヤまでのジオメトリーレイヤ４１及びアトリビュートレイヤ４２をまとめることで、各ＬｏＤに対応する１つのジオメトリースライスビットストリーム又は１つのアトリビュートビットストリームが形成される。
Ｇ－ＰＣＣビットストリーム１がレイヤ構造スライスを有する場合、所望のＬｏＤまでの復号は、レイヤ単位の復号により実現できる。そのため、ジオメトリースライス及びアトリビュートスライスそれぞれの内部でのスキップは行われない。ただし、レイヤ構造スライスにおいても、sample中に複数のスライス１２が存在することにより依然としてデータスキップ処理が行われる。この場合のデータスキップは、レイヤ単位でのスキップとなる。
メタデータ生成部１２５は、ジオメトリーレイヤ及びアトリビュートレイヤをそれぞれsub-sampleとして設定する。また、メタデータ生成部１２５は、各レイヤが対応するdepthを表す情報であるdepth値を設定する。そして、メタデータ生成部１２５は、レイヤに対応するdepth情報から、部分スライスとＬｏＤとの対応関係を示す部分スライス特定情報を生成する。
クライアント装置２のデータ抽出部２３１は、ポイントクラウドコンテンツのＩＳＯＢＭＦＦファイルをパースしてメタデータを取得する。そして、データ抽出部２３１は、メタデータに含まれるSubSampleInformationBoxに格納された部分スライス特定情報から指定されたＬｏＤに対応するジオメトリーレイヤ及びアトリビュートレイヤを特定する。そして、データ抽出部２１３は、処理Ｐ５に示すように特定したジオメトリーレイヤ及びアトリビュートレイヤを抽出し、SubSampleInformationBoxから取得した各レイヤの境界を使用して、処理Ｐ６に示すようにインターリーブされた次のレイヤにスキップする。データ抽出部２３１は、この処理Ｐ５お及びＰ６を繰り返して、指定されたＬｏＤに対応するポイントクラウドの３次元映像を生成するための部分スライス群を抽出する。
以上に説明したように、本変形例に係るファイル生成装置は、レイヤ構造スライスを有するＧ－ＰＣＣビットストリームを用いて所望のＬｏＤを抽出するための部分スライス特定情報を含むSubSampleInformationBoxを生成する。クライアント装置は、SubSampleInformationBoxに含まれる部分スライス特定情報を用いてレイヤ構造スライスを有するＧ－ＰＣＣビットストリームから所望のＬｏＤに対応する部分スライスを抽出して、デコーダに復号させる。これにより、レイヤ構造スライスを用いた場合にも、デコーダに依存しないＬｏＤスケーラブル復号を実現することができ、視聴者の要望に沿った視聴体験を提供することができる。
［１．６ 第１の実施形態の変形例（３－２）］
次に、第１の実施形態の変形例（３－２）について説明する。本変形例に係るファイル生成装置１００は、レイヤ構造スライスを有するＧ－ＰＣＣビットストリーム１を用いて第１の実施形態の変形例（２－１）と同様の処理を行う。
メタデータ生成部１２５は、ジオメトリーレイヤ及びアトリビュートレイヤを特定するための各部分スライス特定情報を時間対応メタデータ３６に格納することを決定する。この際、メタデータ生成部１２５は、時間対応メタデータ３６のsample entry typeをLoDDecodeSampleとする。さらに、メタデータ生成部１２５は、timed metadata trackとＧ－ＰＣＣビットストリーム１を格納するtrackとを、track referenceで紐づける。また、メタデータ生成部１２５は、ＤＴＳ（Decoding Time Stamp）アラインするＧ－ＰＣＣビットストリーム１のsampleについてＬｏＤ毎のデコード位置情報を時間対応メタデータに格納する。すなわち、Ｇ－ＰＣＣビットストリーム１のジオメトリーレイヤ及びアトリビュートレイヤを格納するsampleと時間対応メタデータとは、時間同期される。
図２３は、第１の実施形態の変形例（３－２）に係る時間対応メタデータの一例を表す図である。例えば、メタデータ生成部１２５は、図２３に示すシンタックスを有する時間対応メタデータ４３を生成する。メタデータ生成部１２５は、図１８の時間対応メタデータ３６におけるdata_length_byte及びdata_length_bitsの代わりに、unit_indexの定義を各ジオメトリーレイヤ４１及びアトリビュートレイヤ４２の識別情報であるlayer_indexに置き換えた時間対応メタデータ４３を生成する。ジオメトリーレイヤ４１またはアトリビュートレイヤ４２をsub-sampleと定義することで、Ref Doc#4で既定のSubSampleInformationBoxにより各レイヤの境界が識別可能である。なお、Run-length符号化のような会式で、デコード必要な先頭layerのlayer_indexと後続のlayer数とを格納してもよい。layer_indexが連続する場合においてビット数削減の効果がある。
クライアント装置２００のファイル処理部２２１は、ポイントクラウドコンテンツのＩＳＯＢＭＦＦファイルをパースして時間対応メタデータ４３を取得する。そして、ファイル処理部２２１は、時間対応メタデータ４３に含まれるlayer_indexを用いて指定されたＬｏＤに対応するジオメトリーレイヤ及びアトリビュートレイヤのデコード位置を時間対応メタデータ３６から取得する。そして、ファイル処理部２２１は、図２４に示すように取得したデコード位置に対応するデコード時刻のデータをジオメトリースライス及びアトリビュートスライスから抽出する。図２４は、第１の実施形態の変形例（３－２）に係る部分スライスの抽出を示す図である。
例えば、図２４では、各レイヤのLayer_indexがＬ０～Ｌ７を有し、depth＝０のレイヤがLayer_index＝Ｌ０及びＬ１を有する。また、depth＝１のレイヤがLayer_index＝Ｌ２及びＬ３を有し、epth＝２のレイヤがLayer_index＝Ｌ４及びＬ５を有する。depth＝０及び１の階層を含むＬｏＤ＝１が指定された場合、ファイル処理部２２１は、時間対応メタデータ４３からLayer_index＝Ｌ０～Ｌ３を有するレイヤのデコード位置を特定する。そして、ファイル処理部２２１は、Layer_index＝Ｌ０～Ｌ３を有するレイヤのデコード位置にあたるデコード時刻のデータをジオメトリースライス及びアトリビュートスライスから抽出する。次に、ファイル処理部２２１は、Layer_index＝Ｌ４及びＬ５を有するレイヤをスキップして、次のLayer_index＝Ｌ６を有するレイヤのデコード位置から抽出を行う。
以上に説明したように、本変形例に係るファイル生成装置は、レイヤ構造スライスを有するＧ－ＰＣＣビットストリームを用いた場合に、部分スライス特定情報を時間対応メタデータに格納する。そして、クライアント装置は、時間対応メタデータから指定されたＬｏＤに対応するレイヤのデコード位置を特定して部分スライスをジオメトリースライス及びアトリビュートスライスから抽出する。これにより、本変形例に係るクライアント装置は、Ｇ－ＰＣＣビットストリームのsampleのデコード時刻を基準に、sample毎に所望のＬｏＤに対応する部分スライスのデコード位置を同時刻のtimed metadata sampleから取得することができ、部分スライスを抽出する処理が簡略化される。さらに、data_length_byte及びdata_length_bitsの代わりにlayer_indexを用いることで、データビット数をさらに削減することができる。
［１．７ 第１の実施形態の変形例（３－３）］
次に、第１の実施形態の変形例（３－３）について説明する。本変形例に係るファイル生成装置１００は、レイヤ構造スライスと通常構造のスライス１２とが混在したＧ－ＰＣＣビットストリーム１を取り扱う。図２５は、第１の実施形態の変形例（３－３）に係る時間対応メタデータの一例を表す図である。
本変形例に係るメタデータ生成部１２５は、図２５に示す時間対応メタデータ４４を生成する。時間対応メタデータ４４は、行４５のlayer_flagによりスライスの構造を指定する。例えば、layer_flagの値が０であれば通常構造のスライスであり、値が１であればレイヤ構造スライスである。そして、通常構造のスライスであれば、data_length_bytes及びdata_length_bitsが用いられ、レイヤ構造スライスであれば、units_indexが用いられる。このように、メタデータ生成部１２５は、レイヤ構造スライスと通常構造のスライスとが混在したＧ－ＰＣＣビットストリーム１に対応する部分スライス特定情報を定義する。
クライアント装置２００のファイル処理部２２１は、時間対応メタデータ４４を取得して、スライスの構造に応じて部分スライスの抽出を実行する。
以上に説明したように、レイヤ構造スライスと通常構造のスライスとが混在した場合にも、デコーダに非依存のＬｏＤスケーラブル復号を実現することができる。
［２．第２の実施形態］
次に、第２の実施形態について説明する。本実施形態に係るファイル生成装置は、サンプルグループを用いてタイル毎の処理を可能にし、タイル単位でＬｏＤスケーラブル復号を行うことが第１の実施形態と異なる。本実施形態に係るファイル生成装置も図８のブロック図で表される。また、本実施形態に係るクライアント装置も図１２及び１３のブロック図で表される。以下の説明では、第１の実施形態と同様の各部の機能については説明を省略する。
本実施形態に係るファイル生成装置１００のメタデータ生成部１２５は、図２６に示す構成を用いてタイル１１毎にジオメトリースライス及びアトリビュートスライスをまとめてサンプルグループを生成する。図２６は、サンプルグループの構成の一例を示す図である。サンプルグループとは、複数の復号対象をまとめてグループ化し１つの対象として取り扱うことを可能にするＩＳＯＢＭＦＦにおけるグループ化構造である。
例えば、メタデータ生成部１２５は、第１の実施形態と同様に、ジオメトリースライス及びアトリビュートスライスの各スライスを、depth毎に分割して分割スライスとして設定し、各分割スライスをそれぞれsub-sampleとして設定する。また、メタデータ生成部１２５は、各分割スライスが対応するdepthを表す情報であるdepth値を設定する。そしてメタデータ生成部１２５は、部分スライスとＬｏＤとの対応関係を示す部分スライスアクセス情報をSubSmapleInformationBoxに格納する。
さらに、メタデータ生成部１２５は、sample group(‘unim’)を拡張して、図２７に示すシンタックス５０を有するUnitMapEntryを用いて、部分スライスのsub-sample entryを、その部分スライスが属するsampleグループに紐づける。図２７は、第２の実施形態に係るUnitMapEntryの一例を示す図である。これにより、メタデータ生成部１２５は、タイル１１毎にジオメトリースライス及びアトリビュートスライスがまとめられたサンプルグループを生成する。シンタックス５０における行５１により、そのサンプルグループに含まれるsub-sampleのSubSampleInformationBoxにおけるアクセス情報が示される。
図２８は、第２の実施形態に係るサンプルグループの一例を示す図である。例えば、図２８に示すように、unit_index＝１及び２のジオメトリースライス及びアトリビュートスライスが１つのタイル１１に含まれる。メタデータ生成部１２５は、このタイル１１を識別情報であるgroupIDが１のサンプルグループとする。そして、メタデータ生成部１２５は、SubSampleInformationBoxにおいて、そのタイル１１に対応するジオメトリースライス及びアトリビュースライスの分割スライスに対応するsub-sampleを＃１～＃８とする。さらに、メタデータ生成部１２５は、UnitMapEntryのsubs_entryにより、各groupIDが１のサンプルグループで、どのsub-sampleが使用されるかを示す。
クライアント装置２００は、サンプルグループ毎に使用するＬｏＤを変えることができる。例えば、クライアント装置２００は、あるサンプルグループについては高ＬｏＤで復号し、あるサンプルグループについては低ＬｏＤで復号するといった指示を受ける。
データ抽出部２３１は、高ＬｏＤでの復号が指定されたサンプルグループに含まれるジオメトリースライス及びアトリビュースライスについては、指定された高ＬｏＤに対応する分割スライスを抽出する。また、データ抽出部２３１は、低ＬｏＤでの復号が指定されたサンプルグループに含まれるジオメトリースライス及びアトリビュースライスについては、指定された低ＬｏＤに対応する分割スライスを抽出する。そして、データ抽出部２３１は、それぞれのサンプルグループに関する抽出した高ＬｏＤに対応する部分スライス群及び低ＬｏＤに対応する部分スライス群を復号部２２２へ出力して復号を行わせる。
これにより、ファイル生成装置１００は、図２９に示すような、タイル１１毎にＬｏＤを異ならせたポイントクラウドの３次元画像を生成することができる。図２９は、タイル１１毎にＬｏＤを異ならせたポイントクラウドの３次元画像の一例を示す図である。図２９においてタイル１１Ａ及び１１Ｂはdepth＝１０まで含む高ＬｏＤでの復号が行われたデータが密の精細な画像として表示される。また、タイル１１Ａ及び１１Ｂ以外の部分のタイル１１は、depth＝５まで含む低ＬｏＤでの復号が行われたデータが疎の粗い画像として表示される。
ここで、本実施形態では、タイルアクセス用のメタデータとしてUnitMapEntryを用い、ＬｏＤアクセス用のメタデータとしてSubSampleInformationBoxを用いたが、SubSampleInformationBoxに両方の情報をまとめて格納してもよい。
以上に説明したように、本実施形態に係るファイル生成装置は、タイル毎にそのタイルに含まれるジオメトリースライス及びアトリビュートスライスをサンプルグループとしてまとめる。クライアント装置は、サンプルグループ毎のＬｏＤの指定を受けて、タイル毎に異なるＬｏＤで復号したポイントクラウドの３次元画像を表示する。これにより、例えば、視点位置に近いタイルは高ＬｏＤで復号し、遠いタイルは低ＬｏＤで復号したポイントクラウドの３次元画像を表示することができ、コンテンツ製作者や視聴者の要望に沿った視聴体験を提供することができる。
［２．１ 第２の実施形態の変形例（１）］
次に、第２の実施形態の変形例（１）について説明する。本変形例に係るファイル生成装置１００は、部分スライス特定情報を時間対応メタデータに格納することが第２の実施形態と異なる。図３０は、第２の実施形態の変形例（１）に係る時間対応メタデータの一例を示す図である。
本変形例に係るメタデータ生成部１２５は、タイル１１の情報と部分スライスの情報を含む図３０に示す時間対応メタデータ５２を生成する。時間対応メタデータ５２における行５３が、タイル１１の情報を表す。また、時間対応メタデータ５２における行５４が、第１の実施形態の変形例（２－１）と同様に部分スライスの情報を表す。すなわち、行５３で示される各タイル１１に対応する部分スライスが、行５４により表される。
クライアント装置２００のデータ抽出部２３１は、高ＬｏＤでの復号が指定されたサンプルグループに含まれるジオメトリースライス及びアトリビュースライスについては、時間対応メタデータを用いて指定された高ＬｏＤに対応する部分スライスのデコード位置を特定する。また、データ抽出部２３１は、低ＬｏＤでの復号が指定されたサンプルグループに含まれるジオメトリースライス及びアトリビュースライスについては、時間対応メタデータを用いて指定された低ＬｏＤに対応する部分スライスのデコード位置を特定する。そして、データ抽出部２３１は、特定したデコード位置に対応する部分スライス群を抽出する。その後、データ抽出部２３１は、それぞれのサンプルグループに関する抽出した高ＬｏＤに対応する部分スライス群及び低ＬｏＤに対応する部分スライス群を復号部２２２へ出力して復号を行わせる。
なお、本変形例では、タイル単位でＬｏＤを変更したが、メタデータ生成部１２５は、スライス単位の空間情報に対してＬｏＤ毎のデコード位置を格納してもよい。
以上に説明したように、本変形例に係るファイル生成装置は、タイル毎にサンプルグループとしてまとめられたジオメトリースライス及びアトリビュートスライスの部分スライス特定情報を時間対応メタデータに格納する。そして、クライアント装置は、指定されたサブサンプル毎のＬｏＤにしたがい時間対応メタデータから指定されたＬｏＤに対応する部分スライスのデコード位置を特定して部分スライスをジオメトリースライス及びアトリビュートスライスから抽出する。本変形例に係るクライアント装置は、Ｇ－ＰＣＣビットストリームのsampleのデコード時刻を基準に、sample毎に所望のＬｏＤに対応する部分スライスのデコード位置を同時刻のtimed metadata sampleから取得することがでる。したがって、本変形例に係るクライアント装置は、部分スライスを抽出する処理が簡略化しつつタイル毎にＬｏＤを変更した表示を行うことができる。
［２．２ 第２の実施形態の変形例（２－１）］
次に、第２の実施形態の変形例（２－１）について説明する。本変形例に係るファイル生成装置１００は、レイヤ構造スライスを有するＧ－ＰＣＣビットストリーム１を用いる。図３１は、第２の実施形態の変形例（２－１）に係るサンプルグループとsub-sampleの対応関係を示す図である。
本変形例に係るメタデータ生成部１２５は、ジオメトリーレイヤ及びアトリビュートレイヤをそれぞれsub-sampleと定義する。また、メタデータ生成部１２５は、各レイヤが対応するdepthを表す情報であるdepth値を設定する。そして、メタデータ生成部１２５は、各レイヤとＬｏＤとの対応関係を表す部分スライス特定情報を含むSubSampleInformationBoxを生成する。さらに、メタデータ生成部１２５は、図２７のシンタックス５０で表されるUnitMapEntryを用いて、タイル１１毎に部分スライス特定情報を有するSubSmapleInfomarionBoxと紐づけを行う。これにより、図３１に示すように、各サンプルグループとジオメトリーレイヤ４１及びアトリビュートレイヤ４２に対応するsub-sampleとが紐づけられる。
クライアント装置２のデータ抽出部２３１は、ポイントクラウドコンテンツのＩＳＯＢＭＦＦファイルをパースしてメタデータを取得する。そして、データ抽出部２３１は、メタデータに含まれるSubSampleInformationBoxに格納された部分スライス特定情報から、タイル１１毎に異なるＬｏＤに対応するジオメトリーレイヤ及びアトリビュートレイヤを特定する。そして、データ抽出部２１３は、特定したジオメトリーレイヤ及びアトリビュートレイヤを抽出する。
また、以上では、SubSampleInformationBoxにdepth値を格納する場合について説明したが、メタデータ生成部１２５は、図３２のシンタックス５５に示すように、SubSampleInformationBoxを使わずに、サンプルグループにdepth値を格納してもよい。図３２は、第２の実施形態の変形例（２－１）においてサンプルグループにdepth値を格納する場合のUnitMapEntryを示す図である。また、図３３は、第２の実施形態の変形例（２－１）に係るdepth値を格納したサンプルグループの状態を示す図である。この場合、図３３に示すように、特定のタイル１１に対応する識別情報であるgroupIDが１であるサブサンプルグループにより、各レイヤのデプス値が示される。
以上に説明したように、本変形例に係るファイル生成装置は、レイヤ構造スライスを有するＧ－ＰＣＣビットストリームを用いてレイヤ毎に異なるＬｏＤを抽出するための部分スライス特定情報を含むSubSampleInformationBoxを生成する。クライアント装置は、SubSampleInformationBoxに含まれる部分スライス特定情報を用いてレイヤ構造スライスを有するＧ－ＰＣＣビットストリームからレイヤ毎に異なるＬｏＤに対応する部分スライスを抽出して、デコーダに復号させる。これにより、レイヤ構造スライスを用いた場合にも、レイヤ毎に異なるＬｏＤを用いたポイントクラウドの３次元画像を表示することができ、視聴者の要望に沿った視聴体験を提供することができる。
［２．３ 第２の実施形態の変形例（２－２）］
次に、第２の実施形態の変形例（２－２）について説明する。本変形例に係るファイル生成装置１００は、レイヤ構造スライスを有するＧ－ＰＣＣビットストリーム１を用いて、且つ、部分スライス特定情報を時間対応メタデータに格納する。
本変形例に係るメタデータ生成部１２５は、タイル１１の情報とジオメトリーレイヤ及びアトリビュートレイヤの情報を含む時間対応メタデータを生成する。この場合の時間対応メタデータは、第２の実施形態の変形例（１）で用いた図３０における時間対応メタデータ５２における行５４の部分が、data_length_byte及びdata_length_bitsの代わりに、unit_indexの定義を各ジオメトリーレイヤ及びアトリビュートレイヤの識別情報であるlayer_indexに置き換えられる。
クライアント装置２のデータ抽出部２３１は、ポイントクラウドコンテンツのＩＳＯＢＭＦＦファイルをパースしてメタデータを取得する。そして、データ抽出部２３１は、時間対応メタデータに格納された部分スライス特定情報から、タイル１１毎に異なるＬｏＤに対応するジオメトリーレイヤ及びアトリビュートレイヤを特定する。そして、データ抽出部２１３は、特定したジオメトリーレイヤ及びアトリビュートレイヤを抽出する。
また、本変形例では、図３０の時間対応メタデータ５２と同等の時間対応メタデータを使用したが、他にも、メタデータ生成部１２５は、サンプルグループを利用した時間対応メタデータを使用することも可能である。図３４は、第２の実施形態の変形例（２－２）においてサンプルグループを用いた場合の時間対応メタデータを示す図である。
例えば、メタデータ生成部１２５は、図２３のシンタックスで示される時間対応メタデータ５６及び５７を生成する。この時間対応メタデータ５６及び５７により、メタデータ生成部１２５は、ＬｏＤ毎にタイル１１のサンプルグループを設定する。例えば、メタデータ生成部１２５は、BrickGroupEntryを拡張して以下のように規定する。メタデータ生成部１２５は、時間対応メタデータ５６に格納するlodの値が０であれば対応するレイヤはＬｏＤ＝０のレイヤであるとし、lodの値が１であればＬｏＤ＝０とＬｏＤ＝１のいずれにも含まれるレイヤであるとする。
図３５は、第２の実施形態の変形例（２－２）に係る各レイヤとＬｏＤとの対応付けを示す図である。時間対応メタデータ５６及び５７により、例えば、図３５に示すように、unit_indexｆが１及び２のジオメトリーレイヤ及びアトリビュートレイヤは、ＬｏＤ＝０及び１のレイヤであり、それらはタイル１１Ｃに含まれることが示される。また、unit_indexが３及び４のジオメトリーレイヤ及びアトリビュートレイヤは、ＬｏＤ＝１のレイヤであり、それらはタイル１１Ｄに含まれることが示される。
以上に説明したように、本変形例に係るファイル生成装置は、レイヤ構造スライスを有するＧ－ＰＣＣビットストリームを用いてレイヤ毎に異なるＬｏＤを抽出するための部分スライス特定情報を含む時間対応メタデータを生成する。クライアント装置は、時間対応メタデータに含まれる部分スライス特定情報を用いてレイヤ構造スライスを有するＧ－ＰＣＣビットストリームからレイヤ毎に異なるＬｏＤに対応する部分スライスを抽出して、デコーダに復号させる。これにより、時間対応メタデータを用いて、レイヤ構造スライスを有するＧ－ＰＣＣビットストリームからレイヤ毎に異なるＬｏＤを用いたポイントクラウドの３次元画像を表示することができ、視聴者の要望に沿った視聴体験を提供することができる。
［３．第３の実施形態］
次に、第３の実施形態について説明する。本実施形態に係るファイル生成装置は、Ｇ－ＰＣＣ静止画についてＬｏＤスケーラブル符号化を行うことが第１の実施形態と異なる。本実施形態に係るファイル生成装置も図８のブロック図で表される。また、本実施形態に係るクライアント装置も図１２及び１３のブロック図で表される。以下の説明では、第１の実施形態と同様の各部の機能については説明を省略する。以下に説明する本実施形態に係る構成は、レイヤ構造スライスについても適用することが可能である。
図３６は、Ｇ－ＰＣＣ静止画のＩＳＯＢＭＦＦファイルへの格納方法を示す図である。本実施形態に係るファイル生成装置１００のメタデータ生成部１２５は、図３６に示すように、Ref Doc#4で規定されたＶ－ＰＣＣ静止画をＩＳＯＢＭＦＦファイルに格納する場合と同様に、MetaBoxを利用して、Ｇ－ＰＣＣ静止画をＩＳＯＢＭＦＦファイルに格納する。この場合、メタデータ生成部１２５は、ＳＰＳ、ＧＰＳ、ＡＰＳ、タイルインベントリなどのパラメータセットをボックス６１に配置されたItemProperty(‘gpcC’)に含ませる。
さらに、メタデータ生成部１２５は、部分スライス特定情報をボックス６１に配置されたSubSampleItemPropertyに格納する。図３７は、第３の実施形態に係るSubSampleItemPropertyの一例を示す図である。メタデータ生成部１２５は、図３７に示すシンタックス６２を有するSubSampleItemPropertyを生成する。この場合、メタデータ生成部１２５は、Codec_specific_parametersを図３７のシンタックス６３のように規定する。ここでの、SubSampleItemPropertyは、第１の実施形態におけるSubSampleInformationBoxと同様の情報を含む。
クライアント装置２００のデータ抽出部２３１は、取得したＩＳＯＢＭＦＦファイルをパースしてメタデータを抽出する。そして、データ抽出部２３１は、メタデータに含まれるSubSampleItemPropertyを用いて、指定されたＬｏＤに対応する部分スライスをＧ－ＣＣ静止画のビットストリームから抽出して復号部２２２へ出力する。
復号部２２２は、ジオメトリーデコーダ２３２でＧ－ＣＣ静止画におけるジオメトリースライス１３の部分スライスを復号する。また、復号部２２２は、アトリビュートデコーダ２３３でＧ－ＣＣ静止画におけるアトリビュートスライス１４の部分スライスを復号する。
表示情報生成部２２３のポイントクラウド生成部２３４は、復号されたジオメトリーのデータ及びアトリビュートのデータを用いてポイントクラウドを生成する。画像処理部２３５は、レンダリングを行いポイントクラウドの３次元静止画像を生成して、表示部２０２に表示させる。
以上に説明したように、本実施形態に係るファイル生成装置は、Ｇ－ＰＣＣ静止画のジオメトリースライス及びアトリビュートスライスの部分スライス特定情報をSubSamapleItemPropertyに格納する。クライアント装置は、ＩＳＯＢＭＦＦファイルから取得したメタデータに格納されたSubSamapleItemPropertyを用いて、所望のＬｏＤに対応する３次元静止画の部分スライスを抽出して、抽出された部分スライスをデコーダで復号しポイントクラウドの３次元静止画像を表示する。これにより、デコーダに依存せずにＧ－ＰＣＣ静止画のビットストリームに含まれる所望のＬｏＤに対応する部分スライスの復号を行うことができ、Ｇ－ＰＣＣ静止画についても視聴者の要望に沿った視聴体験を提供することができる。
［３．１ 第３の実施形態の変形例（１）］
本変形例に係るファイル生成装置１００は、第１の実施形態の変形例（２－１）と同様に、所望のＬｏＤを得るための部分スライス特定情報を時間対応メタデータに格納することが第３の実施形態と異なる。以下に説明する本変形例に係る構成は、レイヤ構造スライスについても適用することが可能である。図３８は、Ｇ－ＰＣＣ静止画の時間対応メタデータを用いた格納方法を示す図である。
本変形例に係るメタデータ生成部１２５は、図３８に示すボックス６４の中に部分スライス特定情報を含むLoDDecodeItemPropertyを新規定義して格納する。例えば、メタデータ生成部１２５は、図３９のシンタックスで示される時間対応メタデータ６５としてLoDDecodeItemPropertyを生成する。図３９は、第３の実施形態の変形例（１）に係る時間対応メタデータの一例を示す図である。このLoDDecodeItemPropertyは、図１８に示す第１の実施形態の変形例（２－１）におけるシンタックスを有する時間対応メタデータ３６と同様の情報を含む。
クライアント装置２００のデータ抽出部２３１は、取得したＩＳＯＢＭＦＦファイルをパースしてメタデータを抽出する。そして、データ抽出部２３１は、LoDDecodeItemPropertyを用いて指定されたＬｏＤに対応するデコード時刻を特定する。そして、データ抽出部２３１は、特定したデコード時刻に対応する部分スライスをＧ－ＰＣＣ静止画のビットストリームから抽出する。
以上に説明したように、本実施形態に係るファイル生成装置は、時間対応メタデータに部分スライス特定情報を格納する。クライアント装置は、時間対応メタデータに格納された部分スライス特定情報を用いて所望のＬｏＤに対応する部分スライスを抽出する。これにより、クライアント装置は、Ｇ－ＰＣＣ静止画のビットストリームのデコード時刻を基準に、所望のＬｏＤに対応する部分スライスのデコード位置を同時刻のtimed metadata sampleから取得することができ、部分スライスを抽出する処理が簡略化される。
［３．２ 第３の実施形態の変形例（２）］
本変形例に係るファイル生成装置は、タイル毎にＬｏＤを異ならせることが第３の実施形態と異なる。以下に説明する本変形例に係る構成は、レイヤ構造スライスについても適用することが可能である。図４０は、Ｇ－ＰＣＣ静止画をタイル毎にＬｏＤを異ならせる場合の部分スライス特定情報の格納方法を示す図である。
本変形例に係るメタデータ生成部１２５は、図４０に示すボックス６６の中に部分スライス特定情報を含むTileLoDDocodeItemPropertyを新規定義して格納する。例えば、メタデータ生成部１２５は、図４１のシンタックス６７で示されるTileLoDDecodeItemPropertyを生成する。図４１は、第３の実施形態の変形例（２）に係るTileLoDDecodeItemPropertyの一例を示す図である。このTileLoDDecodeItemPropertyは、図３０に示す第２の実施形態の変形例（１）における時間対応メタデータ５２と同様の情報を含む。
クライアント装置２００のデータ抽出部２３１は、Ｇ－ＰＣＣ静止画における高ＬｏＤでの復号が指定されたサンプルグループに含まれるジオメトリースライス１３及びアトリビュースライス１４については、時間対応メタデータを用いて指定された高ＬｏＤに対応する部分スライスのデコード位置を特定する。また、データ抽出部２３１は、Ｇ－ＰＣＣ静止画における低ＬｏＤでの復号が指定されたサンプルグループに含まれるジオメトリースライス１３及びアトリビュースライス１４については、時間対応メタデータを用いて指定された低ＬｏＤに対応する部分スライスのデコード位置を特定する。そして、データ抽出部２３１は、特定したデコード位置に対応する部分スライス群を抽出する。その後、データ抽出部２３１は、それぞれのサンプルグループに関する抽出した高ＬｏＤに対応する部分スライス群及び低ＬｏＳに対応する部分スライス群を復号部２２２へ出力して復号を行わせる。
なお、メタデータ生成部１２５は、ItemProperty(‘gpcC’)に含ませたタイルインベントリを参照してタイル情報を取得する構成にすることも可能である。
以上に説明したように、本変形例に係るファイル生成装置は、Ｇ－ＰＣＣ静止画のタイル毎にサンプルグループとしてまとめられたジオメトリースライス及びアトリビュートスライスの部分スライス特定情報を時間対応メタデータに格納する。そして、クライアント装置は、指定されたサブサンプル毎のＬｏＤにしたがい時間対応メタデータから指定されたＬｏＤに対応するＧ－ＰＣＣ静止画のビットストリームにおける部分スライスのデコード位置を特定して部分スライスをジオメトリースライス及びアトリビュートスライスから抽出する。本変形例に係るクライアント装置は、Ｇ－ＰＣＣ静止画のビットストリームのsampleのデコード時刻を基準に、sample毎に所望のＬｏＤに対応する部分スライスのデコード位置を同時刻のtimed metadata sampleから取得することがでる。したがって、本変形例に係るクライアント装置は、Ｇ－ＰＣＣ静止画のビットストリームから部分スライスを抽出する処理が簡略化しつつタイル毎にＬｏＤを変更した表示を行うことができる。
［４．第４の実施形態］
以上ではＩＳＯＢＭＦＦに格納する場合を説明した。ただし、図４２に示すMatroska Media Container（http://www.matroska.org/）を用いて伝送する場合でもＧ－ＰＣＣビットストリーム１及び部分スライス特定情報を含むメタデータを送信することが可能である。図４２は、Matroska Media Containerのフォーマットを表す図である。
この場合、ファイル生成部１２６は、各depthに対応する部分スライスを示す情報やタイル１１毎に部分スライスの情報と紐づけるための情報を、Track Entry elementに、新しく定義したelementに格納する。また、ファイル生成部１２６は、所望のＬｏＤを得るためのデコード位置が格納された時間対応メタデータや、タイル１１毎に所望のＬｏＤを得るためのデコード位置が格納された時間対応メタデータを、Ｇ－ＰＣＣビットストリーム１が格納されるTrack entryとは別のTrack entryに格納する。また、Ｇ－ＰＣＣ静止画のビットストリームの場合、ファイル生成部１２６は、ＷｅｂＰのExtended File Formatを用いて新規のChunkを定義して、第３の実施形態及びその変形例で示した情報と同様の情報を格納する。
この際、ファイル生成部１２６は、Element Typeをbinaryとし、且つ、EBMLデータとしてSceneDescriptionObjectMetadata()をバイナリデータとして格納する。
［ハードウェア構成］
図４３は、コンピュータのハードウェア構成図である。ファイル生成装置１００及びクライアント装置２００は、図４３に示すコンピュータ９００によって実現可能である。コンピュータ９００において、プロセッサ９０１、ＲＯＭ（Read Only Memory）９０２、ＲＡＭ（Random Access Memory）９０３、ハードディスク９０４及び入出力インタフェース９０５は、バス９１０を介して相互に接続される。
入出力インタフェース９０５には、例えば、出力装置９０６、入力装置９０７、通信装置９０８及びドライブ９０９が接続される。出力装置９０６は、例えば、ディスプレイ、スピーカ、出力端子などである。入力装置９０７は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などである。ドライブ９０９は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９１１を駆動する。
通信装置９０８は、外部のネットワークに接続される。ファイル生成装置１００及びクライアント装置２００は、通信装置９０８を介して相互に接続される。また、ファイル生成装置１００及びクライアント装置２００は、通信装置９０８を介してＷｅｂサーバ３００に接続する。ハードディスク９０４は、不揮発性ストレージであり、補助記憶装置である。
以上のように構成されるコンピュータ９００では、プロセッサ９０１が、例えば、ハードディスク９０４に記憶されているプログラムを、バス９１０を介して、ＲＡＭ９０３にロードして実行することにより、上記各実施形態及びその変形例で説明した一連の処理が行われる。ＲＡＭ９０３にはまた、プロセッサ９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
プロセッサ９０１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体９１１に記録して適用することができる。その場合、プログラムは、リムーバブル記録媒体９１１をドライブ９０９に装着することにより、入出力インタフェース９０５を介して、ハードディスク９０４にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信装置９０８で受信し、ハードディスク９０４にインストールすることができる。
その他、このプログラムは、ハードディスク９０４に、予めインストールしておくこともできる。
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
なお、本技術は以下のような構成を取ることもできる。
（１）ポイントクラウドデータを、品質レベルであるＬｏＤ（Level of Detail）に対応する段階的な階層構造を有するように符号化して１以上のジオメトリースライスを含むデータ領域から構成されるビットストリームを生成する符号化部と、
前記ＬｏＤと前記ジオメトリースライスにおける前記ＬｏＤに対応する部分領域である部分スライスとの対応を特定するための部分スライス特定情報を生成するメタデータ生成部と、
前記部分スライス特定情報を含むファイルを生成するファイル生成部と、
を備えたことを特徴とする情報処理装置。
（２）前記メタデータ生成部は、前記ビットストリームから前記ＬｏＤを構成する階層の前記階層構造における深度を表す深度情報を抽出し、
前記メタデータ生成部は、前記ジオメトリースライスの前記深度に対応する部分をsub-sampleとして設定する、
付記（１）に記載の情報処理装置。
（３）前記メタデータ生成部は、前記ＬｏＤを構成する各前記階層へのアクセスを表すアクセス情報をさらに生成する、
付記（２）に記載の情報処理装置。
（４）前記アクセス情報は、前記sub-sampleのデータサイズの情報を含む、
付記（３）に記載の情報処理装置。
（５）前記ファイル生成部は、前記部分スライス特定情報および前記アクセス情報をsub-sample information boxに格納する、
付記（４）に記載の情報処理装置。
（６）前記メタデータ生成部は、３次元コンテンツを再生する再生処理装置の処理能力に応じて前記深度を選択する指標として、前記階層毎の復号対象となるデコード点数の情報を情報量として抽出し、
前記ファイル生成部は、前記情報量を前記ファイルに格納する、
付記（５）に記載の情報処理装置。
（７）前記部分スライス特定情報は、前記アクセス情報を含み、
前記メタデータ生成部は、前記部分スライス特定情報を時間対応メタデータに格納する、
付記（６）に記載の情報処理装置。
（８）前記データサイズの情報には、前記ビットストリームの識別情報及び前記ビットストリームの先頭からのデータ長の情報が含まれる、
付記（７）に記載の情報処理装置。
（９）前記メタデータ生成部は、前記３次元コンテンツを再生する再生処理装置の処理能力に応じて前記ＬｏＤを選択する指標として、前記階層毎の復号対象となるデコード点数の情報を情報量として抽出し、
前記ファイル生成部は、前記情報量を前記ファイルに格納する、
付記（８）に記載の情報処理装置。
（１０）前記ビットストリームは、さらに色およびテクスチャなどの付加属性を示すアトリビュートスライスを含み、
前記アクセス情報には、前記ジオメトリースライスまたは前記アトリビュートスライスに対応する前記sub-sampleであるであることを示すタイプ情報が含まれる、
付記（３）に記載の情報処理装置。
（１１）前記ポイントクラウドデータは、複数のタイルから構成されるデータであって、
前記ビットストリームは、さらに色およびテクスチャなどの付加属性を示すアトリビュートスライスを含み、
前記メタデータ生成部は、前記ビットストリームの１フレームに含まれる前記タイル毎に、前記タイルに対応する複数のスライスのうち、前記ＬｏＤに対応する前記部分スライス特定情報を生成する、
付記（３）に記載の情報処理装置。
（１２）前記ファイル生成部は、前記タイル毎の前記部分スライス特定情報を、前記部分スライス特定情報を含むsub-sample information boxに紐づける、
付記（１１）に記載の情報処理装置。
（１３）ファイル生成部は、前記タイル毎の部分スライス特定情報を、前記階層情報である前記品質レベルを示すＬｏＤ情報毎に時間対応メタデータに格納する、
付記（１１）に記載の情報処理装置。
（１４）前記符号化部は、前記階層毎に分割された階層単位を有する前記ビットストリームを生成し、
前記メタデータ生成部は、各前記階層単位に含まれる前記スライスに対応させて前記部分スライス特定情報を生成する、
付記（１１）に記載の情報処理装置。
（１５）前記ファイル生成部は、時間情報を持たないビットストリーム及び部分スライス特定情報を前記ファイルに格納する、
付記（１）に記載の情報処理装置。
（１６）ポイントクラウドデータを、品質レベルであるＬｏＤに対応する段階的な階層構造を有するように符号化して１以上のジオメトリースライスおよび１以上のアトリビュートスライスを含むデータ領域から構成されるビットストリーム、および、前記ＬｏＤを構成する階層の前記階層構造における深度を表す深度情報を生成する符号化部と、
前記ＬｏＤと前記ジオメトリースライスにおける前記ＬｏＤに対応する部分領域である部分スライスとの対応を特定するための部分スライス特定情報を生成し、前記ジオメトリースライスの前記深度に対応する部分をsubsampleとして設定するメタデータ生成部と、
前記部分スライス特定情報を含むファイルを生成するファイル生成部と、
を備えた情報処理装置。
（１７）ポイントクラウドデータを、品質レベルであるＬｏＤに対応する段階的な階層構造を有するように符号化して１以上のジオメトリースライスを含むデータ領域から構成されるビットストリームを生成し、
前記ＬｏＤと前記ジオメトリースライスにおける前記ＬｏＤに対応する部分領域である部分スライスとの対応を特定するための部分スライス特定情報を生成し、
前記部分スライス特定情報を含むファイルを生成する、
処理をコンピュータに実行させる情報処理方法。
（１８）ポイントクラウドデータを品質レベルであるＬｏＤに対応する段階的な階層構造を有するように符号化して１以上のジオメトリースライスを含むデータ領域から構成されるビットストリーム及び前記ＬｏＤと前記ジオメトリースライスにおける前記ＬｏＤに対応する部分領域である部分スライスとの対応を特定するための部分スライス特定情報を含むファイルを受信するファイル取得部と、
前記ファイル取得部により取得された前記ファイルから前記部分スライス特定情報を抽出するデータ抽出部と、
前記データ抽出部により抽出された前記部分スライス特定情報を基に、前記ビットストリームを所望の前記品質レベルで復号する復号部と、
を備えた再生処理装置。
（１９）ポイントクラウドデータを品質レベルであるＬｏＤに対応する段階的な階層構造を有するように符号化して１以上のジオメトリースライスを含むデータ領域から構成されるビットストリーム及び前記ＬｏＤと前記ジオメトリースライスにおける前記ＬｏＤに対応する部分領域である部分スライスとの対応を特定するための部分スライス特定情報を含むファイルを受信し、
取得した前記ファイルから前記部分スライス特定情報を抽出し、
抽出した前記部分スライス特定情報を基に、前記ビットストリームを所望の前記品質レベルで復号する、
処理をコンピュータに実行させる再生処理方法。
１ Ｇ－ＰＣＣビットストリーム
１０ ポイントクラウドフレーム
１１ タイル
１２ スライス
１３ ジオメトリースライス
１４ アトリビュートスライス
１５ ポイント
１００ ファイル生成装置
１０１ 抽出部
１０２ ファイル生成処理部
１０３ 送信部
１０４ 制御部
１２１ 符号化部
１２２ ジオメトリーエンコーダ
１２３ アトリビュートエンコーダ
１２４ ビットストリーム生成部
１２５ メタデータ生成部
１２６ ファイル生成部
２００ クライアント装置
２０１ 再生処理部
２０２ 表示部
２０３ 制御部
２１１ ファイル取得部
２１２ 復号処理部
２２１ ファイル処理部
２２２ 復号部
２２３ 表示情報生成部
２３１ データ抽出部
２３２ ジオメトリーデコーダ
２３３ アトリビュートデコーダ
２３４ ポイントクラウド生成部
２３５ 画像処理部
３００ Ｗｅｂサーバ
４００ ネットワーク
５００ 配信システム

Claims (15)

  1. ポイントクラウドデータを、品質レベルであるＬｏＤ（Level of Detail）に対応する段階的な階層構造を有するように符号化して１以上のジオメトリースライスを含むデータ領域から構成されるビットストリームを生成する符号化部と、
    前記ＬｏＤと前記ジオメトリースライスにおける前記ＬｏＤに対応する部分領域である部分スライスとの対応を特定するための部分スライス特定情報を生成し、前記ビットストリームから前記ＬｏＤを構成する階層の前記階層構造における深度を表す深度情報を抽出し、前記ジオメトリースライスの前記深度に対応する部分をsub-sampleとして設定し、前記ＬｏＤを構成する各前記階層へのアクセスを表すアクセス情報をさらに生成し、前記アクセス情報は、前記sub-sampleのデータサイズの情報を含むメタデータ生成部と、
    前記部分スライス特定情報を含むＩＳＯＢＭＦＦ（International Organization for Standardization Base Media File Format）ファイルを生成し、前記部分スライス特定情報および前記アクセス情報をsub-sample information boxに格納するファイル生成部と、
    を備えたことを特徴とする情報処理装置。
  2. 前記メタデータ生成部は、３次元コンテンツを再生する再生処理装置の処理能力に応じて前記深度を選択する指標として、前記階層毎の復号対象となるデコード点数の情報を情報量として抽出し、
    前記ファイル生成部は、前記情報量を前記ＩＳＯＢＭＦＦファイルに格納する、
    請求項１に記載の情報処理装置。
  3. 前記部分スライス特定情報は、前記アクセス情報を含み、
    前記メタデータ生成部は、前記部分スライス特定情報を時間対応メタデータに格納する、
    請求項２に記載の情報処理装置。
  4. 前記データサイズの情報には、前記ビットストリームの識別情報及び前記ビットストリームの先頭からのデータ長の情報が含まれる、
    請求項３に記載の情報処理装置。
  5. 前記メタデータ生成部は、前記３次元コンテンツを再生する再生処理装置の処理能力に応じて前記ＬｏＤを選択する指標として、前記階層毎の復号対象となるデコード点数の情報を情報量として抽出し、
    前記ファイル生成部は、前記情報量を前記ＩＳＯＢＭＦＦファイルに格納する、
    請求項４に記載の情報処理装置。
  6. 前記ビットストリームは、さらに付加属性を示すアトリビュートスライスを含み、
    前記アクセス情報には、前記ジオメトリースライスまたは前記アトリビュートスライスに対応する前記sub-sampleであるであることを示すタイプ情報が含まれる、
    請求項１に記載の情報処理装置。
  7. 前記ポイントクラウドデータは、複数のタイルから構成されるデータであって、
    前記ビットストリームは、さらに付加属性を示すアトリビュートスライスを含み、
    前記メタデータ生成部は、前記ビットストリームの１フレームに含まれる前記タイル毎に、前記タイルに対応する複数のスライスのうち、前記ＬｏＤに対応する前記部分スライス特定情報を生成する、
    請求項１に記載の情報処理装置。
  8. 前記ファイル生成部は、前記タイル毎の前記部分スライス特定情報を、前記部分スライス特定情報を含むsub-sample information boxに紐づける、
    請求項７に記載の情報処理装置。
  9. ファイル生成部は、前記タイル毎の部分スライス特定情報を、前記ＬｏＤおよび前記ＬｏＤに対応する前記部分スライスを示す階層情報である前記品質レベルを示すＬｏＤ情報毎に時間対応メタデータに格納する、
    請求項７に記載の情報処理装置。
  10. 前記符号化部は、前記階層毎に分割された階層単位を有する前記ビットストリームを生成し、
    前記メタデータ生成部は、各前記階層単位に含まれる前記スライスに対応させて前記部分スライス特定情報を生成する、
    請求項７に記載の情報処理装置。
  11. 前記ファイル生成部は、時間情報を持たないビットストリーム及び部分スライス特定情報を前記ＩＳＯＢＭＦＦファイルに格納する、
    請求項１に記載の情報処理装置。
  12. ポイントクラウドデータを、品質レベルであるＬｏＤに対応する段階的な階層構造を有するように符号化して１以上のジオメトリースライスおよび１以上のアトリビュートスライスを含むデータ領域から構成されるビットストリーム、および、前記ＬｏＤを構成する階層の前記階層構造における深度を表す深度情報を生成する符号化部と、
    前記ＬｏＤと前記ジオメトリースライスにおける前記ＬｏＤに対応する部分領域である部分スライスとの対応を特定するための部分スライス特定情報を生成し、前記ビットストリームから前記ＬｏＤを構成する階層の前記階層構造における深度を表す深度情報を抽出し、前記ジオメトリースライスの前記深度に対応する部分をsub-sampleとして設定し、前記ＬｏＤを構成する各前記階層へのアクセスを表すアクセス情報をさらに生成し、前記アクセス情報は、前記sub-sampleのデータサイズの情報を含むメタデータ生成部と、
    前記部分スライス特定情報を含むＩＳＯＢＭＦＦファイルを生成し、前記部分スライス特定情報および前記アクセス情報をsub-sample information boxに格納するファイル生成部と、
    を備えた情報処理装置。
  13. ポイントクラウドデータを、品質レベルであるＬｏＤに対応する段階的な階層構造を有するように符号化して１以上のジオメトリースライスを含むデータ領域から構成されるビットストリームを生成し、
    前記ＬｏＤと前記ジオメトリースライスにおける前記ＬｏＤに対応する部分領域である部分スライスとの対応を特定するための部分スライス特定情報を生成し、前記ビットストリームから前記ＬｏＤを構成する階層の前記階層構造における深度を表す深度情報を抽出し、前記ジオメトリースライスの前記深度に対応する部分をsub-sampleとして設定し、前記ＬｏＤを構成する各前記階層へのアクセスを表すアクセス情報をさらに生成し、前記アクセス情報は、前記sub-sampleのデータサイズの情報を含み、
    前記部分スライス特定情報を含むＩＳＯＢＭＦＦファイルを生成し、前記部分スライス特定情報および前記アクセス情報をsub-sample information boxに格納する、
    処理をコンピュータに実行させる情報処理方法。
  14. ポイントクラウドデータを品質レベルであるＬｏＤに対応する段階的な階層構造を有するように符号化して１以上のジオメトリースライスを含むデータ領域から構成されるビットストリーム及び前記ＬｏＤと前記ジオメトリースライスにおける前記ＬｏＤに対応する部分領域である部分スライスとの対応を特定するための部分スライス特定情報を含むＩＳＯＢＭＦＦファイルを受信するファイル取得部と、
    前記ファイル取得部により取得された前記ＩＳＯＢＭＦＦファイルから前記部分スライス特定情報を抽出するデータ抽出部と、
    前記データ抽出部により抽出された前記部分スライス特定情報を基に、前記ビットストリームを所望の前記品質レベルで復号し、前記部分スライス特定情報および前記ＬｏＤを構成する各階層へのアクセスを表すアクセス情報がsub-sample information boxに格納され、前記アクセス情報は、前記sub-sampleのデータサイズの情報を含む復号部と、
    を備えた再生処理装置。
  15. ポイントクラウドデータを品質レベルであるＬｏＤに対応する段階的な階層構造を有するように符号化して１以上のジオメトリースライスを含むデータ領域から構成されるビットストリーム及び前記ＬｏＤと前記ジオメトリースライスにおける前記ＬｏＤに対応する部分領域である部分スライスとの対応を特定するための部分スライス特定情報を含むＩＳＯＢＭＦＦファイルを受信し、
    取得した前記ＩＳＯＢＭＦＦファイルから前記部分スライス特定情報を抽出し、
    抽出した前記部分スライス特定情報を基に、前記ビットストリームを所望の前記品質レベルで復号し、前記部分スライス特定情報および前記ＬｏＤを構成する各階層へのアクセスを表すアクセス情報がsub-sample information boxに格納され、前記アクセス情報は、前記sub-sampleのデータサイズの情報を含む、
    処理をコンピュータに実行させる再生処理方法。
JP2021545219A 2019-09-11 2020-08-28 情報処理装置、情報処理方法、再生処理装置及び再生処理方法 Active JP7563385B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962898882P 2019-09-11 2019-09-11
US62/898,882 2019-09-11
PCT/JP2020/032733 WO2021049333A1 (ja) 2019-09-11 2020-08-28 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Publications (2)

Publication Number Publication Date
JPWO2021049333A1 JPWO2021049333A1 (ja) 2021-03-18
JP7563385B2 true JP7563385B2 (ja) 2024-10-08

Family

ID=74865655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021545219A Active JP7563385B2 (ja) 2019-09-11 2020-08-28 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Country Status (5)

Country Link
US (1) US12160608B2 (ja)
EP (1) EP4030384A4 (ja)
JP (1) JP7563385B2 (ja)
CN (1) CN114342402B (ja)
WO (1) WO2021049333A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220327743A1 (en) * 2019-09-24 2022-10-13 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US12244866B2 (en) * 2020-03-11 2025-03-04 Lg Electronics Inc. Device for transmitting point cloud data, method for transmitting point cloud data, device for receiving point cloud data, and method for receiving point cloud data
WO2021251141A1 (ja) * 2020-06-09 2021-12-16 ソニーグループ株式会社 情報処理装置および方法
JP7746995B2 (ja) * 2020-09-08 2025-10-01 ソニーグループ株式会社 情報処理装置および方法
WO2022080283A1 (ja) * 2020-10-13 2022-04-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2022098152A1 (ko) * 2020-11-05 2022-05-12 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN116724556A (zh) * 2021-01-06 2023-09-08 Lg电子株式会社 点云数据发送装置和方法、点云数据接收装置和方法
WO2022225233A1 (ko) * 2021-04-22 2022-10-27 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
JPWO2023277062A1 (ja) 2021-06-30 2023-01-05
US20240386615A1 (en) * 2021-07-14 2024-11-21 Lg Electronics Inc. Point cloud data transmission device and method, and point cloud data reception device and method
US20240323433A1 (en) * 2021-07-14 2024-09-26 Lg Electronics Inc. Point cloud data transmission device and method, and point cloud data reception device and method
US20240323434A1 (en) * 2021-07-15 2024-09-26 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2023287265A1 (ko) * 2021-07-16 2023-01-19 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
GB2613853B (en) * 2021-12-16 2024-01-24 Canon Kk Method, device, and computer program for optimizing encapsulation of point cloud data
CN116781913A (zh) * 2022-03-11 2023-09-19 腾讯科技（深圳）有限公司 点云媒体的编解码方法及相关产品
CN116781676A (zh) * 2022-03-11 2023-09-19 腾讯科技（深圳）有限公司 一种点云媒体的数据处理方法、装置、设备及介质
JPWO2023176419A1 (ja) * 2022-03-17 2023-09-21
US20250227216A1 (en) * 2022-03-23 2025-07-10 Sony Group Corporation Information processing device and method
CN119054291A (zh) * 2022-04-14 2024-11-29 Lg电子株式会社 点云数据的发送装置和由相同的发送装置执行的方法及点云数据的接收装置和由相同的接收装置执行的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004185628A (ja) 2002-12-05 2004-07-02 Samsung Electronics Co Ltd ３次元オブジェクトデータの符号化及び復号化方法、並びに、その装置
WO2019012975A1 (ja) 2017-07-10 2019-01-17 ソニー株式会社 情報処理装置および方法
WO2019159956A1 (ja) 2018-02-14 2019-08-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070262988A1 (en) * 2006-05-09 2007-11-15 Pixar Animation Studios Method and apparatus for using voxel mip maps and brick maps as geometric primitives in image rendering process
JP5625342B2 (ja) * 2009-12-10 2014-11-19 ソニー株式会社 画像処理方法、画像処理装置、プログラム
CN110460858B (zh) * 2013-07-22 2021-12-10 索尼公司 信息处理装置和方法
CN106373199B (zh) * 2016-08-31 2019-05-14 中测新图(北京)遥感技术有限责任公司 一种倾斜摄影建筑物模型快速提取方法
WO2019045712A1 (en) * 2017-08-31 2019-03-07 Sony Mobile Communications Inc. METHODS OF CONSTRUCTING A PRINTING 3D MODEL, AND DEVICES AND COMPUTER PROGRAM PRODUCTS THEREOF
US11113845B2 (en) * 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10424083B2 (en) * 2017-10-21 2019-09-24 Samsung Electronics Co., Ltd. Point cloud compression using hybrid transforms
US11182951B2 (en) * 2018-02-23 2021-11-23 Sony Group Corporation 3D object modeling using scale parameters and estimated distance
US10909726B2 (en) * 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10939129B2 (en) * 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11017566B1 (en) * 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) * 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
DE102018212786B4 (de) * 2018-07-31 2023-10-05 Siemens Healthcare Gmbh Verfahren zur Korrektur eines Magnetresonanz-Kombinationsdatensatzes, Magnetresonanzeinrichtung, Computerprogramm und elektronisch lesbarer Datenträger

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004185628A (ja) 2002-12-05 2004-07-02 Samsung Electronics Co Ltd ３次元オブジェクトデータの符号化及び復号化方法、並びに、その装置
WO2019012975A1 (ja) 2017-07-10 2019-01-17 ソニー株式会社 情報処理装置および方法
WO2019159956A1 (ja) 2018-02-14 2019-08-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
井口 恒志、外２名，"グラフィックスハードウェアを用いた境界表現モデルからＯｃｔｒｅｅモデルへの変換"，ＦＩＴ２００７ 第６回情報科学技術フォーラム 一般講演論文集 第３分冊，日本，社団法人情報処理学会、社団法人電子情報通信学会，2007年08月22日，pp.227-228

Also Published As

Publication number Publication date
EP4030384A4 (en) 2024-03-20
JPWO2021049333A1 (ja) 2021-03-18
US12160608B2 (en) 2024-12-03
CN114342402B (zh) 2025-01-21
US20220312035A1 (en) 2022-09-29
EP4030384A1 (en) 2022-07-20
WO2021049333A1 (ja) 2021-03-18
CN114342402A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
JP7563385B2 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
JP7567481B2 (ja) 情報処理装置および情報処理方法
JP7439762B2 (ja) 情報処理装置および情報処理方法、並びにプログラム
KR20210135324A (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신 방법
US12081846B2 (en) Method, device, and computer program for improving encapsulation of media content
US12432370B2 (en) Information processing device and information processing method
US11516453B2 (en) Information processing apparatus, information processing method, and program for point cloud sample processing
KR20210132200A (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신 방법
JP7746995B2 (ja) 情報処理装置および方法
GB2509953A (en) Displaying a Region of Interest in a Video Stream by Providing Links Between Encapsulated Video Streams
KR20160034890A (ko) 정보 처리 장치 및 방법
JP7768130B2 (ja) 情報処理装置および方法
CN115514972A (zh) 视频编解码的方法、装置、电子设备及存储介质
CN116325759A (zh) 用于处理媒体文件的方法及其设备
US20250159123A1 (en) Information processing device and method
JP7521531B2 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
CN117529924A (zh) 信息处理装置和方法
WO2021065535A1 (ja) 情報処理装置および方法
US20250260839A1 (en) Information processing device and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240909

R150 Certificate of patent or registration of utility model

Ref document number: 7563385

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150