[go: up one dir, main page]

CN102158733A - 辅助视频补充信息承载方法、处理方法、装置与系统 - Google Patents

辅助视频补充信息承载方法、处理方法、装置与系统 Download PDF

Info

Publication number
CN102158733A
CN102158733A CN2011100317041A CN201110031704A CN102158733A CN 102158733 A CN102158733 A CN 102158733A CN 2011100317041 A CN2011100317041 A CN 2011100317041A CN 201110031704 A CN201110031704 A CN 201110031704A CN 102158733 A CN102158733 A CN 102158733A
Authority
CN
China
Prior art keywords
video
auxiliary video
bit stream
auxiliary
side information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100317041A
Other languages
English (en)
Other versions
CN102158733B (zh
Inventor
惠宇
张园园
石腾
张楚雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201510456639.5A priority Critical patent/CN105100822B/zh
Priority to CN201110031704.1A priority patent/CN102158733B/zh
Publication of CN102158733A publication Critical patent/CN102158733A/zh
Priority to EP11857363.3A priority patent/EP2661090A4/en
Priority to PCT/CN2011/079233 priority patent/WO2012100537A1/zh
Priority to US13/953,326 priority patent/US20130314498A1/en
Application granted granted Critical
Publication of CN102158733B publication Critical patent/CN102158733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种辅助视频补充信息承载方法、处理方法、装置与系统，所述辅助视频补充信息承载方法包括：在视频比特流中承载辅助视频补充信息；将所述视频比特流分发到传输网络生成媒体流或者分发到媒体介质中。本实施例的方案将包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容编码生成视频比特流，利用视频比特流与传输物理的接口可将媒体内容直接分发到不同的多媒体系统上，而不需要针对辅助视频补充信息在运营网络或者媒体介质上增加新的承载结构，降低了内容分发的成本和适配的难度。该方案具有良好的网络亲和性，可适应于各种传输网络上的传输和媒体介质的存储。

Description

辅助视频补充信息承载方法、处理方法、装置与系统
技术领域
本发明涉及视频技术领域，特别涉及一种辅助视频补充信息承载方法、处理方法、装置与系统。
背景技术
二维视频仅能传送物体的平面信息，用户只能感知物体的高度、宽度、颜色、纹理等；而三维视频还可表达物体的深度信息等信息，用户可感知物体的凹凸、远近距离等。3D视频可以采用不同的数据格式。二维加辅助视频(2dplus auxiliaryvideo)是一种常见的3D格式。
二维加辅助视频格式具有节省带宽，向后兼容，景深调节等优点，特别是传输时相对于一路视频，带宽只增加10-20％；可广泛适用于多种带宽受限的环境。其数据表示包含：二维视频、其辅助视频和辅助视频补充信息(Auxiliary video supplemental information，AVSI)。三维显示终端在获取到基于二维加辅助视频格式表示的三维内容时，需要获得二维视频、辅助视频以及辅助视频补充信息。现有技术实现了将二维视频和辅助视频编码生成视频比特流，根据视频比特流的分发接口分发到不同传输系统和媒体介质，并且在TS传输层通过新增描述符承载辅助视频补充信息。由于辅助视频补充信息的承载需要在传输层或者媒体介质中增加新的承载结构，不同传输系统和媒体介质对应的具体实现方案不同，造成配置成本和适配难度的增加。
发明内容
本发明实施例提供一种辅助视频补充信息承载方法、处理方法、装置与系统，为包含了辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息的媒体内容提供了内容分发的通用接口。
一方面，本发明实施例提供一种辅助视频补充信息承载方法，所述方法包括：在视频比特流中承载辅助视频补充信息；将所述视频比特流分发到传输网络生成媒体流或者分发到媒体介质中。
另一方面，本发明实施例还提供一种辅助视频补充信息处理方法，所述方法包括：获取视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；解码所述视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；根据所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。
又一方面，本发明实施例还提供一种媒体内容服务器，所述服务器包括：视频比特流生成单元，用于生成媒体内容的视频比特流，所述媒体内容的视频比特流中承载了所述辅助视频补充信息；视频比特流分发单元，用于将所述视频比特流生成单元生成的述视频比特流分发到传输网络生成媒体流或者分发到媒体介质中。
再一方面，本发明实施例还提供一种媒体内容显示终端，所述终端包括：获取单元，用于获取视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；解码单元，用于解码所述获取单元获取的视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；处理单元，用于根据所述解码单元解码获得的所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。
还有一方面，本发明实施例还提供一种视频播放系统，所述系统包括：服务器，用于生成媒体内容的视频比特流，在所述视频比特流中承载辅助视频补充信息，将所述视频比特流分发到传输网络生成媒体流或者分发到媒体介质中；终端，用于获取所述服务器生成的所述视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；解码所述视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；根据所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。
本实施例的方案在对包含了辅助视频，及该辅助视频对应的主视频以及辅助视频补充信息的媒体内容进行编码时，可以将主视频，辅助视频，辅助视频补充信息编码生成视频比特流，再利用视频比特流与传输物理的接口将媒体内容分发到不同的多媒体系统上，从而可以将辅助视频补充信息直接携带于视频比特流进行传输，而不需要针对辅助视频补充信息在运营网络或者媒体介质上增加新的承载结构，降低了内容分发的成本和适配的难度。该方案具有良好的网络亲和性，可适应于各种传输网络上的传输和媒体介质的存储。
附图说明
图1为本发明实施例辅助视频补充信息承载方法流程图；
图2为本发明实施例辅助视频补充信息处理方法流程图；
图2a为本发明实施例系统的连接关系示意图；
图3为本发明实施例服务器10的功能框图；
图4为本发明实施例服务器10的视频比特流生成单元301的细化功能框图之一；
图5为本发明实施例服务器10的视频比特流生成单元301的细化功能框图之二；
图6为本发明实施例终端20的功能框图；
图7为本发明实施例终端20的解码单元602的细化功能框图之一；
图8为本发明实施例终端20的解码单元602的细化功能框图之二。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本实施例提供了一种辅助视频补充信息承载方法。图1为该方法的流程图，如图1所示，该方法包括：
S101、在视频比特流中承载辅助视频补充信息；
S102、将该视频比特流分发到传输网络生成媒体流或者分发到媒体介质中。
可选地，本实施例的辅助视频补充信息是用于和辅助视频进行合成计算的信息，包括但不限于下述信息中的一种或多种组合：
1、辅助视频类型，不同辅助视频的类型对应各自的补充信息类型，如辅助视频是深度图时，对应补充信息类型为1；
2、辅助视频和与所述辅助视频对应的主视频的空间对应关系，主视频和辅助视频在采样频率不同时，描述两个视频采样点的空间对应关系，通常情况下，主视频中一个像素对应辅助视频的一个像素，为了适当压缩辅助视频，满足低码率传输，可对辅助视频使用子采样；
3、不同类型的辅助视频对应的计算参数。
辅助视频类型众多，种类不同作用也不同。当辅助视频类型是深度图、视差图时，可以应用于三维内容显示；辅助视频类型还可以是描述主视频的透明度信息等等。辅助视频补充信息的定义也随着辅助视频类型的不同而不同。
可选地，S101可以包括：对所述辅助视频和所述辅助视频补充信息进行视频编码，生成辅助视频比特流；对与所述辅助视频对应的主视频进行视频编码，生成主视频比特流。
具体地，当采用h.264对所述辅助视频和所述辅助视频补充信息进行视频编码时，可以使用所述辅助视频比特流中的Nal(Network Abstraction Layer，网络提取层)单元承载所述辅助视频补充信息。
具体地，当采用h.264对所述辅助视频和所述辅助视频补充信息进行视频编码时，也可以使用所述辅助视频比特流的SEI(Supplemental EnhancementInformation，辅助增强信息)Nal单元中的SEI消息承载所述辅助视频补充信息。
具体地，当采用mpeg2(Motion Picture Expert Group，活动图像专家组)标准对所述辅助视频和所述辅助视频补充信息进行视频编码时，可以在所述辅助视频比特流中通过用户数据结构承载所述辅助视频补充信息。
上述三种具体的实现方式将在后续实施例中展开详细的描述。
可选地，S101还可以包括：将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码，生成一路视频比特流。
具体地，当采用h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，可以使用Nal单元承载所述辅助视频补充信息。
具体地，当采用h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，也可以使用SEI Nal单元中的SEI消息承载所述辅助视频补充信息。
这种具体的实现方式也将在后续实施例中展开详细的描述。
本实施例的方法将辅助视频补充信息直接携带于视频比特流进行传输，将包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容编码生成视频比特流，利用视频比特流与传输物理的接口可将媒体内容直接分发到不同的多媒体系统上，从而为所述媒体内容提供了内容分发的通用接口；对于同一媒体内容，可通过通用接口直接分发到不同的多媒体系统上，而不需要针对辅助视频补充信息在运营网络或媒体介质上增加新的承载结构，降低了内容分发的成本和难度。该方案具有良好的网络亲和性，可适应于各种传输网络上的传输和媒体介质的存储。
实施例2：
本实施例提供了一种具体的辅助视频补充信息承载方法。本实施例使用h.264承载包含了辅助视频，所述辅助视频对应的主视频，以及辅助视频补充信息的媒体内容。h.264的Nal单元规范了视频数据的格式，是视频比特流到传输网络或者媒体介质的通用接口，本实施例通过新增一种类型的Nal单元，该Nal单元用于在视频比特流中承载辅助视频补充信息。
具体地，本实施例的方法包括：对媒体内容所包含的辅助视频、所述辅助视频对应的主视频、以及辅助视频补充信息进行视频编码，生成视频比特流，该视频比特流中包含了新增的Nal单元，用于承载辅助视频补充信息；将视频比特流分发到传输网络上或者媒体介质上。这样，终端通过传输网络或者媒体介质获取到该视频比特流时，就可以从视频比特流中获得辅助视频、所述辅助视频对应的主视频、以及辅助视频补充信息，并进行合成计算再显示。根据对主视频和辅助视频所采用的不同编码方式，本实施例又可以细分为以下两种情况。
(1)第一种情况：将辅助视频和所述辅助视频对应的主视频独立地进行视频编码，得到两路h.264视频比特流，即主视频比特流和辅助视频比特流，在辅助视频比特流中携带辅助视频补充信息。
h.264编码器输出的视频比特流包括一系列的Nal单元，提供了编解码器与传输网络或者媒体介质的通用接口。h.264中定义了多种类型的Nal单元，可用于承载视频帧，也可承载与视频帧编解码/显示有关的信息。表1显示了一个h.264视频比特流包含的一些Nal单元及其排列顺序。
表1：
Figure BDA0000045996930000051
本实施例新增的Nal单元的内容如表2所示。“MPEG C Part-3”标准对辅助视频补充信息进行了定义，定义的结构为“SI_rbsp”，本实施例以“MPEG C Part 3”定义的补充信息结构“Si_rbsp”作为本实施例补充信息的一个示例。在辅助视频比特流中，视频帧作为基本编码图像由Nal单元承载。辅助视频补充信息至少随每个IDR(Instantaneous DecodingRefresh解码即时刷新)图像或RAP(随机接入点Random access point)传输。具体的“nal_unit_type”可根据h.264规范的定义使用预留值。
表2：
Figure BDA0000045996930000052
本实施例新增一种Nal单元，用于在辅助视频比特流中承载辅助视频补充信息。终端在接收到包含了辅助视频和辅助视频补充信息的辅助视频比特流后，需要将辅助视频补充信息和辅助视频比特流中的基本编码图像(primary coded picture)进行合成计算。
(2)第二种情况：使用h.264“Auxiliary Picture”语法，将辅助视频和所述辅助视频对应的主视频进行视频编码生成一路h.264视频比特流。表3显示了一个携带AuxiliaryPicture的h.264视频比特流包含的一些Nal单元及其排列顺序。如表3所示，主视频帧作为基本编码图像由Nal单元承载，辅助视频帧作为辅助编码图像(auxiliary coded picture)由“nal_unit_type”为19的Nal单元承载，根据h.264的定义，辅助视频和主视频具有相同的大小。
表3：
Figure BDA0000045996930000061
本实施例新增一种Nal单元，用于在视频比特流中承载辅助视频补充信息，接收终端需要将辅助视频补充信息和视频比特流中的辅助编码图像进行合成。新增的Nal单元的格式定义如表4所示，具体的“nal_unit_type”可根据h.264规范的定义使用预留值。
表4：
Figure BDA0000045996930000062
第一种情况中辅助视频补充信息需要和视频流中的基本编码图像进行合成计算，第二种情况中辅助视频补充信息需要和视频流中的辅助编码图像进行合成计算，终端区分两种情况可有多种方式，例如两种情况下nal_unit_type取值不同，终端可根据承载辅助视频补充信息的nal_unit_type值来判定，又例如两种情况下nal_unit_type取值相同，终端可根据该视频流中是否携带了辅助编码图像来判定。
本实施例的方法通过新增的Nal单元来承载辅助视频补充信息，以实现在视频比特流中携带辅助视频补充信息，该方法为包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容提供了内容分发的通用接口。对于同一媒体内容，可通过通用接口直接分发到不同的多媒体系统上，而不需要针对辅助视频补充信息在运营网络或媒体介质上增加新的承载结构，降低了内容分发的成本和难度。该方案具有良好的网络亲和性，可适应于各种传输网络上的传输和媒体介质的存储。
实施例3：
本实施例仍然使用h.264承载包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容。所不同的是，本实施例的方法是定义新的辅助增强信息SEI承载辅助视频补充信息。SEI消息在解码、显示或其它过程中起到辅助作用，如表1所示，一个SEI Nal单元可包括一个或多个SEI消息。通过不同的净荷类型(payload Type)区分每个SEI消息，SEI消息封装在Nal单元作为视频比特流的一部分进行传输。
本实施例中，第一种情况是主视频和辅助视频作为两路h.264视频比特流，在辅助视频比特流中携带辅助视频补充信息。本实施例定义新的SEI消息携带辅助视频补充信息。
表5为本实施例定义的一种用于承载辅助视频补充信息的SEI消息类型，其中payloadType可取SEI消息预留的类型值，如46。表6为本实施例中新增的SEI消息结构的一种具体定义。这里以辅助视频是深度图或者视差图为例定义了辅助视频补充信息，但辅助视频可有多种类型，包括不限于此。表6中的“generic_params”描述辅助视频采样点和主视频采样点的空间对应关系，其定义如表7所示。表6中的“depth_params”用于和深度图进行合成，计算出视差，其定义如表8所示。表6中的“Parallax_params”用于对视差图(记录制作时参考视差)进行转换，计算出观看时的真实视差，其定义如表9所示。表6中的“reserved_si_message”预留扩展其他类型的辅助视频补充信息的定义。
表5：
  Payload type value   SEI message structure
  46   Aux_pic_si(payloadSize)
表6：
Figure BDA0000045996930000071
表7：
Figure BDA0000045996930000081
表8：
Figure BDA0000045996930000082
表9：
Figure BDA0000045996930000083
本实施例的第二种情况是将主视频、辅助视频、和辅助视频补充信息联合进行视频编码，生成一路视频比特流。视频比特流中使用辅助增强信息SEI Nal单元中的SEI消息承载辅助视频补充信息，使用基本编码图像单元承载主视频帧，使用辅助编码图像单元承载辅助视频帧。SEI消息的具体定义的示例可以和第一种情况相同，其中payload type取值也可以与第一种情况不同。
需要说明的是第一种情况中辅助视频补充信息需要和视频流中的基本编码图像进行合成计算，第二种情况中辅助视频补充信息需要和视频流中的辅助编码图像进行合成计算，终端区分两种情况可有多种方式，例如终端可根据SEI消息的payload type取值不同判定辅助视频补充信息和哪类视频帧进行合成计算。
本实施例的方法通过在SEI Nal单元中新增的SEI消息来承载辅助视频补充信息，以实现在辅助视频比特流中携带辅助视频补充信息，该方法为包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容提供了内容分发的通用接口。对于同一媒体内容，可通过通用接口直接分发到不同的多媒体系统上，而不需要针对辅助视频补充信息在运营网络或者媒体介质上增加新的承载结构，降低了内容分发的成本和难度。该方案具有良好的网络亲和性，可适应于各种传输网络上的传输和媒体介质的存储。
实施例4：
本实施例使用mpeg2承载包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容。具体方法为：辅助视频和所述辅助视频对应的主视频经过编码生成两路mpeg2视频比特流，即主视频比特流和辅助视频比特流；相应的，在辅助视频比特流中携带辅助视频补充信息。具体地，可通过扩展用户数据结构来承载辅助视频补充信息。
mpeg2视频比特流分为6个层次，视频序列层(Sequence)，图像组层(Group of Picture，GOP)，图像层(Picture)，像条层(Slice)，宏块层(Macro Block)和像块层(Block)，从一个序列头开始，后面可以任选地跟随一组图头，随后是一个或者多个编码帧。
用户数据(如，user_data)结构通常被扩展用于辅助显示，携带如字幕，显示参数等信息，并可位于视频比特流不同层次。extension_and_user_data(i)中i取值不同表示user_data位于视频比特流的不同位置。如在视频序列层之后的extension_and_user_data对应的i为0，在图像层之后的extension_and_user_data对应的i为2，具体定义表10所示。
表10：
Figure BDA0000045996930000091
本实施例通过扩展用户数据结构来携带补充信息，user_data结构如表11所示，其中user_data_identifier是一个全局标识用于区分不同的user_structure，如ATSC注册了“0x47413934”标识ATSC_user_data，实现了对user_data多种用途的扩展。为了避免和其他系统扩展的用户数据冲突，user_data_identifier可以使用MPEG注册值“0x4D504547”。
表11：
Figure BDA0000045996930000092
表12定义了user_structure的一个示例。其中user_data_type_code用以区分mpeg系统下对user_data的不同扩展。
表12：
Figure BDA0000045996930000101
表13定义了不同的user_data_type_code类型区分出扩展的用户数据类型。当user_data_type_code表示补充信息类型时，对应的扩展用户数据为补充信息。
表13：
  user_data type_code value   user_data_type_structure
  0X01   SI_data()
  其他取值   reserved
表14具体定义了辅助视频补充信息的结构，本实施例中具体以“MPEG C Part 3”中定义的补充信息结构“Si_rbsp”作为补充信息的一个示例结构。
表14：
Figure BDA0000045996930000102
本实施例的方法通过扩展用户数据结构来实现在辅助视频比特流中携带辅助视频补充信息，为包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容提供了内容分发的通用接口。对于同一媒体内容，可通过通用接口直接分发到不同的多媒体系统上，而不需要针对辅助视频补充信息在运营网络或媒体介质上增加新的承载结构，降低了内容分发的成本和难度。该方案具有良好的网络亲和性，可适应于各种传输网络上的传输和媒体介质的存储。
实施例5：
本实施例提供了一种辅助视频补充信息处理方法，该方法与实施例1-4的承载方法相对应。图2为本实施例方法的流程图。如图2所示，该方法包括：
S201、获取视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；
S202、解码所述视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；
S203、根据所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。
可选地，获取的视频比特流包括主视频比特流和辅助视频比特流；此时，S202可以包括：解码所述辅助视频比特流，获得辅助视频和辅助视频补充信息；解码所述主视频比特流，获得主视频。
可选地，获取的视频比特流为一路视频比特流；此时，S202可以包括：解码所述一路视频比特流，获得所述主视频、辅助视频和辅助视频补充信息。
当采用h.264进行视频解码时，如果获取的视频比特流包括主视频比特流和辅助视频比特流，S202可以具体包括：从所述辅助视频比特流中承载了辅助视频补充信息的Nal单元中解析获得辅助视频补充信息；也可以从所述辅助视频比特流中承载了辅助视频的Nal单元中解析获得辅助视频。S203可以具体包括：将辅助视频补充信息和辅助视频比特流中的基本编码图像进行合成。
当采用h.264进行视频解码时，如果获取的视频比特流为一路视频比特流，S202还可以具体包括：从该一路视频比特流中承载了辅助视频补充信息的Nal单元中解析获得辅助视频补充信息；也可以从所述一路视频比特流中承载了辅助视频的Nal单元中解析获得辅助视频，以及从所述一路视频比特流中承载了主视频的Nal单元中解析获得主视频。S203可以具体包括：将辅助视频补充信息和视频比特流中的辅助编码图像进行合成。
当采用h.264进行视频解码时，如果获取的视频比特流包括主视频比特流和辅助视频比特流，S202还可以具体包括：解码所述主视频比特流以获得主视频；从辅助视频比特流中承载了辅助视频的Nal单元解析获得辅助视频，从辅助视频比特流中承载了辅助视频补充信息的SEI Nal单元的SEI消息中解析获得辅助视频补充信息；S203还可以具体包括：将辅助视频补充信息和辅助视频比特流中的基本编码图像进行合成。
当采用h.264进行视频解码时，如果获取的视频比特流为一路视频比特流，S202还可以具体包括：从所述一路视频比特流中承载了辅助视频补充信息的SEI Nal单元的SEI消息中解析获得辅助视频补充信息；也可以从所述一路视频比特流中承载了辅助视频的Nal单元中解析获得辅助视频，以及从所述一路视频比特流中承载了主视频的Nal单元中解析获得主视频。S203可以具体包括：将辅助视频补充信息和视频比特流中的辅助编码图像进行合成。
当采用mpeg2标准进行视频解码时，如果获取的视频比特流包括主视频比特流和辅助视频比特流，S202还可以具体包括：解码所述主视频比特流以获得主视频；解码所述辅助视频比特流以获得辅助视频和辅助视频补充信息，其中，具体可以从辅助视频比特流中承载了辅助视频补充信息的用户数据结构中解析获得辅助视频补充信息；S203可以具体包括：将辅助视频补充信息和辅助视频比特流中的视频帧进行合成。
本实施例的方法对包含了辅助视频，所述辅助视频对应的主视频以及辅助视频补充信息的媒体内容提供了内容获取的通用接口；具有良好的网络亲和性，可适应于各种传输网络上的传输和媒体介质的存储。
实施例6
本实施例提供一种视频播放系统，以实现前述实施例所述的辅助视频补充信息的承载与处理方法。图2a为该系统的连接关系图，如图2a所示，该系统包括：服务器10，用于生成媒体内容的视频比特流，在所属视频比特流中承载辅助视频补充信息，将所述视频比特流分发到传输网络生成媒体流或者分发到媒体介质中；终端20，用于获取所述服务器10生成的所述视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；解码所述视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；根据所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。
本实施例的辅助视频补充信息是用于和辅助视频进行合成计算的信息，包括但不限于下面定义的几类信息中的一种或几种：辅助视频类型；辅助视频和与所述辅助视频对应的视频的空间对应关系；不同类型的辅助视频对应的具体计算参数。
图3为服务器10的功能框图。如图3所示，该服务器10包括：视频比特流生成单元301，用于生成媒体内容的视频比特流，所述媒体内容的视频比特流中承载了所述辅助视频补充信息；视频比特流分发单元302，用于将视频比特流生成单元301生成的视频比特流分发到传输网络生成媒体流或者分发到媒体介质中。
图4为视频比特流生成单元301的细化功能框图之一。如图4所示，视频比特流生成单元301进一步包括：第一编码单元401，用于对所述辅助视频和所述辅助视频补充信息进行视频编码，生成辅助视频比特流；第二编码402，用于对与所述辅助视频对应的主视频进行视频编码，生成主视频比特流。
图5为视频比特流生成单元301的细化功能框图之二。如图5所示，视频比特流生成单元301或者包括：第三编码单元501，用于将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码，生成一路视频比特流。
第一编码单元401，具体用于采用h.264进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用网络提取层Nal单元承载所述辅助视频补充信息。
第三编码单元501，具体用于采用h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，使用Nal单元承载所述辅助视频补充信息。
第一编码单元401，具体用于采用h.264进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用辅助增强信息SEI Nal单元中的SEI消息承载所述辅助视频补充信息。
第三编码单元501，具体用于采用h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，使用SEI Nal单元中的SEI消息承载所述辅助视频补充信息。
第一编码单元401，具体用于采用mpeg2标准进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用用户数据结构承载所述辅助视频补充信息。
图6为终端20的功能框图。如图6所示，终端20包括：获取单元601，用于获取视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；解码单元602，用于解码所述获取单元601获取的视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；处理单元603，用于根据所述解码单元602解码获得的所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。
图7为解码单元602的细化功能框图之一。如图7所示，当获取的视频比特流包括主视频比特流和辅助视频比特流时，本实施例的解码单元602包括：第一解码单元701，用于解码所述辅助视频比特流，获得辅助视频和辅助视频补充信息；第二解码单元702，用于解码所述主视频比特流，获得主视频。
图8为解码单元602的细化功能框图之二。如图8所示，当所获取的视频比特流为一路视频比特流时，本实施例的解码单元602或者包括：第三解码单元801，用于解码所述一路视频比特流，获得所述主视频、辅助视频和辅助视频补充信息。
具体地，当服务器10采用h.264进行视频编码，且将主视频和辅助视频独立地进行视频编码时，终端20也采用h.264进行视频解码。此时，第一解码单元701，用于从所述辅助视频比特流中承载了辅助视频补充信息的Nal单元中解析获得辅助视频补充信息；处理单元603，用于将辅助视频补充信息和辅助视频比特流中的基本编码图像进行合成。
具体地，当服务器10采用h.264进行视频编码，且将主视频和辅助视频联合进行视频编码生成一路视频比特流时，终端20也采用h.264进行视频解码。此时，第三解码单元801，用于从所述一路视频比特流中承载了辅助视频补充信息的Nal单元中解析获得辅助视频补充信息；处理单元603，用于将辅助视频补充信息和视频比特流中的辅助编码图像进行合成。
具体地，当服务器10采用h.264进行视频编码，且将主视频和辅助视频独立地进行视频编码时，终端20也采用h.264进行视频解码。此时，第一解码单元701，还用于从辅助视频比特流中承载了辅助视频补充信息的SEI Nal单元的SEI消息中解析获得辅助视频补充信息；处理单元603，还用于将辅助视频补充信息和辅助视频比特流中的基本编码图像进行合成。
具体地，当服务器10采用h.264进行视频编码，且将主视频和辅助视频联合进行视频编码生成一路视频比特流时时，终端20也采用h.264进行视频解码。此时，第三解码单元801，用于解码所述一路视频比特流以获得所述主视频、辅助视频和辅助视频补充信息，其中，具体可以从所述一路视频比特流中承载了辅助视频补充信息的SEI Nal单元的SEI消息中解析获得辅助视频补充信息；处理单元603，用于将辅助视频补充信息和视频比特流中的辅助编码图像进行合成。
具体地，当服务器10当采用mpeg2标准进行视频编码时，终端20也采用mpeg2标准进行视频解码。此时，第一解码单元701，用于从辅助视频比特流中承载了辅助视频补充信息的用户数据结构中解析获得辅助视频补充信息；处理单元603，用于将辅助视频补充信息和辅助视频比特流中的视频帧进行合成。
下面以三维电视系统为例，对本实施例系统的工作原理进行说明，但是下述说明性的文字仅用于对本发明实施例的技术方案进行解释，而非对权利要求的保护范围进行限定。除了三维电视系统之外的其他视频播放系统，只要能够实现本发明实施例的功能，都在权利要求的保护范围之内。
采用三维电视系统来实现本发明实施例的视频播放过程如下：
(1)服务器端制作出三维数据内容。
基于二维加辅助视频格式的三维内容的数据表示包含二维视频、其辅助视频和辅助视频补充信息，例如深度图(depth map)可看作二维视频的一种辅助视频(auxiliary video)。深度图中一个像素表示一个深度值，一个深度值对应描述二维视频一个像素的深度，使用一个N位比特的值表示，通常N取为8，深度图可看作一路单色视频进行处理。在三维系统中，由于视差和深度成反比，视差图(parallax map)也是二维视频的一种辅助视频。
使用现有视频编码标准对三维视频内容进行编码并传输。
辅助视频种类众多，种类不同，作用也不同，例如辅助视频可以描述主视频的透明度信息用于二维显示，因此辅助视频不限于这里提到的深度图，视差图，透明度图；辅助视频补充信息定义随辅助视频类型的不同而不同。
(2)终端从接收到的媒体流或者从媒体介质中获取基于二维加辅助视频格式表示的三维内容。
终端合成基于二维加辅助视频的三维内容，需要根据二维视频和辅助视频计算得到具有视差的左右眼视频帧。首先，根据辅助视频和辅助视频补充信息计算出实际显示视差(例如辅助视频是深度图，根据深度值计算出每个像素的实际显示视差)，视差直接反应出用户对深度的感知。对于正视差用户感知到的深度在屏幕后方，对于负视差用户感知到的深度在屏幕前方，零视差位于屏幕上。其次，根据二维视频和各像素的实际显示视差计算得到具有视差的左右眼视频帧。
终端显示时，屏幕上交替或者分离显示左视图和右视图，通过特制的三维眼镜或者特制的显示系统，让左眼只看左视图、右眼只看右视图，从而让用户对视频内容产生深度知觉。
本实施例的系统将辅助视频补充信息直接携带于视频比特流，为包含了辅助视频、所述辅助视频对应的主视频、以及辅助视频补充信息的媒体内容；对于同一媒体内容，可通过通用接口直接分发到不同的多媒体系统上，而不需要针对辅助视频补充信息在运营网络或媒体介质上增加新的承载结构，降低了内容分发的成本和难度。该方案具有良好的网络亲和性，可适应于各种传输网络上的传输和媒体介质的存储。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

Claims (34)

1.一种辅助视频补充信息承载方法，其特征在于，所述方法包括：
在视频比特流中承载辅助视频补充信息；
将所述视频比特流分发到传输网络生成媒体流或者分发到媒体介质中。
2.根据权利要求1所述的方法，其特征在于，所述在视频比特流中承载辅助视频补充信息包括：
对所述辅助视频和所述辅助视频补充信息进行视频编码，生成辅助视频比特流；对与所述辅助视频对应的主视频进行视频编码，生成主视频比特流。
3.根据权利要求1所述的方法，其特征在于，所述在视频比特流中承载辅助视频补充信息包括：
将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码，生成一路视频比特流。
4.根据权利要求2所述的方法，其特征在于，采用h.264进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用网络提取层Nal单元承载所述辅助视频补充信息。
5.根据权利要求3所述的方法，其特征在于，采用h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，使用Nal单元承载所述辅助视频补充信息。
6.根据权利要求2所述的方法，其特征在于，采用h.264进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用辅助增强信息SEINal单元中的SEI消息承载所述辅助视频补充信息。
7.根据权利要求3所述的方法，其特征在于，采用h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，使用SEINal单元中的SEI消息承载所述辅助视频补充信息。
8.根据权利要求2所述的方法，其特征在于，采用mpeg2标准进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用用户数据结构承载所述辅助视频补充信息。
9.根据权利要求1-8中任意一项权利要求所述的方法，其特征在于，所述辅助视频补充信息包括下述信息中的一种或多种组合：
辅助视频类型；
辅助视频和与所述辅助视频对应的主视频的空间对应关系；
不同类型的辅助视频对应的计算参数。
10.一种辅助视频补充信息处理方法，其特征在于，所述方法包括：
获取视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；
解码所述视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；
根据所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。
11.根据权利要求10所述的方法，其特征在于，获取的视频比特流包括主视频比特流和辅助视频比特流；
解码所述视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息包括：
解码所述辅助视频比特流，获得辅助视频和辅助视频补充信息；
解码所述主视频比特流，获得主视频。
12.根据权利要求10所述的方法，其特征在于，获取的视频比特流为一路视频比特流；
解码所述视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息包括：
解码所述一路视频比特流，获得所述主视频、辅助视频和辅助视频补充信息。
13.根据权利要求11所述的方法，其特征在于，采用h.264进行所述视频解码；
解码所述辅助视频比特流，获得辅助视频和辅助视频补充信息包括：
从所述辅助视频比特流中承载了辅助视频补充信息的网络提取层Nal单元中解析获得辅助视频补充信息。
14.根据权利要求12所述的方法，其特征在于，采用h.264进行所述视频解码；
解码所述一路视频比特流，获得所述主视频、辅助视频和辅助视频补充信息包括：
从所述一路视频比特流中承载了辅助视频补充信息的Nal单元中解析获得辅助视频补充信息。
15.根据权利要求11所述的方法，其特征在于，采用h.264进行所述视频解码；
解码所述辅助视频比特流，获得辅助视频和辅助视频补充信息包括：
从所述辅助视频比特流中承载了辅助视频补充信息的辅助增强信息SEI Nal单元的SEI消息中解析获得辅助视频补充信息。
16.根据权利要求12所述的方法，其特征在于，采用h.264进行所述视频编码；
解码所述一路视频比特流，获得所述主视频、辅助视频和辅助视频补充信息包括：
从所述一路视频比特流中承载了辅助视频补充信息的SEINal单元的SEI消息中解析获得辅助视频补充信息。
17.根据权利要求11所述的方法，其特征在于，采用mpeg2标准进行所述视频解码；
解码所述辅助视频比特流，获得辅助视频和辅助视频补充信息包括：
从所述辅助视频比特流中承载了辅助视频补充信息的用户数据结构中解析获得辅助视频补充信息。
18.一种媒体内容服务器，其特征在于，所述服务器包括：
视频比特流生成单元，用于生成媒体内容的视频比特流，所述媒体内容的视频比特流中承载了辅助视频补充信息；
视频比特流分发单元，用于将所述视频比特流生成单元生成的视频比特流分发到传输网络生成媒体流或者分发到媒体介质中。
19.根据权利要求18所述的服务器，其特征在于，所述视频比特流生成单元包括：
第一编码单元，用于对辅助视频和所述辅助视频补充信息进行视频编码，生成辅助视频比特流；
第二编码单元，用于对与所述辅助视频对应的主视频进行视频编码，生成主视频比特流。
20.根据权利要求18所述的服务器，其特征在于，所述视频比特流生成单元包括：
第三编码单元，用于将辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码，生成一路视频比特流。
21.根据权利要求19所述的服务器，其特征在于，
所述第一编码单元，具体用于采用h.264进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用网络提取层Nal单元承载所述辅助视频补充信息。
22.根据权利要求20所述的服务器，其特征在于，
所述第三编码单元，具体用于采用h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，使用Nal单元承载所述辅助视频补充信息。
23.根据权利要求19所述的服务器，其特征在于，
所述第一编码单元，具体用于采用h.264进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用辅助增强信息SEI Nal单元中的SEI消息承载所述辅助视频补充信息。
24.根据权利要求20所述的服务器，其特征在于，
所述第三编码单元，具体用于采用h.264进行所述视频编码，在将所述辅助视频、和所述辅助视频补充信息、和与所述辅助视频对应的主视频联合进行视频编码时，使用SEI Nal单元中的SEI消息承载所述辅助视频补充信息。
25.根据权利要求19所述的服务器，其特征在于，
所述第一编码单元，具体用于采用mpeg2标准进行所述视频编码，在对所述辅助视频和所述辅助视频补充信息进行视频编码时，使用用户数据结构承载所述辅助视频补充信息。
26.一种媒体内容显示终端，其特征在于，所述终端包括：
获取单元，用于获取视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；
解码单元，用于解码所述获取单元获取的视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；
处理单元，用于根据所述解码单元解码获得的所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。
27.根据权利要求26所述的终端，其特征在于，当获取的视频比特流包括主视频比特流和辅助视频比特流时，所述解码单元包括：
第一解码单元，用于解码所述辅助视频比特流，获得辅助视频和辅助视频补充信息；
第二解码单元，用于解码所述主视频比特流，获得主视频。
28.根据权利要求26所述的终端，其特征在于，当所获取的视频比特流为一路视频比特流时，所述解码单元包括：
第三解码单元，用于解码所述一路视频比特流，获得所述主视频、辅助视频和辅助视频补充信息。
29.根据权利要求27所述的终端，其特征在于，当采用h.264进行视频解码时：
所述第一解码单元，具体用于从所述辅助视频比特流中承载了辅助视频补充信息的网络提取层Nal单元中解析获得辅助视频补充信息。
30.根据权利要求28所述的终端，其特征在于，当采用h.264进行视频解码时：
所述第三解码单元，具体用于从所述一路视频比特流中承载了辅助视频补充信息的Nal单元中解析获得辅助视频补充信息。
31.根据权利要求27所述的终端，其特征在于，当采用h.264进行视频解码时：
所述第一解码单元，具体用于从所述辅助视频比特流中承载了辅助视频补充信息的辅助增强信息SEINal单元的SEI消息中解析获得辅助视频补充信息。
32.根据权利要求28所述的终端，其特征在于，当采用h.264进行视频解码时；
所述第三解码单元，具体用于从所述一路视频比特流中承载了辅助视频补充信息的辅助增强信息SEINal单元的SEI消息中解析获得辅助视频补充信息。
33.根据权利要求27所述的终端，其特征在于，当采用mpeg2标准进行视频解码时，
所述第一解码单元，具体用于从所述辅助视频比特流中承载了辅助视频补充信息的用户数据结构中解析获得辅助视频补充信息。
34.一种视频播放系统，其特征在于，所述系统包括：
服务器，用于生成媒体内容的视频比特流，在所述视频比特流中承载辅助视频补充信息，将所述视频比特流分发到传输网络生成媒体流或者分发到媒体介质中；
终端，用于获取所述服务器生成的所述视频比特流，所述视频比特流包括辅助视频、与所述辅助视频对应的主视频、以及辅助视频补充信息；解码所述视频比特流，获得所述辅助视频、所述主视频、以及所述辅助视频补充信息；根据所述辅助视频、所述主视频、以及所述辅助视频补充信息进行合成计算并显示。
CN201110031704.1A 2011-01-28 2011-01-28 辅助视频补充信息承载方法、处理方法、装置与系统 Active CN102158733B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201510456639.5A CN105100822B (zh) 2011-01-28 2011-01-28 辅助视频补充信息承载方法、处理方法、装置与系统
CN201110031704.1A CN102158733B (zh) 2011-01-28 2011-01-28 辅助视频补充信息承载方法、处理方法、装置与系统
EP11857363.3A EP2661090A4 (en) 2011-01-28 2011-09-01 TRANSPORT METHOD, AND METHOD, DEVICE AND SYSTEM FOR PROCESSING ADDITIONAL SECONDARY VIDEO DATA
PCT/CN2011/079233 WO2012100537A1 (zh) 2011-01-28 2011-09-01 辅助视频补充信息承载方法、处理方法、装置与系统
US13/953,326 US20130314498A1 (en) 2011-01-28 2013-07-29 Method for bearing auxiliary video supplemental information, and method, apparatus, and system for processing auxiliary video supplemental information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110031704.1A CN102158733B (zh) 2011-01-28 2011-01-28 辅助视频补充信息承载方法、处理方法、装置与系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510456639.5A Division CN105100822B (zh) 2011-01-28 2011-01-28 辅助视频补充信息承载方法、处理方法、装置与系统

Publications (2)

Publication Number Publication Date
CN102158733A true CN102158733A (zh) 2011-08-17
CN102158733B CN102158733B (zh) 2015-08-19

Family

ID=44439870

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510456639.5A Active CN105100822B (zh) 2011-01-28 2011-01-28 辅助视频补充信息承载方法、处理方法、装置与系统
CN201110031704.1A Active CN102158733B (zh) 2011-01-28 2011-01-28 辅助视频补充信息承载方法、处理方法、装置与系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510456639.5A Active CN105100822B (zh) 2011-01-28 2011-01-28 辅助视频补充信息承载方法、处理方法、装置与系统

Country Status (4)

Country Link
US (1) US20130314498A1 (zh)
EP (1) EP2661090A4 (zh)
CN (2) CN105100822B (zh)
WO (1) WO2012100537A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012100537A1 (zh) * 2011-01-28 2012-08-02 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
CN103379354A (zh) * 2012-04-25 2013-10-30 浙江大学 立体视频对产生方法及装置
WO2013159702A1 (zh) * 2012-04-25 2013-10-31 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
CN103650001A (zh) * 2012-04-12 2014-03-19 史克威尔·艾尼克斯控股公司 动画分发服务器、动画播放装置、控制方法、程序、及记录介质
CN105612752A (zh) * 2013-10-15 2016-05-25 高通股份有限公司 对用于多层视频编解码器的多模提取的支持
CN108616748A (zh) * 2017-01-06 2018-10-02 科通环宇（北京）科技有限公司 一种码流及其封装方法、解码方法及装置
CN111901522A (zh) * 2020-07-10 2020-11-06 杭州海康威视数字技术股份有限公司 图像处理方法、系统、装置及电子设备
CN113206853A (zh) * 2021-05-08 2021-08-03 杭州当虹科技股份有限公司 一种视频批改结果保存改进方法
WO2021233429A1 (en) * 2020-05-22 2021-11-25 Beijing Bytedance Network Technology Co., Ltd. Filler payload handling in sub-bitstream extraction process

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107959879A (zh) * 2017-12-06 2018-04-24 神思电子技术股份有限公司 一种视频辅助信息处理方法
CN108965711B (zh) * 2018-07-27 2020-12-11 广州酷狗计算机科技有限公司 视频处理方法及装置
EP4297418A1 (en) * 2022-06-24 2023-12-27 Beijing Xiaomi Mobile Software Co., Ltd. Signaling encapsulated data representing primary video sequence and associated auxiliary video sequence

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
WO2010043773A1 (en) * 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
WO2010141927A1 (en) * 2009-06-05 2010-12-09 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0710048A2 (pt) * 2006-03-30 2011-08-02 Lg Electronics Inc método e aparelho para decodificar / codificar um sinal de vìdeo
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
US8358700B2 (en) * 2008-06-03 2013-01-22 Omnivision Technologies, Inc. Video coding apparatus and method for supporting arbitrary-sized regions-of-interest
WO2010134003A1 (en) * 2009-05-18 2010-11-25 Koninklijke Philips Electronics N.V. Entry points for 3d trickplay
US8411746B2 (en) * 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
US8780999B2 (en) * 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
CN101945295B (zh) * 2009-07-06 2014-12-24 三星电子株式会社 生成深度图的方法和设备
CN105100822B (zh) * 2011-01-28 2018-05-11 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
WO2010043773A1 (en) * 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
WO2010141927A1 (en) * 2009-06-05 2010-12-09 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANTHONY VETRO: "Joint Draft 7.0 on Multiview Video Coding", 《JOINT VIDEO TEAM(JVT) OF ISO/IEC MPEG&ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6)》, 29 April 2008 (2008-04-29) *
WILLIAM ZOU 等: "家用3-D电视端到端标准开发的综述", 《现代显示》, no. 11, 30 November 2009 (2009-11-30) *
李小兰: "立体电视编码传输技术及业务实现", 《电视技术》, vol. 34, no. 11, 30 November 2010 (2010-11-30) *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012100537A1 (zh) * 2011-01-28 2012-08-02 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
CN103650001A (zh) * 2012-04-12 2014-03-19 史克威尔·艾尼克斯控股公司 动画分发服务器、动画播放装置、控制方法、程序、及记录介质
US10033982B2 (en) 2012-04-25 2018-07-24 Zte Corporation Method and device for decoding and encoding supplemental auxiliary information of three-dimensional video sequence
CN103379354A (zh) * 2012-04-25 2013-10-30 浙江大学 立体视频对产生方法及装置
WO2013159702A1 (zh) * 2012-04-25 2013-10-31 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
CN103379354B (zh) * 2012-04-25 2015-03-11 浙江大学 立体视频对产生方法及装置
CN105612752B (zh) * 2013-10-15 2018-11-02 高通股份有限公司 对用于多层视频编解码器的多模提取的支持
CN105612752A (zh) * 2013-10-15 2016-05-25 高通股份有限公司 对用于多层视频编解码器的多模提取的支持
US10284858B2 (en) 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
CN108616748A (zh) * 2017-01-06 2018-10-02 科通环宇（北京）科技有限公司 一种码流及其封装方法、解码方法及装置
WO2021233429A1 (en) * 2020-05-22 2021-11-25 Beijing Bytedance Network Technology Co., Ltd. Filler payload handling in sub-bitstream extraction process
US11778204B2 (en) 2020-05-22 2023-10-03 Beijing Bytedance Network Technology Co., Ltd. Handling of coded video in sub-bitstream extraction process
US11968375B2 (en) 2020-05-22 2024-04-23 Beijing Bytedance Network Technology Co., Ltd. Scaling window in subpicture sub-bitstream extraction process
US12063371B2 (en) 2020-05-22 2024-08-13 Beijing Bytedance Technology Co., Ltd. Subpicture sub-bitstream extraction improvements
US12328436B2 (en) 2020-05-22 2025-06-10 Beijing Bytedance Network Technology Co., Ltd. Subpicture sub-bitstream extraction improvements
CN111901522A (zh) * 2020-07-10 2020-11-06 杭州海康威视数字技术股份有限公司 图像处理方法、系统、装置及电子设备
CN113206853A (zh) * 2021-05-08 2021-08-03 杭州当虹科技股份有限公司 一种视频批改结果保存改进方法

Also Published As

Publication number Publication date
EP2661090A4 (en) 2014-07-09
CN105100822B (zh) 2018-05-11
CN105100822A (zh) 2015-11-25
CN102158733B (zh) 2015-08-19
WO2012100537A1 (zh) 2012-08-02
EP2661090A1 (en) 2013-11-06
US20130314498A1 (en) 2013-11-28

Similar Documents

Publication Publication Date Title
CN102158733B (zh) 辅助视频补充信息承载方法、处理方法、装置与系统
US11284055B2 (en) Method and an apparatus and a computer program product for video encoding and decoding
US8760495B2 (en) Method and apparatus for processing video signal
US8913657B2 (en) Virtual view image synthesis method and apparatus
Chen et al. Overview of the MVC+ D 3D video coding standard
CN101578872B (zh) 用于以高级别语法表达的多视点信息的方法和装置
US11140373B2 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
US11677922B2 (en) Apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video
US20110274166A1 (en) Method And Apparatus For Processing Video Signals Using Boundary Intra Coding
KR101653319B1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
CN102986229B (zh) 解码2d‑兼容立体视频流的方法
CN101388988A (zh) 用于记录三维视频数据的方法及其介质
CN102870419B (zh) 三维图像数据编码方法和装置以及解码方法和装置
US9584794B2 (en) Depth helper data
CN104838648A (zh) 用于创建和重建视频流的装置和方法
WO2013022401A2 (en) Method and apparatus for creating a disocclusion map used for coding a three-dimensional video
KR101861929B1 (ko) 관심 영역을 고려한 가상 현실 서비스 제공
US9980013B2 (en) Method and apparatus for transmitting and receiving broadcast signal for 3D broadcasting service
JP6456980B2 (ja) ３ｄ放送サービスのための放送信号の送受信方法及び装置
You et al. ATSC 3.0 ROUTE/DASH signaling for immersive media: New perspectives and examples
US11558597B2 (en) Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video
CN120583252A (zh) 视频流的处理方法、装置、设备及存储介质
KR20130063603A (ko) 부가 영상 부복호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant