CN102549507B - 选择视点用于在3d视频中生成附加视图 - Google Patents

Abstract

提供了一种编码视频数据信号（15）的方法，该方法包括：提供如同从第一视点看见的场景（100）的至少第一图像（21），提供用于允许生成如同从再现视点看见的场景（100）的至少一个被再现图像的再现信息（22），提供定义再现视点相对于第一视点的优选取向的优选方向指示器（23），以及生成（24）视频数据信号（15），该视频数据信号（15）包括表示第一图像、再现信息和优选方向指示器的编码数据。

Description

选择视点用于在3D视频中生成附加视图

技术领域

本发明涉及一种编码视频数据信号的方法，该方法包括：提供如同从第一视点看见的场景的至少第一图像，提供用于允许生成如同从再现视点看见的场景的至少一个被再现图像的再现信息，以及生成包括表示该第一图像和该再现信息的编码数据的视频数据信号。

本发明进一步涉及解码视频数据信号的方法、编码器、解码器、用于编码或解码的计算机程序产品、视频数据信号以及数字数据载体。

背景技术

在新兴的三维(3D)视频领域中，存在用于将第三维编码进视频数据信号中的各种方法。通常，这通过将正被观看的场景的不同视图提供给观看者的眼睛来完成。用于表示3D视频的流行方法是使用一个或多个二维（2D）图像加上提供第三维信息的深度表示。该方法也允许利用包括在3D视频信号中的与2D图像不同的视点和视角来生成2D图像。这种方法提供了许多优点，包括允许以相对低的复杂性生成另外的视图并提供高效的数据表示从而减少例如用于3D视频信号的存储和通信资源的需求。优选地，使用从可用的视点不可见但从稍有不同的视点变得可见的数据来扩展该视频数据。该数据被称为遮挡或背景数据。实际上，根据通过使用多个相机在不同视点捕获场景所获得的多视图数据来生成该遮挡数据。

上述方法的问题在于，用于在新生成的视图中重建去遮挡对象的数据的可用性可能在帧与帧之间甚至在帧内都是不同的。结果，对于不同视点生成的图像的质量可能变化。

发明目的

本发明的目的是提供一种如起始段落中所述的编码视频数据信号的方法，该方法允许生成具有不同视点的较高质量的图像。

发明内容

根据本发明的第一方面，通过提供编码视频数据信号的方法来实现该目的，该方法包括：提供如同从第一视点看见的场景的至少第一图像，提供用于允许生成如同从再现视点看见的该场景的至少一个被再现图像的再现信息，提供优选的方向指示器，定义再现视点相对于第一视点的优选取向，以及生成视频数据信号，该视频数据信号包括表示第一图像、再现信息以及优选的方向指示器的编码数据。

如同以上解释的，从不同视点生成的图像的质量与重建去遮挡的对象所需的数据的可用性有关。考虑以下情形：其中数据可用于将视点左移而不用于将视点右移。因此，与将视点右移相比，将视点左移可能导致生成的图像具有不同质量。

对于在去遮挡的区域中进行填充，当不充足的去遮挡信息或没有遮挡信息是可用的时，可能发生类似的质量差异。在这种情况下，可以使用所谓的孔洞填充算法填充去遮挡的区域。通常这样的算法从去遮挡区域的紧邻附近内插信息。因此，与将视点右移相比，将视点左移可能导致生成的图像具有不同质量。

这种质量差异不仅受所需数据的可用性的影响，而且受在移动视点时正被去遮挡的表面区域的尺寸和性质的影响。结果，3D视频或图像的质量可能根据新选择的视点而变化。可能例如要紧的是， 新视图是在已经可用的第一图像的左侧还是右侧生成。

根据本发明，一种解决方案是生成优选方向指示器并将它包括在视频信号中。该优选方向指示器针对相对于已经包括在视频信号中的图像的原始视点的附加视图定义再现视点的优选取向。当该视频信号被解码时，该优选方向指示器可以用于选择再现视点并从所选择的视点生成该场景被再现图像。

视频数据信号可能包括针对每个帧、每一组帧、每个场景、乃至对于整个视频序列的优选方向指示器。在每个帧的基础上而不是在粗糙的粒度上编码这种信息允许随机存取；例如用于支持特技播放。由于往往该优选的再现指示器对于各种帧是不变的并且该编码的视频信号的尺寸是典型地相关的，可以通过替代地在帧组的基础上编码信息来减少副本指示器的量。由于优选地再现的优选方向贯穿场景保持相同，因此一种甚至更高效的编码是在每个场景的基础上编码该优选方向，从而在场景内保证了连续性。

可选地，当被编码信号的尺寸较不关键时，可以在帧、帧组和场景水平等上对信息进行编码，只要所有指示器被相互一致地设置。

由于再现视点的选择中的变化可能影响再现处内容的感知的连续性，因此该优选方向指示器对于若干帧被优选地保持不变。它可以例如贯穿一组帧或可替换地贯穿场景而被保持不变。注意到，即使当优选方向指示器对于若干帧被保持不变时，仍然可能有利的是，在比为便于随机访问严格必需的更小的粒度上编码该不变的优选方向指示器。

优选取向可以是左、右、上、下或这些方向的任意组合。除取向之外，可以与优选方向指示一起提供优选的距离或优选的最大距离。如果可获得足够的关于第一图像中被遮挡对象和/或对象的深度值的信息，就可能从视点生成多个高质量附加视图，该视点可以进一步远离原始视点。

例如，再现信息可以包括表示被第一图像中的前景对象遮挡的背景对象的遮挡数据、提供第一图像中对象的深度值或这些对象的透明度数据的深度图。

优选方向指示器指示对于哪种可能的再现视点可以获得最好的再现信息。对于关于分层深度图像的再现的更多信息，参见例如通过引用合并于此的国际申请WO2007/063477。对于关于再现分层深度图像时用于填充去遮挡区域的孔洞填充算法的更多信息，参见例如通过引用合并于此的WO2007/099465。

根据本发明的其他方面，提供了一种解码视频数据信号的方法，该视频数据信号包括：表示如同从第一视点看到的场景的第一图像的编码数据；用于允许生成如同从再现视点看到的场景的至少一个被再现图像的再现信息；以及优选方向指示器，其定义再现视点相对于第一视点的优选取向。解码的方法包括接收视频数据信号，依据优选方向指示器选择再现视点，以及生成如同从被选择的再现视点看见的场景的被再现图像。

本发明的这些和其他方面根据以下描述的实施例是清楚明白的，并且将参照这些实施例进行阐述。

附图说明

在附图中：

图1示出了根据本发明用于编码视频数据的系统的框图，

图2示出了根据本发明的编码方法的流程图，

图3示出了根据本发明用于解码视频数据的系统的框图，以及

图4示出了根据本发明的解码方法的流程图。

具体实施例

图１示出了根据本发明用于编码视频数据的系统的框图。该系统包括两个数字摄像机11、12以及编码器10。第一摄像机11和第二摄像机12记录同一场景100，但是从稍有不同的位置并也因此从稍有不同的角度进行记录。来自两个摄像机11、12的记录的数字视频信号被发送至编码器10。该编码器可以例如是专用编码盒、计算机中的显卡或被通用微处理器执行的软件实现的函数的一部分。可替换地，摄像机11、12是模拟摄像机且模拟视频信号在其被提供为编码器10的输入之前被转换成数字视频信号。如果摄像机被耦合至编码器10，可以在场景100的记录期间进行编码。也可能首先记录场景100并且随后将记录的视频数据提供给编码器10。

编码器10从摄像机11、12直接或间接地接收数字视频数据，并将两个数字视频信号合成为一个3D视频信号15。应当注意，两个摄像机11、12可以组合为一个3D摄像机。也可能使用多于两个的摄像机以从多于两个的视点捕获场景100。

图2示出了根据本发明的编码方法的流程图。可以由图1中系统的编码器10执行该编码方法。该编码方法使用来自摄像机11、12的记录的数字视频数据并提供根据本发明的视频数据信号15。在基本图像提供步骤21中，提供场景的至少第一图像以包含在视频数据信号15中。该基本图像可以是来自两个摄像机11、12之一的标准2D视频数据。编码器10也可以使用两个基本图像；一个来自第一摄像机11且一个来自第二摄像机12。根据基本图像，可以导出所记录视频的每个帧中的所有像素的色值。基本图像表示如同从特定视点看见的某个时刻的场景。在下面，该特定的视点将被称为基本视点。

在3D启用步骤22中，从摄像机11、12到来的视频数据被用于将信息添加到基本图像。所添加的信息必须使得解码器能够从不同视点生成同一场景的被再现图像。在下面，这个被添加的信息被称为再现信息。再现信息可以例如包括基本图像中的深度信息或对象的透明度值。再现信息也可以描述被基本图像中可见的对象阻挡而无法从基本视点观看的对象。编码器使用已知的（优选地标准化的）的方法从所记录的规则的视频数据导出该再现信息。

在方向指示步骤23中，编码器10进一步将优选方向指示器添加到再现信息。该优选方向指示器定义了用于附加视图的再现视点相对于基本视点的优选取向。当稍后该视频信号被解码时，该优选方向指示器能够用于选择再现视点并从被选择视点生成场景100的被再现图像。如上所述，3D视频或图像的质量可能会根据新选择的视点而变化。例如可能要紧的是，新视图是生成在已经可获得的第一图像的视点的左侧还是右侧。被添加给再现信息的优选方向指示器可以例如是指示左或右方向的单个的位。一种更高级的优选方向指示器也可以指示向上或向下的方向和/或新视点相对于基本视点的优选的或最大的距离。

可替换地，优选方向指示器可以提供多个再现视点相对于第一视点的优选取向和/或距离。例如，可能优选的是，在第一视点的同一侧生成两个再现视点或在每一侧生成一个再现视点。（多个）再现视点相对于第一视点的优选的（多个）位置可以取决于这些两点之间的距离。例如，当两个视点彼此接近时，从在第一视点的左侧的视点再现图像可能是更好的；然而对于两个视点之间的较大距离来说，向第一视点的左侧可能更适于生成再现视点。

可以自动地确定关于哪一特定方向更为有利的决定；例如当编码立体像对作为分层的深度图像时，使用图像、深度和遮挡表示，有可能使用左边或右边的图像作为分层深度图像的图像，以及基于其重建其他图像。随后可以针对可替换和优选的编码计算差异度量，并可以同时基于其确定方向。

优选地，基于人的视觉感知系统的模型加权该差异。可替换地，尤其在专业设置之内，可以基于用户交互选择优选方向。

在信号生成步骤24中，在先前步骤21、22、23中提供的信息被用于生成根据本发明的视频数据信号15。该视频数据信号15至少表示第一图像、再现信息和优选方向指示器。可以为每个帧、为一组帧或为整个的场景乃至整个的视频提供优选方向指示器。在场景期间改变再现视点的位置可能对感知的3D图像质量具有负面影响，但另一方面在再现信息对于不同方向的可用性有相当的改变的情况下可能是必需的。

图3示出了根据本发明用于解码视频数据的系统的框图。该系统包括用于接收视频数据信号15并将该视频数据信号15转换为适于由显示器31来显示的显示信号的解码器30。该视频数据信号15可以例如借助于电缆或卫星传输，作为广播信号的一部分到达解码器30。该视频数据信号15也可以例如借助于因特网或借助于视频点播服务依据请求被提供。可替换地，视频数据信号15被提供在诸如DVD或蓝光光盘的数字数据载体上。

显示器31能够提供被捕获并由图１系统的编码器10编码的场景100的3D呈现。显示器31可以包括解码器30或可以耦合至解码器30。例如，解码器30可以是3D视频接收机的一部分，该3D视频接收机要被耦合至一个或多个普通电视或计算机显示器。优选地，显示器是专用3D显示器31，其能够向观察者的不同眼睛提供不同的视图。

图4示出了可以由图3的解码器30执行的解码方法的流程图。在视频数据接收步骤41中，由编码器10编码的视频数据信号15在解码器30的输入端处被接收。接收的视频数据信号15包括表示场景100的至少第一图像、再现信息和优选方向指示器的编码数据。

在附加视点选择步骤42中，优选方向指示器用于为各自的附加视图选择至少一个附加视点。在附加视图再现步骤43中，从所选择的视点或多个视点生成一个或多个附加视图。在显示步骤44中，两个或更多个来自不同视点的视图可以然后被提供至显示器31用于以3D方式显示场景100。

将要理解的是，本发明还延伸到适于实施本发明的计算机程序，特别是在载体上或者中的计算机程序。程序可以以源代码、目标代码、源和目标代码中间的代码（例如，部分编译的形式）的形式，或者以适于在根据本发明的方法的实现方式中使用的任何其它形式。还要理解的是，这种程序可以具有许多不同的结构设计。例如，实现根据本发明的方法或者系统的功能的程序代码可以被细分为一个或者多个子程序。在这些子程序之间分配功能的许多不同的方式对于本领域技术人员而言是显而易见的。子程序可以一起存储在一个可执行文件中，以形成独立的程序。这个可执行文件可以包括计算机可执行指令，例如，处理器指令和/或解释器指令（例如，Java解释器指令）。可替代地，一个或者多个或者全部的子程序可以存储在至少一个外部库文件中，并且例如在运行时静态地或者动态地与主程序相关联。主程序含有对至少一个子程序的至少一个调用。同样，子程序可以包括彼此的功能调用。与计算机程序产品相关的实施例包括计算机可执行指令，其对应于所提到的方法中至少一个的处理步骤中的每一步骤。这些指令可以细分为子程序，和/或存储在可以静态或者动态地关联的一个或者多个文件中。与计算机程序产品相关的另一个实施例包括计算机可执行指令，其对应于所提到的系统和/或产品中至少一个的装置中的每一个。这些指令可以细分为子程序，和/或存储在可以静态或者动态地关联的一个或者多个文件中。

计算机程序的载体可以是能够承载程序的任何实体或者设备。例如，载体可以包括存储介质，例如，ROM（例如，CD ROM或者半导体ROM）或者磁性记录介质（例如，软盘或者硬盘）。此外，载体可以是可传送的载体，例如，电或者光信号，其可以经由电缆或光缆或者通过无线电或其它方式来传送。当程序体现在这种信号中时，载体可以由这种线缆或者其它设备或装置来构成。可替代地，载体可以是在其中嵌入程序的集成电路，该集成电路适于执行相关方法或者在执行相关方法时使用。

应当注意，上述实施例说明而不是限制本发明，并且本领域技术人员将能够设计许多可替代地实施例，而不脱离所附权利要求的范围。在权利要求中，括号中的任何附图标记不应解释为限制权利要求。使用动词“包括”和其变形不排除存在不同于权利要求中所陈述那些的元件或者步骤。元件之前的冠词“一”不排除存在多个这样的元件。本发明通过可以借助于包括若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置中的几个可以由同一项的硬件来体现。在不同的从属权利要求中叙述某些措施的纯粹事实不表示这些措施的结合不能使用以受益。

Claims (11)

1.一种编码3D视频数据信号（15）的方法，该方法包括：

提供如同从第一视点看见的场景（100）的至少第一图像（21），

提供再现信息（22）用于允许解码器基于第一图像生成如同从不同于该第一视点的再现视点看见的场景（100）的至少一个被再现图像，

提供优选方向指示器（23），其定义再现视点相对于第一视点的优选取向，以及

生成（24）3D视频数据信号（15），该视频数据信号（15）包括表示该第一图像、该再现信息以及该优选方向指示器的编码数据。

2.如权利要求1所述的编码3D视频数据信号（15）的方法，其中该优选方向指示器包括单个的位，用于定义该再现视点相对于第一视点的该优选取向是向该第一视点的左边还是右边。

3.如权利要求1所述的编码3D视频数据信号（15）的方法，其中使用以下选项的至少一个将该优选方向指示器编码进3D视频数据信号（15）中：

- 对于每个帧，编码优选方向指示器；

- 对于每一组帧，编码优选方向指示器；以及

- 对于每一场景，编码优选方向指示器。

4.如权利要求3所述的编码3D视频数据信号（15）的方法，其中该优选方向指示器的值对于以下之一是不变的：

- 帧组，以及

- 场景。

5.如权利要求1、2、3或4中任一项所述的编码3D视频数据信号（15）的方法，其中该优选取向取决于第一视点和再现视点之间的距离。

6.如权利要求1、2、3或4中任一项所述的编码3D视频数据信号（15）的方法，其中该再现信息包括第一图像中像素的深度指示值。

7.如权利要求1、2、3或4中任一项所述的编码3D视频数据信号（15）的方法，其中该再现信息包括第一图像内像素的α值，该α值指示各自像素的透明度。

8.如权利要求1、2、3或4中任一项所述的编码3D视频数据信号（15）的方法，其中该再现信息包括表示从第一视点被遮挡的数据的遮挡数据。

9.一种解码3D视频数据信号（15）的方法，该3D视频数据信号（15）包括编码数据，所述编码数据表示如同从第一视点看见的场景（100）的第一图像、用于允许基于第一图像生成如同从不同于该第一视点的再现视点看见的场景（100）的至少一个被再现图像的再现信息、以及定义再现视点相对于第一视点的优选取向的优选方向指示器，该方法包括：

接收视频数据信号（41），

依据优选方向指示器，选择再现视点（42），以及

基于第一图像生成（43）如同从该选择的再现视点看见的场景（100）的被再现图像。

10.一种用于编码3D视频数据信号（15）的编码器（10），该编码器包括：

用于提供如同从第一视点看见的场景（100）的至少第一图像、用于允许解码器基于第一图像生成如同从不同于该第一视点的再现视点看见的场景（100）的被再现图像的再现信息以及定义再现视点相对于第一视点的优选取向的优选方向指示器的装置，

用于生成3D视频数据信号（15）的装置，该视频数据信号（15）包括表示第一图像、再现信息和优选方向指示器的编码数据，以及

用于提供3D视频数据信号（15）的输出端。

11.一种用于解码3D视频数据信号（15）的解码器（30），该解码器（30）包括：

用于接收3D视频数据信号（15）的输入端，该3D视频数据信号（15）包括编码数据，其表示如同从第一视点看见的场景（100）的第一图像、用于允许基于第一图像生成如同从不同于该第一视点的再现视点看见的场景（100）的被再现图像的再现信息以及定义再现视点相对于第一视点的优选取向的优选方向指示器，

用于依据优选方向指示器选择再现视点的装置，

用于基于第一图像生成如同从选择的再现视点看见的场景（100）的被再现图像的装置，以及

用于提供被再现图像的输出端。