[go: up one dir, main page]

CN107112038A - 使用递归分级处理生成外推图像的装置和方法 - Google Patents

使用递归分级处理生成外推图像的装置和方法 Download PDF

Info

Publication number
CN107112038A
CN107112038A CN201580070018.1A CN201580070018A CN107112038A CN 107112038 A CN107112038 A CN 107112038A CN 201580070018 A CN201580070018 A CN 201580070018A CN 107112038 A CN107112038 A CN 107112038A
Authority
CN
China
Prior art keywords
image
extrapolated
extrapolated image
block
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580070018.1A
Other languages
English (en)
Inventor
法布里斯·尤本
菲利普·古约泰尔
罗拉·特本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN107112038A publication Critical patent/CN107112038A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

使用递归分级处理生成外推图像的装置和方法。提供一种用于从现有电影或视频内容生成外推图像的方法和装置，其可以显示在现有电影或视频内容的边界之外，以增加观看者的沉浸感。本原理提供了在每个更高级别生成更高分辨率图像的分级处理，并且其中基于从当前级别图像导出的预测和加权来生成较高级别图像，并且基于重叠数据对当前级别进行精炼以用于预测。

Description

使用递归分级处理生成外推图像的装置和方法
技术领域
本发明涉及一种用于处理图像的装置和方法，特别是一种用于外推现有电影或视频以生成延伸到现有电影或视频边界之外的外推图像的装置和方法。
背景技术
本部分旨在向读者介绍本领域中可能与以下描述和/或要求保护的本发明的各方面相关的各个方面。相信本讨论有助于向读者提供背景信息，以便于更好地理解本发明的各个方面。因此，应当理解，这些陈述应鉴于此被解读，而不是作为对现有技术的承认。
参考文献
[1]METHOD OF AND SYSTEM FOR CONTROLLING AN AMBIENT LIGHT AND LIGHTINGUNIT，WO2004006570(A1)-2004-01-15
[2]DOMINANT COLOR EXTRACTION USING PERCEPTUAL RULES TO PRODUCEAMBIENT LIGHT DERIVED FROM VIDEO CONTENT，WO2006003600(A1)-2006-01-12
[3]P.Mills，A.Sheikh，G.Thomas，and P.Debenham.BBC research&development，white paper WHP 208-surround video.page 34.2011.
[4]D.E.Novy.Computational immersive display.2013.
[5]Jones，Brett R；Benko，Hrvoje；Ofek，Eyal；Wilson，Andrew D(2013).″IllumiRoom：Peripheral Projected Illusions for Interactive Experiences″.2013.
[6]A.Aides，T.Avraham，and Y.Schechner.Multiscale ultrawide foveatedvideo extrapolation.In 2011IEEE International Conference on ComputationalPhotography(ICCP)，pages 1-8.2011.
[7]J.Lainema，F.Bossen，W.Han，J.min，K.Ugur.Intra Coding of the HEVCStandard.In IEEE Transactions on Circuits and Systems for Video Technology，vol.22，no.12，pages 1792-1801.December 2012.
[8]Sam Roweis&Lawrence Saul.Nonlinear dimensionality reduction.
图像外推技术可用于生成外推图像以便在现有的电影或视频图像的边界之外进行显示，从而在观看电影或视频内容时改善观众的沉浸感。可以基于要延伸的图像的内容来执行图像外推。这种延伸旨在通过在屏幕周围投射内容使得延伸的图像以及电影或视频的主要图像围绕在观众四周，从而增加视场。
图1中示出了显示这种外推图像的示例性布置。来自电影或视频内容的主要图像显示在主屏幕110上，而外推图像被显示在主屏幕110的边界之外的显示区域120、130和/或140上，以提供沉浸感。
可以使用包括图2和图3所示的不同布置将图像投射到各种显示区域上。在图2中，在主屏幕210上显示单个投影250，并且投影250的一部分显示在屏幕220、230和/或240上。在图3中，布置310包括将电影或视频内容投影到中心显示屏幕上的中心投影，而320包括将外推图像投射到左显示屏幕上的左投影，并且330包括将外推图像投射到右显示屏幕上的右投影。尽管未示出，也可以为上方或下方的显示屏幕提供投影。
已提出了用于在电影或视频的边界周围投射特定显示或图像的各种系统。
在飞利浦公司开发的Ambilight系统[1]中，研究了图像中色彩的分布[2]，并使用安装在电视边缘的RGB LED将选定的主色投射在屏幕周围。智能灯泡可以添加到可根据屏幕上显示的图像更改颜色的设置中。光线投影在电视机周围有限的区域内进行，但不提供背景的细节，也不提供形状和运动印象。
Mills等人提出的系统[3]包括用2个摄像机获取内容的投影系统。但是，该系统并不关注内容创建，也不会将图像外推应用于现有内容。
由麻省理工学院媒体实验室开发的Infinity-by-nine[4]旨在为电视创造沉浸式显示。该系统使用三台投影机和3个屏幕(在房间的天花板和两侧)来增强电视屏幕上显示的节目。附加屏幕上的内容是根据电视内容实时计算出来的。内容是在场景变化时创建的，并根据估计的摄像机运动进行更新。由于该技术依赖于运动估计，因此对于快速变化的场景、具有闪光的场景或具有大动作的场景，它可能无法正常工作。
由微软提出的IllumiRoom[5]使用Kinect传感器和投影机，通过在电视显示器周围投射图像来增强电视内容。它主要是针对沉浸式游戏开发出来的，以制造这样一种幻觉：游戏中所发生的也发生在玩家的房间里。该系统将图像直接投射到电视显示器周围的家具和墙壁上，以便传播发生在屏幕上主图像之外的事件。但是，该系统没有通过图像外推来解决内容创建，即基于图像的内容进行外推。内容主要是计算机通过游戏渲染器生成。
超宽带移动视频外推[6]外推中心图像周围的视频内容。该算法的关键思想是在空间和时间维度(使用视频立方体，而不是图像块)中使用补丁匹配算法来外推视频以超出其边界。当选择正确的补丁时，它们也会处罚可能导致干扰的补丁(即在视频之外添加许多边缘的补丁)。也随机地在具有相同成本的几个补丁中选择所使用的补丁，以避免相同补丁的不自然的重复。为了限制计算，对于拟合补丁的搜索被限制在原始输入视频中的某个区域，靠近正被填充的像素，并且如果需要，延伸搜索区域。该算法需要几分钟来外推一帧，因此可能难以实时实现。该算法使用多尺度方法以粗分辨率开始外推，并在进一步的步骤中提高分辨率。这种技术确保平滑外推，但是计算量很大。另外，边缘区域的处罚也没有考虑到人类视觉系统以确定边缘是否有干扰。外推视频可能会错失一些相关的结构。
发明内容
本原理在于改进用于从原始电影和视频内容外推图像的装置和方法。
在一个方面，本原理提供了一种生成延伸到图像边界之外的外推图像的方法，包括：访问图像的一部分；基于所述图像的所述部分生成第一外推图像，包括使用帧内预测来确定预测的估计角度，并以该估计角度在第一外推图像中传播预测块；和基于根据第一外推图像的块确定的预测和加权来生成第二外推图像，其中第二外推图像比第一外推图像分辨率高。
在根据本原理的实施例中，可以基于期望的分辨率和可用的计算资源将基于来自当前级别的预测和加权来生成更高分辨率级别的步骤重复N次。
在另一方面，本原理提供了一种用于生成延伸到图像边界之外的外推图像的装置，包括：输入，被配置为访问图像；和处理器，被配置为访问图像的一部分，基于图像的一部分生成第一外推图像，包括使用帧内预测来确定预测的估计角度并以该估计角度在第一外推图像中传播预测块，并且基于根据第一外推图像的块确定的预测和加权来生成第二外推图像，其中第二外推图像比第一外推图像分辨率更高。
在根据本原理的实施例中，处理器被配置为基于期望的分辨率和可用的计算资源重复N次如下处理：基于来自当前级别的预测和加权来生成更高分辨率级别。
在另一方面，本原理提供一种存储在非暂时性计算机可读存储介质中的计算机程序产品，其包括用于以下内容的计算机可执行指令：访问图像的一部分；基于所述图像的部分生成第一外推图像，包括使用帧内预测来确定预测的估计角度，并以该估计角度在第一外推图像中传播预测块；和基于根据第一外推图像的块确定的预测和加权来生成第二外推图像，其中第二外推图像比第一外推图像分辨率高。
在根据本原理的实施例中，计算机可执行指令基于期望的分辨率和可用的计算资源重复N次如下处理：基于来自当前级别的预测和加权来生成更高分辨率级别。
附图说明
通过参考本发明实施例的以下描述并结合附图，本发明的上述特征和优点以及其他特征和优点以及其实现方式将会变得更加明显，且将更好地理解本发明。
图1示出了用于在电影和/或视频显示器的边界之外显示外推图像的示例性布置；
图2示出了用于将图像投射到各种显示屏幕上的示例性布置；
图3示出了用于将图像投射到各种显示屏幕上的示例性布置；
图4示出了包括原始图像和生成并显示在原始图像的左边界和右边界之外的外推图像的示例性图像；
图5示出了根据本原理生成外推图像的一个方面；
图6示出了根据本原理生成外推图像的一个方面；
图7示出了根据本原理生成外推图像的一个方面；
图8示出了根据本原理生成外推图像的一个方面；
图9示出了根据本原理的外推图像中的块匹配的一个方面；
图10示出了根据本原理生成外推图像的示例性处理；以及
图11示出了根据本原理生成和/或处理外推图像的示例性装置。
本文所述的描述示出了用于实现本原理的各个方面的示例性实施例。这些示例不应被解释为以任何方式限制权利要求的范围。
具体实施方式
本原理涉及用于生成延伸到现有电影或视频内容的边界或边缘之外的外推图像的改进的装置和方法。本原理有利地提供以下特征：
-利用模糊和用于块传播的HEVC角度预测进行的外推图像的预测(或预填充)。为了估计角度预测，使用来自HEVC的帧内模式预测。在这种情况下，预测用于传播结构，而不是其压缩方面的常规用途。HEVC帧内预测提供用于根据其周围内容预测内容的角度，以及提供对估计效率的估计(通过编码成本)。另一种可能的技术是使用不同的工具并将它们集成在一起(检测梯度的方向，估计主梯度和找到预测)。
-外推图像的分级计算(以较低分辨率进行计算，并适应较高分辨率以节省计算时间)。通常，以较低分辨率进行的计算被用作预测，并且在当前级别再次进行计算，这通常导致本地搜索减少。多分辨率允许缩小预测周围的搜索范围。在我们的例子中，搜索是以较低的分辨率进行的，该结果直接应用于更高的分辨率。当然，这是2个分辨率级别的情况。对于更多的分辨率级别，级别N的结果被用作预测，以缩小该级别的搜索，并将结果应用于级别N-1，进行递归直到级别0。
-基于“重叠补丁”的递归完成。重叠区域被用作块匹配(或补丁匹配)的已知数据。因此，为当前块找到匹配块的可用数据既是粗略估计也是重叠区域。如果不使用重叠，则每个块都是独立计算的。相邻块之间不存在一致性，块伪像效应将可见。此外，使用块的重叠区域之间的混合，块伪像效应更加减少。
-N层上的局部线性嵌入(LLE)允许使用多个参考来计算块预测。在已计算区域上估计的组合权重允许针对当前块的更接近匹配。这也避免了产生马赛克效应，因为组合多个预测允许创建新的内容。
图4示出了具有基于原始图像410生成的外推图像420和430的示例图像显示。可以看出，相应的外推图像是不同的并且以将原始图像延伸到原始图像410的左边界和右边界之外的方式生成。
本原理依赖于分级处理来生成外推图像，因此计算了输入图像的N个级别的高斯多分辨率金字塔(N-1级别的最低分辨率和0级别的最高分辨率)。利用在较低分辨率级别i+1处进行的计算来进行级别i的延伸。
此外，纹理传播是在空间上从块到块进行的，导致一些递归的纹理传播。
金字塔形分解以及过滤处理利用了人类的视觉特性，特别是周边的视觉特性，以提供更好、更沉浸式的体验。具体地，外推图像利用低分辨率敏锐度和移动对象和结构的高灵敏度。
在我们的说明中，将考虑生成外推图像来延伸右侧的图像。应当理解，具有适当的方向上的改变的类似处理可以用于生成将图像延伸到图像的左边缘之外的外推图像。此外，也可以使用相同的过程来将图像延伸到屏幕上方和下方。可以在扫描顺序上进行小的调整以使图像在整个中央屏幕周围延伸。
根据本原理，执行分级处理，其中在每个较高级别生成较高分辨率图像，并且其中基于从当前级别图像导出的预测和加权来生成较高级别图像，并且基于重叠数据对当前级别进行精炼以用于预测。
最低级别(级别i＝N-1)
延伸的粗略预测是在金字塔的最底层进行的。该处理如图5所示。
为了进行该第一预测，提取右边界上的输入图像510的图像部分530并且使用双线性插值来调整大小以适合延伸区域。然后，例如使用尺寸为25的归一化盒式过滤器将提取的被调整大小的图像水平地翻转(为了不在边界上失去边缘连续性)并且模糊来生成初始外推图像520。提取的图像部分530的大小可以根据需要而变化。提取的部分必须足够大以包含数据(至少几个像素)，并且足够小以至于不能识别图像。发现图像宽度的1/10是基于折衷的很好的宽度。
作为选择，输入图像510的右边缘上的最右边的像素可以通过移动该选择的区域而被丢弃，以避免延伸黑色边框或可能出现在图像边界中的不想要的像素。
在这种模糊预测之上，例如，使用HEVC角度预测[7]计算边界上每个块的方向的估计，其中使用34个HEVC方向。在评估块的角度后，如果预测块与原始块足够相似，则预测块从原始块的位置开始在估计角度的延伸上传播，如图6所示。这里，块630在方向650上传播，而块640在方向660上传播。这种预测旨在传播常规结构。该处理利用正确的方向传播结构，这可能不是上述镜像粗略估计的情况。
本质上，对于图像最右端的每个块执行角度预测，其中对原始图像进行估计和预测，然后在外推图像上传播。当图像边缘存在黑色边框时，可以丢弃一些最右边的像素，以避免错误的预测。这些块可以重叠。首先估计最佳的HEVC帧内预测。所选模式定义了块中结构的角度。然后，如果预测与该块足够相似，则该块按照估计角度在延伸上传播。有两种方法是可行的。
1.沿着从该块开始并具有预测角度的方向的线对该块进行复制和粘贴。这个解决方案可以传播块的细节、现有的纹理。
2.利用块的选择模式(角度)计算HEVC帧内预测。按照估计的结构方向角度粘贴这个预测。该解决方案仅传播块中的主结构。
级别i，i＜N-1
在小于N-1的级别i处的预测是在级别i+1的精炼步骤期间计算的延伸。
精炼级别i的延伸，i≠0
受用于超分辨率的类似技术的启发，当在级别i计算时，该算法在级别i上进行所有计算的同时，实际上还计算了级别i和i-1的延伸。如果i>1，则在级别i计算的级别i-1的延伸将用作预测，否则如果i＝1，则在级别i＝1处计算的级别i-1＝0的延伸将作为最终延伸。
递归重叠块
通过沿着水平轴的x个像素的步长和沿着垂直轴的y个像素的步长(这意味着外推的块部分地彼此重叠)，从与输入图像半重叠的延伸的左上角的块开始到所述延伸的右下角的块(类似锯齿状扫描顺序)选择将被修补的块，来精炼预测的延伸。重叠像素之间的最终融合将通过混合像素值以生成混合块来完成。从左到右和从上到下来选择块。图9中示出了本原理的这个方面，其中处理了重叠的示例性块920、930和940。所述处理针对沿着用于延伸部分910的箭头950的方向设置的块依次继续进行。
应当理解，可以根据需要调整x和y的值。x和y的较低值将导致对最终延伸的更小的块效应，而较高的x和y值将导致更快的处理。
块匹配
级别i的所选块将被称为Bi，并且与级别i-1(共同定位的块)处的相应块Bi-1相关联。
目标是重建外推图像的块Bi。在这个步骤中，找到了这个未知块的良好候选者。正在重建重叠块，这意味着块的一部分已经被重建(左上部)。该已知的部分被用作模板来查找参考搜索区域中的最近的块。这也被称为“模板匹配”技术。
块匹配算法找到了块Bi的K个最近的邻居(K-NN)。在该例子中，块匹配依赖于平方差的和。从现在开始，这些K-NN将称为补丁(1≤j≤K)。
其中SSD是平方差的和，Ω是输入中的搜索窗口。
级别i的模板上的局部线性嵌入(LLE)
称为LLE的技术用于计算精炼所述延伸的补丁。LLE保证延伸中的稳定性，因为它结合了各种补丁，防止在延伸中增加干扰或细节。细节不是必需的，因为人类周边视觉不能检测到它们，并且它会干扰眼睛的注意力(即强迫使用者转动他/她的头部以看到中心凹视野的细节)而不是改善沉浸感。
通过LLE优化来计算使以下等式最小化的权重wj：
其中创建的模板T考虑了先前精炼的像素，忽略了仅被预测但尚未被精炼的像素(通常为反L形)。
或者，不使用模板，并考虑整个当前块。
得到最终的补丁Pi：
作为改进，为了确保仅使用相干块(在块匹配标准方面所述块是良好的匹配块的意义上)，可以拒绝SSD值太高的块
根据补丁我们推导出级别i-1的相应位置(共同定位)的相应补丁利用在级别i计算的权重，得到最终补丁Pi-1：
或者(具有排除)：
请注意，权重仅在第i级计算。
或者，可以使用PatchMatch算法来代替K-NN搜索和LLE。PatchMatch是一种用于计算两个图像区域的补丁之间的密集近似最近邻居对应关系的快速算法。它是计算机视觉界众所周知的。
图7示出了如上所述生成的原始图像和粗分辨率图像。以分级方式确定外推图像的块的处理如图8所示。图像810和820与级别i相关联，而图像830和840与级别i-1相关联。在图像820中，块822与搜索区域812内的一个或多个块814相关联。对权重进行估计以确定块822。块814的位置用于确定级别i-1中的块832。然后，针对块822确定的权重与块832相关联，并且例如通过以下描述的混合技术来使用，以生成块844。以相似的方式顺序地处理其余块以生成待填充到外推图像840的部分842中的块。
混合
以类似于d混合的方式，最终的补丁Pi和Pi-1分别混合到级别i和i-1的延伸中，以防止可见的接缝或块效应。考虑混合掩模其中：
以及
混合等式变为：
其中∴是逐个元素乘法，Fi和Fi-1分别是级别i和i-1的延伸中的最终精炼块。
进行这种混合，从而从新的补丁和由获取未被精炼的像素px，y。在Bi中已经精炼的像素以Pi中的像素被加权，使得来自于补丁的非精炼区域像素的越远(即，越多像素在先前步骤中被精炼)，Bi中原始像素的权重越高。级别i-1也是如此。
分级计算
一旦完成了级别i，算法就移动到级别i-1，直到到达级别0。级别i-1的预测基于在级别i的精炼步骤中刚刚计算的外推图像。最终的外推图像是在级别1处针对级别0计算的图像。应当理解，为了生成最终外推图像而被处理的级别数量可以根据需要而变化。更高级别数量将需要增加处理量，但通常会提供更高分辨率的最终图像，而较低级别数量将需要较少的处理量，但通常会提供较低的分辨率。
最终图像的分辨率也取决于最低分辨率级别的分辨率和2个级别之间的尺寸比。两个级别之间的比例可以是任何值。我们可以使用2个级别，并获得非常低的分辨率和高清晰度。总之，分级处理的要点是从简易处理(低细节分辨率)开始，并使用可靠的预测逐步增加分辨率。随着级别数量的增加，鲁棒性将得到提高。开始和结束的分辨率和级别数量可以变化，以在计算成本和鲁棒性之间进行折衷。
图10中示出了根据本原理生成外推图像的示例性处理。处理1000在步骤1010开始，并且在1020首先访问图像的一部分。在步骤1030中生成粗略预测，随后是级别的分级处理。该处理包括在1040中选择要修补的块，在1050中基于来自级别i的预测和加权来确定图像中的块，在1060中执行像素值的混合以生成新块，并且在1070确定是否已处理外推图像的全部块。如果否，则该处理重复步骤1040-1060，直到已处理所有块。如果是，则该处理检查是否已处理最终级别。如果否，则该处理重复步骤1040-1070，直到已处理最终级别。如果是，则该处理停止，并且已经生成了最终外推图像。
图11示出了可以实现本原理的示例性实施例的各个方面的示例性系统的框图。系统1100可以实现为包括下面描述的各种组件的设备，并被配置为执行上述处理。这样的设备的示例包括但不限于个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1100可以以通信方式耦接到其他组件，例如信号接收装置、投影系统、显示系统等，以接收电影和视频数据，如上所述处理电影和视频数据，以及利用所接收的电影和视频数据投射或显示外推图像，以提供沉浸式的观看者体验。
系统1100可以包括至少一个处理器1140，其被配置为执行其中加载的指令，以实现如上所述的各种处理。处理器1140可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。系统1100还可以包括至少一个存储器1150(例如，易失性存储设备、非易失性存储设备)。系统1100还可以包括存储设备1160，存储设备1160可以包括非易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1160可以包括内部存储设备、附加存储设备和/或网络可访问的存储设备。要加载到处理器1140以执行上述各种处理的程序代码可以存储在存储设备1160中，并且随后被加载到存储器1150以供处理器1140执行。系统1100还可以包括被配置为接收和解密所加密的电影和/或视频数据的解密模块1120。处理器1140生成的图像数据可以经由输出端口输出到显示设备，或者替代地，系统1100可以与显示器集成，其中输出信号被直接应用于将图像显示在系统1100的显示器上。
系统1100可以包括解码器1130，其根据需要对接收的输入信号进行解码，输入信号可以具有根据任何已知压缩格式(例如MPEG2或H.264)的压缩形式。解码器1130可以实现为系统1100内的单独组件，或者可以被并入作为本领域已知的处理器1140的一部分。
解密模块1120代表可包括在设备中以便执行解密功能的模块。众所周知，设备可以包括加密和解密模块之一或两者，例如，加密可以在常规PC上完成，因为加密不涉及秘密密钥，使得PC不需要包括用于存储输入参数(即公共系统参数和用户身份)的安全存储器。然而，解密需要秘密密钥(即，解密密钥)，并且解密在安全设备(例如智能卡)中完成。另外，解密模块1120可以实现为系统1100的单独元件，或者可以作为本领域技术人员已知的硬件和软件的组合并入处理器1140内。
系统1100还可以包括能够经由有线或无线的通信信道与其他设备进行通信的通信接口1110。通信接口1110可以包括但不限于被配置为从通信信道发送和接收数据的收发机。通信接口可以包括但不限于调制解调器或网卡，并且通信信道可以在有线和/或无线介质内实现。系统1100的各种组件可以使用各种合适的连接进行连接或以通信方式耦接在一起，所述合适的连接包括但不限于内部总线、布线和印刷电路板。
本发明的示例性实施例可以由处理器1140实现的计算机软件、或硬件、或硬件和软件的组合来执行。作为非限制性示例，本发明的示例性实施例可以由一个或多个集成电路实现。存储器1150可以是适合于技术环境的任何类型，并且可以使用如下任何适当的数据存储技术来实现，作为非限制性示例，诸如光存储器件、磁存储器件、基于半导体的存储器件、固定存储器和可移动存储器。处理器1140可以是适合于技术环境的任何类型，并且可以包括以下作为非限制性示例中的一个或多个：微处理器、通用计算机、专用计算机和基于多核架构的处理器。
通过示例性实施例和非限制性示例，上述内容提供了本发明人所设想的方法和系统的描述。很清楚，鉴于本说明书，各种修改和适配对于本领域的技术人员来说是显然的。然而，这样的各种修改和适配落在上述各种实施例的教导的范围内。
可以例如用方法或处理、装置、软件程序、数据流或信号来实现本文所描述的实施例。即使仅在单个实现形式的上下文中进行讨论(例如，仅作为方法被讨论)，上述特征的实现还可以以其他形式(如装置或程序)来实现。装置可以实现为例如适合的硬件、软件和固件。所述方法可被实现于诸如处理器的装置中，所述处理器一般地称为处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还可以包括通信设备(例如计算机、蜂窝电话、便携/个人数字助理(″PDA″))以及促进终端用户之间的信息通信的其他设备。
对本原理的“一个实施例”或“实施例”、“一个实现”或“实现”以及其它变形的提及，意思是结合所述实施例描述的具体特征、结构、特性等包括在本原理的至少一个实施例中。从而，说明书通篇各处所出现的表述“在一个实施例中”或“在实施例中”、“在一个实现中”或“在实现中”以及其它变形不必指代相同的实施例。
此外，本申请或其权利要求可提及“确定”各种信息。确定信息可以包括以下一项或多项，例如，估计信息、计算信息、预测信息或从存储器取回信息。
此外，本申请或其权利要求可提及“访问”各种信息。访问信息可以包括以下一项或多项，例如，接收信息、取回信息(如从存储器)、存储信息、处理信息、发送信息、移动信息、拷贝信息、擦除信息、计算信息、确定信息、预测信息或估计信息。
此外，本申请或其权利要求可提及“接收”各种信息。接收和“访问”一样是广义术语。接收信息可以包括以下一项或多项，例如，访问信息或取回信息(如从存储器)。此外，“接收”通常以某种方式在诸如以下各项的操作期间涉及：存储信息、处理信息、发送信息、移动信息、拷贝信息、擦除信息、计算信息、确定信息、预测信息或估计信息。
本领域技术人员应清楚，实现方案可以生成被格式化为承载例如所存储的或所传输的信息的多种信号。信息可以包括例如执行方法的指令，或通过描述的实施例之一所生成的数据。例如，信号可以被格式化为承载所述实施例的比特流。这种信号可被格式化为例如电磁波(例如使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码以及利用已编码数据流调制载波。信号承载的信息可以是例如模拟或数字信息。可以通过公知的多种不同有线或无线链路来传输该信号。信号可存储在处理器可读介质上。

Claims (15)

1.一种生成延伸到图像(710)边界之外的外推图像(720)的方法，包括：
访问(1120)图像的一部分(814)；
基于图像的所述部分生成(1030)第一外推图像(820)，包括使用帧内预测来确定预测的估计角度并以所估计角度在第一外推图像中传播预测块；
基于根据第一外推图像的块(822)确定的预测和加权，生成第二外推图像(840)，其中第二外推图像比第一外推图像分辨率高。
2.根据权利要求1所述的方法，其中生成第一外推图像(820)包括：调整图像(810)的所述部分的大小以适合要临近所述图像的边界显示的延伸部分的大小；围绕垂直轴旋转被调整大小的所述部分；以及模糊所述被调整大小的部分。
3.根据权利要求1所述的方法，其中，基于要包括在所述第二外推图像中的重叠块的预测和加权来执行生成第二外推图像(840)的步骤，包括使用块匹配算法来确定所述图像中的至少一个匹配块(822)。
4.根据权利要求3所述的方法，其中，使用所述局部线性嵌入以确定要包括在所述第二外推图像(840)中的所述块的权重。
5.根据权利要求3所述的方法，其中，生成第二外推图像(840)包括：使用先前确定的第二外推图像的块来混合包括在第二外推图像中的重叠块。
6.根据权利要求1至5中任一项所述的方法，还包括：基于根据所述第二外推图像(840)确定的预测来生成第三外推图像，其中所述第三外推图像比所述第二外推图像分辨率高，并且其中生成比先前的外推图像分辨率高的外推图像的步骤重复N次。
7.根据权利要求1至6中任一项所述的方法，还包括：分别针对所述图像的顶部(140)、左边缘(120)和右边缘(130)生成外推图像。
8.一种用于生成延伸到图像边界之外的外推图像的装置(1110)，包括：
输入(1110)，被配置为访问图像(820)；以及
至少一个处理器(1140)，被配置为访问所述图像的一部分(814)；基于所述图像的所述部分生成第一外推图像(820)，包括使用帧内预测来确定预测的估计角度并以所估计角度在所述第一外推图像中传播预测块；以及基于根据第一外推图像的块确定的预测和加权来生成第二外推图像(840)，其中第二外推图像比第一外推图像分辨率高。
9.根据权利要求8所述的装置，其中，所述处理器(1140)被配置为通过以下方式生成第一外推图像(820)：调整所述图像的所述部分的大小以适合要临近所述图像的边界显示的延伸部分的大小；围绕垂直轴旋转被调整大小的所述部分；以及模糊所述被调整大小的部分。
10.根据权利要求8所述的装置，其中，所述处理器(1140)被配置为：基于要包括在所述第二外推图像中的重叠块的预测和加权来生成外推图像(840)，包括使用块匹配算法来确定图像中的至少一个匹配块。
11.根据权利要求10所述的装置，其中，所述处理器(1140)被配置为使用局部线性嵌入来确定要包括在所述第二外推图像中的块的权重。
12.根据权利要求10所述的装置，其中，所述处理器(1140)被配置为通过使用先前确定的所述第二外推图像的块来混合包括在所述第二外推图像中的所述重叠块，从而生成第二外推图像(840)。
13.根据权利要求8至12中任一项所述的装置，其中，所述处理器(1140)还被配置为基于根据所述第二外推图像(840)确定的预测来生成第三外推图像，其中所述第三外推图像比所述第二外推图像分辨率高，并且将生成比先前的外推图像分辨率高的外推图像的处理重复N次。
14.根据权利要求8至13中任一项所述的装置，其中，所述处理器(1140)被配置为分别针对所述图像的顶部、左边缘和右边缘生成外推图像。
15.一种存储在非暂时性计算机可读存储介质(1160)中的计算机程序产品，包括用于以下操作的计算机可执行指令：
访问(1020)图像的一部分(812)；
基于图像的所述部分生成(1030)第一外推图像(820)，包括使用帧内预测来确定预测的估计角度并以所估计角度在第一外推图像中传播预测块；以及
基于根据所述第一外推图像的块确定的预测和加权，生成(1040-1070)第二外推图像(840)，其中所述第二外推图像比所述第一外推图像分辨率高。
CN201580070018.1A 2014-12-22 2015-12-18 使用递归分级处理生成外推图像的装置和方法 Pending CN107112038A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14307148.8 2014-12-22
EP14307148 2014-12-22
PCT/EP2015/080462 WO2016102355A1 (en) 2014-12-22 2015-12-18 Apparatus and method for generating an extrapolated image using a recursive hierarchical process

Publications (1)

Publication Number Publication Date
CN107112038A true CN107112038A (zh) 2017-08-29

Family

ID=52394858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580070018.1A Pending CN107112038A (zh) 2014-12-22 2015-12-18 使用递归分级处理生成外推图像的装置和方法

Country Status (6)

Country Link
US (1) US10297009B2 (zh)
EP (1) EP3238212A1 (zh)
JP (1) JP2018506106A (zh)
KR (1) KR20170097745A (zh)
CN (1) CN107112038A (zh)
WO (1) WO2016102355A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025011499A1 (en) * 2023-07-07 2025-01-16 Mediatek Inc. Extrapolation intra prediction model inheritance

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016102365A1 (en) 2014-12-22 2016-06-30 Thomson Licensing Method and apparatus for generating an extrapolated image based on object detection
US10460704B2 (en) 2016-04-01 2019-10-29 Movidius Limited Systems and methods for head-mounted display adapted to human visual mechanism
US10949947B2 (en) 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices
KR102641163B1 (ko) 2018-11-29 2024-02-28 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US12094076B2 (en) 2020-10-21 2024-09-17 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
KR102684693B1 (ko) 2023-12-22 2024-07-11 중앙대학교 산학협력단 그래프 기반의 패치 재배열을 통한 적응형 이미지 외삽 방법 및 장치, 컴퓨터 프로그램
CN117873352A (zh) * 2023-12-28 2024-04-12 联想(北京)有限公司 电子设备的显示背景的生成方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1666505A (zh) * 2002-07-04 2005-09-07 皇家飞利浦电子股份有限公司 用于控制环境光的方法和系统以及发光单元
WO2006003600A1 (en) * 2004-06-30 2006-01-12 Koninklijke Philips Electronics, N.V. Dominant color extraction using perceptual rules to produce ambient light derived from video content

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040244030A1 (en) 2001-11-10 2004-12-02 Boyce Jill Mac Donald Video recording system and method for a plurality of individual users and catergories of users
AU2007302651A1 (en) * 2006-09-29 2008-04-10 Thomson Licensing Geometric intra prediction
KR101545008B1 (ko) * 2007-06-26 2015-08-18 코닌클리케 필립스 엔.브이. 3ｄ 비디오 신호를 인코딩하기 위한 방법 및 시스템, 동봉된 3ｄ 비디오 신호, 3ｄ 비디오 신호용 디코더에 대한 방법 및 시스템
KR101341096B1 (ko) 2007-09-12 2013-12-13 삼성전기주식회사 영상 복원 장치 및 방법
US20120314767A1 (en) * 2011-06-13 2012-12-13 Qualcomm Incorporated Border pixel padding for intra prediction in video coding
WO2013131851A2 (en) 2012-03-05 2013-09-12 Thomson Licensing Method and apparatus for performing hierarchical super-resolution of an input image
JP5743968B2 (ja) * 2012-07-02 2015-07-01 株式会社東芝 動画像復号方法及び動画像符号化方法
CN102881006A (zh) 2012-08-03 2013-01-16 吉林禹硕动漫游戏科技股份有限公司 多投影显示系统中的图像拼接与融合方法
US20140119456A1 (en) * 2012-11-01 2014-05-01 Microsoft Corporation Encoding video into lower resolution streams
CN103632348B (zh) 2013-11-29 2016-05-11 中国人民解放军国防科学技术大学 一种非线性图像多尺度几何表示方法
JP6610535B2 (ja) * 2014-04-10 2019-11-27 ソニー株式会社 画像処理装置および画像処理方法
US10070070B2 (en) * 2014-05-28 2018-09-04 Mediatek Inc. Video processing apparatus with transform unit size selection, mode information unit size selection and/or picture width/height decision, and related video processing method thereof
KR20170023000A (ko) * 2014-06-20 2017-03-02 삼성전자주식회사 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1666505A (zh) * 2002-07-04 2005-09-07 皇家飞利浦电子股份有限公司 用于控制环境光的方法和系统以及发光单元
WO2006003600A1 (en) * 2004-06-30 2006-01-12 Koninklijke Philips Electronics, N.V. Dominant color extraction using perceptual rules to produce ambient light derived from video content

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025011499A1 (en) * 2023-07-07 2025-01-16 Mediatek Inc. Extrapolation intra prediction model inheritance

Also Published As

Publication number Publication date
US10297009B2 (en) 2019-05-21
KR20170097745A (ko) 2017-08-28
US20170365037A1 (en) 2017-12-21
WO2016102355A1 (en) 2016-06-30
EP3238212A1 (en) 2017-11-01
JP2018506106A (ja) 2018-03-01

Similar Documents

Publication Publication Date Title
US10297009B2 (en) Apparatus and method for generating an extrapolated image using a recursive hierarchical process
CN107111866B (zh) 用于基于对象检测生成外推图像的方法和装置
CN116250002B (zh) 具有软分层和深度感知的修复的单幅图像3d摄影的方法和系统
US20130182184A1 (en) Video background inpainting
US9501815B2 (en) Processing panoramic pictures
US9031356B2 (en) Applying perceptually correct 3D film noise
Rahaman et al. Virtual view synthesis for free viewpoint video and multiview video compression using Gaussian mixture modelling
US20110221865A1 (en) Method and Apparatus for Providing a Video Representation of a Three Dimensional Computer-Generated Virtual Environment
CN104394308B (zh) 双摄像头以不同视角拍照的方法和终端
WO2014036741A1 (zh) 图像处理方法和图像处理设备
US10593027B2 (en) Method and device for processing a peripheral image
Mao et al. Expansion hole filling in depth-image-based rendering using graph-based interpolation
Turban et al. Extrafoveal video extension for an immersive viewing experience
Ying et al. 180-degree outpainting from a single image
CN114514746B (zh) 用于作为对视频编码的预处理的运动自适应滤波的系统和方法
CN116664700A (zh) 一种图像处理方法及装置
KR101106910B1 (ko) 큰 스틸 사진 처리 방법 및 디바이스와 컴퓨터 판독가능 저장 매체
CN110941413A (zh) 显示画面的生成方法及相关装置
CN117376540A (zh) 一种基于深度图的虚拟视角合成方法和装置
CN119399380A (zh) 一种图像生成方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190522

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

TA01 Transfer of patent application right
AD01 Patent right deemed abandoned

Effective date of abandoning: 20200626

AD01 Patent right deemed abandoned