[go: up one dir, main page]

CN107111877B - 用于确定面向前面的场景并对全向图像定心的方法及设备 - Google Patents

用于确定面向前面的场景并对全向图像定心的方法及设备 Download PDF

Info

Publication number
CN107111877B
CN107111877B CN201580069363.3A CN201580069363A CN107111877B CN 107111877 B CN107111877 B CN 107111877B CN 201580069363 A CN201580069363 A CN 201580069363A CN 107111877 B CN107111877 B CN 107111877B
Authority
CN
China
Prior art keywords
camera
motion
determining
image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580069363.3A
Other languages
English (en)
Other versions
CN107111877A (zh
Inventor
B·斯坦科维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107111877A publication Critical patent/CN107111877A/zh
Application granted granted Critical
Publication of CN107111877B publication Critical patent/CN107111877B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

用于确定面向前面的场景并对全向图像定心的方法及设备。本发明致力于用于确定摄像头的面向前面的场景且对由摄像头捕捉的全向图像定心的系统、方法以及计算机程序产品。示例性方法包括以下步骤:确定摄像头的运动;基于运动确定摄像头的方位角
Figure DDA0002238922040000011
和极角(θ);基于方位角
Figure DDA0002238922040000012
和极角(θ)确定面向前面的场景;基于面向前面的场景捕捉图像;将图像分割成至少两个区段;计算各区段的平均运动向量;确定具有镜像运动向量的两个区段,镜像运动向量具有大致相等的大小;以及基于具有镜像运动向量的两个区段对图像定心。

Description

用于确定面向前面的场景并对全向图像定心的方法及设备
技术领域
本申请涉及图像处理领域,具体涉及用于确定全向图像的面向前面的场景并对全向图像定心的方法和设备。
背景技术
我们正在进入高分辨率全向成像的时代。全向成像是指以360度视场(即,覆盖整个球面的视场)来捕捉图像。因为这些图像表示全场景球,面所以难以限定哪一个是图像的面向前面的场景(view)或主场景。本发明目的在于通过提供针对面向前面的场景或主场景的限定来解决该问题。
发明内容
本发明的实施方式致力于用于确定摄像头的面向前面的场景且对由摄像头捕捉的全向图像定心的系统、方法以及计算机程序产品。一种用于确定摄像头的面向前面的场景且对由摄像头捕捉的全向图像定心的方法包括以下步骤:确定摄像头的运动;基于运动确定摄像头的方位角和极角;基于方位角和极角确定面向前面的场景;基于面向前面的场景捕捉图像;将图像分割成至少两个区段;计算各区段的平均运动向量;确定具有镜像运动向量的两个区段,镜像运动向量具有大致相等的大小;以及基于具有镜像运动向量的两个区段对图像定心。
在一些实施方式中,运动等于或大于阈值运动。
在一些实施方式中,方法还包括确定摄像头中的陀螺仪的陀螺仪信息。
在一些实施方式中,方位角和极角还基于陀螺仪信息来确定。
在一些实施方式中,方法还包括基于运动的量确定需要对方位角和极角进行的调节。
在一些实施方式中,方法还包括确定摄像头中的罗盘(compass)的罗盘信息。
在一些实施方式中,面向前面的场景还基于罗盘信息来确定。
在一些实施方式中,方法还包括确定与面向前面的场景关联的区域的运动方向。
在一些实施方式中,方法还包括确定从摄像头的视角在与面向前面的场景关联的区域的左边或右边的区域的运动方向。
在一些实施方式中,面向前面的场景从摄像头的视角面向前面。
在一些实施方式中,面向前面的场景在捕捉图像之前或捕捉图像时确定。
在一些实施方式中,方法还包括使用摄像头中的平滑滤波器来使图像平滑。
在一些实施方式中,平均运动向量在空间域或傅里叶域中计算。
在一些实施方式中,摄像头包括六轴陀螺仪,其中,六个轴线中的三个用于确定摄像头的直线运动,并且六个轴线中的剩余三个用于确定摄像头的旋转运动。
在一些实施方式中,在摄像头具有小于阈值运动量的运动时面向前面的场景用小于阈值功率的功率量来确定,并且其中,在摄像头具有大于阈值运动量的运动时面向前面的场景用大于阈值功率的功率量来确定。
在一些实施方式中,摄像头包括单个摄像头。摄像头的镜头使得能够以270度极角和360度方位角来捕捉图像
在一些实施方式中,摄像头包括至少两个摄像头。
在一些实施方式中,摄像头被包括在移动计算装置、非移动计算装置、移动电话、电视、手表或平板计算装置中的至少一个中。
在一些实施方式中,提供了一种用于确定摄像头的面向前面的场景且对由摄像头捕捉的全向图像定心的设备。设备包括:存储器;处理器;以及存储在存储器中的模块,该模块由处理器执行,且被配置成:确定摄像头的运动;基于运动确定摄像头的方位角和极角;基于方位角和极角确定面向前面的场景;基于面向前面的场景捕捉图像;将图像分割成至少两个区段;计算各区段的平均运动向量;确定具有镜像运动向量的两个区段,镜像运动向量具有大致相等的大小;基于具有镜像运动向量的两个区段对图像定心。
在一些实施方式中,设备还包括陀螺仪和罗盘。
在一些实施方式中,设备还包括平滑滤波器。
在一些实施方式中,提供了一种用于确定摄像头的面向前面的场景且对由摄像头捕捉的全向图像定心的计算机程序产品。计算机程序产品包括:非暂时计算机可读介质,该非暂时计算机可读介质包括一组代码,该组代码用于使得计算机:确定摄像头的运动;基于运动确定摄像头的方位角和极角;基于方位角和极角确定面向前面的场景;基于面向前面的场景捕捉图像;将图像分割成至少两个区段;计算各区段的平均运动向量;确定具有镜像运动向量的两个区段,镜像运动向量具有大致相等的大小;并且基于具有镜像运动向量的两个区段对图像定心。
附图说明
由此,已经概括地描述了本发明的实施方式,现在将参照附图,在附图中:
图1是根据本发明的实施方式的示例性球面;
图2是根据本发明的实施方式的示例性方法;以及
图3是根据本发明的实施方式的、包括摄像头的示例性装置。
具体实施方式
现在可以在下文中参照附图更充分地描述本发明的实施方式,其中,示出了本发明的一些但并非所有实施方式。实际上,本发明可以以许多不同的形式来具体实施,并且不应被解释为限于这里所阐述的实施方式;相反,提供这些实施方式,使得本公开可以满足适用的法律要求。同样的附图标记自始至终提及同样的元件。
本发明致力于限定全向图像(静止图像和/或移动图像或视频)中面向前面的视向或场景。本发明还致力于对全向图像定心。由三个量限定球坐标系中的点:点离固定原点的径向距离、从固定天顶(所定义点上方的虚点)测量的极角、以及从基准平面上的固定基准方向测量的、其在基准平面上的正交投影的方位角,该基准平面穿过原点且正交于天顶。所限定点下方的虚点被称为天底。可以使用摄像头中的陀螺仪或加速计对天顶或天底轴线定心。另外或另选地,可以使用罗盘来获得方位角并将其用作基准点。
在稳态情况下,可能难以估计从摄像头的视角哪个方向面向前面,从而可能难以判断哪一个是全向图像的主场景。如这里所用的,稳态情况是指摄像头在捕捉图像时示出没有移动或有限移动(例如,小于阈值移动)的情况。在其他实施方式中,稳态情况是指要由摄像头捕捉的对象示出没有移动或有限移动(例如,小于阈值移动)的情况。
场景(例如,主场景)可以为摄像头的用户的选择。可以向用户提供特定预设场景。例如,预设场景可以为从摄像头的视角的、摄像头的面向前面的场景(或面向后面的场景)或从摄像头的视角在摄像头左侧或右侧的场景。另外或另选地,预设场景可以为从摄像头的视角的顶场景或底场景。在一些实施方式中,主场景基于用户在捕捉图像时如何持有摄像头。用户如何持有摄像头是指在捕捉图像之前、捕捉图像时或捕捉图像之后至少一个时摄像头的方向和/或方位。如这里所用的,摄像头的用户的视角是指使用面向前面的摄像头捕捉图像的用户的视角(即,摄像头镜头和用户眼睛沿同一方向聚焦或聚焦在图像框中的同一对象上)。主场景可以在捕捉图像之前、捕捉图像时或捕捉图像之后选择。因此,这里描述的各种实施方式可以应用于取景器模式(在捕捉图像之前)和回放模式(在捕捉图像之后)。
在使用摄像头捕捉图像的用户在捕捉图像时(例如,沿着水平面或垂直面中的至少一个)移动(从而摄像头移动)的动态情况下,主场景可以使用以下过程来估计。将从摄像头的视角面向前面的区域缩放(缩放成例如等于或大于阈值放大率)。从摄像头的视角在面向前面的区域的左边的区域具有从摄像头的视角朝向摄像头左边的运动。从摄像头的视角在面向前面的区域的右边的区域具有从摄像头的视角朝向摄像头右边的运动。
如果在天顶轴(例如,垂直面)中存在运动,则面向前面的区域具有从摄像头的视角向上的运动。(从摄像头的视角)在面向前面的区域的左边的区域具有从摄像头的视角向上的运动。(从摄像头的视角)在面向前面的区域的右边的区域具有从摄像头的视角向上的运动。面向前面的方向变成由向量长度、方位角以及极角限定的向量基准。因此,摄像头能够确定在摄像头(例如,沿着水平面或垂直面)移动时和/或在摄像头静止这两者时确定面向前面的方向,并且使得摄像头的用户能够将该面向前面的方向用作主场景。
因此,本发明使得用户能够基于与位于摄像头中的罗盘和/或陀螺仪关联的信息选择主场景。用户可以基于罗盘信息选择朝北方向、朝南方向、朝西方向或朝东方向,并且可以基于陀螺仪信息选择方位角和/或极角。在一些实施方式中,该主场景还可以被称为默认场景。
在一些实施方式中,主场景可以基于估计摄像头的运动和陀螺仪信息这两者来选择。主场景可以通过基于摄像头的运动确定方位角或方位角的修正、以及通过基于陀螺仪信息确定极角来选择。
在一些实施方式中,(由方位角和极角限定的)主场景可以仅基于估计摄像头的运动(并且在不估计陀螺仪信息的情况下)来选择。摄像头的运动使得能够确定需要对方位角和极角进行的调节。
当摄像头的用户转动和/或倾斜摄像头时,存在摄像头周围的区域面向前面、面向后面、面向左边、面向右边、面向顶部以及向下面向的偏移。出于该原因,主场景需要基于整个全向图像。为了限定主场景,本发明应用于覆盖球面全部或一部分的全向图像。在一些实施方式中,本发明可以应用于由多个不同摄像头(例如,能够捕捉全向图像的摄像头)捕捉的图像(或多个图像)。
本发明还提供了一种平滑滤波器,比如其中,在主场景的方向上存在突然变化(即,当摄像头从稳态切换到动态时或当摄像头从第一动态切换到第二动态时)。平滑观看器使得图像的主场景从第一主场景方向平滑运动至第二主场景方向。
本发明提供了一种用于评估图像的开视窗方法。本发明评估较小区段(例如,8*16)的图像,并且计算针对每个区段(例如,128个区段)的平均运动向量。运动估计可以在空间域或傅里叶域中至少一个中计算。随后,搜索函数评价各区段的运动向量并确定具有相等大小的镜像向量的两个区段。这些区段的确定使得能够对图像定心。在建立或选择主场景或面向前面的场景之前、期间或之后至少之一时确定主场景。
在一些实施方式中,使用位于摄像头中的陀螺仪和/或加速计确定天顶和/或天底。大致地,陀螺仪和/或加速计使用地球万有引力来确定向下的方向(即,朝向地球表面的方向)。使用摄像头中的罗盘确定朝北方向、朝南方向、朝东方向或朝西方向。
另选或另外地,在摄像头中设置六轴陀螺仪和/或加速计。六个轴线中的三个(第一轴线、第二轴线、第三轴线)用于确定摄像头的直线运动和/或确定重力的方向和/或向下方向(即,朝向地球表面的方向)上的万有引力。六个轴线中的剩余三个(第四轴线、第五轴线、第六轴线)用于确定摄像头的旋转移动和/或加速度。在这种实施方式中,摄像头在它不将能量或功率(或少于大于零的阈值数量的能量或功率)花费在确定面向前面方向或场景时可以在空闲模式下操作。摄像头在它不运动时或在摄像头的移动(直线和/或旋转移动中的至少一个)少于阈值量的运动时处于空闲模式。摄像头在它将多于阈值数量的功率(多达最大数量的功率)用于确定面向前面方向时在正常模式(或涡轮模式)下操作。摄像头在它运动时或在摄像头的运动(直线和/或旋转运动中的至少一个)大于阈值数量的运动时在正常模式下操作。
现在参照图1,图1例示了球坐标系100。点x可以为摄像头的位置,并且由球面坐标
Figure GDA0002238922020000061
径向距离r(或向量距离)、极角θ(theta)以及方位角
Figure GDA0002238922020000062
来限定。
现在参照图2,图2呈现了用于确定(从摄像头的视角)摄像头面向前面的场景并对摄像头捕捉的全向图像定心的方法。在块210处,方法包括:确定摄像头的运动(例如,该运动等于或大于阈值运动)。在块220处,方法包括:基于运动确定摄像头的方位角和极角。在一些实施方式中,方位角和极角还基于与摄像头中的陀螺仪关联的陀螺仪信息来确定。在一些实施方式中,摄像头还基于捕捉图像之前、捕捉图像时或捕捉图像之后至少一个时摄像头的运动量来确定需要对方位角和极角进行的调节量。在块230处,方法包括:基于方位角和极角确定面向前面的场景。在一些实施方式中,方法还包括:确定摄像头中的罗盘的罗盘信息。在这种实施方式中,面向前面的场景还基于罗盘信息来确定。在一些实施方式中,方法还包括:确定与面向前面的场景关联的区域的运动方向,以及确定从摄像头的视角在与面向前面的场景关联的区域的左边或右边的区域的运动方向。
在块240处,方法包括:基于面向前面的场景捕捉图像。面向前面的场景在捕捉图像之前或捕捉图像时确定。在一些实施方式中,方法还包括:使用摄像头中的平滑滤波器使图像平滑。在块250处,方法包括:将图像分割成至少两个区段。在块260处,方法包括:计算各区段的平均运动向量。在块270处,方法包括:确定具有镜像运动向量的两个区段,镜像运动向量具有大致相等的大小。在块280处,方法包括:基于两个区段对图像定心。在一些实施方式中,图像包括至少两个图像,并且摄像头包括至少两个摄像头。在一些实施方式中,摄像头包括单个摄像头。摄像头的镜头使得能够以270度极角和360度方位角捕捉图像。在一些实施方式中,摄像头被包括在移动计算装置、非移动计算装置、移动电话、电视、手表或平板计算装置中的至少一个中。
本发明不限于包括摄像头的任何特定类型的装置。装置的示例包括移动电话或其他移动计算装置、移动电视、膝上型计算机、智能屏幕、平板计算机或平板电脑、便携式台式计算机、电子阅读器、扫描仪、便携式媒体装置、游戏装置、摄像头或其他图像捕捉装置、头饰、护目镜、手表、带状物(例如,腕带)或其他可穿戴装置、或其他便携式计算或非计算装置。
现在参照图3,图3呈现了示例性装置310,该示例性装置包括通信接口、处理器、存储器以及被存储在存储器中的模块,该模块可由处理器执行,且被配置成执行这里描述的各种处理。这里描述的各通信接口使得能够与其他系统通信。另外,装置310包括摄像头、陀螺仪、罗盘以及平滑滤波器。
这里所述的各处理器通常包括用于实施音频功能、视觉功能和/或逻辑功能的电路。例如,处理器可以包括数字信号处理器装置、微处理器装置以及各种模数转换器、数模转换器以及其他支撑电路。处理器驻留的系统的控制和信号处理功能可以根据这些装置各自的能力分配在它们之间。处理器还可以包括至少部分基于可以存储在例如存储器中的一个或更多个软件程序的计算机可执行程序代码部分来操作一个或更多个软件程序的功能。
各存储器可以包括任意计算机可读介质。例如,存储器可以包括具有用于临时存储数据的缓存区域的易失性存储器(诸如易失性随机存取存储器(RAM))。存储器还可以包括可以嵌入和/或可移除的非易失性存储器。非易失性存储器可以另外或另选地包括EEPROM、闪存等。存储器可以存储系统所用的任意一个或更多个信息和数据,该信息和数据驻留在系统内部,以实施该系统的功能。
关于这里所述的任意实施方式描述的各种特征可应用于这里所述的其他实施方式中的任意一个。如这里所用的,术语数据和信息可互换地使用。虽然上面仅描述了本发明的许多实施方式,但本发明可以以许多不同的形式来具体实施,并且不应被解释为限于这里所阐述的实施方式;相反,提供这些实施方式,使得本公开将满足适用的法律要求。同样地,将理解的是,在可能的情况下,这里所描述和/或预期的本发明的任意实施方式的任意优点、特征、功能、装置和/或操作方面可以被包括在这里所描述和/或考虑的本发明的任意其他实施方式中,反之亦然。另外,在可能的情况下,在这里以单数形式表达的任意术语打算还包括复数形式,反之亦然,除非另外明确叙述。如这里所用的,“至少一个”应当指“一个或更多个”,并且这些短语旨在可互换。因此,虽然这里也使用短语“一个或更多个”或“至少一个”,但术语“一”或“一个”应当指“至少一个”或“一个或更多个”。同样的附图标记自始至终提及同样的元件。
如本领域一个普通技术人员鉴于本公开将理解的,本发明可以包括和/或被具体实施为设备(包括,例如,系统、机器、装置、计算机程序产品等),实施为方法(包括,例如,商业方法、计算机实施处理等)或实施为上述的任意组合。因此,本发明的实施方式可以采取完全商业法实施方式、完全软件实施方式(包括固件、常驻软件、微代码、所存储的程序等)、完全硬件实施方式或组合在这里可以总体称为“系统”的商业方法、软件以及硬件方面的实施方式的形式。此外,本发明的实施方式可以采取包括内部存储有一个或更多个计算机可执行程序代码部分的计算机可读存储介质的计算机程序产品的形式。如这里所用的,可以包括一个或更多个处理器的处理器可以“被配置成”以各种方式执行特定功能(包括,例如,通过使一个或更多个通用电路通过执行在计算机可读介质中具体实施的一个或更多个计算机可执行程序代码部分来执行功能,和/或通过使一个或更多个专用电路执行功能)。
将理解,可以使用任意合适的计算机可读介质。计算机可读介质可以包括但不限于非暂时计算机可读介质(诸如有形电子、磁、光学、电磁、红外和/或半导体系统、装置和/或其他设备)。例如,在一些实施方式中,非暂时计算机可读介质包括有形介质(诸如便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光盘只读存储器(CD-ROM)和/或一些其他有形光学和/或磁存储装置)。然而,在本发明的其他实施方式中,计算机可读介质可以为暂时的(诸如,例如,包括内部所具体实施的计算机可执行程序代码部分的传播信号)。
用于进行本发明的操作的一个或更多个计算机可执行程序代码部分可以包括面向对象的、脚本化的和/或非脚本化的编程语言(诸如,例如,Java、Perl、Smalltalk、C++、SAS、SQL、Python、Objective C、JavaScript等)。在一些实施方式中,用于进行本发明的实施方式的操作的一个或更多个计算机可执行程序代码部分以常规程化编程语言(诸如“C”编程语言和/或类似的编程语言)来书写。另选地或另外地,计算机程序代码可以以一个或更多个多范式编程语言(诸如,例如,F#)来书写。
这里参照设备和/或方法的流程图例示和/或框图描述了本发明的一些实施方式。将理解,流程图例示和/或框图中所包括的各块和/或流程图例示和/或框图中所包括的块的组合可以由一个或更多个计算机可执行程序代码部分来实施。为了产生特定机器,这些一个或更多个计算机可执行程序代码部分可以设置到通用计算机、专用计算机和/或某一其他可编程数据处理设备的处理器,使得经由计算机和/或其他可编程信息处理设备的处理器执行的一个或更多个计算机可执行程序代码部分创建用于实施由流程图和/或框图块表示的步骤和/或功能的机制。
一个或更多个计算机可执行程序代码部分可以存储在暂时和/或非暂时计算机可读介质(例如,存储器等)中,该暂时和/或非暂时计算机可读介质可以引导、指示和/或使计算机和/或其他可编程信息处理设备以特定方式起作用,使得计算机可读介质中所存储的计算机可执行程序代码部分产生包括实施流程图和/或框图块中所指定的步骤和/或功能的指令机制的制品。
一个或更多个计算机可执行程序代码部分还可以被加载到计算机和/或其他可编程信息处理设备,以使一系列操作步骤在计算机和/或其他可编程设备上执行。在一些实施方式中,这产生计算机实施的处理,使得在计算机和/或其他可编程设备上执行的一个或更多个计算机可执行程序代码部分提供实施流程图中所指定的步骤和/或框图块中所指定的功能的操作步骤。另选地,为了进行本发明的实施方式,计算机实施的步骤可以与操作员和/或人员实施的步骤组合和/或可以用操作员和/或人员实施的步骤来替换。
虽然附图中已经描述并示出了特定的示例性实施方式,但要理解,这种实施方式仅是广泛发明的例示且不对广泛发明进行限制,并且因为除了上面段落中所阐述的内容之外,各种其他变化、组合、省略、修改以及代替是可以的,所以本发明不限于所示出且描述的特定构造和结构。本领域技术人员将理解,可以在不偏离本发明的范围和精神的情况下构造刚刚描述的实施方式的各种改编、修改以及组合。因此,要理解,在保护范围内,本发明可以被实践为与这里所具体描述的不同。

Claims (21)

1.一种用于确定摄像头的面向前面的场景且对由所述摄像头捕捉的全向图像定心的方法,所述方法包括以下步骤:
确定所述摄像头的运动;
基于所述运动确定所述摄像头的方位角
Figure FDA0002282301890000011
和极角(θ);
基于所述方位角
Figure FDA0002282301890000012
和所述极角(θ)确定所述面向前面的场景;
基于所述面向前面的场景捕捉所述图像;
将所述图像分割成至少两个区段;
计算各区段的平均运动向量;
确定具有镜像运动向量的两个区段,所述镜像运动向量具有大致相等的大小;以及
基于具有镜像运动向量的所述两个区段对所述图像定心。
2.根据权利要求1所述的方法,其中,所述运动等于或大于阈值运动。
3.根据权利要求1或权利要求2所述的方法,所述方法还包括确定所述摄像头中的陀螺仪的陀螺仪信息。
4.根据权利要求3所述的方法,其中,所述方位角
Figure FDA0002282301890000013
和所述极角(θ)还基于所述陀螺仪信息来确定。
5.根据权利要求1所述的方法,所述方法还包括基于所述运动的量确定需要对所述方位角
Figure FDA0002282301890000014
和所述极角(θ)进行的调节。
6.根据权利要求1所述的方法,所述方法还包括确定所述摄像头中的罗盘的罗盘信息。
7.根据权利要求6所述的方法,其中,所述面向前面的场景还基于所述罗盘信息来确定。
8.根据权利要求1所述的方法,所述方法还包括确定与所述面向前面的场景关联的区域的运动方向。
9.根据权利要求8所述的方法,所述方法还包括确定从所述摄像头的视角在与所述面向前面的场景关联的区域的左边或右边的区域的运动方向。
10.根据权利要求1所述的方法,其中,所述面向前面的场景从所述摄像头的视角的面向前面。
11.根据权利要求1所述的方法,其中,所述面向前面的场景在捕捉所述图像之前或捕捉所述图像时确定。
12.根据权利要求1所述的方法,所述方法还包括使用所述摄像头中的平滑滤波器来使所述图像平滑。
13.根据权利要求1所述的方法,其中,所述平均运动向量在空间域或在傅里叶域中计算。
14.根据权利要求1所述的方法,其中,所述摄像头包括六轴陀螺仪,其中,六个轴线中的三个用于确定所述摄像头的直线运动,并且所述六个轴线中的剩余三个用于确定所述摄像头的旋转运动。
15.根据权利要求1所述的方法,其中,在所述摄像头具有小于阈值运动量的运动时所述面向前面的场景用小于阈值功率的功率量来确定,并且其中,在所述摄像头具有大于所述阈值运动量的运动时所述面向前面的场景用大于所述阈值功率的功率量来确定。
16.根据权利要求1所述的方法,其中,所述摄像头包括至少两个摄像头。
17.根据权利要求1所述的方法,其中,所述摄像头被包括在移动计算装置、非移动计算装置、移动电话、电视、手表或平板计算装置中的至少一个中。
18.一种用于确定摄像头的面向前面的场景且对由所述摄像头捕捉的全向图像定心的设备(310),所述设备包括:
存储器;
处理器;以及
存储在所述存储器中的模块,该模块由所述处理器执行,且被配置成:
确定所述摄像头的运动;
基于所述运动确定所述摄像头的方位角
Figure FDA0002282301890000021
和极角(θ);
基于所述方位角
Figure FDA0002282301890000022
和所述极角(θ)确定所述面向前面的场景;
基于所述面向前面的场景捕捉所述图像;
将所述图像分割成至少两个区段;
计算各区段的平均运动向量;
确定具有镜像运动向量的两个区段,所述镜像运动向量具有大致相等的大小;
基于具有镜像运动向量的所述两个区段对所述图像定心。
19.根据权利要求18所述的设备,所述设备还包括陀螺仪、平滑滤波器以及罗盘。
20.根据权利要求18或权利要求19所述的设备,其中,所述设备(310)被配置成执行根据权利要求1-17中任一项所述的方法。
21.一种非暂时计算机可读介质,该非暂时计算机可读介质包括计算机程序,该计算机程序由计算机执行时执行包括以下步骤的方法:
确定摄像头的运动;
基于所述运动确定所述摄像头的方位角
Figure FDA0002282301890000031
和极角(θ);
基于所述方位角
Figure FDA0002282301890000032
和所述极角(θ)确定面向前面的场景;
基于所述面向前面的场景捕捉图像;
将所述图像分割成至少两个区段;
计算各区段的平均运动向量;
确定具有镜像运动向量的两个区段,所述镜像运动向量具有大致相等的大小;
基于具有镜像运动向量的所述两个区段对所述图像定心。
CN201580069363.3A 2014-12-19 2015-06-19 用于确定面向前面的场景并对全向图像定心的方法及设备 Expired - Fee Related CN107111877B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/576,298 US20160182822A1 (en) 2014-12-19 2014-12-19 System, method, and computer program product for determiing a front facing view of and centering an omnidirectional image
US14/576,298 2014-12-19
PCT/EP2015/063856 WO2016096166A1 (en) 2014-12-19 2015-06-19 System, method, and computer program product for determining a front facing view of and centering an omnidirectional image

Publications (2)

Publication Number Publication Date
CN107111877A CN107111877A (zh) 2017-08-29
CN107111877B true CN107111877B (zh) 2020-03-31

Family

ID=53488314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580069363.3A Expired - Fee Related CN107111877B (zh) 2014-12-19 2015-06-19 用于确定面向前面的场景并对全向图像定心的方法及设备

Country Status (4)

Country Link
US (1) US20160182822A1 (zh)
EP (1) EP3234916B1 (zh)
CN (1) CN107111877B (zh)
WO (1) WO2016096166A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10404915B1 (en) * 2016-04-07 2019-09-03 Scott Zhihao Chen Method and system for panoramic video image stabilization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1315114A (zh) * 1999-06-25 2001-09-26 松下电器产业株式会社 全方位影像输出方法和装置
JP2004117496A (ja) * 2002-09-24 2004-04-15 Nippon Telegr & Teleph Corp <Ntt> 全方位撮像装置、全方位撮像方法、プログラムおよびこのプログラムを記録した記録媒体
CN101427283A (zh) * 2006-04-24 2009-05-06 Nxp股份有限公司 从视频序列中产生全景图像的方法和设备
CN102986224A (zh) * 2010-12-21 2013-03-20 英特尔公司 用于增强的解码器侧运动向量导出处理的系统及方法
US8599266B2 (en) * 2002-07-01 2013-12-03 The Regents Of The University Of California Digital processing of video images

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4211292B2 (ja) * 2002-06-03 2009-01-21 ソニー株式会社 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体
KR101044934B1 (ko) * 2003-12-18 2011-06-28 삼성전자주식회사 움직임 벡터 추정방법 및 부호화 모드 결정방법
JP2005252625A (ja) * 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
US8035691B2 (en) * 2006-08-01 2011-10-11 Pelco, Inc. Method and apparatus for compensating for movement of a video surveillance camera
JP4931055B2 (ja) * 2006-11-22 2012-05-16 ソニー株式会社 画像処理装置及び画像処理方法
RU2011137821A (ru) * 2009-05-29 2013-07-10 Янгкук Электроникс, Ко., Лтд. Интеллектуальная камера слежения и система слежения за изображением с интеллектуальной камерой
TWI475882B (zh) * 2009-12-30 2015-03-01 Altek Corp Motion detection method using the adjusted digital camera of the shooting conditions
JP5645450B2 (ja) * 2010-04-16 2014-12-24 キヤノン株式会社 画像処理装置および方法
US8531504B2 (en) * 2010-06-11 2013-09-10 Intel Corporation System and method for 3D video stabilization by fusing orientation sensor readings and image alignment estimates
US9007430B2 (en) * 2011-05-27 2015-04-14 Thomas Seidl System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US8223024B1 (en) * 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
KR20140124096A (ko) * 2013-04-16 2014-10-24 한국전자통신연구원 미디어 부가정보 처리 장치 및 방법
JP6167703B2 (ja) * 2013-07-08 2017-07-26 株式会社リコー 表示制御装置、プログラム及び記録媒体
US20160059120A1 (en) * 2014-08-28 2016-03-03 Aquimo, Llc Method of using motion states of a control device for control of a system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1315114A (zh) * 1999-06-25 2001-09-26 松下电器产业株式会社 全方位影像输出方法和装置
US8599266B2 (en) * 2002-07-01 2013-12-03 The Regents Of The University Of California Digital processing of video images
JP2004117496A (ja) * 2002-09-24 2004-04-15 Nippon Telegr & Teleph Corp <Ntt> 全方位撮像装置、全方位撮像方法、プログラムおよびこのプログラムを記録した記録媒体
CN101427283A (zh) * 2006-04-24 2009-05-06 Nxp股份有限公司 从视频序列中产生全景图像的方法和设备
CN102986224A (zh) * 2010-12-21 2013-03-20 英特尔公司 用于增强的解码器侧运动向量导出处理的系统及方法

Also Published As

Publication number Publication date
US20160182822A1 (en) 2016-06-23
WO2016096166A1 (en) 2016-06-23
EP3234916B1 (en) 2019-02-13
EP3234916A1 (en) 2017-10-25
CN107111877A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
US10984583B2 (en) Reconstructing views of real world 3D scenes
CN107925755B (zh) 针对图像处理进行平面表面检测的方法和系统
CN108450058B (zh) 实时自动车载相机校准
US9684830B2 (en) Automatic target selection for multi-target object tracking
US20200111233A1 (en) Adaptive virtual camera for indirect-sparse simultaneous localization and mapping systems
CN105554367A (zh) 一种运动拍摄方法及移动终端
US8965105B2 (en) Image processing device and method
US20160282937A1 (en) Gaze tracking for a mobile device
US10911677B1 (en) Multi-camera video stabilization techniques
KR20130115332A (ko) 증강 현실 표현을 위한 2차원 이미지 캡쳐
US20190005678A1 (en) Pose estimation using multiple cameras
US20200267309A1 (en) Focusing method and device, and readable storage medium
US12106493B2 (en) Accurate optical flow estimation in stereo pairs of equirectangular images
KR102871418B1 (ko) 자세 추정 방법 및 장치
US20190266802A1 (en) Display of Visual Data with a Virtual Reality Headset
US9843724B1 (en) Stabilization of panoramic video
WO2021031210A1 (zh) 视频处理方法和装置、存储介质和电子设备
US10362231B2 (en) Head down warning system
US9837051B2 (en) Electronic device and method for adjusting images presented by electronic device
CN107004264A (zh) 增加针对具有对角布局的相机图像的整数视差精度的方法和系统
CN107111877B (zh) 用于确定面向前面的场景并对全向图像定心的方法及设备
WO2015136323A1 (en) Exposure control using depth information
US20240185536A1 (en) Object depth estimation processes within imaging devices
WO2020215214A1 (zh) 图像处理方法和装置
US10419666B1 (en) Multiple camera panoramic images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200331

Termination date: 20210619

CF01 Termination of patent right due to non-payment of annual fee