CN110557577A - 校正图像叠加 - Google Patents

Abstract

本发明涉及校正图像叠加。包括实现和使用用于显示视频的技术的计算机程序产品的方法和装置。由视频管理系统接收包括多个图像帧的视频流，其中至少一些图像帧包括叠加。视频管理系统确定图像帧内的叠加的位置。视频管理系统将图像调整功能应用于图像帧以创建调整后的图像帧。图像调整功能使用叠加的所确定的位置来调整图像，同时保持叠加的外观基本不变，并且包括调整后的图像帧的视频流被显示。

Description

校正图像叠加

技术领域

本发明涉及视频系统，并且更具体地，涉及处理由监控摄像机递送的视频流中插入的叠加。

背景技术

监控摄像机在室内和室外的许多不同应用中用于监控各种环境。许多监控摄像机具有将叠加插入到摄像机递送的视频流中的可能性。叠加通常是来自摄像机的某种基于文本的信息，诸如时间戳、日期等。其他类型的叠加信息可以包括来自外部传感器或设备的数据，诸如温度、风速或湿度。又一些类型的叠加信息可以包括通过具有对摄像机访问权的某人已经存储在摄像机中的文本。

监控摄像机通常由某种视频管理系统(VMS)控制和管理。通常，叠加不被单独发送到VMS，而是包含在由监控摄像机发送到VMS的视频流中的单独的帧中。

当视频流表示由监控摄像机捕获的广角视图(例如，鱼眼视图)并且该广角视图随后被VMS去扭曲(即，校正光学畸变，诸如桶形畸变和/或其他图像畸变)时，这会使叠加变得扭曲。扭曲的程度可以从叠加仅仅变得有点难看到叠加基本从去扭曲的视频中消失的任何地方变化。在两者之中的任一情况下，对于观看视频流的操作员来说，叠加变得难以阅读或者甚至不可能阅读。

发明内容

本发明的目的在于全部或部分地消除上述问题。该目的通过根据权利要求1所述的方法、根据权利要求12所述的系统、根据权利要求13所述的计算机程序产品以及根据权利要求14所述的存储介质来实现。

根据第一方面，本发明涉及一种在计算机系统中用于显示视频的方法。该方法的特征在于下述步骤：

由视频管理系统接收包括多个图像帧的视频流，其中至少一些图像帧包括叠加；

由视频管理系统确定图像帧内的叠加的位置；

由视频管理系统将图像调整功能应用于图像帧以创建调整后的图像帧，其中图像调整功能使用所确定的叠加的位置来调整图像，同时保持叠加的外观基本不变；以及

显示包括调整后的图像帧的视频流。

这提供了一种改进视频流上的叠加的视觉外观和可读性的方式，该视频流由监控摄像机使用由监控摄像机捕获的广角视图捕获，随后通过VMS去扭曲。它还确保叠加不会在去扭曲过程中从视频中消失。

根据一个实施例，应用图像调整功能包括空间地重新排列图像帧的像素以及改变图像帧中的像素的值中的一个或多个。空间地重新排列图像帧的像素允许形成叠加的像素移动到与图像不同的区域，并且以叠加变得清晰和可读的方式重新排列。改变像素的值使得能够改变单个的像素的颜色或对比度，并且因此提高叠加相对于图像的剩余部分的可读性。

根据一个实施例，应用图像调整功能包括从图像帧复制叠加，空间地重新排列图像帧的像素，以及将所复制的叠加插入到具有空间地重新排列的像素的图像帧中。因为叠加在图像帧中的像素的任何重新排列发生之前被复制，所以这提供了一种保留叠加的原始外观的便利方式，并且在图像中的像素被重新排列之后，叠加随后被重新插入到图像中。

根据一个实施例，空间地重新排列图像帧的像素包括空间地重新排列图像帧的不形成叠加的部分的像素。在该实施例中，叠加保持不变，并且仅图像的剩余部分使其像素被空间地重新排列。这还允许保留原始叠加的外观，并且在图像被处理时减少复制/存储叠加所需要的操作的数量以及存储器要求。

根据一个实施例，复制的叠加在与叠加从图像帧被复制的位置基本相同的位置处被插入。这使得用户容易知道去哪寻找叠加，即使图像的尺寸相对于叠加的尺寸恰好非常大，或者即使图像和叠加之间的对比度是差的。

根据一个实施例，图像调整功能为去扭曲功能、曝光校正功能或裁剪功能。使本发明的一般原理适应各种类型的图像校正功能的能力使得能够在各种设置中以及用各种监控摄像机使用本发明。

根据一个实施例，视频流和叠加从监控摄像机实时地被接收。这使得能够在来自监控摄像机的直播流视频的情况下实现本发明。

根据一个实施例，视频流和叠加从视频服务器被接收。这使得能够在来自监控摄像机的已被存储在服务器上用于稍后观看的视频的情况下实现本发明，并且在该点处进行处理而不是在将视频存储在服务器上之前进行处理。

根据一个实施例，视频流中的叠加的位置信息与视频流分开地被视频管理系统接收。与视频流分开地接收位置信息极大地简化了叠加的位置的确定，并且在降低所需的计算能力的同时提高了图像处理速度。

根据一个实施例，位置信息包括视频流中的叠加的位置的归一化坐标。归一化坐标确保在图像被VMS处理之后，叠加将在图像中的、与被VMS处理之前相同的位置中结束。

根据一个实施例，接收用户输入，该用户输入指定具有空间地重新排列的像素的视频流中的叠加的位置。这给了用户改变所处理的图像中的叠加的位置的选择，例如，在如果叠加将覆盖所处理的图像的本质特征，用户要确定不同的位置可能更好的情况下。

根据第二方面，本发明涉及一种用于显示视频的系统。系统包括处理器和存储器。存储器具有当由处理器执行时使下面的操作被处理器执行指令：

由视频管理系统接收包括多个图像帧的视频流，其中至少一些图像帧包括叠加；

由视频管理系统确定图像帧内的叠加的位置；

由视频管理系统将图像调整功能应用于图像帧以创建调整后的图像帧，其中图像调整功能使用所确定的叠加的位置来调整图像，同时保持叠加的外观基本不变；以及

显示包括调整后的图像帧的视频流。

根据第三方面，本发明涉及一种用于显示视频的计算机程序产品。计算机程序产品包含与下述步骤对应的指令：

由视频管理系统接收包括多个图像帧的视频流，其中至少一些图像帧包括叠加；

由视频管理系统确定图像帧内的叠加的位置；

由视频管理系统将图像调整功能应用于图像帧以创建调整后的图像帧，其中图像调整功能使用所确定的叠加的位置来调整图像，同时保持叠加的外观基本不变；以及

显示包括调整后的图像帧的视频流。

根据第四方面，本发明涉及一种包括这样的计算机程序的数字存储介质。计算机程序和存储介质包含与方法的那些优点对应的优点，并且可类似地被改变。

在附图和下面的描述中阐述了本发明的一个或多个实施例的细节。从说明书和附图以及权利要求中，本发明的其他特征和优点将是显而易见的。

附图说明

图1示出了根据一个实施例的由使用广角镜头的监控摄像机捕获的场景的示意图。

图2是根据一个实施例的用于校正视频流中的图像的过程的流程图。

图3示出了在使用常规技术去扭曲之后图1的场景的示意图。

图4示出了根据一个实施例的在去扭曲之后图1的场景的示意图。

在各个附图中相同的附图标记表示相同的要素。

具体实施方式

本发明的各种实施例涉及用于处理由监控摄像机递送的视频流中插入的叠加的技术。VMS接收视频流(通常为广角或“鱼眼”视频流)中的叠加的位置信息。接收的位置信息用于从由VMS对视频流中的单个的图像执行的任何去扭曲操作中排除叠加。使用位置信息来排除叠加的方式可以以多种不同的方式来完成。最后，在通过VMS去扭曲之后，叠加被应用于视频流中的图像，从而实现可读的叠加以及叠加在视觉上赏心悦目的外观。

现在将通过示例方式并参考附图进一步具体描述本发明。图1示出了由使用广角镜头的监控摄像机捕获的图像帧100。图像帧100是共同形成视频流的许多帧中的一个。图像帧100由多个像素组成，并且包括叠加区域102。图1中示出的叠加区域102包含指定图像何时被记录的日期和时间的文本信息。然而，如上所述，任何数据都可以被包含为叠加，诸如来自外部传感器或设备的数据(例如，温度、风速或湿度)，或者由用户输入的任何类型的自定义文本，仅仅给出一些示例。叠加不必是纯文本，而是也可以包括图形要素，诸如标志(logo)或商标等。

鱼眼镜头或广角镜头允许监控摄像机捕获大型场景，但这样做也将大量畸变引入到所捕获的图像中。为了减少几何畸变，提供正确的定向，以及提供图像中的更多细节，VMS对视频流中的图像进行去扭曲。当使用进行去扭曲的常规技术时，这导致叠加变得扭曲或甚至完全消失，如图3中示意性所示。使用本发明的各种实施例可以避免这个问题，现在将参考图2和图4描述本发明的各种实施例。图2示出了用于对图像进行去扭曲的过程200，并且图4示出了根据本发明的一个实施例的具有被插入的叠加的去扭曲的图像的示意性示例。

如在图2中可见，过程200在步骤202处开始，VMS接收包括叠加的视频流。通常，从监控摄像机接收具有叠加的视频流。然而，也存在视频可能已经存储在例如服务器上的中间存储器中用于稍后由VMS处理的情况。在这样的情况下，视频从服务器被接收，而不是直接从监控摄像机被接收。

接下来，在步骤204处，VMS确定视频流的图像帧内的叠加的位置。通常，在整个视频流内，叠加的位置将是相同的，但是也可能存在叠加的位置可以在各种时间间隔处改变或者根据在由摄像机监控的区域中所发生的而改变的情况。确定图像帧内的叠加的位置的方式可以以多种方式来完成。例如，在一些实施例中，或者通过将叠加位置推到VMS或者响应于VMS针对叠加位置而查询监控摄像机，摄像机(或服务器)可以将叠加的位置与视频流分开地发送到VMS。在其他实施例中，叠加的位置可以被编码到视频流中。在又一些实施例中，VMS可以分析所接收的视频流以找到包含字母和/或数字的图像的区域。

在步骤206处，一旦叠加信息被确定，在从去扭曲操作中排除包含叠加的区域时，VMS对所接收的视频流中的单个的图像帧进行去扭曲。这可以以多种方式来完成。例如，在一个实施例中，或者整个图像帧或者排除了叠加部分的图像帧被复制。然后图像调整功能被应用于被复制的图像帧(或图像帧的被复制的部分)以实现去扭曲。最后，被复制的原始叠加被插入到去扭曲的图像帧中。在其他实施例中，图像帧不被复制，而是叠加的区域被锁定，使得应用于图像帧的任何图像调整功能都不会影响叠加的区域。

在结束过程200的步骤208处，一旦视频流中的单个的图像帧被去扭曲，则显示具有未畸变的叠加的视频流，如图4所示。

应当注意，虽然已经在去扭曲图像调整功能(例如，桶形畸变、枕形畸变等)的背景中描述了上述操作，但相同的原理可以应用于其他类型的图像校正，仅列举几个示例，诸如旋转(其中图像相对于特定参考系统被正确排列)、裁剪(以避免必须显示所谓的“信箱”以及改善屏幕区域的使用)、拼接、混合或纠正视频流的图像帧中的曝光。应进一步注意，还存在这样的实施例，其中用户可以指定最终的被去扭曲图像帧中的叠加的位置，而不是简单地使用与叠加在由VMS接收的原始图像帧中的相同的位置。

本发明可以是任何可能的技术细节集成级别的系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，该计算机可读存储介质上具有计算机可读程序指令，用于使处理器实现本发明的各个方面。

计算机可读存储介质可以是可保持和存储由指令执行设备使用的指令的有形设备。例如，计算机可读存储介质可以是但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任意合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、记忆棒和前述的任意合适的组合。如本文中使用的，计算机可读存储介质不被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(诸如，穿过光纤电缆的光脉冲)或通过电线传输的电信号。

本文中描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备或经由网络(例如，因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网间连接计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令，并转发计算机可读程序指令，以存储在相应的计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令，机器相关指令、微代码、固件指令、状态设置数据、用于集成电路的配置数据，或者以一种或多种编程语言的任意组合编写的源代码或目标代码，该编程语言包括诸如Smalltalk、C++等的面向对象的编程语言以及诸如“C”编程语言或类似编程语言的过程编程语言。计算机可读程序指令可以完全地在用户的计算机上执行，部分地在用户的计算机上作为独立的软件包执行，部分地在用户的计算机上且部分地在远程计算机上执行，或者完全地在远程计算机或服务器上执行。在后一种场景下，远程计算机可通过包括局域网(LAN)或广域网(WAN)的任何类型的网络而连接到用户的计算机，或者可连接到外部计算机(例如，使用互联网服务提供商通过互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息使电子电路个性化来执行计算机可读程序指令，以执行本发明的各方面。

本文中参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图说明和/或框图描述本发明的各个方面。将理解，流程图说明和/或框图的每个块以及在流程图说明和/或框图中的块的组合可通过计算机可读程序指令实现。

这些计算机可读程序指令可被提供至通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得当由计算机或其他可编程数据处理装置的处理器执行该指令时，创建实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在可引导计算机、可编程数据处理装置和/或其他设备以特定方式运行的计算机可读存储介质中，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的方面的指令。

计算机可读程序指令还可被加载到计算机、其他可编程数据处理装置或其他设备上，以使得要在计算机、其他可编程装置或其他设备上执行的一系列操作步骤产生计算机实现的过程，使得在计算机或其他可编程装置或其他设备上执行的指令实现在流程图和/或框图的一个或多个框中指定的功能/动作。

附图中的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。就这一点而言，流程图或框图中的每个框可表示包括用于实现指定的逻辑功能的一个或多个可执行指令的指令的模块、段或部分。在一些可替代的实施方式中，框中提到的功能可以以不按照附图中提到的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可基本上同时执行，或者各个框有时可以以相反的顺序执行。还应该注意的是，框图和/或流程图说明中的每个框以及框图和/或流程图说明中的框的组合可由执行指定的功能或动作或实现专用硬件和计算机指令的组合的、基于专用硬件的系统来实施。

出于说明的目的已经呈现了对本发明的各种实施例的描述，但是并不旨在穷尽的或受限于所公开的实施例。在不脱离描述的实施例的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员将是显而易见的。选择本文中使用的术语是为了最好地解释实施例的原理、实际应用或对市场中发现的技术的技术改进，或者使本领域的其他普通技术人员能够理解本文中公开的实施例。

Claims (12)

1.一种用于显示视频的方法，包括：

由视频管理系统接收包括多个图像帧的视频流，其中至少一些图像帧包括叠加；

由所述视频管理系统确定图像帧内的所述叠加的位置；

由所述视频管理系统将图像调整功能应用于所述图像帧以创建调整后的图像帧，其中通过从所述图像帧复制所述叠加、空间地重新排列所述图像帧的像素以及将所复制的叠加插入到具有空间地重新排列的所述像素的所述图像帧中，或者通过空间地重新排列所述图像帧的不形成所述叠加的部分的像素，所述图像调整功能使用所确定的所述叠加的位置来调整所述图像，同时保持所述叠加的外观基本不变；并且

显示包括所述调整后的图像帧的所述视频流。

2.根据权利要求1所述的方法，其中应用所述图像调整功能包括空间地重新排列所述图像帧的像素以及改变所述图像帧中的像素的值中的一个或多个。

3.根据权利要求1所述的方法，其中所复制的叠加在与所述叠加从所述图像帧被复制的位置基本相同的位置处被插入。

4.根据权利要求1所述的方法，其中所述图像调整功能为去扭曲功能、曝光校正功能和裁剪功能中的一个。

5.根据权利要求1所述的方法，其中所述视频流和所述叠加从监控摄像机实时地被接收。

6.根据权利要求1所述的方法，其中所述视频流和所述叠加从视频服务器被接收。

7.根据权利要求1所述的方法，进一步包括：

由所述视频管理系统并且与所述视频流分开地接收所述视频流中的所述叠加的位置信息。

8.根据权利要求7所述的方法，其中所述位置信息包括所述视频流中的所述叠加的所述位置的归一化坐标。

9.根据权利要求1所述的方法，进一步包括：

接收用户输入，所述用户输入指定在具有空间地重新排列的所述像素的所述视频流中的所述叠加的位置。

10.一种用于显示视频的系统，包括：

存储器；以及

处理器，

其中所述存储器包含当由所述处理器执行时使所述处理器实施方法指令，所述方法包括：

由视频管理系统接收包括多个图像帧的视频流，其中至少一些图像帧包括叠加；

由所述视频管理系统确定图像帧内的所述叠加的位置；

由所述视频管理系统将图像调整功能应用于所述图像帧以创建调整后的图像帧，其中通过从所述图像帧复制所述叠加、空间地重新排列所述图像帧的像素以及将所复制的叠加插入到具有空间地重新排列的所述像素的所述图像帧中，或者通过空间地重新排列所述图像帧的不形成所述叠加的部分的像素，所述图像调整功能使用所确定的所述叠加的位置来调整所述图像，同时保持所述叠加的外观基本不变；并且

显示包括所述调整后的图像帧的所述视频流。

11.一种用于显示视频的计算机程序产品，所述程序包含与以下步骤对应的指令：

由视频管理系统接收包括多个图像帧的视频流，其中至少一些图像帧包括叠加；

由所述视频管理系统确定图像帧内的所述叠加的位置；

由所述视频管理系统将图像调整功能应用于所述图像帧以创建调整后的图像帧，其中通过从所述图像帧复制所述叠加、空间地重新排列所述图像帧的像素以及将所复制的叠加插入到具有空间地重新排列的所述像素的所述图像帧中，或者通过空间地重新排列所述图像帧的不形成所述叠加的部分的像素，所述图像调整功能使用所确定的所述叠加的位置来调整所述图像，同时保持所述叠加的外观基本不变；并且

显示包括所述调整后的图像帧的所述视频流。

12.一种包括如权利要求11所述的计算机程序的数字存储介质。