CN108701392A

CN108701392A - 用于执行监视的方法和装置

Info

Publication number: CN108701392A
Application number: CN201780013173.9A
Authority: CN
Inventors: 拉斯托姆·阿迪·坎加; 艾维·莱·春·李
Original assignee: Ai Om Nissen Te Private Ltd
Current assignee: Ai Om Nissen Te Private Ltd
Priority date: 2016-02-26
Filing date: 2017-02-27
Publication date: 2018-10-23
Also published as: AU2022246412A2; US20190051127A1; US11670147B2; JP2019513275A; EP3420544A4; AU2022246412A1; AU2017222701A1; WO2017143407A1; EP3420544B1; EP3420544A1; JP7036493B2

Abstract

本发明涉及一种用于处理视频图像数据的方法和装置，以便将不同类型的处理应用于视频图像数据的不同方面。检测过程布置成检测在图像设备正在观看的场景中出现或发生的项目、对象或事件。图像数据过程响应于对象或事件的检测并且控制信息以处理与场景的其余部分相关联的图像数据不同的项目或事件出现或发生的一部分场景的图像数据。例如，对象可以是人的面部，并且可以处理面部图像数据以产生高分辨率数据，以低分辨率提供场景的其余部分。这节省了处理、传送和存储。

Description

用于执行监视的方法和装置

技术领域

本发明涉及一种用于处理图像数据的方法和装置，并且具体地但非排他地，涉及一种用于监视场景的方法和装置，其布置成取决于存在或发生在场景中的项目或事件来处理场景的视频图像数据。

背景技术

现有的视频监视装置包括摄像机和处理设备(例如计算装置)以获得图像数据，处理图像数据并将其传送到终端用户设备用于呈现视频。可替代地或另外地，计算装置可以存储图像数据以供用户设备稍后查看。

处理高分辨率图像数据需要大容量资源。如果要存储和/或传送来自高分辨率摄像机的整个图像数据流，则需要高带宽和存储容量系统。这可能是监视中的主要问题，或涉及摄像机的任何应用，例如闭路电视摄像机、观察场景、以及高分辨率摄像机长时间监视场景的情况。

存储和/或传送高分辨率图像的所有图像数据可能是非常昂贵的。

为了减少对资源的滥用，可以使用各种图像数据处理技术。一个很好用的图像数据处理技术是仅确定在场景中发生的变化(移动检测)并且仅传送场景中的移动或变化。以规则的间隔，可以传送包括背景的整个帧。然而，即使使用这种已知技术，存储和/或传送高清晰度所需的所有数据所需的资源也是价格昂贵的。

本申请人已经开发了早期系统，其捕获场景的高分辨率图像流和低分辨率图像流。监视低分辨率图像流以检测对象或事件。在检测到低分辨率图像流中的对象或事件时，从高分辨率图像流捕获对应区域，从而以高分辨率获得检测到的对象或事件。该发展在申请人的早期澳大利亚专利号2009243916中描述，其内容通过引用并入本文。

进一步改进监视系统是需要的。

发明内容

根据第一方面，本发明提供了一种用于处理图像数据的装置，包括计算装置，该计算装置具有处理器、存储器和操作系统，所述操作系统支持计算机过程；图像数据过程，布置成接收场景的图像数据；检测过程，布置成检测在场景中出现或发生的项目/对象或事件，并且图像数据过程响应于项目或事件的检测以处理与场景的其余部分相关联的图像数据不同的项目或事件出现或发生的一部分场景的图像数据。

因此，在实施例中，与场景的部分相关联的图像数据(与场景中发生的项目或事件相关联)可以与场景的其余部分相关联的图像数据不同地处理。例如，计算装置可以布置用于识别面部。识别场景中出现的面部，并且然后不同于其他图像数据地处理与这些面部相关联的图像数据。例如，可以将不同的压缩率应用于与面部相关联的图像数据。可以应用任何其他处理。

例如，在实施例中，可以采用导致相对高的分辨率的压缩率处理与面部有关的图像数据，并且可以采用导致相对低的分辨率的压缩率处理其余的图像数据。这具有不必以高分辨率存储和/或传送整个场景的优点。仅以高分辨率传送和/或存储包含重要所需信息的场景部分(例如，包含面部的部分)。这充分地节省了传送和/或存储容量。

场景可以具有可以采用不同方式处理的多个项目或事件，例如，以不同的速率压缩。这有利地使得被认为重要的项目和事件能够与场景的其余部分不同地处理并且节省传送和/或存储容量，同时确保提供重要细节，例如，在高分辨率。

在实施例中，图像数据过程可以布置成通过改变压缩率、压缩类型、分辨率、帧速率或任何其他类型的处理来处理图像数据。

在实施例中，“背景”场景可以被设置为以较低分辨率记录。在实施例中，“背景”是随时间变化较小的场景部分，例如，非移动项目。在该实施例中，可以以更高的分辨率处理前景(例如，移动对象和更快速地改变的其他项目)。另外，可以以甚至更高的分辨率处理指定的“重要”项目或事件(例如，面部)。因此，该系统可以布置成优化数据处理，同时仍然提供关于“重要”选定事件和项目的详细信息。事件可能包括任何事件，例如摔倒的人、绘画涂鸦的人或任何其他事件。围绕这些事件的视频数据可以与其他视频数据不同地处理。可以不同地捕获和处理任何事件或对象。

在实施例中，该装置包括编辑过程，该编辑过程可以被实现为编辑所选信息。例如，可以编辑所识别的人的面部，可以在该过程期间编辑所识别的项目等。然后可以将面部存储在单独的安全数据库中。在实施例中，在授权人员使用适当的密钥访问系统的情况下，他们可以反转编辑过程。在反转过程中，系统从安全数据库中检索高分辨率图像，并基于元数据信息将其插入图像的适当部分。

在实施例中，该装置包括元数据过程，该元数据过程布置成处理图像数据以产生项目、事件等的元数据。元数据过程可以产生整个项目或对象的元数据，被认为是“元对象”。元数据可以与所处理的图像数据一起传送和/或存储。在实施例中，检测过程可以包括识别过程，该识别过程布置成识别对象/项目和/或事件。然后可以根据识别过程产生元数据以识别对象/项目或事件。例如，可以识别人，并且元数据可以包括人的姓名。应当理解，这种元数据在例如安全系统中可能非常有用。

在实施例中，可以通过不同的处理(例如，以提供更高分辨率的压缩率)来保存或传送对象或项目，以及可以定义图像内的对象/项目的轮廓或位置的元数据。该“元对象”可用于补充视频监控系统(VMS)，其中VMS可能已经以低分辨率记录了整个图像。这是视频监控系统经常发生的事情，其中所有内容都以低分辨率记录。例如，系统可以能够在低分辨率图像的适当部分处将元对象叠加在低分辨率图像上，使得以高分辨率显示元对象。该装置可以使用户例如能够指定他们希望以高分辨率观看的对象，并且利用元数据轮廓，以高分辨率从存储器中取出元对象。

在实施例中，可以对与场景的部分相关联的多个图像数据部分应用多个不同的处理。例如，可以将不同的压缩率应用于与场景中的不同项目或事件相关联的图像数据。

在实施例中，该装置包括控制过程，该控制过程布置成设置参数用于识别过程以根据参数识别项目或事件。例如，参数可以包括项目是“面部”，或“车辆”或任何对象。参数可以限定：事件是特定事件，例如“移动通过场景的红色车辆”。红色车辆将通过识别过程被识别，并且不同的图像处理应用于与移动通过场景的红色车辆相关联的图像数据。可以将任何控制参数应用于识别过程。在实施例中，控制过程还布置成控制由图像数据提供的处理，即用于不同项目、不同事件的不同压缩率、不同帧速率、不同类型压缩等。

在实施例中，可以将控制数据提供给用于操作的控制过程。在实施例中，控制数据可以作为来自用户设备的用户监视控制数据提供。然而，本发明的这个方面不限于由用户提供的控制数据。在另一个替代方案中，它可以预先设置用于该设备。它可以由管理员设置。

根据第二方面，本发明提供了一种处理图像数据的方法，包括以下步骤：接收场景的图像数据，检测在场景中出现或发生的项目或事件，以及响应于项目或事件的检测，处理与场景的其余部分相关联的图像数据不同的项目或事件出现或发生的一部分场景的图像数据。

根据第三方面，本发明提供了一种计算机程序，包括用于控制计算机以实现根据本发明第十一方面的装置的指令。

根据第四方面，本发明提供了一种计算机可读介质，其提供根据本发明第三方面的计算机程序。

根据第五方面，本发明提供了一种数据信号，包括根据本发明第三方面的计算机程序。

根据第六方面，本发明提供一种用于处理图像数据的装置，包括计算装置，该计算装置具有处理器、存储器和操作系统，该操作系统支持计算机过程；控制过程，布置成接收用户监视控制数据；图像数据过程，布置成接收图像数据；图像数据过程响应于控制过程，以根据从控制数据获得的监视参数选择性地处理图像数据。

在实施例中，图像数据是由监视设备监测的场景。在实施例中，从监视设备接收图像数据。

在实施例中，从存储设备接收图像数据，或从网络接收图像数据。

在实施例中，监视参数包括基于事件的感兴趣的一个或多个对象、一个或多个特定对象、感兴趣区域、场景前景、可变分辨率/帧速率，基于重要性/优先级的部分。监视参数可以包括任何其他参数。

在实施例中，用户监视控制数据可以由终端用户提供。在实施例中，用户监视控制数据是从用户设备提供的。

在实施例中，该装置具有以下优点：终端用户可以提供输入以配置图像数据处理参数。例如，终端用户可能想要查看特定场景中的面部，并且可以生成监视控制数据以指示用户希望识别面部。然后，该设备可以相应地处理图像数据。例如，它可以识别它认为是面部的对象，并以高分辨率提供该图像数据，以相对低的分辨率提供其他图像数据。在实施例中，用户能够通过控制数据配置系统以实现任何监视参数。

在实施例中，控制数据可以包括可以存在于由监视设备监测的场景中的项目的项目标识符。例如，项目可包括“车辆”、“面部”、“汽车”或任何其他项目。

在实施例中，控制数据可以包括项目属性，例如，项目的颜色、项目的尺寸或项目的任何其他属性。

在实施例中，控制数据可以包括项目行为，例如，项目的移动、项目的速度或其他行为。

在实施例中，控制数据可以是由用户输入的语言语句的形式，并且控制过程布置成解释语言语句以向图像数据过程提供监视参数。例如，控制数据可以包括语言语句，例如“进入[项目行为]场景的任何红色[项目属性]车辆[项目标识符]”。控制数据可以包括任何其他语言语句。

在实施例中，该装置包括元数据过程，该元数据过程布置成处理图像数据以产生关于项目、项目属性和项目行为的元数据。可以通过控制数据(例如，项目标识符、项目属性、项目行为)访问该元数据，以基于控制数据实现视频的再现。在实施例中，如上所述，该装置包括识别过程，该识别过程布置成识别项目/对象或事件。在实施例中，产生与项目/对象或事件的识别有关的元数据。例如，元数据可以包括所识别的人的姓名。

因此，在实施例中，用户能够通过控制数据来配置系统，以取决于从控制数据获得的监视参数实现不同的压缩。用户还可以使用控制数据搜索图像数据。可以基于搜索参数(例如，包括项目标识符、项目属性、项目行为)来重建视频。

在实施例中，图像数据的选择性处理可以包括针对图像数据的不同方面实现不同的压缩。如果终端用户希望识别面部，例如，可以检测面部，或者可以检测被认为可能是面部的对象，并且这些对象的图像数据以与场景中的其他图像数据不同的速率来压缩。然后可以以可变压缩率传送和/或存储图像数据。

可以对图像数据应用不同的压缩技术，而不仅是不同的压缩率。

在实施例中，该装置包括用户控制界面，该用户控制界面使用户能够输入用户监视控制数据。用户控制界面可以经由例如控制终端的用户设备或例如平板计算机、智能电话、PC、膝上型计算机或任何其他计算设备的用户计算设备来实现。

在实施例中，图像数据过程布置成将图像数据分离为前景图像数据和背景图像数据，并且将前景图像数据与背景不同地处理。例如，可以以比背景数据更高的帧速率和/或不同的分辨率提供前景数据。除了根据监视控制数据选择性处理图像数据之外，这也可以完成，因此可以应用多种不同形式的处理。

在实施例中，控制数据可以确定图像数据过程是否将图像数据分离为前景和背景。因此，前景和背景处理可以预先配置，或者在用户控制下。

根据第七方面，本发明提供一种处理图像数据的方法，包括以下步骤：接收场景的图像数据，接收监视控制数据，以及根据由控制数据产生的监视参数，基于监视控制数据来处理图像数据。

在实施例中，从存储设备，或从网络接收图像数据。

在实施例中，监视参数包括基于事件的一个或多个感兴趣的对象、一个或多个特定对象、场景的前景、可变分辨率/帧速率，基于重要性/优先级的部分。监视参数还可以包括任何其他参数。

在实施例中，该方法包括处理图像数据以产生元数据的步骤。在实施例中，元数据包括关于场景中的项目、项目属性和项目行为的数据。在实施例中，该方法包括根据监视控制数据利用元数据以实现变化的图像处理的步骤。控制数据可以包括参考元数据的命令以控制图像处理。例如，控制数据可以指定特定项目(例如，面部)并且要求以高分辨率提供它。在实施例中，该方法包括根据控制数据利用元数据搜索图像数据的步骤。在实施例中，该方法包括重建由搜索处理定位的视频的步骤。

根据第八方面，本发明提供了一种计算机程序，包括用于控制计算机以实现根据本发明第六方面的装置的指令。

根据第九方面，本发明提供了一种计算机可读介质，提供了根据本发明第八方面的计算机程序。

根据第十方面，本发明提供了一种数据信号，包括根据本发明第八方面的计算机程序。

根据第十一方面，本发明提供一种用于处理图像数据的装置，包括计算装置，该计算装置具有处理器、存储器和操作系统，该操作系统支持计算机过程；图像数据过程，布置成接收图像数据；以及元数据过程，布置成处理图像数据以产生关于终端用户可能感兴趣的项目或事件的元数据。

在实施例中，元数据可以包括坐标数据或对象的其他位置数据。它可以包括对象图像的轮廓。在实施例中，元数据可以包括来自图像数据的项目或事件的任何特征。这些可能包括颜色、方向、速度和其他特征。该装置可以包括识别过程，该识别过程布置成识别对象或事件。例如，识别过程可以包括将成像的面部与存储的面部进行比较的软件(例如，面部识别过程)，以识别人。然后可以将人标识(例如姓名)提供为元数据。除了人之外，可以识别其他对象和/或事件。

在实施例中，元数据可以包括图像中的所识别的对象/事件的坐标或轮廓。这可以用于获取或传送对象/事件的高分辨率图像并将其叠加在先前可能已经收集的背景低分辨率图像上。可以获得该“元对象”或事件以查看人希望的更多细节。

根据第十二方面，本发明提供了一种处理图像数据的方法，包括以下步骤：接收场景的图像数据，并处理图像数据以产生关于终端用户可能感兴趣的项目或事件的元数据。

根据第十三方面，本发明提供了一种计算机程序，包括用于控制计算机以实现根据本发明第十一方面的装置的指令。

根据第十四方面，本发明提供了一种计算机可读介质，提供了根据本发明第十三方面的计算机程序。

根据第十五方面，本发明提供一种数据信号，包括根据本发明第十三方面的计算机程序。

附图说明

参考附图并仅通过示例的方式，通过以下对本发明实施例的描述，本发明的特征和优点将变得显而易见，其中：

图1是根据本发明实施例的用于执行监视的装置的示意框图；

图2是可用于实现图1的监视装置的示例计算装置的示意框图；

图3是示出本发明实施例的操作的示意流程图；

图4是示出本发明实施例的操作的实现的另一流程图；

图5是示出本发明实施例的操作的流程图；

图6是示出本发明实施例的操作的流程图；

图7是示出本发明实施例的操作的流程图；

图8到图10是示出本发明实施例的操作的示例视频图像；

图11是可以根据本发明实施例使用的集中式架构的示意框图；

图12是根据本发明实施例的装置的分布式架构的示意框图，以及

图13示出了用于本发明实施例的更通用的总体架构。

具体实施方式

参考图1，示出了用于处理视频数据的装置，通常由附图标记100表示。该装置包括计算装置，在该示例中，计算装置包括数据管理服务器114和检测及识别引擎109，它们被布置成实现图像数据过程，所述图像数据过程用于处理从监视设备102接收的图像数据。在该示例中，监视设备可以是聚焦在场景104上并从场景产生图像的高分辨率摄像机，将图像数据107提供给计算装置100。

在该实施例中，检测及识别引擎109还被布置成实现检测过程，该检测过程布置成检测在场景中出现或发生的项目或事件。图像数据过程响应于项目或事件的检测，以处理不同于与其余场景相关联的图像数据的项目或事件出现或发生的一部分场景的图像数据。例如，如果监视特别涉及检测人的面部，则检测过程可以被布置成检测出现在场景中的面部。可以处理与面部相关联的图像数据以产生与图像的其余部分相比的高分辨率(即，以不同的压缩率处理)。因此，在该示例中，系统节省了需要发送和/或存储的数据量，但是以高分辨率存放了重要数据(面部)。

在该示例中，计算装置100还包括控制过程，所述控制过程布置成接收监视控制数据。图像数据过程响应于监视控制数据，以根据由控制数据实现的监视参数选择性地处理图像数据。

在该示例中，装置100包括数据处理控制引擎，该数据处理控制引擎实现控制过程并且布置成接收监视控制数据并根据监视参数实现图像数据的选择性处理。

在该示例中，经由客户端设备116、118、120产生用户控制数据。这些客户端设备可以包括任何用户设备，诸如终端、智能电话、膝上型计算机、PC或任何其他用户设备116、118、120。利用可以是网络(诸如因特网)的通信130，使得用户设备116、118、120可以访问计算装置100并提供监视控制数据。

在该实施例中，用户可以实现监视参数以使得能够集中于用户感兴趣的项目或事件。例如，他们可能希望专注于进入场景104的车辆。通过控制监视数据，他们告知装置100他们希望聚焦在进入场景104的任何车辆上。然后，装置100处理图像数据以专注于车辆。在一个示例中，它可以通过以高分辨率提供与车辆相关的图像和以低分辨率低提供与场景的其余部分相关的其余图像数据，来实现这一点。这可以被传送到用户设备116、118、120和/或存储在装置100中的数据库132中。因此，通过由检测识别引擎109实现的检测和识别过程来检测和识别进入场景的车辆，并且然后与车辆出现的场景的部分相关联的图像数据与场景的其余部分相关联的图像数据的处理不同。可以应用任何处理。在该示例中，处理与车辆相关联的图像数据以产生与其余部分的图像数据相比相对更高的分辨率。例如，在高数据、高分辨率摄像机102提供图像数据的情况下，与车辆相关联的图像数据以最高可用摄像机102分辨率存储和/或传送，并且与场景相关的其余图像数据以相对较低的分辨率存储/传送。这节省了数据的存储和/或传送。

计算机装置100可以包括单个计算机，所述单个计算机实现数据管理服务器114和检测及识别引擎109，以及数据库132，或者可以包括分离的计算机，一个计算机用于数据管理服务器114，且一个计算机用于检测及识别引擎109。在这种情况下，在检测识别引擎109和数据管理服务器114之间存在网络连接112。

装置100可以位于远离客户端系统116、118、120并远离摄像机102的点。可选地，它可以靠近摄像机102。摄像机102和装置100之间的连接107可以是高带宽连接以使高分辨率数据能够被传送。

在另一实施例中，检测及识别引擎109和数据处理控制引擎160可以在摄像机102处理装置中实现。在这种情况下，服务器114和检测识别引擎109之间的网络连接可以是宽带的，或者可以是低分辨率连接。如果低分辨率，则可以在检测识别引擎109中进行处理，以根据监视控制数据减少要发送到服务器的带宽信息。

图2是可用于实现装置100的示例计算装置的示意性框图。在检测及识别引擎109和数据管理服务器114是分离的情况下，可以使用根据图2的两个计算机。在它们在一起的情况下，根据图2的单个计算设备可能就足够。

计算机900可以包括服务器计算机、个人计算机、便携式计算机或任何其他类型的计算设备。它可以包括与监视设备102集成的计算硬件或与监视设备102分离的计算硬件。

计算机900包括合适的操作系统和用于实现本发明的该实施例的监视装置100的适当的计算机过程。

计算机900包括一个或多个数据处理单元(CPUs)902；存储器904，其可以包括易失性或非易失性存储器，例如各种类型的RAM存储器、磁盘、光盘和固态存储器；用户界面906，可包括监视器、键盘、鼠标和/或触摸屏显示器；网络或其他通信接口908，用于与其他计算机以及其他设备通信；以及一个或多个通信总线910，用于使系统900的不同部分互连。

计算机900还可以通过通信接口908访问存储在数据库914中的数据。数据库914可以是分布式数据库。数据库在图1中示出为132。

计算机装置的一部分或全部可以在“云”中实现。

本发明的该实施例通过适当的软件实现，该软件提供用于操作计算装置硬件的指令，以实现该实施例的装置和该实施例的方法。促进本发明的实施例的计算机过程可以实现为单独的模块，其可以共享例如例程和子例程的共同基础。计算机过程可以以任何合适的方式实现，并且不限于单独的模块。可以使用实现该功能的任何软件/硬件架构。

再次参考图1，数据管理服务器114布置成生成可以由客户端设备116、118、120访问的控制界面。控制界面可以包括控制菜单150，使用户能够输入监视控制参数，可以通过系统100从所述监视控制参数来生成监视控制数据以控制图像数据处理。控制参数可包括任何参数。参数可以实现非常精细的控制。

在该实施例中，监视控制数据可以使用户能够控制图像数据的压缩。例如，图像的一些部分可以以高分辨率提供，而一些部分以低分辨率提供。控制界面可以包括控制菜单，该控制菜单布置成从用户接收命令，用于控制例如压缩的图像处理参数。所述命令可以与控制场景的特定指定区域的压缩一样简单。例如，客户端可以指定出现在场景中的门口在图像处理中具有比周围图像更高的分辨率。另一命令可以控制图像处理以提供高分辨率的前景图像数据和低分辨率的背景，或例如较低的帧速率、较低的压缩。控制菜单可以包括能够特定控制图像数据的压缩的其他命令。

如上所述，可以对与场景的不同部分相关联的图像数据的不同部分应用不同的处理。可以对场景的不同组成应用不同的压缩类型、不同的分辨率、不同的帧速率。可以应用任何类型的处理。

如上所述，本实施例中的控制数据和控制过程可以设置用于识别过程的参数(由检测及识别引擎109实现)，以根据参数识别项目或事件，并且然后对与项目或事件相关联的图像数据应用不同的图像处理。检测及识别过程可以包括适当算法以识别项目或事件，与数据库132中存储的数据一致(例如，以将项目或事件与存储的项目或事件，例如面部、车辆等进行“匹配”)。

识别过程可能检测到多个事件或项目。与所述多个项目或事件相关联的图像数据可以与其余图像数据不同地处理，甚至可以不同于其他项目和事件的图像数据来处理。

检测及识别可以包括移动和非移动检测算法。参见申请人早先的国际申请WO2009/135253和WO034/044752，其内容通过引用并入本文。

可以通过将图像数据与存储在数据库132中的数据交叉引用来识别特定项目和对象，以便识别该项目。识别技术可以涉及面部识别、车辆牌照识别、或对象识别或其他形式的识别中的任何一种。

在该实施例中，检测及识别引擎包括元数据过程，该元数据过程包括软件和算法，其布置成从图像数据获得元数据。元数据是例如关于出现在场景中的对象、项目、事件的数据。元数据可以包括项目的标识、项目的尺寸、移动、颜色、任何其他特征或行为。

控制数据包括可以利用元数据来影响图像处理的命令。例如，控制数据可以包括例如“以高分辨率提供所有红色对象”的命令。该命令将影响图像处理以识别该对象并以高分辨率提供它们。可以用其他命令应用更精细的控制，例如“任何进入场景的红色车辆”将导致以高分辨率提供红色车辆的图像。

通过控制菜单150，用户可以为用户监视参数提供精细控制规则。例如，诸如以下的精细控制指令可以从客户端116、118、120发送到数据管理服务器114并发送到数据处理控制引擎160，以控制检测及识别引擎来观察，并提供不同的压缩(例如，更高的分辨率)：

●进入场景的任何车辆

●进入场景的任何红色车辆

●车辆，但不是卡车或自行车

●任何倒下的人

●放弃行李并走开的人的面部

●进入场景的每个人的面部

●穿着白衬衫进入场景的每个人的面部。

可能有更多控制参数可以生成控制数据。因此，用户可以通过控制界面150对监视参数进行非常精细的控制。

除了根据控制命令改变压缩之外，控制菜单还可以用于搜索具有特定属性或行为的项目。例如，用户可能希望在特定项目或事件发生时被警告。例如，当一个人跌倒时，他们可能需要警报。控制菜单使得命令的设置能够来执行此操作。此外，可以以高分辨率(不同压缩)提供跌倒的人的图像。

控制界面还可用于在事件之后搜索存储在数据库132中的视频。搜索命令可以是“在特定日期之间进入场景的任何车辆”。数据管理服务器将根据命令访问处理过的视频并返回视频。可以以高分辨率提供一个或多个车辆。因此，用户可以控制图像处理的多个方面。它们可以以精细的方式控制图像的压缩，确定场景中出现的项目、对象和事件的不同压缩率。他们可以监控当其出现时的视频，他们可以搜索以前存储的视频。另一替代方案是数据管理服务器将根据控制指令提供警报，并且用户可以随后访问视频或者视频配备有警报。

更详细地，监视摄像机102可以是布置成产生数字或模拟图像流的任何类型的电子摄像机。在监视摄像机102输出模拟图像流的情况下，图像流由模数转换器转换成数字输出。尽管可以使用任何其他类型的摄像机，摄像机102可以是具有超过1兆像素的像素分辨率的任何IP摄像机。

在该实施例中，监视区域104的一般场景可以具有一个或多个感兴趣区域106。这些可以定义将针对项目、事件或任何其他特定主题特别监控的区域。例如，这些区域可以是交叉口、禁止停车区、走廊、柜台、安全入口或出口或任何其他需要监控的区域。在该实施例中，高分辨率图像数据流107被传送到装置100。在其他实施例中(例如，参见上面引用的申请人的早期专利申请)，数据流107可以包括具有不同压缩率的多个图像流并提供不同的分辨率

检测识别引擎109布置成接收图像数据107并根据图像数据过程来处理图像数据。由检测及识别引擎109实现的图像数据过程能够实现诸如编辑、移动检测、非移动检测，对象、面部或任何其他项目的检测，或进行任何其他处理的功能。

在一示例中，图像处理包括检测及识别过程，其检测异常动作、事件或检测感兴趣区域106内的对象。然后，其处理与检测区域相关联的图像数据以进一步识别该动作、事件或对象可能是什么。

在上面引用的申请人的早期申请中，一旦检测到该区域的用于识别的高分辨率数据流，则使用低分辨率数据流来检测异常动作、事件或对象。

数据管理服务器114存储和核对从检测及识别引擎109接收的数据。例如，服务器114可以将标记为已经检测具有异常动作或对象的图像数据存储到数据库132中，该数据库132映射到与被认定的主题以及检测到的异常行为的时间戳相关的任何特定数据。然后，客户端设备116、118、120可以随后访问该数据。客户端设备116、118、120从服务器114接收关于异常动作、项目等的检测的信息，并且将相应地对该信息起作用。这可以简单地是客户端设备的用户的警报或者向设备传输性质或检测的触发。客户端设备还可以向管理服务器发送请求，以指定所期望的场景和感兴趣的区域以及其他信息。

在该实施例中，用户经由客户端设备116、118、120和通信130能够以监视控制数据的形式经由控制菜单150向数据管理服务器114提供用户监视参数。监视控制数据由数据处理控制引擎160实现，以通过数据检测及识别引擎109来控制图像数据过程。

用户能够通过其控制菜单150配置图像数据处理。

如上所述，用户可以非常精细地控制图像数据如何处理。例如，他们可能希望处理图像数据以强调他们可能感兴趣的项目和/或事件。例如，如果他们想要看到任何“进入场景的红色车辆”，则检测及识别引擎将首先检测移动。然后，它将处理发生移动的场景的部分以识别车辆并且还查看由像素提供的颜色以确定车辆是否是红色。然后，可以以与场景的其余部分的图像数据不同的速率压缩移动中的红色车辆的图像数据，使得以高分辨率显示移动中的红色车辆。然后，该数据可以存储在数据库132中和/或转发到客户端设备116、118、120以供查看。还可以发出警报，使得用户知道红色车辆已进入并移动到场景中。

因此，使用控制菜单并生成监视控制数据，用户可以控制如何操作检测及识别引擎以及如何处理图像数据。他们可以选择项目、对象，甚至可以确定他们想要实现的处理类型。例如，他们可能更喜欢以高分辨率向他们提供所有移动的对象。或者他们可能更喜欢以高分辨率提供的由非移动检测来检测到的所有静止对象。用户可以确定要应用的处理类型。例如，他们通常可以改变帧速率或分辨率。用户基本上可以选择他们可能需要的任何类型的处理或重点。

处理可以包括不同的压缩率，它可以包括不同类型的压缩。它可能包括任何类型的处理。不同类型的压缩、不同压缩率的其他不同类型的处理可以用于场景的不同部分(与场景的不同部分相关联的图像数据)，例如取决于场景内识别的项目或事件。

例如，可以实现多级压缩。例如，面部分辨率非常高，身体其他部分分辨率中等，并且背景分辨率最低。

图像处理可以通过时间表来修改。例如，从9到5，可以实现一种类型的压缩，并且在晚上可能存在不同的规则集。

单独地，在该实施例中，图像数据过程布置成将图像数据分离为前景图像数据和背景图像数据，并且在背景数据中以更高的帧速率和更高的分辨率处理前景图像数据。在其他实施例中，这可以在用户的控制下完成。

背景分离处理在申请人的早期专利申请(国际专利申请公开号WO03/044752和相应的美国专利号7688997)中描述。这些文献的内容通过引用并入本文。该文献还公开了非移动检测过程和系统的示例。如本领域技术人员将理解的，本发明的实施例将以任何类型的移动或非移动检测算法操作。

参考图3，示出了根据本发明实施例的步骤的流程图。如上所述，用户通过其客户端设备116、118、120访问(步骤1)以输入监视控制参数。摄像机设备102捕获场景104的图像(步骤2)。数据处理控制引擎160确定监视控制参数(步骤3)并相应地通过检测及识别引擎控制图像数据过程(步骤4和步骤5)。存储或传送与图像数据相关联的图像数据和/或数据(步骤6)。在发生事件或识别出用户需要的对象的情况下，可以被实现通知警报(步骤7)。

在该实施例中，处理图像数据也产生元数据(步骤8)。元数据可以包括x-y坐标或所识别的每个对象的轮廓。可以发送此内容以将视频叠加到用户。可以发送任何其他元数据，例如颜色、方向、对象的速度。元数据可以存储在数据库132中(步骤9)。用户可以随时从数据库访问它。

通过他们的客户端设备，用户可以输入利用元数据的控制数据来控制图像处理和/或搜索所产生的视频。如上所述，用户输入的控制参数可以是自然语言命令的形式。例如，可以处理“进入场景的任何红色车辆”以产生车辆的高分辨率图像。以上给出了其他示例。

经由客户端设备116、118、130提供搜索菜单。搜索菜单170(图1)可以作为客户端设备上的应用来提供或者通过数据管理服务器114在web上服务。

参考图4，用户输入搜索问题(步骤1)以访问和搜索数据库132中的元数据(步骤2)。可以将元数据返回给用户(步骤3)并且还可以将视频返回给用户(步骤4)。

搜索菜单使得复杂问题能够被输入以搜索元数据和图像数据。例如，可以询问系统的问题是像“给我找到从上午9点到上午10点左转的所有红色车辆”。或者“当交通信号显示不允许左转时，给我找到从上午9点到上午10点左转的所有车辆”。

可以输入其他复杂问题。

在一些视频系统(VMS)中，至少以相对低的分辨率获得并存储所有视频。在根据本发明的实施例，事件/对象以更高分辨率分开存储的情况下，该装置可能能够访问低分辨率的存储数据，并使用元数据请求更高分辨率图像被叠加在低分辨率图像上。例如，可以在捕获的低分辨率数据的低分辨率的面部上叠加高分辨率的面部。

高分辨率图像可以被认为是“元对象”。用户可以获得元对象以将更高分辨率的图像叠加到可能已经获得的低分辨率图像上。

该实施例还可以在处理图像数据时实现编辑过程。可以对图像的某些区域进行编辑，并将焦点放在其他区域。这可以基于用户的权限级别。一些用户可能会收到编辑图像，而其他用户可能不会。编辑可以在“前端”发生，即图片及识别引擎109可以被编程为识别和编辑图像中的各种对象/事件。例如，可以识别各种已知的人以及编辑他们的面部。在其他实施例中，编辑可以在后续的后处理中发生。

检测及识别引擎109布置成通过与数据库交叉引用图像数据来识别特定对象，以便识别对象。在这种情况下，识别引擎是编程软件，能够实现算法以识别面部、车辆牌照、对象识别或其他形式的识别算法。

在上述实施例中，可以利用控制数据和控制过程来允许用户输入来控制图像处理。在其他实施例中，该装置可以预设有图像处理参数，并且没有最终用户控制。然而，图像处理参数可能是复杂的，允许识别多个项目和事件，以及多个图像处理响应。

本发明不限于监视。它可以应用于其他图像处理领域。

在上述实施例中，仅示出了单个摄像机102和场景104。可能有许多摄像机与检测及识别引擎和数据管理服务器一起工作。此外，客户端可以访问许多服务器和检测识别引擎。

图5是示出本发明的实施例的操作的流程图。一个或多个摄像机102布置成获得场景的视频数据。在步骤1，来自一个或多个摄像机102的数据流被分成两个流。第一流是高分辨率视频流，且第二流是低分辨率视频流。在步骤2，处理低分辨率视频流以检测感兴趣的对象/事件。可以利用任何检测分析来实现检测。例如，可以实现非移动检测、移动检测、面部检测或任何其他类型的检测。有许多已知的检测分析可用于分析视频。

在步骤3，确定感兴趣的对象或事件的坐标。然后发送这些坐标用于处理相关的高分辨率图像流。

在步骤4，基于已经确定的坐标提取来自高分辨率图像流的高分辨率子图像。

在步骤5，将高分辨率子图像插入低分辨率视频流中。

在步骤6，最终视频以低分辨率存储和/或传送，而其中感兴趣的对象/事件处于高分辨率。

在步骤7，可以删除高分辨率图像/视频。也就是说，它们不需要存储，节省了处理。

图6是示出如何根据本发明实施例实现编辑过程的流程图。

在某些情况下，某些图像可能需要编辑。这可能取决于观看图像的终端用户的权限，或者可能仅仅是要求，这取决于正在观看的对象/事件。例如，在某些情况下，为了保持隐私，可以编辑人员或特定人员的面部以使其无法被识别。

高分辨率摄像机102获得场景的图像数据并提供图像数据用于在图像流中进行处理。

在步骤1，图像流被分成高分辨率视频流和低分辨率视频流。

在步骤2，检测感兴趣的对象/项目或事件。在该实施例中，可以检测感兴趣的人的面部和车辆牌照。然而，在实施例中可以检测到任何对象或事件。

在步骤3，确定检测到的感兴趣的面部和车辆牌照的坐标并将其发送用于高分辨率图像的处理。

在步骤4，基于从高分辨率视频流接收的坐标提取高分辨率子图像。

在步骤5，将这些高分辨率子图像存储到数据库132中，数据库132存储子图像以及坐标。

在步骤6，取决于编辑规则，编辑用户要观看的图像，使得子图像的坐标区域被遮挡或以其他方式编辑。

在步骤7，删除高分辨率视频。

图7是示出根据本发明实施例的编辑反转过程的流程图。

在步骤1，以低分辨率获得编辑的视频。

在步骤2，确认用户对编辑反转的权限。

在步骤3，基于编辑图像的坐标，从数据库132中提取高分辨率子图像。

在步骤4，可以将来自数据库的高分辨率子图像替换到视频中。

图8、图9和图10示出了本发明的实施例的示例输出。在该实施例中，该装置布置成检测面部并以与来自场景的其余图像数据相比相对高的分辨率提供面部。

图8示出了由高分辨率摄像机获得的场景的高分辨率图像。如前所述，以高分辨率传送所有图像和所有视频的所有视频数据的传送是价格昂贵的。类似地，以高分辨率存储该数据是非常昂贵的。

图9显示了相对较低分辨率的相同图像。应当理解，这种低分辨率图像虽然满足传送和存储要求，但可能不足以例如从他们的面部识别图像中的人。

图10示出了相同的图像，其中已经根据本发明的实施例处理了图像数据。可以看出，大部分图像是低分辨率的，但是人的面部已经被检测到并以高分辨率提供。这折中并优化需要被传送和/或存储的数据。

图11是可以由根据本发明实施例的装置实现的集中式架构的示意图。在该实施例中，摄像机102直接连接到本地中央服务器200。利用该装置可以节省数据存储，因为并非所有视频数据都需要被存储(如上所述)。

图12示出了分布式架构实施例。压缩由摄像机端的处理器300完成。然后远程传送和存储数据，例如在云400中。

图13示出了实施例的更通用的架构。可以连续查看VMS 600中记录的信息。关键事件的信息可以以所需的高分辨率独立显示。如图13(601和602)所示，结果在双监视器上描绘。双监视器的优点是第一个(602)可以用作主要用户界面。第二个可以提供详细信息，例如特殊报告来显示使用各种识别系统在多个摄像机上计数或者对人或车辆的潜在匹配。

高分辨率图像通常比低分辨率图像覆盖更大的区域。这是因为每个图像中的像素倾向于以相同的密度打包，因此具有更多像素的图像覆盖更大的区域。

当人们试图将高分辨率子图像(例如，脸部)施加到低分辨率图像上时，这可能产生挑战。如果在通常呈现的视图中执行此任务，则经由等于分辨率差异的因子，面部将显示为比身体其余部分不成比例地大。

为了补偿这一点，在本发明的实施例中，解压缩并呈现低分辨率图像，例如以便覆盖与高分辨率图像相同的区域。这是通过将低分辨率图像中的像素间隔到低于正常密度来实现的。

应当理解，本发明的实施例可以通过各种硬件和软件架构来实现。通用计算机可以被编程成实现加密处理的实施例。硬件架构不限于通用计算机或服务器，而是可以实现任何架构，包括客户端服务器架构、中央处理单元/终端架构或任何其他架构。该系统可以利用移动设备来实现，例如平板计算机和膝上型计算机，或专用的定制架构。软件可用于对处理器进行编程，以实现本发明的实施例。可编程硬件可用于实现实施例，例如现场可编程门阵列、可编程门阵列等。

在使用软件来实现本发明的情况下，可以在例如磁盘的计算机可读介质上、或同样例如因特网的网络上的数据信号、或者以任何其他方式提供软件。

在实施例中，可以提供已经预先编程以实现本发明的实施例的硬件架构。

在随后的权利要求和在本发明的前述描述中，除非上下文由于明确的语言或必要的含义而另外要求，否则词语“包括”或例如“包括”或“包含”的变体以包含的含义使用，即指定所述特征的存在但不排除在本发明的各种实施例中存在或添加其他特征。

本领域技术人员将理解，在不脱离广泛描述的本发明的精神或范围的情况下，可以对具体实施方案中所示的本发明进行多种变化和/或修改。因此，本实施例在所有方面都被认为是说明性的而非限制性的。

Claims

1.一种用于处理图像数据的装置，包括计算装置，所述计算装置具有处理器、存储器和操作系统，所述操作系统支持计算机过程；图像数据过程，布置成接收场景的图像数据；过程，布置成检测出现或者发生在场景中的项目或事件，并且所述图像数据过程响应于项目或事件的检测以处理与所述场景的其余部分相关联的所述图像数据不同的项目或事件出现或发生的一部分场景的图像数据。

2.一种处理图像数据的方法，包括以下步骤：接收场景的图像数据，检测在所述场景中出现或发生的项目或事件，以及响应于项目或事件的所述检测，处理与所述场景的其余部分相关联的所述图像数据不同的所述项目或事件出现或发生的一部分场景的所述图像数据。

3.一种计算机程序，包括用于控制计算机以实现根据权利要求1所述的装置的指令。

4.一种计算机可读介质，提供根据权利要求3所述的计算机程序。

5.一种数据信号，包括根据权利要求3所述的计算机程序。

6.一种用于处理图像数据的装置，包括计算装置，所述计算装置具有处理器、存储器和操作系统，所述操作系统支持计算机过程；控制过程，布置成接收用户监视控制数据；图像数据过程，布置成接收图像数据；所述图像数据过程响应于控制过程，以根据从所述控制数据获得的监视参数来选择性地处理所述图像数据。

7.根据权利要求6所述的装置，其特征在于，所述用户监视参数包括以下中的一个或多个：

一个或多个感兴趣的对象；

特定的对象；

场景的前景；

可变分辨率/帧速率/部分；

事件；

面部。

8.根据权利要求6或权利要求7所述的装置，包括用户控制界面，使用户能够输入用户监视控制数据。

9.根据权利要求6、7或8所述的装置，包括元数据过程，该元数据过程布置成处理所述图像数据以产生关于项目或事件的数据。

10.根据权利要求9所述的装置，其特征在于，所述用户监视控制数据包括通过所述元数据影响所述图像数据过程的控制的命令。

11.根据权利要求10所述的装置，其特征在于，所述控制数据包括自然语言命令。

12.根据权利要求6至11中任一项所述的装置，其特征在于，所述图像数据过程布置成将所述图像数据分离为前景图像数据和背景图像数据，并且将所述前景图像数据与所述背景图像数据不同地处理。

13.一种处理图像数据的方法，包括以下步骤：接收场景的图像数据，接收监视控制数据，以及根据由所述控制数据产生的监视参数，基于所述监视控制数据来处理图像数据。

14.一种用于处理图像数据的装置，包括：计算装置，所述计算装置具有处理器、存储器和操作系统，所述操作系统支持计算机过程；图像数据过程，布置成从监测场景的监视设备来接收图像数据；以及元数据过程，布置成处理图像数据以产生关于终端用户可能感兴趣的项目或事件的元数据。

15.一种处理图像数据的方法，包括以下步骤：从监测场景的监视设备接收图像数据，以及处理所述图像数据以产生关于最终用户可能感兴趣的项目或事件的元数据。

16.一种计算机程序，包括用于控制计算机以实现根据权利要求6至12或14中任一项所述的装置的指令。

17.一种计算机可读介质，提供根据权利要求16所述的计算机程序。

18.一种数据信号，包括根据权利要求16所述的计算机程序。