CN101375599A - 用于执行视频监视的方法和系统 - Google Patents

Abstract

在沉浸式监视系统中，来自大量摄像机和其它传感器的视频或其它数据由将数据覆盖在场景的渲染的2D或3D模型内的视频处理系统管理和显示。该系统具有配置成允许用户选择性地识别从其查看地点的观察点的观察点选择器。视频控制系统接收识别观察点的数据并基于观察点自动地选择正在生成与从观察点看到的视景有关的视频的多个摄像机的子集，并使来自摄像机的子集的视频传输到视频处理系统。当观察点改变时，与视频处理器通信的摄像机被改变以切换到生成与新位置有关的视频的摄像机。沉浸式环境中的播放是通过使视频的带有时间戳的记录同步来提供的。模型中的受约束的路径上的观察点的浏览或基于地图的浏览也被提供。

Description

用于执行视频监视的方法和系统

相关申请

本申请要求2004年6月1日提交的标题为“METHOD ANDSYSTEM FOR PERFORMING VIDEO FLASHLIGHT”的美国临时申请序列号60/575,895、2004年6月1日提交的标题为“METHOD ANDSYSTEM FOR WIDE AREA SECURITY MONITORING，SENSORMANAGEMENT AND SITUATIONAL AWARENESS”的美国临时专利申请序列号60/575,894以及2004年6月1日提交的标题为“VIDEOFLASHLIGHT/VISION ALERT”的美国临时申请序列号60/576,050的优先权。

技术领域

本发明一般涉及图像处理，并更具体涉及用于提供沉浸式监视的系统和方法，在该系统和方法中，通过将来自特定地点或环境中的许多摄像机的视频覆盖到场景的2D或3D模型上来管理来自这些摄像机的视频。

背景技术

沉浸式监视系统提供对某一地点处的安全摄像机系统的查看。沉浸式系统中的摄像机的视频输出被与该地点的渲染计算机模型结合。这些系统允许用户移动通过虚拟模型并查看自动呈现在包含从摄像机馈送的实时视频的沉浸式虚拟环境中的相关视频。这种系统的一个实例是2003年5月8日公开的美国公开专利申请2003/0085992中显示的VIDEO FLASHLIGHT^TM系统，将该申请引用在此作为参考。

这种类型的系统会遇到通信带宽的问题。沉浸式监视系统可由数十、数百乃至数千个所有均同时生成视频的摄像机构成。当以流的形式通过系统的通信网络传送或者当被传输到查看沉浸式系统的中心观察站、终端或其它显示单元时，这共同地构成了非常大量的流数据。为了容纳这样的数据量，必须提供大量电缆或具有大带宽量的其它连接系统以传送所有数据，否则该系统在数据传输速率的限制下就可能遇到问题，意味着对于安全人员潜在地具有重要意义的一些视频可能完全无法在观察站或用于显示的终端获得，从而降低了监视的有效性。

另外，较早的沉浸式系统不提供系统的视频的沉浸式播放，而是仅能让用户查看来自摄像机的当前视频，或者仅能重新播放先前显示的沉浸式影象而没有改变位置的任何自由度。

此外，在这样的系统中，用户通常通过采用鼠标或操纵杆控制他或她的观察点来基本没有限制地浏览。尽管这给用户赋予了调查和移动的极大自由度，但也在实质上会使用户在正在查看的场景中迷路，并且难以将观察点移回到有用的位置。

发明内容

因此，此处本发明的一个目的是提供用于沉浸式视频系统的系统和方法，其在这些方面改进了沉浸式视频系统。

在一个实施例中，本发明一般涉及用于提供通过将大量视频覆盖在场景的2D或3D模型内来管理大量视频的系统的系统和方法，特别是在诸如美国公开专利申请2003/0085992中显示的系统中，将该申请引用在此作为参考。

根据本发明的一方面，用于某一地点的监视系统具有多个摄像机，每个摄像机产生该地点的各部分的各视频。观察点选择器被配置成允许用户选择性地识别该地点中的观察点，从该观察点可查看该地点或该地点的一部分。视频处理系统与观察点选择器相连接以便从观察点选择器接收指示观察点的数据，并且与多个摄像机相连接以便从多个摄像机接收视频。视频处理系统可以使用该地点的计算机模型。视频处理系统从计算机模型渲染与从观察点看到的该地点的视景相对应的实时图像，在该实时图像中至少一个视频的至少一部分被覆盖到计算机模型上。视频处理系统向查看者实时地显示图像。视频控制系统接收识别观察点的数据并基于观察点自动地选择正在生成与从观察点看到的该地点的视景有关的由视频处理系统渲染的视频的多个摄像机的子集，并使来自摄像机的子集的视频传输到视频处理系统。

根据本发明的另一方面，用于某一地点的监视系统具有多个摄像机，每个摄像机生成各数据流。每个数据流包括一系列视频帧，每个视频帧与该地点的一部分的实时图像相对应，并且每个帧具有指示实时图像由相关摄像机产生的时间的时间戳。记录器系统接收和记录来自摄像机的数据流。视频处理系统与记录器相连接并提供记录的数据流的播放。视频处理系统具有在记录的数据流的播放期间渲染从该地点的模型的播放观察点看到的视景的图像的渲染器，并将该渲染器应用于来自与该视景有关的至少两个摄像机的记录的数据流。视频处理系统包括在播放期间从记录器系统接收记录的数据流的同步器。该同步器以同步的形式将记录的数据流分配给渲染器，使得每个图像采用所有均被同时拍摄的视频帧渲染。

根据本发明的另一方面，沉浸式监视系统具有多个摄像机，每个摄像机产生某一地点的各部分的各视频。图像处理器与多个摄像机相连接并从多个摄像机接收视频。图像处理器产生为基于该地点的模型的观察点渲染的并且与关于该观察点的多个视频结合的图像。显示装置与图像处理器相连接并显示渲染的图像。连接到图像处理器的视景控制器向图像处理器提供定义要显示的观察点的数据。视景控制器也与允许用户选择性地更改观察点的交互式浏览组件相连接并从该交互式浏览组件接收输入。

根据本发明的进一步的方面，提供了一种方法，其包括从输入装置接收数据，该数据指示对观察点和视景范围的选择以用于查看来自监视系统中的多个摄像机的至少一些视频。识别位于使摄像机能够生成与视景范围有关的视频的位置的一个或多个所述摄像机的子群。将来自摄像机的子群的视频传输到视频处理器。视频显示由视频处理器通过从地点的计算机模型渲染图像而生成，其中图像与从地点的观察点看到的视景范围相对应，在该图像中至少一个视频的至少一部分被覆盖到计算机模型上。图像被显示给查看者，并且使来自不在子群中的至少一些摄像机的视频不传输到视频渲染系统，从而减小正在传输到视频处理器的数据量。

根据本发明的另一方面，用于监视系统的方法包括在一个或多个记录器上记录系统的摄像机的数据流。数据流以同步格式被一起记录，并且每个帧具有指示实时图像由相关摄像机产生的时间的时间戳。存在着与记录器进行的通信以便使记录器向视频处理器传输摄像机的记录的数据流。接收记录的数据流并基于其时间戳使其帧同步。从输入装置接收数据，该数据指示对观察点和视景范围的选择以用于查看来自摄像机的至少一些视频。视频显示由视频处理器通过从地点的计算机模型渲染图像而生成，其中图像与从地点的观察点看到的视景范围相对应，在该图像中至少两个视频的至少一部分被覆盖到计算机模型上。对于每个渲染的图像，覆盖在其上的视频来自所有时间戳均指示相同时段的帧。图像被显示给查看者。

根据本发明的另一方法，摄像机的记录的数据流被传输到视频处理器。从输入装置接收数据，该数据指示对观察点和视景范围的选择以用于查看来自摄像机的至少一些视频。视频显示由视频处理器通过从地点的计算机模型渲染图像而生成。图像与从地点的观察点看到的视景范围相对应，在该图像中至少两个视频的至少一部分被覆盖到计算机模型上。图像被显示给查看者。接收指示观察点和/或视景范围的改变的输入。输入被约束，使得操作者仅能对新视景范围输入观察点的改变，这些改变是所有可能的改变的有限的子集。该有限的子集与通过该地点的路径相对应。

附图说明

图1显示出说明视频控制室中的传统操作模式如何转变成用于全局多摄像机可视化(global muti-camera visualization)和有效突破处理的可视化环境的示图；

图2示出了提供一整套工具来评估威胁的模块；

图3示出了在具有与DVR和PTZ单元的控制接口的高分辨率屏幕上呈现的视频覆盖；

图4示出了作为地图显示上的高亮图标和作为文本列表示图呈现给用户的信息；

图5示出了涂有颜色以指示警报是否活跃的区域；

图6示出了用于迅速覆盖具有几个摄像机或几百个摄像机的视频摄像机系统的可扩缩的系统体系结构；

图7示出了本发明的视景选择系统；

图8是本发明的系统中的同步的数据捕获、重新播放和显示的示图；

图9是在这样的系统中的数据集成器和显示的示图；

图10显示出由沉浸式视频系统使用的基于地图的显示；

图11显示出系统的软件体系结构。

为了便于理解，已经在可能的任何地方使用相同的附图标记来表示各图中共有的相同元件。

具体实施方式

对有效监视和安全军事设施或其它安全地点的需要比以往更为紧迫。有效的日常操作需要随同可靠的安全性和对周边突破与入口控制突破的有效响应而持续。基于视频的操作和监视正在越来越多地在军事基地和其它敏感地点被使用。

例如，在德国海德堡(Heidelberg)中的Campbell兵营，有54个安装的摄像机，并且在邻近的Mark Twain Village军事驻地，计划的基地将具有超过一百个的摄像机。当前的视频操作模式仅允许在TV监视器上查看视频的传统模式而无法了解环境的全局3D场境(context)。此外，基于视频的突破检测通常是不存在的并且视频可视化没有直接连接到突破检测系统。

VIDEO FLASHLIGHT^TM评估(VFA)、警报评估(AA)和基于视觉的警报(VBA)技术可用于：(i)通过将多个视频无缝地立体投影(multiplex)到环境的3D模型上来提供例如周边区域的全面性可视化，以及(ii)提供健壮的运动检测和其它智能警报，诸如周边突破、留下的目标和这些位置处的巡逻检测。

在本申请中，将参考称作VIDEO FLASHLIGHT^TM的沉浸式监视系统，其是可有利地应用本文中的发明的环境的示例，尽管应该理解的是，本文的发明可用在不同于VIDEO FLASHLIGHT^TM系统的系统中，从而产生类似的优点。VIDEO FLASHLIGHT^TM是这样的系统，在该系统中，即时视频被映射到地点的2D或3D计算机模型上并与地点的2D或3D计算机模型结合，并且操作者能够移动观察点通过场景并从场景空间中的多个观察点查看结合后的渲染影象和适当应用的即时视频。

在这种类型的监视系统中，摄像机可提供对所关心的区域的全面覆盖。视频被连续地记录。视频被无缝地渲染到机场或其它位置的3D模型上以提供全局场境可视化。基于视频的自动警报可检测例如门口和围栏处的安全突破。视频摄像机覆盖(Blanket of Video Camera)(BVC)系统将连续跟踪负责的个体并且将使安全人员能够随后在空间中沉浸式地浏览并在时间上倒回到安全突破的时刻并随后在时间上快进以跟随该个体直到当前时刻。图1显示出视频控制室中的传统操作模式如何转变成用于全局多摄像机可视化和有效突破处理的可视化环境。

总之，BVC系统提供以下功能。单个统一的显示显示出关于环境的3D模型无缝地渲染的实时视频。用户可自由地浏览通过该环境，同时查看来自关于3D模型的多个摄像机视频。用户可迅速和直观地在时间上回退并重新查看在过去发生的事件。用户可通过简单地在模型上点击以操纵一个或多个左右摇摄/上下摇摄/变焦拍摄摄像机对某一位置进行拍摄，来迅速获得事件的高分辨率的视频。

该系统允许操作者检测安全突破，并且其使操作者能够通过采用多个摄像机进行跟踪来跟随个体。该系统也使安全人员能够通过FA显示或作为存档的视频片段来查看当前位置和警报事件。

VIDEO FLASHLIGHT ^TM 和基于视觉的擎报模块

VIDEO FLASHLIGHT^TM和基于视觉的警报系统包括四个不同的模块：

视频评估(VIDEO FLASHLIGHT^TM渲染)模块

视觉告警警报模块(Vision Alert Alarm Module)

警报评估模块

系统健康信息模块

视频评估模块(VIDEO FLASHLIGHT^TM)提供集成接口以查看覆盖到3D模型上的视频。这使守卫者能够无缝地浏览通过大地点并迅速评估在大区域中发生的任何威胁。没有其它的命令和控制系统具有这种视频覆盖功能。系统覆盖来自固定的摄像机和PTZ摄像机的视频，并利用DVR(数字视频记录器)模块以记录和播放事件。

如图2中最佳示出的那样，该模块提供一整套工具来评估威胁。警报情况一般被分为3部分：

预评估：警报已经发生，并且有必要评估导致该警报的事件。竞争的技术使用DVR装置或预警报缓冲器来存储来自警报的信息。然而，预警报缓冲器经常太短，并且DVR装置通过使用复杂的控制接口仅显示来自一个特定摄像机的视频。另一方面，视频评估模块通过使用直观的GUI允许在任何即时时刻沉浸式地同步查看所有视频流。

即时评估：警报正在发生，并且需要快速定位显示该警报的即时视频，评估情况，以及快速响应。另外，需要同时监视围绕该警报的区域以检查额外的活动。大多数现有系统通过使用一组不同的监视器提供场景的视景，并且其花费时间和需要对场景的熟悉以便能够在摄像机视景之间切换以找到周围区域。

后评估：警报情况已经结束，并且所关心的点已经移出固定摄像机的视景范围。需要跟随所关心的点通过场景。VIDEOFLASHLIGHT^TM模块通过使用3D模型上的直观的鼠标点击控制而允许简单快速地控制PTZ摄像机。如图3中所示，视频覆盖在具有与DVR和PTZ单元的控制接口的高分辨率屏幕上被呈现。

输入和输出

VIDEO FLASHLIGHT^TM视频评估模块取得已经以已知的格式放入计算机存储器中的图像数据和传感器数据，取得在初始模型建立期间计算的姿态估计，并将其覆盖到3D模型上。总之，视频评估模块的输入和输出是：

输入：

来自位于已知位置的固定摄像机并以已知格式表示的视频；

来自PTZ摄像机位置的视频和位置信息；

每个摄像机关于模型的3D姿态(这些3D姿态在系统建立过程中通过使用校准方法而被恢复)；

场景的3D模型(使用现有3D模型、商用3D模型建立方法、或任何其它计算机-模型-建立方法恢复该3D模型)

由操作者使用操纵杆或键盘给出的或者由用户所配置的警报自动控制的期望的视景。

输出：

存储器中显示来自期望的视景的监视视景的图像

控制PTZ位置的PTZ命令

回退并预览过去的事件的DVR控制

视频评估系统中的主要特征为：

3D地点模型的可视化以提供丰富的3D场境。(空间中的浏览)

将实时视频覆盖到3D模型上以提供基于视频的评估

同步控制多个DVR单元以无缝地取回并将视频覆盖到3D模型上。(在时间上浏览)

通过3D模型上的简单鼠标点击控制和覆盖PTZ视频。守卫者不需要专门知道摄像机的位置以移动PTZ单元。系统自动决定哪个PTZ单元最适于查看所关心的区域。

基于选择的观察点自动选择视频，允许系统集成视频矩阵开关以提供对非常大量的摄像机的虚拟访问。

细节级别渲染引擎提供了跨越非常大的3D地点的无缝浏览。

用于视频评估的用户接口(VIDEO FLASHLIGHT ^TM )

可视化：在视频评估模块中有两种视图呈现给用户，(a)3D渲染视图和(b)地图插图视图。3D渲染视图显示具有位于3D空间中的视频覆盖或视频告示板(video billboard)的地点模型。这提供地点的详细信息。地图插图视图是具有摄像机足迹覆盖(footprint overlay)的该地点的俯瞰视图。该视图提供地点的整体场境。

浏览：

通过优选观察点浏览：通过使用优选观察点循环来提供通过地点的浏览。左和右箭头键允许您在这些关键观察点之间移动。有多种在不同细节级别定义的这样的观察点循环(观察点中的不同缩放级别)。使用上和下箭头键来浏览通过这些缩放级别。

采用鼠标浏览：用户可在任何视频覆盖上左点击以将该点置于优选观察点内的中心。这允许用户很容易地跟踪正在移动穿过重叠的摄像机的视景范围的移动目标。用户可在视频告示板上左点击以转换成优选的覆盖观察点。

采用地图插图浏览：用户可在地图插图的足迹上左点击以移动到特定摄像机的优选观察点。用户也可左点击并拖动鼠标以识别一组足迹以获得该地点的优选缩小视景。

PTZ控制：

采用鼠标移动PTZ：用户可在模型或地图插图视图上按住shift左点击(shift left click)以将PTZ单元移动到特定位置。系统然后自动确定哪个PTZ单元适于查看该点并相应地移动那些PTZ以观察那个位置。当按下shift按钮时，用户可旋转鼠标轮以从系统先前选择的标称缩放级别放大或缩小。在查看PTZ视频时，系统将自动把视景置于最初PTZ观察点上的中心。

在PTZ之间移动：当多个PTZ单元见到特定点时，将把优选视景分配给距离该点最近的PTZ单元。通过使用左和右箭头键，用户可将优选视景切换到见到该点的其它PTZ单元。

从鸟瞰视景控制PTZ：在该模式下，用户能在看到场地的所有固定摄像机视景和鸟瞰视景时控制PTZ。使用上和下箭头键，守卫者可在鸟瞰视景和PTZ视频的放大视景之间移动。对PTZ的控制是通过在地点或插图地图上如上所述按住shift点击进行的。

DVR控制：

选择DVR控制面板：用户可按下ctrl-v以弹出面板以控制系统中的DVR单元。

DVR播放控制：在默认情况下，DVR子系统将即时视频以流的形式传送到视频评估站，即，沉浸式显示被显示给用户的视频站。用户可选择暂停按钮以将视频停止在当前时间点。然后用户切换到DVR模式。在DVR模式下，用户能够同步地在时间上向前或向后播放直到达到所记录视频的限制为止。当正在以DVR模式播放视频时，用户能够如在上面的浏览部分中描述的那样浏览通过地点。

DVR查寻控制：用户可通过指定其想移动到的所关心的时间来查寻所有DVR控制的视频到给定时间点。系统将把所有视频移动到该时间点并且随后暂停直到用户选择另一DVR命令。

警报评估模块

基于地图的浏览器-综述

基于地图的浏览器是用于宽广区域的可视化工具。其主要组件是包含用于表示传感器(固定摄像机、ptz摄像机、防护传感器(fencesensor))和符号信息(文本、系统健康、边界线、目标随时间的移动)的不同组件的可滚动和可缩放正射地图。

伴随该视景的是地图的按比例缩小的实例，其既不能滚动也不能缩放，其目的是描绘出大视景的观察口的范围的轮廓，显示不在大视景的视景范围中的组件的状态，以及提供用于改变大视景的观察口的另一种方法。

基于可视化应用，基于地图的显示中的组件能够具有不同的特性和功能。对于警报评估，组件能够基于可视组件表示的传感器的警报状态而改变颜色和闪烁。当在传感器处有未确认的警报时，它将在基于地图的显示上为红色并闪烁。一旦确认了该传感器的所有警报，组件将为红色但将不再闪烁。在已经确保传感器的所有警报无危险后，组件将返回到其正常的绿色。传感器也可通过基于地图的组件而被禁用，此后它们将为黄色直到它们被再次启用为止。

其它模块能够通过经由API(应用程序接口)发送事件来访问地图显示中的组件。警报列表是一个这样的模块，其总计跨越许多警报站的警报并将其作为文本列表显示给用户以用于警报评估。通过使用API，警报列表能够改变基于地图的组件的状态，经由这样的改变，组件将改变颜色和闪烁。警报列表能够按照时间、优先级、传感器名称或警报类型来对警报进行排序。它还能够控制VideoFlashlights以查看在警报时产生的视频。对于基于视频的警报，警报列表能够在视频查看窗口中显示引起警报的视频并能够将引起警报的视频保存到磁盘中。

基于地图的浏览器与VideoFlashlights的交互

基于地图的浏览器中的组件具有通过TCP/IP连接上暴露的API控制提供给VideoFlashlights显示的虚拟视景和视频供给的能力。这为用户提供了用于浏览视频监视中的3D视景的另一种方法。除了改变虚拟视景外，基于地图的显示中的组件也能控制DVR并创建虚拟游历，在虚拟游历中，摄像机在指定量的时间已经经过之后改变其位置。最后面的该功能允许视频监视创建跟随某人通过3D场景的个人化游历。

基于地图的浏览器显示

警报评估站集成跨越多个机器的多个警报并将其呈现给守卫者。提供给用户的该信息被作为地图显示上的高亮图标和作为文本列表视图呈现给用户(图4)。地图视图使守卫者能够在威胁的正确空间场境中识别该威胁。其还起到超链接的作用以控制视频评估站立刻操控视频以观察所关心的区域。列表视图使用户能够关于警报的类型、警报的时间来评估警报并且还使用户能够观看任何警报的带注释的视频片段。

关键特征和说明

AA站的关键特征如下：

其向用户呈现来自视觉告警站的警报，干接触输入，以及集成到系统中的其它定制警报。

符号信息被覆盖到2D地点地图上以提供正在发生警报的场境。

按照时间或优先级排序的文本信息被显示以得到关于任何警报的详细信息。

操控VIDEO FLASHLIGHT^TM站以自动浏览到由用户输入引导的警报特定的观察点。

预览实际警报的带注释的视频片段。

保存视频片段供以后使用。

用户可通过确认警报以及一旦解决了警报情况就重现警报来管理警报。用户还可禁用特定警报以便使预先计划的活动能够发生而不产生警报。

警报评估模块的用户接口

可视化：

警报列表视图将所有视觉告警站和外部警报源或系统故障的警报集成到单个列表中。该列表被实时地更新。该列表可按照时间或警报优先级排序。

地图视图在地图上显示哪里正在发生警报。用户可在地图上的各处滚动或通过使用插图地图来选择区域。地图视图将警报指派到标记的符号区域中以指示哪里正在发生警报。这些区域被编码有颜色以指示警报是否活跃，如图5中所示。用于警报符号的优选颜色编码为(a)红色：由于可疑行为而产生的活跃的不安全警报，(b)灰色：由于系统故障而产生的警报，(c)黄色：视频源被禁用，以及(d)绿色：所有均被清除，没有活跃的警报。

视频预览：对于基于视频的警报，活动的预览片段也是可用的。这些可在视频片段窗口中预览。

警报确认：

在列表视图中，用户能够确认警报以指示他已经观察到。他可一个一个单独地确认警报或者他可通过右点击以得到弹出菜单并选择确认来从地图视图中确保关于特定传感器的所有警报无危险。

如果已经解决了警报情况，则用户可通过在列表视图中选择安全选项来指示已经解决了警报情况。一旦确保警报无危险，该警报将从列表视图中被清除。用户可通过在区域上右点击以得到弹出菜单并选择确保选项来确保特定传感器的所有警报无危险。这同样将清除列表视图中该传感器的所有警报。

另外，用户可通过使用弹出菜单并选择禁用选项来禁用来自任何传感器的警报。对于所有被禁用的源，任何新警报将自动地被确认和确保无危险。

视频评估站控制：

用户可通过在为特定传感器标记的区域上左点击来将视频评估站从地图视图移动到优选视图。地图视图控制将发送浏览命令到视频评估站以移动视频评估站。用户一般将在活跃警报区域上点击以使用视频评估模块评估情况。

视频监视系统体系结构&硬件实现方案

可扩缩的系统体系结构已经被开发以用于迅速覆盖具有几个摄像机或几百个摄像机的视频摄像机系统(图6)。本发明基于具有这样的模块化过滤器，其可被相互连接以在它们之间以流的形式传送数据。这些过滤器可以是源(视频捕获装置、PTZ通信器、数据库读取器等)、转换器(诸如运动检测器、跟踪器的算法模块)或接收器(诸如渲染引擎、数据库写入器)。这些都构建有允许多个组件并行运行的固有线程功能。这允许系统最优化地使用多处理器平台上可用的资源。

该体系结构还提供可跨越网络发送和接收流数据的源和接收器。这允许系统以简单的配置改变很容易地跨越多个PC工作站而分布。

过滤器模块根据基于简单XML的配置文件在运行时被动态地加载。这些定义模块之间的连接性并且定义每个过滤器特定的行为。这允许集成器快速配置多个跨越多个机器的不同终端用户应用而无需修改任何代码。

系统体系结构的关键特征为：

系统可扩缩性：能够跨越多个处理器、多个机器进行连接。

组件模块性：模块化结构采用在软件模块之间以流的形式传送数据的机制保持软件模块之间的清楚的分离。每个模块被定义为具有在它们之间以流的形式传送数据的公共接口的过滤器。

组件可升级性：很容易替换系统的组件而不影响系统体系结构的剩余部分。

数据流式传送体系结构：基于在系统中的模块之间以流的形式传送数据。具有跨越系统的固有的对时间的理解(understanding of time)并且能够同步和合并来自多个源的数据。

数据存储体系结构：每个处理器能够同步记录和播放多个元数据流。在每个节点处提供查寻和回顾功能，其可由基于地图/模型的显示及其它客户机驱动。由后端SQL数据库引擎提供动力。

本发明的系统提供与系统的传感器进行的高效通信，其中传感器通常是摄像机，但也可以是其它类型的传感器，诸如烟雾或火灾检测器、运动检测器、门开传感器(door open sensor)或各种安全传感器中的任何一个。类似地，来自传感器的数据通常是视频，但也可以是其它类别的数据，诸如检测到的运动或侵入、火灾的警报指示或者任何其它传感器数据。

监视系统的关键要求是能够选择在任何给定时刻观察的数据。视频摄像机可以以流的形式传送数十、数百或数千个视频序列。本文中的视景选择系统是用于可视化、管理、存储、重新播放和分析该视频数据以及来自其它传感器的数据的装置。

视景选择系统

图7示出了视频的选择标准。胜于输入单独的传感器摄像机编号(例如，摄像机1、摄像机2、摄像机3等)，监视数据的显示是基于观察点选择器3的，该观察点选择器3把被选择的虚拟摄像机位置或观察点提供给系统以指示要显示的监视数据的适当的实时视景，其中被选择的虚拟摄像机位置或观察点是指定义某一点和从该点看到的视景范围的一组数据。虚拟摄像机位置可从操作者输入(诸如从例如具有诸如操纵杆的输入装置的交互站接收的电子数据)得到，或者从作为对于不在操作者控制下的事件的自动响应的警报传感器的输出得到。

一旦选择了观察点，系统然后就自动地计算哪些传感器与那个特定观察点的视景范围有关。在优选实施例中，系统计算系统传感器的哪个子集出现在与视频优先级排序器/选择器5有关的视频覆盖区域的视景范围中，其中视频优先级排序器/选择器5与观察点选择器3相连接并从观察点选择器3接收定义虚拟摄像机观察点的数据。系统然后通过视频切换器7的控制经由视频优先级排序器/选择器5动态地切换到被选择的传感器，即相关传感器的子集，并避免切换到系统的其它传感器。视频切换器7被连接到系统中生成大量视频或数据供给9的所有传感器(包括摄像机)的输入。基于来自选择器5的控制，切换器7在通信链路上切换以传送来自相关传感器的子集的数据供给，并阻止传送来自其它传感器的数据供给，以便仅向视频覆盖站13传输一组被减少的与被选择的虚拟摄像机观察点有关的数据供给11。

根据一个优选实施例，切换器7是由视频优先级排序器/选择器5控制的模拟矩阵切换器以便将来自初始较大集9的较少数量的视频供给11切换到视频覆盖站13中。尤其当供给是通过一组有限的硬线线路(hard wired line)传输到视频评估站以用于显示的模拟视频时，使用该系统。在这样的系统中，来自不与当前视景范围有关的视频摄像机的模拟信号的流被切断，使得它们不进入到视频评估站的线路，并且来自与当前视景范围有关的摄像机的视频供给被物理地接通以便通过那些连接线路。

可替换地，视频摄像机可产生数字视频，并且这可被传输到连接到局域网的数字视频服务器，使得数字视频可通过网络以流的形式传送到视频评估站，其中局域网将数字视频服务器连接到视频评估站。在这样的系统中，视频切换器是视频评估站的一部分，并且其通过网络与单独的数字视频服务器通信。如果服务器具有相关的摄像机，则切换器指示服务器将该视频以流的形式传送到视频评估站。如果视频不相关，则切换器发送命令到视频服务器以便不发送其视频。其结果是减少了网络上的通信量，以及在传输相关视频到视频站以用于显示方面具有更高的效率。

在场景的2D或3D模型之上(即在诸如美国公开专利申请2003/0085992中公开的沉浸式视频系统中)渲染的视频被显示。视频覆盖站13通过将尤其是视频影象的相关数据供给11与渲染系统通过使用系统的地点的2-D或优选的3-D模型而生成的视景的实时渲染图像结合，来产生构成实时沉浸式监视系统显示的视频，其中系统的地点的2-D或优选的3-D模型通常还可被称为地理空间信息，并且优选地被存储在视频覆盖站13的渲染组件可访问的数据存储装置15上。在每个屏幕图像中渲染的要被显示的相关地理空间信息是由观察点选择器3确定的。

视频覆盖站13通过将例如作为纹理(texture)的相关视频影象应用于视景范围的适当部分中的渲染图像，来准备显示视频的每个图像。另外，以相同的方式选择地理空间信息。观察点选择器确定哪个地理空间信息被显示。

一旦用于显示的视频被渲染并与相关的传感器数据流结合，它就被发送到显示装置以显示给操作者。

这四个组块，视频选择器3、视频优先级排序器/选择器5、视频切换器7和视频覆盖站13，提供了对潜在的数千个摄像机视景的显示的处理。

本领域的技术人员将很容易理解的是，这些功能可在主要通过软件实现其功能的单个计算机化系统上被支持，或者它们可以是分别执行它们各自任务的分布式的计算机化组件。如果系统依靠网络来传输视频到视频站，则优选的是，观察点选择器3、视频选择器、视频切换器7和视频覆盖与渲染站所有都使用用于各自的软件模块而在视频站计算机本身上被表示。

如果系统更依靠于硬线视频供给和非网络通信或模拟通信，则更好的方案是，组件是分立电路，并且视频切换器通过线路连接到视频源附近的实际物理开关，以在视频与被选择的视景范围不相关时关断该实际物理开关并节省带宽。

同步的数据捕获、重新播放和显示

在具有使来自数千个传感器的即时数据可视化的功能的情况下，存在着以允许数据恰好就像是即时的那样被重新播放的方式存储数据的需要。

大多数数字视频系统分别地存储来自每个摄像机的数据。然而，根据本实施例，系统被配置成同步地记录视频数据，同步地将其读回，并在沉浸式监视(优选地是VIDEO FLASHLIGHT^TM)显示中显示视频数据。

图2显示出VIDEO FLASHLIGHT^TM中的同步的数据捕获、重新播放和显示的框图。记录器控制器17同步所有数据的记录操作，在所有数据中，被存储数据的每个帧包括数据、识别数据被生成的时间的时间戳。在优选实施例中，同步记录是由DVR装置19、21的以太网控制执行的。

记录器控制器17也控制DVR装置的播放，并且确保记录和播放时间恰好在同时开始。在播放时，记录器控制器17使DVR装置从操作者选择的时间点开始播放与选择的实际摄像机观察点有关的视频。数据通过局部网络以流的形式被传送到数据同步器23，其缓存播放的数据以处理数据读取的任何实时片段，读取诸如时间戳的信息以正确地同步多个数据流使得多个记录的数据流的所有帧均来自相同时段，然后将同步的数据分配给沉浸式监视显示系统，例如VIDEOFLASHLIGHT^TM，以及分配给系统中的任何其它组件，例如通常在27指示的渲染组件、处理组件和数据融合组件。

在模拟实施例中，来自摄像机的模拟视频被送至电路架(circuitrack)，在这里模拟视频被分割。视频的一部分去往地图查看器站，如上所述。其它部分与三个其它摄像机的视频通过线盒(cord box)去往以同步方式存储所有四个视频供给的记录器。视频被记录，此外如果视频与当前观察点相关，则其经由硬线被传输到视频站以用于渲染到VIDEO FLASHLIGHT^TM的进沉浸式显示中。

在以数字化为主的环境中，存在着许多数字视频服务器，每个数字视频服务器都连接有大约四到十二个摄像机。摄像机被连接到接于监视系统的网络的数字视频服务器。数字视频服务器通常在同一物理位置具有连接到该数字视频服务器的数字视频记录器(DVR)，该数字视频记录器存储来自摄像机的视频。如果视频相关，则服务器将视频以流的形式传送到视频站以应用于用于沉浸式显示的渲染图像，并且如果如上所述，视频切换器指示服务器不传输，则服务器不传输视频。

以即时视频数据如上所述被应用于沉浸式监视显示的相同方式，记录的同步数据被包含在显示给操作者的实时沉浸式监视播放显示中。操作者能够移动通过场景的模型并从他选择的观察点查看渲染的场景，并使用来自所关心的时段的视频或其它数据。

记录器控制器和数据同步器优选地是分离的专用计算机化系统，但也可以在一个或多个计算机系统或电子组件中被支持，并且其功能可由那些系统中的硬件和/或软件实现，如本领域的那些技术人员将很容易理解的那样。

数据集成器和显示

除了视频传感器即摄像机外，系统中还可有几十万个非基于视频的传感器。这些传感器的可视化和管理也是非常重要的。

如在图3中最佳显示的那样，符号数据集成器27实时地收集来自不同的元数据源(诸如视频警报、访问控制警报、目标跟踪)的数据。规则引擎29组合多条信息以生成复杂情况决定，并取决于不同集合的元数据输入和提供给该元数据输入的预定响应规则做出多种确定作为自动响应。规则可基于例如传感器的地理位置，并且也可基于动态操作者输入。

符号信息查看器31确定如何将规则引擎29的决定呈现给用户(例如，颜色/图标)。规则引擎决定的结果然后在适当的时候被用于通过视景控制器接口控制视频评估站的观察点。例如，一定类型的警报可自动警告操作者并使操作者的显示装置立刻显示从观察传输识别警报情况的元数据的传感器的位置的虚拟摄像机观察点看到的沉浸式监视显示视景。

该系统的组件可以是分离的电子硬件，但也可以使用位于操作者显示终端处的或与操作者显示终端共享的适当的软件组件来实现。

受约束的浏览

沉浸式监视显示系统提供无限制的手段以在空间和时间中浏览。然而，在每日的使用中，仅空间和时间中的特定位置是与手边的应用相关的。因此本发明的系统在VIDEO FLASHLIGHT^TM系统中应用空间和时间的受约束的浏览。可在汽车和火车之间进行类比；火车仅能沿空间中的一定路径移动，而汽车能在任意数目的路径中移动。

这样的实现方案的一个实例是限制没有传感器覆盖的位置的简易查看。这是通过分析由操作者使用诸如操纵杆的输入装置或计算机屏幕上的鼠标点击而提供的期望的观察点来实现的。该系统通过计算将使点击的点置于屏幕中心的3D查看位置的改变，来计算期望的观察点。然后系统确定观察点是否包含可见的或潜在可见的任何传感器，并且响应于有这样的传感器的确定，改变观察点，而响应于确定没有这样的传感器，系统将不改变观察点。

如后面公开的那样，受约束运动的分层结构也已经被开发。

基于地图或事件的浏览

除了诸如通过用鼠标点击显示中的点或通过操纵杆等而在沉浸式视频显示本身中浏览之外，系统还允许操作者使用外部指示的事件来浏览。

例如，如在图4的屏幕截图中看到的那样，VIDEO FLASHLIGHT^TM显示除了具有渲染的沉浸式视频显示39外还具有地图显示37。地图显示显示出警报41的列表以及区域的地图。简单地通过点击列出的警报或地图，观察点就立刻被改变成与那个位置相对应的新观察点，并且为新观察点渲染VIDEO FLAHLIGHT^TM显示。

地图显示37改变颜色或者出现图标以指示传感器事件，如图4中所示，屏障突破被检测到。操作者然后可点击地图显示37上的该指示器，并且沉浸式显示39的观察点将立刻被改变成该传感器事件的预编程的观察点，接着该传感器事件将被显示。

PTZ控制

图像处理系统知道每个像素在每个摄像机传感器中以及在3D模型中的(x，y，z)完全坐标。当用户采用鼠标点击2D或3D沉浸式视频模型的显示上的点时，系统识别用于查看以该点为中心的视景范围的最佳摄像机。

在一些情况下，具有最佳位置来查看某一位置的摄像机是左右摇摄/上下摇摄/变焦拍摄摄像机(PTZ)，该左右摇摄/上下摇摄/变焦拍摄摄像机可被指向与查看期望的位置所必需的方向不同的方向。在这样的情况下，系统计算位置参数(例如被指挥的左右摇摄、上下摇摄、传感器的机械左右摇摄、上下摇摄、变焦拍摄角度)，通过在网络上传输适当的电控制信号到摄像机来指示PTZ到那个位置，并且接收插入到沉浸式监视显示中的PTZ视频。下面将进一步讨论该处理的细节。

PTZ切换

如上所述，系统知道每个像素在每个摄像机传感器中以及在3D模型中的(x，y，z)完全坐标。因为摄像机传感器的位置是已知的，所以系统可基于期望的查看要求来选择使用哪个传感器。例如，在优选实施例中，当场景包含多于一个PTZ摄像机时，系统完全地或部分地基于PTZ位置和所关心的点的地面-投影-2D(例如，纬度经度(latt long))或3D坐标来自动选择一个或多个PTZ。

在优选实施例中，系统基于2D或3D坐标来计算从每个PTZ到目标的距离，并选择使用最接近目标的PTZ来查看目标。附加的规则包括说明来自被建模在场景中的3D目标的遮挡，以及左右摇摄、上下摇摄、变焦拍摄值的不可进入区域，并且这些规则被应用于确定哪个摄像机是用于查看地点中的特定选择点的最佳摄像机。

PTZ校准

PTZ需要到3D场景的校准。该校准是通过选择从PTZ可见的VIDEO FLAHLIGHT^TM模型中的3D(x，y，z)点来执行的。使PTZ指向那个位置并且读取和存储机械左右摇摄、上下摇摄、变焦拍摄值。这在模型中的在PTZ摄像机的位置周围分布的一些不同的点处被重复。然后分别在左右摇摄、上下摇摄和变焦拍摄空间中独立地对这些点执行线性拟合。变焦拍摄空间有时是非线性的，并且制造者或经验查找(look-up)可在拟合之前执行。每次请求PTZ移动时，线性拟合就被动态地执行。当请求PTZ指向3D位置时，相对于PTZ位置为期望的位置计算模型空间中的左右摇摄和上下摇摄角度(phi，theta)。然后相对于PTZ位置为所有校准点计算Phi和theta。然后通过使用对更接近与期望的位置相对应的phi和theta的那些校准phi和theta赋予更大权重的加权最小二乘，分别在从校准时存储的机械左右摇摄、上下摇摄、变焦拍摄值上执行线性拟合。

最小二乘拟合使用校准phi和theta作为x坐标输入并使用从PTZ测量的左右摇摄、上下摇摄、变焦拍摄值作为y坐标值。最小二乘拟合然后恢复给出给定输入‘x’值的输出‘y’值的参数。与期望的点相对应的phi和theta然后被馈送到表示参数化方程(‘x’值)的计算机程序中，该计算机程序然后返回PTZ摄像机的机械指向的左右摇摄(和上下摇摄、变焦拍摄)。然后使用这些确定的值来确定适当的电控制信号以传输到PTZ单元来控制其位置、方向和变焦拍摄。

沉浸式监视显示索引

在VIDEO FLASHLIGHT^TM系统中集成视频和其它信息的好处是可以以先前不可能的方式为数据建立索引。例如，如果VIDEOFLASHLIGHT^TM系统被连接到在多个检查点处安装的牌照读取器系统，则VIDEO FLASHLIGHT^TM系统的简单查询(使用前面描述的基于规则的系统)可立即显示该车辆的所有实例的影象。一般情况下这是非常艰巨的任务。

VIDEO FLASHLIGHT^TM是传感器的“操作系统”。传感器的空间和算法的融合极大地提供了监视型应用中的检测到目标的可能性和正确识别目标的可能性。这些传感器可以是任何无源或有源类型，包括视频、声音的、地震的、磁的、IR等...

图5显示出系统的软件体系结构。基本上所有传感器信息通过传感器驱动器被馈送到系统并且这些被显示在图的底部。辅助传感器45是任何有源/无源传感器(诸如上面列出的传感器)以在地点上进行有效监视。来自所有这些传感器的相关信息连同来自固定的和PTZ摄像机47和49的即时视频一起被馈送到融合所有该信息的元数据管理器51。

在定义系统的基本人工智能的该层51中存在着基于规则的处理。规则具有控制元数据管理器51下方的任何装置45、47或49的能力，并且可以是诸如“仅在走廊A上有任何门被打开时记录视频”、“采用PTZ摄像机自动在地带B上跟踪任何目标”或“使VIDEOFLASHLIGHT^TM飞越和缩放到与特征或iris标准匹配的个人”的规则。

这些规则对由3D渲染引擎53(在元数据管理器之上并从元数据管理器接收数据以用于显示)渲染的视景具有直接影响，因为该视景通常是在最终被检验的可视信息，并且一般情况下，用户/守卫者想要飞越到所关心的目标上，放大，并采用系统提供的可视反馈进一步评估情况。

可采用可用的TCP/IP服务远程地使用所有上述功能。该模块55将API暴露给可能不物理地具有装备但想使用服务的遥远地点。由于将渲染的图像实时地发送到遥远地点，所以远程用户如本地用户那样具有看到应用的输出的能力。

这也是将所有信息(视频传感器、辅助传感器和空间信息)压缩成一种便携式格式(即，渲染的实时程序输出)的手段，因为用户可以如他在本地那样远程地评估所有该信息而无需具有除了屏幕和如键盘的某种类别的输入装置之外的任何装备。一个实例是采用手提式计算机访问所有该信息。

系统具有显示终端，在该显示终端上，系统的各种显示组件被显示给用户，如图6中所示。显示装置包括图形用户界面(GUI)，该图形用户界面(GUI)尤其显示渲染的视频监视和操作者选择的观察点的数据，并接受鼠标、操纵杆或其它输入以改变观察点或管理系统。

观察点浏览控制

在沉浸式监视系统的较早的设计中，用户在3D环境中自由地浏览而没有观察点的约束。在本设计中，在用户的潜在观察点上存在着限制，从而增加了可视质量并降低了用户交互的复杂度。

完全自由浏览的其中一个缺点是，如果用户不熟悉3D控制(这不是容易的任务，因为通常有多于7个的参数要控制，包括位置(x，y，z)、旋转(斜度、方位角、滚动)和视景范围)，则很容易迷路或产生不满意的观察点。这就是为什么系统帮助用户产生完美的观察点的原因，因为视频投影位于连续环境中的分立部分中并且这些部分应该以可能的最佳方式可视化。帮助可以是这样的形式，即，通过操作者控制台提供观察点分层结构，点击导致的旋转及缩放，以及基于地图的浏览等等。

观察点分层结构

观察点分层浏览利用了视频投影的不连续性质，并且取决于应用而基本上将用户交互的复杂度从7+维降低到大约4或小于4维。这是通过在环境中创建观察点分层结构来实现的。一种可能的创建该分层结构的方法如下：分层结构的最低层代表精确等效于场景中具有可能更大的视景范围以得到更大的场境的摄像机位置和方向的观察点。更高层的观察点显示出越来越多的摄像机群并且分层结构的最高节点代表见到场景中的所有摄像机投影的观察点。

一旦建立了该分层结构，不是控制类似位置和方向的绝对参数，而是用户做出在场景中查看哪里的简单决定并且系统使用分层结构来决定和创建用于用户的最佳视景。用户还可明确地在分层结构中上升或下降或者移动到同层节点；即，在分层结构中的同一层上横向间隔的观察点。

由于所有节点都是取决于客户的需要和地点的摄像机配置预先完成的仔细选择的完美观察点，所以用户可通过采用低级别复杂度的简单选择从一个视景移动到另一个视景而在场景中浏览，并且可视质量总在某受控制的阈值之上。

点击导致的旋转&缩放

该浏览方案使操纵杆不必要作为系统的用户接口装置，并且鼠标是优选的输入装置。

当用户正在调查作为从观察点看到的视景而被显示的场景时，他可通过点击3D场景中的所关心的目标来进一步控制观察点。该输入将导致观察点参数的改变使得视景被旋转，并且使被点击的目标位于视景的中心。一旦目标被置于中心，可通过使用鼠标的附加输入而在其上执行缩放。这种目标位于中心的浏览(object-centric navigation)使浏览彻底地更为直观。

基于地图的视图&浏览

有时，当用户朝世界的小部分看时，需要查看“大图片”，具有更大的场境，即查看地点的地图。这在用户响应于的警报而迅速想切换到3D场景的另一部分时特别有用。

在VIDEO FLASHLIGHT^TM系统中，用户可访问场景的正射地图视图。在该视图中，场景中包括各种传感器的所有资源采用它们当前的状态被表示。视频传感器也在其中，并且用户可通过选择一个或多个视频传感器的所显示的足迹，而在该地图视图上选择一个或多个视频传感器，来在3D场景上生成他期望的最佳视景，并且系统将通过自动浏览到显示所有这些传感器的观察点来相应地响应。

PTZ浏览控制

左右摇摄上下摇摄变焦拍摄(PTZ)摄像机一般被固定在一个位置并具有旋转和变焦拍摄的能力。PTZ摄像机可被校准到3D环境，如前面的部分中说明的那样。

旋转&缩放参数的导出

一旦执行了校准，就可为3D环境中的任何点生成图像，因为该点和PTZ的位置生成了构成唯一的左右摇摄/上下摇摄/变焦拍摄组合的一条线。此处，缩放可被调节成“跟踪”特定大小(人(～2m)、汽车(～5m)、卡车(～15m)、等...)并且因此取决于从PTZ到该点的距离，其相应地调节缩放。缩放可取决于情况而在之后被进一步调节。

控制PTZ&用户交互

在VIDEO FLASHLIGHT^TM系统中，为了采用PTZ调查区域，用户点击3D环境的渲染图像中的该点。软件使用该位置以生成旋转角和初始缩放。这些参数被发送到PTZ控制器单元。PTZ转向并缩放该点。同时，PTZ单元将其即时左右摇摄、上下摇摄、变焦拍摄参数和视频供给发送回来。这些参数被转换回到VIDEO FLASHLIGHT^TM坐标系统以将视频投影到正确的点上并且正在进行的视频被用作投影的图像。因此整体效果是采用投影到3D模型上的实时图像将从一点摆动到另一点的PTZ可视化。

可选方案是采用键盘敲击或任何其它输入装置控制PTZ左右摇摄/上下摇摄/变焦拍摄而不使用3D模型。这被证明对于派生运动(derivative movements)，例如在跟踪某个人的同时左右摇摄/上下摇摄是有用的，在这种情况下，不是连续地点击这个人，而是用户点击预分配的键。(例如，箭头键左/右/上/下/shift-up/shift-down可被映射到左摇摄/右摇摄/上摇摄/下摇摄/镜头移近/镜头移离)...

在控制PTZ时使场景可视化

在上面的部分中描述了通过点击3D模型而对PTZ进行的控制以及摆动PTZ摄像机的可视化。但是可视化该效果所采用的观察点是重要的。一种理想的方法是具有“锁定”到PTZ的观察点，在这种情况下，用户查看场景的观察点具有与PTZ摄像机相同的位置并且随着PTZ的旋转而旋转。视景范围通常大于实际摄像机以向用户提供场境。

另一种有用的PTZ可视化方案是选择观察点分层结构中的更高层上的观察点(参见观察点分层结构)。以这种方式，多个固定的和PTZ摄像机可从一个观察点可视化。

多PTZ

当场景中有多个PTZ时，可将关于在哪里和在什么情况下使用哪个PTZ的规则施加到系统上。这些规则可以是范围地图、左右摇摄/上下摇摄/变焦拍摄图等的形式。如果期望场景中的特定点的视景，则传递用于该点的所有这些测试的PTZ集被用于后续处理，诸如在VIDEO FLASHLIGHT^TM中显示它们或将它们发送到视频矩阵查看器。

3D-2D告示板

VIDEO FLASHLIGHT^TM的渲染引擎将视频垂直投影到3D场景上以用于可视化。但是特别当摄像机的视景范围太小并且观察点与摄像机相差太大时，在视频被投影到3D环境上时会有非常大的失真。为了仍然能够显示视频并保持空间场境，告示板以引入作为在场景上显示视频供给的方式。告示板被显示成非常接近原始摄像机位置。摄像机覆盖区域也被显示并被链接到告示板。

失真可通过多种测量检测到，包括原始和投影的图像之间的形状形态分析(morphology)、图像大小差别等...

每个告示板基本上被显示为在沉浸式影象中垂直于查看者的视线悬挂的屏幕，并且在在其上显示有来自摄像机的将被显示为在沉浸式环境中失真的视频。因为告示板是3D目标，所以摄像机离观察点越远，告示板就越小，因此很好地保持了空间场境。

在具有上百个摄像机的应用中，仍能证明告示板真的有效。在1600×1200的屏幕中，在一个截图中将会有多达+250个平均大小大约为100×75的告示板可见。当然，在该量级，告示板将充当整个场景的即时纹理。

尽管前述内容对本发明的实施例进行了说明，但是可设计出本发明的其它和进一步的实施例而不脱离其基本范围，并且其范围由所附权利要求确定。

Claims (28)

1.一种用于地点的监视系统，所述系统包括：

多个摄像机，每个摄像机产生所述地点的各部分的各视频；

观察点选择器，其被配置成允许用户选择性地识别所述地点中的观察点，从所述观察点可查看所述地点或所述地点的一部分；

视频处理器，其与所述多个摄像机相连接以便从所述多个摄像机接收所述视频；

所述视频处理器可使用所述地点的计算机模型，并从所述计算机模型渲染实时图像，所述实时图像与从所述观察点看到的所述地点的视景范围相对应，并且在所述实时图像中至少一个视频的至少一部分被覆盖到所述计算机模型上，所述视频处理器显示所述图像以便由用户实时地查看；以及

视频控制系统，其基于所述观察点自动地选择正在生成与从所述观察点看到的所述地点的视景范围有关的由所述视频处理器渲染的视频的所述多个摄像机的子集，并使来自摄像机的所述子集的视频传输到所述视频处理器。

2.如权利要求1所述的沉浸式监视系统，其中，所述视频控制系统包括视频切换器，所述视频切换器允许向所述视频处理器传输来自被选择为与所述视景有关的摄像机的所述子集的视频，并阻止向所述视频处理器传输来自不在摄像机的所述子集中的所述多个摄像机的至少一些摄像机的视频。

3.如权利要求2所述的沉浸式监视系统，其中，所述摄像机以流的形式将其视频通过一个或多个服务器在网络上传送到所述视频处理器，并且所述视频切换器与所述服务器通信以便阻止以流的形式在所述网络上传送不在摄像机的所述子集中的摄像机的至少一些视频。

4.如权利要求2所述的沉浸式监视系统，其中，所述摄像机将其视频经由通信线路传输到所述视频处理器，并且所述视频切换器是模拟矩阵切换装置，所述模拟矩阵切换装置切断沿着不在摄像机的所述子集中的摄像机的至少一些视频的所述通信线路的流。

5.如权利要求1所述的沉浸式监视系统，其中，所述视频控制系统确定所述观察点和所述多个摄像机中的每个之间的距离，并选择摄像机的所述子集以便包括与所述观察点距离最短的摄像机。

6.如权利要求1所述的沉浸式监视系统，其中，所述观察点选择器是计算机站处的交互式显示器，通过所述交互式显示器，用户能够在查看显示装置上的所述图像时识别所述计算机模型中的所述观察点。

7.如权利要求1所述的沉浸式监视系统，其中，所述计算机模型是所述地点的3-D模型。

8.如权利要求1所述的沉浸式监视系统，其中，所述观察点选择器接收操作者输入或响应于事件的自动信号，并将所述观察点改变成响应于此的第二观察点；

并且所述视频控制系统基于所述第二观察点自动地选择正在生成与从所述第二观察点看到的所述地点的视景有关的由所述视频处理器渲染的视频的所述多个摄像机的第二子集，并使来自摄像机的所述不同子集的视频传输到所述视频处理器。

9.如权利要求8所述的沉浸式监视系统，其中，所述观察点选择器接收操作者输入以改变所述观察点，并且所述改变是所述观察点到所述第二观察点的连续移动，并且所述观察点选择器将所述连续移动约束成许可的查看路径，使得所述查看路径外部的移动被禁止，而不管是否存在指示这样的移动的任何操作者输入。

10.如权利要求1所述的沉浸式监视系统，其中，至少一个所述摄像机是具有可控方向或缩放参数的PTZ摄像机，并且所述视频控制系统传输控制信号到所述PTZ摄像机以便使所述摄像机调整所述PTZ摄像机的方向或缩放参数，使得所述PTZ摄像机提供与所述视景范围有关的数据。

11.一种用于地点的监视系统，所述系统包括：

多个摄像机，每个摄像机生成各数据流，每个数据流包括一系列视频帧，每个视频帧与所述地点的一部分的实时图像相对应，每个帧具有指示所述实时图像由相关摄像机产生的时间的时间戳；

记录器，其接收和记录来自所述摄像机的数据流；

视频处理系统，其与所述记录器相连接并提供来自所述记录器的所述记录的数据流的播放，所述视频处理系统具有在所述记录的数据流的播放期间渲染从所述地点的模型的播放观察点看到的视景的图像的渲染器，并将所述渲染器应用于来自与所述视景有关的至少两个摄像机的记录的数据流；

所述视频处理系统包括在播放期间从所述记录器系统接收记录的数据流的同步器，所述同步器以同步的形式将记录的数据流分配到渲染器，使得每个图像采用所有均被同时拍摄的视频帧渲染。

12.如权利要求11所述的沉浸式监视系统，其中，所述同步器基于所述数据流的视频帧的时间戳使所述数据流同步。

13.如权利要求12所述的沉浸式监视系统，其中，所述记录器被连接到控制器，所述控制器使所述记录器以同步的格式存储多个数据流，并读取所述多个数据流的时间戳以使所述多个数据流能够同步。

14.如权利要求11所述的沉浸式监视系统，其中，所述模型是3D模型。

15.一种沉浸式监视系统，包括：

多个摄像机，每个摄像机产生某一地点的各部分的各视频；

图像处理器，其与所述多个摄像机相连接并从所述多个摄像机接收视频，所述图像处理器产生为基于所述地点的模型的观察点渲染的并且与关于所述观察点的多个所述视频结合的图像；

显示装置，其与所述图像处理器相连接并显示所述渲染的图像；以及

视景控制器，其连接到所述图像处理器并向所述图像处理器提供定义要显示的观察点的数据，所述视景控制器与允许用户选择性地更改观察点的交互式浏览组件相连接并从所述交互式浏览组件接收输入，所述交互式浏览组件将所述观察点的更改约束成预先选择的观察点集合。

16.如权利要求15所述的沉浸式监视系统，其中，所述视景控制器计算观察点的查看位置的改变。

17.如权利要求15所述的沉浸式监视系统，其中，当用户将所述观察点更改成第二观察点时，所述视景控制器确定除了与所述第一观察点有关的视频以外的任何视频是否与所述第二观察点有关，并且使用由所述视景控制器识别为与所述第二观察点有关的任何附加视频为第二视频渲染第二图像。

18.一种用于沉浸式监视系统的方法，所述沉浸式监视系统具有多个摄像机和观察站，每个摄像机产生地点的各部分的各视频，观察站具有显示图像以便由用户查看的显示装置，所述方法包括：

从输入装置接收数据，所述数据指示对观察点和视景范围的选择以用于查看来自所述摄像机的至少一些视频；

识别位于使摄像机能够生成与所述视景范围有关的视频的位置的一个或多个所述摄像机的子群；

将来自摄像机的所述子群的视频传输到视频处理器；

采用所述视频处理器通过从所述地点的计算机模型渲染图像而生成视频显示，其中，所述图像与从所述地点的所述观察点看到的视景范围相对应，在所述图像中至少一个视频的至少一部分被覆盖到所述计算机模型上；

将所述图像显示给查看者；以及

使来自不在所述子群中的至少一些摄像机的视频不传输到视频渲染系统，从而减小正在传输到所述视频处理器的数据量。

19.如权利要求18所述的方法，其中，在网络上通过与所述摄像机相关的服务器将来自摄像机的所述子群的视频传输到所述视频处理器，并且其中，所述使视频不传输的步骤是通过经由所述网络与和不在所述摄像机的子群中的至少一个所述摄像机相关的至少一个服务器进行通信，使得所述服务器不传输所述至少一个摄像机的视频来实现的。

20.如权利要求18所述的方法，还包括：

接收输入，所述输入指示所述观察点和/或所述视景范围的改变，使得新视景范围和/或新观察点被定义；和

确定能生成与所述新视景范围或新观察点有关的视频的所述摄像机的第二子群；

使来自所述摄像机的所述第二子群的视频传输到所述视频处理器；

所述视频处理器使用所述计算机模型和接收的视频渲染新视景范围或新观察点的新图像；并且

其中，使来自不在所述第二子群中的至少一些所述摄像机的视频不传输到所述视频处理器。

21.如权利要求20所述的方法，其中，所述第一和第二子群共同具有至少一个所述摄像机并且每个子群具有不在另一子群中的至少一个摄像机。

22.如权利要求20所述的方法，其中，所述子群每个在其中仅具有所述摄像机的相应的一个。

23.如权利要求18所述的方法，其中，所述子群中的所述摄像机的一个是具有可控方向或缩放的摄像机，并且所述方法还包括向所述摄像机传输控制信号以便使所述摄像机调整其方向或缩放。

24.一种用于地点的监视系统的方法，所述监视系统具有多个摄像机，每个摄像机生成具有一系列视频帧的各数据流，每个视频帧与所述地点的一部分的实时图像相对应，所述方法包括：

在一个或多个记录器上记录所述摄像机的数据流，所述数据流以同步格式被一起记录，并且每个帧具有指示所述实时图像由相关摄像机产生的时间的时间戳；

与所述记录器进行通信以便使所述记录器向视频处理器传输所述摄像机的记录的数据流；

接收所述记录的数据流并基于其时间戳使其帧同步；

从输入装置接收数据，所述数据指示对观察点和视景范围的选择以用于查看来自摄像机的至少一些视频；

采用所述视频处理器通过从所述地点的计算机模型渲染图像而生成视频显示，其中，所述图像与从所述地点的所述观察点看到的视景范围相对应，在所述图像中至少两个视频的至少一部分被覆盖到所述计算机模型上；

其中，对于每个渲染的图像，覆盖在其上的视频来自所有时间戳均指示相同时段的帧；以及

将所述图像显示给查看者。

25.如权利要求24所述的方法，其中，响应于接收的输入，选择性地向前和向后播放所述视频。

26.如权利要求25所述的方法，其中，通过传输命令信号到所述记录器而从所述视频处理器位置控制所述播放。

27.如权利要求24所述的方法，还包括接收输入，所述输入指示将视景范围和/或观察点改变成新视景范围，所述视频处理器从所述计算机模型以及用于所述新观察点和/或视景范围的视频中生成图像。

28.一种用于地点的监视系统的方法，所述监视系统具有多个摄像机，每个摄像机生成一系列视频帧的各数据流，每个视频帧与所述地点的一部分的实时图像相对应，所述方法包括：

将所述摄像机的记录的数据流传输到视频处理器；

从输入装置接收数据，所述数据指示对观察点和视景范围的选择以用于查看来自所述摄像机的至少一些视频；

采用所述视频处理器通过从所述地点的计算机模型渲染图像而生成视频显示，其中，所述图像与从所述地点的所述观察点看到的视景范围相对应，在所述图像中至少两个视频的至少一部分被覆盖到所述计算机模型上；以及

将所述图像显示给查看者；

接收输入，所述输入指示所述观察点和/或视景范围的改变，所述输入被约束，使得操作者仅能对新视景范围输入观察点的改变，所述改变是所有可能的改变的有限的子集，所述有限的子集与通过所述地点的路径相对应。

Images