CN1186923C - 异常目标自动发现及跟踪摄像机系统 - Google Patents

Abstract

本发明涉及一种异常目标自动发现及跟踪摄像机系统，由摄像机镜头、摄像机、图像采集单元、图像处理单元、云台控制单元、云台构成闭环控制系统，图像采集单元将摄像机输出的标准电视信号变为16位数字视频信号，图像处理单元完成异常目标的检测输出最大异常目标的中心位置，并根据目标的大小和在视野中的位置输出摄像机镜头变倍控制量，云台控制单元在向监控中心报警的同时控制云台转动，使安装在云台上的摄像机的光轴指向检测到的异常目标，并自动调节摄像机镜头放大倍数使监控中心得到异常目标清晰、完整的视频图像，实现了对入侵目标的快速检测与跟踪。

Description

异常目标自动发现及跟踪摄像机系统

技术领域

本发明涉及一种异常目标自动发现及跟踪摄像机系统，是一种能够自动发现视野中的异常目标、对其自动跟踪、摄像机镜头自动改变放大倍数的保安监控系统。

背景技术

在视场内一旦有物体移动(有人、物进入)或产生明火、浓烟等情况下视频图像的特征发生变化称为异常。传统的监控系统不具有异常发现功能，只能由监控人员密切注视监视器来发现异常。但是由于人的注意力不能长时间集中，对于监控室人数较少或对于夜间入侵的监控，则要求监控系统具有异常发现功能。刘俊、舒朝君、伍良富等人在《监控系统的单目标异常云台控制跟踪》(《机床电器》2001，6)一文中介绍了一种能够通过计算机对传回来的图像进行动静识别发现移动目标，通过计算机在远程控制云台转动完成自动跟踪拍摄此异常目标的监控系统。这套系统的缺点是系统中使用的通用云台转动角速度小且只能为固定值，另外系统中图像处理、云台控制单元由远端的计算机完成。以上两方面原因增加了控制延时，无法发现并实时跟踪快速移动的异常目标。

余洪山、王耀南等人在《一种新型智能图像监控系统》(《信息与控制》2002，12)一文中介绍一种新型智能图像监控系统，使用PC监控主机采集图像数据，进行分析判断，完成运动目标检测、特定颜色目标检测，并基于主从式串行通信控制向相应解码器发出控制指令驱动对应云台、摄像头作相应动作。这种系统还是使用远端的计算机来完成图象采集、处理和对云台和摄像机的控制，因此与前面的系统具有相同的缺点。

正常情况下，摄像机拍摄图像的分辨率不高，细节不明显。当出现异常时，为了取证的需要，需要能够在发现目标后自动调节摄像机镜头放大倍数，得到更加清晰、完整的目标图像，这种功能是目前监控系统不具有的。

发明内容

本发明的目的是针对现有技术的不足，提供一种异常目标自动发现及跟踪摄像机系统，能自动地发现视野中的异常目标，在向监控中心报警的同时能对目标进行自动跟踪并自动调整镜头放大倍数，得到清晰完整的目标图像。

本发明的目的是通过将图像采集单元、图像处理单元和云台控制单元设计成专用的硬件电路并嵌入到云台中，使摄像机镜头、摄像机、图像采集单元、图像处理单元、云台控制单元、云台构成闭环控制系统实现的。摄像机输出的标准电视信号分成两路，一路直接输出，另一路与图像采集单元相连，采集到的数字图像信号送图像处理单元。云台控制单元一端与图像处理单元相连，另一端与云台相连。云台控制单元具有RS232通讯接口，系统可通过该接口向监控中心发出报警或者监控中心通过该接口手动控制系统中的云台及摄像机镜头。

从摄像机输出的标准电视信号一路直接与监控中心的监视器相连或将图像以TCP/IP等数字协议上传。另一路经过图像采集单元变换为数字视频信号。图像处理单元对采集到的数字视频信号进行处理和分析，检测图像中是否有异常并输出最大异常目标的中心坐标到云台控制单元。云台控制单元可通过RS232接口向监控中心报警，同时控制云台转动，使安装在云台上的摄像机的光轴指向检测到的异常目标。当异常目标图像移动到视野中心附近时，云台控制单元自动的调节摄像机镜头放大倍数从而使监控中心得到异常目标清晰、完整的视频图像。

本发明的图像采集单元、图像处理单元和云台控制单元设计成专用的硬件电路嵌入到云台中。图像采集单元将PAL制式的标准电视信号变为16位数字视频信号输出。图像处理单元进行图像处理，完成异常目标的检测输出最大异常目标的中心位置，并根据目标的大小和在视野中的位置输出摄像机镜头变倍控制量。云台控制单元根据图像处理单元输出的异常目标中心位置控制云台转动相应角度，根据摄像机镜头变倍控制量完成镜头变倍。

本发明的图像采集单元、图像处理单元和云台控制单元分别采用专用视频解码芯片(Video Decoder)、数字信号处理器件(DSP)以及单片机实现。

本发明中异常检测的方法是对采集到的数字图像与时间相关的上一帧图像的灰度特征进行比较，将灰度突变的区域作为异常，形成二值化图像。对形成的二值化图像进行图像分割，将面积小的区域作为噪声忽略，将面积大于某阈值的异常区域作为异常目标区域。计算每个异常目标区域的面积并返回其中面积最大的异常目标区域的中心坐标，通知云台控制单元出现异常，完成异常检测。

本发明中摄像机镜头自动变倍的原理是根据异常目标区域的中心距离视野中心的距离决定是否变倍，如果该距离小于某阈值就进行变倍。将镜头放大倍数分为4级，根据异常目标区域的图像面积和中心位置决定变倍级别，面积越小变倍级别越大。

本发明对现有交流供电的云台进行改进，采用两部步进电机代替现有云台所采用的交流电机作为驱动元件，分别完成水平转动和俯仰转动两个方向的控制，提高了云台控制的灵活性，提高了云台位置控制的快速性和准确性。

与以往使用交流供电云台加远端计算机构成的异常目标跟踪监控系统相比，本发明因为使用专门的硬件实现视频图像的采集、处理、云台控制，并将镜头、摄像机、图像采集单元、图像处理单元、云台控制单元和云台在机构内部构成闭环控制系统，消除了图像传输速度低和云台控制延时大对控制的影响，实现了原来不能实现的对快速入侵目标的检测、跟踪、自动变倍功能。应用本发明对现有监控系统进行改造时，只要替换系统中的云台部分，原来的监控系统的其他部分不需改动，因此本发明系统的应用前景广泛。

附图说明

图1为本发明系统功能框图。

图2为本发明系统控制电路结构示意图。

图3为云台控制单元主要电路。

图4为控制字格式。

图5为水平、俯仰控制量格式。

图6为DSP软件中断处理程序流程图。

图7为实现后系统整体结构示意图。

图7(a)为系统硬件结构正视图，图7(b)为系统硬件结构侧视图。图7中，1为水平步进电机，2为俯仰步进电机，3为水平传动皮带，4为俯仰传动皮带，5为水平转动机架，6为俯仰转动机架，7为俯仰限位开关，8为水平限位开关，9为摄像机，10为摄像机镜头，11为控制电路部分，12为固定机架。

具体实施方式

以下结合附图对本发明的技术方案作进一步描述。

如图1所示，本发明的异常目标自动发现及跟踪摄像机系统是由镜头、摄像机、图像采集单元、图像处理单元、云台控制单元构成的闭环控制系统实现。其中镜头采用电动三可变镜头，镜头的焦距、放大倍数和光圈可通过镜头上的控制线控制。摄像机采用模拟摄像机，输出PAL制式的标准电视信号。

摄像机的输出连接监控中心和图像采集单元，图像采集单元的输出经图像处理单元连接云台控制单元，云台控制单元的输出与云台及摄像机镜头相连，云台控制单元通过RS232通讯接口与监控中心相连。

从摄像机输出的标准电视信号一路直接与监控中心的监视器相连或将图像以TCP/IP等数字协议上传，另一路送到图像采集单元，由图像采集单元将PAL制式的标准电视信号变为16位数字视频信号输出。图像处理单元对采集到的数字视频信号进行处理和分析，检测图像中是否有异常并输出最大异常目标的中心坐标到云台控制单元。云台控制单元可通过RS232接口向监控中心报警，同时控制云台转动，使安装在云台上的摄像机的光轴指向检测到的异常目标。当异常目标图像移动到视野中心附近时，云台控制单元自动的调节摄像机镜头放大倍数从而使监控中心得到异常目标清晰、完整的视频图像。

图2说明了系统控制电路整体实现方法。图中的DSP开发板C6711DSK实现图像处理单元，扩展子板实现图像采集单元和云台控制单元。DSP开发板C6711DSK上的核心器件为TMS320C6711DSP芯片。DSP开发板与扩展子板之间通过DSP开发板上的扩展接口相连接。图2中步进电机驱动器采用了迅捷公司的XJ-2HB02M，它的最大驱动电流为1安培。镜头控制信号由地线和聚焦、变倍、光圈控制信号组成。

扩展子板上图像采集单元采用专用视频解码芯片，型号为SAA7111实现。SAA7111的I²C总线通过将DSP开发板的DB_CLKX1，DB_DX1设置成通用I/O方式模拟实现。图像采集单元采用了基于先进先出存储器的图像帧缓冲结构，先进先出存储器采用专用的视频帧存储器，型号为AL422。先进先出存储器与专用视频解码芯片和DSP开发板间的接口逻辑使用一片ALTERA公司的EPM7032SLC-15实现。接口逻辑设计要保证在每帧图像完全写入先进先出存储器后触发TMS320C6711DSP的外部中断。图像采集单元将标准电视信号变为YUV16格式的数字视频信号存储在先进先出存储器中，TMS320C6711DSP芯片通过外部数据总线以QDMA方式将图像数据读入DSP开发板上的SDRAM中。

图3说明了云台控制单元主要电路实现方法，其中单片机采用了三片89C52单片机，单片机1实现水平转动控制，单片机2实现俯仰转动控制，单片机3实现镜头控制和RS232通讯。DSP开发板的DB_D[7..0]经锁存与单片机1的P1口相连；DB_D[15..8]经锁存与单片机2的P1口相连；DB_D[31]锁存后与单片机1，单片机2，单片机3的INT0相连；DB_D[26..24]锁存后与单片机3的P1.2～P1.0相连；锁存器的输出控制信号OEN与单片机3的P1.7相连；锁存信号CLK逻辑为：

CLK＜＝(NOT DB_AWEN)AND(NOT DB_CE3N)

该逻辑使得TMS320C6711向其CE3存储空间写入的32位数据能够被锁存。将TMS320C6711向其CE3空间写入的32位数据称为控制字。单片机3的P1端口的其他位用于设置硬件地址和镜头控制。控制字格式如图4。图中各位的含义是：当更新标志从1变为0时，表明输出了新的数据；异常标志置1时表示有异常，0为无异常；变倍控制量表示摄像机变倍级别。水平和俯仰控制量格式如图5。图中定位标志为1，表示将云台当前位置设置为初始位置。复位标志为1表示进行复位操作，云台从当前位置返回初始位置。转角控制量代表转动的角度增量和旋转的方向。

当DSP开发板写入的控制字更新标志从1变为0时，触发单片机1、单片机2、单片机3的外部中断0。在单片机1、单片机2、单片机3外部中断0处理程序中读取DSP数据线上的数据，确定水平转动量、俯仰转动量、镜头变被量。锁存器的输出控制信号OEN由单片机3的P1.7控制，当监控中心通过串口通知单片机3转为手动控制时，单片机3的P1.7输出高电平使单片机1、单片机2完全接受单片机3的控制。

DSP开发板软件执行的过程是：

TMS320C6711DSP启动后在主函数中完成初始化，包括对SAA7111的I²C初始化、对程序中用到的变量初始化、设置QDMA寄存器、清除QDAM结束中断和外部中断的中断标志、启动外部中断。

在TMS320C6711DSP的外部中断的处理函数中将先进先出存储器的读指针复位，然后启动QDMA传输将采集到的一帧数字图像从先进先出存储器读入DSP开发板的SDRAM中。QDMA传输结束后触发QDMA结束中断，在该中断处理程序中将SDRAM中的图像读出并触发软件中断。在软件中断处理函数中对图像进行处理。

TMS320C6711DSP软件中断处理程序如图6所示，首先将控制字中的更新标志置1并将该控制字写到TMS320C6711DSP的CE3存储空间的任意地址。如果当前帧出现异常或者曾经出现异常则异常检测认为有异常，否则为无异常。如果异常检测的结果为有异常，首先判断监视时间是否已经超过时间常数Ta或者入侵目标已经移出监控区域。如果判断结果为是则复位，否则进行异常处理。

异常检测的方法是：将当前场图像与时间相关的上一场图像各象素点灰度值比较，如果误差大于灰度阈值T，将该点标记1否则标记0，完成图像的二值化。灰度阈值T的大小决定了检测的灵敏度，T大则灵敏度小，反知则灵敏度大。因为图像发生变化是成片出现的，因此某个离散的象素发生变化应属于误报。使用一般的数字低通滤波器对得到的二值化图像滤波，消除误报点。对滤波后的二值化图像进行分割，将面积大于常数S的区域作为异常目标区域，得到异常目标区域的数目、图像面积和在图像中心在视野中的位置。如果异常区域的数目大于零，表明当前视野中出现了异常。

判断监视时间是否超时的方法是判断图像采集的帧数是否大于监视常数。监视常数大则对异常监视时间长，反之则短。

异常处理的过程是如果异常目标区域的中心处在视野的中心附近，根据异常目标在图像中的大小计算变倍控制量，否则保持当前变倍控制量。变倍控制量为0，1，2和3四级，每一级较上一级摄像机镜头倍数更高，异常目标的图像大小与变倍控制量近似成反比。计算结束后，将更新标志置0，异常标志置1并将异常目标的位置，变倍控制量按照控制字的格式组成控制字，然后将该控制字写到TMS320C6711DSP的CE3空间的任意地址。

复位操作是将变倍控制量置0，更新标志置0，将水平和俯仰控制量中的复位标志置1，并将该控制字写到DSP开发板的CE3存储空间的任意地址。

单片机1、单片机2软件实现的方法是：上电后首先对程序中用到的变量和控制寄存器进行初始化，打开外部中断0，然后判断标记是否为1，如果为1，通过P1口读入的水平(俯仰)控制量并将标记置0，继续判断标记。在单片机1、单片机2的外部中断0的处理程序中将标记置1。读入控制量后，首先判断复位标志是否为1，如果是则控制该方向上的电机返回初始位置。然后判断定位标志为1，如果是则将当前位置作为初始位置。如果复位标志和定位标志均为0，则根据转角控制量，控制该方向上的电机转动相应的角度。

单片机3软件的实现方法是：主程序中首先初始化程序中用到的变量和串口寄存器，打开外部中断0。在外部中断0的处理程序中判断控制字的异常标志位是否为1，如果为1则通过串口向主机报警，否则不报警。然后根据镜头变倍控制量控制镜头完成变倍。主程序中始终读串口，如果读到的数据是起始标志且随后读入的字节与系统的硬件地址一致，则将随后读入的三个字节分别作为水平转动、俯仰转动和镜头变倍控制量，然后在单片机3的P0输出水平控制量，P2输出俯仰控制量，P1.7输出高电平，INT0产生下降沿，根据镜头变倍控制量完成镜头变倍。

系统实现后的整体结构如图7所示，其中水平步进电机1和俯仰步进电机2均为两相步进电机。水平步进电机1通过水平传动皮带3带动水平转动机架5、俯仰步进电机2、传动皮带4、俯仰转动机架6、摄像机9作水平方向上的转动。俯仰步进电机2通过俯仰传动皮带4带动俯仰转动机架6、摄像机9作俯仰运动。摄像机9固定在俯仰转动机架6上，能够随其一起运动。水平限位开关8固定在固定机架12上。俯仰限位开关7固定在水平转动机架5上。水平限位开关8和俯仰限位开关7的输出分别与云台控制单元电路中对应引线相连。图中11为系统的控制电路部分，嵌入到固定机架12中，有标准电视信号作为输入接口，标准电视信号输出接口和RS232串口。

Claims (5)

1、一种异常目标自动发现及跟踪摄像机系统，由摄像机镜头、摄像机、图像采集单元、图像处理单元、云台控制单元、云台构成闭环控制系统，其特征在于摄像机的输出连接监控中心和图像采集单元，图像采集单元的输出经图像处理单元连接云台控制单元，云台控制单元的输出与云台及摄像机镜头相连，同时云台控制单元通过RS232通讯接口与监控中心相连，图像采集单元将标准电视信号变为16位数字视频信号输出，图像处理单元完成异常目标的检测输出最大异常目标的中心位置，并根据目标的大小和在视野中的位置输出摄像机镜头变倍控制量，云台控制单元根据图像处理单元输出的异常目标中心位置控制云台转动相应角度，根据摄像机镜头变倍控制量完成镜头变倍。

2、如权利要求1所说的异常目标自动发现及跟踪摄像机系统，其特征在于图像采集单元、图像处理单元和云台控制单元分别采用专用视频解码芯片、数字信号处理器件DSP以及单片机实现，并设计成独立的硬件电路嵌入到云台中。

3、如权利要求1所说的异常目标自动发现及跟踪摄像机系统，其特征在于图像处理单元对采集到的数字图像与时间相关的上一帧图像的灰度特征进行比较，将灰度突变的区域作为异常，形成二值化图像，对形成的二值化图像进行图像分割，将面积小的区域作为噪声忽略，将面积大于某阈值的异常区域作为异常目标区域，计算每个异常目标区域的面积并返回其中面积最大的异常目标区域的中心坐标，通知云台控制单元出现异常，完成异常检测。

4、如权利要求1所说的异常目标自动发现及跟踪摄像机系统，其特征在于摄像机镜头采用电动三可变镜头，镜头的焦距、放大倍数和光圈通过镜头上的控制线控制，云台控制单元将镜头放大倍数分为4级，根据异常目标区域的图像面积和中心位置决定变倍级别。

5、如权利要求1或2所说的异常目标自动发现及跟踪摄像机系统，其特征在于云台采用两台步进电机作为驱动元件，分别完成水平转动和俯仰转动两个方向的控制。

Images