CN111107394A - 一种跨平台集成视频流的系统及方法 - Google Patents
一种跨平台集成视频流的系统及方法 Download PDFInfo
- Publication number
- CN111107394A CN111107394A CN201911354993.1A CN201911354993A CN111107394A CN 111107394 A CN111107394 A CN 111107394A CN 201911354993 A CN201911354993 A CN 201911354993A CN 111107394 A CN111107394 A CN 111107394A
- Authority
- CN
- China
- Prior art keywords
- video
- code stream
- transcoding server
- workstation
- terminal equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000013079 data visualisation Methods 0.000 claims abstract description 53
- 238000004891 communication Methods 0.000 claims abstract description 32
- 210000001503 joint Anatomy 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000003032 molecular docking Methods 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 7
- 238000007726 management method Methods 0.000 description 29
- 238000005516 engineering process Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 238000004886 process control Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供一种跨平台集成视频流的系统及方法,跨平台集成视频流的系统包括大屏幕展示系统、数据可视化图形工作站、视频转码服务器和码流终端设备;码流终端设备包括室内摄像机、室外摄像机、视频接入网关、硬盘录像机、流媒体视频服务器和x86平台工作站;所述视频转码服务器通过内网与所述数据可视化图形工作站通信连接;所述数据可视化图形工作站与所述大屏幕展示系统连接。通过本发明,将各类视频流进行接入、管理,并与数据可视化系统对接,可将各类视频码流接入并实时展示,实现数据可视化和实时化两者的有效结合。
Description
技术领域
本发明属于画面展示与视频采集技术领域,具体涉及一种跨平台集成视频流的系统及方法。
背景技术
在越来越多的企事业单位对于指挥中心的重视不断增强的趋势下,对指挥中心大屏幕展示系统所具备的数据可视化的要求日益提高。数据可视化是指将企事业单位的各类诸如生产数据、营销数据、组合后的数据等进行可视化,以便于日常、参观等场景下更易于读取数据。
现有技术中,数据可视化系统通常只能接入一种类型的视频流,因此,限制了数据可视化系统充分发挥作用,已无法满足人们的使用需求。
发明内容
针对现有技术存在的缺陷,本发明提供一种跨平台集成视频流的系统及方法,可有效解决上述问题。
本发明采用的技术方案如下:
本发明提供一种跨平台集成视频流的系统,包括大屏幕展示系统、数据可视化图形工作站、视频转码服务器和码流终端设备;
所述码流终端设备包括六种码流终端设备中的至少一种,分别为第一码流终端设备、第二码流终端设备、第三码流终端设备、第四码流终端设备、第五码流终端设备和第六码流终端设备;
所述第一码流终端设备包括室内摄像机和室外摄像机;所述第一码流终端设备通过内网与所述视频转码服务器通信连接;
所述第二码流终端设备为视频接入网关,不同网段摄像机通过外网与所述视频接入网关通信连接;所述视频接入网关通过内网与所述视频转码服务器通信连接;
所述第三码流终端设备为硬盘录像机,不同网段摄像机通过外网与所述硬盘录像机通信连接;所述硬盘录像机通过内网与所述视频转码服务器通信连接;
所述第四码流终端设备为流媒体视频服务器,所述流媒体视频服务器通过外网分别与所述视频接入网关和所述硬盘录像机通信连接;
所述第五码流终端设备为第一x86平台工作站,第一x86平台工作站通过内网与所述视频转码服务器通信连接;
所述第六码流终端设备为第二x86平台工作站,第二x86平台工作站通过内网与所述视频转码服务器通信连接;
所述视频转码服务器通过内网与所述数据可视化图形工作站通信连接;所述数据可视化图形工作站与所述大屏幕展示系统连接。
本发明还提供一种跨平台集成视频流的系统的方法,包括以下步骤:
步骤1,码流终端设备通过以下方法接入视频转码服务器:
步骤1.1,第一码流终端设备包括室内摄像机和室外摄像机;室内摄像机和室外摄像机通过摄像机SDK包与视频转码服务器进行协议对接,室内摄像机和室外摄像机采集的视频码流传输到视频转码服务器;
步骤1.2,第二码流终端设备为视频接入网关,来自不同网段的摄像机接入视频接入网关,然后,视频接入网关通过视频接入网关提供的视频接入网关SDK包与视频转码服务器进行协议对接,视频接入网关将来自不同网段的摄像机采集的视频码流传输到视频转码服务器;
步骤1.3,第三码流终端设备为硬盘录像机,硬盘录像机集中管理一个网段内的摄像机,并进行集中画面存储与管理,具体的,硬盘录像机通过硬盘录像机厂家提供的硬盘录像机SDK包与视频转码服务器进行协议对接,硬盘录像机将管理范围内的所有摄像机采集到的视频码流采集到视频转码服务器;
步骤1.4,第四码流终端设备为流媒体视频服务器,流媒体视频服务器获取视频图像,然后对视频图像进行编码,将视频图像转换为网络流信号形式的视频码流;再将视频码流依次通过外网和内网,传输给视频转码服务器;
步骤1.5,第五码流终端设备为第一x86平台工作站,第一x86平台工作站的操作系统安装图像采集软件,图像采集软件将第一x86平台工作站的实时图像画面进行抓取并进行编码、封装,得到编码封装后的视频码流;然后将编码封装后的视频码流通过内网传输给视频转码服务器;
步骤1.6,第六码流终端设备为第二x86平台工作站,第二x86平台工作站配置第三方硬件编码设备;第三方硬件编码设备对第二x86平台工作站的实时视频信号进行编码和封装,得到编码封装后的视频码流;然后将编码封装后的视频码流通过内网传输给视频转码服务器;
步骤2,根据码流终端设备的数量确定在同一网络中需架设的视频转码服务器的数量;架设的各个视频转码服务器组成视频转码服务器集群;
每台所述视频转码服务器安装服务端程序模块;所述服务端程序模块包括标准协议组件包、私有协议组件包、配置管理模块、插件管理模块、格式转换模块和控制管理模块;
所述标准协议组件包提供对标准流协议支持;所述私有协议组件包为厂商私有SDK包;
所述配置管理模块,用于对视频码流进行管理、对视频码流进行渲染和初始化;
所述插件管理模块,用于对插件进行加载和卸载;
所述格式转换模块,用于对接收到的视频码流进行格式转换,转换为适合对接平台的像素格式;
所述控制管理模块,用于对接收到的视频码流进行通道切换;
所述视频转码服务器,用于对接入的视频码流进行转码操作,再通过内网发送给数据可视化图形工作站;所述视频转码服务器具体用于:
步骤2.1,当视频转码服务器接收来自于某个码流终端设备的视频码流对接请求时,视频转码服务器通过标准协议组件包或私有协议组件包,选择与被接入的视频码流一致的协议,从而完成视频转码服务器与码流终端设备的码流接入过程;
然后,视频转码服务器通过格式转换模块,对接入成功的视频码流进行转码,将其转码为标准格式视频码流;具体转码操作包括:解封装、解码、编码和重新封装过程;
最后,视频转码服务器将标准格式视频码流发送给数据可视化图形工作站;
步骤2.2,数据可视化图形工作站安装有播放器解码插件;所述播放器解码插件为根据应用端需求开发的网络流解析程序,包括应用视频解码控件、应用进程解码控件、Unity3D脚本和ActiveX控件;通过所述播放器解码插件,实现与所述视频转码服务器的对接,并将所述视频转码服务器推送的标准格式视频码流进行解码渲染,最终在大屏幕展示系统展现。
优选的,步骤2.2中,所述应用视频解码控件为基于C#开发的WPF应用程序;
所述应用进程解码控件,提供独立EXE应用程序的播放器,用于在数据可视化图形工作站中指定窗口位置运行并播放视频码流;
所述Unity3D脚本,用于以Unity3D脚本方式嵌入视频码流中进行播放;
所述ActiveX控件,用于嵌入到浏览器中,从而播放视频码流。
优选的,步骤2.2中,视频码流在大屏幕展示系统展现,具体为:
数据可视化图形工作站具有硬件视频输出接口,数据可视化图形工作站通过硬件视频输出接口向拼接处理器输送图像画面;拼接处理器经过画面拼接在拼接处理器投放。
本发明提供的一种跨平台集成视频流的系统及方法具有以下优点:
通过本方法,将各类视频流进行接入、管理,并与数据可视化系统对接,可将各类视频码流接入并实时展示,实现数据可视化和实时化两者的有效结合。
附图说明
图1为本发明提供的跨平台集成视频流的系统的架构图;
图2为本发明提供的跨平台集成视频流的原理图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
数据可视化可以在多个维度展现业绩,而同时加入实时画面可提升数据可视化的展现丰富性和真实性。因此,为实现数据可视化和实时化两者的结合,需要将各类视频码流进行接入、管理,并与数据可视化系统对接。
基于此,本发明提供一种跨平台集成视频流的系统,可以应用于多种行业的指挥中心中,作用于画面展示系统与视频采集系统之间,起到打通数据流的桥梁作用。
参考图1,跨平台集成视频流的系统包括大屏幕展示系统、数据可视化图形工作站、视频转码服务器和码流终端设备;
所述码流终端设备包括六种码流终端设备中的至少一种,分别为第一码流终端设备、第二码流终端设备、第三码流终端设备、第四码流终端设备、第五码流终端设备和第六码流终端设备;
所述第一码流终端设备包括室内摄像机和室外摄像机;所述第一码流终端设备通过内网与所述视频转码服务器通信连接;
所述第二码流终端设备为视频接入网关,不同网段摄像机通过外网与所述视频接入网关通信连接;所述视频接入网关通过内网与所述视频转码服务器通信连接;
所述第三码流终端设备为硬盘录像机,不同网段摄像机通过外网与所述硬盘录像机通信连接;所述硬盘录像机通过内网与所述视频转码服务器通信连接;
所述第四码流终端设备为流媒体视频服务器,所述流媒体视频服务器通过外网分别与所述视频接入网关和所述硬盘录像机通信连接;
所述第五码流终端设备为第一x86平台工作站,第一x86平台工作站通过内网与所述视频转码服务器通信连接;
所述第六码流终端设备为第二x86平台工作站,第二x86平台工作站通过内网与所述视频转码服务器通信连接;
所述视频转码服务器通过内网与所述数据可视化图形工作站通信连接;所述数据可视化图形工作站与所述大屏幕展示系统连接。
本发明还提供一种跨平台集成视频流的系统的方法,本方法可解决多种流媒体来源与上屏的应用软件进行对接的问题,形成具备业务含义的整幅画面,参考图1-2,包括以下步骤:
图1根据业务功能可分为以下部分:大屏幕展示系统(图中的拼接处理器和拼接屏图例,最终的成果输出载体)、数据可视化图像工作站(大屏幕展示系统画面的信号来源,也是本方法的最终成果输出对象)、视频转码服务器(本方法集成视频流的主要硬件设备)和码流终端设备,码流终端设备即码流来源(码流1、码流2、码流3、码流4、码流5、码流6代表了本方法可集成最常见的六种码流来源,在本方法具体应用场景中六种码流任意组合)。
整个应用案例的原理实现,按从码流接入至上屏展现的流程分为四个步骤:步骤一码流接入、步骤二视频转码、步骤三应用对接与解码、步骤四屏幕展现。
步骤1,码流接入:从图1拓扑图可以看出,各类码流(码流1、码流2、码流3、码流4、码流5、码流6)在面对不同的项目需求时,会遇到各类的码流来源情况,本方法根据不同码流来源累计、集成了各类码流对接功能接口。
码流终端设备通过以下方法接入视频转码服务器:
步骤1.1,第一码流终端设备包括室内摄像机和室外摄像机;室内摄像机和室外摄像机通过摄像机SDK包与视频转码服务器进行协议对接,室内摄像机和室外摄像机采集的视频码流传输到视频转码服务器;
因此,码流1为摄像机(包括室内、外各类图像采集编码设备),接入方法为通过摄像机厂家提供的SDK进行协议对接,通过与摄像机的网络通信将视频码流采集至本方法视频转码服务器;
步骤1.2,第二码流终端设备为视频接入网关,来自不同网段的摄像机接入视频接入网关,然后,视频接入网关通过视频接入网关提供的视频接入网关SDK包与视频转码服务器进行协议对接,视频接入网关将来自不同网段的摄像机采集的视频码流传输到视频转码服务器;
因此,码流2为视频接入网关,功能是解决接入来自不同网段摄像机的问题,本方法间接通过视频接入网关即可与之管理范围内的所有摄像机进行对接,也节省了逐个接入摄像机的工作量。其与之对接的原理为:通过视频接入网关厂家提供的SDK进行协议对接,通过与硬盘录像机进行网络通信间接将管理范围内的所有摄像机码流采集至本方法的转码服务器;
步骤1.3,第三码流终端设备为硬盘录像机,硬盘录像机集中管理一个网段内的摄像机,并进行集中画面存储与管理,具体的,硬盘录像机通过硬盘录像机厂家提供的硬盘录像机SDK包与视频转码服务器进行协议对接,硬盘录像机将管理范围内的所有摄像机采集到的视频码流采集到视频转码服务器;
因此,码流3为硬盘录像机,可集中管理一个网段内的摄像机,并进行集中画面存储与管理,本方法通过间接接入硬盘录像机可节省与每台摄像机进行接入的工作量,接入原理为通过硬盘录像机厂家提供的SDK进行协议对接,通过与硬盘录像机进行网络通信间接将管理范围内的所有摄像机码流采集至本方法的转码服务器;
步骤1.4,第四码流终端设备为流媒体视频服务器,流媒体视频服务器获取视频图像,然后对视频图像进行编码,将视频图像转换为网络流信号形式的视频码流;再将视频码流依次通过外网和内网,传输给视频转码服务器;
因此,码流4为各类流媒体服务器,与摄像机的工作原理一样,均是通过不同方式的编码方式将视频图像转换为网络流信号在局域网或广域网中传输。本方法与之接入的方式同样是解析封装协议。
步骤1.5,第五码流终端设备为第一x86平台工作站,第一x86平台工作站的操作系统安装图像采集软件,图像采集软件将第一x86平台工作站的实时图像画面进行抓取并进行编码、封装,得到编码封装后的视频码流;然后将编码封装后的视频码流通过内网传输给视频转码服务器;
因此,码流5为各类x86平台的工作站,为将该工作站上的视频信号可以在网络中传输,本方法在其操作系统上安装图像采集软件,将该工作站上的实时图像画面进行抓取并进行编码、封装。
步骤1.6,第六码流终端设备为第二x86平台工作站,第二x86平台工作站配置第三方硬件编码设备;第三方硬件编码设备对第二x86平台工作站的实时视频信号进行编码和封装,得到编码封装后的视频码流;然后将编码封装后的视频码流通过内网传输给视频转码服务器;
因此,码流6与码流5同样是接入x86平台工作站,不同的是码流6是通过第三方硬件编码设备进行工作站视频信号编码、封装的,本方法通过第三方硬件编码设备对接来获取工作站的图像网络流,对接方式同样是SDK协议对接。
步骤2,根据码流终端设备的数量确定在同一网络中需架设的视频转码服务器的数量;架设的各个视频转码服务器组成视频转码服务器集群;
每台所述视频转码服务器安装服务端程序模块;
服务端程序模块是本系统的核心,为系统的管理与应用提供数据处理、数据存储和网络资源调用。其主要分为两部分组成:SDK插件库和各功能模块。
SDK插件库:
SDK插件库最底层为插件组件包,一种是标准协议组件包,一种是私有协议组件包。标准协议组件包基于开源库ffmpeg实现,主要提供对标准流协议支持,rtsp,rtmp等;私有协议组件包是基于厂商的私有SDK。插件之间相互屏蔽,避免各种依赖库的冲突。
各功能模块:
所述配置管理模块,用于对视频码流进行管理、对视频码流进行渲染和初始化;
所述插件管理模块,用于对插件进行加载和卸载;
所述格式转换模块,用于对接收到的视频码流进行格式转换,转换为适合对接平台的像素格式;
所述控制管理模块,用于对接收到的视频码流进行通道切换;
管理端:
管理端是本系统应用与管理的主要部分,一方面为项目的部署提供配置功能,另一方面为日常管理提供功能设定和运维监视功能。主要功能包括:
①设备管理:添加视频码流来源的设备,及删除和配置信息修改;
②信号预监:进行视频码流设备的视频信号预览与状态标记;
③图像分析:通过图像识别技术,将视频码流的视频图像进行业务分析,如自动分析出哪些设备图像是异常的、哪些是具备业务含义的;
④日志管理:技术图像分析的自动化计划进行周期性分析结果记录,并形成大数据源,为可视化分析提供条件。
应用端是本系统与用户直接交互的部分,分为播放器和控制器两个终端。播放器是将视频码流最终渲染成画面的容器,其具备不同解码插件适应各类项目的应用;控制器是用户切换播放器其上具体来源的工具。
所述服务端程序模块包括标准协议组件包、私有协议组件包、配置管理模块、插件管理模块、格式转换模块和控制管理模块;
所述标准协议组件包提供对标准流协议支持;所述私有协议组件包为厂商私有SDK包;
所述视频转码服务器,用于对接入的视频码流进行转码操作,再通过内网发送给数据可视化图形工作站;所述视频转码服务器具体用于:
步骤2.1,当视频转码服务器接收来自于某个码流终端设备的视频码流对接请求时,视频转码服务器通过标准协议组件包或私有协议组件包,选择与被接入的视频码流一致的协议,从而完成视频转码服务器与码流终端设备的码流接入过程;
然后,视频转码服务器通过格式转换模块,对接入成功的视频码流进行转码,将其转码为标准格式视频码流;具体转码操作包括:解封装、解码、编码和重新封装过程;
最后,视频转码服务器将标准格式视频码流发送给数据可视化图形工作站;
步骤2.2,数据可视化图形工作站安装有播放器解码插件;所述播放器解码插件为根据应用端需求开发的网络流解析程序,包括应用视频解码控件、应用进程解码控件、Unity3D脚本和ActiveX控件;通过所述播放器解码插件,实现与所述视频转码服务器的对接,并将所述视频转码服务器推送的标准格式视频码流进行解码渲染,最终在大屏幕展示系统展现。
步骤2.2中,所述应用视频解码控件为基于C#开发的WPF应用程序;
所述应用进程解码控件,提供独立EXE应用程序的播放器,用于在数据可视化图形工作站中指定窗口位置运行并播放视频码流;
所述Unity3D脚本,用于以Unity3D脚本方式嵌入视频码流中进行播放;
所述ActiveX控件,用于嵌入到浏览器中,从而播放视频码流。
步骤2.2中,视频码流在大屏幕展示系统展现,具体为:
数据可视化图形工作站具有硬件视频输出接口,数据可视化图形工作站通过硬件视频输出接口向拼接处理器输送图像画面;拼接处理器经过画面拼接在拼接处理器投放。
具体实施例:
整个应用案例的原理实现按从码流接入至上屏展现的流程分为四个步骤:(步骤一)码流接入、(步骤二)视频转码、(步骤三)应用对接与解码、(步骤四)屏幕展现。
步骤一 码流接入:
从图1拓扑图中各类码流(码流1、码流2、码流3、码流4、码流5、码流6)可以看出,在面对不同的项目需求时会遇到各类的码流来源情况,本方法根据不同的码流来源累计、集成了各类码流对接功能接口。
步骤二 视频转码:
本方法完成步骤一后,在同一网络中架设视频转码服务器,本系统可支持根据码流接入设备量来决定架设视频转码服务器集群(集群可以有效的提高视频转码能力)。本方法在视频转码服务器安装有上述服务端程序,是各类码流接入的核心程序,并将各类码流统一转码为一种格式流(如RTMP流),转码技术采用开源库ffmpeg转换,转码过程由date(码流接入)、demux(解封装)、decode(解码)、encode(编码)、muxer(重新封装)、net(网络发送)组成,如图2所示。根据应用需要且可提供32bit和64bit两种SDK。
步骤三 应用对接与解码:
继步骤二转码完成后,在工作网内的图1数据可视化图像工作站上安装解码插件(上文所述应用端的播放器),播放器插件是指本方法根据应用端的需求开发的各类网络流解析程序,目前已开发完成可提供的有应用视频控件、应用进程控件、Unity3D脚本、ActiveX控件、JS Browser接入等方式,这些控件是本方法针对不同项目中应用程序而提供的不同解码插件,如下说明:
1)应用视频控件:如图1数据可视化图像工作站运行的是基于C#开发的WPF应用程序,本方法提供控件嵌入WPF程序运行。
2)应用进程控件:本方法可提供独立EXE应用程序播放器,在图1数据可视化图像工作站中指定窗口位置运行并播放视频图像。
3)Unity3D脚本:如图1数据可视化图像工作站运行的是Unity3D应用程序,本方法可提供Unity3D脚本方式嵌入视频图像的播放。
4)ActiveX控件:如图1数据可视化图像工作站运行的是基于浏览器的展示系统,本方法可提供该ActiveX控件技术(x64/x86)嵌入到浏览器中的一部分来播放视频图像。
5)JS&Browser:与ActiveX控件支持方法类似,本方法可通过JS配合Browser运行。
完成上述不同项目场景的插件控件部署后,该插件与图1所示视频转码服务器对接,将视频转码服务器推送的视频网络流进行解码渲染,最终在屏幕展现。
步骤四 系统配置:
完成上述步骤即完成本系统的部署过程,本步骤在上述局域网内任意PC运行上述管理端程序。通过管理端程序进行码流接入资源管理、图像分析配置和日志管理操作。
步骤五 控制播放:
在上述局域网任意PC运行上述应用端的控制器程序,进行播放器的播放源(即指上述码流资源)切换。
步骤六屏幕展现:
完成步骤三的解码后,图1数据可视化图像工作站的硬件视频输出接口即可输出图像画面给图1的拼接处理器,拼接处理器经过画面拼接在拼接屏上投放,即完成本方法的所有步骤。
本发明设计要点为:
1)应用对接与解码:本方法提供多种网络流解析能力(包括应用视频控件、应用进程控件、应用视频显示框架、U3D脚本、ActiveX、JS Browser接入等方式)是应用用户使用本方法的最终意义,通过该功能可有效的解决上述背景技术中所提及的数据可视化、实时化要求及两者结合性要求日益提高的问题。
2)图像分析应用:引进图像分析技术在本系统的应用可大大提升计算机自动化工作水平,节省人力成本,为业务分析挖掘数据。
3)视频转码:视频转码能力是本方法的核心技术和卖点之一,提供给应用用户可用的统一码流是本方法解决的重要前提条件,具备提供定制的流格式、指定的32或64位操作系统的特点。
4)可积累的码流接入能力:本方法在项目中可逐步积累各类码流种类的对接方式、协议,在后期项目中可复用。
本发明提供的一种跨平台集成视频流的系统及方法具有以下优点:
1)通过本方法,将各类视频流进行接入、管理,并与数据可视化系统对接,可将各类视频码流接入并实时展示,实现数据可视化和实时化两者的有效结合;
2)通过本方法,可有效的提升指挥中心大屏幕展示系统的数据可视化与视频实时化结合的用户观看感受直观程度,提高系统自动化程度;
3)通过集成第三方SDK、以及GB28181、Onvif等标准协议,实现与第三方流媒体源的通信,并最终转换为可用协议,实现高效、稳定地将第三方设备接入应用系统,解决了应用系统和第三方设备间互联互通的问题,
4)本发明产品基于x86/64的Windows平台架构,硬件配置可行性高、搭配灵活。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。
Claims (4)
1.一种跨平台集成视频流的系统,其特征在于,包括大屏幕展示系统、数据可视化图形工作站、视频转码服务器和码流终端设备;
所述码流终端设备包括六种码流终端设备中的至少一种,分别为第一码流终端设备、第二码流终端设备、第三码流终端设备、第四码流终端设备、第五码流终端设备和第六码流终端设备;
所述第一码流终端设备包括室内摄像机和室外摄像机;所述第一码流终端设备通过内网与所述视频转码服务器通信连接;
所述第二码流终端设备为视频接入网关,不同网段摄像机通过外网与所述视频接入网关通信连接;所述视频接入网关通过内网与所述视频转码服务器通信连接;
所述第三码流终端设备为硬盘录像机,不同网段摄像机通过外网与所述硬盘录像机通信连接;所述硬盘录像机通过内网与所述视频转码服务器通信连接;
所述第四码流终端设备为流媒体视频服务器,所述流媒体视频服务器通过外网分别与所述视频接入网关和所述硬盘录像机通信连接;
所述第五码流终端设备为第一x86平台工作站,第一x86平台工作站通过内网与所述视频转码服务器通信连接;
所述第六码流终端设备为第二x86平台工作站,第二x86平台工作站通过内网与所述视频转码服务器通信连接;
所述视频转码服务器通过内网与所述数据可视化图形工作站通信连接;所述数据可视化图形工作站与所述大屏幕展示系统连接。
2.一种权利要求1所述的跨平台集成视频流的系统的方法,其特征在于,包括以下步骤:
步骤1,码流终端设备通过以下方法接入视频转码服务器:
步骤1.1,第一码流终端设备包括室内摄像机和室外摄像机;室内摄像机和室外摄像机通过摄像机SDK包与视频转码服务器进行协议对接,室内摄像机和室外摄像机采集的视频码流传输到视频转码服务器;
步骤1.2,第二码流终端设备为视频接入网关,来自不同网段的摄像机接入视频接入网关,然后,视频接入网关通过视频接入网关提供的视频接入网关SDK包与视频转码服务器进行协议对接,视频接入网关将来自不同网段的摄像机采集的视频码流传输到视频转码服务器;
步骤1.3,第三码流终端设备为硬盘录像机,硬盘录像机集中管理一个网段内的摄像机,并进行集中画面存储与管理,具体的,硬盘录像机通过硬盘录像机厂家提供的硬盘录像机SDK包与视频转码服务器进行协议对接,硬盘录像机将管理范围内的所有摄像机采集到的视频码流采集到视频转码服务器;
步骤1.4,第四码流终端设备为流媒体视频服务器,流媒体视频服务器获取视频图像,然后对视频图像进行编码,将视频图像转换为网络流信号形式的视频码流;再将视频码流依次通过外网和内网,传输给视频转码服务器;
步骤1.5,第五码流终端设备为第一x86平台工作站,第一x86平台工作站的操作系统安装图像采集软件,图像采集软件将第一x86平台工作站的实时图像画面进行抓取并进行编码、封装,得到编码封装后的视频码流;然后将编码封装后的视频码流通过内网传输给视频转码服务器;
步骤1.6,第六码流终端设备为第二x86平台工作站,第二x86平台工作站配置第三方硬件编码设备;第三方硬件编码设备对第二x86平台工作站的实时视频信号进行编码和封装,得到编码封装后的视频码流;然后将编码封装后的视频码流通过内网传输给视频转码服务器;
步骤2,根据码流终端设备的数量确定在同一网络中需架设的视频转码服务器的数量;架设的各个视频转码服务器组成视频转码服务器集群;
每台所述视频转码服务器安装服务端程序模块;所述服务端程序模块包括标准协议组件包、私有协议组件包、配置管理模块、插件管理模块、格式转换模块和控制管理模块;
所述标准协议组件包提供对标准流协议支持;所述私有协议组件包为厂商私有SDK包;
所述配置管理模块,用于对视频码流进行管理、对视频码流进行渲染和初始化;
所述插件管理模块,用于对插件进行加载和卸载;
所述格式转换模块,用于对接收到的视频码流进行格式转换,转换为适合对接平台的像素格式;
所述控制管理模块,用于对接收到的视频码流进行通道切换;
所述视频转码服务器,用于对接入的视频码流进行转码操作,再通过内网发送给数据可视化图形工作站;所述视频转码服务器具体用于:
步骤2.1,当视频转码服务器接收来自于某个码流终端设备的视频码流对接请求时,视频转码服务器通过标准协议组件包或私有协议组件包,选择与被接入的视频码流一致的协议,从而完成视频转码服务器与码流终端设备的码流接入过程;
然后,视频转码服务器通过格式转换模块,对接入成功的视频码流进行转码,将其转码为标准格式视频码流;具体转码操作包括:解封装、解码、编码和重新封装过程;
最后,视频转码服务器将标准格式视频码流发送给数据可视化图形工作站;
步骤2.2,数据可视化图形工作站安装有播放器解码插件;所述播放器解码插件为根据应用端需求开发的网络流解析程序,包括应用视频解码控件、应用进程解码控件、Unity3D脚本和ActiveX控件;通过所述播放器解码插件,实现与所述视频转码服务器的对接,并将所述视频转码服务器推送的标准格式视频码流进行解码渲染,最终在大屏幕展示系统展现。
3.根据权利要求2所述的一种跨平台集成视频流的系统的方法,其特征在于,步骤2.2中,所述应用视频解码控件为基于C#开发的WPF应用程序;
所述应用进程解码控件,提供独立EXE应用程序的播放器,用于在数据可视化图形工作站中指定窗口位置运行并播放视频码流;
所述Unity3D脚本,用于以Unity3D脚本方式嵌入视频码流中进行播放;
所述ActiveX控件,用于嵌入到浏览器中,从而播放视频码流。
4.根据权利要求2所述的一种跨平台集成视频流的系统的方法,其特征在于,步骤2.2中,视频码流在大屏幕展示系统展现,具体为:
数据可视化图形工作站具有硬件视频输出接口,数据可视化图形工作站通过硬件视频输出接口向拼接处理器输送图像画面;拼接处理器经过画面拼接在拼接处理器投放。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911354993.1A CN111107394A (zh) | 2019-12-25 | 2019-12-25 | 一种跨平台集成视频流的系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911354993.1A CN111107394A (zh) | 2019-12-25 | 2019-12-25 | 一种跨平台集成视频流的系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111107394A true CN111107394A (zh) | 2020-05-05 |
Family
ID=70425198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911354993.1A Pending CN111107394A (zh) | 2019-12-25 | 2019-12-25 | 一种跨平台集成视频流的系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111107394A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112689150A (zh) * | 2020-12-15 | 2021-04-20 | 北京计算机技术及应用研究所 | 一种高性能视频转服务器的设计 |
| CN112752137A (zh) * | 2020-12-29 | 2021-05-04 | 北京恒泰实达科技股份有限公司 | 一种基于大屏显示系统的监控视频集成播放系统和方法 |
| CN114779978A (zh) * | 2022-04-27 | 2022-07-22 | 天津大学 | 一种数据可视化的融合方法、系统、装置和介质 |
| CN115914677A (zh) * | 2022-09-19 | 2023-04-04 | 上海辰锐信息科技有限公司 | 一种智能视频安全联网装置、服务器 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080013619A1 (en) * | 2006-07-14 | 2008-01-17 | Qualcomm Incorporated | Encoder initialization and communications |
| WO2010047921A2 (en) * | 2008-10-21 | 2010-04-29 | Yahoo! Inc. | Network aggregator |
| CN101808233A (zh) * | 2009-02-18 | 2010-08-18 | 杭州海康威视数字技术股份有限公司 | 一种通用的手机视频监控实现系统和方法 |
| CN103634552A (zh) * | 2012-08-28 | 2014-03-12 | 华为技术有限公司 | 一种监控视频存储方法、系统和中心管理服务器 |
| CN103647954A (zh) * | 2013-12-27 | 2014-03-19 | 成都三零凯天通信实业有限公司 | 基于3g信道与智能终端的移动视频监控系统 |
| EP2741474A1 (en) * | 2008-10-06 | 2014-06-11 | Facebook, Inc. | Device, system and method for providing distributed online services |
| CN105336241A (zh) * | 2015-12-08 | 2016-02-17 | 上海电机学院 | 一种危情生存模拟训练系统及其建立方法 |
| CN106060459A (zh) * | 2016-05-30 | 2016-10-26 | 安徽四创电子股份有限公司 | 一种摄像机的协议转换系统及其转换方法 |
| WO2017136646A1 (en) * | 2016-02-05 | 2017-08-10 | Digital Ally, Inc. | Comprehensive video collection and storage |
| CN107257497A (zh) * | 2017-06-16 | 2017-10-17 | 成都市知用科技有限公司 | 一种能够跨平台浏览器的视频直播方法 |
| CN108769616A (zh) * | 2018-06-21 | 2018-11-06 | 泰华智慧产业集团股份有限公司 | 一种基于rtsp协议的实时视频无插件预览方法及系统 |
| CN109151341A (zh) * | 2018-09-27 | 2019-01-04 | 中国船舶重工集团公司第七0九研究所 | 一种嵌入式平台多源高清视频融合实现系统及方法 |
-
2019
- 2019-12-25 CN CN201911354993.1A patent/CN111107394A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080013619A1 (en) * | 2006-07-14 | 2008-01-17 | Qualcomm Incorporated | Encoder initialization and communications |
| EP2741474A1 (en) * | 2008-10-06 | 2014-06-11 | Facebook, Inc. | Device, system and method for providing distributed online services |
| WO2010047921A2 (en) * | 2008-10-21 | 2010-04-29 | Yahoo! Inc. | Network aggregator |
| CN101808233A (zh) * | 2009-02-18 | 2010-08-18 | 杭州海康威视数字技术股份有限公司 | 一种通用的手机视频监控实现系统和方法 |
| CN103634552A (zh) * | 2012-08-28 | 2014-03-12 | 华为技术有限公司 | 一种监控视频存储方法、系统和中心管理服务器 |
| CN103647954A (zh) * | 2013-12-27 | 2014-03-19 | 成都三零凯天通信实业有限公司 | 基于3g信道与智能终端的移动视频监控系统 |
| CN105336241A (zh) * | 2015-12-08 | 2016-02-17 | 上海电机学院 | 一种危情生存模拟训练系统及其建立方法 |
| WO2017136646A1 (en) * | 2016-02-05 | 2017-08-10 | Digital Ally, Inc. | Comprehensive video collection and storage |
| CN106060459A (zh) * | 2016-05-30 | 2016-10-26 | 安徽四创电子股份有限公司 | 一种摄像机的协议转换系统及其转换方法 |
| CN107257497A (zh) * | 2017-06-16 | 2017-10-17 | 成都市知用科技有限公司 | 一种能够跨平台浏览器的视频直播方法 |
| CN108769616A (zh) * | 2018-06-21 | 2018-11-06 | 泰华智慧产业集团股份有限公司 | 一种基于rtsp协议的实时视频无插件预览方法及系统 |
| CN109151341A (zh) * | 2018-09-27 | 2019-01-04 | 中国船舶重工集团公司第七0九研究所 | 一种嵌入式平台多源高清视频融合实现系统及方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112689150A (zh) * | 2020-12-15 | 2021-04-20 | 北京计算机技术及应用研究所 | 一种高性能视频转服务器的设计 |
| CN112752137A (zh) * | 2020-12-29 | 2021-05-04 | 北京恒泰实达科技股份有限公司 | 一种基于大屏显示系统的监控视频集成播放系统和方法 |
| CN112752137B (zh) * | 2020-12-29 | 2023-02-28 | 北京恒泰实达科技股份有限公司 | 一种基于大屏显示系统的监控视频集成播放系统和方法 |
| CN114779978A (zh) * | 2022-04-27 | 2022-07-22 | 天津大学 | 一种数据可视化的融合方法、系统、装置和介质 |
| CN115914677A (zh) * | 2022-09-19 | 2023-04-04 | 上海辰锐信息科技有限公司 | 一种智能视频安全联网装置、服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111107394A (zh) | 一种跨平台集成视频流的系统及方法 | |
| CN100555403C (zh) | 一种拼墙多用户互动控制和拼墙显示信息回放装置及方法 | |
| CN108234997B (zh) | 直播视频的时延测量方法、设备、系统及计算机可读介质 | |
| CN102547231B (zh) | 基于浏览器的智能网络视频监控系统及其工作方法 | |
| CN102196248B (zh) | 一种移动视频监控系统及方法 | |
| EP1739924A1 (en) | Digital media player for validating operational state data of a digital media server | |
| US20060164328A1 (en) | Method and apparatus for wireless display monitor | |
| JP2016508679A (ja) | 複数の視覚コンポーネントを有する画面を共有するためのシステム、装置、および方法 | |
| CN114630051B (zh) | 视频处理方法以及系统 | |
| CN101452418A (zh) | 电脑管理系统与方法及其所应用的操控台 | |
| WO2021174718A1 (zh) | 远程监控的控制系统和终端 | |
| CN107770564A (zh) | 远程采集音视频数据的方法及装置 | |
| CN100383769C (zh) | 一种电脑接收带摄像头手机输入视频数据的方法及系统 | |
| CN206117878U (zh) | 智能视频分析装置、设备及视频监控系统 | |
| CN103702070A (zh) | 一种基于数字监控平台系统的走廊模式监控方法 | |
| CN115134617A (zh) | 直播质检系统、方法、Web服务器及存储介质 | |
| CN117176962B (zh) | 一种视频编解码方法、装置及相关设备 | |
| CN112866585A (zh) | 视音频流的调度控制系统和方法 | |
| CN110392267A (zh) | 一种低成本矿山生产现场自动化集中监控方法 | |
| CN103974087A (zh) | 视频图像文件压缩系统、客户端及方法 | |
| KR101180784B1 (ko) | 컴포넌트 기반 프로그램의 동작 시퀀스 다이어그램 자동 생성 장치 | |
| CN111147928A (zh) | 视频处理方法、服务器、终端及系统 | |
| CN118018716B (zh) | 一种跨平台的楼宇对讲音视频测试方法、设备及介质 | |
| CN115379206B (zh) | 8k超高清音视频测试系统及测试方法 | |
| CN111031137A (zh) | 一种基于故障状态遥感技术的可视化远程运维方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200505 |