CN111901199A

CN111901199A - 一种基于海量数据的快速预警匹配实现方法

Info

Publication number: CN111901199A
Application number: CN202010746841.2A
Authority: CN
Inventors: 龙有东; 史晓龙
Original assignee: Beijing Hongda Longhe Technology Co ltd
Current assignee: Beijing Hongda Longhe Technology Co ltd
Priority date: 2020-07-29
Filing date: 2020-07-29
Publication date: 2020-11-06

Abstract

本发明公开了一种基于海量数据的快速预警匹配实现方法，涉及信息安全技术领域，包括以下步骤：预先通过网络层抓取原始包含操作数据的网络报文，作为最原始的输入，其抓取的网络报文包括操作员操作请求和业务系统响应返回内容；对获取的网络报文进行数据分类并建立分布式存储，其包括对获取的网络报文进行解析并对操作内容进行加注标识；获取对加注标识的分布式数据集群进行识别，其包括识别数据内包含的敏感内容和识别统计操作的相关属性；获取标记的敏感数据内容作为输出进行预警。本发明解决了传统审计分析技术架构采用关系数据库在处理海量日志数据时的低效率问题，而且数据清洗的方式更便捷，更高效。

Description

一种基于海量数据的快速预警匹配实现方法

技术领域

本发明涉及信息安全技术领域，具体来说，涉及一种基于海量数据的快速预警匹配实现方法。

背景技术

业务支撑系统中承载的大量客户资料、消费记录、订购信息等关键敏感信息，近年来业务受理量和数据规模都在急速增加，随着安全形势的发展，客户信息安全面临的威胁越来越多，合法用户在业务系统上通过恶意操作批量获取信息进行贩卖、甚至通过批量操作非法获利的安全事件频发，目标针对敏感信息防泄露的主要技术包括：业务支撑系统日志记录，把用户登录系统后相关的操作都记录下来，可以用作事后审计以帮助追查责任；业务支撑系统授权控制，从网络边界、外设边界以及桌面应用三方面做以全方位控制，达到信息安全目标中的“可控性”的要求，防止对信息的不当使用和流传；敏感信息加密，在数据传输过程和对敏感数据的存储进行加密，就算第三方通过非法手段获取到数据，也没有办法进行查看。

而目前业务支撑系统中其开发厂商人员是被重点审计的对象，业务系统记录日志，相当于自己审计自己，存在“监守自盗”的隐患，与安全管理思想相悖；在历年安全事故中，出现问题的大多数都是业务厂商人员；另外存在业务系统软件自身不是对所有的查客户资料都能记录日志，因此日志不完整，但这些漏洞业务系统自身却无法发现，因此必须通过第三方审计软件监管，才能发现问题所在；而审计必须实现敏感内容级的关联审计，因此如果通过改造业务系统实现此功能，则每天新增数据量巨大，严重影响业务系统自身性能，存在影响业务的巨大隐患；安全审计是动态演进过程，随着安全审计需求的变化，如果在业务系统改造实现日志功能，相当于频繁上线安全功能，相当于在业务系统上引入了频繁割接上线新功能的风险，给业务带来隐患。

因此，亟需一种基于海量数据的快速预警匹配实现方法。

发明内容

针对相关技术中的问题，本发明提出一种基于海量数据的快速预警匹配实现方法，以克服现有相关技术所存在的上述技术问题。

本发明的技术方案是这样实现的：

一种基于海量数据的快速预警匹配实现方法，包括以下步骤：

步骤S1，预先通过网络层抓取原始包含操作数据的网络报文，作为最原始的输入，其抓取的网络报文包括操作员操作请求和业务系统响应返回内容；

步骤S2，对获取的网络报文进行数据分类并建立分布式存储，其包括对获取的网络报文进行解析并对操作内容进行加注标识；

步骤S3，获取对加注标识的分布式数据集群进行识别，其包括识别数据内包含的敏感内容和识别统计操作的相关属性；

步骤S4，获取标记的敏感数据内容作为输出进行预警。

进一步的，所述抓取原始包含操作数据的网络报文，包括以下步骤：

通过旁路镜像的方式，将业务系统流量数据引入到采集设备终端；

通过Pcap4J对网卡上的数据流量进行抓包。

进一步的，包括以下步骤：

通过抓取到的流量经过Pcap4J整合过后，获取当前访问的数据信息，其包括客户端IP、客户端端口、客户端MAC、服务端IP、服务端端口、服务MAC、TCP信息、会话序列号、会话应答码、会话长度和会话信息；

获取TCP会话特性将接收到的流量数据进行重新编排，整理会话消息。

进一步的，所述整理会话消息包括无用数据剔除和将乱序流量进行正向编排重新排序。

进一步的，所述对获取的网络报文进行数据分类包括不同协议的特征进行有效区分。

进一步的，所述协议包括http、ftp、telnet、db2、mysql和Oracle。

本发明的有益效果：

本发明基于海量数据的快速预警匹配实现方法，通过预先通过网络层抓取原始包含操作数据的网络报文，作为最原始的输入，其抓取的网络报文包括操作员操作请求和业务系统响应返回内容；对获取的网络报文进行数据分类并建立分布式存储，其包括对获取的网络报文进行解析并对操作内容进行加注标识；获取对加注标识的分布式数据集群进行识别，其包括识别数据内包含的敏感内容和识别统计操作的相关属性；获取标记的敏感数据内容作为输出进行预警，解决了传统审计分析技术架构采用关系数据库在处理海量日志数据时的低效率问题，而且数据清洗的方式更便捷，更高效。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于海量数据的快速预警匹配实现方法的流程示意图；

图2是根据本发明实施例的一种基于海量数据的快速预警匹配实现方法的原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种基于海量数据的快速预警匹配实现方法。

如图1-图2所示，根据本发明实施例的基于海量数据的快速预警匹配实现方法，包括以下步骤：

步骤S4，获取标记的敏感数据内容作为输出进行预警。

其中，所述抓取原始包含操作数据的网络报文，包括以下步骤：

通过Pcap4J对网卡上的数据流量进行抓包。

其中，包括以下步骤：

其中，所述整理会话消息包括无用数据剔除和将乱序流量进行正向编排重新排序。

其中，所述对获取的网络报文进行数据分类包括不同协议的特征进行有效区分。

其中，所述协议包括http、ftp、telnet、db2、mysql和Oracle。

借助于上述方案，本发明通过网络层面抓取海量的原始操作数据，进行数据报文整合与还原，运用大数据并行计算技术，根据预先设置的告警模型，对业务系统中涉及客户敏感信息的可疑操作进行告警和审计，准确定位触发告警的数据操作人员，对访问敏感页面数据、执行关键操作的行为进行真实、全面的日志记录，对可疑操作及时告警，并还原完整的操作轨迹，为追查责任提供强有力的证据，实现客户敏感信息操作强制审计、违规行为不可抵赖，解决了传统审计分析技术架构采用关系数据库在处理海量日志数据时的低效率问题，而且数据清洗的方式更便捷，更高效。

另外，具体的，针对采集TB以上的海量数据，针对各种协议特性，对原始流量进行分类，重新定义并解析出协议当中所有信息，对操作内容进行识别并加注标识，而后这些信息存储于分布式文件系统中。当用户定义的预警模型生效时，从分布式文件系统中将重新定义后的标准化数据提速出来，通过Map-Reduce将任务分发至集群中所有机器来同步并发处理这些数据，这些文件里面的内容被提取出来之后，并发进行的任务中会有对这些数据进行识别。

根据数据内包含的敏感内容的不同(如客户身份信息，家庭信息，电话信息等)，统计操作的相关属性(如IP地址、用户信息、操作时间、操作内容、操作频率、以及其他行为特征等)，将对应不同的标识(这个是进行流量数据标准化处理的时候标记的)，通过“分布式计算”与“内容标识”的相结合，能够高效准确的找到各种被标记过的敏感数据内容，根据预警模型设定的阈值进行快速计算与预警。

另外，具体的，对于流量采集来说，通过旁路镜像的方式，将业务系统流量数据引入到我方采集设备终端，然后程序通过Pcap4J对网卡上的数据流量进行抓包，通过系统的代码封装，将整个采集系统编程灵活可配置化的采集程序，因为这里直接抓取网卡上面的流量信息，所以只要硬件能够支持的情况下，采集流量可以做到全量采集全量分析。一般建议修改配置为：网卡名称、抓包snaplen、抓取流量的过滤表达式以及数据流量经过系统整理过后的序列化数据文件的本地保存路径等配置信息。

而流量通用信息提取：通过抓取到的流量经过Pcap4J整合过后，能获取当前访问的客户端IP，客户端端口，客户端MAX和服务端IP，服务端端口，服务MAX，以及TCP信息，包括会话序列号，会话应答码，会话长度等会话信息。系统可以根据TCP会话特性将接收到的流量数据进行重新编排，整理会话消息，做到去重、重新排序等操作，将流量信息中的无用数据剔除，将乱序流量进行正向编排，整理成完整、有序的会话消息。

流量协议的区分：系统将抓取下来的数据包进行分析，根据不同协议的特征进行有效区分。目标系统支持对http、ftp、telnet、db2、mysql、Oracle等等。目前广东移动已经投入生产的协议类型有http、ftp、db2这三种协议。

具体的，针对这几种协议作出有效区分的依据，表示如下：

1、http协议头部是有包含一些特性信息的，比如“HTTP”、“GET”、“POST”、“put”、“DELETE”等等一些特征码。比如，当前系统抓取到的流量数据前面3个字节能够匹配上“GET”，那么这是一个请求类型为GET的http请求；如果前面4个字节能够匹配上“POST”，那么这确定就是一条请求类型为POST的http请求；再例如前面4个字节匹配上了“HTTP”，那么久确定这是一条http响应会话消息。

2、ftp协议我们根据端口号来确定协议类型，被动模式下ftp命令端口是21，数据端口是21，主动模式下需要对端提供端口号(ftp协议默认的规则是数据端口号＝命令端口号-1，例如命令端口号为222，则数据端口号为221)。

3、db2协议可以根据其头部drda协议特有的特征码，取出前9个字节，然后通过官方字符对照码来判断是否drda协议。这里前面9个字节对应到的是drda协议当中特定的属性值(这里是根据drda协议必然包含的一个DDM块的特性去进行检测匹配)。

另外，对于数据解析：将采集下来的数据进行整理过后，我们会继续通过另一个进程来将数据包中的原始报文转化成为我们想要的一些信息，具体如下：

1、http协议中可以获取host、user agent、accept、accept-language、accept-Encoding、accept-charset、referer等等信息以及请求体内容和响应体内容。

2、ftp协议可以获取用户名、密码以及用户操作的一些命令。

3、drda协议中可以获取drda长度，交互类型，用户名，密码，操作的sql类型，操作的sql具体内容，查询的结果，操作sql的执行结果等等信息。

此外，预警模型建立：用户可以随心所欲根据自己的需求建立自己想要的预警模型，系统支持“是”、“否”、“与”、“或”的方式建立复合规则，配合who、where、when、what、why、how等规则类型来建立出一个效果复杂配置简单的预警模型。类似面向变成的配置方式，在一定程度上降低了复杂规则的配置难度。

另外，账号自动补全：通过系统配置可以在数据流量中提取出用户登录信息以及会话唯一标识，并将这些信息保存于系统内存中。系统会对抓取到的所有会话进行补全，针对http协议类型可以通过配置提取出cookie值或者Sessionid，用来作为登录信息补全的唯一凭证；针对其他无会话状态的数据，算出一个hash值作为这个会话的唯一标识，用于匹配后面所有的操作信息，来作为登录信息补全的唯一凭证。通过这一步可以明确知道每一步操作的相关人员信息，也可以将所有数据信息统一标准化。

后面的审计操作主要是根据获取到的响应体和请求体对数据进行一系列的模型匹配，从而得知违规操作的发生时间、IP、MAC、账号、操作的内容等等信息，然后产生告警在UI界面上面讲审计结果清晰、准确的展示出来，并提供后期的操作流程回溯，用户可以清楚的看到每一次审计结果出现的真是原因，以及当时操作的场景等信息。程序可以根据预警模型准确识别出身份证、银行卡、手机、姓名及地址等信息。

数据挖掘过程：将hadoop里面存储的数据源文件根据日期进行分组存储起来。然后通过界面配置数据挖掘条件，配置完毕后，将配置信息保存，系统会每隔一定的时间去自动加载配置表里面的配置信息，然后根据配置加载出来对呀的规则和预警模型，根绝预警模型里面的配置信息生成排序规则，和过滤规则。随后系统通过在JobTracker里面注册一个job，将hadoop里面存储的数据源文件根据<protocol,data>键值对的形式对其进行分布式的重组、清洗，之后在对数据和预警模型当中配置的规则进行比对，最终生成告警结果。

其中核心实现过程大致为：首先当Map-Reduce接收到任务，对各种敏感数据进行分类，对不同用户操作的同种或者不同种敏感操作进行有效统计。在抓取到的所有流量信息中，包含敏感数据和正常数据，系统针对用户需求对数据进行过滤，以达到结果准确，清晰的战果。当某工号在一段时间内频繁对某个功能做操作时候，系统会自动将这些操作情况详细记录下来，主要包括哪个用户什么时间点做了哪些操作，这些操作为什么会被记录下来，这个用户这个时间点操作了多少次，每次操作分别在干什么，会对正常用户造成哪些不必要影响等。对上述的内容在不同的维度进行标识后、与预警模型中的相关阈值进行比对，满足相关阈值的综合权值计算则触发告警。

综上所述，借助于本发明的上述技术方案，通过网络层面抓取海量的原始操作数据，进行数据报文整合与还原，运用大数据并行计算技术，根据预先设置的告警模型，对业务系统中涉及客户敏感信息的可疑操作进行告警和审计，准确定位触发告警的数据操作人员，对访问敏感页面数据、执行关键操作的行为进行真实、全面的日志记录，对可疑操作及时告警，并还原完整的操作轨迹，为追查责任提供强有力的证据，实现客户敏感信息操作强制审计、违规行为不可抵赖，解决了传统审计分析技术架构采用关系数据库在处理海量日志数据时的低效率问题，而且数据清洗的方式更便捷，更高效。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于海量数据的快速预警匹配实现方法，其特征在于，包括以下步骤：

预先通过网络层抓取原始包含操作数据的网络报文，作为最原始的输入，其抓取的网络报文包括操作员操作请求和业务系统响应返回内容；

对获取的网络报文进行数据分类并建立分布式存储，其包括对获取的网络报文进行解析并对操作内容进行加注标识；

获取对加注标识的分布式数据集群进行识别，其包括识别数据内包含的敏感内容和识别统计操作的相关属性；

获取标记的敏感数据内容作为输出进行预警。

2.根据权利要求1所述的基于海量数据的快速预警匹配实现方法，其特征在于，所述抓取原始包含操作数据的网络报文，包括以下步骤：

通过Pcap4J对网卡上的数据流量进行抓包。

3.根据权利要求2所述的基于海量数据的快速预警匹配实现方法，其特征在于，进一步包括以下步骤：

4.根据权利要求3所述的基于海量数据的快速预警匹配实现方法，其特征在于，所述整理会话消息包括无用数据剔除和将乱序流量进行正向编排重新排序。

5.根据权利要求1所述的基于海量数据的快速预警匹配实现方法，其特征在于，所述对获取的网络报文进行数据分类包括不同协议的特征进行有效区分。

6.根据权利要求2所述的基于海量数据的快速预警匹配实现方法，其特征在于，所述协议包括http、ftp、telnet、db2、mysql和Oracle。