[go: up one dir, main page]

CN109361575A - 一种获取分析dns流量数据的方法及其系统 - Google Patents

一种获取分析dns流量数据的方法及其系统 Download PDF

Info

Publication number
CN109361575A
CN109361575A CN201811563066.6A CN201811563066A CN109361575A CN 109361575 A CN109361575 A CN 109361575A CN 201811563066 A CN201811563066 A CN 201811563066A CN 109361575 A CN109361575 A CN 109361575A
Authority
CN
China
Prior art keywords
dns
module
webpage
data
domain name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811563066.6A
Other languages
English (en)
Inventor
张兆心
刘晓燕
程亚楠
陆柯羽
杜跃进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology Weihai
Original Assignee
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Weihai filed Critical Harbin Institute of Technology Weihai
Priority to CN201811563066.6A priority Critical patent/CN109361575A/zh
Publication of CN109361575A publication Critical patent/CN109361575A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种获取分析DNS流量数据的方法及其系统,其解决了现有方法分析web网页性能和服务使用情况的准确度的技术问题,其包括以下步骤:A.获取网页首次加载过程中的DNS流量数据;B.将步骤A中获取的DNS流量数据进行清洗处理,分别进行域名数量统计、DNS解析时间统计和资源记录分类统计;C.根据步骤B中域名数量统计和DNS解析时间统计分析网页性能;D.根据步骤B中资源记录分类统计分析网页资源的服务器地理位置、IP运营商的分布情况和网页使用CDN服务情况。本发明同时提供了其系统。本发明可广泛应用于互联网数据获取与分析领域。

Description

一种获取分析DNS流量数据的方法及其系统
技术领域
本发明涉及生物化工领域,具体地说是一种获取分析DNS流量数据的方法及其系统。
背景技术
随着互联网的迅速发展以及web用户规模的日益壮大,网页的内容愈加丰富多彩,组成网页的元素种类也更加多样,不仅包括可以直接被web用户感知的图像、动画、视频、音频等多媒体资源,还包括用于增加用户浏览体验的网页框架、脚本程序、层叠样式表等代码资源文件。
这些页面元素大都是以单独的文件形式存放于不同的网页资源服务器上的,在网页加载的过程中由浏览器发起请求从存放相应资源的服务器上获得这些资源文件,而获得这些资源文件的前提便是进行域名解析,在这个过程中必然需要DNS的参与,产生大量DNS流量。
目前针对DNS流量的研究方法大都是利用部署在骨干网的测量节点完成,同时缺少以网页加载过程中DNS流量为研究对象来分析web页面性能、页面资源服务器部署分布情况以及网页CDN服务使用情况的方法。
发明内容
本发明就是为了解决现有方法分析web页面性能和服务使用情况的准确度的技术问题,提供了一种便捷、准确性高的获取分析网页首次加载过程中DNS流量数据的方法及其系统。
为此,本发明提供了一种获取分析DNS流量数据的方法,具体包括以下步骤:
A.获取网页首次加载过程中的DNS流量数据;
B.将所述步骤A中获取的DNS流量数据进行处理,分别进行域名数量统计、DNS解析时间统计和资源记录分类统计;
C.根据所述步骤B中域名数量统计和DNS解析时间统计分析网页性能;
D.根据所述步骤B中资源记录分类统计分析网页资源的服务器地理位置、IP运营商的分布情况和网页使用CDN服务情况。
优选地,步骤A中获取网页首次加载过程中的DNS流量数据,包括以下步骤:
a.清除禁止系统和浏览器使用DNS缓存;
b.获取URL作为网页研究对象,取出所述网页URL作为网页探测对象;
c.监听网卡端口,模拟用户打开网页URL行为,捕获网页首次加载过程中流经网卡端口的DNS流量数据;
d.提取所述步骤c中网卡端口捕获的DNS流量数据按照键值对的形式存入非关系型数据库。
优选地,步骤B中DNS流量数据进行处理,包括以下步骤:
(1)将DNS报文分为DNS请求报文和DNS响应报文,确定DNS响应报文的资源记录类型;
(2)获得网页加载过程中请求域名的种类及针对每种域名请求的数量,请求域名总数量,网页加载过程中响应域名的种类及针对每种域名响应的数量,响应域名总数量,网页加载过程中未被成功响应的资源域名及数量,网页加载过程中域名解析率;
(3)获取网页首次加过程中网页中的资源域名进行DNS解析的时间;
(4)将DNS响应报文按照A记录和CNAME记录进行统计。
优选地,步骤(4)中A记录数据,利用目数据接口数据将IP进行解析,获取IP地理位置和确定IP运营商;将步骤(4)中CNAME记录数据与CDN服务商提供的别名采用关键字匹配的方法确定网页是否使用CDN服务。
本发明同时提供了一种获取分析DNS流量数据的系统,设有获取DNS流量模块和DNS流量分析模块,获取DNS流量模块,用来网页首次加载的URL数据源,捕获URL数据源中网页URL加载过程中的DNS流量,并提取DNS流量的请求报文和响应报文中的内容存入到数据库中;
DNS流量分析模块,用来分别从数量角度、时间角度和DNS响应报文资源记录回答区域角度分析DNS流量。
优选地,获取DNS流量模块设有处理DNS缓存模块、采集URL数据源模块、捕获网页首次加载的DNS流量模块和提取并存储DNS报文内容模块;
处理DNS缓存模块,用来对不同系统不同浏览器采取不同方式清除并禁止系统以及浏览器DNS缓存;采集URL数据源模块,用来利用网络爬虫获取网页URL;捕获网页首次加载DNS流量模块,用来捕获URL数据源中每个URL首次加载过程中流经端口的DNS流量数据;提取并存储DNS报文的内容模块,用来将捕获到的DNS流量数据分类存入数据库。
优选地,DNS流量分析模块设有DNS报文内容处理模块、域名数量统计模块、DNS解析时间统计模块、资源记录分类统计模块、A记录IP解析模块、CNAME记录CDN匹配模块、页面性能分析模块、网页资源地理位置及运营商统计模块和网页CDN服务使用情况统计模块;
DNS报文内容处理模块,用来对存入数据库的DNS报文内容进行数据清洗处理;域名数量统计模块,用来统计出DNS请求报文和DNS响应报文中资源域名的数量关系;DNS解析时间统计模块,通过DNS响应报文获取每个资源域名的DNS解析时间;资源记录分类统计模块,用来对所述DNS报文内容处理模块数据清洗后的DNS响应报文按照A记录和CNAME记录分类;A记录IP解析模块,用来将A记录IP解析为地理位置信息;所述CNAME记录CDN匹配模块,用来将响应报文的CNAME记录的域名与CDN服务商提供的别名进行匹配判断;页面性能分析模块,用来根据所述域名数量统计模块以及所述DNS解析时间统计模块分析出网页在DNS解析这方面的性能;网页资源地理位置及运营商统计模块,用来根据所述A记录IP解析模块获得的地理位置信息统计出网页资源的地理位置分布及使用运营商情况;网页CDN服务使用情况统计模块,根据所述CNAME记录CDN匹配模块匹配判断后的数据统计网页使用CDN服务情况。
本发明有益效果是,从网页首次加载过程中的DNS流量出发,提出一种全新的获取与全面的分析DNS流量数据的方法。监听客户端网卡端口,模拟用户打开网页URL,更加便捷、准确的获取网页首次加载过程中的DNS流量。而且,多个角度出发,分析网页首次加载过程中的DNS流量数据,可从中得到web页面性能、页面资源服务器地理位置分布情况以及页面CDN使用情况。
附图说明
图1为本发明实施例1结构示意图;
图2为本发明实施例2结构示意图。
具体实施方式
根据下述实施例,可以更好地理解本发明。然而,本领域的技术人员容易理解,实施例所描述的内容仅用于说明本发明,而不应当也不会限制权利要求书中所描述的本发明。
实施例1获取DNS流量模块,主要包括以下几个步骤:
步骤1:清除禁止系统以及浏览器使用DNS缓存,例如Linux系统默认关闭DNS缓存,火狐浏览器通过修改它的配置信息将network.dnsCacheExpirationGracePer、network.dnsCacheExpiration均设为0。
步骤2:通过采集URL数据源模块获取Alexa中国的排名前两百的站点URL作为网页研究对象,逐个取出网页URL作为本次网页探测对象;
步骤3:通过捕获网页首次加载DNS流量模块,监听网卡53号端口,模拟用户在浏览器中打开网页URL行为,捕获到网页首次加载过程中流经53号端口的DNS流量数据。
步骤4:通过提取并存储DNS报文的内容模块,提取53号端口捕获的DNS流量研究内容按照键值对的形式存入非关系型数据库中。
实施例2DNS流量分析模块,主要包括以下几个步骤:
步骤1:通过DNS报文内容处理模块,将DNS报文分为DNS请求报文和DNS响应报文,确定DNS响应报文的资源记录类型。
步骤2:通过域名数量统计模块,获得本次网页加载过程中请求域名的种类及针对每种域名请求的数量,请求的域名总数量;本次网页加载过程中响应域名的种类及针对每种域名响应的数量,响应的域名总数量;本次网页加载过程中未被成功响应的资源域名及数量;本次网页加载过程中域名解析率。
步骤3:通过DNS解析时间统计模块,获取网页首次加过程中网页中的资源域名进行DNS解析的时间。
步骤4:通过资源记录分类统计模块,将DNS报文内容处理模块后的DNS响应报文按照A记录和CNAME记录进行统计。
步骤5:通过A记录IP解析模块,利用目前已经存在的数据接口数据将IP进行解析,获取IP地理位置以及确定IP运营商。
步骤6:通过CNAME记录CDN匹配模块,对CNAME记录的域名与CDN服务商提供的别名采用关键字匹配的方法确定网页是否使用CDN服务。
步骤7:通过页面性能分析模块,利用域名数量统计模块和DNS解析时间统计模块获得的数据从网页DNS解析性能的角度分析网页性能。
步骤8:根据步骤5获得的数据,利用网页资源地理位置统计模块统计出网页资源的服务器地理位置以及IP运营商的分布情况。
步骤9:根据步骤6获得的数据,利用网页CDN服务使用情况统计模块统计出网页使用CDN服务情况。
惟以上所述者,仅为本发明的具体实施例而已,当不能以此限定本发明实施的范围,故其等同组件的置换,或依本发明专利保护范围所作的等同变化与修改,皆应仍属本发明权利要求书涵盖之范畴。

Claims (7)

1.一种获取分析DNS流量数据的方法,其特征是,包括以下步骤:
A.获取网页首次加载过程中的DNS流量数据;
B.将所述步骤A中获取的DNS流量数据进行处理,分别进行域名数量统计、DNS解析时间统计和资源记录分类统计;
C.根据所述步骤B中域名数量统计和DNS解析时间统计分析网页性能;
D.根据所述步骤B中资源记录分类统计分析网页资源的服务器地理位置、IP运营商的分布情况和网页使用CDN服务情况。
2.根据权利要求1所述获取分析DNS流量数据的方法,其特征在于,所述步骤A中获取网页首次加载过程中的DNS流量数据,包括以下步骤:
a.清除禁止系统和浏览器使用DNS缓存;
b.获取URL作为网页研究对象,取出所述网页URL作为网页探测对象;
c.监听网卡端口,模拟用户打开网页URL行为,捕获网页首次加载过程中流经网卡端口的DNS流量数据;
d.提取所述步骤c中网卡端口捕获的DNS流量数据按照键值对的形式存入非关系型数据库。
3.根据权利要求1所述的获取分析DNS流量数据的方法,其特征在于,所述步骤B中DNS流量数据进行处理,包括以下步骤:
(1)将DNS报文分为DNS请求报文和DNS响应报文,确定DNS响应报文的资源记录类型;
(2)获得网页加载过程中请求域名的种类及针对每种域名请求的数量,请求域名总数量,网页加载过程中响应域名的种类及针对每种域名响应的数量,响应域名总数量,网页加载过程中未被成功响应的资源域名及数量,网页加载过程中域名解析率;
(3)获取网页首次加过程中网页中的资源域名进行DNS解析的时间;
(4)将DNS响应报文按照A记录和CNAME记录进行统计。
4.根据权利要求3所述获取分析DNS流量数据的方法,其特征在于,所述步骤(4)中A记录数据,利用目数据接口数据将IP进行解析,获取IP地理位置和确定IP运营商;
将所述步骤(4)中CNAME记录数据与CDN服务商提供的别名采用关键字匹配的方法确定网页是否使用CDN服务。
5.一种获取分析DNS流量数据的系统,其特征在于,设有获取DNS流量模块和DNS流量分析模块,所述获取DNS流量模块,用于网页首次加载的URL数据源,捕获URL数据源中网页URL加载过程中的DNS流量,并提取DNS流量的请求报文和响应报文中的内容存入到数据库中;
所述DNS流量分析模块,分别从数量角度、时间角度和DNS响应报文资源记录回答区域角度分析DNS流量。
6.根据权利要求5所述的获取分析DNS流量的系统,其特征在于,所述获取DNS流量模块设有处理DNS缓存模块、采集URL数据源模块、捕获网页首次加载的DNS流量模块和提取并存储DNS报文内容模块;
所述处理DNS缓存模块,用来对不同系统不同浏览器采取不同方式清除并禁止系统以及浏览器DNS缓存;所述采集URL数据源模块,用来利用网络爬虫获取网页URL;所述捕获网页首次加载DNS流量模块,用来捕获URL数据源中每个URL首次加载过程中流经端口的DNS流量数据;所述提取并存储DNS报文的内容模块,用来将捕获到的DNS流量数据分类存入数据库。
7.根据权利要求5所述的获取分析DNS流量的系统,其特征在于,所述DNS流量分析模块设有DNS报文内容处理模块、域名数量统计模块、DNS解析时间统计模块、资源记录分类统计模块、A记录IP解析模块、CNAME记录CDN匹配模块、页面性能分析模块、网页资源地理位置及运营商统计模块和网页CDN服务使用情况统计模块;
所述DNS报文内容处理模块,用来对存入数据库的DNS报文内容进行数据清洗处理;所述域名数量统计模块,用来统计出DNS请求报文和DNS响应报文中资源域名的数量关系;所述DNS解析时间统计模块,通过DNS响应报文获取每个资源域名的DNS解析时间;所述资源记录分类统计模块,用来对所述DNS报文内容处理模块数据清洗后的DNS响应报文按照A记录和CNAME记录分类;所述A记录IP解析模块,用来将A记录IP解析为地理位置信息;所述CNAME记录CDN匹配模块,用来将响应报文的CNAME记录的域名与CDN服务商提供的别名进行匹配判断;所述页面性能分析模块,用来根据所述域名数量统计模块以及所述DNS解析时间统计模块分析出网页在DNS解析这方面的性能;所述网页资源地理位置及运营商统计模块,用来根据所述A记录IP解析模块获得的地理位置信息统计出网页资源的地理位置分布及使用运营商情况;网页CDN服务使用情况统计模块,根据所述CNAME记录CDN匹配模块匹配判断后的数据统计网页使用CDN服务情况。
CN201811563066.6A 2018-12-20 2018-12-20 一种获取分析dns流量数据的方法及其系统 Pending CN109361575A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811563066.6A CN109361575A (zh) 2018-12-20 2018-12-20 一种获取分析dns流量数据的方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811563066.6A CN109361575A (zh) 2018-12-20 2018-12-20 一种获取分析dns流量数据的方法及其系统

Publications (1)

Publication Number Publication Date
CN109361575A true CN109361575A (zh) 2019-02-19

Family

ID=65329302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811563066.6A Pending CN109361575A (zh) 2018-12-20 2018-12-20 一种获取分析dns流量数据的方法及其系统

Country Status (1)

Country Link
CN (1) CN109361575A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290188A (zh) * 2019-06-13 2019-09-27 四川大学 一种适用于大规模网络环境的https流服务在线标识方法
CN111541793A (zh) * 2020-04-03 2020-08-14 北京市天元网络技术股份有限公司 内容分发网络调度过程分析方法、装置与电子设备
CN112949768A (zh) * 2021-04-07 2021-06-11 苏州瑞立思科技有限公司 一种基于lstm的流量分类方法
CN113065078A (zh) * 2021-03-16 2021-07-02 赛尔新技术(北京)有限公司 模拟用户行为拨测web网站多级域名的统计分析方法
CN118413449A (zh) * 2024-04-24 2024-07-30 国家计算机网络与信息安全管理中心 一种从外侧评估递归解析器用户规模的方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164048A (zh) * 2011-04-06 2011-08-24 上海美琦浦悦通讯科技有限公司 局域网络中实现多运营商接入的数据流优化装置及方法
CN104038363A (zh) * 2013-10-24 2014-09-10 南京汇吉递特网络科技有限公司 一种对ccdn提供商信息进行采集及统计的方法
CN104038471A (zh) * 2013-03-08 2014-09-10 中国移动通信集团浙江有限公司 一种在互联网中管理idc资源的方法和运营商网络
CN104202418A (zh) * 2014-09-17 2014-12-10 北京瑞汛世纪科技有限公司 为内容提供商推荐商业的内容分发网络的方法和系统
CN106452940A (zh) * 2016-08-22 2017-02-22 中国联合网络通信有限公司重庆市分公司 一种互联网业务流量归属的识别方法和装置
CN107071084A (zh) * 2017-04-01 2017-08-18 北京神州绿盟信息安全科技股份有限公司 一种dns的评价方法和装置
CN107786575A (zh) * 2017-11-11 2018-03-09 北京信息科技大学 一种基于dns流量的自适应恶意域名检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164048A (zh) * 2011-04-06 2011-08-24 上海美琦浦悦通讯科技有限公司 局域网络中实现多运营商接入的数据流优化装置及方法
CN104038471A (zh) * 2013-03-08 2014-09-10 中国移动通信集团浙江有限公司 一种在互联网中管理idc资源的方法和运营商网络
CN104038363A (zh) * 2013-10-24 2014-09-10 南京汇吉递特网络科技有限公司 一种对ccdn提供商信息进行采集及统计的方法
CN104202418A (zh) * 2014-09-17 2014-12-10 北京瑞汛世纪科技有限公司 为内容提供商推荐商业的内容分发网络的方法和系统
CN106452940A (zh) * 2016-08-22 2017-02-22 中国联合网络通信有限公司重庆市分公司 一种互联网业务流量归属的识别方法和装置
CN107071084A (zh) * 2017-04-01 2017-08-18 北京神州绿盟信息安全科技股份有限公司 一种dns的评价方法和装置
CN107786575A (zh) * 2017-11-11 2018-03-09 北京信息科技大学 一种基于dns流量的自适应恶意域名检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田世奇: ""DNS流量采集系统的实现与流量分析"", 《中国优秀硕士论文全文数据库》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290188A (zh) * 2019-06-13 2019-09-27 四川大学 一种适用于大规模网络环境的https流服务在线标识方法
CN110290188B (zh) * 2019-06-13 2020-06-02 四川大学 一种适用于大规模网络环境的https流服务在线标识方法
CN111541793A (zh) * 2020-04-03 2020-08-14 北京市天元网络技术股份有限公司 内容分发网络调度过程分析方法、装置与电子设备
CN111541793B (zh) * 2020-04-03 2021-10-22 北京市天元网络技术股份有限公司 内容分发网络调度过程分析方法、装置与电子设备
CN113065078A (zh) * 2021-03-16 2021-07-02 赛尔新技术(北京)有限公司 模拟用户行为拨测web网站多级域名的统计分析方法
CN113065078B (zh) * 2021-03-16 2022-11-11 赛尔新技术(北京)有限公司 模拟用户行为拨测web网站多级域名的统计分析方法
CN112949768A (zh) * 2021-04-07 2021-06-11 苏州瑞立思科技有限公司 一种基于lstm的流量分类方法
CN118413449A (zh) * 2024-04-24 2024-07-30 国家计算机网络与信息安全管理中心 一种从外侧评估递归解析器用户规模的方法及系统

Similar Documents

Publication Publication Date Title
CN109361575A (zh) 一种获取分析dns流量数据的方法及其系统
Schneider et al. Understanding online social network usage from a network perspective
Butkiewicz et al. Understanding website complexity: measurements, metrics, and implications
CN102946319B (zh) 网络用户行为信息分析系统及其分析方法
US8935390B2 (en) Method and system for efficient and exhaustive URL categorization
CN103218431B (zh) 一种能识别网页信息自动采集的系统
CN105490854B (zh) 实时日志收集方法、系统和应用服务器集群
CN101729288B (zh) 一种统计互联网用户网络访问行为的方法和装置
FR2802368A1 (fr) Mesure d'audience sur reseau de communication
GB2569678A (en) Automation of SQL tuning method and system using statistic SQL pattern analysis
CN109275045A (zh) 基于dfi的移动端加密视频广告流量识别方法
WO2012170590A1 (en) Method for generating rules and parameters for assessing relevance of information derived from internet traffic
CN107766234A (zh) 一种基于移动设备的网页健康度的测评方法、装置及系统
TW201735654A (zh) 多媒體資源的品質評估方法和裝置
CN111131070A (zh) 一种基于端口时间序列的网络流量分类方法、装置及存储介质
CN109873734B (zh) 一种底层数据监控方法、介质、设备及装置
CN105159992A (zh) 一种应用程序的页面内容及网络行为的检测方法及装置
CN110011860A (zh) 基于网络流量分析的安卓应用识别方法
CN110602059A (zh) 一种精准复原tls协议加密传输数据明文长度指纹的方法
CN118802197A (zh) Pcdn违规业务检测方法、装置、设备及可读存储介质
CN103684856A (zh) 一种对视频网站基础设施测量分析的方法
CN107948015A (zh) 一种服务质量分析方法、装置及网络系统
CN107835190A (zh) 一种恶意sp订购核查方法
CN116405294B (zh) 一种行为主体关联分析方法、系统、设备及介质
CN115396381B (zh) 一种基于响应时间特征的加密音视频流量识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190219

RJ01 Rejection of invention patent application after publication