[go: up one dir, main page]

CN117812018B - 报文处理系统及方法 - Google Patents

报文处理系统及方法

Info

Publication number
CN117812018B
CN117812018B CN202311712862.2A CN202311712862A CN117812018B CN 117812018 B CN117812018 B CN 117812018B CN 202311712862 A CN202311712862 A CN 202311712862A CN 117812018 B CN117812018 B CN 117812018B
Authority
CN
China
Prior art keywords
message
queue
priority
gateway
message queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311712862.2A
Other languages
English (en)
Other versions
CN117812018A (zh
Inventor
季昊天
罗印威
刘应亮
温泉
莫琛
龚文强
郑岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Cloud Technology Co Ltd
Original Assignee
China Telecom Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Cloud Technology Co Ltd filed Critical China Telecom Cloud Technology Co Ltd
Priority to CN202311712862.2A priority Critical patent/CN117812018B/zh
Priority to PCT/CN2023/143226 priority patent/WO2024227359A1/zh
Publication of CN117812018A publication Critical patent/CN117812018A/zh
Application granted granted Critical
Publication of CN117812018B publication Critical patent/CN117812018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/50Queue scheduling
    • H04L47/62Queue scheduling characterised by scheduling criteria
    • H04L47/625Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H04L47/6275Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2425Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
    • H04L47/2433Allocation of priorities to traffic types
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/25Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/29Flow control; Congestion control using a combination of thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种报文处理系统及方法,该系统包括:控制组件、网关设备和云防火墙装置,云防火墙装置预先配置有报文队列集合,报文队列集合包括多种优先级的报文队列;控制组件接收规则配置信息,根据规则配置信息生成网关规则,将所述网关规则发送到网关设备;所述网关设备接收待传输的报文;根据网关规则为报文设置优先级标签,得到目标报文;将目标报文发往所述云防火墙装置;云防火墙装置在报文队列集合中确定目标报文的优先级标签对应的目标报文队列,利用目标报文队列将所述目标报文发往预设的报文传输队列。能够根据报文的优先级对报文进行传输,能够满足不同的报文传输需求。

Description

报文处理系统及方法
技术领域
本发明涉及通信技术领域,特别涉及一种报文处理系统及方法。
背景技术
随着云计算技术的发展,云防火墙也得到越来越广泛的应用,云防火墙具有流量转发功能和安全防护功能,对云平台的安全稳定运行有着重要作用。
现有的云防火墙在处理报文的过程中,通常是根据获取到报文的顺序依次对报文进行传输,无法满足不同业务的报文传输优先级需求。
发明内容
本发明所要解决的技术问题是提供一种报文处理系统及方法,能够根据报文的优先级对报文进行传输,从而可以满足不同业务报文的传输需求。具体方案如下:
一种报文处理系统包括:
控制组件、网关设备和云防火墙装置,所述云防火墙装置预先配置有报文队列集合,所述报文队列集合包括多种优先级的报文队列;
所述控制组件,用于接收规则配置信息,根据所述规则配置信息生成网关规则,将所述网关规则发送到所述网关设备;
所述网关设备,用于接收待传输的报文;根据所述网关规则为所述报文设置优先级标签,得到目标报文;将所述目标报文发往所述云防火墙装置;
所述云防火墙装置,用于在所述报文队列集合中确定所述目标报文的优先级标签对应的目标报文队列,利用所述目标报文队列将所述目标报文发往预设的报文传输队列。
上述的系统,可选的,所述网关设备,用于:
确定当前接收到的所述报文的报文类型;
根据所述网关规则确定所述报文类型对应的优先级标签;
为所述报文设置所述报文类型对应的优先级标签,得到目标报文。
上述的系统,可选的,所述云防火墙装置,还用于:
接收用户通过预设界面配置的规则配置信息;
将所述规则配置信息发往所述控制组件。
上述的系统,可选的,所述云防火墙装置,用于:
根据所述目标报文队列的优先级进行队列调度,以将所述目标报文队列中的所述目标报文发往预设的报文传输队列。
上述的系统,可选的,所述控制组件,还用于:
根据所述报文队列集合中的每个所述报文队列的队列拥塞值以及所述报文传输队列的队列拥塞值中的至少一种队列拥塞值,更新所述网关规则;所述队列拥塞值表征其所属队列的拥塞程度;所述报文队列集合包括多种优先级的主报文队列和备选报文队列;
将更新后的所述网关规则发往所述网关设备。
上述的系统,可选的,所述控制组件,用于:
确定所述报文传输队列的队列拥塞值所处的阈值区间;
根据所述报文传输队列的队列拥塞值所处的阈值区间对应的配置信息更新所述网关规则,所述配置信息包括所述报文队列集合中当前需启用的报文队列所对应的优先级标签与报文类型之间的对应关系。
上述的系统,可选的,所述控制组件,用于:
在所述报文传输队列的队列拥塞值处于第一阈值区间内的情况下,利用所述第一阈值区间对应的第一配置信息生成第一网关规则,将所述第一网关规则作为新的网关规则;所述第一配置信息包括所述报文队列集合中当前需要启用的各优先级的主报文队列对应的优先级标签与报文类型之间的对应关系,以及所述报文队列集合中当前需要启用的各个第一备选报文队列对应的优先级标签与报文类型之间的对应关系;
在所述报文传输队列的队列拥塞值处于第二阈值区间内的情况下,利用所述第二阈值区间对应的第二配置信息生成第二网关规则,将所述第二网关规则作为新的网关规则;所述第二配置信息包括所述报文队列集合中当前需要启用的各优先级的主报文队列对应的优先级标签与报文类型之间的对应关系、当前需要启用的各个第一备选报文队列对应的优先级标签与报文类型之间的对应关系,以及当前需要启用的各个第二备选报文队列对应的优先级标签与报文类型之间的对应关系;
其中,所述第一阈值区间的最大值小于所述第二阈值区间的最小值,所述第一备选报文队列的优先级低于所述第二备选报文队列的优先级。
上述的系统,可选的,所述控制组件,用于:
在第一报文队列中的队列拥塞值小于预设的第一拥塞阈值的情况下,利用预设的第三配置信息生成第三网关规则,利用所述第三网关规则作为新的网关规则;所述第三配置信息包括所述报文队列集合中当前需要启用的各优先级的主报文队列对应的优先级标签与报文类型之间的对应关系、当前需要启用的各个第一备选报文队列对应的优先级标签与报文类型之间的对应关系,以及当前需要启用的各个第二备选报文队列对应的优先级标签与报文类型之间的对应关系;
其中,所述第一报文队列为各个所述报文队列中优先级最低的主报文队列,所述第一备选报文队列的优先级低于所述第二备选报文队列的优先级。
上述的系统,可选的,所述控制组件,还用于:
在所述报文传输队列的队列拥塞值的大于预设的第二拥塞阈值,或者各个所述报文队列中的第一报文队列和第二报文队列的队列拥塞值均大于预设的第一拥塞阈值的情况下,降低所述第一备选报文队列和所述第二备选报文队列的出队速率;所述报文队列集合中的主报文队列分别包括第一报文队列、第二报文队列和第三报文队列,所述第一报文队列的优先级低于所述第二报文队列的优先级,所述第二报文队列的优先级低于所述第三报文队列的优先级。
一种报文处理方法,应用于报文处理系统中的控制组件,所述报文处理系统还包括网关和云防火墙,所述方法包括:
接收规则配置信息;
根据所述规则配置信息生成网关规则;
将所述网关规则发送到所述网关设备,使得所述网关设备在接收到待传输的报文的情况下,根据所述网关规则为所述报文设置优先级标签,得到目标报文;将所述目标报文发往所述云防火墙装置,以触发所述云防火墙装置在各个预设的报文队列中确定所述目标报文的优先级标签对应的目标报文队列,利用所述目标报文队列将所述目标报文发往预设的报文传输队列。
与现有技术相比,本发明实施例包括以下优点:
本发明实施例提供了一种报文处理系统及方法,该系统包括:控制组件、网关设备和云防火墙装置,云防火墙装置预先配置有报文队列集合,报文队列集合包括多种优先级的报文队列;控制组件接收规则配置信息,根据规则配置信息生成网关规则,将所述网关规则发送到网关设备;所述网关设备接收待传输的报文;根据网关规则为报文设置优先级标签,得到目标报文;将目标报文发往所述云防火墙装置;云防火墙装置在报文队列集合中确定目标报文的优先级标签对应的目标报文队列,利用目标报文队列将所述目标报文发往预设的报文传输队列。能够根据报文的优先级对报文进行传输,从而可以保障具有时效性和重要的报文优先传输,能够满足业务需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种报文处理系统的结构示意图;
图2为本发明实施例提供的一种实施场景示例图;
图3为本发明实施例提供的一种报文处理系统的数据处理流程示意图;
图4为本发明实施例提供的一种报文队列的数据传输示例图;
图5为本发明实施例提供的一种调度流程图;
图6为本发明实施例提供的一种报文处理方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
现有的云防火墙在处理报文的过程中,通常是根据获取到报文的顺序依次对报文进行处理,并未考虑不同业务的报文传输需求;在业务流量复杂和防护流量增大的情况下,云防火墙容易出现性能瓶颈,导致报文传输速度慢,使得一些时效性要求高的报文以及重要业务的报文无法得到及时处理。
基于此,参见图1,本发明实施例提供了一种报文处理系统,包括:
控制组件101、网关设备102和云防火墙装置103,所述云防火墙装置103预先配置有报文队列集合,所述报文队列集合包括多种优先级的报文队列;
控制组件101,用于接收规则配置信息,根据规则配置信息生成网关规则,将网关规则发送到网关设备102;在本实施例中,该规则配置信息可以由用户配置得到,该规则配置信息可以包括用户选择的需要启动的报文队列所对应的优先级标签与报文类型之间的对应关系;优先级标签可以是携带优先级信息的队列标识,可以通过差异化服务代码点(Differentiated Services Code Point,DSCP)值来表示。例如,0x10、0x20等,其中,0x10所对应的队列的优先级高于0x20所对应的队列的优先级。
可选的,该规则配置信息可以是json格式的配置信息,可以对该规则配置信息进行解析,然后将解析后的规则配置信息转换为网关规则,该网关规则可以是iptables规则。
在本实施例中,控制组件可以与网关设备建立通信连接,然后将该网关规则发往网关设备。
网关设备102,用于接收待传输的报文;根据网关规则为报文设置优先级标签,得到目标报文;将目标报文发往云防火墙装置;在本实施例中,可以利用网关规则对待传输的报文进行优先级识别,并为报文设置对应的优先级标签,将设置有优先级标签的报文作为目标报文,并将目标报文发往云防火墙装置。
可选的,网关设备102可以网络地址转换(Network Address Translation,NAT)网关设备。
云防火墙装置103,用于在报文队列集合中确定目标报文的优先级标签对应的目标报文队列,利用目标报文队列将目标报文发往预设的报文传输队列。在本实施例中,报文队列集合中的每一报文队列各自对应的优先级标签不同。
可选的,可以将目标报文中携带的优先标签与报文队列集合中的每一报文队列各自对应的优先级标签进行比对,从而在报文队列集合中确定出目标报文的优先级标签对应的目标报文队列;在确定出目标报文队列后,可以将该目标报文放入该目标报文队列中,以通过目标报文队列将该目标报文传输到预设的报文传输队列;报文传输队列用于将报文送往用户态处理。
可选的,云防火墙装置可以由软件或硬件实现。
在本发明实施例提供的系统中,控制组件可以接收规则配置信息,然后根据规则配置信息生成网关规则,将所述网关规则发送到网关设备;在网关设备接收待传输的报文的情况下,根据网关规则为报文设置优先级标签,得到目标报文;将目标报文发往云防火墙装置;使得云防火墙装置在报文队列集合中确定目标报文的优先级标签对应的目标报文队列,利用目标报文队列将所述目标报文发往预设的报文传输队列,能够根据报文的优先级对报文进行传输,可以满足不同报文的传输优先级需求,从而能够在云防火墙出现性能瓶颈时,避免无法及时处理时效性要求高的报文以及重要业务的报文的情况。
在本发明提供的一实施例中,基于上述的方案,可选的,所述网关设备,用于:
确定当前接收到的所述报文的报文类型;
根据所述网关规则确定所述报文类型对应的优先级标签;
为所述报文设置所述报文类型对应的优先级标签,得到目标报文。
在本实施例中,不同报文类型对应的不同的优先级标签。
可选的,不同业务的报文的报文类型不同,可以根据业务需求为不同报文类型的报文设置对应的优先级标签,优先级标签可以表征报文的传输优先级;可选的,业务需求可以包括时效性需求以及业务重要程度等信息,时效性需求越高或者业务重要程度越高的报文类型对应的优先级标签所表征的优先级越高。
在一些实施例中,优先级标签所表征的传输优先级可以为第一优先级、第二优先级或第三优先级。
在本发明提供的一实施例中,基于上述的方案,可选的,所述云防火墙装置,还用于:
接收用户通过预设界面配置的规则配置信息;
将所述规则配置信息发往所述控制组件。
在本实施例中,该预设界面可以是云防火墙web管理页面,用户可以通过该预设界面录入规则配置信息。
可选的,云防火墙可以使用数据镜像备份工具Rsync触发式同步该规则配置信息到控制组件。
在本发明提供的一实施例中,基于上述的方案,可选的,所述云防火墙装置,用于:
根据所述目标报文队列的优先级进行队列调度,以将所述目标报文队列中的所述目标报文发往预设的报文传输队列。
在本实施例中,可以将目标报文队列的优先级与其他需要传输报文的队列的优先级进行比较,以确定目标报文队列的传输顺序和报文出队速率等,根据该传输顺序、报文出队速率传输该目标报文队列中的目标报文。
在本发明提供的一实施例中,基于上述的方案,可选的,所述控制组件,还用于:
根据所述报文队列集合中的每个所述报文队列的队列拥塞值以及所述报文传输队列的队列拥塞值中的至少一种队列拥塞值,更新所述网关规则;所述队列拥塞值表征其所属队列的拥塞程度;所述报文队列集合包括多种优先级的主报文队列和备选报文队列;
将更新后的所述网关规则发往所述网关设备。
在本实施例中,可以根据报文传输队列的队列拥塞值或者报文队列集合中的报文队列的队列拥塞值动态调整更新网关规则,以增加工作的报文队列或减少工作的报文队列,以使得队列拥塞值处于合适的区间,从而可以避免出现报文传输阻塞、队列资源浪费等情况。
可选的,主报文队列可以包括一个或多个;在主报文队列包含多个的情况下,不同主报文队列的优先级不同,例如,主报文队列可以包括至少一个第一报文队列、第二报文队列和第三报文队列,第一报文队列的队列优先级高于第二报文队列的队列优先级,第二报文队列的队列优先级高于第三报文队列的队列优先级。
可选的,备选报文队列可以包括一个或多个;在备选报文队列包含多个的情况下,不同的备选报文队列的优先级不同,例如,备选报文队列可以包括至少一个第一备选报文队列和至少一个第二备选报文队列,第一备选报文队列的队列优先级低于第二备选报文队列的队列优先级。
在本发明提供的一实施例中,基于上述的方案,可选的,所述控制组件,用于:
确定所述报文传输队列的队列拥塞值所处的阈值区间;
根据所述队列拥塞值所处的阈值区间对应的配置信息更新所述网关规则,所述配置信息包括所述报文队列集合中当前需启用的报文队列所对应的优先级标签与报文类型之间的对应关系。
在本实施例中,不同的阈值区间对应的配置信息中需要启用的报文队列的数量不同;在拥塞值越高的情况下,需要启用的报文队列的数量越多。
在本发明提供的一实施例中,基于上述的方案,可选的,所述控制组件,用于:
在所述报文传输队列的队列拥塞值处于第一阈值区间内的情况下,利用所述第一阈值区间对应的第一配置信息生成第一网关规则,将所述第一网关规则作为新的网关规则;所述第一配置信息包括所述报文队列集合中当前需要启用的各优先级的主报文队列对应的优先级标签与报文类型之间的对应关系,以及所述报文队列集合中当前需要启用的各个第一备选报文队列对应的优先级标签与报文类型之间的对应关系;
在所述报文传输队列的队列拥塞值处于第二阈值区间内的情况下,利用所述第二阈值区间对应的第二配置信息生成第二网关规则,将所述第二网关规则作为新的网关规则;所述第二配置信息包括所述报文队列集合中当前需要启用的各优先级的主报文队列对应的优先级标签与报文类型之间的对应关系、当前需要启用的各个第一备选报文队列对应的优先级标签与报文类型之间的对应关系,以及当前需要启用的各个第二备选报文队列对应的优先级标签与报文类型之间的对应关系;
其中,所述第一阈值区间的最大值小于所述第二阈值区间的最小值,所述第一备选报文队列的优先级低于所述第二备选报文队列的优先级。
在本实施例中,可以将队列拥塞值与预设的各个阈值进行比较,从而可以确定队列拥塞值所处的阈值区间。
在本发明提供的一实施例中,基于上述的方案,可选的,所述控制组件,用于:
在第一报文队列中的队列拥塞值小于预设的第一拥塞阈值的情况下,利用预设的第三配置信息生成第三网关规则,利用所述第三网关规则作为新的网关规则;所述第三配置信息包括所述报文队列集合中当前需要启用的各优先级的主报文队列对应的优先级标签与报文类型之间的对应关系、当前需要启用的各个第一备选报文队列对应的优先级标签与报文类型之间的对应关系,以及当前需要启用的各个第二备选报文队列对应的优先级标签与报文类型之间的对应关系;
其中,所述第一报文队列为各个所述报文队列中优先级最低的主报文队列,所述第一备选报文队列的优先级低于所述第二备选报文队列的优先级。
在本发明提供的一实施例中,基于上述的方案,可选的,所述控制组件,还用于:
在所述报文传输队列的队列拥塞值的大于预设的第二拥塞阈值,或者各个所述报文队列中的第一报文队列和第二报文队列的队列拥塞值均大于预设的第一拥塞阈值的情况下,降低所述第一备选报文队列和所述第二备选报文队列的出队速率;所述报文队列集合中的主报文队列分别包括第一报文队列、第二报文队列和第三报文队列,所述第一报文队列的优先级低于所述第二报文队列的优先级,所述第二报文队列的优先级低于所述第三报文队列的优先级。
在本实施例中,通过降低第一备选报文队列和第二备选报文队列的出对速率,可以有效地保障优先传输高优先级的报文队列中的报文,避免高优先级队列中的报文发生堵塞。
参见图2,为本发明实施例提供的一种实施场景示例图,示出了包括Controller(控制组件)、NAT网关设备、云防火墙、DVR分布式路由、云桌面以及互联网端的实施场景。
具体地,可以通过新增controller命名空间,并通过计算服务组件openstack新建虚拟私有云(Virtual Private Cloud,VPC),并在NAT网关、云防火墙和Controller上二层互通。
在本实施例中,控制组件Controller上运行有监控进程、配置同步进程以及配置下发进程,监控进程可以用于监控防火墙忙碌情况。
参见图3,控制组件Controller分别和NAT网关设备、云防火墙建立TCP长连接通道,其中,NAT网关设备侧为规则实时下发通道,云防火墙侧为用户配置快速同步通道。
在本实施例中,NAT网关规则下发用于为报文打上优先级标签。
可选的,云防火墙在web管理台获取到用户的优先级配置,以json配置同步给控制组件Controller解析,Controller将解析的配置以iptables规则形式下发到NAT网关,规则识别不同优先级的报文,修改不同的DSCP值。
在本实施例中,云防火墙装置可以初始化新增备份队列和报文识别规则,云防火墙装置在服务初始化时,初始化新增的高中低对应的多个备份队列用于分流报文。根据不同的DSCP值(优先级标签)下发匹配的规则,用于将不同DSCP值的报文上送不同的报文队列。通过调度算法再将报文队列中的报文上送报文传输队列NFQ去往用户态处理。
下面以用户业务流程为例,说明对本发明实施例提供的方案进行说明:
用户开通云防火墙服务,新增一个命名空间用于承担控制组件Controller的角色;控制组件Controller上运行监控进程FW_detect、配置同步进程Config_sync和配置下发进程Rules_issue。新建VPC以及无网关(--gatewaynone)管理子网,分别在NAT网关设备、Controller和云防火墙上新建端口port,打通二层互通并且使得Controller主动与NAT网关和云防火墙建立TCP长连接。
在本实施例中,云防火墙初始化新增7个报文队列,如图4所示,分别为Q1高优级队列、Q2~Q4中优先级队列以及Q5~Q7低优先级队列。云防火墙装置初始化下发iptables规则识别报文7个不同的DSCP值,分别对应7个不同报文队列,7个报文队列通过调度算法上送报文传输队列NFQ。Q1队列作为高优队列原则上保障即进即出,中优队列则根据NFQ拥塞程度出队,低优队列则根据中优队列拥塞程度出队。
云防火墙web管理台为用户提供报文五元组配置项,用户的配置通过Rsync触发式同步到控制组件Controller,控制组件Controller识别配置后通过与NAT网关建立的长连接下发iptables规则,在Forward链上下发修改报文DSCP字段以作优先级区分(-j DSCP--set-dscp 0x10/20/30),用户配置有高中低三种优先级,分别对应Q1、Q2和Q5的DSCP值。
用户的业务在NFQ不忙碌的情况下只会占用Q1、Q2和Q5三个主报文队列。Controller上的监控进程会实时监控云防火墙上各个队列的拥塞情况,根据不同程度的拥塞情况,给NAT网关更新规则,以HASH方式给中低优先级的报文修改DSCP值(即中优先级的0x21/22,和低优先级的0x31/32),以开放占用中低优先级的其余队列(即中优先级的Q3/Q4第二备选报文队列,和低优先级的Q6/Q7第一备选报文队列)来降低NFQ处理压力。
在本实施例中,数据传输的调度流程,如图5所示,具体如下:
(1)初始Q1、Q2和Q5队列占用,其余的报文队列空闲,NFQ队列拥塞值Qval<K,第一报文队列Q1、第二报文队列Q2和第三报文队Q5列正常入队出队,队列无缓存,其中,k为第一拥塞阈值。
(2)当K<=Qval<L,Controller监控感知,更新下发NAT网关规则,HASH三个低优DSCP值,启用第一备选报文队列。高中低三个队列按照一轮1:1:1出队,对于此时的低优队列以轮询方式选择一个出队,其中,L为第二拥塞阈值。
(3)当L<=Qval<M或者低优队列的拥塞值达到阈值m,Controller监控感知,更新下发NAT网关规则,HASH三个中优DSCP值,启用第二备选报文队列。在保证低优队列拥塞值不增长的情况下出入队,多入的丢弃。高中低三个队列整体还是按照一轮1:1:1出队,对于此时的中低优队列以轮询方式选择一个出队,其中,M为第三阈值。
(4)当NFQ队列拥塞值Qval>=M,或者中低优队列拥塞都达到阈值m,降低所有备份队列出队速率直至中优队列满,高优队列存在缓存。此时中优队列新入队报文均丢弃,直至NFQ队列拥塞缓解。
当NFQ队列拥塞逐渐缓解,按照(2)~(4)反向处理,直至缓解恢复(1)状态。
参见图6,为本发明实施例提供的一种报文处理方法的方法流程图,该报文处理方法可以应用于上述的报文处理系统中的控制组件,所述方法包括:
S601:接收规则配置信息。
S602:根据所述规则配置信息生成网关规则。
S603:将所述网关规则发送到所述网关设备,使得所述网关设备在接收到待传输的报文的情况下,根据所述网关规则为所述报文设置优先级标签,得到目标报文;将所述目标报文发往所述云防火墙装置,以触发所述云防火墙装置在各个预设的报文队列中确定所述目标报文的优先级标签对应的目标报文队列,利用所述目标报文队列将所述目标报文发往预设的报文传输队列。
应用本发明实施例提供的方法,能够根据报文的优先级对报文进行传输,能够满足不同的报文传输需求。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种报文处理系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种报文处理系统,其特征在于,包括:
控制组件、网关设备和云防火墙装置,所述云防火墙装置预先配置有报文队列集合,所述报文队列集合包括多种优先级的报文队列;
所述控制组件,用于接收规则配置信息,根据所述规则配置信息生成网关规则,将所述网关规则发送到所述网关设备;
所述网关设备,用于接收待传输的报文;根据所述网关规则为所述报文设置优先级标签,得到目标报文;将所述目标报文发往所述云防火墙装置;
所述云防火墙装置,用于在所述报文队列集合中确定所述目标报文的优先级标签对应的目标报文队列,利用所述目标报文队列将所述目标报文发往预设的报文传输队列;
所述控制组件,还用于:
根据所述报文队列集合中的每个所述报文队列的队列拥塞值以及所述报文传输队列的队列拥塞值中的至少一种队列拥塞值,更新所述网关规则;所述队列拥塞值表征其所属队列的拥塞程度;所述报文队列集合包括多种优先级的主报文队列和备选报文队列;将更新后的所述网关规则发往所述网关设备。
2.根据权利要求1所述的系统,其特征在于,所述网关设备,用于:
确定当前接收到的所述报文的报文类型;
根据所述网关规则确定所述报文类型对应的优先级标签;
为所述报文设置所述报文类型对应的优先级标签,得到目标报文。
3.根据权利要求1所述的系统,其特征在于,所述云防火墙装置,还用于:
接收用户通过预设界面配置的规则配置信息;
将所述规则配置信息发往所述控制组件。
4.根据权利要求1所述的系统,其特征在于,所述云防火墙装置,用于:
根据所述目标报文队列的优先级进行队列调度,以将所述目标报文队列中的所述目标报文发往预设的报文传输队列。
5.根据权利要求1所述的系统,其特征在于,所述控制组件,用于:
确定所述报文传输队列的队列拥塞值所处的阈值区间;
根据所述队列拥塞值所处的阈值区间对应的配置信息更新所述网关规则,所述配置信息包括所述报文队列集合中当前需启用的报文队列所对应的优先级标签与报文类型之间的对应关系。
6.根据权利要求5所述的系统,其特征在于,所述控制组件,用于:
在所述报文传输队列的队列拥塞值处于第一阈值区间内的情况下,利用所述第一阈值区间对应的第一配置信息生成第一网关规则,将所述第一网关规则作为新的网关规则;所述第一配置信息包括所述报文队列集合中当前需要启用的各优先级的主报文队列对应的优先级标签与报文类型之间的对应关系,以及所述报文队列集合中当前需要启用的各个第一备选报文队列对应的优先级标签与报文类型之间的对应关系;
在所述报文传输队列的队列拥塞值处于第二阈值区间内的情况下,利用所述第二阈值区间对应的第二配置信息生成第二网关规则,将所述第二网关规则作为新的网关规则;所述第二配置信息包括所述报文队列集合中当前需要启用的各优先级的主报文队列对应的优先级标签与报文类型之间的对应关系、当前需要启用的各个第一备选报文队列对应的优先级标签与报文类型之间的对应关系,以及当前需要启用的各个第二备选报文队列对应的优先级标签与报文类型之间的对应关系;
其中,所述第一阈值区间的最大值小于所述第二阈值区间的最小值,所述第一备选报文队列的优先级低于所述第二备选报文队列的优先级。
7.根据权利要求1所述的系统,其特征在于,所述控制组件,用于:
在第一报文队列中的队列拥塞值小于预设的第一拥塞阈值的情况下,利用预设的第三配置信息生成第三网关规则,利用所述第三网关规则作为新的网关规则;所述第三配置信息包括所述报文队列集合中当前需要启用的各优先级的主报文队列对应的优先级标签与报文类型之间的对应关系、当前需要启用的各个第一备选报文队列对应的优先级标签与报文类型之间的对应关系,以及当前需要启用的各个第二备选报文队列对应的优先级标签与报文类型之间的对应关系;
其中,所述第一报文队列为各个所述报文队列中优先级最低的主报文队列,所述第一备选报文队列的优先级低于所述第二备选报文队列的优先级。
8.根据权利要求6或7所述的系统,其特征在于,所述控制组件,还用于:
在所述报文传输队列的队列拥塞值的大于预设的第二拥塞阈值,或者各个所述报文队列中的第一报文队列和第二报文队列的队列拥塞值均大于预设的第一拥塞阈值的情况下,降低所述第一备选报文队列和所述第二备选报文队列的出队速率;所述报文队列集合中的主报文队列分别包括第一报文队列、第二报文队列和第三报文队列,所述第一报文队列的优先级低于所述第二报文队列的优先级,所述第二报文队列的优先级低于所述第三报文队列的优先级。
9.一种报文处理方法,其特征在于,应用于如权利要求1中所述的报文处理系统,所述报文处理系统还包括网关设备和云防火墙,所述方法包括:
接收规则配置信息;
根据所述规则配置信息生成网关规则;
将所述网关规则发送到所述网关设备,使得所述网关设备在接收到待传输的报文的情况下,根据所述网关规则为所述报文设置优先级标签,得到目标报文;将所述目标报文发往所述云防火墙,以触发所述云防火墙在各个预设的报文队列中确定所述目标报文的优先级标签对应的目标报文队列,利用所述目标报文队列将所述目标报文发往预设的报文传输队列。
CN202311712862.2A 2023-12-13 2023-12-13 报文处理系统及方法 Active CN117812018B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202311712862.2A CN117812018B (zh) 2023-12-13 2023-12-13 报文处理系统及方法
PCT/CN2023/143226 WO2024227359A1 (zh) 2023-12-13 2023-12-29 报文处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311712862.2A CN117812018B (zh) 2023-12-13 2023-12-13 报文处理系统及方法

Publications (2)

Publication Number Publication Date
CN117812018A CN117812018A (zh) 2024-04-02
CN117812018B true CN117812018B (zh) 2025-09-05

Family

ID=90429028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311712862.2A Active CN117812018B (zh) 2023-12-13 2023-12-13 报文处理系统及方法

Country Status (2)

Country Link
CN (1) CN117812018B (zh)
WO (1) WO2024227359A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118175463B (zh) * 2024-05-15 2024-08-09 中兴通讯股份有限公司 Fttr网络报文的处理方法、电子设备和报文处理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106411780A (zh) * 2016-11-10 2017-02-15 杭州迪普科技有限公司 报文控制的方法和装置
CN108990115A (zh) * 2018-07-16 2018-12-11 鼎桥通信技术有限公司 一种在集群通信系统多核心网组网下保证QoS的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE334548T1 (de) * 2004-04-08 2006-08-15 Research In Motion Ltd Auf priorität basiertes wiedereinordnen in einer sende-warteschlange von nachrichten
CN101242360B (zh) * 2008-03-13 2010-12-01 中兴通讯股份有限公司 一种基于优先级队列的网络地址转换方法及系统
CN102075431B (zh) * 2011-01-25 2013-09-25 武汉迈威光电技术有限公司 一种同时支持多种优先级的非屏蔽式QoS流调度策略
WO2017067572A1 (en) * 2015-10-19 2017-04-27 Huawei Technologies Co., Ltd. Methods and devices in a communication network
US10057150B2 (en) * 2015-12-23 2018-08-21 Intel Corporation Managing communication congestion for internet of things devices
CN105812285A (zh) * 2016-04-29 2016-07-27 华为技术有限公司 一种端口拥塞管理方法及装置
US11165696B1 (en) * 2019-11-27 2021-11-02 Juniper Networks, Inc. Providing convergence prioritization for border gateway protocol services across providers/customers
KR102371485B1 (ko) * 2020-07-15 2022-03-07 고려대학교 산학협력단 이더넷 기반 네트워크 내 트래픽 제어 방법
CN114422429A (zh) * 2020-10-09 2022-04-29 中兴通讯股份有限公司 信息处理方法及其装置、网元、计算机可读存储介质
US11991088B2 (en) * 2020-11-04 2024-05-21 Rajeshwar PATIL System and method for congestion management in computer networks
CN113904994B (zh) * 2021-09-30 2024-03-19 天翼数字生活科技有限公司 一种家庭网关大数据统一上报平台的方法
CN116055206B (zh) * 2023-01-17 2025-07-18 北京百度网讯科技有限公司 访问控制方法、装置、设备以及存储介质
CN116506370A (zh) * 2023-04-12 2023-07-28 深圳市共进电子股份有限公司 一种网络流量的控制方法、装置、网络设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106411780A (zh) * 2016-11-10 2017-02-15 杭州迪普科技有限公司 报文控制的方法和装置
CN108990115A (zh) * 2018-07-16 2018-12-11 鼎桥通信技术有限公司 一种在集群通信系统多核心网组网下保证QoS的方法

Also Published As

Publication number Publication date
WO2024227359A1 (zh) 2024-11-07
CN117812018A (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
Stallings Foundations of modern networking: SDN, NFV, QoE, IoT, and Cloud
EP2676411B1 (en) Method and system for classification and management of inter-blade network traffic in a blade server
EP3055956B1 (en) Redirecting network traffic based on content
US10785163B2 (en) Maintaining a queuing policy with multipath traffic
US9338192B1 (en) Connection management using connection request transfer protocol
CN101473609B (zh) 用于独立于网络的qos的方法和系统
CN110995514B (zh) 一种多维度的端到端网络切片生成装置及方法
WO2011150701A1 (zh) 数据业务处理方法、网络设备和网络系统
WO2020083301A1 (zh) 一种网络切片的方法、计算机设备及存储介质
WO2021098425A1 (zh) 配置业务的服务质量策略方法、装置和计算设备
CN117812018B (zh) 报文处理系统及方法
JP3830937B2 (ja) 高速パケット網のためのパケットスケジューリングシステム及び方法
CN109922003B (zh) 一种数据发送方法、系统及相关组件
CN106789229A (zh) 一种面向工业sdn的中间件、系统及其实现方法
CN117795926A (zh) 复用会话中的数据封包优先级排序
WO2016202224A1 (zh) 一种传输层参数调整方法和装置
CN108696455B (zh) 用于处理业务流的方法及装置
CN105245621B (zh) 基于mqtt的企业消息推送系统及消息推送方法
Kim et al. Toward enabling performance-guaranteed networking in next-generation cellular networks
Lee et al. Optimal flow rate control for SDN-based naval systems
WO2015074258A1 (zh) 一种控制业务数据在虚拟网络中转发的方法、装置及系统
Park et al. Emergent-mqtt over sdn
US11818051B2 (en) Distributed node processing of network traffic
Tseng et al. Coflow deadline scheduling via network-aware optimization
CN115277504B (zh) 一种网络流量监控方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant