CN111756830A - 公有云网络的内网负载均衡实现方法 - Google Patents

Abstract

本发明公开一种公有云网络的内网负载均衡实现方法，涉及负载均衡技术领域。针对公有云网络的内网负载均衡产品的需求，本方法需要：在租户VPC内部部署多个负载均衡实例虚机；将负载均衡服务的VIP地址配置于多个负载均衡实例虚机的环回口；关闭负载均衡虚机的ARP代答；在租户VPC的虚拟路由器上配置到达各个VIP地址的ECMP等价路由，给每个VIP指定多个下一跳；在VPC的虚拟路由器上开启ARP代理功能和ARP的同网络代理功能，虚拟路由器根据VIP地址的ECMP等价路由进行ECMP负载均衡，负载均衡实例虚机根据具体负载均衡算法进行二次负载均衡分发，将服务请求送到具体的后端RS服务器，由后端RS服务器提供具体的服务。本方法支持LVS实例的水平扩展和高性能的内网负载均衡需求。

Description

公有云网络的内网负载均衡实现方法

技术领域

本发明涉及负载均衡技术领域，具体的说是一种公有云网络的内网负载均衡实现方法。

背景技术

负载均衡作为公有云网络的基础服务功能之一，包括外网负载均衡和内网负载均衡两种产品形态。

外网负载均衡用于给租户服务提供公网的访问入口，公网上的客户端通过负载均衡暴露出去的服务地址(VIP+PORT)访问租户VPC内部的服务，也就是说对于外网负载均衡，客户端位于互联网上，服务端位于租户VPC内部。

内网负载均衡的目标是为租户VPC内部的客户端提供访问后端服务的入口，内网负载均衡的VIP地址也位于VPC的内部，从VPC外部无法访问该VIP，因此，内网负载均衡的客户端和服务端均位于租户VPC内部，客户端通过服务VIP+PORT访问VPC内的服务，服务请求首先到达内网负载均衡实例，由负载均衡实例根据分发策略将请求分发到具体的后端服务器上，由后端服务器提供具体的服务。

公有云的负载均衡服务与传统意义上的软件负载均衡和硬件负载均衡相比，具有一定的相似性，但也有其独有的一些特性，公有云负载均衡实例一般以虚拟化的方式存在，有些追求高性能的公有云负载均衡可能会直接采用硬件方式，公有云的四层负载均衡服务一般不能配置租户的后端服务器，因此需要以透明的方式与后端real server配合使用。四层负载均衡最典型的实现方案是LVS(Linux Virtual Server)，目前业界的四层负载均衡方案都是基于LVS或其变种来实现的。LVS有四种工作模式，NAT模式、TUN模式、DR模式、FULLNAT模式。其中，1)NAT模式是通过网络地址转换的方法来实现调度的，首先调度器(LB)接收到客户的请求数据包时(请求的目的IP为VIP)，根据调度算法决定将请求发送给哪个后端的真实服务器(RS)，然后调度就把客户端发送的请求数据包的目标IP地址及端口改成后端真实服务器的IP地址(RIP)，这样真实服务器(RS)就能够接收到客户的请求数据包了，真实服务器响应完请求后，查看默认路由(NAT模式下我们需要把RS的默认路由设置为LB服务器)把响应后的数据包发送给LB,LB再接收到响应包后，把包的源地址改成虚拟地址(VIP)然后发送回给客户端。2)TUN模式是在LB和RS之间的传输不用改写IP地址，而是把客户请求包封装在一个IP tunnel里面，然后发送给RS节点服务器，节点服务器接收到之后解开IP tunnel后，进行响应处理，并且直接把包通过自己的外网地址发送给客户不用经过LB服务器。3)DR模式是通过改写请求报文的目标MAC地址，将请求发给真实服务器的，而真实服务器响应后的处理结果直接返回给客户端用户，同TUN模式一样，DR模式可以极大的提高集群系统的伸缩性，而且DR模式没有IP隧道的开销，对集群中的真实服务器也没有必要必须支持IP隧道协议的要求，但是要求调度器LB与真实服务器RS都有一块网卡连接到同一物理网段上，必须在同一个局域网环境，DR模式是互联网企业中使用比较多的一种模式。4)FULLNAT模式转发数据包是类似NAT模式，IN和OUT数据包都是经过LVS，唯一的区别是后端RealServer或者交换机不需要做任何配置，FULLNAT模式的主要原理是引入local address(内网ip地址)，cip-vip转换为lip->rip，而lip和rip均为IDC内网ip，可以跨三层通信。

LVS的四种模式在企业应用中可以根据自身业务需求合理选择其中一种进行部署应用即可，然而对于公有云网络的四层负载均衡服务来说，只有NAT模式和FULLNAT模式可以作为公有云网络负载均衡的部署模式，这是因为TUN模式封装开销大，需要专门部署隧道协议，而DR模式需要修改后端RS服务器的网卡配置，这对于公有云来说是不可接受的。另外，由于内网负载均衡的客户端、负载均衡实例、服务端均位于VPC内部，即位于同一个二层域下，LVS无法部署集群模式，只能部署成主备或者单点模式，因为同一个二层域下无法利用路由协议的ECMP进行集群间的流量分发，带来的问题就是内网负载均衡无法支撑大规模的场景，其最大性能取决于LVS实例的虚机性能，无法支持横向扩展，不能满足高性能的内网负载均衡需求。

发明内容

由于内网负载均衡在吞吐量上往往比外网负载均衡具有更高的要求，传统的内网负载均衡(二层域内)部署模式一般只能支持主备模式，不支持集群化的水平扩展能力，因此不能满足公有云网络的内网负载均衡需求。本发明针对当前公有云网络的内网负载均衡实现问题，提供一种公有云网络的内网负载均衡实现方法。基于LVS和分布式等价路由，无需修改后端RS服务器的配置，无需额外封装开销和特殊协议要求，能够支持LVS实例的水平扩展，能够支持高性能的内网负载均衡需求。

本发明的一种公有云网络的内网负载均衡实现方法，解决上述技术问题采用的技术方案如下：

一种公有云网络的内网负载均衡实现方法，基于LVS和分布式等价路由，该实现方法需要：

1)、在租户VPC内部部署多个负载均衡实例虚机；

2)、将负载均衡服务的VIP地址配置在多个负载均衡实例虚机的环回口上，有多个负载均衡服务就配置多个VIP地址；

3)、关闭负载均衡虚机的ARP跨接口代答；

4)、在租户VPC的虚拟路由器上配置到达各个VIP地址的ECMP等价路由，给每个VIP指定多个下一跳；

5)、在VPC的虚拟路由器上开启ARP代理功能和ARP的同网络代理功能，将到达VIP的流量吸引到虚拟路由器上来，由虚拟路由器根据VIP地址的ECMP等价路由进行ECMP负载均衡，将流量分发到各个负载均衡实例虚机上，然后再由各个负载均衡实例虚机根据具体负载均衡算法进行二次负载均衡分发，将服务请求送到具体的后端RS服务器，由后端RS服务器提供具体的服务。

可选的，执行4)时，VIP配置在几个负载均衡实例虚机就指定几个下一跳。

具体的，所涉及内网负载均衡的客户端、负载均衡实例、服务端均位于VPC内部，即位于同一个二层域下。

可选的，所涉及内网负载均衡实现方法的实现架构包括北向rest接口层、负载均衡服务层、负载均衡集群和VPC虚拟路由器四个层次，其中，北向rest接口层为上层云管平台或第三方平台提供restful的接口，并用于管理和操作内网负载均衡的各种资源。

进一步可选的，所涉及负载均衡服务层包括负载均衡实例管理组件、负载均衡配置管理组件、负载均衡数据库、负载均衡实例监控组件、RS服务器监控组件、ECMP管理组件。其中：

负载均衡实例管理组件负责VPC内负载均衡实例虚机的创建、删除、动态扩容或收缩；

负载均衡配置管理组件负责根据rest接口下发的配置进行配置下发，将具体的负载均衡配置需求下发到负载均衡实例虚机上，由实例虚机上的负载均衡代理进行具体的配置变更；

负载均衡数据库负责存储用户的负载均衡配置信息；

负载均衡实例监控组件负责监控负载均衡实例虚机的存活状态，当发现负载均衡实例虚机故障时需通知负载均衡实例管理组件重新调度创建一个负载均衡实例虚机，并将故障实例虚机上的负载均衡配置信息迁移到新的负载均衡实例虚机上；

RS服务器监控组件负责监控后端RS服务器的存活状态，当发现RS服务器故障或服务不可达时，需通知负载均衡配置管理组件修改与该故障RS服务器相关的负载均衡配置信息；

ECMP管理组件负责根据负载均衡的配置信息对VPC的虚拟路由器下发ECMP的VIP主机路由信息，并开启虚拟路由器上的ARP跨接口代答功能。

基于内网负载均衡实现方法的四层实现架构，内网负载均衡的具体执行流程包括：

步骤1、用户通过公有云控制台或OpenAPI接口创建负载均衡实例；

步骤2、上述创建请求最终会调用北向rest接口层的restful接口来真正创建负载均衡实例，并传递给负载均衡服务层；

步骤3、负载均衡服务器层判断当前VPC内的负载均衡实例虚机是否还有足够资源承载当前用户的负载均衡实例，若不够，则触发负载均衡实例管理组件动态扩张一台或多台负载均衡实例虚机；

步骤4、当用户调用restful接口创建一个负载均衡服务时，负载均衡配置管理组件将配置信息录入负载均衡数据库，此外，负载均衡配置管理组件还将负载均衡监听器的配置信息下发到具体的负载均衡实例虚机上，负载均衡实例虚机上的负载均衡代理完成负载均衡监听配置信息的下发和生效；

步骤5、ECMP管理组件将VIP的ECMP等价路由下发到VPC虚拟路由器上，每个VIP位于几个负载均衡实例虚机上就配置几个下一跳；

步骤6、监控负载均衡实例虚机：当负载均衡实例监控组件发现负载均衡实例虚机故障或不可达时，通过负载均衡实例管理组件重新调度创建一个负载均衡实例虚机，并将故障负载均衡实例虚机上的负载均衡配置信息迁移到新的负载均衡实例虚机上；

步骤7、监控RS服务器：当RS服务器监控组件发现某RS服务器故障或服务不可用时，通过负载均衡配置管理组件将所有涉及当前故障RS服务器的负载均衡配置全部修改，规避该故障RS服务器。

本发明的一种公有云网络的内网负载均衡实现方法，与现有技术相比具有的有益效果是：

本发明基于LVS和分布式等价路由，无需修改后端RS服务器的配置，无需额外封装开销和特殊协议要求，能够支持LVS实例的水平扩展，能够支持高性能的内网负载均衡需求。

附图说明

附图1是本发明的内网负载均衡应用场景示意图；

附图2是本发明的四层实现架构示意图；

附图3是本发明的内网负载均衡通信原理示意图。

具体实施方式

为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。

实施例一：

本实施例提出一种公有云网络的内网负载均衡实现方法，其中，参考附图1，内网负载均衡的客户端client、负载均衡实例LB、服务端RS均位于VPC内部，即位于同一个二层域下，该实现方法基于LVS和分布式等价路由，需要：

1)、在租户VPC内部部署多个负载均衡实例虚机；

2)、将负载均衡服务的VIP地址配置在多个负载均衡实例虚机的环回口上，有多个负载均衡服务就配置多个VIP地址；

3)、关闭负载均衡虚机的ARP跨接口代答；

4)、在租户VPC的虚拟路由器上配置到达各个VIP地址的ECMP等价路由，给每个VIP指定多个下一跳，VIP配置在几个负载均衡实例虚机就指定几个下一跳；

5)、在VPC的虚拟路由器上开启ARP代理功能和ARP的同网络代理功能，将到达VIP的流量吸引到虚拟路由器上来，由虚拟路由器根据VIP地址的ECMP等价路由进行ECMP负载均衡，将流量分发到各个负载均衡实例虚机上，然后再由各个负载均衡实例虚机根据具体负载均衡算法进行二次负载均衡分发，将服务请求送到具体的后端RS服务器，由后端RS服务器提供具体的服务。

针对本实施例的内网负载均衡实现方法，参考附图2，可以选择的实现架构包括北向rest接口层、负载均衡服务层、负载均衡集群和VPC虚拟路由器四个层次。

本实施例中，北向rest接口层为上层云管平台或第三方平台提供restful的接口，并用于管理和操作内网负载均衡的各种资源。

本实施例中，负载均衡服务层包括负载均衡实例管理组件、负载均衡配置管理组件、负载均衡数据库、负载均衡实例监控组件、RS服务器监控组件、ECMP管理组件。

其中：

负载均衡实例管理组件负责VPC内负载均衡实例虚机的创建、删除、动态扩容或收缩；

负载均衡配置管理组件负责根据rest接口下发的配置进行配置下发，将具体的负载均衡配置需求下发到负载均衡实例虚机上，由实例虚机上的负载均衡代理进行具体的配置变更；

负载均衡数据库负责存储用户的负载均衡配置信息；

负载均衡实例监控组件负责监控负载均衡实例虚机的存活状态，当发现负载均衡实例虚机故障时需通知负载均衡实例管理组件重新调度创建一个负载均衡实例虚机，并将故障实例虚机上的负载均衡配置信息迁移到新的负载均衡实例虚机上；

RS服务器监控组件负责监控后端RS服务器的存活状态，当发现RS服务器故障或服务不可达时，需通知负载均衡配置管理组件修改与该故障RS服务器相关的负载均衡配置信息；

ECMP管理组件负责根据负载均衡的配置信息对VPC的虚拟路由器下发ECMP的VIP主机路由信息，并开启虚拟路由器上的ARP跨接口代答功能。

基于内网负载均衡实现方法的四层实现架构，内网负载均衡的具体执行流程包括：

步骤1、用户通过公有云控制台或OpenAPI接口创建负载均衡实例；

步骤2、上述创建请求最终会调用北向rest接口层的restful接口来真正创建负载均衡实例，并传递给负载均衡服务层；

步骤3、负载均衡服务器层判断当前VPC内的负载均衡实例虚机是否还有足够资源承载当前用户的负载均衡实例，若不够，则触发负载均衡实例管理组件动态扩张一台或多台负载均衡实例虚机；

步骤4、当用户调用restful接口创建一个负载均衡服务时，负载均衡配置管理组件将配置信息录入负载均衡数据库，此外，负载均衡配置管理组件还将负载均衡监听器的配置信息下发到具体的负载均衡实例虚机上，负载均衡实例虚机上的负载均衡代理完成负载均衡监听配置信息的下发和生效；

步骤5、ECMP管理组件将VIP的ECMP等价路由下发到VPC虚拟路由器上，每个VIP位于几个负载均衡实例虚机上就配置几个下一跳；

步骤6、监控负载均衡实例虚机：当负载均衡实例监控组件发现负载均衡实例虚机故障或不可达时，通过负载均衡实例管理组件重新调度创建一个负载均衡实例虚机，并将故障负载均衡实例虚机上的负载均衡配置信息迁移到新的负载均衡实例虚机上；

步骤7、监控RS服务器：当RS服务器监控组件发现某RS服务器故障或服务不可用时，通过负载均衡配置管理组件将所有涉及当前故障RS服务器的负载均衡配置全部修改，规避该故障RS服务器。

针对内网负载均衡实现方法的实现内容和实现架构，以及实现架构进行内网负载均衡的具体执行流程，基于OpenStack的公有云部署时，一般会选择将L3的服务部署成DVR模式，即VPC的虚拟路由器位于各个计算节点，不局限于网络节点，这种部署模式带来的好处是三层流量无需经过网络节点迂回，规避了网络节点的瓶颈，而且某一个计算节点故障不会影响其它计算节点的三层业务流量，具有高可用性。那么，参考附图3，DVR模式下的基本通信流程：客户端client想要访问负载均衡服务(VIP+PORT)，客户端client首先需要发起ARP Request去请求VIP的mac地址，由于VPC的虚拟路由器qr上配置了该VIP的ECMP等价路由且开启了ARP跨接口代答，因此该ARP Request会被虚拟路由器qr响应，客户端client会将报文送到VPC虚拟路由器qr上；虚拟路由器qr查找本地路由表，发现该VIP有多个下一跳，则根据五元组(源IP地址、目的IP地址、协议类型、源端口、目的端口)进行hash运算，选择一个下一跳，并将报文送到该下一跳；当报文到达下一跳时，即负载均衡实例虚机LB，根据负载均衡算法进行二次负载均衡，将报文送到具体某一个RS服务器server，由该具体的RS服务器server提供具体的服务。由于负载均衡采用LVS的NAT或FULLNAT模式，反向应答报文会首先被送达负载均衡实例虚机，由虚机实例节点进行地址转换后再送达客户端。

Claims (8)

1.一种公有云网络的内网负载均衡实现方法，其特征在于,基于LVS和分布式等价路由，该实现方法需要：

1)、在租户VPC内部部署多个负载均衡实例虚机；

2)、将负载均衡服务的VIP地址配置在多个负载均衡实例虚机的环回口上，有多个负载均衡服务就配置多个VIP地址；

3)、关闭负载均衡虚机的ARP跨接口代答；

4)、在租户VPC的虚拟路由器上配置到达各个VIP地址的ECMP等价路由，给每个VIP指定多个下一跳；

5)、在VPC的虚拟路由器上开启ARP代理功能和ARP的同网络代理功能，将到达VIP的流量吸引到虚拟路由器上来，由虚拟路由器根据VIP地址的ECMP等价路由进行ECMP负载均衡，将流量分发到各个负载均衡实例虚机上，然后再由各个负载均衡实例虚机根据具体负载均衡算法进行二次负载均衡分发，将服务请求送到具体的后端RS服务器，由后端RS服务器提供具体的服务。

2.根据权利要求1所述的公有云网络的内网负载均衡实现方法，其特征在于，执行4)的过程中，给每个VIP指定多个下一跳时，VIP配置在几个负载均衡实例虚机就指定几个下一跳。

3.根据权利要求1所述的公有云网络的内网负载均衡实现方法，其特征在于，内网负载均衡的客户端、负载均衡实例、服务端均位于VPC内部，即位于同一个二层域下。

4.根据权利要求1所述的公有云网络的内网负载均衡实现方法，其特征在于，该实现方法的实现架构包括北向rest接口层、负载均衡服务层、负载均衡集群和VPC虚拟路由器四个层次，其中，北向rest接口层为上层云管平台或第三方平台提供restful的接口，并用于管理和操作内网负载均衡的各种资源。

5.根据权利要求4所述的公有云网络的内网负载均衡实现方法，其特征在于，负载均衡服务层包括负载均衡实例管理组件、负载均衡配置管理组件、负载均衡数据库、负载均衡实例监控组件、RS服务器监控组件、ECMP管理组件；

负载均衡实例管理组件负责VPC内负载均衡实例虚机的创建、删除、动态扩容或收缩；

负载均衡配置管理组件负责根据rest接口下发的配置进行配置下发，将具体的负载均衡配置需求下发到负载均衡实例虚机上，由实例虚机上的负载均衡代理进行具体的配置变更；

负载均衡数据库负责存储用户的负载均衡配置信息；

负载均衡实例监控组件负责监控负载均衡实例虚机的存活状态，当发现负载均衡实例虚机故障时需通知负载均衡实例管理组件重新调度创建一个负载均衡实例虚机，并将故障实例虚机上的负载均衡配置信息迁移到新的负载均衡实例虚机上；

RS服务器监控组件负责监控后端RS服务器的存活状态，当发现RS服务器故障或服务不可达时，需通知负载均衡配置管理组件修改与该故障RS服务器相关的负载均衡配置信息；

ECMP管理组件负责根据负载均衡的配置信息对VPC的虚拟路由器下发ECMP的VIP主机路由信息，并开启虚拟路由器上的ARP跨接口代答功能。

6.根据权利要求5所述的公有云网络的内网负载均衡实现方法，其特征在于，基于四层实现架构，内网负载均衡的具体执行流程包括：

步骤1、用户通过公有云控制台或OpenAPI接口创建负载均衡实例；

步骤2、上述创建请求最终会调用北向rest接口层的restful接口来真正创建负载均衡实例，并传递给负载均衡服务层；

步骤3、负载均衡服务器层判断当前VPC内的负载均衡实例虚机是否还有足够资源承载当前用户的负载均衡实例，若不够，则触发负载均衡实例管理组件动态扩张一台或多台负载均衡实例虚机；

步骤4、当用户调用restful接口创建一个负载均衡服务时，负载均衡配置管理组件将配置信息录入负载均衡数据库，此外，负载均衡配置管理组件还将负载均衡监听器的配置信息下发到具体的负载均衡实例虚机上，负载均衡实例虚机上的负载均衡代理完成负载均衡监听配置信息的下发和生效；

步骤5、ECMP管理组件将VIP的ECMP等价路由下发到VPC虚拟路由器上，每个VIP位于几个负载均衡实例虚机上就配置几个下一跳。

7.根据权利要求6所述的公有云网络的内网负载均衡实现方法，其特征在于，执行步骤5后，进一步监控负载均衡实例虚机，当负载均衡实例监控组件发现负载均衡实例虚机故障或不可达时，通过负载均衡实例管理组件重新调度创建一个负载均衡实例虚机，并将故障负载均衡实例虚机上的负载均衡配置信息迁移到新的负载均衡实例虚机上。

8.根据权利要求7所述的公有云网络的内网负载均衡实现方法，其特征在于，进一步监控RS服务器，当RS服务器监控组件发现某RS服务器故障或服务不可用时，通过负载均衡配置管理组件将所有涉及当前故障RS服务器的负载均衡配置全部修改，规避该故障RS服务器。

Images