CN115686729A - 容器集群网络系统、数据处理方法、设备及计算机程序产品 - Google Patents

Abstract

本申请实施例提供一种容器集群网络系统、数据处理方法、设备及计算机程序产品。其中，容器集群网络系统，包括至少一个节点，所述节点上部署有多个运行有容器的单元Pod；所述节点上的单元设有多个虚拟网卡，所述多个虚拟网卡包括两种类型；其中，第一类型虚拟网卡用于收发所述容器集群网络系统外的网元与所述容器集群网络系统内单元间的通信数据；第二类型虚拟网卡用于收发所述容器集群网络系统内两单元间的通信数据；所述容器集群网络系统外的网元能通过所述第一类型虚拟网卡与所述容器集群网络系统内的单元通信。本申请实施例提供的技术方案因采用虚拟网卡技术，无需增加物理硬件，成本低，灵活度高，且对现有网络侵入小。

Description

容器集群网络系统、数据处理方法、设备及计算机程序产品

技术领域

本申请涉及云计算网络技术领域，尤其涉及一种容器集群网络系统、数据处理方法、设备及计算机程序产品。

背景技术

Kubernetes(简称K8s)是一个开源的，用于管理云平台中多个节点上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效(powerful)。其中，节点可以是实体设备(即物理机)，也可以是虚拟设备。Kubernetes提供了应用部署，规划，更新，维护的一种机制。在K8s集群中，运行有多个容器的Pod(在本文中称为单元)是K8s集群部署的最小单元。

目前，部署在k8s集群内的Pod使用的是集群内的互联网协议地址。因此，只有k8s集群内部的Pod之间能够相互访问，集群外部的网络无法直接与k8s集群内部的Pod建立通信。现有技术中，即使采用了一些实现集群外部网络与集群内Pod通信的技术方案，还是存在一些问题。

发明内容

本申请实施例提供了一种容器集群网络系统、数据处理方法、设备及计算机程序产品，以为实现集群外部网络与集群内Pod通信提供一种新的解决方案。

在本申请的一个实施例中，提供了一种容器集群网络系统。该容器集群网络系统包括至少一个节点，所述节点上部署有多个运行有容器的单元Pod；

所述节点上的单元设有多个虚拟网卡，所述多个虚拟网卡包括两种类型；

其中，第一类型虚拟网卡用于收发所述容器集群网络系统外的网元与所述容器集群网络系统内单元间的通信数据；第二类型虚拟网卡用于收发所述容器集群网络系统内两单元间的通信数据；所述容器集群网络系统外的网元能通过所述第一类型虚拟网卡访问所述容器集群网络系统内的单元。

在本申请的另一个实施例中，提供了一种数据处理方法。该数据处理方法包括：

接收数据信息；

所述数据信息源自于容器集群网络系统外的网元时，根据所述数据信息携带的第一地址信息，将所述数据信息路由至所述第一地址信息对应的第一类型虚拟网卡，以由具有所述第一类型虚拟网卡的第一单元对所述数据信息进行处理；

所述数据信息源自于所述容器集群网络系统内的第二单元时，根据所述数据信息确定第二地址信息，将所述数据信息路由至所述第二地址信息对应的第二类型虚拟网卡，以由具有所述第二类型虚拟网卡的第一单元对所述数据信息进行处理；

其中，所述容器集群网络系统包括所述第一单元及所述第二单元，所述第一单元和所述第二单元上均运行有相应的容器。

在本申请的又一个实施例中，提供了一种数据处理方法。该方法包括：

获取所述第一单元产生的数据信息；

所述数据信息需发往容器集群网络系统外的网元时，通过所述第一单元具有的第一类型虚拟网卡将所述数据信息发出；

所述数据信息需发往所述容器集群网络系统内的第二单元时，通过所述第一单元具有的第二类型虚拟网卡将所述数据信息发送至隧道装置，以由所述隧道装置对所述数据信息进行处理后发出；

其中，所述容器集群网络系统包括所述第一单元及所述第二单元，所述第一单元和所述第二单元上均运行有相应的容器。

在本申请的又一个实施例中，提供了一种数据处理方法。该方法包括：

为容器集群网络系统中的第一单元配置第一类型虚拟网卡；

为所述第一单元配置第二类型虚拟网卡；

启动所述第一单元，使得所述第一单元能通过所述第一类型虚拟网卡收发与所述容器集群网络系统外的网元的通信数据，还能通过所述第二类型虚拟网卡收发与所述容器集群网络系统内第二单元间的通信数据；

其中，所述第一单元和所述第二单元上均运行有容器。

在本申请的又一个实施例中，提供了一种集群内的节点设备。该集群内的节点包括存储器及处理器；其中，

所述存储器，用于所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现上述任一数据处理方法实施例中的步骤。

在本申请的又一个实施例中，提供了一种计算机程序产品。该计算机程序产品包括计算机程序或指令，当所述计算机程序或指令被处理器执行时，致使所述处理器能够实现上述任一数据处理方法实施例中的步骤。

本申请实施例提供的技术方案，通过给容器集群网络系统中的单元(Pod)设置两种类型的虚拟网卡，且第一类型虚拟网卡用于收发所述容器集群网络系统外的网元与所述容器集群网络系统内单元间的通信数据；第二类型虚拟网卡用于收发所述容器集群网络系统内两单元间的通信数据；这样，在不需要对容器集群网络进行改动或改动不大的情况下，便能实现容器集群网络系统内单元与外部网元的直接通信连接。总体而言，本申请实施例提供的技术方案因采用虚拟网卡技术，无需增加物理硬件，成本低，灵活度高，且对现有网络侵入小。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要利用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种容器集群网络系统的原理性示意图；

图2为本申请实施例提供的一种容器集群网络系统的另一种形式的原理性示意图；

图3为本申请实施例提供的一种为单元Pod配置两种类型虚拟网卡的示意图；

图4为本申请实施例提供的一种数据处理方法的流程示意图；

图5为本申请实施例提供的另一种数据处理方法的流程示意图；

图6为本申请实施例提供的又一种数据处理方法的流程示意图；

图7为本申请实施例提供的一种数据处理装置的结构示意图；

图8为本申请实施例提供的另一种数据处理装置的结构示意图；

图9为本申请实施例提供的又一种数据处理装置的结构示意图；

图10为本申请实施例提供的一种节点设备的结构示意图。

具体实施方式

在介绍本申请提供的各实施例之前，对本文中涉及到的专有名字或术语进行简单介绍。

Pod：是Kubernetes创建或部署的最小/最简单的基本单位，一个Pod代表集群上正在运行的一个或多个进程。一台节点(或物理机)上可以部署有多个Pod，一个Pod上可运行有一个或多个容器(container)。

Overlay网络：在网络技术领域，指的是一种网络架构上叠加的虚拟化技术模式，其大体框架是对基础网络不进行大规模修改的条件下，实现应用在网络上的承载，并能与其他网络分离，并且以基于IP的基础网络技术为主。

underlay网络：就是数据中心网路基础转发架构的网络，只要数据中心网络上任意两点路由可达即可，指的是物理基础层。换句话来说，underlay是底层网络，负责互联互通；Overlay就是基于底层网络互联互通的基础加上隧道技术去构建一个虚拟的网络，Overlay的流量需要在underlay网络传输。

Macvlan：它本身是Linux kernel(Linux内核)模块，其功能是允许在同一个物理网卡上虚拟出多个虚拟网卡，配置有多个MAC地址。每个MAC地址对应该物理网卡上虚拟出的一个虚拟网卡。

Network namespace：是实现网络虚拟化的重要功能，它能创建多个隔离的网络空间，它们有独自的网络栈信息。不管是虚拟机还是容器，运行的时候仿佛自己就在独立的网络中。

CNI：Container Network Interface，即容器网络的API接口。它是K8s中标准的一个调用网络实现的接口。Kubelet通过这个标准的API来调用不同的网络插件以实现不同的网络配置方式，实现了这个接口的就是CNI插件。常见的CNI插件包括：Calico、flannel、Terway、Weave Net、Macvlan以及Contiv。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的单元、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。此外，下述的各实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前k8s集群在采用Overlay作为网络通信方案时，集群内的Pod都是虚拟概念的IP地址，对于集群外的网元来说，这些虚拟概念的IP地址是无法获得的。现有技术中，集群外的网元与集群内Pod通信一般有以下四种方式：

方式一、通过NodePort service对外部网络暴露节点上的端口，该方式无法在一个Pod内暴露一个范围或大量不连续的端口。

NodePort service(NodePort服务)，是在节点上开放一个特定的端口，任何发送到该端口的流量都被转发到对应的Pod。NodePort service具有诸多缺点，如暴露出的一个端口只能对应一个Pod；端口范围有限等等。

方式二、Pod以host network方式来部署，该方式无法在同一节点上同时部署多个同样的Pod，不利于资源的使用。

当Pod配置为hostNetwork：true时，在此类Pod中运行的应用程序可以直接查看启动Pod的节点的网络接口；Pod中的所有容器就直接暴露在其所在节点(或称为宿主机)的网络环境中。

方式三、通过为节点(即Pod的宿主机)配置多个物理网卡，然后将多个物理网卡绑定到Pod中。该方案的缺点是：成本高、需要额外硬件支持，并且灵活度不够，不能热插拔。

方式四、使用underlay网络使Pod和宿主机(即节点)间的网络在同一个网段。该方案的缺点是需要占用额外的物理网段，造成IP资源浪费，并且对部署网络侵入大，适应面窄。

本申请实施例提供了一种新的实现方案。图1示出了本申请实施例提供的容器集群网络系统的原理性示意图。如图1所示，所述容器集群网络系统中包含包括至少一个节点101，所述节点101上部署有多个运行有容器的单元Pod；

所述节点101上的单元设有多个虚拟网卡102，所述多个虚拟网卡102包括两种类型；其中，第一类型虚拟网卡1021用于收发所述容器集群网络系统外的网元与所述容器集群网络系统内单元间的通信数据；第二类型虚拟网卡1022用于收发所述容器集群网络系统内两单元间的通信数据；

所述容器集群网络系统外的网元能通过所述第一类型虚拟网卡1021与所述容器集群网络系统内的单元通信。

本实施例提供的所述容器集群网络系统可以是Kubernetes集群(简称K8s集群)。Pod是Kubernetes中最基本的部署调度单元(在本文中Pod简称为单元)。Pod可以包含多个容器(container)，container逻辑上表示某种应用的一个实例。例如一个web站点应用由前端、后端及数据库三个组件构建而成，这三个组件可运行在各自的容器中，相应的可在容器集群网络系统中创建包含三个container的Pod。

本实施例中所述节点可以是实体设备(或物理机)，如服务器设备等；还可以是构建在实体设备上的虚拟设备(或虚拟机)，本实施例对此不作具体限定。另外，本实施例中所述的网元是指网络中的设备，是网络中可以独立完成一定功能的设备；例如，所述网元可以包括但不限于：接入网络中的客户端设备(如计算机、智能手机、物联网设备、智能穿戴设备等等)、接入网络中的服务器、网桥、交换机、路由器等等。

进一步的，本实施例中所述的节点上设有物理网卡。其中物理网卡是指服务器上的网络接口设备。相应的，本实施例中的所述节点，可用于将所述物理网卡虚拟出多个所述第一类型虚拟网卡；分别为所述节点上的所述多个单元配置相应的第一类型虚拟网卡。具体实施时，可通过网络虚拟化技术macvlan实现，将物理网卡虚拟出多个第一类型虚拟网卡。

其中，macvlan是Linux kernel(Linux内核)，其功能是允许在同一个物理网卡上配置多个MAC地址，即本实施例提及的多个第一类型虚拟网卡，每个第一类型虚拟网卡可以配置自己的IP地址。macvlan本质上是一种网卡虚拟化技术，内核代码路径/drivers/net/macvlan.c。

这里需要说明的是：虚拟网卡实质上是一个可在系统中出现的网络接口，即虚拟网卡的实质形态是一个网络接口，这个网络接口依赖于物理网卡，可以与物理网卡的网络接口在系统中存在，并使用不同的MAC地址及IP地址。

第一类型虚拟网卡和节点(即第一类型虚拟网卡对应物理网卡所在的宿主机)在同一个网段中，共享同一个广播域。Macvlan和Bridge(网桥)比较相似，但因为它省去了Bridge的存在，所以配置和调试起来比较简单，而且效率也相对高。除此之外，Macvlan自身也支持VLAN(虚拟局域网)。

图2示出了本申请实施例提供的所述容器集群网络系统中的另一原理性架构图。如图2所示，本实施例所述系统除包括多个节点外，还包括主节点(Master Node)。所述主节点上包括但不限于：存储模块(etcd)、接口服务模块(API Server)、控制模块(controllermanager)及调度模块(scheduler)等。其中，

存储模块(etcd)，是Kubernetes提供的一个高可用的键值数据库，用于保存集群内所有的网络配置和资源对象的状态，也就是保存了整个集群的状态。

接口服务模块(API Server)：负责对外提供接口服务，如为用户(User)提供接口；还对各模块(如etcd、controller manager、scheduler)提供接口，以便各模块通过APIServer提供的接口实现各自的功能，比如控制模块通过API Server提供的接口来监测资源对象的状态。

控制模块(controller manager)，负责维护容器集群网络系统(即Kubernetes集群)的状态，比如故障检测、自动扩展、滚动更新等。

调度模块(scheduler)，通过调度算法为Pod选择节点，调度成功后，会将Pod信息绑定到该节点上，同时将信息写入etcd。一旦绑定成功，节点上的kubelet就会对该Pod进行生命周期管理。

继续参见图2所示的原理图，节点上安装有节点(Node)组件。Node组件包括但不限于：kubelet(管理器)、Container runtime(容器运行环境)等。其中，

kubelet(管理器)，用于管理节点上的Pod，负责Pod的生命周期管理；同时还与主节点(Master Node)交互协作，维护和管理该节点上的所有容器，实现集群管理的基本功能，即节点通过kubelet(管理器)与主节点(Master Node)交互。

Container runtime(容器运行环境)，提供docker、rkt的容器运行所需的环境。

基于上述容器集群网络系统的内容，本申请实施例中所述的节点可采用如下的技术方案来为Pod配置第一类型虚拟网卡和第二类型虚拟网卡。例如，在一种可实现的技术方案中，所述节点用于为其上的目标单元配置第一类型虚拟网卡和第二类型虚拟网卡。结合图2所示的节点的架构，所述节点的bin目录下部署有Multus CNI插件对应的文件，以便于该节点上目标单元支持多网卡启动。例如，图3所示的所述Multus CNI插件包括有第一类型网络配置插件(如Macvlan CNI插件)以及第二类型网络配置插件(如Flannel CNI插件)。相应的，主节点上的etcd上需存储有使用预设网络资源对象创建完成的第一类型网络配置文件(如Macvlan网络配置文件)，以及使用预设网络资源对象创建完成的第一类型网络配置文件(如Flannel网络配置文件)。

更具体的，本实施例中所述节点在为其上的目标单元配置第一类型虚拟网卡和第二类型虚拟网卡时，具体用于：

根据所述第一类型网络配置文件，执行所述第一类型网络插件，以为所述目标单元配置第一类型虚拟网卡；

根据所述第二类型网络配置文件，执行所述第二类型网络配置插件，以为所述目标单元配置第二类型虚拟网卡。

上述配置功能可以是图2中所示的节点上的kubelet(管理器)来实现。

在本申请实施例提供的容器集群网络系统采用的是覆盖网络(overlaynetwork)作为网络通信方案的情况时，为了降低对现有正在使用的容器集群网络系统的侵入(即改动小，成本低)，本申请实施例提供的容器集群网络系统在重新启动Pod或新创建Pod的过程中，通过拦截现有系统默认的执行Flannel CNI插件的操作，然后插入执行macvlan CNI插件的动作的方式，为重新启动的Pod或新创建的Pod新增第一类型虚拟网卡；原有执行Flannel CNI插件的操作以完成对新启动的Pod或新创建的Pod配置第二类型虚拟网卡的操作，并继续执行后续的操作。简单理解就是，在现有容器集群网络系统在为Pod配置网络的执行过程中，插入一个为Pod配置第一类型虚拟网卡的操作。一种实现方式即上述中提及的拦截执行Flannel CNI插件的操作，在执行Flannel CNI插件的操作之前插入执行macvlanCNI插件的操作，然后再回来执行Flannel CNI插件的操作，并继续后续流程。即，本申请实施例中

所述节点，用于在为其上目标单元配置网络时，对执行第二类型网络配置插件的操作进行拦截；执行第一类型网络配置插件以为所述目标单元配置所述第一类型虚拟网卡；执行所述第二类型网络配置插件以为所述目标单元配置所述第二类型虚拟网卡。

例如，所述第二类型网络配置插件为Flannel CNI插件，第一类型网络配置插件为macvlan CNI插件。相应的，本实施例中的所述节点

所述节点，用于在为其上目标单元配置网络时，对执行Flannel CNI插件的操作进行拦截；执行macvlan CNI插件以为所述目标单元配置所述第一类型虚拟网卡，以及执行所述Flannel CNI插件以为所述目标单元配置所述第二类型虚拟网卡。

可见，本申请实施例提供的技术方案，通过多网卡技术提供Pod对外暴露大量端口的同时，还因为保留了现有系统中的所有功能使得系统中的Pod还能保持networknamespace隔离的能力，从而解决Kubernetes集群内Pod与集群外网元间通信的问题。其中，network namespace是实现网络虚拟化的重要功能，它能创建多个隔离的网络空间。对于每个network namespace来说，它会有自己独立的网卡、路由表、ARP表、IPtables等和网络相关的资源。

进一步的，本实施例中为容器集群网络系统中的各单元配置完第一类型虚拟网卡和第二类型虚拟网卡后，所述节点还需配置相应的路由规则，即第一类型虚拟网卡用于收发所述容器集群网络系统外的网元与所述容器集群网络系统内单元间的通信数据；第二类型虚拟网卡用于收发所述容器集群网络系统内两单元间的通信数据。

基于本实施例提供的所述容器集群网络系统，节点上的Pod能与集群外网元通信。本实施例中在所述节点接收到数据信息后，所述节点用于：

在所述数据信息源自于所述容器集群网络系统外的网元时，根据所述数据信息携带的第一地址信息，将所述数据信息路由至所述第一地址信息对应的第一类型虚拟网卡，以由具有所述第一类型虚拟网卡的第一单元对所述数据信息进行处理；在所述数据信息源自于所述容器集群网络系统内的第二单元时，根据所述数据信息确定第二地址信息，将所述数据信息路由至所述第二地址信息对应的第二类型虚拟网卡，以由具有所述第二类型虚拟网卡的第一单元对所述数据信息进行处理。

在节点上的某一Pod要向外发送数据信息时，本实施例中的所述节点还用于：获取所述第一单元产生的数据信息；所述数据信息需发往容器集群网络系统外的网元时，通过所述第一单元具有的第一类型虚拟网卡将所述数据信息发出；所述数据信息需发往所述容器集群网络系统内的第二单元时，通过所述第一单元具有的第二类型虚拟网卡将所述数据信息发送至隧道装置，以由所述隧道装置对所述数据信息进行处理后发出。

本系统实施例中的节点的具体功能及执行原理可参见如下各方法实施例的描述。

图4示出了本申请一实施例提供的数据处理方法实施例的流程示意图。

如图所示，所述方法包括：

201、接收数据信息；

202、所述数据信息源自于容器集群网络系统外的网元时，根据所述数据信息携带的第一地址信息，将所述数据信息路由至所述第一地址信息对应的第一类型虚拟网卡，以由具有所述第一类型虚拟网卡的第一单元对所述数据信息进行处理；

203、所述数据信息源自于所述容器集群网络系统内的第二单元时，根据所述数据信息确定第二地址信息，将所述数据信息路由至所述第二地址信息对应的第二类型虚拟网卡，以由具有所述第二类型虚拟网卡的第一单元对所述数据信息进行处理；

其中，所述容器集群网络系统包括所述第一单元及所述第二单元，所述第一单元和所述第二单元上均运行有相应的容器。

本实施例提供的所述方法的执行主体可以是容器集群网络系统中的节点。

上述201中，数据信息可以是任何形式的信息，本实施例对此不在限定。例如，数据信息可以访问请求，或者是针对访问请求反馈的响应信息等。

上述202和203中，若所述数据信息中携带有所述第一类型虚拟网卡的IP地址，则可确定所述数据信息源自于所述容器集群网络系统外的网元。若识别所述数据信息为虚拟局域网数据包，则确定所述数据信息源自于所述容器集群网络系统内单元。

例如，第一类型虚拟网卡是通过macvlan技术在节点的物理网卡上虚拟出的虚拟网卡(或称为虚拟网络接口)，如图1中所示的Pod1上的网络接口mvlan。因为该Pod1上的第一类型虚拟网卡的网络接口是对外网(即容器集群网络系统外的网元)暴露的接口，容器集群网络系统外的网元是可获得的。如图1所示的示例，容器集群网络系统外的网元通过物理网络向容器集群网络系统发送的访问Pod1的请求中可直接携带该Pod1上的第一类型虚拟网卡的IP地址。对于接收到该访问请求的节点Pod1来说，可直接通过该访问请求中携带的IP地址，便可确定出该访问请求来自于容器集群网络系统外的网元。

若所述数据信息中未携带所述第一类型虚拟网卡的IP地址，则需要识别所述数据信息是否为虚拟局域网数据包。假设数据信息为UDP数据包，UDP数据包里会有vxlan id标识；若识别出该数据信息中携带有vxlan id标识为1的标识，则可确定该数据信息是一个vxlan数据报文并且vxlan为1，同时也就确定了该数据信息是自于容器集群网络系统内的第二单元。

参见图1所示，数据信息中携带有所述第一类型虚拟网卡的IP地址，可直接根据路由表将该数据信息路由至如Pod1的第一类型虚拟网卡mvlan。

但在数据信息为虚拟局域网数据包的情况时，上述步骤203中“根据所述数据信息确定第二地址信息，将所述数据信息路由至所述第二地址信息对应的第二类型虚拟网卡”可具体包括：

2031、数据信息中携带有vxlan id标识，确定vxlan设备。

例如，vxlan id标识为1，则确定节点上vxlan id为1的vxlan设备，由该vxlan设备来处理。参见图1所示的示例，该vxlan id为1的vxlan设备即隧道装置flannel.1(10.20.0.0/16)。

2032、对数据信息进行拆包，得到源IP地址及所述第二地址信息(或称为目标IP地址)。

具体的，本步骤2032的执行主体为节点上的隧道装置。参见图1所示的示例，即Pod1上隧道装置flannel.1(10.20.0.0/16)。flannel.1收到该数据信息后，对该数据信息拆包，去掉UDP报文的IP，port，MAC信息后得到内部的payload。若内部的payload还有一层报文(即该数据信息为一个二层报文)，则对该内部的payload继续拆包，便能获得包里的数据、源IP地址及目标IP地址。

2033、根据路由表，将所述数据信息路由至所述第二地址信息对应的第二类型虚拟网卡veth0。

本实施例提供的技术方案，通过给容器集群网络系统中的单元(Pod)设置两种类型的虚拟网卡，且第一类型虚拟网卡用于收发所述容器集群网络系统外的网元与所述容器集群网络系统内单元间的通信数据；第二类型虚拟网卡用于收发所述容器集群网络系统内两单元间的通信数据；这样，在不需要对容器集群网络进行改动或改动不大的情况下，便能实现容器集群网络系统内单元与外部网元的直接通信连接。总体而言，本申请实施例提供的技术方案因采用虚拟网卡技术，无需增加物理硬件，成本低，灵活度高，且对现有网络侵入小。

图5示出了本申请另一实施例提供的数据处理方法的流程示意图。如图5所示，所述方法包括：

301、获取所述第一单元产生的数据信息；

302、所述数据信息需发往容器集群网络系统外的网元时，通过所述第一单元具有的第一类型虚拟网卡将所述数据信息发出；

303、所述数据信息需发往所述容器集群网络系统内的第二单元时，通过所述第一单元具有的第二类型虚拟网卡将所述数据信息发送至隧道装置，以由所述隧道装置对所述数据信息进行处理后发出；

其中，所述容器集群网络系统包括所述第一单元及所述第二单元，所述第一单元和所述第二单元上均运行有相应的容器。

本实施例提供的所述方法执行主体可以是上述容器集群网络系统实施例中的节点。本实施例是从节点产生数据信息向容器集群网络系统外网元或容器集群网络系统内单元发送数据信息的方案。本方法实施例及上文中的方法实施例均是在容器集群网络系统实施例的基础上实现的。

在一具体实施方案中，本实施例中所述第一类型虚拟网卡是通过网络虚拟化技术macvlan将物理网卡虚拟出的多个第一类型虚拟网卡中的一个；所述第二类型虚拟网卡是通过网络规划服务Flannel创建出的虚拟网卡。

本实施例中因为所述数据信息需发往容器集群网络系统外的网元时，所述数据信息中携带有外网网元的IP地址，因此快速的确定所述数据信息为需发往容器集群网络系统外的网元。

下面结合具体实例，对本实施例步骤303中通过所述第一单元具有的第二类型虚拟网卡将所述数据信息发送至隧道装置，以由所述隧道装置对所述数据信息进行处理后发出的过程进行说明。

容器集群网络系统中每个节点都有名字为flannel.x的vxlan设备来完成对于vxlan数据的udp封包与拆包。其中，名字为flannel.x的vxlan设备称为隧道装置。比如图1所示的例子，各节点中都有名字为flannel.1的vxlan设备。

参见图1，待发出的数据信息从pod1的network namespace进入到节点(即pod1的宿主机)的network namespace中。根据该节点的network namespace中的路由表，确定下一跳IP为目标vxlan设备的IP地址，并且由该节点的flannel.1发送。

根据该节点的network namespace中的apr表，查找下一跳IP地址的mac地址。

根据该节点的network namespace中的fbd，查找下一跳IP地址的mac地址对应的转发IP。

节点的flannel.1根据下一跳IP地址的mac地址对应的转发IP地址和本地路由表进行upd封包，其中包括两层封装，具体封装过程可参见现有技术中的相关内容，此次不作赘述。

flannel.1将封装好的数据包发出。

同样的，本实施例提供的技术方案，通过给容器集群网络系统中的单元(Pod)设置两种类型的虚拟网卡，且第一类型虚拟网卡用于收发所述容器集群网络系统外的网元与所述容器集群网络系统内单元间的通信数据；第二类型虚拟网卡用于收发所述容器集群网络系统内两单元间的通信数据；这样，在不需要对容器集群网络进行改动或改动不大的情况下，便能实现容器集群网络系统内单元与外部网元的直接通信连接。总体而言，本申请实施例提供的技术方案因采用虚拟网卡技术，无需增加物理硬件，成本低，灵活度高，且对现有网络侵入小。

图6示出了本申请又一实施例提供的数据处理方法的流程示意图。如图6所示，所述方法包括：

401、为容器集群网络系统中的第一单元配置第一类型虚拟网卡；

402、为所述第一单元配置第二类型虚拟网卡；

403、启动所述第一单元，使得所述第一单元能通过所述第一类型虚拟网卡收发与所述容器集群网络系统外的网元的通信数据，还能通过所述第二类型虚拟网卡收发与所述容器集群网络系统内第二单元间的通信数据；

其中，所述第一单元和所述第二单元上均运行有容器。

本申请实施例提供的所述方法的一种可实现的方案是：利用Multus CNI提供的能力，实现多网卡Pod。具体的，Multus CNI就是多个CNI插件可以同时被使用的意思，相当于在多个CNI插件上面又配置了一层CNI插件，通过配置这层插件，来实现多个底层CNI插件的选择和执行。使用该多个底层CNI插件便可创建出多网卡Pod。

具体实施时，即本实施例提供的所述方法还可包括如下步骤：

404、部署Multus CNI插件，以便于节点上目标单元支持多网卡启动。

该步骤404的具体实现可以是：对Multus CNI插件进行编译，将编译生成的目标文件拷贝到节点的bin目录下，以便调用使得节点上目标单元支持多网卡启动。

或在另一种可实现的技术方案中，上述步骤401和402“为第一单元配置所述第一类型虚拟网卡以及所述第二类型虚拟网卡”可具体为：

4011、对执行第二类型网络配置插件的操作进行拦截；

4012、执行第一类型网络配置插件以为所述第一单元配置所述第一类型虚拟网卡；以及

4013、执行所述第二类型网络配置插件以为所述目标单元配置所述第二类型虚拟网卡。

例如，本实施例中的所述容器集群网络系统可采用覆盖网络(overlaynetwork)作为网络通信方案；相应的上述各步骤中，第二类型网络配置插件可以是Flannel CNI插件。第一类型网络配置插件可以是macvlan CNI插件。

Kubernetes集群通过CNI网络模型来规定集群内网络实现的流程和模式，使用各种网络插件(比如上述的Flannel CNI插件、macvlan CNI插件等)来完成具体的容器网络配置，从而完成集群内部的网络打通，以及集群内单元与外网网元的网络打通。

综合上文中各实施例所描述的内容，本实施例提供的技术方案至少具有如下有益效果：

1、本实施例提供的技术方案中，容器集群网络系统内节点的单元具有两种类型的虚拟网卡后，可通过配置路由实现第一类型虚拟网卡用于收发所述容器集群网络系统外的网元与所述容器集群网络系统内单元间的通信数据；第二类型虚拟网卡用于收发所述容器集群网络系统内两单元间的通信数据；整体实现过程简单、无需增加物理硬件，成本低，灵活度高，且对现有网络侵入小。

2、采用虚拟网卡技术，能够避免对硬件网卡的依赖，增加了灵活性，能够按需创建销毁虚拟网卡，灵活度更高。

3、为容器集群网络系统内单元配置的两种类型的虚拟网卡，比如，通过网络虚拟化技术macvlan将所述物理网卡虚拟出的第一类型虚拟网卡，与节点在同一物理网段，且不要求网段连续，从而避免了IP地址的浪费。

4、容器集群网络系统采用overlay作为网络通信方案，overlay网络本身就是基于物理机网络构架的虚拟机网络，所以对现有网络不需要做任何改动即可实施，实施成本小。

图7示出本申请一实施例提供的数据处理装置的结构示意图。该装置可适用于上述容器集群网络系统中的节点。具体的，数据处理装置包括：接收模块11及路由模块12。其中，所述接收模块11用于接收数据信息。所述路由模块12用于在所述数据信息源自于容器集群网络系统外的网元时，根据所述数据信息携带的第一地址信息，将所述数据信息路由至所述第一地址信息对应的第一类型虚拟网卡，以由具有所述第一类型虚拟网卡的第一单元对所述数据信息进行处理；在所述数据信息源自于所述容器集群网络系统内的第二单元时，根据所述数据信息确定第二地址信息，将所述数据信息路由至所述第二地址信息对应的第二类型虚拟网卡，以由具有所述第二类型虚拟网卡的第一单元对所述数据信息进行处理。其中，所述容器集群网络系统包括所述第一单元及所述第二单元，所述第一单元和所述第二单元上均运行有相应的容器。

进一步的，本实施例提供的数据处理装置还可包括确定模块。该确定模块用于所述数据信息中携带有所述第一类型虚拟网卡的IP地址时，确定所述数据信息源自于所述容器集群网络系统外的网元；识别所述数据信息为虚拟局域网数据包时，确定所述数据信息源自于所述容器集群网络系统内单元。

这里需要说明的是：上述实施例提供的数据处理装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

图8示出了本申请另一实施例提供的一种数据处理装置的结构示意图。本实施例所述的装置适用于上述容器集群网络系统中的节点。具体的，数据处理装置包括：获取模块22及发送模块23。其中，所述获取模块22用于获取所述第一单元产生的数据信息；所述发送模块23用于在所述数据信息需发往容器集群网络系统外的网元时，通过所述第一单元具有的第一类型虚拟网卡将所述数据信息发出；在所述数据信息需发往所述容器集群网络系统内的第二单元时，通过所述第一单元具有的第二类型虚拟网卡将所述数据信息发送至隧道装置，以由所述隧道装置对所述数据信息进行处理后发出。其中，所述容器集群网络系统包括所述第一单元及所述第二单元，所述第一单元和所述第二单元上均运行有相应的容器。

进一步的，本实施例提供的数据处理装置中，所述第一类型虚拟网卡是将物理网卡虚拟出的多个第一类型虚拟网卡中的一个；例如，所述第一类型虚拟网卡是通过网络虚拟化技术macvlan将物理网卡虚拟出的。所述第二类型虚拟网卡是通过网络规划服务(Flannel)创建出的虚拟网卡。

这里需要说明的是：上述实施例提供的数据处理装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

图9示出了本申请又一实施例提供的一种数据处理装置的结构示意图。同样的，本实施例所述的装置适用于上述容器集群网络系统中的节点。具体的，所述数据处理装置包括配置模块31及启动模块32。其中，所述配置模块31用于为容器集群网络系统中的第一单元配置第一类型虚拟网卡；为所述第一单元配置第二类型虚拟网卡。所述启动模块32用于启动所述第一单元，使得所述第一单元能通过所述第一类型虚拟网卡收发与所述容器集群网络系统外的网元的通信数据，还能通过所述第二类型虚拟网卡收发与所述容器集群网络系统内第二单元间的通信数据；其中，所述第一单元和所述第二单元上均运行有容器。

进一步的，所述配置模块在为第一单元配置所述第一类型虚拟网卡以及所述第二类型虚拟网卡时，可用于：

对执行第二类型网络配置插件的操作进行拦截；执行第一类型网络配置插件以为所述第一单元配置所述第一类型虚拟网卡；以及执行所述第二类型网络配置插件以为所述目标单元配置所述第二类型虚拟网卡。

更具体的，本实施例中所述容器集群网络系统可采用覆盖网络(overlaynetwork)作为网络通信方案。相应的，上述第二类型网络配置插件可为Flannel CNI插件。所述配置模块具体用于：

对执行Flannel CNI插件的操作进行拦截；执行macvlan CNI插件以为所述第一单元配置所述第一类型虚拟网卡，以及执行所述Flannel CNI插件以为所述目标单元配置所述第二类型虚拟网卡。

这里需要说明的是：上述实施例提供的数据处理装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

本申请还提供了一种集群内的节点设备。如图10所示，所述节点设备包括存储器41及处理器42；其中，

所述存储器41，用于所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器42加载并执行以用于：

接收数据信息；

所述数据信息源自于容器集群网络系统外的网元时，根据所述数据信息携带的第一地址信息，将所述数据信息路由至所述第一地址信息对应的第一类型虚拟网卡，以由具有所述第一类型虚拟网卡的第一单元对所述数据信息进行处理；

所述数据信息源自于所述容器集群网络系统内的第二单元时，根据所述数据信息确定第二地址信息，将所述数据信息路由至所述第二地址信息对应的第二类型虚拟网卡，以由具有所述第二类型虚拟网卡的第一单元对所述数据信息进行处理；

其中，所述容器集群网络系统包括所述第一单元及所述第二单元，所述第一单元和所述第二单元上均运行有相应的容器。

上述存储器41可被配置为存储其它各种数据以支持在节点设备上的操作。这些数据的示例包括用于在的节点设备上操作的任何应用程序或方法的指令。存储器41可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

上述处理器42在执行存储器41中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。

进一步，如图10所示，节点设备还包括：通信组件43、显示器44、电源组件45、音频组件46等其它组件。图10中仅示意性给出部分组件，并不意味着节点设备只包括图6所示组件。具体实施时，本实施例提供的所述节点设备可以是分布式数据库系统中的服务器，更具体的可以是分区服务器集群中的一分区服务器，该服务器可以是实体服务器、也可以是虚拟服务器，本实施例对此不作具体限定。

本申请又一个实施例提供一种节点设备，该节点设备的结构同图10。具体的，所述节点设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行，以用于：

获取所述第一单元产生的数据信息；

所述数据信息需发往容器集群网络系统外的网元时，通过所述第一单元具有的第一类型虚拟网卡将所述数据信息发出；

所述数据信息需发往所述容器集群网络系统内的第二单元时，通过所述第一单元具有的第二类型虚拟网卡将所述数据信息发送至隧道装置，以由所述隧道装置对所述数据信息进行处理后发出；

其中，所述容器集群网络系统包括所述第一单元及所述第二单元，所述第一单元和所述第二单元上均运行有相应的容器。

上述处理器在执行存储中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。

本申请又一个实施例提供一种节点设备，该节点设备的结构同图10。具体的，所述节点设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行，以用于：

为容器集群网络系统中的第一单元配置第一类型虚拟网卡；

为所述第一单元配置第二类型虚拟网卡；

启动所述第一单元，使得所述第一单元能通过所述第一类型虚拟网卡收发与所述容器集群网络系统外的网元的通信数据，还能通过所述第二类型虚拟网卡收发与所述容器集群网络系统内第二单元间的通信数据；

其中，所述第一单元和所述第二单元上均运行有容器。

相应的，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的数据处理方法的步骤或功能。

本申请实施例还提供一种计算机程序产品。该计算机程序产品包括计算机程序或指令。当计算机程序或指令被处理器执行时，致使处理器能够实现上述各实施例提供的数据处理方法的步骤或功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种容器集群网络系统，包括至少一个节点，所述节点上部署有多个运行有容器的单元Pod；

所述节点上的单元设有多个虚拟网卡，所述多个虚拟网卡包括两种类型；其中，第一类型虚拟网卡用于收发所述容器集群网络系统外的网元与所述容器集群网络系统内单元间的通信数据；第二类型虚拟网卡用于收发所述容器集群网络系统内两单元间的通信数据；

所述容器集群网络系统外的网元能通过所述第一类型虚拟网卡与所述容器集群网络系统内的单元通信。

2.根据权利要求1所述的容器集群网络系统，其特征在于，所述节点上设有物理网卡；

所述节点，用于将所述物理网卡虚拟出多个所述第一类型虚拟网卡；分别为所述节点上的所述多个单元配置相应的第一类型虚拟网卡。

3.根据权利要求2所述的容器集群网络系统，其特征在于，

所述节点，用于在为其上目标单元配置网络时，对执行第二类型网络配置插件的操作进行拦截；执行第二类型网络配置插件以为所述目标单元配置所述第一类型虚拟网卡；执行所述第二类型网络配置插件以为所述目标单元配置所述第二类型虚拟网卡。

4.根据权利要求1至3中任一项所述的系统，其特征在于，

所述节点，用于接收数据信息；所述数据信息源自于所述容器集群网络系统外的网元时，根据所述数据信息携带的第一地址信息，将所述数据信息路由至所述第一地址信息对应的第一类型虚拟网卡，以由具有所述第一类型虚拟网卡的第一单元对所述数据信息进行处理；所述数据信息源自于所述容器集群网络系统内的第二单元时，根据所述数据信息确定第二地址信息，将所述数据信息路由至所述第二地址信息对应的第二类型虚拟网卡，以由具有所述第二类型虚拟网卡的第一单元对所述数据信息进行处理。

5.根据权利要求1至3中任一项所述的系统，其特征在于，

所述节点还用于：获取所述第一单元产生的数据信息；所述数据信息需发往容器集群网络系统外的网元时，通过所述第一单元具有的第一类型虚拟网卡将所述数据信息发出；所述数据信息需发往所述容器集群网络系统内的第二单元时，通过所述第一单元具有的第二类型虚拟网卡将所述数据信息发送至隧道装置，以由所述隧道装置对所述数据信息进行处理后发出。

6.一种数据处理方法，包括：

接收数据信息；

所述数据信息源自于容器集群网络系统外的网元时，根据所述数据信息携带的第一地址信息，将所述数据信息路由至所述第一地址信息对应的第一类型虚拟网卡，以由具有所述第一类型虚拟网卡的第一单元对所述数据信息进行处理；

所述数据信息源自于所述容器集群网络系统内的第二单元时，根据所述数据信息确定第二地址信息，将所述数据信息路由至所述第二地址信息对应的第二类型虚拟网卡，以由具有所述第二类型虚拟网卡的第一单元对所述数据信息进行处理；

其中，所述容器集群网络系统包括所述第一单元及所述第二单元，所述第一单元和所述第二单元上均运行有相应的容器。

7.根据权利要求6所述的方法，还包括：

所述数据信息中携带有所述第一类型虚拟网卡的IP地址时，确定所述数据信息源自于所述容器集群网络系统外的网元；

识别所述数据信息为虚拟局域网数据包时，确定所述数据信息源自于所述容器集群网络系统内单元。

8.一种数据处理方法，包括：

获取第一单元产生的数据信息；

所述数据信息需发往容器集群网络系统外的网元时，通过所述第一单元具有的第一类型虚拟网卡将所述数据信息发出；

所述数据信息需发往所述容器集群网络系统内的第二单元时，通过所述第一单元具有的第二类型虚拟网卡将所述数据信息发送至隧道装置，以由所述隧道装置对所述数据信息进行处理后发出；

其中，所述容器集群网络系统包括所述第一单元及所述第二单元，所述第一单元和所述第二单元上均运行有相应的容器。

9.根据权利要求8所述的方法，所述第一类型虚拟网卡是通过网络虚拟化技术将物理网卡虚拟出的多个第一类型虚拟网卡中的一个；

所述第二类型虚拟网卡是通过网络规划服务创建出的虚拟网卡。

10.一种数据处理方法，包括：

为容器集群网络系统中的第一单元配置第一类型虚拟网卡；

为所述第一单元配置第二类型虚拟网卡；

启动所述第一单元，使得所述第一单元能通过所述第一类型虚拟网卡收发与所述容器集群网络系统外的网元的通信数据，还能通过所述第二类型虚拟网卡收发与所述容器集群网络系统内第二单元间的通信数据；

其中，所述第一单元和所述第二单元上均运行有容器。

11.根据权利要求10所述的方法，为第一单元配置所述第一类型虚拟网卡以及所述第二类型虚拟网卡，包括：

对执行第二类型网络配置插件的操作进行拦截；

执行第二类型网络配置插件以为所述第一单元配置所述第一类型虚拟网卡；以及

执行所述第二类型网络配置插件以为所述目标单元配置所述第二类型虚拟网卡。

12.一种集群内的节点设备，其特征在于，包括存储器及处理器；其中，

所述存储器，用于所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现权利要求6和7中任一项，或是权利要求8和9中任一项，或是权利要求10和11中任一项所述的数据处理方法中的步骤。

13.一种计算机程序产品，包括计算机程序或指令，当所述计算机程序或指令被处理器执行时，致使所述处理器能够实现权利要求6和7中任一项，或是权利要求8和9中任一项，或是权利要求10和11中任一项所述的数据处理方法中的步骤。

Images