[go: up one dir, main page]

WO2014208538A1 - 通信システムと装置と方法とプログラム - Google Patents

通信システムと装置と方法とプログラム Download PDF

Info

Publication number
WO2014208538A1
WO2014208538A1 PCT/JP2014/066668 JP2014066668W WO2014208538A1 WO 2014208538 A1 WO2014208538 A1 WO 2014208538A1 JP 2014066668 W JP2014066668 W JP 2014066668W WO 2014208538 A1 WO2014208538 A1 WO 2014208538A1
Authority
WO
WIPO (PCT)
Prior art keywords
packet
communication
network
switch
virtual machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/066668
Other languages
English (en)
French (fr)
Inventor
勇人 逸身
靖伸 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2015524056A priority Critical patent/JPWO2014208538A1/ja
Priority to US14/900,097 priority patent/US20160142474A1/en
Priority to EP14817170.5A priority patent/EP3016321A4/en
Publication of WO2014208538A1 publication Critical patent/WO2014208538A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4604—LAN interconnection over a backbone network, e.g. Internet, Frame Relay
    • H04L12/462—LAN interconnection over a bridge based backbone
    • H04L12/4625—Single bridge functionality, e.g. connection of two networks over a single bridge
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/16—Multipoint routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/24—Multipath
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/58—Association of routers
    • H04L45/586—Association of routers of virtual routers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/64—Routing or path finding of packets in data switching networks using an overlay routing layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H04L45/745—Address table lookup; Address filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1017—Server selection for load balancing based on a round robin mechanism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/563—Data redirection of data network streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Definitions

  • the present invention is based on the priority claim of Japanese patent application: Japanese Patent Application No. 2013-133050 (filed on June 25, 2013), the entire contents of which are incorporated herein by reference. Shall.
  • the present invention relates to a communication system, an apparatus, a method, and a program.
  • Various appliances included in the network of telecommunications carriers such as MME (Mobility Management Entity), S-GW (Serving-Gateway), P-GW (Packet Data Network-Gateway), router, large scale NAT (LSN: Large Scale Network address translation), HLR (Home Location Register), RNC (Radio Netwok Controller) / eNodeB, firewall, authentication server, and the like are each configured with dedicated devices.
  • MME Mobility Management Entity
  • S-GW Server-Gateway
  • P-GW Packet Data Network-Gateway
  • router large scale NAT (LSN: Large Scale Network address translation)
  • HLR Home Location Register
  • RNC Radio Netwok Controller
  • NFV aims to reduce equipment costs and operational costs by implementing network devices, etc., mounted on these dedicated devices, for example, with server virtualization technology using a general-purpose server. Moreover, it is possible to improve fault tolerance by adding resources to an increase in communication load such as a control signal.
  • FIG. 1 is a diagram schematically illustrating a carrier network (carrier network). Since this provider network is also an example of a network to which an embodiment described later is applied, its related technology will be described.
  • FIG. 1 schematically shows an example of connection by PPPoE (Point to Point Protocol over Ethernet (registered trademark)).
  • PPPoE Point to Point Protocol over Ethernet
  • Non-Patent Document 1 is referred to.
  • the terminals 11 1 to 11 n in the subscriber premises 1 are connected to a DSLAM (Digital Subscriber Line Access Multiplexer) 21 in the station building via a router 10, an ADSL (Asymmetric Digital Subscriber Line) modem 12, and an ADSL line 15.
  • a BAS (Broadband Access Server) 20 is an access server having a router function, and performs switching of the provider 30 and bandwidth management in accordance with connection authentication from the user and a provider identifier.
  • the DSLAM 21 is a layer 2 (L2) concentrator that bundles a plurality of ADSL lines into one.
  • L2 layer 2
  • the BAS may be a BRAS (Broadband Remote Access Server).
  • BRAS Broadband Remote Access Server
  • FTTH Fiber To The Home
  • a modem is not required and the router is a FTTH router.
  • the router 10 in the subscriber premises and the access server BAS 20 are bridge-connected to perform PPP (Point-to-Point-Protocol) connection.
  • the BAS 20 recognizes which provider (ISP: InternetIService Provider) is connected to, for example, a user account of “user ID @ provider identifier”, authenticates the user, and transfers user data to a connection point with the provider.
  • ISP InternetIService Provider
  • From the router 10 to the DSLAM 21 is tunneled by PPPoE, and between the DSLAM 21 and the BAS 20 is tunneled by L2TP (Layer 2 Tunneling Protocol).
  • L2TP Layer 2 Tunneling Protocol
  • FIG. 2 is a diagram for explaining the sequence operation of the PPPoE discovery stage.
  • the PPPoE session is started by transmitting a PADI (PPPoE Active Discovery Initiation) packet from the router side which is a PPPoE client.
  • the PADI packet is a broadcast packet whose destination MAC address (48 bits) is all 1 as exemplified in the header format in FIG.
  • the BAS When the BAS receives a serviceable PADI, the BAS returns a response packet PADO (PPPoE Active Discovery Offer) to the router (10 in Fig. 1) that is the host that sent the PADI.
  • PADO PPPoE Active Discovery Offer
  • the router transmits a PADR (PPPoE Active Discovery Request) by unicast to the BAS that is the source of the received PADO, and then starts a session with the BAS that sent the PADR.
  • PADR PPPoE Active Discovery Request
  • network appliance virtualization is realized by mounting a network appliance of a communication carrier on a virtual machine on a virtualization platform of a general-purpose server.
  • FIG. 3 is a diagram illustrating a configuration (prototype) obtained by virtualizing BRAS / BAS, for example.
  • the BRAS function (BRAS 1 , 2 , 3 ) is realized by software operating on virtual machines (VMs) 230 1 , 230 2 , 230 3 on the virtualization infrastructure of the server.
  • VMs virtual machines
  • BRAS / BAS when BRAS / BAS is virtualized, a general-purpose device (virtual machine on a general-purpose server) is used instead of a dedicated device that executes only the BRAS / BAS function. Compared with the case of using, the processing performance of BRAS / BAS is lowered.
  • BRAS / BAS when BRAS / BAS is virtualized, it is necessary to distribute the load of the number of sessions (number of clients) accommodated by each BRAS / BAS in consideration of the processing performance of BRAS / BAS.
  • a session is established by a broadcast packet called PADI. That is, when a client sends PADI and a plurality of BRAS / BAS responds, the client selects one of them and establishes a session.
  • an object of the present invention is to provide a system, apparatus, method, and program that enable load distribution over the entire network system.
  • a communication control apparatus in a communication system in which a virtual machine executes a communication function of a hardware device used in a communication network, the communication function and the communication function.
  • a first means for selecting, from a plurality of the virtual machines, transfer destinations of packets to be transferred toward a plurality of paths to establish a session; and a second means for transferring the packets to the selected virtual machines A communication control device is provided.
  • viewpoint 2 there is a communication control method in a communication system in which a virtual machine executes a communication function of a hardware device used in a communication network, and a plurality of methods are used to establish a communication session with the communication function. There is provided a communication control method for selecting a transfer destination of a packet to be transferred toward the path from a plurality of the virtual machines and transferring the packets to the selected virtual machine.
  • a communication control device in a communication system in which a virtual machine executes a communication function of a hardware device used in a communication network, a plurality of communication functions and a communication session are established in order to establish a communication session.
  • a communication control program for executing a process of selecting a transfer destination of a packet transferred toward a path from a plurality of the virtual machines and a process of transferring the packets to the selected virtual machine.
  • a computer-readable medium semiconductor memory, magnetic / optical disk, etc. on which the program of viewpoint 3 is recorded is provided.
  • a communication control device of a communication system in which a virtual machine executes a communication function of a hardware device used in a communication network, and a plurality of paths are established to establish a communication session with the communication function.
  • a communication control device is provided.
  • a communication device in a communication system in which a virtual machine executes a communication function of a hardware device used in a communication network, and is directed to a plurality of paths in order to establish a communication session with the communication function
  • a communication apparatus comprising: means for identifying the packets transferred in the above; and means for aggregating the identified packets in an apparatus for forwarding the packets to a virtual machine selected from a plurality of the virtual machines.
  • an information processing apparatus in which a virtual machine that executes a communication function of a hardware device used in a communication network is arranged, and means for operating a virtual switch having a network switch function And the virtual switch has transfer means for transferring a packet transferred toward a plurality of paths to establish a communication session with the communication function to a virtual machine selected from the plurality of virtual machines.
  • a processing device is provided.
  • At least one forwarding destination is selected for the packet, and the packet is forwarded to the selected forwarding destination.
  • a communication system (method, program) provided with means (process, process) is provided.
  • FIG. 1 It is a schematic diagram which illustrates a PPPoE connection. It is a figure explaining a PPPoE discovery stage. It is a figure explaining a prototype example. It is a figure explaining embodiment. It is a figure which illustrates virtualization of the network function in Embodiment 1 of this invention. It is a figure which illustrates the structure of OFC of Embodiment 1 of this invention. It is explanatory drawing which illustrates typically operation
  • Embodiment 6 of this invention typically. It is a figure which illustrates the structure of OFC of Embodiment 6 of this invention. It is a figure which illustrates the sequence operation
  • a communication control apparatus (500) in a communication system in which a virtual machine executes a communication function of a hardware device used in a communication network includes the communication function and In order to establish a communication session, a transfer destination of a packet (503) transferred toward a plurality of paths (504 1 to 504 n , where n is a predetermined positive integer of 2 or more) is set as a plurality of virtual machines ( VM: 505 1 to 505 n ), and a second means (502) for transferring the packet (503) to the selected virtual machine (VM).
  • the first means (501) may select a transfer destination of the packets collected in the communication control device (500) from a plurality of the virtual machines.
  • the first means (501 or corresponding to, for example, the OFC 200 in FIG. 5) is a network switch (not shown in FIG. 30, for example, FIG. 5) having a function of consolidating the packets (503) in the communication control device (500).
  • the OVS 220 may receive the packet, and a transfer destination of the received packet may be selected from the plurality of virtual machines.
  • the first means (501) may select the packet transfer destination so that the packet transfer destination is distributed among the plurality of virtual machines.
  • the first means (501) may select a transfer destination of the packet according to an operation state of the plurality of virtual machines.
  • the first means (501) receives the packet from a network switch (not shown in FIG. 30, for example, OVS 220 in FIG. 5) that operates in response to an instruction from the communication control device (500).
  • a packet transfer destination may be selected from a plurality of virtual machines.
  • the first means (501) receives an instruction request regarding the packet from the network switch (for example, the OVS 220 in FIG. 5), and receives the request. Accordingly, the transfer destination of the packet may be selected from a plurality of the virtual machines.
  • the first means (501) receives the packet transferred from the network switch according to an instruction from the communication control device (500), and selects a transfer destination of the packet from a plurality of virtual switches. It may be.
  • a communication control device (600) of a communication system in which a virtual machine executes a communication function of a hardware device used in a communication network is communicated with the communication function.
  • a transfer destination of a packet (603) transferred toward a plurality of paths (605 1 to 605 n , where n is a predetermined positive integer equal to or greater than 2) is defined as a plurality of virtual machines (VM : 606 1 to 606 n ) and a second means for instructing the network switch (604) to transfer the packet (603) to the selected virtual machine (VM) Means (602).
  • a communication device in a communication system in which a virtual machine executes a communication function of a hardware device used in a communication network has a plurality of paths for establishing a communication session with the communication function. And means for aggregating the identified packets in a device for transferring the packets to a selected virtual machine from a plurality of virtual machines.
  • At least one packet forwarded to a plurality of routes (route 1 to route n, where n is a predetermined positive integer equal to or greater than 2) is provided.
  • means for narrowing down transfer destinations selecting at least one transfer destination (path m, 1 ⁇ m ⁇ n) for the packet and selectively transferring the packet to the selected transfer destination (700).
  • an information processing apparatus in which a virtual machine that executes a communication function of a hardware device used in a communication network is arranged has a function of a network switch.
  • the transfer means of the virtual switch (for example, 220 in FIG. 5) transfers the packet transferred toward a plurality of paths to establish a communication session with the communication function to a communication control unit (200 in FIG. 5). Then, the packet is transferred to the virtual machine selected by the communication control unit (200 in FIG. 5).
  • the means for narrowing down forwarding destinations aggregates packets broadcast on the network, and unicasts the packets to the selected forwarding destination. You may make it include the node (26 of FIG. 4) transferred by the cast.
  • the control device receives a notification (402 in FIG. 25) from a switch that has received a packet forwarded toward a plurality of routes, and among the plurality of switches, And means (401 in FIG. 25) for selecting at least one port (PORT) for transferring the packet of the predetermined format or a switch (SW) corresponding to the port.
  • PORT port
  • SW switch
  • the switch (OVS in FIG. 5, OFS in FIG. 18) is input according to the processing rules set by the control device (OFC in FIG. 5, OFC in FIG. 18). Packet transfer is processed, and the control device (OFC in FIG. 5, OFC in FIG. 18) sets the processing rule relating to packet transfer in the switch.
  • the switch includes a line concentrator (DSLAM in FIG. 11) that collects a plurality of lines, and the line concentrator controls the switch controlled by the controller (27 in FIG. 11). And the packet may be transferred to the selected transfer destination. Or it is good also as a structure provided with the load distribution apparatus (LB of FIG. 13) which determines the transfer destination of the said packet.
  • DSLAM line concentrator
  • LB load distribution apparatus
  • a line concentrator DSLAM in FIGS. 15 and 17
  • LB load balancer
  • the control device (OFC in FIG. 18) is connected to a plurality of the switches (OFS1, OFS2, OFS3 in FIG. 18), and the plurality of switches are connected to the control device (OFC in FIG. 18) when receiving a broadcast packet. On the other hand, broadcast packet reception is notified.
  • the control device (OFC in FIG. 18) may start a timer when it first receives a broadcast packet reception notification from the switch, and may select at least one port or switch when a timeout occurs.
  • each of the plurality of switches (FIG. 5 OVS1, OVS2, OVS3) is connected to one or a plurality of network function units (VM11 to VM13, VM21 to VM23, VM31 to VM33), and the control device (FIG. 5).
  • OFC is connected to a plurality of network function units (VM11 to VM13, VM21 to VM23, VM31 to VM33) connected to a plurality of the switches (OVS1, OVS2 and OVS3 in FIG.
  • broadcast packets from the switches A port that receives a notification of reception selects at least one of the network function units based on loads of the plurality of network function units (VM11 to VM13, VM21 to VM23, VM31 to VM33), and connects to the selected network function unit For a switch having And it instructs the forwarding of the broadcast packet from.
  • the network function units (VM11 to VM13, VM21 to VM23, VM31 to VM33) are virtual machines virtualized on a server virtual infrastructure (VMM).
  • VMM server virtual infrastructure
  • a switch when receiving a packet in a transfer format (for example, a broadcast packet) in which the same packet is transferred to a plurality of destinations, a switch (OFS1 in FIG. 18) that notifies the control device is received.
  • a switch that notifies the control device is received.
  • SW1 to SW3 in FIG. 24 are arranged at the boundary between the network (31 in FIG. 18 and 41 in FIG. 24) and other networks (32 in FIG. 18 and 42 in FIG. 24) formed by the switch. ing.
  • This configuration enables load distribution across the entire network system. Next, an embodiment will be described.
  • OpenFlow As a technology for realizing SDN (Software Defined Network), for example, “OpenFlow” that allows a controller that performs centralized management to perform flow control and the like by issuing instructions to devices such as switches as software. It has been known.
  • communication is routed to an end-to-end flow entry base (a flow is defined by a combination of an input port, a MAC (Media Access Control) address, an IP (Internet Protocol) address, a port number, etc.), Perform disaster recovery, load balancing, and optimization.
  • the OpenFlow switch (abbreviated as “OFS”) is equipped with a secure channel for communication with the OpenFlow controller (abbreviated as “OFC”) corresponding to the control device and added from the OFC. Or it operates according to a flow table instructed to rewrite as appropriate.
  • OFC OpenFlow controller
  • the OFS flow table includes a matching rule (matching field: Match field) (header field) that matches the header of the received packet for each flow, and an action (Actions) that defines the processing content.
  • Match field head field
  • action A set with flow statistics information (Counters) is defined for each flow.
  • the matching rule uses an exact value (exact) and a wild card (wild card).
  • Actions are actions applied to packets that match the rule.
  • the flow statistics information is also called an activity counter.
  • Reception byte transmission byte
  • reception drop transmission drop
  • reception error transmission error
  • reception frame alignment error reception overrun error
  • reception CRC Cyclic Redundancy Check
  • a predetermined field of the packet header is used for matching (matching) with the rule of the OFS flow table.
  • the match target information in the header is, for example, as shown in FIG. Destination MAC (Media Access Control) address (MAC DA (Destination Address): 48 bits), source MAC address (MAC SA (Source Address): 48 bits), Ethernet (registered trademark) type (TPID), VLAN ID (Virtual LAN (Local Area Network) ID), VLAN TYPE (priority), IP source address (IP SA (32 bits), IP destination address (IP DA (32 bits)), IP protocol, source port (Source Port: TCP (Transmission Control Protocol) / UDP (User Datagram Protocol) or ICMP (Internet Control Message Protocol) Type), destination port (Destination port: TCP / UDP destination port or ICMP Code)), and the like.
  • the OFS When the OFS receives the packet, the OFS searches the flow table for an entry having a matching rule that matches the header information of the received packet. When an entry that matches the received packet is found as a result of the search, the OFS updates the flow statistical information (counter) and processes the received packet from the processing contents (from the specified port) described in the action field of the entry. Packet transmission, flooding, discarding, etc.). On the other hand, if no entry matching the received packet is found as a result of the search, the OFS forwards the received packet to the OFC via the secure channel, and a packet based on the source / destination of the received packet. Requesting the determination of the route, and receiving a flow entry that realizes this, updates the flow table.
  • a transfer unit may be referred to as a “packet” without particularly distinguishing a frame that is a PDU (Protocol Data Unit) in the L2 layer and a packet that is a transfer unit in the L3 layer.
  • PDU Protocol Data Unit
  • FIG. 4 is a diagram illustrating the configuration of the first embodiment of the present invention.
  • FIG. 4 is a diagram showing an example in which the technical idea of the present invention is applied to the prototype example of FIG.
  • the switches (edge switches) 23 1 to 23 2 each aggregate broadcast packets (PADI packets described above) from the client 1 into a predetermined aggregation node 26.
  • the aggregation node 26 determines at least one transfer destination of the broadcast packet and performs unicast transmission to the determined transfer destination.
  • the virtual destinations of the broadcast packets (PADI packets) are distributed so that the load of the virtual machines (VM) 230 1 to 230 3 (for example, the load of the VM that realizes the BRAS function) is distributed. Determine the machine (VM).
  • the transfer destination of the broadcast packet is sequentially assigned to the virtual machines (VM) 230 1 to 230 3 in a round-robin manner, or the load state of the virtual machines (VM) 230 1 to 230 3 ( For example, a low-load virtual machine (VM) may be selected based on acquisition management by polling or the like.
  • a broadcast packet PADI packet
  • the present invention is not limited to this, and a plurality of communication functions such as BRAS / BAS and a communication session may be established in order to establish a communication session. It may be a packet transferred toward the route. For example, it may not be a broadcast packet and may be a multicast packet.
  • FIG. 5 is a diagram illustrating a configuration in which a BRAS function is virtualized as a specific configuration example of FIG. At least the BRAS function is realized as a virtual machine (VM) 230 implemented on a virtual machine monitor (VMM) such as a hypervisor of the server 250.
  • FIG. 5 shows a configuration example when the above-described OpenFlow is applied.
  • the OFS function (Functions) is virtualized on, for example, the server 250 as a virtual switch (OVS) 220 virtualized by software or the like, and is implemented on the VMM.
  • An L2 network 2A including an L2 (Layer 2) switch (L2SW) is a network (a part of the business network 2 in FIG. 1) constituting a business IP (Internet protocol) network.
  • the core network 22 is, for example, an IMS (Internet Multimedia System) core network (or may be an EPC (Evolved Packet Core) / LTE (Long Term Evolution) core network).
  • the server 250 includes a control unit 240.
  • the control unit 240 is a VMM such as a hypervisor as described above. It has a function of operating the VM 230 and the OVS 220 that is a virtual switch.
  • the control unit 240 is configured with a hypervisor, access to hardware resources, such as network access from the virtual machine VM 230 and the OVS 220, is performed via the hypervisor (that is, corresponding via the hypervisor).
  • FIG. 5 it is assumed that the OVS 220 and the like are directly connected to the L2 network 2A and the like, not via the hypervisor (control unit 240), in FIG. It is shown in the figure.
  • the OFC 200 corresponds to the aggregation node 26 in FIG. 4 and controls the OVS 220 and the VM 230.
  • the virtual switch (OVS) 220 aggregates the PADI packets in the OFC 200 using the OpenFlow protocol Packet_In message.
  • the OFC 200 determines the virtual machine (VM) to which the PADI packet is transferred, transmits a Packet_Out message to the virtual switch (OVS) 220, and instructs the transfer of the PADI packet.
  • VM virtual machine
  • PADI packets are aggregated into an OFC using the OpenFlow protocol.
  • PADI packets are aggregated into the OFC using a Packet_In message of the OpenFlow protocol. Therefore, the client (host) can transmit it in the format defined by the current PPPoE protocol without changing the destination of the PADI packet.
  • PADI packets can be aggregated without changing the PPPoE protocol. Therefore, since the transfer destination of the aggregated PADI packet can be determined in the OFC, as a result, the load distribution of the BRAS by the OFC becomes possible.
  • each of the virtual machines VM11 to VM13 is connected to a port (not shown) of OVS1, and inputs a packet transferred from a corresponding output port (not shown) of OVS1.
  • An output packet from each of the virtual machines VM11 to VM13 is input to a corresponding input port (not shown) of the OVS1.
  • Each of the virtual machines VM21 to VM23 is connected to a port (not shown) of the OVS2, and a transfer packet is input from a corresponding output port (not shown) of the OVS2, and an output packet from each of the virtual machines VM21 to VM23 is , And input to a corresponding input port (not shown) of OVS2.
  • each of the virtual machines VM31 to VM33 is connected to a port (not shown) of the OVS3, receives a transfer packet from a corresponding output port (not shown) of the OVS3, and receives from each of the virtual machines VM31 to VM33.
  • the output packet is input to a corresponding input port (not shown) of the OVS 3.
  • the virtual machines VM11 to VM33 and OVS1 to OVS3 are virtualized on a VMM (control unit 240) such as a hypervisor on one server.
  • VMM control unit 240
  • the virtual machines VM11 to VM13 and OVS1 are virtualized on a VMM such as a hypervisor on one server, and the virtual machines VM21 to VM23 and OVS2 are virtualized on a VMM of another server,
  • the VM 31 to VM 33 and OVS 3 may be virtualized on the VMM of another one server.
  • OVS 1 to OVS 3 are connected to the OFC 200 by the control plane 222.
  • the OVS1 to OVS3 are connected to the L2 switch (L2SW) of the L2 network 2A constituting the carrier IP network by the data plane 221.
  • the OFC 200 is connected to the virtual machines (VM11 to VM33) via the management plane 233.
  • SDN networking functions are separated in units called “planes” abstracted by software.
  • a control plane that dynamically sets and manages a network topology, a forwarding plane that transfers packets, and network equipment
  • a management plane for managing, a service plane for managing network services, and the like are included.
  • FIG. 6 is a diagram illustrating an example of the configuration of the OFC 200 in FIG.
  • the OFC 200 includes a flow entry creation unit 201, a route calculation unit 202, a message transmission unit 203, a packet-in identification unit 204, a broadcast packet detection unit 205, a timer 206, and a VM load information acquisition command.
  • a topology information storage unit 213 for storing and managing the topology information and a user information storage unit 214 for storing user information (for example, information on the subscriber terminals 11 1 to 11 n in FIG. 1) are provided.
  • Each of these units 201 to 212 may realize its function by a program executed by a computer constituting the OFC 200.
  • the Packet-In identifying unit 204 identifies the Packet-In message sent from the OVS (220 in FIG. 5) via the secure channel. When the Packet-In identifying unit 204 detects a Packet-In message, it notifies the route calculating unit 202 and the like in order to calculate the packet transfer route of the received packet.
  • the broadcast packet detection unit 205 determines whether the packet received by the OVS that transmitted the Packet-In message is a PADI packet from the message identified as the Packet-In by the Packet-In identification unit 204 (PADI packet reception Existence) is determined.
  • FIG. 27 shows an example of the packet format of the PADI packet (see Non-Patent Document 1 for details).
  • the VER field (V) is 4 bits long and 0x1 in the PPPoE version
  • the TYPE field (T) is 4 bits long and 0x1 in the PPPoE version
  • the CODE field is 8 bits long and is defined for discovery and PPP session stages.
  • the SESSION_ID field is 16 bits long and is represented by an unsigned value
  • the LENGTH field is 16 bits long, the length of the PPPoE payload, -TAG_TYPE is a 16-bit long field and describes TAG_TYPE and TAG_VALUE.
  • TAG_LENGTH is a 16-bit long field.
  • the broadcast packet detection unit 205 detects that the Packet-In message notifies the reception of the PADI packet in OVS, the timer 206 starts timing and a timeout occurs. Until the notification of reception of the PADI packet from another OVS.
  • the broadcast packet detection unit 205 determines whether the notification of the first PADI packet reception is made based on whether the timer 206 is counting or is stopped (the operation state of the timer 205). Can do. An operation flag (not shown) (for example, 1 bit) is turned on while the timer 205 is counting, and an operation flag (not shown) is turned off while the timer 205 is stopped.
  • OVSs also receive notifications of PADI packets broadcast via the L2 network 2A from the same source (router of client 1) as the OVS that first notified the reception of PADI packets to the OFC 200 using a Packet-In message. Against. Even if the broadcast packet detection unit 205 detects the reception of the PADI packet, the broadcast packet detection unit 205 does not start the timer 206 or the like when the timer 206 is measuring time.
  • the VM load information acquisition command transmission unit 207 sends a VM load information acquisition command (message) for acquiring VM load information to the virtual machine (VM). Send.
  • the VM load information acquisition command is transmitted from the management plane 223 to the virtual machine (VM) 230 via the VM communication unit 212.
  • the VM load information acquisition command (message) is transmitted to acquire the latest load of the virtual machine VM when a timer timeout occurs, but the present invention is limited to this configuration. Of course, it is not done.
  • the VM load information acquisition command transmission unit 207 transmits the VM load information acquisition command by periodic polling in advance, or uploads the load information from the VM side to the OFC side periodically.
  • the load information receiving unit 208 may acquire VM load information.
  • the VM load information reception unit 208 receives the load information transmitted from the VM 230 via the VM communication unit 212, and inputs the VM load information to the VM selection unit 209.
  • the VM selection unit 209 selects, for example, a virtual machine (VM) having the smallest load based on the VM load information from the VM communication unit 212, for example.
  • the VM load information may include, for example, the number of processes per unit time (for example, authentication process), the cumulative number of processes per predetermined time, or other statistical information, etc. in the VM constituting the BAS. .
  • the VM selection unit 209 notifies the route calculation unit 202 of information on the selected virtual machine (VM).
  • the path calculation unit 202 identifies the OVS connected to the selected virtual machine (VM) from the topology information storage unit 213, and the message transmission unit 203 sends the packet-out to the OVS via the node communication unit 211.
  • the message is transferred and the transfer of the PADI packet received by the OVS is instructed (transfer destination physical port number).
  • the OVS that has received the Packet-Out message from the OFC 200 outputs the PADI packet from the designated port, and transfers the PADI packet to the selected VM.
  • the Packet-In identifying unit 204 identifies the Packet-In message transmitted from the OVS (220 in FIG. 6) and the broadcast packet detecting unit 205 does not detect the PADI packet (the packet received by the OVS is a PADI packet). If not, the OFC route calculation unit 202 calculates a route, the flow entry creation unit 201 creates a flow entry, and the message transmission unit 203 transmits a Packet-Out message.
  • the broadcast packet detection unit 205 of the OFC 200 receives a packet-in message for notifying the reception of a PADI packet in the OVS from the OVS for the first time, and then receives a predetermined period (that is, a timer). The time until the occurrence of timeout at 206) waits for the arrival of a Packet-In message notifying the reception of PADI from another OVS.
  • a timeout occurs in the timer 206
  • a VM load information acquisition command transmission unit 207 is transmitted to a plurality of virtual machines connected to the OVS that has notified the reception of the PADI packet by the Packet-In message during the time period measured by the timer 206.
  • the VM load acquisition command (Get VM load) is transmitted via the VM communication unit 212 and the management plane 223.
  • a VM load information acquisition command is also transmitted to a virtual machine (VM) connected to an OVS that does not transmit a PADI packet reception notification after the timer 206 starts timing until a timeout occurs. You may do it.
  • the VM load acquisition command (Get VM load) may be multicast on the management plane 223.
  • the timeout time of the timer 206 may be set to a value that considers the maximum delay of broadcast packet transfer in the L2 network 2A or the like.
  • Management of the timer 206 causes the OFC 200 to receive a PADI packet reception notification (Packet-In message) from one OVS and then to wait for a PADI packet reception notification from another OVS indefinitely. An increase in response time is avoided. Further, the OFC 200 can accurately grasp the OVS that has received the PADI packet among the plurality of OVSs.
  • PADI packet reception notification Packet-In message
  • FIG. 7 shows that the PADI packet first arrives from the L2 network 2A to OVS1 in FIG. 5, and is a packet not registered in the flow entry table in OVS1, so OVS1 sends a Packet-In message to OFC200.
  • the state which is present is shown schematically.
  • PADI packets from the L2 network 2A arrive in the order of OVS2 and OVS3, and each of OVS2 and OVS3 transmits a Packet-In message to the OFC 200.
  • the OFC 200 receives a Packet-In message from the OVSs 2 and 3 before the time-out occurs in the timer 206 of FIG. 6, the virtual machines (VM11 to VM13, VM21 to VM23, VM31 to VM33) connected to the OVS1, OVS2, and OVS3, respectively. ), A VM load information acquisition command (Get VM Load) is transmitted.
  • the OFC 200 when the Packet-In message is received from the OVS 2 after the time measurement is started by the timer 206 in FIG. 6 and before the timeout occurs, the OFC 200, as described above, the virtual machine (VM11 to VM13, VMS connected to the OVS 1 and the OVS 2).
  • a VM load information acquisition command (Get VM Load) may be transmitted only to the VMs 21 to 23).
  • the VM selection unit 209 of the OFC based on the VM load information received from the virtual machines (VM11 to VM13, VM21 to VM23), among the virtual machines (VM11 to VM13, VM21 to VM23) has a minimum or equivalent load. Select one of the virtual machines.
  • the VM selection by the VM selection unit 209 takes into account not only the load information but also the capacity (memory, storage) of hardware resources allocated to the virtual machine, the processing performance (allocated CPU), and the like. Of course, it may be determined.
  • FIG. 8 is a diagram illustrating an example of an operation sequence according to the present embodiment.
  • the router, L2NW, OVS1, OVS2, VM1, VM2, OFC are the client (subscriber's) router 10, L2 network 2A, OVS1, OVS2, virtual machines VM11 to VM13 (and the selected one of them) in FIG. It corresponds to the virtual machines VM21 to VM23 and OFC.
  • OVS 3 in FIG. 7 is omitted for convenience of drawing.
  • the numbers of the respective sequences are given. In the following description, the numbers in parentheses at the end of the sentences indicate the numbers of the sequences.
  • the PADI packet is transferred to the L2NW from the router which is a PPPoE client (1).
  • L2NW broadcasts a PADI packet and arrives at OVS1 first (2).
  • the header information of the received PADI packet is checked against the condition of the flow entry in the flow table held by OVS1, and since there is no match, a Packet-In message is transmitted to the OFC (3).
  • the PADI packet arrives at OVS2 after the arrival of the PADI packet at OVS1 (4), and OVS2 compares the header information of the received PADI packet with the condition of the flow entry in the flow table, and there is no match. Therefore, a Packet-In message is transmitted to the OFC (5).
  • the OFC receives the Packet-In message from the OVS 1 and detects that it is receiving a broadcast packet (PADI) (6).
  • the OFC starts timing with a timer (206 in FIG. 6) and waits until a timeout occurs (7). During this wait, the OFC receives the Packet-In message transmitted from the OVS 2 with the sequence number 5.
  • the OFC acquires VM load information when a timeout occurs in the timer (206 in FIG. 6) (after a certain time has elapsed) (8). That is, the OFC transmits a VM load information acquisition command (Get VM Load) to the virtual machines VM1 (VM11 to VM13) and VM2 (VM21 to VM23), respectively (9, 10).
  • the virtual machine that is the destination of the VM load information acquisition command (Get VM Load) sends a PADI reception notification that triggers the start of the timer (206 in FIG. 6) by the broadcast packet detection unit (205 in FIG. 6).
  • the virtual machines VM1 (VM11 to VM13) and VM2 (VM21 to VM23) connected to the OVS1 and the OVS2 that issued the PADI reception notification before the time-out in the timer (206 in FIG. 6) may be limited. .
  • the virtual machine (VM) selection range may be narrowed down by removing virtual machines connected to the OVS that did not receive the PADI reception notification before the timer (206 in FIG. 6) timed out.
  • the virtual machines VM1 (VM11 to VM13) and VM2 (VM21 to VM23) transmit their load information (VM load information) to the OFC (11, 12).
  • the OFC selects a low load VM based on the VM load information from the virtual machines VM1 (VM11 to VM13) and VM2 (VM21 to VM23) (13). In this case, at least one of the virtual machines VM11 to VM13 is selected.
  • the OFC instructs the OVS 1 included in the output port connected to the selected virtual machine VM1 (at least one of the VM11 to VM13) to transfer the PADI packet received by the OVS (14). That is, the OFC transmits a Packet-Out message to the OVS 1 (15). The OVS 1 receives the Packet-Out message and transfers the held PADI packet to the VM selected by the OFC VM selection unit (209 in FIG. 6) of the virtual machines VM11 to VM13 (16).
  • the OFC includes the information of the VM selected by the OFC (the number of the OVS port (output port) connected to the selected VM) in the Packet-Out message, and in the OVS, the VM 11 to the VM 13
  • the PADI packet may be transferred to the VM from the selected output port (selected port) connected to the VM.
  • the OFC instructs the OVS 1 to output from the port corresponding to the VM 12 using the Packet-Out message.
  • the OFC can directly transfer the PADI packet to the selected VM without using the Packet-Out message.
  • the OFC can also set an entry that defines processing for rewriting the destination MAC address of the PADI packet with the destination MAC address of the selected VM in the OVS. For example, when the VM 12 is selected as a transfer destination by the OFC, an entry that defines a process for rewriting the destination MAC address (broadcast address) of the PADI packet with the destination MAC address of the VM 12 is set in the OVS 1.
  • an entry that defines a process for rewriting the destination MAC address (broadcast address) of the PADI packet with the destination MAC address of the VM 12 is set in the OVS 1.
  • the VM that has determined the PADI packet without transmitting the Packet-In again to the OFC 200 Therefore, the communication load on the OFC 200 can be suppressed. Further, in this case, when the function of the VM corresponding to the BRAS is terminated, for example, the OFC 200 deletes the entry set in the corresponding OVS.
  • the sequence after the PADI packet is transmitted to the VM follows the sequence of FIG. 2 described above (however, the OVS that has received the new packet transmits the Packet-In message to the OFC). In response to the Packet-Out message from the OFC, the packet is transferred from the designated output port).
  • the PADO packet (see FIG. 2) of the unicast packet that is a response from the virtual machine VM that has received the PADI packet to the router is transferred from the virtual machine VM to the OVS to which the virtual machine VM is connected in the data plane.
  • a Packet-In message is transmitted to the OFC.
  • the packet transfer path (packet transfer path on the OpenFlow network) of the PADO packet is calculated, and a Packet-Out message is transmitted to the OVS to instruct packet transfer from the designated physical port.
  • the OVS transfers the PADO packet transferred from the virtual machine VM to the L2 network, and is transferred from the L2 network 2A to the router 10 (see FIG.
  • a unicast PADR packet from the router 10 (see FIG. 5) is transferred from the L2 network 2A to the OVS.
  • the OVS that has received the PADR packet transmits a Packet-In message to the OFC.
  • the OFC transmits a Packet-Out message to the OVS, and the OVS transmits the PADR packet to the virtual machine VM that is the transmission source of the PADO packet.
  • the virtual machine VM that has received the PADR packet issues a session ID and transmits a PADS packet including the session ID to the OVS to which the VM is connected.
  • a Packet-In message is transmitted to the OFC.
  • the packet transfer path of the PADS packet is calculated, and a packet-out message is transmitted to the OVS to instruct packet transfer from the designated physical port.
  • the OVS transfers the PADS packet to the L2 network 2A (see FIG. 5) and is transferred to the router 10.
  • FIG. 9 is a diagram showing a configuration of a modified example of the OFC of FIG.
  • the OFC 200 ′ shown in FIG. 9 is different in that the timer 206 of FIG. 6 is deleted.
  • the other configuration of the OFC 200 ′ illustrated in FIG. 9 is the same as that of the OFC 200 illustrated in FIG.
  • differences from FIG. 6 will be described.
  • the OFC 200 ′ when the OFC 200 ′ receives a Packet-In message for notifying a new reception of a PADI packet from the OVS, and the broadcast packet detection unit 205 detects reception of the PADI packet, the VM load information acquisition command transmission unit 207 A VM load information acquisition command Get VM Load is transmitted from the management plane 223 to the VM (virtual machine).
  • FIG. 10 is a diagram for explaining the sequence operation of the modified example of FIG. Hereinafter, differences from FIG. 8 will be described.
  • VM load information acquisition command Get VM Load
  • VM1 VM11 to VM13
  • VM2 VM21 to VM23
  • the PADI packet after the arrival of the PADI packet to OVS1, the PADI packet also arrives at OVS2 (4).
  • the header information of the received PADI packet is checked against the condition of the flow entry in the flow table and matches. Therefore, the OFC notifies the OFC of the reception of the new packet by the Packet-In message (5), but the OFC does not perform the process related to the reception of the PADI packet notified by the Packet-In message from the OVS2.
  • VM1 (VM11 to VM13) and VM2 (VM21 to VM23) transmit their load information (VM load information) to the OFC (10, 11).
  • the OFC selects a low load VM based on the VM load information (12). In this case, the OFC selects at least one of the VM21 to VM23.
  • the OFC instructs the OVS 2 having the output port connected to the selected VM to transfer the PADI packet (13). That is, the OFC transmits a Packet-Out message to the OVS 2 (14).
  • the OVS 2 receives the Packet-Out message and is selected by outputting the held received PADI packet from the output port connected to the VM selected by the VM selection unit 209 of the OFC among the VMs 21 to 23. (15).
  • the switch is not limited to the virtual switch OVS, and can be applied to an OFS that is a real device (normal device) as will be described later.
  • the BRAS function (or BAS function) is not limited to being applied to a virtual machine (VM), but a plurality of processing units in which the BRAS function is distributed to a plurality of physical machines (Processor Elements).
  • VM virtual machine
  • Processor Elements physical machines
  • FIG. 11 is a diagram for explaining the second embodiment.
  • an OpenFlow function (OFS) is mounted on a DSLAM 21 ′ that multiplexes a plurality of ADSL lines.
  • the OFC 27 uses, for example, an OFS (not shown) in the DSLAM 21 ′, a VLAN tag and a port VLAN corresponding to the virtual machine (VM) on which the BRAS to which the PADI packet is transferred operates in the header of the PADI packet. Set and transfer to BRAS.
  • SET_VLAN_VID processing to add / update Vlan Tag with a specified VLAN ID
  • SET_VLAN_VID is set from the OFC as an action that matches the conditions of the PADI packet in the OFS flow table in the DSLAM 21 ′, and in the OFS, the VLAN ID is set in the PADI packet and transferred. It may be.
  • the number of virtual machines (VM1) 230 1 , 230 2 , and 230 3 is not limited to one, and a plurality of virtual machines may be connected in parallel as shown in FIG.
  • FIG. 12A is a diagram illustrating an example of the configuration of the DSLAM 21 ′ in FIG.
  • an ATM (Asynchronous Transfer Mode) switch 21-1 switches (switches) ATM cells from a plurality of ADSL lines 15 1 to 15 n (n is an integer of 2 or more).
  • the ATM-ether conversion unit 21-2 performs protocol conversion between the ATM cell and the Ethernet (registered trademark) frame.
  • an OpenFlow function when the OFS 21-4 receives a packet converted into an Ether frame by the ATM-Ether conversion unit 21-2, if a flow entry corresponding to the packet is not registered in the flow entry, the Packet-In message Is transmitted to the OFC 27.
  • the OFC 27 determines the packet transfer destination, transmits a Packet-Out message to the OFS 21-4, and instructs the OFS 21-4 to transfer the PADI packet from the designated port.
  • a configuration including a plurality of OFSs may be used.
  • the DSLAM 21 ′ may be mounted on the virtual machine.
  • the OFC 21-4 may be configured as a virtual switch (OVS).
  • FIG. 12B is a diagram showing a configuration of the DSLAM 21 of the related technology such as FIG.
  • the DSLAM 21 includes an ATM switch 21-1, an ATM-Ether conversion unit 21-2, and an interface unit 21-3.
  • the interface unit 21-3 is a transmission / reception interface connected to Ethernet (registered trademark) such as 10BASE-T or 100BASE-TX.
  • the carrier network is divided into several VLANs (for example, three VLANs in FIG. 11), and in the DSLAM 21 ′, the broadcast packet (PADI) transfer destination VLAN is set as the broadcast packet header (frame header). ) To the BRAS / BAS load distribution.
  • PADI broadcast packet
  • FIG. 13 is a diagram for explaining the third embodiment.
  • a load balancer (LB) 28 that performs load balancing of a network and virtual machines is provided.
  • the OpenFlow function is mounted on the DSLAM 21 ′′ as in the second embodiment.
  • the OFS (not shown) mounted on the DSLAM 21 ′′ may be mounted as a virtual switch OVS.
  • the load balancer (LB) 28 uses a round robin method that sequentially assigns a plurality of virtual machines, a dynamic allocation method that is determined based on a monitoring result of the load on the virtual machine, and the like.
  • a destination virtual machine (VM) is determined.
  • the load balancer (LB) 28 may be mounted on a virtual machine on the server.
  • the OFS (not shown) of the DSLAM 21 ′′ transmits a Packet-In message to the OFC 27, and the OFC 27 sends the OFS (not shown) of the DSLAM 21 ′′.
  • the PADI packet is instructed to be transferred to the load balancer (LB) 28.
  • the PADI packet is transferred from the port connected to the load balancer (LB).
  • a flow entry that defines a rule may be added, and the load balancer (LB) 28 transfers the PADI packet transferred from the OFS to the selected virtual machine.
  • FIG. 14 is a diagram showing a configuration example of the DSLAM 21 ′′ in FIG. 13.
  • the OFS 21-4 of the DSLAM 21 ′′ is added to the load balancer (LB) 28 with respect to the DSLAM 21 ′ in FIG. Has a port to connect.
  • the OFS 21-4 of the DSLAM 21 ′′ transmits a Packet-In message to the OFC 27.
  • the OFC 27 instructs the OFS 21-4 to transfer the PADI packet to the load balancer (LB) 28.
  • the load balancer (LB) 28 transfers the PADI packet transferred from the OFS 21-4 to the selected virtual machine 230.
  • the OFC 27 will receive the packet. -Transfer the Out message to the OFS 21-4 and instruct the OFS 21-4 to transfer the received packet directly to the destination virtual machine (VM) without transferring it to the load balancer (LB) 28.
  • VM virtual machine
  • LB load balancer
  • the load balancer (LB) 28 acquires the flow entry statistical information for each flow from the OFS 21-4, and selects the virtual machine (VM) of the flow with the least load based on the load of the flow.
  • the transfer destination of the PADI packet may be determined.
  • the PADI packet received by the OpenFlow switch is transferred to a dedicated load balancer (LB), and the transfer destination of the PADI packet in consideration of load distribution is determined by the load balancer (LB). Since the load balancer (LB) is separately provided, the effect of load distribution can be enhanced. Also, the concentration of load on the OFC can be avoided.
  • FIG. 15 is a diagram for explaining the fourth embodiment.
  • the DSLAM 21 ′ ′′ has a load balance function (LB) 28 ′.
  • LB load balance function
  • the DSLAM 21 ′ ′′ selects a PADI packet transfer destination virtual machine (VM) based on the control of the load balance function (LB) 28 ′, and selects the selected virtual machine (VM). ) To the PADI packet.
  • the DSLAM 21 ′ ′′ When the DSLAM 21 ′ ′′ receives a packet other than the PADI packet from the ADSL line (15 1 to 15 n ), for example, the destination specified by the header of the packet is not controlled by the load balance function (LB) 28 ′.
  • the virtual machine (VM) may be transferred.
  • FIG. 16 is a diagram illustrating the configuration of the DSLAM 21 ′ ′′ according to the fourth embodiment.
  • the DSLAM 21 shown in FIG. 12B includes a load balancer (LB) 28 '.
  • the load balancer (LB) 28 ′ controls the interface circuit (IF) 21-3 to transmit a PADI packet to the selected virtual machine.
  • FIG. 17 is a diagram for explaining the fifth embodiment.
  • a load balancer (LB) 28 is provided in the subsequent stage of the DSLAM 21.
  • the PADI packet output from the DSLAM 21 is transferred to the virtual machine (VM) selected by the load balancer (LB) 28.
  • the load balancer (LB) 28 uses a round robin method for allocating a plurality of virtual machines (VMs) 230 1 to 230 3 in order, a dynamic allocation method for determining based on the monitoring results of loads on the virtual machines 230 1 to 230 3 , etc.
  • the virtual machines (VMs) 230 1 to 230 3 to which the PADI packet is transferred are determined by the above.
  • the load balancer (LB) 28 may be mounted on a virtual machine on the server.
  • the transfer destination of the broadcast packet can be determined in consideration of load distribution. If the load balancer is configured by a dedicated device without being virtualized, the processing speed can be increased.
  • FIG. 18 is a diagram illustrating a configuration of the sixth embodiment.
  • OFS1, OFS2, and OFS3 are arranged at the boundary between the L2 network 31 and the OpenFlow network 32.
  • HOST 1, 2, and 3 such as servers are connected to end nodes OFS 7 and 8 of the OpenFlow network 32.
  • OFS 1 to OFS 8 of the OpenFlow network 32 are centrally managed by the OFC 300.
  • FIG. 19 is a diagram schematically showing a state where the broadcast packet BP from the L2 network 31 is transferred to the OpenFlow network 32.
  • the OFS 1 receives the broadcast packet BP, and since a corresponding flow entry is not found, transmits a Packet-In message to the OFC 300 and requests flow setting (path calculation) for the broadcast packet BP.
  • the broadcast packet BP is received, and since a corresponding flow entry is not found, a Packet-In message is transmitted to the OFC 300 and a route calculation is requested.
  • the OFS is selected (for example, OFS1), the flow (route) for transferring the broadcast packet BP is calculated, the flow entry is set in the OFS on the route (the FlowModify message is set to OFS4, OFS7). And a Packet-Out message is transmitted to the selected OFS1. Packet-Out messages are not transmitted to unselected OFS2 and OFS3.
  • the OFS 1 that has received the Packet-Out message transfers the broadcast packet BP from the designated output port to the OFS 4. Further, the broadcast packet BP is transferred from OFS 4 to OFS 7, 8 to HOST 1, 2, 3.
  • FIG. 20 is a diagram illustrating the configuration of the OFC 300 according to the sixth embodiment.
  • the OFC 300 includes a flow entry creation unit 301, a route calculation unit 302, a message transmission unit 303, a Packet-In identification unit 304, a broadcast packet (Broadcast packet) detection unit 305, a timer 306, and an OFS load monitoring unit 307.
  • the broadcast packet detection unit 305 When the broadcast packet detection unit 305 first detects a broadcast reception notification, the timer 306 is started, and when a timeout occurs in the timer 306, the OFS load monitoring unit 307 notifies the OFS 1, 2, and 3 of the OFS load information.
  • the OFS load may be monitored by transmitting an acquisition command and acquiring flow entry statistical information (such as the number of received bytes) from the OFS.
  • the OFS load monitoring unit 307 may send an OFS load information acquisition command to the OFSs 1 to 8 constituting the OpenFlow network 32 to derive a load for each flow.
  • the OFS load monitoring unit 307 obtains load information such as traffic by including the flow entry statistical information (the number of received packets, the number of received bytes, etc.) from the OFS in the Packet-In message from the OFS. You may make it do.
  • the OFS load monitoring unit 307 periodically acquires and records OFS load information by polling or the like, and immediately inputs the OFS load information to the OFS selection unit 308 when a timeout occurs in the timer 306. You may make it do.
  • the OFS selection unit 308 selects the OFS with the smallest load from the OFS that transmitted the Packet-In message, and the message transmission unit 303 transmits the Packet-Out message to the OFS selected by the OFS selection unit 308. .
  • the route calculation unit 302 calculates the route from the selected OFS to the broadcast packet transfer destination HOSTs 1, 2, and 3, and the flow entry creation unit 301 creates a flow entry for the OFS on the broadcast packet transfer route.
  • a flow entry setting command (Flow-Modify) is transmitted to the OFS on the broadcast packet transfer path via the message transmission unit 303. Note that the OFS on the broadcast packet transfer path receives the flow entry setting command (Flow-Modify) and adds the flow entry to the flow table.
  • FIG. 21 is a diagram for explaining the sequence operation of the sixth embodiment.
  • L2NW, OFS1, OFS2 / 3, OFS4-8, HOST1-3, and OFC correspond to the L2 network 31, OFS1, OFS2 / 3, OFS4-8, HOST1-3, and OFC300 in FIG.
  • the numbers of the respective sequences are given.
  • the numbers in parentheses at the end of the sentences indicate the numbers of the sequences.
  • the OFS load information acquisition command transmission sequence is shown in the OFS load monitoring unit 307 in consideration of the case where the OFS load information has already been acquired when a timeout occurs in the timer 306. Absent.
  • Broadcast packet arrives at L2 network (1).
  • Broadcast packet from L2 network arrives at OFS1 (2).
  • OFS1 sends a Pcake-In message to the OFC (3).
  • Broadcast packet from L2 network arrives at OFS2 (4).
  • OFS1 receives the Pcake-In message, and when it detects that the broadcast packet is received by OFS1, starts the timer (306 in FIG. 20) (6).
  • the OFC selects OFS1 from the OFS load monitoring result (8), sends a Packet-Out message to OFS1, and transmits a broadcast packet from the designated port.
  • the transfer is instructed (10).
  • the OFC transmits a Flow-Modify message to OFS 4, 7, and 8 on the transfer path of the broadcast packet, and OFS 4, 7, and 8 each flow based on the Flow-Modify message.
  • An entry is set in the flow table (9). For example, in the flow table of OFS 7, when the PADI packet is received, a flow entry of processing (Actions) for outputting the PADI packet from three output ports respectively connected to HOST1, HOST2, and OFS8 is set.
  • OFS1 transfers the broadcast packet from the designated port to OFS4 (11), and the broadcast packet is transferred to HOST1, 2, 3 via OFS7, 8 (12).
  • the packet header matches the matching field (MatchMField) of the flow entry set from the OFC.
  • the broadcast packet is transferred from the designated port according to the flow entry processing field (Actions) (see FIG. 28) without transmitting a Packet-In message to the server.
  • Actions flow entry processing field
  • Packet-Out messages are not transmitted to OFS 2 and OFS 3 other than OFS 1, and broadcast packets are not transferred from OFS 2 and OFS 3.
  • the OFS selection unit 308 of the OFC 300 indicates that the OFS 1 selected from the OFS notified of the reception of the broadcast packet by the Packet-In message is in a transferable state (Forwarding) excluding the port where the broadcast packet has arrived. It may be transferred to all ports in the (status). Further, the subsequent OFSs 4, 7, 8, etc. may be transferred to all ports in the transferable state (Forwarding state) excluding the port where the broadcast packet from the previous OFS has arrived.
  • each of the OFSs 1, 2, and 3 transfers broadcast packets.
  • the traffic of broadcast packets transferred on the OpenFlow network can be greatly reduced.
  • FIG. 22 is a diagram illustrating a configuration of an OFC according to a modification of the sixth embodiment.
  • the timer 306 of FIG. 20 is deleted in the OFC of this modification.
  • Other configurations are the same as those in FIG.
  • the OFC 300 starts the timer 306 when the reception of the broadcast packet is first notified from the OFS, notifies the OFS load monitoring unit 307 when a timeout occurs, and selects the OFS by the OFS selection unit 308. Yes.
  • the OFS when the reception of the broadcast packet is first notified from the OFS at the boundary, the OFS can be performed without waiting for the reception of the broadcast packet from another OFS at the boundary.
  • the load monitoring unit 307 is notified, and the OFS selection unit 308 selects the OFS.
  • the OFS when the reception of the broadcast packet is notified from any of OFS 1 to 3 at the boundary between the L2 network 31 and the OpenFlow network 32, the lowest load OFS may be selected.
  • the OFS when the reception of the broadcast packet is first notified from the OFS at the boundary, the OFS may be selected. In this case, the OFS load monitoring unit 307 is unnecessary.
  • FIG. 23 is a diagram for explaining the operation of the modified example described with reference to FIG. Hereinafter, differences from FIG. 21 will be described.
  • OFC when receiving the Pcake-In message from OFS1, without waiting for the Pcake-In message (5) from OFS2, OFS1 is selected from the load monitoring result of OFS (6), and the Packet-Out message is transmitted to OFS1. (8). Further, the OFS transmits a Flow-Modify message to the OFSs 4 and 7 to set the transfer path of the broadcast packet (7). OFS1 forwards the broadcast packet to OFS4 (9), and forwards to HOST1, 2, 3 via OFS7, 8 (10). Of the OFS 1 to 3 at the boundary, Packet-Out messages are not transmitted to OFS 2 and OFS 3 other than OFS 1.
  • each of OFS 1, 2, and 3 is broadcasted by selecting at least one of OFS 1, 2, and 3 at the boundary between the L2 network 31 and the OpenFlow network 32, as in the sixth embodiment.
  • the traffic of the broadcast packet transferred on the OpenFlow network can be greatly reduced.
  • management by the timer of the second embodiment is unnecessary.
  • FIG. 24 is a diagram for explaining Embodiment 7 of the present invention.
  • the second network 42 of the seventh embodiment is obtained by replacing OFS 1 to 8 of the OpenFlow network of the second embodiment with switches SW 1 to SW 8 such as L2 switches.
  • the switches SW1 to SW8 duplicate the broadcast packet (BP) and output it from a plurality of ports (for example, flooding to all output ports).
  • the controller 400 selects one of the switches SW1, SW2, and SW3, and the rest Is not selected.
  • the selected switch floods the received broadcast packet, for example.
  • the non-selected switch does not transfer the received broadcast packet. Thereby, the occurrence of broadcast overflow in the network 42 can be suppressed.
  • the controller (CTRL) 400 that has received the notification of broadcast packet reception from SW1 selects SW1.
  • the controller 400 also receives broadcast packet reception notifications from the switches SW2 and SW3, but the switches SW2 and SW3 are not selected, and the broadcast packets are not transferred from the switches SW2 and SW3.
  • the controller (CTRL) 400 that has received the broadcast packet reception notification from the switch SW1 may select a specific output port (at least one output port) of the switch SW1.
  • Both the first network 41 and the second network 42 may be configured by an L2 network.
  • the switches SW1 to S8 are, for example, L2 switches, like the switch SW of the first network 41.
  • FIG. 25 is a diagram illustrating the configuration of the controller 400 according to the seventh embodiment.
  • the controller 400 includes a port / switch (PORT / SW) selection unit 401, a packet reception detection unit 402, and a switch information storage unit 403.
  • the packet reception detection unit 402 detects reception of the broadcast packet by receiving a notification from the switch SW.
  • the port / switch selection unit 401 In response to detection of broadcast packet reception at the switch SW in the packet reception detection unit 402, the port / switch selection unit 401 refers to the switch information storage unit 403, and switches SW1 to SW1 according to the transfer destination of the broadcast packet. At least one switch is selected from SW3, and the remaining switches are not selected. Alternatively, the port / switch selection unit 401 refers to the switch information storage unit 403 and selects a port of at least one switch from the switches SW1 to SW3. At least one selected switch forwards broadcast packets, eg, from all ports, and the remaining switches do not forward broadcast packets. Alternatively, at least one switch for which at least one output port is selected forwards a broadcast packet from the selected at least one output port.
  • FIG. 26 is a diagram for explaining the operation of the seventh embodiment.
  • NW, SW1, SW2 / 3, SW4-8, HOST1-3, and CTRL correspond to network 41, switch SW1, SW2 / 3, SW4-8, host HOST1-3, and controller CTRL400 in FIG. 24, respectively. is doing.
  • the numbers of the respective sequences are given. In the following description, the numbers in parentheses at the end of the sentences indicate the numbers of the sequences.
  • Broadcast packet arrives at network (NW) (1).
  • Broadcast packet from NW arrives at switch SW1 (2).
  • the controller When receiving a broadcast packet reception notification from the switch SW1, for example, the controller (CTRL) selects the switch SW1 (or port) (6).
  • the controller (CTRL) transmits a broadcast packet transfer instruction to the switch SW1 (7).
  • SW1 transfers the broadcast packet to the switch SW4 (8), and is transferred to the HOSTs 1, 2, and 3 via the switches SW7 and SW8 (9).
  • the switch By selecting at least one of the switches SW1, 2, and 3 at the boundary between the first network 41 and the second network 42 (or at least one output port among the plurality of output ports of the switch SW), the switch Compared to the case where all of SW1, 2, 3 transfer broadcast packets from all output ports, the traffic of broadcast packets transferred over the network is greatly reduced, and the network (broadcast domain) overflows with broadcast packets. It is possible to avoid that.
  • the port / switch selection unit 401 may select a low-load switch based on the loads of the switches SW1 to SW3.
  • the controller 400 in FIG. 25 starts a timer (not shown) and selects a switch when a timeout occurs in the timer. May be.
  • multicast packets that use IP multicast group addresses such as network switches and routers that copy packets and forward them to multiple recipients
  • transfer route information for the packets switch connection information, etc.
  • at least one of the switches SW1 to SW3 may be selected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

　本発明は、ネットワーク全体の負荷分散を可能とする。通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシン（ＶＭ）が実行する通信システムにおける通信制御装置（５００）は、前記通信機能と通信セッションを確立するために複数の経路（５０４１～５０４ｎ）に向けて転送されるパケット（５０３）の転送先を、複数の前記仮想マシン（ＶＭ）から選択する第一の手段（５０１）と、前記パケットを選択された仮想マシン（ＶＭ）に転送する第二の手段（５０２）とを含む。

Description

通信システムと装置と方法とプログラム
　（関連出願についての記載）
　本発明は、日本国特許出願：特願２０１３－１３３０５０号（２０１３年６月２５日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
　本発明は通信システムと装置と方法とプログラムに関する。
　ネットワークをソフトウェアで制御できるようにするＳＤＮ（Software Defined Network）技術や、例えばコア網（Core Network）等のネットワーク機能を仮想化する「ＮＦＶ（Network Functions Virtualization）」等、ネットワークにおいても、ＩＴ（Intelligent Technology）技術で培われたサーバ仮想化等によるネットワークアプライアンス（機器）の仮想化に関心が高まっている。例えば欧州の標準化団体「ＥＴＳＩ」（European Telecommunications Standards Institute）のＮＦＶグループには多くの有力通信事業者、ベンダ等が参加している。通信事業者の網に含まれる様々なアプライアンス、例えばモバイルコアの機能であるＭＭＥ（Mobility Management Entity）、Ｓ－ＧＷ（Serving-GateWay）、Ｐ－ＧＷ（Packet Data Network-GateWay）、ルータ、大規模ＮＡＴ（LSN：Large Scale Network address translation）、ＨＬＲ（Home Location Register）、ＲＮＣ（Radio Netwok Controller）／ｅＮｏｄｅＢ、ファイアウォールや認証サーバ等は、現在、それぞれ専用機器で構成されている。
　ＮＦＶでは、これら専用装置に実装されていたネットワーク機器等を、例えば汎用のサーバを用いたサーバ仮想化技術で実装することで、設備コスト、運用コストの削減を図る。また、制御信号等の通信負荷の増大等に対してリソースを追加することで、耐障害性を高めることを可能としている。
　図１は、事業者網（キャリアネットワーク）を模式的に例示した図である。この事業者網は、後述する実施形態の適用対象とされるネットワークの一例でもあるので、その関連技術を説明しておく。
　図１には、ＰＰＰｏＥ（Point to Point Protocol over Ethernet（登録商標））による接続の一例が模式的に示されている。ＰＰＰｏＥについては、例えば非特許文献１が参照される。加入者宅内１の端末１１１～１１ｎはルータ１０、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム１２、ＡＤＳＬ回線１５を介して、局舎のＤＳＬＡＭ（Digital Subscriber Line Access Multiplexer）２１に接続される。ＢＡＳ（Broadband Access Server）２０は、ルータの機能を持つアクセスサーバであり、ユーザからの接続認証やプロバイダ識別子に従いプロバイダ３０の切り替えや帯域管理を行う。ＤＳＬＡＭ２１は複数のＡＤＳＬ回線を１つに束ねるレイヤ２（Ｌ２）の集線装置である。なお、ＢＡＳはＢＲＡＳ（Broadband Remote Access Server）であってもよい。以下では、ＡＤＳＬで説明するが、ＡＤＳＬのかわりに、ＦＴＴＨ（Fiber To The Home）であってもよい（この場合、モデムは不要であり、ルータはＦＴＴＨ用ルータとなる）。
　ＰＰＰｏＥ接続では加入者宅内のルータ１０（クライアント）と、アクセスサーバＢＡＳ２０との間をブリッジ接続しＰＰＰ（Point to Point Protocol）接続を行う。ＢＡＳ２０は、例えば、「ユーザＩＤ＠プロバイダ識別子」のユーザアカウントにより、どのプロバイダ（ＩＳＰ:Internet Service Provider）に接続するか認識しユーザの認証を行い、プロバイダとの接続点へユーザデータを転送する。ルータ１０からＤＳＬＡＭ２１まではＰＰＰｏＥによるトンネリングが行われ、ＤＳＬＡＭ２１とＢＡＳ２０間はＬ２ＴＰ（Layer 2 Tunneling Protocol）によるトンネリングが行われる。
　図２は、ＰＰＰｏＥディスカバリステージのシーケンス動作を説明する図である。ＰＰＰｏＥセッションの開始は、ＰＰＰｏＥクライアントであるルータ側からのＰＡＤＩ（PPPoE Active Discovery Initiation）パケットの送信で開始する。ＰＡＤＩパケットは、図２７にヘッダーフォーマットを例示したように、ヘッダの宛先ＭＡＣアドレス（４８ビット）が全て１のブロードキャストパケットである。
　ＢＡＳは、サービス可能なＰＡＤＩを受けると、応答パケットＰＡＤＯ（PPPoE Active Discovery Offer）を、ＰＡＤＩを送信したホストであるルータ（図１の１０）に返す。
　ルータは、受信したＰＡＤＯの送信元のＢＡＳ宛に、ユニキャストでＰＡＤＲ（PPPoE Active Discovery Request）を送信したのち、ＰＡＤＲを送信したＢＡＳとの間でセッションを開始する。なお、ルータがＰＡＤＲを送信後、セッションを開始するまでの手順の説明は省略する。
Ｌ．Ｍａｍａｋｏｓその他、"A Method for Transmitting PPP Over Ethernet (PPPoE)"［平成２５年４月１日検索］、インターネット＜URL:http://www.ietf.org/rfc/rfc2516.txt＞
　以下に関連技術の分析を与える。
　上記した通り、ＮＦＶ等では、通信事業者のネットワークアプライアンスを、汎用サーバの仮想化基盤上の仮想マシン上に実装することにより、ネットワークアプライアンスの仮想化を実現している。
　図３は、例えばＢＲＡＳ／ＢＡＳを仮想化した構成（プロトタイプ）を例示する図である。図３に示すように、ＢＲＡＳ機能（ＢＲＡＳ１、２、３）は、サーバの仮想化基盤上の仮想マシン（ＶＭ）２３０１、２３０２、２３０３上でそれぞれ動作するソフトウェアによって実現される。
　図３に示したように、ＢＲＡＳ／ＢＡＳを仮想化した場合では、ＢＲＡＳ／ＢＡＳの機能のみを実行する専用装置のかわりに、汎用装置（汎用サーバ上の仮想マシン）を使うため、専用装置を用いる場合と比較して、ＢＲＡＳ／ＢＡＳの処理性能が低くなる。
　このため、ＢＲＡＳ／ＢＡＳを仮想化した場合には、ＢＲＡＳ／ＢＡＳの処理性能を考慮して、個々のＢＲＡＳ／ＢＡＳが収容するセッション数（クライアント数）の負荷分散を行う必要がある。
　一方、現在のＰＰＰｏＥのプロトコルでは、図２を参照して説明したように、ＰＡＤＩというブロードキャストパケットによりセッションを確立している。すなわち、クライアントがＰＡＤＩを送り、複数のＢＲＡＳ／ＢＡＳが応答した場合、クライアントがどれか１つを選択してセッションを確立することになっている。
　つまり、現在のＰＰＰｏＥプロトコルでは、複数のＢＲＡＳ／ＢＡＳからの応答に対して、どのＢＲＡＳ／ＢＡＳとのセッションを確立するか、を選択することができない。このため、上記のような現状のＰＰＰｏＥプロトコルでは、ＢＲＡＳ／ＢＡＳの負荷分散を行うことは難しい。
　したがって、本発明は、上記問題点に鑑みて創案されたものであって、その目的は、ネットワークシステム全体での負荷分散を可能とするシステム、装置、方法、プログラムを提供することにある。
　本発明のいくつかの側面の１つによれば（視点１）、通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムにおける通信制御装置であって、前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットの転送先を、複数の前記仮想マシンから選択する第一の手段と、前記パケットを、選択された仮想マシンに転送する第二の手段とを有する通信制御装置が提供される。
　他の側面によれば（視点２）、通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムにおける通信制御方法であって、前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットの転送先を、複数の前記仮想マシンから選択し、前記パケットを、選択された仮想マシンに転送する、通信制御方法が提供される。
　さらに他の側面によれば（視点３）、通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムにおける通信制御装置に、前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットの転送先を、複数の前記仮想マシンから選択する処理と、前記パケットを、選択された仮想マシンに転送する処理と、を実行させる通信制御プログラムが提供される。
　さらに他の側面によれば（視点４）、上記視点３のプログラムを記録したコンピュータ読み出し可能な媒体（半導体メモリ、磁気／光ディスク等）が提供される。
　さらに他の側面によれば、通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムの通信制御装置であって、前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットの転送先を、複数の前記仮想マシンから選択する第一の手段と、前記パケットを選択された仮想マシンに転送することを、ネットワークスイッチに指示する第二の手段とを有する通信制御装置が提供される。
　さらに他の側面によれば、通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムにおける通信装置であって、前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットを識別する手段と、複数の前記仮想マシンから選択された仮想マシンに前記パケットを転送する装置に、識別した前記パケットを集約する手段とを有する通信装置が提供される。
　さらに他の側面によれば、通信ネットワークで用いられるハードウェア機器の通信機能を実行する仮想マシンが配置される情報処理装置であって、ネットワークスイッチの機能を有する仮想スイッチを稼動させるための手段を有し、前記仮想スイッチは、前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットを、複数の前記仮想マシンから選択された仮想マシンに転送する転送手段を有する情報処理装置が提供される。
　さらに他の側面によれば、複数の経路に向けて転送されるパケットを少なくとも１つ受信すると、前記パケットに対して少なくとも１つの転送先を選択し、前記選択した転送先に前記パケットを転送する手段（工程、処理）を備えた通信システム（方法、プログラム）が提供される。
　本発明によれば、ネットワークシステムの負荷分散を可能としている。
ＰＰＰｏＥ接続を例示する模式図である。 ＰＰＰｏＥディスカバリステージを説明する図である。 プロトタイプ例を説明する図である。 実施形態を説明する図である。 本発明の実施形態１におけるネットワーク機能の仮想化を例示する図である。 本発明の実施形態１のＯＦＣの構成を例示する図である。 本発明の実施形態１の動作を模式的に例示する説明図である。 本発明の実施形態１のシーケンス動作を例示する図である。 本発明の実施形態１のＯＦＣの変形例の構成を例示する図である。 本発明の実施形態１の変形例のシーケンス動作を例示する図である。 本発明の実施形態２を例示する図である。 （Ａ）、（Ｂ）は実施形態２と関連技術のＤＳＬＡＭをそれぞれ例示する図である。 本発明の実施形態３を例示する図である。 本発明の実施形態３のＤＳＬＡＭを例示する図である。 本発明の実施形態４を例示する図である。 本発明の実施形態４のＤＳＬＡＭを例示する図である。 本発明の実施形態５を例示する図である。 本発明の実施形態６を例示する図である。 本発明の実施形態６を模式的に説明する図である。 本発明の実施形態６のＯＦＣの構成を例示する図である。 本発明の実施形態６のシーケンス動作を例示する図である。 本発明の実施形態６のＯＦＣの変形例の構成を例示する図である。 本発明の実施形態６の変形例のシーケンス動作を例示する図である。 本発明の実施形態７の動作を模式的に例示する説明図である。 本発明の実施形態７のコントローラの構成を例示する図である。 本発明の実施形態７の変形例のシーケンス動作を例示する図である。 ＰＡＤＩパケットのフォーマットを示す図である。 フローエントリを説明する図である。 パケットヘッダを説明する図である。 本発明の基本概念を説明する図である。 本発明の基本概念を説明する図である。 本発明の基本概念を説明する図である。
　本発明の基本概念を説明する。本発明のいくつかの好ましい形態によれば、図３０を参照すると、通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムにおける通信制御装置（５００）は、前記通信機能と通信セッションを確立するために複数の経路（５０４１～５０４ｎ、但し、ｎは２以上の所定の正整数）に向けて転送されるパケット（５０３）の転送先を、複数の前記仮想マシン（ＶＭ：５０５１～５０５ｎ）から選択する第一の手段（５０１）と、前記パケット（５０３）を、選択された仮想マシン（ＶＭ）に転送する第二の手段（５０２）を備えている。
　前記第一の手段（５０１）は、前記通信制御装置（５００）に集約された前記パケットの転送先を、複数の前記仮想マシンから選択するようにしてもよい。
　前記第一の手段（５０１、あるいは例えば図５のＯＦＣ２００に対応）は、前記パケット（５０３）を前記通信制御装置（５００）に集約する機能を有するネットワークスイッチ（図３０では不図示、例えば図５のＯＶＳ２２０）から前記パケットを受信し、受信したパケットの転送先を、複数の前記仮想マシンから選択するようにしてもよい。
　前記第一の手段（５０１）は、前記パケットの転送先が複数の前記仮想マシン間で分散するように、前記パケットの転送先を選択するようにしてもよい。
　前記第一の手段（５０１）は、複数の前記仮想マシンの動作状況に応じて、前記パケットの転送先を選択するようにしてもよい。
　前記第一の手段（５０１）は、前記通信制御装置（５００）からの指示に応じて動作するネットワークスイッチ（図３０では不図示、例えば図５のＯＶＳ２２０）から前記パケットを受信し、受信した前記パケットの転送先を、複数の前記仮想マシンから選択するようにしてもよい。
　前記第一の手段（５０１）は、前記パケットの処理方法に対応する指示が未知である場合に、前記ネットワークスイッチ（例えば図５のＯＶＳ２２０）から前記パケットに関する指示の要求を受信し、当該要求に応じて、前記パケットの転送先を、複数の前記仮想マシンから選択するようにしてもよい。
　前記第一の手段（５０１）は、前記ネットワークスイッチから、前記通信制御装置（５００）からの指示に従って転送された前記パケットを受信し、当該パケットの転送先を、複数の仮想スイッチから選択するようにしてもよい。
　本発明の別の好ましい形態によれば、図３１を参照すると、通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムの通信制御装置（６００）は、前記通信機能と通信セッションを確立するために複数の経路（６０５１～６０５ｎ、但し、ｎは２以上の所定の正整数）に向けて転送されるパケット（６０３）の転送先を、複数の前記仮想マシン（ＶＭ：６０６１～６０６ｎ）から選択する第一の手段（６０１）と、前記パケット（６０３）を選択された仮想マシン（ＶＭ）に転送することを、ネットワークスイッチ（６０４）に指示する第二の手段（６０２）を有する。
　本発明のさらに別の好ましい形態によれば、通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムにおける通信装置は、前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットを識別する手段と、複数の前記仮想マシンから選択された仮想マシンに前記パケットを転送する装置に、識別した前記パケットを集約する手段とを有する。
　本発明の別の好ましい形態によれば、図３２を参照すると、複数の経路（経路１～経路ｎ、但し、ｎは２以上の所定の正整数）に向けて転送されるパケットを少なくとも１つ受信すると、前記パケットに対して少なくとも１つの転送先（経路ｍ、１≦ｍ≦ｎ）を選択し、前記選択した転送先に前記パケットを選択的に転送する、という転送先の絞り込みを行う手段（７００）を備えている。
　本発明のいくつかの好ましい形態によれば、通信ネットワークで用いられるハードウェア機器の通信機能を実行する仮想マシンが配置される情報処理装置（例えば図５の２５０）は、ネットワークスイッチの機能を有する仮想スイッチ（例えば図５の２２０）を稼動させるための手段（図５の２４０）を有し、前記仮想スイッチ（例えば図５の２２０）は、前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットを、複数の前記仮想マシンから選択された仮想マシンに転送する手段を有する。前記仮想スイッチ（例えば図５の２２０）の転送手段は、前記通信機能と通信セッションを確立するために複数の経路に向けて転送される前記パケットを、通信制御ユニット（図５の２００）に転送し、前記通信制御ユニット（図５の２００）により選択された仮想マシンに、前記パケットを転送する。
　本発明のいくつかの好ましい形態によれば、転送先の絞り込みを行う手段（図３０の５００）は、前記ネットワーク上をブロードキャストされるパケットを集約し、前記選択した転送先に、前記パケットをユニキャストで転送するノード（図４の２６）を含むようにしてもよい。
　本発明のいくつかの好ましい形態によれば、制御装置は、複数の経路に向けて転送されるパケットを受信したスイッチから通知を受ける手段（図２５の４０２）と、前記複数のスイッチのうち、前記所定の形式のパケットを転送する少なくとも１つのポート（ＰＯＲＴ）又は、前記ポートに対応するスイッチ（ＳＷ）を選択する手段（図２５の４０１）と、を備えている。これらの手段は、制御装置を構成するコンピュータで実行されるプログラムによりその機能を実現するようにしてもよい。
　本発明のいくつかの好ましい形態によれば、前記スイッチ（図５のＯＶＳ、図１８のＯＦＳ）が、前記制御装置（図５のＯＦＣ、図１８のＯＦＣ）によって設定された処理規則にしたがって入力パケットの転送を処理し、前記制御装置（図５のＯＦＣ、図１８のＯＦＣ）が、パケットの転送に関する前記処理規則を前記スイッチに設定する。
　本発明のいくつかの好ましい形態によれば、複数の回線を集線する集線装置（図１１のＤＳＬＡＭ）を備え、前記集線装置が、前記制御装置（図１１の２７）によって制御される前記スイッチを備え、前記パケットを、前記選択した転送先に転送する構成としてもよい。あるいは、前記パケットの転送先を決定する負荷分散装置（図１３のＬＢ）を備えた構成としてもよい。
　本発明のいくつかの好ましい形態によれば、複数の回線を集線する集線装置（図１５、図１７のＤＳＬＡＭ）と、前記パケットの転送先を決定する負荷分散装置（図１５、図１７のＬＢ）と、を備え、前記負荷分散装置で決定した転送先に前記パケットが転送される構成としてもよい。
　前記制御装置（図１８のＯＦＣ）は、複数の前記スイッチ（図１８のＯＦＳ１、ＯＦＳ２、ＯＦＳ３）に接続され、前記複数のスイッチは、ブロードキャストパケット受信時、前記制御装置（図１８のＯＦＣ）に対して、ブロードキャストパケット受信を通知する。前記制御装置（図１８のＯＦＣ）は、最初に前記スイッチからブロードキャストパケット受信の通知を受けると、タイマをスタートさせ、タイムアウトが発生すると、少なくとも１つのポート又はスイッチを選択するようにしてもよい。
　あるいは、複数の前記スイッチ（図５ＯＶＳ１、ＯＶＳ２、ＯＶＳ３）の各々が、１つ又は複数のネットワーク機能部（ＶＭ１１～ＶＭ１３、ＶＭ２１～ＶＭ２３、ＶＭ３１～ＶＭ３３）に接続し、前記制御装置（図５のＯＦＣ）は、複数の前記スイッチ（図５のＯＶＳ１、ＯＶＳ２、ＯＶＳ３）に接続される複数のネットワーク機能部（ＶＭ１１～ＶＭ１３、ＶＭ２１～ＶＭ２３、ＶＭ３１～ＶＭ３３）に接続し、前記スイッチからのブロードキャストパケット受信の通知を受け、複数の前記ネットワーク機能部（ＶＭ１１～ＶＭ１３、ＶＭ２１～ＶＭ２３、ＶＭ３１～ＶＭ３３）の負荷に基づき、少なくとも１つの前記ネットワーク機能部を選択し、選択したネットワーク機能部に接続するポートを有するスイッチに対して、前記ポートから前記ブロードキャストパケットの転送を指示する。
　本発明のいくつかの好ましい形態によれば、前記ネットワーク機能部（ＶＭ１１～ＶＭ１３、ＶＭ２１～ＶＭ２３、ＶＭ３１～ＶＭ３３）がサーバの仮想基盤（ＶＭＭ）上に仮想化された仮想マシンである。
　本発明のいくつかの好ましい形態によれば、前記同一パケットが複数の宛先へ転送される転送形式のパケット（例えばブロードキャストパケット）を受信した場合に、前記制御装置に通知するスイッチ（図１８のＯＦＳ１～ＯＦＳ３、図２４のＳＷ１～ＳＷ３）が、前記スイッチが構成するネットワーク（図１８の３１、図２４の４１）と他のネットワーク（図１８の３２、図２４の４２）との境界に配置されている。
　このような構成とすることで、ネットワークシステム全体での負荷分散を可能としている。次に、実施形態について説明する。
　ＳＤＮ（Software Defined Network）を実現するための技術として、例えば、一元的に管理を行うコントローラがスイッチ等の機器に対して、ソフトウェア的に指示を出すことでフロー制御等を可能とする「ＯｐｅｎＦｌｏｗ」が知られている。ＯｐｅｎＦｌｏｗでは、通信をエンドツーエンドのフローエントリベース（フローは、例えば入力ポートとＭＡＣ（Media Access Control）アドレスやＩＰ（Internet Protocol）アドレス、ポート番号などの組み合わせにより定義される）に、経路制御、障害回復、負荷分散、最適化を行う。オープンフロースイッチ（OpenFlow Switch：「ＯＦＳ」と略記される）は、制御装置に相当するオープンフローコントローラ（OpenFlow Controller：「ＯＦＣ」と略記される）との通信用のセキュアチャネルを備え、ＯＦＣから追加または書き換えを適宜指示されるフローテーブルに従って動作する。
　ＯＦＳのフローテーブルは、例えば図２８に示すように、フロー毎に、受信パケットのヘッダと照合するマッチングルール（照合欄：Match Field）（ヘッダフィールド）と、処理内容を定義したアクション（Actions）と、フロー統計情報（Counters）との組がフロー毎に定義される。マッチングルールは、正確な値（exact）、及びワイルドカード（wild card）が用いられる。アクション（Actions）は、ルールとマッチしたパケットに適用するアクションである。フロー統計情報は、アクティビティカウンタともいい、例えばアクティブエントリ数、パケットルックアップ数、パケットマッチ数、フロー単位に、受信パケット数、受信バイト数、フローがアクティブな期間、ポート単位で受信パケット、送信パケット、受信バイト、送信バイト、受信ドロップ、送信ドロップ、受信エラー、送信エラー、受信フレームアラインメントエラー、受信オーバーランエラー、受信ＣＲＣ（Cyclic Redundancy Check）エラー、コリジョン数等を含む。
　パケットヘッダの所定のフィールドがＯＦＳのフローテーブルのルールとの照合（マッチ）に用いられる。ヘッダにおけるマッチ対象の情報は、図２９に示すように、例えば、
宛先ＭＡＣ（Media Access Control）アドレス（ＭＡＣ　ＤＡ（Destination Address）：４８ビット）、送信元ＭＡＣアドレス（ＭＡＣ　ＳＡ（Source Address）：４８ビット）、Ｅｈｅｒｎｅｔ(登録商標)タイプ（ＴＰＩＤ）、ＶＬＡＮ　ＩＤ（Virtual LAN(Local Area Network) ID）、ＶＬＡＮ　ＴＹＰＥ（優先度）、ＩＰソースアドレス（ＩＰ　ＳＡ（：３２ビット）、ＩＰディスティネーションアドレス（ＩＰ　ＤＡ（：３２ビット）、ＩＰプロトコル、ソースポート（Source Port：TCP(Transmission Control Protocol)/UDP(User Datagram Protocol）、あるいは、ICMP(Internet Control Message Protocol) Type）、ディスティネーションポート（Destination port：TCP/UDＰ destination port、あるいは、ICMP Code））等を含む。
　ＯＦＳは、パケットを受信すると、フローテーブルから、受信パケットのヘッダ情報に適合するマッチングルールを持つエントリを検索する。検索の結果、受信パケットに適合するエントリが見つかった場合、ＯＦＳは、フロー統計情報（カウンタ）を更新するとともに、受信パケットに対して、該エントリのアクションフィールドに記述された処理内容（指定ポートからのパケット送信、フラッディング、廃棄等）を実施する。一方、検索の結果、受信パケットに適合するエントリが見つからなかった場合、ＯＦＳは、セキュアチャネルを介して、ＯＦＣに対して、受信パケットを転送し、受信パケットの送信元・送信先に基づいたパケットの経路の決定を依頼し、これを実現するフローエントリを受け取ってフローテーブルを更新する。このように、ＯＦＳは、フローテーブルに格納されたエントリを処理規則として用いてパケット転送を行う。本明細書では、Ｌ２層のＰＤＵ（Protocol Data Unit）であるフレーム、Ｌ３層での転送単位であるパケットを特に区別せずに、転送単位を「パケット」という場合がある。
＜実施形態１＞
　図４は、本発明の実施形態１の構成を例示する図である。図４は、本発明の技術思想を、図３のプロトタイプ例に適用した一例を示す図である。
　図４を参照すると、スイッチ（エッジスイッチ）２３１～２３２は、それぞれ、クライアント１からのブロードキャストパケット（上述したＰＡＤＩパケット）を予め定められた集約ノード２６に集約する。集約ノード２６では、ブロードキャストパケットの転送先を少なくとも１つ決定し、決定した転送先にユニキャスト送信する。特に制限されないが、集約ノード２６では、仮想マシン（ＶＭ）２３０１～２３０３の負荷（例えばＢＲＡＳ機能を実現するＶＭの負荷）を分散するように、ブロードキャストパケット（ＰＡＤＩパケット）の転送先の仮想マシン（ＶＭ）を決定する。例えばブロードキャストパケット（ＰＡＤＩパケット）の転送先を、仮想マシン（ＶＭ）２３０１～２３０３に対してラウンドロビン方式で順番に割り当てるか、あるいは、仮想マシン（ＶＭ）２３０１～２３０３の負荷状態（例えばポーリング等で取得管理する）に基づき、低負荷の仮想マシン（ＶＭ）を選択するようにしてもよい。なお、以降の例では、ブロードキャストパケット（ＰＡＤＩパケット）の場合を例に挙げて説明するが、これに限られるものではなく、ＢＲＡＳ／ＢＡＳ等の通信機能と通信セッションを確立するために、複数の経路に向けて転送されるパケットのことであればよい。例えば、ブロードキャストパケットでなくてもよく、マルチキャストパケットであってもよい。
　図５は、図４の具体的な構成例として、ＢＲＡＳのファンクションを仮想化した構成を例示する図である。少なくともＢＲＡＳ機能を、サーバ２５０のハイパーバイザ(hypervisor)等の仮想マシンモニタ（Virtual Machine Monitor：ＶＭＭ）上に実装される仮想マシン（Virtual Machine：ＶＭ）２３０として実現している。また、図５は、上述したＯｐｅｎＦｌｏｗを適用した場合の構成例を示している。ＯＦＳの機能（Ｆｕｎｃｔｉｏｎｓ）は、ソフトウェア等により仮想化した仮想スイッチ（ＯＶＳ）２２０として、例えばサーバ２５０上で仮想化されており、ＶＭＭ上に実装される。Ｌ２(Layer 2)スイッチ（Ｌ２ＳＷ）を含むＬ２ネットワーク２Ａは、事業者ＩＰ（Internet Protocol）網を構成するネットワーク（図１の事業者網２の一部）である。コアネットワーク２２は、例えばＩＭＳ（Internet Multimedia System）コアネットワークである（あるいはＥＰＣ（Evolved Packet Core）／ＬＴＥ（Long Term Evolution）コアネットワークであってもよい）。さらに、サーバ２５０は、制御部２４０を含む。制御部２４０は、例えば上述したようなハイパーバイザ等のＶＭＭである。ＶＭ２３０及び仮想スイッチであるＯＶＳ２２０を稼働させる機能を有する。なお、制御部２４０をハイパーバイザで構成した場合、仮想マシンＶＭ２３０、及びＯＶＳ２２０からのネットワークアクセス等、ハードウェア資源へのアクセスはいずれもハイパーバイザを介して行われる（すなわちハイパーバイザを介して該当するハードウェアデバイスのデバイスドライバによって行われる）が、図５では、図面の簡単化のため、ＯＶＳ２２０等は、ハイパーバイザ（制御部２４０）を介してではなく直接、Ｌ２ネットワーク２Ａ等に接続するものとして図示されている。
　ＯＦＣ２００は、図４における集約ノード２６に相当し、ＯＶＳ２２０およびＶＭ２３０の制御を行う。仮想スイッチ（ＯＶＳ）２２０がＯｐｅｎＦｌｏｗプロトコルのＰａｃｋｅｔ＿ＩｎメッセージでＰＡＤＩパケットをＯＦＣ２００に集約する。ＯＦＣ２００で、ＰＡＤＩパケットの転送先の仮想マシン（ＶＭ）を決定し、Ｐａｃｋｅｔ＿Ｏｕｔメッセージを、仮想スイッチ（ＯＶＳ）２２０に送信し、ＰＡＤＩパケットの転送を指示する。このように、本実施形態によれば、ＯｐｅｎＦｌｏｗプロトコルを用いてＰＡＤＩパケットをＯＦＣに集約する。
　実施形態１では、ＯｐｅｎＦｌｏｗプロトコルのＰａｃｋｅｔ＿Ｉｎメッセージを利用して、ＰＡＤＩパケットをＯＦＣに集約する。よって、クライアント（ホスト）は、ＰＡＤＩパケットの宛先等を変更することなく、現状のＰＰＰｏＥプロトコルで規定されているフォーマットのまま送信することができる。
　このように、実施形態１によれば、ＯｐｅｎＦｌｏｗプロトコルを利用することで、ＰＰＰｏＥプロトコルを変更することなく、ＰＡＤＩパケットを集約することができる。よって、ＯＦＣにおいて、集約したＰＡＤＩパケットの転送先を決めることができるので、結果として、ＯＦＣによるＢＲＡＳの負荷分散が可能となる。
　図５において、仮想マシンＶＭ１１～ＶＭ１３の各々は、ＯＶＳ１のポート（不図示）にそれぞれ接続され、ＯＶＳ１の対応する出力ポート（不図示）から転送されるパケットを入力する。仮想マシンＶＭ１１～ＶＭ１３の各々からの出力パケットは、ＯＶＳ１の対応する入力ポート（不図示）に入力される。仮想マシンＶＭ２１～ＶＭ２３の各々は、ＯＶＳ２のポート（不図示）にそれぞれ接続され、ＯＶＳ２の対応する出力ポート（不図示）から転送パケットを入力し、仮想マシンＶＭ２１～ＶＭ２３の各々からの出力パケットは、ＯＶＳ２の対応する入力ポート（不図示）に入力される。同様に、仮想マシンＶＭ３１～ＶＭ３３の各々は、ＯＶＳ３のポート（不図示）にそれぞれ接続され、ＯＶＳ３の対応する出力ポート（不図示）から転送パケットを入力し、仮想マシンＶＭ３１～ＶＭ３３の各々からの出力パケットは、ＯＶＳ３の対応する入力ポート（不図示）に入力される。なお、図５の例では、仮想マシンＶＭ１１～ＶＭ３３、ＯＶＳ１～ＯＶＳ３が１つのサーバ上のハイパーバイザ等のＶＭＭ（制御部２４０）上で仮想化されている構成とされているが、かかる構成に制限されるものでないことは勿論である。例えば、仮想マシンＶＭ１１～ＶＭ１３、ＯＶＳ１が、１つのサーバ上のハイパーバイザ等のＶＭＭ上で仮想化され、仮想マシンＶＭ２１～ＶＭ２３、ＯＶＳ２が他の１つのサーバのＶＭＭ上で仮想化され、仮想マシンＶＭ３１～ＶＭ３３、ＯＶＳ３がさらに他の１つのサーバのＶＭＭ上で仮想化される構成としてもよい。
　図５に示すように、ＯＶＳ１～ＯＶＳ３は、コントロールプレーン２２２で、それぞれＯＦＣ２００に接続される。ＯＶＳ１～ＯＶＳ３は、データプレーン２２１で、事業者ＩＰ網を構成するＬ２ネットワーク２ＡのＬ２スイッチ（Ｌ２ＳＷ）に接続される。ＯＦＣ２００は、マネージメントプレーン２３３で仮想マシン（ＶＭ１１～ＶＭ３３）と接続される。ＳＤＮでは、ソフトウェアによって抽象化された「プレーン（ｐｌａｎｅ）」という単位でネットワーキング機能を分離しており、ネットワークトポロジの設定や管理を動的に行うコントロールプレーン、パケット転送を行うフォワーディングプレーン、ネットワーク機器の管理を行うマネージメントプレーン、ネットワークサービスを管理するサービスプレーン等を含む。なお、図５では、仮想マシンＶＭ２３０が各ＯＶＳ２２０に３台接続された構成が示されているが、ＯＶＳ２２０に接続されるＶＭの個数等はかかる構成に制限されるものでないことは勿論である。またＯＶＳ２２０に接続される仮想マシンＶＭの個数は、ＯＶＳ毎に異なっていてもよい。
　図５に例示した構成では、ＯＶＳがＰＡＤＩパケットを受信すると、Ｐａｃｋｅｔ－Ｉｎの仕組みを用いて、ＯＦＣにＰＡＤＩパケットを集約することが可能になる。よって、上述したように、ＰＰＰｏＥプロトコルを変更する必要がないだけでなく、Ｌ２ネットワークのアーキテクチャや、Ｌ２スイッチに対する変更を行うことなく、ＢＲＡＳの負荷分散を行うことができる。
　図６は、図５のＯＦＣ２００の構成の一例を例示した図である。図６を参照すると、ＯＦＣ２００は、フローエントリ作成部２０１、経路計算部２０２、メッセージ送信部２０３、Ｐａｃｋｅｔ－Ｉｎ識別部２０４、ブロードキャストパケット（Ｂｒｏａｄｃａｓｔ　Ｐａｃｋｅｔ）検出部２０５、タイマ２０６、ＶＭ負荷情報取得コマンド送信部２０７、ＶＭ負荷情報受信部２０８、ＶＭ選択部２０９、ＯＶＳとの間の通信を行うインタフェースであるノード通信部２１１、ＶＭとの間の通信を行うインタフェースであるＶＭ通信部２１２、ネットワークのトポロジ情報を記憶管理するためのトポロジ情報記憶部２１３、ユーザ情報（例えば図１の加入者の端末１１１～１１ｎの情報）を記憶するユーザ情報記憶部２１４を備えている。これらの各部２０１～２１２はＯＦＣ２００を構成するコンピュータで実行されるプログラムによりその機能を実現するようにしてもよい。
　Ｐａｃｋｅｔ－Ｉｎ識別部２０４は、ＯＶＳ（図５の２２０）からセキュアチャネルで送られたＰａｃｋｅｔ－Ｉｎメッセージを識別する。なお、Ｐａｃｋｅｔ－Ｉｎ識別部２０４にて、Ｐａｃｋｅｔ－Ｉｎメッセージを検出すると、当該受信パケットのパケット転送経路を計算するために、経路計算部２０２等に通知される。
　ブロードキャストパケット検出部２０５は、Ｐａｃｋｅｔ－Ｉｎ識別部２０４でＰａｃｋｅｔ－Ｉｎと識別されたメッセージから、Ｐａｃｋｅｔ－Ｉｎメッセージを送信したＯＶＳで受信されたパケットがＰＡＤＩパケットであるか否か（ＰＡＤＩパケット受信の有無）判別する。
　図２７に、ＰＡＤＩパケットのパケットフォーマットの例を示す（詳細は非特許文献１参照）。ＰＡＤＩパケットにおいて、
・Ｅｔｈｅｒｎｅｔ（登録商標）フレームの宛先ＭＡＣアドレス（Ｄｅｓｔｉｎａｔｉｏｎ　Ａｄｄｒｅｓｓ）はブロードキャストアドレス（４８ビット全て１＝０ｘｆｆｆｆｆｆｆｆｆｆｆｆ：０ｘは１６進を表す）、
・送信元ＭＡＣアドレス（ＳＯＵＲＣＥ＿ＡＤＤＲ）には、送信元のＭＡＣアドレス、
・ＥＴＨＥＲ＿ＴＹＰＥは、０ｘ８８６３（ディスカバリステージ）とされる。
・ＶＥＲフィールド（Ｖ）は４ビット長でＰＰＰｏＥのバージョンでは０ｘ１、
・ＴＹＰＥフィールド（Ｔ）は４ビット長でＰＰＰｏＥのバージョンでは０ｘ１、
・ＣＯＤＥフィールドは８ビット長で、ディスカバリおよびＰＰＰセッションステージのために定義される。
・ＳＥＳＳＩＯＮ＿ＩＤフィールドは、１６ビット長で符号無しの値で表され、
・ＬＥＮＧＴＨフィールドは１６ビット長、ＰＰＰｏＥペイロードの長さ、
・ＴＡＧ＿ＴＹＰＥは１６ビット長のフィールドでＴＡＧ＿ＴＹＰＥとＴＡＧ＿ＶＡＬＵＥを記述し、
・ＴＡＧ＿ＬＥＮＧＴＨは１６ビット長のフィールドである。
　再び図６を参照すると、ブロードキャストパケット検出部２０５は、Ｐａｃｋｅｔ－Ｉｎメッセージが、ＯＶＳでのＰＡＤＩパケットの受信を通知するものであることを検出すると、タイマ２０６による計時をスタートさせ、タイムアウトが発生するまで、他のＯＶＳからのＰＡＤＩパケット受信の通知を待つ。
　特に制限されないが、ブロードキャストパケット検出部２０５では、最初のＰＡＤＩパケット受信の通知であるか否かは、タイマ２０６が計時中であるか、ストップしているか（タイマ２０５の動作状態）で判断することができる。タイマ２０５が計時動作中は、不図示の動作フラグ（例えば１ビット）をオンとし、停止中は不図示の動作フラグはオフされる。
　なお、他のＯＶＳも、最初にＰＡＤＩパケット受信を通知したＯＶＳと同一の送信元（クライアント１のルータ）からＬ２ネットワーク２Ａを介してブロードキャストされたＰＡＤＩパケットの受信通知をＰａｃｋｅｔ－ＩｎメッセージでＯＦＣ２００に対して行う。ブロードキャストパケット検出部２０５でＰＡＤＩパケット受信を検出しても、タイマ２０６が計時中であるときは、ブロードキャストパケット検出部２０５は、タイマ２０６のスタート等は行わない。
　タイマ２０６においてタイムアウトが発生すると、これに応答して、ＶＭ負荷情報取得コマンド送信部２０７は、仮想マシン（ＶＭ）に対して、ＶＭ負荷情報を取得するためのＶＭ負荷情報取得コマンド（メッセージ）を送信する。ＶＭ負荷情報取得コマンドは、ＶＭ通信部２１２を介してマネージメントプレーン２２３から、仮想マシン（ＶＭ）２３０に送信される。
　なお、本実施形態では、タイマのタイムアウト発生時等に、ＶＭ負荷情報取得コマンド（メッセージ）を送信して仮想マシンＶＭの最新の負荷を取得するようにしているが、本発明はかかる構成に制限されるものでないことは勿論である。例えば、ＶＭ負荷情報取得コマンド送信部２０７は、事前に、周期的なポーリング等によるＶＭ負荷情報取得コマンドの送信、あるいは、ＶＭ側からの定期的な負荷情報のＯＦＣ側へのアップロード等により、ＶＭ負荷情報受信部２０８でＶＭ負荷情報を取得するようにしてもよい。
　ＶＭ負荷情報受信部２０８は、ＶＭ２３０から送信された負荷情報を、ＶＭ通信部２１２を介して受信し、ＶＭ選択部２０９に、ＶＭ負荷情報を入力する。
　ＶＭ選択部２０９は、ＶＭ通信部２１２からのＶＭ負荷情報に基づき、例えば現在、負荷が最も少ない仮想マシン（ＶＭ）を選択する。特に制限されないが、ＶＭ負荷情報は、ＢＡＳを構成するＶＭでの例えば単位時間あたりの処理（例えば認証処理）件数や、所定時間あたりの累積処理件数、あるいはその他の統計情報等を含むようにしてもよい。
　ＶＭ選択部２０９は、選択した仮想マシン（ＶＭ）の情報を、経路計算部２０２に通知する。経路計算部２０２は、トポロジ情報記憶部２１３から、選択した仮想マシン（ＶＭ）に接続するＯＶＳを特定し、メッセージ送信部２０３は、ノード通信部２１１を介して当該ＯＶＳに対して、Ｐａｃｋｅｔ－Ｏｕｔメッセージを転送し当該ＯＶＳで受信したＰＡＤＩパケットの転送を指示する（転送先の物理ポート番号）。ＯＦＣ２００からＰａｃｋｅｔ－Ｏｕｔメッセージを受信した当該ＯＶＳは、指定されたポートからＰＡＤＩパケットを出力することで、該ＰＡＤＩパケットを、選択されたＶＭに転送する。
　ＯＦＣ２００において、Ｐａｃｋｅｔ－Ｉｎ識別部２０４でＯＶＳ（図６の２２０）から送信されたＰａｃｋｅｔ－Ｉｎメッセージを識別し、ブロードキャストパケット検出部２０５においてＰＡＤＩパケットを検出しない場合（ＯＶＳで受信したパケットがＰＡＤＩパケットでない場合）には、ＯＦＣの経路計算部２０２が経路を計算し、フローエントリ作成部２０１がフローエントリを作成し、メッセージ送信部２０３はＰａｃｋｅｔ－Ｏｕｔメッセージを送信する。
　本実施形態では、ＯＦＣ２００のブロードキャストパケット検出部２０５は、ＯＶＳから当該ＯＶＳでのＰＡＤＩパケット受信を通知するＰａｃｋｅｔ－Ｉｎメッセージを、最初に受信してから、予め定められた所定の期間（すなわち、タイマ２０６でタイムアウト発生までの時間）、他のＯＶＳからのＰＡＤＩ受信を通知するＰａｃｋｅｔ－Ｉｎメッセージの到着を待つ。そして、タイマ２０６でのタイムアウトが発生すると、タイマ２０６による計時期間中に、Ｐａｃｋｅｔ－ＩｎメッセージによりＰＡＤＩパケット受信を通知したＯＶＳに接続する複数の仮想マシンに対して、ＶＭ負荷情報取得コマンド送信部２０７が、ＶＭ通信部２１２、マネージメントプレーン２２３を介してＶＭ負荷取得コマンド（Ｇｅｔ　ＶＭ　ｌｏａｄ）を送信する。あるいは、タイマ２０６で計時がスタートしてからタイムアウトが発生するまでの間に、ＰＡＤＩパケットの受信の通知を送信しないＯＶＳに接続する仮想マシン（ＶＭ）に対してもＶＭ負荷情報取得コマンドを送信するようにしてもよい。ＶＭ負荷取得コマンド（Ｇｅｔ　ＶＭ　ｌｏａｄ）は、マネージメントプレーン２２３上をマルチキャスト転送してもよい。
　本実施形態において、特に制限されないが、タイマ２０６のタイムアウト時間は、Ｌ２ネットワーク２Ａ等におけるブロードキャストパケット転送の最大遅延等を考慮した値に設定するようにしてもよい。タイマ２０６の管理により、ＯＦＣ２００において、１つのＯＶＳからのＰＡＤＩパケット受信の通知（Ｐａｃｋｅｔ－Ｉｎメッセージ）を受信後、他のＯＶＳからのＰＡＤＩパケット受信の通知をいつまでもウェイトすることによるアクセス性能の低下、レスポンス時間の増大を回避している。また、ＯＦＣ２００は、複数のＯＶＳのうちＰＡＤＩパケットを受信したＯＶＳを的確に把握することができる。
　図７は、図５において、Ｌ２ネットワーク２ＡからＯＶＳ１にＰＡＤＩパケットが最初に到着し、ＯＶＳ１において、フローエントリテーブルに登録されていないパケットであるため、ＯＶＳ１がＯＦＣ２００にＰａｃｋｅｔ－Ｉｎメッセージを送信している状態を模式的に示している。つづいて、Ｌ２ネットワーク２ＡからのＰＡＤＩパケットがＯＶＳ２、ＯＶＳ３の順で到着し、ＯＶＳ２、ＯＶＳ３はそれぞれ、ＯＦＣ２００にＰａｃｋｅｔ－Ｉｎメッセージを送信することになる。ＯＦＣ２００は、図６のタイマ２０６でタイムアウト発生前に、ＯＶＳ２、３からＰａｃｋｅｔ－Ｉｎメッセージを受信した場合、ＯＶＳ１、ＯＶＳ２、ＯＶＳ３にそれぞれ接続する仮想マシン（ＶＭ１１～ＶＭ１３、ＶＭ２１～ＶＭ２３、ＶＭ３１～ＶＭ３３）に対して、ＶＭ負荷情報取得コマンド（Ｇｅｔ　ＶＭ　Ｌｏａｄ）を送信する。
　ＯＦＣ２００において、図６のタイマ２０６で計時開始後、タイムアウト発生前に、ＯＶＳ２からＰａｃｋｅｔ－Ｉｎメッセージを受信した場合、前述したように、ＯＦＣ２００は、ＯＶＳ１、ＯＶＳ２に接続する仮想マシン（ＶＭ１１～ＶＭ１３、ＶＭ２１～ＶＭ２３）に対してだけ、ＶＭ負荷情報取得コマンド（Ｇｅｔ　ＶＭ　Ｌｏａｄ）を送信するようにしてもよい。この場合、ＯＦＣのＶＭ選択部２０９は、仮想マシン（ＶＭ１１～ＶＭ１３、ＶＭ２１～ＶＭ２３）から受信したＶＭ負荷情報に基づき、仮想マシン（ＶＭ１１～ＶＭ１３、ＶＭ２１～ＶＭ２３）のうち、最小又はそれに準ずる負荷の仮想マシンを１つ選択する。なお、ＶＭ選択部２０９でのＶＭの選択は、負荷情報だけでなく、仮想マシンに割当てられているハードウェアリソースの容量（メモリ、ストレージ）、処理性能（割当てられているＣＰＵ）等を勘案して決定してもよいことは勿論である。
　図８は、本実施形態の動作シーケンスの一例を例示する図である。ルータ、Ｌ２ＮＷ、ＯＶＳ１、ＯＶＳ２、ＶＭ１、ＶＭ２、ＯＦＣは、図７のクライアント（加入者宅）のルータ１０、Ｌ２ネットワーク２Ａ、ＯＶＳ１、ＯＶＳ２、仮想マシンＶＭ１１～ＶＭ１３（及びその中の選択された１つ）、仮想マシンＶＭ２１～ＶＭ２３、ＯＦＣに対応している。なお、図８では、単に図面作成の都合で、図７のＯＶＳ３は省略している。図８には、各シーケンスの番号が付されており、以下の説明では、文末の括弧内の数字は当該シーケンスの番号を指示する。
　ＰＰＰｏＥクライアントであるルータからＰＡＤＩパケットがＬ２ＮＷに転送される（１）。
　Ｌ２ＮＷは、ＰＡＤＩパケットをブロードキャスト転送し、最初にＯＶＳ１に到着する（２）。
　ＯＶＳ１では、受信したＰＡＤＩパケットのヘッダ情報を、ＯＶＳ１が保持するフローテーブルのフローエントリの条件と照合し、一致するものがないため、Ｐａｃｋｅｔ－ＩｎメッセージをＯＦＣに送信する（３）。
　ＯＶＳ１へのＰＡＤＩパケットの到着に遅れて、ＯＶＳ２にもＰＡＤＩパケットが到着し（４）、ＯＶＳ２では、受信したＰＡＤＩパケットのヘッダ情報をフローテーブルのフローエントリの条件と照合し、一致するものがないため、Ｐａｃｋｅｔ－ＩｎメッセージをＯＦＣに送信する（５）。
　ＯＦＣは、ＯＶＳ１からのＰａｃｋｅｔ－Ｉｎメッセージを受信し、ブロードキャストパケット（ＰＡＤＩ）の受信であることを検出する（６）。ＯＦＣは、タイマ（図６の２０６）での計時を開始し、タイムアウトが発生するまでウェイトする（７）。このウェイト間に、ＯＦＣは、シーケンス番号５でＯＶＳ２から送信されたＰａｃｋｅｔ－Ｉｎメッセージを受信する。
　ＯＦＣは、タイマ（図６の２０６）でタイムアウトが発生すると（一定時間経過後）、ＶＭ負荷情報を取得する（８）。すなわち、ＯＦＣは、ＶＭ負荷情報取得コマンド（Ｇｅｔ　ＶＭ　Ｌｏａｄ）をそれぞれ、仮想マシンＶＭ１（ＶＭ１１～ＶＭ１３）、ＶＭ２（ＶＭ２１～ＶＭ２３）に送信する（９、１０）。この場合、ＶＭ負荷情報取得コマンド（Ｇｅｔ　ＶＭ　Ｌｏａｄ）の送信先の仮想マシンを、ブロードキャストパケット検出部（図６の２０５）によるタイマ（図６の２０６）のスタートの契機となるＰＡＤＩ受信通知を行ったＯＶＳ１と、タイマ（図６の２０６）でのタイムアウト発生前にＰＡＤＩ受信通知を行ったＯＶＳ２に接続する仮想マシンＶＭ１（ＶＭ１１～ＶＭ１３）、ＶＭ２（ＶＭ２１～ＶＭ２３）に限定するようにしてもよい。すなわち、タイマ（図６の２０６）でのタイムアウト発生前にＰＡＤＩ受信通知を行わなかったＯＶＳに接続する仮想マシンを選択候補から外し、仮想マシン（ＶＭ）の選択範囲を絞り込むようにしてもよい。
　仮想マシンＶＭ１（ＶＭ１１～ＶＭ１３）、ＶＭ２（ＶＭ２１～ＶＭ２３）は、それぞれの負荷情報（ＶＭ負荷情報）をＯＦＣに送信する（１１、１２）。
　ＯＦＣは、仮想マシンＶＭ１（ＶＭ１１～ＶＭ１３）、ＶＭ２（ＶＭ２１～ＶＭ２３）からのＶＭ負荷情報に基づき、低負荷のＶＭを選択する（１３）。この場合、仮想マシンＶＭ１１～ＶＭ１３のうちの少なくとも１つを選択する。
　ＯＦＣは、選択した仮想マシンＶＭ１（ＶＭ１１～ＶＭ１３の少なくとも１つ）に接続する出力ポートに有するＯＶＳ１に対して、該ＯＶＳで受信したＰＡＤＩパケットの転送を指示する（１４）。すなわち、ＯＦＣは、Ｐａｃｋｅｔ－Ｏｕｔメッセージを、ＯＶＳ１に送信する（１５）。ＯＶＳ１は、Ｐａｃｋｅｔ－Ｏｕｔメッセージを受け、保持しておいたＰＡＤＩパケットを、仮想マシンＶＭ１１～ＶＭ１３のうちＯＦＣのＶＭ選択部（図６の２０９）で選択されたＶＭに転送する（１６）。この場合、ＯＦＣは、Ｐａｃｋｅｔ－Ｏｕｔメッセージに、ＯＦＣで選択されたＶＭの情報（選択されたＶＭに接続するＯＶＳのポート（出力ポート）の番号）を含ませ、ＯＶＳでは、ＶＭ１１～ＶＭ１３のうち選択された、ＶＭに接続する出力ポート（選択されたポート）から、ＶＭ宛にＰＡＤＩパケットを転送するようにしてもよい。例えば、ＯＦＣによってＶＭ１２が転送先として選択された場合には、ＯＦＣは、ＯＶＳ１に対して、ＶＭ１２に対応するポートから出力するように、Ｐａｃｋｅｔ－Ｏｕｔメッセージを用いて指示する。
　また、ＯＦＣは、Ｐａｃｋｅｔ－Ｏｕｔメッセージを利用せずに、選択されたＶＭに対して、直接ＰＡＤＩパケットを転送することもできる。
　さらに、ＯＦＣは、ＯＶＳに対して、ＰＡＤＩパケットの宛先ＭＡＣアドレスを、選択されたＶＭの宛先ＭＡＣアドレスに書き換えるような処理を規定したエントリを設定することも可能である。例えば、ＯＦＣによってＶＭ１２が転送先として選択された場合には、ＰＡＤＩパケットの宛先ＭＡＣアドレス（ブロードキャストアドレス）を、ＶＭ１２の宛先ＭＡＣアドレスに書き換える処理を規定したエントリを、ＯＶＳ１に設定する。このようにＯＶＳ１に対してエントリの設定を行うことで、ＰＡＤＩパケットの送信元クライアントから送信されるＰＡＤＩパケットは、すべてＶＭ１２に転送されるように設定することが可能となる。従って、ＰＡＤＩパケットの送信元クライアントのＰＰＰｏＥセッションの収容先となるＢＲＡＳを決定することができる。また、ＰＡＤＩパケットの送信元クライアントとのセッションが終了した後、再度セッション確立のためにＰＡＤＩパケットが送信されても、ＯＦＣ２００に対して再度Ｐａｃｋｅｔ－Ｉｎを送信することなく、ＰＡＤＩパケットを決定したＶＭに送信することができるので、ＯＦＣ２００に対する通信負荷を抑制することができる。また、この場合、ＢＲＡＳに対応するＶＭの起動が終了するなどして、機能しなくなった場合には、ＯＦＣ２００は、対応するＯＶＳに設定されているエントリを削除する。
　なお、図８には示されていないが、ＰＡＤＩパケットのＶＭへの送信後のシーケンスは、前述した図２のシーケンスに従う（ただし、新規パケットを受信したＯＶＳは、Ｐａｃｋｅｔ－ＩｎメッセージをＯＦＣに送信し、ＯＦＣからのＰａｃｋｅｔ－Ｏｕｔメッセージを受けてパケットを指定された出力ポートから転送する）。
　すなわち、ＰＡＤＩパケットを受信した仮想マシンＶＭからルータへの応答であるユニキャストパケットのＰＡＤＯパケット（図２参照）が、当該仮想マシンＶＭから、当該仮想マシンＶＭが接続するＯＶＳにデータプレーンで転送される。このＰＡＤＯパケットを受信したＯＶＳではフローエントリが見つからないため、ＯＦＣにＰａｃｋｅｔ－Ｉｎメッセージを送信する。ＯＦＣでは、当該ＰＡＤＯパケットのパケット転送経路（ＯｐｅｎＦｌｏｗネットワーク上でのパケット転送経路）を計算し、Ｐａｃｋｅｔ－Ｏｕｔメッセージを当該ＯＶＳに送信して、指定した物理ポートからのパケット転送を指示する。当該ＯＶＳは、仮想マシンＶＭから転送された当該ＰＡＤＯパケットをＬ２ネットワークに転送し、Ｌ２ネットワーク２Ａからルータ１０（図５参照）に転送される。ルータ１０（図５参照）からのユニキャストパケットのＰＡＤＲパケットは、Ｌ２ネットワーク２Ａから当該ＯＶＳに転送される。ＰＡＤＲパケットを受信したＯＶＳは、Ｐａｃｋｅｔ－ＩｎメッセージをＯＦＣに送信する。ＯＦＣは、Ｐａｃｋｅｔ－ＯｕｔメッセージをＯＶＳに送信し、ＯＶＳはＰＡＤＲパケットを、ＰＡＤＯパケットの送信元である仮想マシンＶＭに送信する。ＰＡＤＲパケットを受信した仮想マシンＶＭは、セッションＩＤを発行し、セッションＩＤを含むＰＡＤＳパケットを、当該ＶＭが接続するＯＶＳに送信する。ＰＡＤＳパケットを受信したＯＶＳでは、フローエントリが見つからないため、ＯＦＣにＰａｃｋｅｔ－Ｉｎメッセージを送信する。ＯＦＣでは、該ＰＡＤＳパケットのパケット転送経路を計算し、Ｐａｃｋｅｔ－ＯｕｔメッセージをＯＶＳに送信して指定した物理ポートからのパケット転送を指示する。ＯＶＳは、ＰＡＤＳパケットをＬ２ネットワーク２Ａ（図５参照）に転送し、ルータ１０に転送される。
＜変形例＞
　図９は、図６のＯＦＣの変形例の構成を示す図である。図９に示すＯＦＣ２００’では、図６のタイマ２０６が削除されている点が相違している。図９に示すＯＦＣ２００’において、他の構成は、図６に示したに示すＯＦＣ２００と同一である。以下では、図６との相違点について説明する。この変形例では、ＯＦＣ２００’において、ＯＶＳからＰＡＤＩパケットの新規受信を通知するＰａｃｋｅｔ－Ｉｎメッセージを受信し、ブロードキャストパケット検出部２０５がＰＡＤＩパケットの受信を検出すると、ＶＭ負荷情報取得コマンド送信部２０７がＶＭ負荷情報取得コマンドＧｅｔ　ＶＭ　Ｌｏａｄをマネージメントプレーン２２３からＶＭ（仮想マシン）に対して送信する。
　図１０は、図９の変形例のシーケンス動作を説明する図である。以下では、図８との相違点を説明する。
　図１０において、ＯＦＣでは、ＯＶＳ１からの新規ＰＡＤＩパケット受信を通知するＰａｃｋｅｔ－Ｉｎメッセージを受信する（６）と、他のＯＶＳからのＰＡＤＩパケット受信を通知するＰａｃｋｅｔ－Ｉｎメッセージの受信を待つことなく、ただちに、ＶＭ負荷情報を取得する（７）。ＯＦＣは、ＶＭ負荷情報取得コマンド（Ｇｅｔ　ＶＭ　Ｌｏａｄ）をＶＭ１（ＶＭ１１～ＶＭ１３）、ＶＭ２（ＶＭ２１～ＶＭ２３）に送信する（８、９）。
　すなわち、ＯＶＳ１へのＰＡＤＩパケットの到着に遅れて、ＯＶＳ２にもＰＡＤＩパケットが到着し（４）、ＯＶＳ２では、受信したＰＡＤＩパケットのヘッダ情報をフローテーブルのフローエントリの条件と照合し、一致するものがないため、Ｐａｃｋｅｔ－ＩｎメッセージでＯＦＣに新規パケットの受信を通知するが（５）、ＯＦＣは、ＯＶＳ２からのＰａｃｋｅｔ－Ｉｎメッセージで通知されたＰＡＤＩパケット受信に関する処理は行わない。
　ＶＭ１（ＶＭ１１～ＶＭ１３）、ＶＭ２（ＶＭ２１～ＶＭ２３）はそれぞれの負荷情報（ＶＭ負荷情報）をＯＦＣに送信する（１０、１１）。
　ＯＦＣは、ＶＭ負荷情報に基づき、低負荷のＶＭを選択する（１２）。この場合、ＯＦＣは、ＶＭ２１～ＶＭ２３のうちの少なくとも１つを選択する。ＯＦＣは、選択したＶＭに接続する出力ポートを有するＯＶＳ２に対してＰＡＤＩパケットの転送を指示する（１３）。すなわち、ＯＦＣは、Ｐａｃｋｅｔ－ＯｕｔメッセージをＯＶＳ２に送信する（１４）。ＯＶＳ２は、Ｐａｃｋｅｔ－Ｏｕｔメッセージを受け、保持しておいた受信ＰＡＤＩパケットを、ＶＭ２１～ＶＭ２３のうち、ＯＦＣのＶＭ選択部２０９で選択されたＶＭに接続する出力ポートから出力することで、選択されたＶＭに転送する（１５）。
　なお、上記実施形態では、ネットワーク機能を仮想化する例として、仮想スイッチＯＶＳ、仮想マシンＶＭへの適用例を説明した。しかしながら、スイッチは、仮想スイッチＯＶＳに限定されるものでなく、後述するように、実装置（通常装置）であるＯＦＳに適用可能であることは勿論である。
　また、ＢＲＡＳ機能（あるいはＢＡＳ機能）を仮想化した仮想マシン（ＶＭ）への適用に制限されるものでなく、ＢＲＡＳ機能を、複数の物理マシン（Ｐｒｏｃｅｓｓｏｒ　Ｅｌｅｍｅｎｔｓ）等に分散化した複数の処理単位で構成し、各処理単位に接続するポートを介してＯＦＳからＰＡＤＩパケットを送信する構成に対しても、上記実施形態とその変形例はそのまま適用可能である。
＜実施形態２＞
　図１１は、実施形態２を説明する図である。実施形態２は、複数のＡＤＳＬ回線をマルチプレクスするＤＳＬＡＭ２１’にＯｐｅｎＦｌｏｗ機能（ＯＦＳ）を搭載したものである。図１１において、ＯＦＣ２７は、例えばＤＳＬＡＭ２１’内のＯＦＳ（不図示）に対して、ＰＡＤＩパケット転送先のＢＲＡＳが動作する仮想マシン（ＶＭ）に対応するＶＬＡＮタグやポートＶＬＡＮを、ＰＡＤＩパケットのヘッダに設定して、ＢＲＡＳに転送する。仮想マシン（ＶＭ１）２３０１で動作するＢＲＡＳ１にＰＡＤＩパケットを送る場合、ＤＳＬＡＭ２１で、パケットヘッダにＶＬＡＮタグ（＝１）を付与する。
　ＯｐｅｎＦｌｏｗにおいて、パケットヘッダ（フレームヘッダ）のＶＬＡＮ　ＩＤフィールド（図２９参照）を修正するアクションとして、
　ＳＥＴ＿ＶＬＡＮ＿ＶＩＤ（指定ＶＬＡＮ　ＩＤでＶｌａｎ　Ｔａｇを追加・更新する処理）が定義されている。
　本実施形態において、ＤＳＬＡＭ２１’内のＯＦＳのフローテーブルに、ＰＡＤＩパケットの条件にマッチするアクションとしてＳＥＴ＿ＶＬＡＮ＿ＶＩＤを、ＯＦＣから設定しておき、ＯＦＳでは、ＰＡＤＩパケットに、ＶＬＡＮ　ＩＤを設定して転送するようにしてもよい。なお、仮想マシン（ＶＭ１）２３０１、２３０２、２３０３の各仮想マシンは、それぞれ１台に限定されるものでなく、図５のように、複数の仮想マシンを並列接続してもよい。
　図１２（Ａ）は、図１１のＤＳＬＡＭ２１’の構成の一例を示す図である。ＤＳＬＡＭ２１’において、ＡＴＭ（Ａｓｙｎｃｒｏｎｏｕｓ　Ｔｒａｎｓｆｅｒ　Ｍｏｄｅ）スイッチ２１－１は、複数のＡＤＳＬ回線１５１～１５ｎ（ｎは２以上の整数）からのＡＴＭセルの切換え（スイッチング）を行う。ＡＴＭ－Ｅｔｈｅｒ変換部２１－２は、ＡＴＭセルとＥｔｈｅｒｎｅｔ（登録商標）フレームのプロトコル変換を行う。ＯｐｅｎＦｌｏｗ機能として、ＯＦＳ２１－４は、ＡＴＭ－Ｅｔｈｅｒ変換部２１－２でＥｔｈｅｒフレームに変換されたパケットを受けると、当該パケットに対応するフローエントリがフローエントリに登録されていない場合、Ｐａｃｋｅｔ－ＩｎメッセージをＯＦＣ２７に送信する。ＯＦＣ２７が、パケット転送先を決定し、Ｐａｃｋｅｔ－ＯｕｔメッセージをＯＦＳ２１－４に送信し、ＯＦＳ２１－４に対して、指定ポートからＰＡＤＩパケットの転送を指示する。なお、ＯＦＳを複数備えた構成としてもよいことは勿論である。またＤＳＬＡＭ２１’を仮想マシン上に実装してもよい。さらに、ＯＦＣ２１－４を仮想スイッチ（ＯＶＳ）で実装する構成としてもよい。
　図１２（Ｂ）は、図１等の関連技術のＤＳＬＡＭ２１の構成を示す図である。ＤＳＬＡＭ２１は、ＡＴＭスイッチ２１－１と、ＡＴＭ－Ｅｔｈｅｒ変換部２１－２と、インタフェース部２１－３を備えている。インタフェース部２１－３は例えば１０ＢＡＳＥ－Ｔや１００ＢＡＳＥ－ＴＸ等のＥｔｈｅｒｎｅｔ（登録商標）に接続される送受信インタフェースである。
　本実施形態によれば、事業者網をいくつかのＶＬＡＮ（例えば図１１では３つのＶＬＡＮ）に分割し、ＤＳＬＡＭ２１’において、ブロードキャストパケット（ＰＡＤＩ）転送先のＶＬＡＮを、ブロードキャストパケットのヘッダ（フレームヘッダ）のＶＬＡＮ　ＩＤフィールドに設定して転送することで、ＢＲＡＳ／ＢＡＳの負荷分散に貢献する。
＜実施形態３＞
　図１３は、実施形態３を説明する図である。実施形態３では、ネットワーク、仮想マシンの負荷分散を行うロードバランサ（ＬＢ）２８を備えている。実施形態３においても、前記実施形態２と同様、ＤＳＬＡＭ２１"に、ＯｐｅｎＦｌｏｗ機能を載せる。ＤＳＬＡＭ２１"に搭載されるＯＦＳ（不図示）は、仮想スイッチＯＶＳとして実装してもよい。
　なお、本実施形態において、ロードバランサ（ＬＢ）２８は、複数の仮想マシンを順繰りに割り当てるラウンドロビン方式や、仮想マシンの負荷のモニタ結果等に基づき決定する動的割り当て方式等により、ＰＡＤＩパケットの転送先の仮想マシン（ＶＭ）を決定する。ロードバランサ（ＬＢ）２８は、サーバ上の仮想マシンに実装してもよいことは勿論である。
　図１３において、クライアント１からのＰＡＤＩがＤＳＬＡＭ２１"に入力されると、ＤＳＬＡＭ２１"のＯＦＳ（不図示）は、ＯＦＣ２７にＰａｃｋｅｔ－Ｉｎメッセージを送信し、ＯＦＣ２７は、ＤＳＬＡＭ２１"のＯＦＳ（不図示）に対して、ＰＡＤＩパケットをロードバランサ（ＬＢ）２８へ転送するように指示する。この場合、ＯＦＳのフローテーブルに、ＰＡＤＩパケットを入力した場合、ロードバランサ（ＬＢ）に接続するポートから転送するという処理（アクション）規則を規定したフローエントリを追加するようにしてもよい。ロードバランサ（ＬＢ）２８は、ＯＦＳから転送されたＰＡＤＩパケットを、選択した仮想マシンに転送する。
　図１４は、図１３のＤＳＬＡＭ２１"の構成例を示す図である。図１４を参照すると、図１２（Ａ）のＤＳＬＡＭ２１’に対して、ＤＳＬＡＭ２１”のＯＦＳ２１－４がロードバランサ（ＬＢ）２８に接続するポートを有している。図１４において、ＡＤＳＬ回線１５からＰＡＤＩパケットがＤＳＬＡＭ２１"に入力されると、ＤＳＬＡＭ２１"のＯＦＳ２１－４は、ＯＦＣ２７にＰａｃｋｅｔ－Ｉｎメッセージを送信する。ＯＦＣ２７は、ＰＡＤＩパケットをロードバランサ（ＬＢ）２８へ転送するようにＯＦＳ２１－４に指示する。ロードバランサ（ＬＢ）２８は、ＯＦＳ２１－４から転送されたＰＡＤＩパケットを、選択した仮想マシン２３０に転送する。なお、ＯＦＣ２７は、ＯＦＳ２１－４から送信されるＰａｃｋｅｔ－Ｉｎメッセージが、ＯＦＳ２１－４でのＰＡＤＩパケット受信の通知でない場合には（すなわちＰＡＤＩパケット以外のパケット受信を通知するものである場合）、Ｐａｃｋｅｔ－ＯｕｔメッセージをＯＦＳ２１－４に転送し、当該受信パケットをロードバランサ（ＬＢ）２８に転送することなく、直接、宛先の仮想マシン（ＶＭ）に転送するようにＯＦＳ２１－４に指示する。
　なお、本実施形態において、ロードバランサ（ＬＢ）２８は、ＯＦＳ２１－４からフロー毎のフローエントリの統計情報を取得し、フローの負荷等に基づき、負荷の最も少ないフローの仮想マシン（ＶＭ）をＰＡＤＩパケットの転送先に決定するようにしてもよい。
　本実施形態によれば、ＯｐｅｎＦｌｏｗスイッチで受け取ったＰＡＤＩパケットは専用のロードバランサ（ＬＢ）に転送され、ロードバランサ（ＬＢ）で負荷分散を考慮したＰＡＤＩパケットの転送先が決定される。ロードバランサ（ＬＢ）を別途備えた分、負荷分散の効果を高めることができる。またＯＦＣへの負荷の集中も回避することができる。
＜実施形態４＞
　図１５は、実施形態４を説明する図である。図１５を参照すると、ＤＳＬＡＭ２１'''にロードバランス機能（ＬＢ）２８’を搭載している。ＤＳＬＡＭ２１'''は、ブロードキャストパケット（例えばＰＡＤＩパケット）を受信すると、ロードバランス機能（ＬＢ）２８’の制御に基づき、ＰＡＤＩパケット転送先の仮想マシン（ＶＭ）を選択し、選択した仮想マシン（ＶＭ）にＰＡＤＩパケットを転送する。ＤＳＬＡＭ２１'''は、例えばＰＡＤＩパケット以外のパケットをＡＤＳＬ回線（１５１～１５ｎ）から受信した場合、ロードバランス機能（ＬＢ）２８’の制御を受けることなく、パケットのヘッダで指定される宛先の仮想マシン（ＶＭ）に転送するようにしてもよい。
　図１６は、実施形態４のＤＳＬＡＭ２１'''の構成を例示する図である。図１６を参照すると、図１２（Ｂ）のＤＳＬＡＭ２１に、ロードバランサ（ＬＢ）２８’を備えている。ロードバランサ（ＬＢ）２８’は、選択した仮想マシン宛に、ＰＡＤＩパケットを送信するように、インタフェース回路（ＩＦ）２１－３を制御する。
　本実施形態によれば、負荷分散を考慮してブロードキャストパケットの転送先を決定することができる。ＯｐｅｎＦｌｏｗネットワークを具備せず、構成を簡易化することができる。
＜実施形態５＞
　図１７は、実施形態５を説明する図である。実施形態５では、ロードバランサ（ＬＢ）２８をＤＳＬＡＭ２１の後段に備えている。ＤＳＬＡＭ２１から出力されるＰＡＤＩパケットは、ロードバランサ（ＬＢ）２８で選択された仮想マシン（ＶＭ）宛てに転送される。ロードバランサ（ＬＢ）２８は、複数の仮想マシン（ＶＭ）２３０１～２３０３を順繰りに割り当てるラウンドロビン方式や、仮想マシン２３０１～２３０３の負荷のモニタ結果等に基づき決定する動的割り当て方式等により、ＰＡＤＩパケットの転送先の仮想マシン（ＶＭ）２３０１～２３０３を決定する。ロードバランサ（ＬＢ）２８はサーバ上の仮想マシンに実装してもよいことは勿論である。
　本実施形態によれば、ブロードキャストパケットの転送先を負荷分散を考慮して決定することができる。ロードバランサを仮想化せず、専用装置で構成した場合、処理の高速化を図ることができる。
＜実施形態６＞
　図１８は、実施形態６の構成を示す図である。図１８を参照すると、Ｌ２ネットワーク３１とＯｐｅｎＦｌｏｗネットーク３２の境界にＯＦＳ１、ＯＦＳ２、ＯＦＳ３が配置されている。ＯｐｅｎＦｌｏｗネットーク３２の端部ノードＯＦＳ７、８にサーバ等のＨＯＳＴ１、２、３が接続されている。ＯｐｅｎＦｌｏｗネットーク３２のＯＦＳ１～ＯＦＳ８はＯＦＣ３００で一元的に管理される。
　図１９は、Ｌ２ネットワーク３１からのブロードキャストパケットＢＰがＯｐｅｎＦｌｏｗネットーク３２に転送される様子を模式的に示す図である。ＯＦＳ１は、ブロードキャストパケットＢＰを受信し、該当するフローエントリが見つからないためＰａｃｋｅｔ－ＩｎメッセージをＯＦＣ３００に送信し、該ブロードキャストパケットＢＰに対するフローの設定（経路計算）を依頼する。ＯＦＳ２、ＯＦＳ３では、ブロードキャストパケットＢＰを受信し、該当するフローエントリが見つからないためＰａｃｋｅｔ－ＩｎメッセージをＯＦＣ３００に送信し、経路計算を依頼する。ＯＦＣ３００では、ＯＦＳの負荷情報に基づき、ＯＦＳを選択し（例えばＯＦＳ１）、ブロードキャストパケットＢＰを転送するフロー（経路）を計算し、経路上のＯＦＳにフローエントリを設定し（ＦｌｏｗＭｏｄｉｆｙメッセージをＯＦＳ４、ＯＦＳ７に送信）、選択したＯＦＳ１にＰａｃｋｅｔ－Ｏｕｔメッセージを送信する。非選択のＯＦＳ２とＯＦＳ３には、Ｐａｃｋｅｔ－Ｏｕｔメッセージを送信しない。Ｐａｃｋｅｔ－Ｏｕｔメッセージを受信したＯＦＳ１は、指定された出力ポートからブロードキャストパケットＢＰをＯＦＳ４に転送する。さらにブロードキャストパケットＢＰは、ＯＦＳ４からＯＦＳ７、８を介して、ＨＯＳＴ１、２、３に転送される。
　図２０は、実施形態６のＯＦＣ３００の構成を例示した図である。図２０を参照すると、ＯＦＣ３００は、フローエントリ作成部３０１、経路計算部３０２、メッセージ送信部３０３、Ｐａｃｋｅｔ－Ｉｎ識別部３０４、ブロードキャストパケット（Broadcast Packet）検出部３０５、タイマ３０６、ＯＦＳ負荷監視部３０７、ＯＦＳ選択部３０８、ＯＦＳとの間の通信を行うインタフェースであるノード通信部３０９、ネットワークのトポロジ情報を記憶管理するためのトポロジ情報記憶部３１１、ユーザ情報を記憶するユーザ情報記憶部３１３を備えている。
　ブロードキャストパケット検出部３０５でブローキャスト受信通知を最初に検出した場合、タイマ３０６をスタートさせ、タイマ３０６でのタイムアウト発生時に、ＯＦＳ負荷監視部３０７は、ＯＦＳ１、２、３に対して、ＯＦＳ負荷情報取得コマンドを送信し、ＯＦＳからフローエントリの統計情報（受信バイト数等）を取得することで、ＯＦＳの負荷を監視するようにしてもよい。
　あるいは、ＯＦＳ負荷監視部３０７は、ＯｐｅｎＦｌｏｗネットワーク３２を構成するＯＦＳ１～８に対して、ＯＦＳ負荷情報取得コマンドを送信してフロー別の負荷を導出するようにしてもよい。あるいは、ＯＦＳ負荷監視部３０７は、ＯＦＳからのＰａｃｋｅｔ－Ｉｎメッセージに、当該ＯＦＳからフローエントリの統計情報（受信パケット数、受信バイト数等）を含ませることで、通信量等の負荷情報を取得するようにしてもよい。
　あるいは、ＯＦＳ負荷監視部３０７は、ポーリング等により、周期的にＯＦＳの負荷情報を取得して記録しておき、タイマ３０６でのタイムアウト発生時に、ただちに、ＯＦＳの負荷情報をＯＦＳ選択部３０８に入力するようにしてもよい。
　ＯＦＳ選択部３０８は、Ｐａｃｋｅｔ－Ｉｎメッセージを送信したＯＦＳの中から、負荷の最小のＯＦＳを選択し、メッセージ送信部３０３は、ＯＦＳ選択部３０８で選択されたＯＦＳにＰａｃｋｅｔ－Ｏｕｔメッセージを送信する。また、経路計算部３０２は、選択されたＯＦＳからブロードキャストパケット転送先のＨＯＳＴ１、２、３への経路を計算し、フローエントリ作成部３０１がブロードキャストパケット転送経路上のＯＦＳに対するフローエントリを作成し、メッセージ送信部３０３を介して、フローエントリ設定コマンド（Flow-Modify）を、ブロードキャストパケット転送経路上のＯＦＳに送信する。なお、ブロードキャストパケット転送経路上のＯＦＳは、フローエントリ設定コマンド（Flow-Modify）を受け取り、フローエントリをフローテーブルに追加する。
　図２１は、実施形態６のシーケンス動作を説明する図である。Ｌ２ＮＷ、ＯＦＳ１、ＯＦＳ２／３、ＯＦＳ４－８、ＨＯＳＴ１－３、ＯＦＣは、図１９のＬ２ネットワーク３１、ＯＦＳ１、ＯＦＳ２／３、ＯＦＳ４－８、ＨＯＳＴ１－３、ＯＦＣ３００に対応している。図２１には、各シーケンスの番号が付されており、以下の説明では、文末の括弧内の数字は当該シーケンスの番号を指示する。なお、図２１では、ＯＦＳ負荷監視部３０７では、タイマ３０６でのタイムアウト発生時に、ＯＦＳの負荷情報を既に取得している場合も考慮して、ＯＦＳ負荷情報取得コマンドの送信のシーケンスは示されていない。
　ブロードキャストパケットがＬ２ネットワークに到着する（１）。
　Ｌ２ネットワークからのブロードキャストパケットがＯＦＳ１に到着する（２）。
　ＯＦＳ１はＰｃａｋｅｔ－ＩｎメッセージをＯＦＣに送信する（３）。
　Ｌ２ネットワークからのブロードキャストパケットがＯＦＳ２に到着する（４）。
　ＯＦＳ２はＰｃａｋｅｔ－ＩｎメッセージをＯＦＣに送信する（５）。　
　ＯＦＣでは、ＯＦＳ１はＰｃａｋｅｔ－Ｉｎメッセージを受信し、ＯＦＳ１でブロードキャストパケットを受信したことを検出すると、タイマ（図２０の３０６）をスタートさせる（６）。
　タイマ（図２０の３０６）でタイムアウトが発生すると（７）、ＯＦＣは、ＯＦＳの負荷監視結果からＯＦＳ１を選択し（８）、Ｐａｃｋｅｔ－ＯｕｔメッセージをＯＦＳ１に送信し、指定ポートからのブロードキャストパケットの転送を指示する（１０）。また、ＯＦＣは、当該ブロードキャストパケットの転送経路上のＯＦＳ４、７、８に対して、Ｆｌｏｗ－Ｍｏｄｉｆｙメッセージを送信し、ＯＦＳ４、７、８は、Ｆｌｏｗ－Ｍｏｄｉｆｙメッセージに基づき、それぞれ当該ブロードキャストパケットに対するフローエントリを、フローテーブルに設定する（９）。例えばＯＦＳ７のフローテーブルには、当該ＰＡＤＩパケットを受信すると、当該ＰＡＤＩパケットをＨＯＳＴ１、ＨＯＳＴ２、ＯＦＳ８にそれぞれ接続する３つの出力ポートから出力する処理（Ａｃｔｉｏｎｓ）のフローエントリが設定される。
　ＯＦＳ１は、ブロードキャストパケットを指定されたポートからＯＦＳ４に転送し（１１）、ブロードキャストパケットは、ＯＦＳ７、８を介して、ＨＯＳＴ１、２、３に転送される（１２）。
　上記シーケンス１１、１２において、ＯＦＳ４、７、８では、前段のＯＦＳから該ブロードキャストパケットを受信した場合、パケットヘッダが、ＯＦＣから設定されたフローエントリの照合欄（Match Field）とマッチするため、ＯＦＣに対してＰａｃｋｅｔ－Ｉｎメッセージを送信することなく、フローエントリの処理欄（Actions）（図２８参照）に従い、該ブロードキャストパケットを指定ポートから転送する。なお、境界のＯＦＳ１～３のうち、ＯＦＳ１以外のＯＦＳ２とＯＦＳ３にはＰａｃｋｅｔ－Ｏｕｔメッセージは送信されず、ＯＦＳ２とＯＦＳ３からはブロードキャストパケットは転送されない。
　上記実施形態６において、ＯＦＣ３００のＯＦＳ選択部３０８は、Ｐａｃｋｅｔ－Ｉｎメッセージでブロードキャストパケットの受信を通知したＯＦＳの中から選択されたＯＦＳ１はブロッドキャストパケットが入来したポートを除く転送可能状態（Forwarding状態）の全てのポートに転送するようにしてもよい。また後段のＯＦＳ４、７、８等も前段のＯＦＳからのブロッドキャストパケットが入来したポートを除く転送可能状態（Forwarding状態）の全てのポートに転送するようにしてもよい。
　実施形態６によれば、Ｌ２ネットワーク３１とＯｐｅｎＦｌｏｗネットワーク３２の境界のＯＦＳ１、２、３のうちの少なくとも１つを選択することで、ＯＦＳ１、２、３の各々がブロードキャストパケットを転送する場合と比べて、ＯｐｅｎＦｌｏｗネットワーク上を転送されるブロードキャストパケットのトラフィックを大幅に低減することができる。
＜変形例＞
　図２２は、実施形態６の変形例のＯＦＣの構成を示す図である。図２２を参照すると、この変形例のＯＦＣでは、図２０のタイマ３０６が削除されている。その他の構成は図２０と同一である。実施形態６では、ＯＦＣ３００は、最初にＯＦＳからブロードキャストパケットの受信が通知されるとタイマ３０６をスタートさせ、タイムアウト発生時に、ＯＦＳ負荷監視部３０７に通知し、ＯＦＳ選択部３０８でＯＦＳを選択している。
　これに対して、この変形例では、境界にあるＯＦＳから最初にブロードキャストパケットの受信が通知されると、境界にある他のＯＦＳからのブロードキャストパケットの受信が通知されることを待つことなく、ＯＦＳ負荷監視部３０７に通知し、ＯＦＳ選択部３０８でＯＦＳを選択する。この場合、Ｌ２ネットワーク３１とＯｐｅｎＦｌｏｗネットワーク３２の境界のＯＦＳ１～３のうち、いずれからかブロードキャストパケットの受信が通知されると、もっとも低負荷のＯＦＳを選択するようにしてもよい。あるいは、境界にあるＯＦＳから最初にブロードキャストパケットの受信が通知されると当該ＯＦＳを選択するようにしてもよい。この場合、ＯＦＳ負荷監視部３０７は不要とされる。
　図２３は、図２２を参照して説明した変形例の動作を説明する図である。以下、図２１との相違点について説明する。
　ＯＦＣでは、ＯＦＳ１からＰｃａｋｅｔ－Ｉｎメッセージを受信すると、ＯＦＳ２からＰｃａｋｅｔ－Ｉｎメッセージ（５）を待つことなく、ＯＦＳの負荷監視結果からＯＦＳ１を選択し（６）、Ｐａｃｋｅｔ－ＯｕｔメッセージをＯＦＳ１に送信する（８）。またＯＦＳは、ＯＦＳ４、７にＦｌｏｗ－Ｍｏｄｉｆｙメッセージを送信し、当該ブロードキャストパケットの転送経路を設定する（７）。ＯＦＳ１はブロードキャストパケットをＯＦＳ４に転送し（９）、ＯＦＳ７、８を介してＨＯＳＴ１、２、３に転送される（１０）。なお、境界のＯＦＳ１～３のうち、ＯＦＳ１以外のＯＦＳ２とＯＦＳ３には、Ｐａｃｋｅｔ－Ｏｕｔメッセージは送信されない。
　この変形例によれば、実施形態６と同様、Ｌ２ネットワーク３１とＯｐｅｎＦｌｏｗネットワーク３２の境界のＯＦＳ１、２、３のうちの少なくとも１つを選択することで、ＯＦＳ１、２、３の各々がブロードキャストパケットを転送する場合と比べて、ＯｐｅｎＦｌｏｗネットワーク上を転送されるブロードキャストパケットのトラフィックを大幅に低減することができる。さらに、実施形態２のタイマによる管理を不要としている。
＜実施形態７＞
　図２４は、本発明の実施形態７を説明する図である。図２４を参照すると、第１のネットワーク４１と、第２のネットワーク４２の境界に、スイッチＳＷ１、ＳＷ２、ＳＷ３がある。実施形態７の第２のネットワーク４２は、実施形態２のＯｐｅｎＦｌｏｗネットワークのＯＦＳ１～８を、Ｌ２スイッチ等のスイッチＳＷ１～ＳＷ８で置き換えたものである。スイッチＳＷ１～ＳＷ８は、入力ポートからブロードキャストパケットを受信すると、ブロードキャストパケット（ＢＰ）を複製し、複数のポートから出力する（例えば全ての出力ポートへフラッディング）。
　実施形態７では、コントローラ４００は、スイッチＳＷ１、ＳＷ２、ＳＷ３のうちの一つから、ブロードキャストパケットの受信が通知されると、例えば、スイッチＳＷ１、ＳＷ２、ＳＷ３の中の１つを選択し、残りを非選択とする。選択されたスイッチは、受信したブロードキャストパケットを例えばフラッディングする。一方、非選択とされたスイッチは、受信したブロードキャストパケットの転送は行わない。これにより、ネットワーク４２内におけるブロードキャスのあふれの発生を抑制することができる。図２４の例では、ＳＷ１から、ブロードキャストパケット受信の通知を受けたコントローラ（ＣＴＲＬ）４００は、ＳＷ１を選択する。コントローラ４００は、スイッチＳＷ２、ＳＷ３からも、ブロードキャストパケット受信の通知を受けるが、スイッチＳＷ２とＳＷ３は非選択とし、スイッチＳＷ２とＳＷ３からは、当該ブロードキャストパケットの転送は行われない。
　あるいは、例えばスイッチＳＷ１から、ブロードキャストパケット受信の通知を受けたコントローラ（ＣＴＲＬ）４００は、スイッチＳＷ１の特定の出力ポート（少なくとも１つの出力ポート）を選択するようにしてもよい。
　第１のネットワーク４１と第２のネットワーク４２はともにＬ２ネットワークからなる構成としてもよい。この場合、スイッチＳＷ１～Ｓ８は、第１のネットワーク４１のスイッチＳＷと同様、例えばＬ２スイッチからなる。
　図２５は、実施形態７のコンローラ４００の構成を例示する図である。コントローラ４００は、ポート／スイッチ（ＰＯＲＴ／ＳＷ）選択部４０１と、パケット受信検出部４０２と、スイッチ情報記憶部４０３を備えている。パケット受信検出部４０２は、例えばスイッチＳＷでブロードキャストパケット受信時に、スイッチＳＷから通知を受けることで、ブロードキャストパケット受信を検出する。
　ポート／スイッチ選択部４０１は、パケット受信検出部４０２におけるスイッチＳＷでのブロードキャストパケット受信の検出に応答して、スイッチ情報記憶部４０３を参照して、ブロードキャストパケットの転送先に応じて、スイッチＳＷ１～ＳＷ３の中から少なくとも１つのスイッチを選択し、残りのスイッチを非選択とする。あるいは、ポート／スイッチ選択部４０１は、スイッチ情報記憶部４０３を参照して、スイッチＳＷ１～ＳＷ３の中から、少なくとも１つのスイッチのポートを選択する。選択された少なくとも１つのスイッチは、ブロードキャストパケットを、例えば全てのポートから転送し、残りのスイッチは、ブロードキャストパケットを転送しない。あるいは、少なくとも１つの出力ポートが選択された少なくとも１つのスイッチは、選択された少なくとも１つの出力ポートから、ブロードキャストパケットを転送する。
　図２６は、実施形態７の動作を説明する図である。図２６において、ＮＷ、ＳＷ１、ＳＷ２／３、ＳＷ４－８、ＨＯＳＴ１－３、ＣＴＲＬは、図２４のネットワーク４１、スイッチＳＷ１、ＳＷ２／３、ＳＷ４－８、ホストＨＯＳＴ１－３、コントローラＣＴＲＬ４００にそれぞれ対応している。図２６には、各シーケンスの番号が付されており、以下の説明では、文末の括弧内の数字は当該シーケンスの番号を指示する。
　ブロードキャストパケットがネットワーク（ＮＷ）に到着する（１）。
　ＮＷからのブロードキャストパケットがスイッチＳＷ１に到着する（２）。
　ＳＷ１はブロードキャストパケット受信をコントローラ（ＣＴＲＬ）に通知する（３）。Ｌ２ネットワークからのブロードキャストパケットがスイッチＳＷ２に到着する（４）。スイッチＳＷ２はブロードキャストパケット受信をコントローラ（ＣＴＲＬ）に通知する（５）。　
　コントローラ（ＣＴＲＬ）は、例えばスイッチＳＷ１からブロードキャストパケット受信通知を受信すると、スイッチＳＷ１（又はポート）を選択する（６）。コントローラ（ＣＴＲＬ）は、ブロードキャストパケット転送指示をスイッチＳＷ１に送信する（７）。ＳＷ１はブロードキャストパケットを、スイッチＳＷ４に転送し（８）、スイッチＳＷ７、ＳＷ８を介してＨＯＳＴ１、２、３に転送される（９）。第１のネットワーク４１と第２のネットワーク４２の境界のスイッチＳＷ１、２、３のうち少なくとも１つ（又はスイッチＳＷの複数の出力ポートの中の少なくとも１つの出力ポート）を選択することで、スイッチＳＷ１、２、３のすべてがそれぞれの全出力ポートからブロードキャストパケットを転送する場合と比べて、ネットワーク上を転送されるブロードキャストパケットのトラフィックを大幅に低減し、ブロードキャストパケットでネットワーク（ブロードキャストドメイン）が溢れてしまうことを回避可能としている。
　なお、実施形態７において、実施形態６と同様、ポート／スイッチ選択部４０１は、スイッチＳＷ１～ＳＷ３の負荷に基づき低負荷のスイッチを選択するようにしてもよい。また、スイッチＳＷ１からブロードキャストパケット受信通知を受信すると、実施形態１と同様に、図２５のコンローラ４００においては、不図示のタイマをスタートさせ、タイマでのタイムアウト発生時に、スイッチの選択を行うようにしてもよい。
　また、ブロードキャストパケットのほか、例えばＩＰマルチキャストグループアドレスを用いたマルチキャストパケット（ネットワークのスイッチ、ルータ等でパケットを複製し複数受信者へ転送）についても、該パケットの転送経路情報、スイッチの接続情報等に基づき、スイッチＳＷ１～３の少なくとも１つを選択するようにしてもよい。
　以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、更なる変形・置換・調整を加えることができる。
　なお、上記非特許文献の開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得る各種変形、修正を含むことは勿論である。
１　加入者宅（加入者）
２　事業者網
３　インターネット
１０　ルータ
１１１～１１３　端末
１２　ＡＤＳＬモデム
１５、１５１～１５ｎ　ＡＤＳＬ回線
２０　ＢＡＳ／ＢＲＡＳ
２１、２１１～２１３、２１’、２１”、２１'''　ＤＳＬＡＭ
２１－１　ＡＴＭ－ＳＷ
２１－２　ＡＴＭ－Ｅｔｈｅｒ変換部
２１－３　ＩＦ
２１－４　ＯＦＳ
２２　コアネットワーク
２Ａ　Ｌ２ネットワーク
２３、２３１、２３３　エッジスイッチ
２４　集約スイッチ
２５　エッジルータ
２６　集約ノード
２７　ＯＦＣ
２８、２８’　ロードバランサ
３０１、３０２　ＩＳＰ（インターネットサービスプロバイダ）
３１１、３１２　ＲＡＤＩＵＳサーバ
３２　オープンフローネットワーク
４１　第１のネットワーク
４２　第２のネットワーク
２００、２００’、３００、３００’　ＯＦＣ
２０１、３０１　フローエントリ作成部
２０２、３０２　経路計算部
２０３、３０３　　メッセージ送信部
２０４、３０４　Ｐａｃｋｅｔ－Ｉｎ識別部
２０５、３０５　ブロードキャストパケット（Ｂｒｏａｄｃａｓｔ　Ｐａｃｋｅｔ）検出部
２０６、３０６　タイマ
２０７　ＶＭ負荷情報取得コマンド送信部
２０８　ＶＭ負荷情報受信部
２０９　ＶＭ選択部
２１１、３０９　ノード通信部
２１２　ＶＭ通信部
２１３、３１１　トポロジ情報記憶部
２１４、３１３　ユーザ情報記憶部
２２０　ＯＶＳ
２２１　データプレーン
２２２　コントロールプレーン
２２３　マネージメントプレーン
２３０、２３０１～２３０３　仮想マシン（ＶＭ）
２４０　制御部
２５０　サーバ
３０７　ＯＦＳ負荷監視部
３０８　ＯＦＳ選択部
４００　コントローラ（ＣＴＲＬ）
４０１　ポート／スイッチ選択部
４０２　パケット受信検出部
４０３　スイッチ情報記憶部
５００　通信制御装置
５０１　第一の手段（ユニット）
５０２　第二の手段（ユニット）
５０３　パケット（セッション確立用のパケット）
５０４１～５０４ｎ　経路
５０５１～５０５ｎ　ＶＭ（仮想マシン）
６００　通信制御装置
６０１　第一の手段（ユニット）
６０２　第二の手段（ユニット）
６０３　パケット（セッション確立用のパケット）
６０４　ネットワークスイッチ
６０５１～６０５ｎ　経路
６０６１～６０６ｎ　ＶＭ（仮想マシン）
７００　転送先絞り込み手段

Claims (43)

  1. 　通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムにおける通信制御装置であって、
    　前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットの転送先を、複数の前記仮想マシンから選択する第一の手段と、
    　前記パケットを、選択された仮想マシンに転送する第二の手段と
    　を有する通信制御装置。
  2. 　前記第一の手段は、前記通信制御装置に集約された前記パケットの転送先を、複数の前記仮想マシンから選択する
    　ことを特徴とする請求項１に記載の通信制御装置。
  3. 　前記第一の手段は、前記パケットを前記通信制御装置に集約する機能を有するネットワークスイッチから前記パケットを受信し、受信したパケットの転送先を、複数の前記仮想マシンから選択する
    　ことを特徴とする請求項１記載の通信制御装置。
  4. 　前記第一の手段は、前記パケットの転送先が複数の前記仮想マシン間で分散するように、前記パケットの転送先を選択する
    　ことを特徴とする請求項１乃至３のいずれか１項に記載の通信制御装置。
  5. 　前記第一の手段は、複数の前記仮想マシンの動作状況に応じて、前記パケットの転送先を選択する
    　ことを特徴とする請求項１乃至４のいずれか１項に記載の通信制御装置。
  6. 　前記第一の手段は、前記通信制御装置からの指示に応じて動作するネットワークスイッチから前記パケットを受信し、受信した前記パケットの転送先を、複数の前記仮想マシンから選択する
    　ことを特徴とする請求項１乃至５のいずれか１項に記載の通信制御装置。
  7. 　前記第一の手段は、前記パケットの処理方法に対応する指示が未知である場合に、前記ネットワークスイッチから前記パケットに関する指示の要求を受信し、当該要求に応じて、前記パケットの転送先を、複数の前記仮想マシンから選択する
    　ことを特徴とする請求項６に記載の通信制御装置。
  8. 　前記第一の手段は、前記ネットワークスイッチから、前記通信制御装置からの指示に従って転送された前記パケットを受信し、当該パケットの転送先を、複数の仮想スイッチから選択する
    　ことを特徴とする請求項６に記載の通信制御装置。
  9. 　通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムにおける通信制御方法であって、
    　前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットの転送先を、複数の前記仮想マシンから選択し、
    　前記パケットを、選択された仮想マシンに転送する
    　ことを特徴とする通信制御方法。
  10. 　通信制御装置に集約された前記パケットの転送先を、複数の前記仮想マシンから選択する
    　ことを特徴とする請求項９に記載の通信制御方法。
  11. 　前記パケットを通信制御装置に集約する機能を有するネットワークスイッチから前記パケットを受信し、受信したパケットの転送先を、複数の前記仮想マシンから選択する
    　ことを特徴とする請求項９に記載の通信制御方法。
  12. 　前記パケットの転送先が複数の前記仮想マシン間で分散するように、前記パケットの転送先を選択する
    　ことを特徴とする請求項９乃至１１のいずれか１項に記載の通信制御方法。
  13. 　複数の前記仮想マシンの動作状況に応じて、前記パケットの転送先を選択する
    　ことを特徴とする請求項９乃至１２のいずれか１項に記載の通信制御方法。
  14. 　通信制御装置からの指示に応じて動作するネットワークスイッチから前記パケットを受信し、受信した前記パケットの転送先を、複数の前記仮想マシンから選択する
    　ことを特徴とする請求項９乃至１３のいずれか１項に記載の通信制御方法。
  15. 　前記パケットの処理方法に対応する指示が未知である場合に、前記ネットワークスイッチから前記パケットに関する指示の要求を受信し、当該要求に応じて、前記パケットの転送先を、複数の前記仮想マシンから選択する
    　ことを特徴とする請求項１４に記載の通信制御方法。
  16. 　前記ネットワークスイッチから、前記通信制御装置からの指示に従って転送された前記パケットを受信し、当該パケットの転送先を、複数の仮想スイッチから選択する
    　ことを特徴とする請求項１４に記載の通信制御方法。
  17. 　通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムにおける通信制御装置に、
    　前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットの転送先を、複数の前記仮想マシンから選択する処理と、
    　前記パケットを、選択された仮想マシンに転送する処理と、
    　を実行させる、ことを特徴とする通信制御プログラム。
  18. 　通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムの通信制御装置であって、
    　前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットの転送先を、複数の前記仮想マシンから選択する第一の手段と、
    　前記パケットを選択された仮想マシンに転送することを、ネットワークスイッチに指示する第二の手段と
    　を有する通信制御装置。
  19. 　通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムの通信制御方法であって、
    　前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットの転送先を、複数の前記仮想マシンから選択し、
    　前記パケットを選択された仮想マシンに転送することを、ネットワークスイッチに指示する
    　ことを特徴とする通信制御方法。
  20. 　通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムにおける通信装置であって、
    　前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットを識別する手段と、
    　複数の前記仮想マシンから選択された仮想マシンに前記パケットを転送する装置に、識別した前記パケットを集約する手段と
    　を有する通信装置。
  21. 　通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムにおける通信方法であって、
    　前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットを識別し、
    　複数の前記仮想マシンから選択された仮想マシンに前記パケットを転送する装置に、識別した前記パケットを集約する
    　ことを特徴とする通信方法。
  22. 　通信ネットワークで用いられるハードウェア機器の通信機能を実行する仮想マシンが配置される情報処理装置であって、
    　ネットワークスイッチの機能を有する仮想スイッチを稼動させるための手段を有し、
    　前記仮想スイッチは、
    　前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットを、複数の前記仮想マシンから選択された仮想マシンに転送する転送手段を有する
    　ことを特徴とする情報処理装置。
  23. 　前記仮想スイッチの前記転送手段は、前記通信機能と通信セッションを確立するために複数の経路に向けて転送される前記パケットを、通信制御ユニットに転送し、
    　前記通信制御ユニットにより選択された仮想マシンに、前記パケットを転送する
    　ことを特徴とする請求項２２に記載の情報処理装置。
  24. 　通信ネットワークで用いられるハードウェア機器の通信機能を実行する仮想マシンが配置される情報処理装置における通信方法であって、
    　ネットワークスイッチの機能を有する仮想スイッチを稼動させ、
    　前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットを、複数の前記仮想マシンから選択された仮想マシンに転送する
    　ことを特徴とする通信方法。
  25. 　前記通信機能と通信セッションを確立するために複数の経路に向けて転送される前記パケットを、通信制御ユニットに転送し、
    　前記通信制御ユニットにより選択された仮想マシンに、前記パケットを転送する
    　ことを特徴とする請求項２４に記載の通信方法。
  26. 　通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムであって、
    　前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットの転送先を、複数の前記仮想マシンから選択する第一の手段と、
    　前記パケットを、選択された仮想マシンに転送する第二の手段と
    　を有する通信システム。
  27. 　前記通信機能と通信セッションを確立するために複数の経路に向けて転送される前記パケットを、前記第一の手段に対して転送する第三の手段を備えることを特徴とする請求項２６に記載の通信システム。
  28. 　通信ネットワークで用いられるハードウェア機器の通信機能を仮想マシンが実行する通信システムにおける通信方法であって、
    　前記通信機能と通信セッションを確立するために複数の経路に向けて転送されるパケットの転送先を、複数の前記仮想マシンから選択し
    　前記パケットを、選択された仮想マシンに転送する
    　ことを特徴とする通信方法。
  29. 　前記通信機能と通信セッションを確立するために複数の経路に向けて転送される前記パケットを、前記第一の手段に対して転送する
    　ことを特徴とする請求項２８に記載の通信方法。
  30. 　複数の経路に向けて転送されるパケットを少なくとも１つ受信すると、前記パケットに対して少なくとも１つの転送先を選択し、前記選択した転送先に前記パケットを転送する手段を備えた、通信システム。
  31. 　前記手段は、ネットワーク上をブロードキャストされるパケットを集約し、前記選択した転送先に、前記パケットをユニキャストで転送するノードを含む、請求項３０記載の通信システム。
  32. 　パケットを転送するポートを複数有するスイッチを少なくとも１つ備え、
    　前記スイッチは、前記複数の経路に向けて転送されるパケットを受信すると、制御装置に通知し、
    　前記制御装置は、前記選択した転送先に対応するスイッチのポートから、前記パケットを転送するように指示する、請求項３０又は３１に記載の通信システム。
  33. 　前記制御装置が、パケットの転送に関する処理規則を前記スイッチに設定し、
    　前記スイッチが、前記制御装置によって設定された処理規則にしたがって入力パケットの転送を処理する、請求項３２記載の通信システム。
  34. 　複数の回線を集線する集線装置を備え、前記集線装置が、前記スイッチを備え、前記パケットを、前記選択した転送先に転送する、請求項３２又は３３記載の通信システム。
  35. 　前記パケットの転送先を決定する負荷分散装置を備えた請求項３４記載の通信システム。
  36. 　複数の回線を集線する集線装置と、
    　前記パケットの転送先を決定する負荷分散装置と、
    　を備え、前記負荷分散装置で決定した転送先に前記パケットが転送される、請求項３５記載の通信システム。
  37. 　前記制御装置は、複数の前記スイッチに接続され、
    　複数の前記スイッチは、前記複数の経路に向けて転送されたパケット受信時、前記制御装置に前記パケットを受信したことを通知し、
    　前記制御装置は、最初に前記スイッチから前記パケット受信の通知を受けると、タイマをスタートさせ、タイムアウトが発生すると、前記少なくとも１つのポート又前記ポートに対応するスイッチを選択する、請求項３２又は３３記載の通信システム。
  38. 　複数の前記スイッチの各々が、１つ又は複数のポートを介して１つ又は複数のネットワーク機能部に接続し、
    　前記制御装置が、複数の前記スイッチに接続される複数の前記ネットワーク機能部に接続し、
    　前記制御装置は、前記スイッチからの前記複数の経路に向けて転送されたパケットの受信の通知を受け、複数の前記ネットワーク機能部の負荷に基づき、少なくとも１つの前記ネットワーク機能部を選択し、
    　前記制御装置は、前記選択したネットワーク機能部に接続するポートを有するスイッチに対して、前記ポートから前記選択したネットワーク機能部への前記パケットの転送を指示する、請求項３２、３３、３７のいずれか１項に記載の通信システム。
  39. 　前記ネットワーク機能部がサーバの仮想基盤上に仮想化された仮想マシンである、請求項３８記載の通信システム。
  40. 　前記複数の経路に向けて転送されたパケットを受信した場合に前記制御装置に通知するスイッチが、前記スイッチが構成するネットワークと、前記他のネットワークとの境界に配置されている、請求項３２、３３、３７のいずれか１項に記載の通信システム。
  41. 　複数の経路に向けて転送されるパケットを受信したスイッチから、前記パケット受信の通知を受ける手段と、
    　前記パケットに対して少なくとも１つの転送先を選択し、選択した転送先に、前記パケットを転送するように制御する手段と、
    　を備えた制御装置。
  42. 　複数の経路に向けて転送されるパケットを少なくとも１つ受信すると、前記パケットに対して少なくとも１つの転送先を選択し、選択した転送先に前記パケットを転送する、通信方法。
  43. 　複数の経路に向けて転送されるパケットを少なくとも１つ受信すると、前記パケットに対して少なくとも１つの転送先を選択し、選択した転送先に前記パケットを転送する処理を、コンピュータに実行させるプログラム。
PCT/JP2014/066668 2013-06-25 2014-06-24 通信システムと装置と方法とプログラム Ceased WO2014208538A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015524056A JPWO2014208538A1 (ja) 2013-06-25 2014-06-24 通信システムと装置と方法とプログラム
US14/900,097 US20160142474A1 (en) 2013-06-25 2014-06-24 Communication system, apparatus, method and program
EP14817170.5A EP3016321A4 (en) 2013-06-25 2014-06-24 Communication system, apparatus, method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013133050 2013-06-25
JP2013-133050 2013-06-25

Publications (1)

Publication Number Publication Date
WO2014208538A1 true WO2014208538A1 (ja) 2014-12-31

Family

ID=52141872

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/066668 Ceased WO2014208538A1 (ja) 2013-06-25 2014-06-24 通信システムと装置と方法とプログラム

Country Status (4)

Country Link
US (1) US20160142474A1 (ja)
EP (1) EP3016321A4 (ja)
JP (1) JPWO2014208538A1 (ja)
WO (1) WO2014208538A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016121728A1 (ja) * 2015-01-27 2016-08-04 日本電気株式会社 ネットワーク機能仮想化管理およびオーケストレーション装置とシステムと管理方法とプログラム
CN106559451A (zh) * 2015-09-29 2017-04-05 杭州华三通信技术有限公司 用户迁移方法和装置
WO2017056439A1 (ja) * 2015-09-29 2017-04-06 日本電気株式会社 通信システム、基地局装置、制御装置、及び通信方法
WO2017186122A1 (zh) * 2016-04-27 2017-11-02 新华三技术有限公司 流量调度
JP2018504038A (ja) * 2015-12-31 2018-02-08 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ソフトウェア定義型データセンター、並びにそのためのサービスクラスタスケジューリング方法及びトラフィック監視方法
US10084701B2 (en) 2016-01-25 2018-09-25 Fujitsu Limited Packet relaying method and non-transitory computer-readable recording medium
JP2019054353A (ja) * 2017-09-13 2019-04-04 キヤノン株式会社 中継装置およびデータ転送方法
JP2019521619A (ja) * 2016-07-20 2019-07-25 新華三技術有限公司Ｎｅｗ Ｈ３Ｃ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． パケット転送
JP2019195218A (ja) * 2015-03-13 2019-11-07 日本電気株式会社 通信装置とシステムと方法並びに割り当て装置とプログラム
JP2020524466A (ja) * 2017-06-23 2020-08-13 新華三技術有限公司Ｎｅｗ Ｈ３Ｃ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． ビデオオンデマンドフロー転送
US11237858B2 (en) 2015-12-31 2022-02-01 Huawei Technologies Co., Ltd. Software-defined data center, and deployment method for service cluster therein

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104468358B (zh) * 2013-09-25 2018-05-11 新华三技术有限公司 分布式虚拟交换机系统的报文转发方法及设备
US20160105534A1 (en) * 2014-10-13 2016-04-14 Futurewei Technologies, Inc. Physical switch initialization using representational state transfer services
US9560078B2 (en) * 2015-02-04 2017-01-31 Intel Corporation Technologies for scalable security architecture of virtualized networks
US9912573B1 (en) * 2015-02-26 2018-03-06 Amdocs Software Systems Limited System, method, and computer program for testing a network service associated with a communications network
US9521071B2 (en) * 2015-03-22 2016-12-13 Freescale Semiconductor, Inc. Federation of controllers management using packet context
US9934061B2 (en) * 2015-12-28 2018-04-03 International Business Machines Corporation Black box techniques for detecting performance and availability issues in virtual machines
CN110896371B (zh) * 2016-02-14 2022-07-26 华为技术有限公司 一种虚拟网络设备及相关方法
US10462007B2 (en) * 2016-06-27 2019-10-29 Cisco Technology, Inc. Network address transparency through user role authentication
CN108259335B (zh) * 2017-03-31 2020-09-08 新华三技术有限公司 路径探测方法和装置
CN108259633B (zh) 2017-05-31 2020-05-12 新华三技术有限公司 实现管理报文三层通信的方法、系统及装置
CN108259453B (zh) * 2017-05-31 2020-03-06 新华三技术有限公司 一种报文转发方法及装置
CN108462683B (zh) * 2017-08-03 2020-04-03 新华三技术有限公司 认证方法和装置
CN108667888B (zh) * 2017-09-08 2020-12-29 新华三技术有限公司 一种负载均衡方法和装置
CN107769973B (zh) * 2017-10-26 2021-01-26 新华三技术有限公司 一种报文转发方法及装置
JP6981367B2 (ja) * 2018-06-04 2021-12-15 日本電信電話株式会社 ネットワークシステムおよびネットワーク帯域制御管理方法
US11895092B2 (en) * 2019-03-04 2024-02-06 Appgate Cybersecurity, Inc. Network access controller operation
US11134126B2 (en) * 2019-03-06 2021-09-28 Hewlett Packard Enterprise Development Lp Adaptive routing of branch traffic in software-defined wide area network (SDWAN) deployments
JP7491772B2 (ja) * 2020-08-19 2024-05-28 アズビル株式会社 ネットワーク装置およびネットワーク構成判定方法
US20220353263A1 (en) * 2021-04-28 2022-11-03 Verizon Patent And Licensing Inc. Systems and methods for securing network function subscribe notification process
CN113448729B (zh) * 2021-06-25 2023-01-31 平安科技（深圳）有限公司 负载均衡方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005064936A (ja) * 2003-08-14 2005-03-10 Fujitsu Ltd 複数ＢＲＡＳ装置におけるＰＰＰｏＥセッション分散方法及びシステム
JP2006270680A (ja) * 2005-03-25 2006-10-05 Tokyo Electric Power Co Inc:The レイヤ２スイッチ装置
JP2009027438A (ja) * 2007-07-19 2009-02-05 Hitachi Ltd フレーム転送装置
WO2012133290A1 (ja) * 2011-03-31 2012-10-04 日本電気株式会社 コンピュータシステム、及び通信方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5712870B2 (ja) * 2011-08-30 2015-05-07 富士通株式会社 通信方法、通信装置、および通信プログラム
WO2013074831A1 (en) * 2011-11-15 2013-05-23 Nicira, Inc. Network control system for configuring middleboxes
US9521028B2 (en) * 2013-06-07 2016-12-13 Alcatel Lucent Method and apparatus for providing software defined network flow distribution

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005064936A (ja) * 2003-08-14 2005-03-10 Fujitsu Ltd 複数ＢＲＡＳ装置におけるＰＰＰｏＥセッション分散方法及びシステム
JP2006270680A (ja) * 2005-03-25 2006-10-05 Tokyo Electric Power Co Inc:The レイヤ２スイッチ装置
JP2009027438A (ja) * 2007-07-19 2009-02-05 Hitachi Ltd フレーム転送装置
WO2012133290A1 (ja) * 2011-03-31 2012-10-04 日本電気株式会社 コンピュータシステム、及び通信方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Network Functions Virtualisation - Introductory White Paper", ETSI, 22 October 2012 (2012-10-22), pages 1 - 16, XP055091626 *
L. MAMAKOS ET AL., A METHOD FOR TRANSMITTING PPP OVER ETHERNET (PPPOE, 1 April 2013 (2013-04-01), Retrieved from the Internet <URL:http://www.ietf.org/rfc/rfc2516.txt>
See also references of EP3016321A4

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016121728A1 (ja) * 2015-01-27 2017-11-09 日本電気株式会社 ネットワーク機能仮想化管理およびオーケストレーション装置とシステムと管理方法とプログラム
US11099869B2 (en) 2015-01-27 2021-08-24 Nec Corporation Management of network functions virtualization and orchestration apparatus, system, management method, and program
WO2016121728A1 (ja) * 2015-01-27 2016-08-04 日本電気株式会社 ネットワーク機能仮想化管理およびオーケストレーション装置とシステムと管理方法とプログラム
US12294886B2 (en) 2015-03-13 2025-05-06 Nec Corporation Communication apparatus, system, method, allocation apparatus, and non-transitory recording medium
US11683716B2 (en) 2015-03-13 2023-06-20 Nec Corporation Communication apparatus, system, method, allocation apparatus, and non-transitory recording medium
US11317316B2 (en) 2015-03-13 2022-04-26 Nec Corporation Communication apparatus, system, method, allocation apparatus, and non-transitory recording medium
JP2019195218A (ja) * 2015-03-13 2019-11-07 日本電気株式会社 通信装置とシステムと方法並びに割り当て装置とプログラム
CN106559451B (zh) * 2015-09-29 2020-09-08 新华三技术有限公司 用户迁移方法和装置
WO2017056439A1 (ja) * 2015-09-29 2017-04-06 日本電気株式会社 通信システム、基地局装置、制御装置、及び通信方法
EP3310025A4 (en) * 2015-09-29 2018-05-30 Hangzhou H3C Technologies Co., Ltd. User migration
JPWO2017056439A1 (ja) * 2015-09-29 2018-06-14 日本電気株式会社 通信システム、基地局装置、制御装置、及び通信方法
JP2018530256A (ja) * 2015-09-29 2018-10-11 ニュー エイチ３シー テクノロジーズ カンパニー，リミティド ユーザの移行
CN106559451A (zh) * 2015-09-29 2017-04-05 杭州华三通信技术有限公司 用户迁移方法和装置
US10791167B2 (en) 2015-09-29 2020-09-29 New H3C Technologies Co., Ltd User migration
JP2018504038A (ja) * 2015-12-31 2018-02-08 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ソフトウェア定義型データセンター、並びにそのためのサービスクラスタスケジューリング方法及びトラフィック監視方法
US10601728B2 (en) 2015-12-31 2020-03-24 Huawei Technologies Co., Ltd. Software-defined data center and service cluster scheduling and traffic monitoring method therefor
US11237858B2 (en) 2015-12-31 2022-02-01 Huawei Technologies Co., Ltd. Software-defined data center, and deployment method for service cluster therein
US10084701B2 (en) 2016-01-25 2018-09-25 Fujitsu Limited Packet relaying method and non-transitory computer-readable recording medium
CN107317768B (zh) * 2016-04-27 2020-01-03 新华三技术有限公司 流量调度方法及装置
CN107317768A (zh) * 2016-04-27 2017-11-03 新华三技术有限公司 流量调度方法及装置
WO2017186122A1 (zh) * 2016-04-27 2017-11-02 新华三技术有限公司 流量调度
JP2019521619A (ja) * 2016-07-20 2019-07-25 新華三技術有限公司Ｎｅｗ Ｈ３Ｃ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． パケット転送
US10924299B2 (en) 2016-07-20 2021-02-16 New H3C Technologies Co., Ltd. Packet forwarding
JP2020524466A (ja) * 2017-06-23 2020-08-13 新華三技術有限公司Ｎｅｗ Ｈ３Ｃ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． ビデオオンデマンドフロー転送
US11418843B2 (en) 2017-06-23 2022-08-16 New H3C Technologies Co., Ltd. Forwarding video-on-demand flow
JP2019054353A (ja) * 2017-09-13 2019-04-04 キヤノン株式会社 中継装置およびデータ転送方法

Also Published As

Publication number Publication date
EP3016321A4 (en) 2017-02-22
JPWO2014208538A1 (ja) 2017-02-23
EP3016321A1 (en) 2016-05-04
US20160142474A1 (en) 2016-05-19

Similar Documents

Publication Publication Date Title
WO2014208538A1 (ja) 通信システムと装置と方法とプログラム
CN109362085B (zh) 通过openflow数据平面在云计算机中实现epc
US10565001B2 (en) Distributed virtual network controller
US9380111B2 (en) Feature peer network with scalable state information
CN104584491B (zh) 提供分布式虚拟路由和交换(dvrs)的系统和方法
CN109889443B (zh) 云计算系统和在云计算系统中实现演进分组核心(epc)的控制平面的方法
US9787570B2 (en) Dynamic feature peer network for application flows
EP3113424B1 (en) Phyiscal path determination for virtual network packet flows
US20140105216A1 (en) Network devices with feature peer network logic
US8601133B1 (en) Highly scalable data center architecture with address resolution protocol (ARP)-free servers
JPWO2012033041A1 (ja) コンピュータシステム、及びコンピュータシステムにおける通信方法
WO2011093228A1 (ja) フロントエンドシステム、フロントエンド処理方法
CN101499951A (zh) 隧道配置方法、虚拟接入节点、虚拟边缘节点以及系统
CN109756412B (zh) 一种数据报文转发方法以及设备
KR101746105B1 (ko) 서비스 체이닝이 가능한 오픈플로우 스위치
EP3269092B1 (en) Technique for routing and switching redundancy
JP6206493B2 (ja) 制御装置、通信システム、中継装置の制御方法及びプログラム
WO2015151442A1 (ja) 通信システム、通信方法および制御装置
JP2016149701A (ja) ネットワークシステムおよびパケット転送方法
JP2015536582A (ja) ネットワーク通信システムおよびその仮想化方法
KR101739097B1 (ko) 오픈플로우 스위치의 서비스 체이닝 방법
KR101739100B1 (ko) 서비스 체이닝 가능한 오픈플로우 스위치 제어 방법 및 그 제어기
JP2016139908A (ja) 通信システム、通信ノード、制御装置、通信制御方法、及び、プログラム
CN121151268A (zh) 网络功能网元集群的连通性检测方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14817170

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14900097

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2015524056

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2014817170

Country of ref document: EP