[go: up one dir, main page]

WO2014030229A1 - ライブマイグレーションされた仮想計算機のネットワーク接続を復元する仮想計算機システム - Google Patents

ライブマイグレーションされた仮想計算機のネットワーク接続を復元する仮想計算機システム Download PDF

Info

Publication number
WO2014030229A1
WO2014030229A1 PCT/JP2012/071217 JP2012071217W WO2014030229A1 WO 2014030229 A1 WO2014030229 A1 WO 2014030229A1 JP 2012071217 W JP2012071217 W JP 2012071217W WO 2014030229 A1 WO2014030229 A1 WO 2014030229A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
physical
mac address
target
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/071217
Other languages
English (en)
French (fr)
Inventor
ゆかり 八田
典充 早川
三木　博史
史朗 野原
崇夫 戸塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to US14/408,441 priority Critical patent/US9323566B2/en
Priority to PCT/JP2012/071217 priority patent/WO2014030229A1/ja
Priority to JP2014531448A priority patent/JP5869133B2/ja
Publication of WO2014030229A1 publication Critical patent/WO2014030229A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45579—I/O management, e.g. providing access to device drivers or storage

Definitions

  • the present invention relates to live migration of virtual machines.
  • One or a plurality of virtual computers are constructed in the physical computer by a virtualization mechanism such as a hypervisor that the physical computer has.
  • a virtualization mechanism such as a hypervisor that the physical computer has.
  • a technique of live migration (hereinafter sometimes referred to as “LM”), which is migration of an operating virtual machine from a first physical machine to a second physical machine, is known (for example, Patent Document 1). .
  • the LM source physical computer is referred to as a “first physical computer”
  • the virtualization mechanism included in the first physical computer is referred to as a “first virtualization mechanism”
  • the LM destination physical computer is referred to as a “second virtual machine”.
  • a virtual NIC Network Interface Card
  • VNIC Virtual Network Interface Card
  • a virtualization mechanism of the second physical computer is called a “second virtualization mechanism”
  • the LM target virtual machine Virtual machine
  • target VM a VNIC managed by the first virtualization mechanism and assigned to the target VM before the LM
  • the second virtualization A VNIC that is managed by the mechanism and is assigned to the target VM after LM may be referred to as a “second VNIC”.
  • the LM is not aware of the upper machine.
  • the target VM needs to be migrated. For this reason, it is necessary to restore the connection between the target VM and the external environment after LM.
  • the network connection information of the external environment for example, there is a MAC address table held by a PSW (physical network switch).
  • the MAC address table has information indicating to which port of the PSW the machine to which the destination MAC address is assigned is connected.
  • RARP Reverse Address Resolution Protocol
  • the MAC address #X of the first VNIC and the MAC address #Y of the second VNIC are exchanged between the first and second virtualization mechanisms.
  • the second virtualization mechanism broadcasts the RARP packet specifying the MAC address #X that the second virtualization mechanism has.
  • the RARP server on the network receives the RARP packet and returns an IP address #K corresponding to the MAC address #X to the second virtualization mechanism in response to the RARP packet.
  • the second physical computer can communicate using the IP address #K.
  • the RARP packet is relayed by the PSW, and the PSW updates the identification information of the port corresponding to the MAC address #X in the MAC address table to the identification information of the port that has received the RARP packet.
  • the correspondence between the MAC address #X and the port is updated, and the network connection is restored for the target VM after LM.
  • a MAC address different from the MAC address of the first VNIC may be used in communication by the target VM outside the jurisdiction of the first virtualization mechanism.
  • Teaming is a technique for bundling a plurality of ports of one or more NICs assigned to a computer and operating them as one port to improve load distribution, bandwidth improvement, and fault tolerance.
  • a plurality of ports (a plurality of team-set ports) related to one or more VNICs are operated as a unit, and at least one of the following is performed.
  • the first port When a failure occurs in the first port of the plurality of ports, the first port is logically disconnected, and communication is continued using the second port of the plurality of ports.
  • the (*) When communication is performed with a plurality of communication partners via a plurality of ports, transmission / reception is performed in a shared manner, thereby increasing the bandwidth or distributing the load.
  • the MAC address used in Teaming may be a different MAC address from the MAC address assigned to the VNIC.
  • the change of the MAC address used by the virtual machine OS (guest OS) is performed independently of the virtualization mechanism.
  • the MAC address used by the guest OS is registered in the MAC address table of the PSW. Specifically, for example, when the PSW receives a packet coming from the outside, and the MAC address included in the received packet is not in the MAC address table, the PSW and the port ( ID of PSW port) is registered in the MAC address table.
  • the correct MAC address (specifically, the same MAC address registered in the PSW MAC address table) cannot be specified in the RARP packet transmitted by the second virtualization mechanism after LM. There can be. In this case, the network connection of the target VM cannot be restored.
  • the target VM uses a tag VLAN (Virtual LAN) (LAN is an abbreviation for Local Area Network).
  • VLAN Virtual LAN
  • LAN is an abbreviation for Local Area Network
  • VLAN tag information including VLAN ID etc.
  • the virtualization mechanism does not know the VLAN tag used by the target VM.
  • the MAC address of the guest OS is the same as the MAC address of the VNIC, there may arise a problem that the network connection of the target VM cannot be restored after LM as described above.
  • a PaaS Platinum as a Service
  • the administrator of the virtualization mechanism does not know how the virtual machine or its host machine is operated. For this reason, when the administrator manually inputs information used by the virtual machine, it is necessary to link the user of the virtual machine or its upper machine and the administrator of the virtualization mechanism.
  • the first virtualization mechanism has a first management information unit
  • the second virtualization mechanism has a second management information unit.
  • the first virtualization mechanism receives a packet from the virtual machine, it extracts a predetermined type of information from the packet and registers the extracted predetermined type of information in the first management information unit.
  • the first virtualization mechanism transmits a predetermined type of information in the first management information unit to the second virtualization mechanism during LM.
  • the second virtualization mechanism registers the predetermined type of information in the second management information unit, and in order to restore the network connection of the LM virtual machine, the predetermined type of packet including the predetermined type of information, Transmit from at least one of the one or more physical I / O devices of the second physical computer.
  • the information of the virtual machine that has been live-magnified can be obtained without the manual input of the information outside the jurisdiction by the virtualization mechanism administrator.
  • the network connection can be restored. Since the administrator of the virtualization mechanism does not need to manually input information outside the jurisdiction, there is no need for the user of the virtual machine or its upper machine and the administrator of the virtualization mechanism to cooperate for inputting the information.
  • FIG. 1 shows an example of a virtual machine system and its external environment according to the embodiment.
  • FIG. 2 shows an example of the management table # 11 of VNIC # 11 and the management table # 12 of VNIC # 12.
  • FIG. 3 shows a configuration example of a packet transmitted from the LPAR 128 not using the tag VLAN.
  • FIG. 4 shows a configuration example of a packet transmitted from the LPAR 128 using the tag VLAN.
  • FIG. 5 shows a configuration example of an RARP packet transmitted when the LPAR 128 of the LM target is an LPAR 128 that does not use a tag VLAN.
  • FIG. 6 shows the flow of processing performed by the VSW 137 in the hypervisor 103.
  • FIG. 7 shows a configuration example of the MAC address learning table 144.
  • FIG. 1 shows an example of a virtual machine system and its external environment according to the embodiment.
  • FIG. 2 shows an example of the management table # 11 of VNIC # 11 and the management table # 12 of VNIC # 12.
  • FIG. 8 shows an area occupied by information related to the hypervisor 103 in the memory 111.
  • FIG. 9 shows the flow of S603 (MAC address learning process) in FIG.
  • FIG. 10 shows the flow of learning data collection processing.
  • FIG. 11 shows the flow of LM processing.
  • FIG. 12 shows an example of the MAC address learning table # 11 before and after the LM of the VSW # 11 in the LM source hypervisor # 1.
  • FIG. 13 shows an example of the MAC address learning table # 21 before and after the LM of the VSW # 21 in the hypervisor # 2 at the LM destination.
  • FIG. 14 shows an example of the MAC address table # 1 before LM in the PSW # 1.
  • FIG. 15 shows an example of the MAC address table # 1 before LM in the PSW # 1.
  • aaa information is described as an aaa table, but the information is not limited to the table format and may be in other types.
  • FIG. 1 shows an example of a virtual machine system and its external environment according to the embodiment.
  • the virtual machine system includes a plurality of physical machines 101.
  • the external environment of the virtual machine system includes, for example, a plurality of PSWs 154 and a management console 149.
  • the physical computer 101 has a physical layer (physical resource) 102.
  • the physical layer 102 includes one or more CPUs 104, one or more memories 111, and one or more physical I / O (Input / Output) devices.
  • the physical I / O device is, for example, an interface device for communication via a communication network, and the physical I / O device may be connected to the communication network.
  • the one or more physical I / O devices are, for example, three physical NICs 112 and two FC (Fibre Channel) -HBA (Host Bus Adapter) 115.
  • the port #A of the PSW # 1 is connected to the first port of the NIC # 11, and the port # of the PSW # 3 is connected to the first port of the NIC # 12.
  • B is connected, and port #B of PSW # 4 is connected to the first port of NIC # 13.
  • the port #D of PSW # 1 is connected to the first port of NIC # 21, and the port #D of PSW # 3 is connected to the first port of NIC # 22.
  • the hyperpizer 103 is realized by executing a computer program (for example, firmware) in at least one CPU 104 of the physical layer 102.
  • the hypervisor 103 logically divides the physical layer 102 (CPU 104, memory 111, I / O devices (NIC 112 and FC-HBA 115)), and each of the plurality of virtual resources obtained by logical division A mechanism that allows multiple virtual machines to operate on one physical machine 101 by assigning them to multiple LPARs (Logical Partitions)
  • the number of virtual resources is the same as the number of LPARs.
  • a resource is allocated to an LPAR on a one-to-one basis, and a virtual machine is realized by allocating a virtual resource to an LPAR, so in the present embodiment, the virtual machine is referred to as “LPAR”.
  • One virtual resource is, for example, one or more VCPs based on one or more CPUs 104 U (virtual CPU) 119, one or more VMM (virtual memory) 123 based on one or more memories 111, and one or more virtual I / O devices based on one or more I / O devices.
  • the I / O device is, for example, one or more VNICs 124 based on one or more NICs 112 and / or one or more VHBAs (virtual HBAs) 126 based on one or more FC-HBAs 115.
  • VNICs 124 based on one or more NICs 112
  • VHBAs virtual HBAs
  • an OS (guest OS) 131 is executed.
  • the guest OS 131 sends a packet
  • the guest OS 131 includes a predetermined type of information in the packet.
  • the predetermined type of information includes, for example, a MAC address used by the guest OIS 131 and / or a VLAN tag.
  • the VLAN tag is included in a packet transmitted by the guest OS 131 when the tag VLAN is used in the communication of the guest OS 131.
  • the packet transmitted by the guest OS 131 is transmitted from the VNIC 124 or VHBA 126 assigned to the LPAR 128 that executes the guest OS 131.
  • the MAC address included in the packet is a MAC address uniquely used by the guest OS 131 (hereinafter sometimes referred to as “software MAC”), and may be a MAC address different from the MAC address of the VNIC. .
  • the packet transmitted from the LPAR 128 is received by at least one of the plurality of PSWs 154.
  • the PSW 154 is a physical network switch.
  • the PSW 154 includes a plurality of ports (physical ports), a MAC address table 158 (more precisely, a storage device such as a memory that stores the MAC address table 158), and a processor (not shown).
  • the MAC address table 158 is an example of address management information indicating the correspondence between the physical port ID of the PSW 154 having the table 158 and the MAC address.
  • the “correspondence” referred to here indicates which guest OS is connected to which physical port. Therefore, the physical port ID registered in the MAC address table 158 can also be referred to as the packet transfer destination physical port ID.
  • the MAC address table 158 includes a pair of a MAC address, a VLAN ID that is an example of at least a part of the VLAN tag, and a physical port ID (FIG. 14 shows PSW # 1). It is an example of MAC address table # 1.
  • PSW # 1 processor of PSW # 1
  • the target MAC address (MAC address included in the received packet) is not in the MAC address table # 1
  • the target MAC address and the target VLAN ID A set of (the VLAN ID in the VLAN tag included in the packet) and the ID of the target physical port (the physical port that received the packet) is registered in the MAC address table # 1.
  • a value indicating no designation is registered as a VLAN ID in the MAC address table # 1.
  • the PSW # 1 (processor of PSW # 1)
  • the physical port ID corresponding to the target MAC address in the address table # 1 is updated to the target physical port ID.
  • the PSW # 1 the processor of the PSW # 1
  • the target MAC address is in the MAC address table # 1
  • the VLAN ID corresponding to the target MAC address is the target VLAN ID. If they are different, a new entry is added, and the target MAC address and the target VLAN ID are registered in the entry.
  • PSW # 1 With such a function of PSW # 1, the MAC address (and VLAN tag) used by the guest OS is registered in the MAC address table # 1, so that the MAC address is the software MAC. If there is, the software MAC is registered instead of the MAC address of the VNIC 124 of the LPAR 128.
  • the other PSW 128 also has the same function as that of PSW # 1.
  • the hypervisor 103 includes a scheduler 117, a resource management unit 118, a migration processing unit 148, a plurality of VSWs (virtual switches) 137, and one or more virtual resources described above.
  • VSWs virtual switches
  • the scheduler 117 performs logical partitioning of the physical layer 102, and the resource management unit 118 manages resources such as physical resources as the physical layer 102.
  • a plurality of virtual resources for example, VCPU 119, VMEM 123, VNIC 124, and VHBA 126) obtained by logically dividing the physical layer 102 (physical resource) are allocated to a plurality of LPARs 128 by the scheduler 117 and the resource management unit 118, respectively. Can do.
  • the VNIC 124 has a virtual MAC address assigned by the hypervisor 103.
  • the VNIC 124 has a management table 152 that includes information related to the VNIC 124.
  • the management table 152 is provided for each VNIC 124.
  • the management tables of the VNICs # 11 and # 12 assigned to the LPAR # 11 are taken as an example.
  • FIG. 2 shows an example of the management table # 11 of VNIC # 11 and the management table # 12 of VNIC # 12.
  • the management table # 11 includes a virtual MAC address of the VNIC # 11 and one or more OS registered MAC addresses (that is, the VNIC # 11 that are one or more MAC addresses that can be used by the guest OS # 11 of the LPAR # 11). One or more MAC addresses that can be used as MAC addresses included in the packet).
  • the OS registered MAC address may be the same value as the virtual MAC address of VNIC # 11.
  • the MAC address included in the packet transmitted by the guest OS # 11 is registered in the management table # 11.
  • the hypervisor 103 can know the MAC address registered by the guest OS # 11 by referring to the management table # 11.
  • the virtual NIC address differs between VNIC # 11 and VNIC # 12 as shown in the management tables # 11 and # 12 shown in FIG.
  • the registered MAC address may be the same as shown in FIG. 2 (for example, MAC address 00: 00: 88: 00: 01: 00). It seems that this OS registered MAC address should be used when teaming. However, in teaming, since the guest OS does not know which MAC address to use for the hypervisor 103, the registered MAC address is used. (As shown in FIG. 2, a plurality of common MAC addresses may be registered in both cases).
  • the guest OS 131 operates as described above.
  • a packet that does not include a VLAN tag as shown in FIG. 3 is transmitted from the guest OS 131 that does not use the VLAN tag, such as the guest OS # 13 of the LPAR # 13.
  • a packet including a VLAN tag as shown in FIG. 4 is transmitted from the guest OS 131 using the tag VLAN, such as the guest OS # 11 of the LPAR # 11 or the guest OS # 12 of the LPAR # 12.
  • Any of the types of packets shown in FIGS. 3 and 4 includes a destination MAC address and a source MAC address.
  • the destination MAC address is a MAC address specified by the guest OS 131 of the source LPAR 128 as a destination
  • the source MAC address is a MAC address specified by the guest OS 131 of the source LPAR 128 as a source.
  • a packet transmitted from a guest OS that does not use a tag VLAN has a destination MAC address in a first field (for example, the first 6-byte field), and a second field ( (For example, the next 6-byte field) has the source MAC address, and the third field (for example, the next 2-byte field) has information (for example, a number for identifying the protocol) indicating the type of the packet.
  • the fourth field (for example, the next 46 to 1500 byte field) has data
  • the fifth field (for example, the last 4 byte field) has a code for error detection.
  • a packet (hereinafter referred to as a VLAN use packet) transmitted from a guest OS using a tag VLAN is almost the same as a VLAN unused packet. The difference is that the second field and the third field are different in the VLAN use packet. There is a sixth field (for example, 4 bytes) between these fields. In the sixth field, there is a VLAN tag.
  • the first half of the sixth field (for example, 2 bytes) has a TPID (Tag Protocol Identifier), and the second half of the sixth field (for example, 2 bytes) has a TCI (Tag Control). Information).
  • TPID Tag Protocol Identifier
  • TCI Tag Control
  • Information is information including information such as VLAN ID and packet priority.
  • Information including TPID and TCI is referred to as VLAN tag.
  • a packet including VLAN tag including information such as VLAN ID is transmitted.
  • a packet including a MAC address different from the virtual MAC address of the VNIC 152 may be transmitted from the LPAR 128 that performs teaming for making a network redundant, such as LPAR # 13.
  • the operating LPAR 128 may be LM from the physical computer # 1 to the physical computer # 2 by the hypervisor # 1.
  • LPAR # 13 is LM
  • LPAR # 13 is migrated to physical computer # 2
  • hypervisor # 2 in physical computer # 2 transmits RARP (Reverse Address Resolution Protocol)
  • PSW # 3 The MAC address table # 3 and the MAC address table # 4 of the PSW # 4 are updated, and the network connection of the LPAR # 13 can be restored (taken over substantially).
  • the hypervisor # 1 in the physical computer # 1 of the LM is the LPAR 128 Has a learning function of extracting and retaining a predetermined type of information from the packet.
  • the predetermined type of information is, for example, at least one (typically both) of a MAC address (source MAC address) and at least a part of a VLAN tag (for example, VLAN ID).
  • the learning function is the MAC learning unit 140.
  • the MAC learning unit 140 performs MAC address learning for extracting and managing the MAC address (source MAC address) and the VLAN ID.
  • the hypervisor 103 has a VSW (virtual switch) 137 for each virtual network segment constructed by itself.
  • the VSW 137 corresponds to a physical NIC 112 port.
  • Each VSW 137 includes a plurality of virtual ports, a MAC learning unit 140, and a MAC address learning table 144.
  • the plurality of virtual ports of each VSW # 137 includes a virtual port connected to the VNIC 124 assigned to the LPAR 128 and a virtual port assigned to the physical NIC 112 included in the physical computer 101.
  • the MAC learning unit 140 performs MAC address learning. For example, if the MAC learning unit # 11 of the VSW # 11 receives a packet from the LPAR # 11 (guest OS # 11) to which the VNIC connected to the VSW # 11 is assigned, the MAC learning unit # 11 starts from the packet.
  • the MAC address (source MAC address) and VLAN ID are extracted, and the extracted information (for example, MAC address and VLAN ID) is registered in the MAC address learning table # 11. Thereby, the information (MAC address and VLAN ID) registered in the MAC address learning table 140 depends on the packet received by the VSW 137 having the MAC address learning table 140.
  • At least one VSW 137 is connected to the VNIC 124 assigned to the LPAR 128, and at least one physical NIC 112 is connected to the VSW 137, and at least one physical NIC 112 is connected to the VNIC 137.
  • a PSW 154 is connected, and a network segment corresponding to a VSW (virtual network segment) 137 connected to the PSW 154 through the physical NIC 112 is connected to the PSW 154.
  • the network segment may be, for example, a LAN subnet or a VLAN (tag VLAN).
  • a packet transmitted from the guest OS # 13 is transmitted to the NIC through the VNIC 124 assigned to the LPAR # 13, the VSW # 13 connected to the VNIC 124, and the NIC # 2 connected to the VSW # 13.
  • the PSW # 3 specifies the physical port ID corresponding to the destination MAC address in the received packet from the MAC address table # 3, and outputs the received packet from the specified physical port #A or #D.
  • the packet is sent to an external device through the network segment # 3 connected to the PSW # 3, or is sent to the LPAR 128 in the physical computer # 2.
  • VSW 137 corresponds to the network segment
  • a plurality of VSWs 137 corresponding to the same network segment exist in the plurality of physical computers 101.
  • VSW # 11 and VSW # 21 corresponding to the same network segment # 1 exist in the physical computers # 1 and # 2.
  • the management console 149 may be a computer such as a personal computer, for example.
  • the management console 149 is connected to at least one of the plurality of PSWs 154 (for example, PSW # 1).
  • PSW # 1 the plurality of PSWs 154
  • an LM start request is started when an instruction is issued to both the LM source physical computer # 1 and the LM destination physical computer # 2 through the PSW # 1.
  • the LM start request is sent only to the physical computer # 1 (or # 2), and the LM start request is sent from the physical computer # 1 (or # 2) to the partner physical computer # 2 (or # 1). May be.
  • the migration processing unit # 1 transfers the data of the LPAR target LPAR # 128 to the migration processing unit # 2 through the NIC # 1, thereby realizing the LM of the LPAR 128.
  • the LM target LPAR 128 for example, LPAR # 13
  • the migration method are specified. If the specified LPAR 128 is in operation and the specified method is LM, LM is executed. If the specified LPAR 128 is not in operation even though the specified method is LM, the LM fails.
  • the migration processing unit 148 can perform other types of migration, for example, shutdown migration that migrates the migration target LPAR 128 in a state where the guest OS 131 of the migration target LPAR 128 is shut down. .
  • shutdown migration must be specified as the migration method.
  • the migration processing unit # 2 of the LM destination physical computer # 2 transmits the RARP packet.
  • FIG. 5 shows a configuration example of the RARP packet transmitted when the LPAR 128 of the LM target is the LPAR 128 not using the tag VLAN.
  • the packet configuration is the same as the packet configuration shown in FIG. A value (for example, 0x8035) meaning RARP is written in the third field (field in which the type is written), and data related to RARP (value according to the RARP packet configuration) is written in the fourth field (field having data). It is.
  • FIG. 6 shows the flow of processing performed by the VSW 137 in the hypervisor 103.
  • FIG. 6 is a common process performed by all the VSWs 137 after the physical computer 101 is activated and the VSW 137 is constructed by the hypervisor 103. Specifically, the processing of FIG. 6 is performed regardless of whether the physical computer 101 having the VSW 137 is the LM source or the LM destination of the LPAR 128. The process of FIG. 6 is applied to all the VSWs 137. However, since the LM target of this embodiment is LPAR # 13, the process shown in FIG. 6 will be described by taking VSW # 13 as an example.
  • VSW # 13 waits until a packet transmitted by guest OS # 13 is received or a learning data acquisition request is received.
  • the MAC learning unit # 13 When the packet transmitted by the guest OS # 13 is received, the MAC learning unit # 13 performs the MAC address learning process (see FIG. 9 for details of the MAC address learning process).
  • VSW # 13 transmits the received packet after performing the MAC address learning process.
  • the packet is output from the physical computer # 1 through the NIC # 12 connected to the VSW # 13.
  • the VSW # 13 performs the learning data acquisition process (see FIG. 10 below for details of the learning data collection process including the learning data acquisition process).
  • VSW # 13 acquires learning data, and transmits the acquired learning data to the transmission source (VNIC) of the learning data acquisition request.
  • FIG. 7 shows a configuration example of the MAC address learning table 144.
  • the MAC address learning table 144 exists for each VSW 137 and has one or more entries.
  • One entry includes, for example, the transmission source MAC address extracted from the packet received by the VSW 137 having the MAC address learning table 144, the VLAN ID extracted from the packet, and the ID of the transmission source VNIC. , And an update time that is the time when this entry was updated. That is, each entry uses the VNIC ID instead of the VNIC virtual MAC address to identify the VNIC. For the VNIC, the virtual MAC address of the VNIC may be registered.
  • the hypervisor # 2 (migration processing unit # 2) issues an RARP packet.
  • the RARP packet requires a source MAC address and a VLAN ID (if tag VLAN is used). From the MAC address learning table 144 in the LM source hypervisor # 1, information on all entries related to the LM LPAR is migrated to the LM destination hypervisor # 2.
  • the guest OS # 13 has transmitted a packet containing a MAC address different from the virtual MAC address managed by the hypervisor # 1 (and when a tag VLAN is used)
  • the entry entry (entry of the MAC address learning table) brought from the LM source
  • information necessary for restoring the network connection and included in the RARP packet is stored.
  • the LM-destination hypervisor # 2 migrate processing unit # 2 issues an RARP packet including such information, whereby the network connection of the LM LPAR can be restored.
  • the MAC address learning table 144 is generated by the initialization process of the VSW 137 by the hypervisor 103 and always exists while the VSW 137 exists. The user specifies which VSW (virtual network segment) the guest OS 134 uses. The MAC address learning table 144 is updated when information in the packet used by the guest OS 134 is updated.
  • FIG. 8 shows an area occupied by information related to the hypervisor 103 in the memory 111.
  • the MAC address learning table 144 and the VSW 137 that logically holds the table 144 are stored in the memory 111. Be placed. Thereby, even if the guest OS 134 generates and transmits a large amount of packets, the MAC address learning process can be performed without taking a long time.
  • a device external to the physical computer # 1, such as the management console 149, may have the MAC address learning table 144. However, since it is necessary to transfer data through the communication network, the guest OS 134 makes a large amount of data. When a packet is generated and transmitted, it takes a long time to analyze and update data.
  • FIG. 9 shows the flow of S603 (MAC address learning process) in FIG.
  • the MAC address learning process is a process performed by the MAC learning unit 140 of the VSW # 137 while the VSW 137 exists regardless of the LM.
  • the process shown in FIG. 9 will be described using VSW # 13 as an example.
  • the MAC learning unit # 13 receives the packet transmitted by the guest OS # 13.
  • the MAC learning unit # 13 analyzes the received packet, and acquires information from the packet based on whether or not the guest OS # 13 is using the tag VLAN. Specifically, when the tag VLAN is used, the acquired information is a source MAC address and a VLAN ID. When the tag VLAN is not used, the acquired information is the source MAC address. Whether or not the tag VLAN is used can be determined, for example, by whether or not the next two bytes of the second field (source MAC address) in the packet is TPID “0x8100”.
  • the MAC learning unit # 13 determines that an entry (hereinafter, a matching entry in the description of FIG. 9) including the same MAC address (and VLAN ID) as the acquired transmission source MAC address (and VLAN ID) is MAC address learning. It is determined whether it is in table # 13.
  • the MAC learning unit # 13 registers the same VNIC ID as the VNIC ID of the transmission source of the packet received in S901 in the matching entry. It is determined whether or not.
  • the MAC learning unit # 13 changes the VNIC ID of the matching entry to the VNIC ID of the transmission source of the packet received in S901. Thereby, for example, even when the same MAC address is used in different VNICs during teaming, it is possible to know which VNIC is used.
  • S909 If the result of the determination in S907 is affirmative (S907: No), or after S908, the MAC learning unit # 13 adds the information (learned information) acquired in S902 to the empty entry, and in S901.
  • the VNIC ID of the transmission source of the received packet and the update time that is the time when information is stored in the empty entry are stored.
  • FIG. 10 shows the flow of learning data collection processing.
  • the MAC address learning table 144 has a plurality of entries, and each entry includes a VNIC ID.
  • the VNIC ID is information for identifying the VNIC, as the name implies, and corresponds to the VNIC in a 1: 1 ratio.
  • the information of the entry having the VNIC ID corresponding to the VNIC assigned to the LM target LPAR is acquired, and the hypervisor # 2 of the LM destination receives the MAC of the entry. It is necessary to send the RARP packet using the address and VLAN ID.
  • the search is performed using the VNIC ID as a key. If a plurality of VNICs are assigned to the LPAR, it is necessary to acquire information on a plurality of entries.
  • the LPAR 128 to be LM may be an LPAR that uses a tag VLAN, it is necessary to acquire information on a plurality of entries for one VNIC.
  • the learning data collection process shown in FIG. 10 will be described below by taking as an example the case where the LPAR 128 of the LM is LPAR # 13 and is LMed from the physical computer # 1 to the physical computer # 2, as in FIGS. .
  • the migration processing unit # 1 issues a learning data acquisition request to one VNIC 137 (for example, # 11) of one or more VNICs 137 assigned to the LPAR # 13.
  • VNIC # 11 receives the learning data acquisition request in S1001, and transmits the learning data acquisition request to VSW # 13 connected to VNIC # 11.
  • VSW # 13 specifies the VNIC ID of VNIC # 11.
  • VSW # 13 searches the MAC address learning table # 13 for an entry having the same VNIC ID as the VNIC ID specified in S1004 (hereinafter, a matching entry in the description of FIG. 10).
  • VSW # 13 determines whether or not the retrieved entry is a matching entry.
  • the VSW # 13 copies the information of the matching entry to the buffer area (for example, a predetermined area in the memory 11) of the migration processing unit # 1. As a result, the migration processing unit # 1 can transfer the data related to the LPAR # 13 to the LM destination.
  • VSW # 13 If the result of the determination in S1008 is affirmative (S1008: Yes), VSW # 13 notifies VNIC # 11 of the transmission source of the request received in S1003 that data acquisition has been completed.
  • the VNIC # 11 Upon receiving the notification of completion of data acquisition, the VNIC # 11 notifies the migration processing unit # 1 that has transmitted the request in S1001 of completion of data acquisition.
  • the migration processing unit # 1 that has received the notification of the completion of data acquisition from the VNIC # 11 has completed data acquisition for all of the one or more VNICs 137 assigned to the LM target LPAR # 13. Determine whether.
  • FIG. 11 shows the flow of LM processing. It has been described so far that the LPAR 128 is LM from the physical computer # 1 to the physical computer # 2. However, to be precise, data relating to the LM source LPAR in the physical computer # 1 is transferred from the physical computer # 1 to the physical computer # 2. The data related to the LPAR of the LM destination in the physical computer # 2 is changed to the data related to the LPAR of the LM source in the physical computer # 1. Therefore, in the following description, the terms “LM source LPAR” and “LM destination LPAR” are used. In this LM process, LPAR # 3 is migrated from the LM source LPAR to the LM destination LPAR.
  • the management console 149 issues an LM start request to the migration processing unit # 1 in the LM source physical computer # 1.
  • the management console 149 issues an LM start request to the migration processing unit # 2 in the LM destination physical computer # 1.
  • the migration processing unit # 1 collects configuration information regarding the LM source physical computer # 1.
  • the configuration information may include, for example, which VNIC 124 is connected to which NIC 112 port through which VSW 137, a virtual MAC address for each VNIC, and a WWN (World Wide Name) for each VHBA.
  • the migration processing unit # 2 collects configuration information regarding the physical computer # 2 of the LM destination.
  • the migration processing unit # 2 transfers the MAC address and / or WWN of the LM destination LPAR in the configuration information acquired in S1104 to the migration processing unit # 1.
  • the migration processing unit # 1 transfers the MAC address and / or WWN of the LM source LPAR in the configuration information acquired in S1103 to the migration processing unit # 2.
  • the migration processing unit # 2 receives the MAC address and / or WWN transmitted from the migration processing unit # 1 in S1106 and receives the MAC address and / or WWN of the LM destination LPAR. And / or change to WWN.
  • the migration processing unit # 1 issues a resource securing request to the migration processing unit # 2.
  • the migration processing unit # 2 receives the resource securing request from the migration processing unit # 1, and performs the resource securing process of the LM destination LPAR.
  • the migration processing unit # 2 that has secured the resource waits for the information stored in the VMEM 123 to be transferred from the migration processing unit # 1.
  • the migration processing unit # 1 acquires information about the LM source LPAR from the VMEM 123, and transfers the acquired information to the migration processing unit # 2.
  • the migration processing unit # 1 continues to transfer the information regarding the LM source LPAR among the information regarding the LM source LPAR stored in the VMEM 123 until the dirty ratio becomes equal to or less than a predetermined value.
  • the dirty ratio is the ratio of the amount of dirty information in the information related to the LM source LPAR to the amount of information related to the LM source LPAR. Dirty information is information that has been updated after being transferred in this LM process and needs to be transferred.
  • the migration processing unit # 2 changes the information related to the LM destination LPAR among the information in the VMEM in the hypervisor # 2 to the information transferred from the migration processing unit # 1 (information related to the LM source LPAR). .
  • the migration processing unit # 1 pauses the LM source LPAR when the dirty ratio falls below a certain value. Specifically, the migration processing unit # 1 suspends the LM source LPAR by suspending the virtual resources (VCPU 119, VNIC 124, etc.) allocated to the LM source LPAR. As a result, it is possible to determine information related to the LM source LPAR in the information of the VMEM, and thus it is possible to prevent the dirty information from increasing.
  • a learning data collection process (see FIG. 10) is performed.
  • the processing includes that the migration processing unit # 1 transmits a learning data acquisition request to the VNIC connected to the LM source LPAR.
  • the migration processing unit # 1 can acquire the data (software MAC, VLAN ID) learned for the LM source LPAR. Specifically, as shown in S1007 of FIG. 10, information of one or more entries in the MAC address learning table 144 is copied to the buffer area of the migration processing unit # 1.
  • the migration processing unit # 1 receives device information that is information including information (information of one or more entries in the MAC address learning table 144) copied to the buffer area of the migration processing unit # 1. Forward to 2.
  • the migration processing unit # 2 receives the device information transferred from the migration processing unit # 1 in S1115, and reflects the received device information in the LM destination LPAR. Specifically, the migration processing unit # 2 has received each one or more entries corresponding to the ID of the VNIC of the LM destination LPAR in the MAC address learning table of the VSW connected to the VNIC of the LM destination LPAR. Stores information (MAC address, VLAN ID, and update time) other than the VNIC ID in the device information.
  • the migration processing unit # 1 performs final memory transfer after transferring the device information. For example, all the remaining dirty information about the LM source LPAR is transferred to the migration processing unit # 2.
  • the migration processing unit # 2 reflects the final memory. For example, the migration processing unit # 2 stores the received dirty information in the VMEM in the hypervisor # 2.
  • the migration processing unit # 1 issues a LPAR restart request specifying the LM LPAR to the migration processing unit # 2.
  • the migration processing unit # 2 receives the LPAR resumption request, and performs LPAR resumption processing for resuming the guest OS 131 stopped at the LM source in accordance with the request.
  • the migration processing unit # 1 performs deactivate processing of the LM source LPAR.
  • the migration processing unit # 2 finds an entry corresponding to the VNIC assigned to the LM destination LPAR from the MAC address learning table of the VSW connected to the LM destination LPAR, and the MAC address (and RARP packet including VLAN ID) is broadcasted.
  • the PSW # 1 having the MAC address table # 1 including the same MAC address (and VLAN ID) as the MAC address (and VLAN ID) in the RARP packet is
  • the ID “port B” of the physical port corresponding to the MAC address is changed to the ID “port D” of the physical port that has received the RARP packet this time.
  • broadcast transmission of the RARP packet is used to change the MAC address table 148 of the PSW 154.
  • the MAC address table 148 of the PSW 154 may be changed by a packet other than the RARP packet. .
  • the migration processing unit # 2 stores the configuration information of the LM destination LPAR.
  • the configuration information of the LPAR may be stored in a memory, but in this embodiment, it is stored in an SVP (Service Processor) that is a computer for maintenance or management of the physical computer 101.
  • the SVP may be common to a plurality of physical computers 101, or may be prepared for each physical computer 101.
  • the LPAR configuration information is stored in the SVP of the physical computer # 2.
  • the migration processing unit # 2 transmits a configuration information storage completion report to the migration processing unit # 1.
  • the migration processing unit # 1 receives the configuration information storage completion report, and sets the MAC address and / or WWN transmitted from the migration processing unit # 2 in S1105 as the MAC address and / or WWN of the LM source LPAR. To do.
  • the migration processing unit # 1 deletes the definition of the LM source LPAR (for example, information in the resource management unit # 1 regarding the LM source LPAR).
  • the migration processing unit # 1 transmits an LPAR definition cancellation report to the migration processing unit # 2.
  • the migration processing unit # 1 stores the configuration information of the LM source LPAR.
  • the LPAR configuration information is stored in the SVP of the physical computer # 1.
  • the migration processing unit # 1 transmits a configuration information storage completion report to the LM destination migration processing unit 172 after the configuration information storage is completed.
  • the migration processing unit # 1 transmits a configuration information storage completion report to the migration processing unit # 2, and then transmits an LM completion report to the management console 149.
  • the migration processing unit # 2 receives the configuration information storage completion report from the migration processing unit # 1, and transmits the LM completion report to the management console 149.
  • the management console 149 completes the LM after receiving the LM completion report from both the migration processing units # 1 and # 2.
  • the MAC address or VLAN ID is not manually input by the administrator.
  • the network connection of the live-magnified LPAR can be restored. Since the administrator does not need to manually input a MAC address or VLAN ID outside the jurisdiction of the hypervisor 103, the user of the LPAR or its upper machine and the administrator of the hypervisor 103 need to cooperate in order to input the information. There is no.
  • the hypervisor # 1 manages a plurality of MAC address management tables 144. Even in such a configuration, by collecting learning data from the VSW through the VNIC assigned to the LM target LPAR 128, it is possible to avoid transferring data related to the LPAR 128 that is not the LM target LPAR 128 to the LM destination. Can do.
  • a virtualization mechanism such as the hypervisor 103 may be realized as a computer program or may be realized as an object.
  • the hypervisor includes a storage device that stores a computer program, a communication interface device for communicating with an external device such as a physical computer, and a control device that is connected to the storage device and the communication interface device and includes a processor.
  • a function as a hypervisor may be realized by a computer program being executed by a processor in the control device. Further, for example, at least one of the scheduler 117, the resource management unit 118, and the migration processing unit 148 included in the hypervisor 103 may be realized by a hardware circuit, or at least one of the elements 117, 118, and 148. Some processing may be realized by a hardware circuit.
  • 101 Physical computer
  • 103 Hypervisor
  • 128 LPAR (virtual computer)
  • 137 VSW (virtual switch)
  • 140 MAC learning unit
  • 144 MAC learning table

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)

Description

ライブマイグレーションされた仮想計算機のネットワーク接続を復元する仮想計算機システム
　本発明は、仮想計算機のライブマイグレーションに関する。
　物理計算機が有するハイパーバイザのような仮想化機構により、物理計算機に１又は複数の仮想計算機が構築される。稼働中の仮想計算機を第１の物理計算機から第２の物理計算機にマイグレーションすることであるライブマイグレーション（以下、「ＬＭ」と言うことがある）の技術が知られている（例えば特許文献１）。
　以下、ＬＭ元の物理計算機を「第１の物理計算機」と言い、第１の物理計算機が有する仮想化機構を「第１の仮想化機構」と言い、ＬＭ先の物理計算機を「第２の物理計算機」と言い、仮想的なＮＩＣ（Network　Interface　Card）を「ＶＮＩＣ」と言い、第２の物理計算機が有する仮想化機構を「第２の仮想化機構」と言い、ＬＭ対象の仮想計算機（仮想マシン）を「対象ＶＭ」と言い、第１の仮想化機構が管理するＶＮＩＣであってＬＭ前に対象ＶＭに割り当てられていたＶＮＩＣを「第１のＶＮＩＣ」と言い、第２の仮想化機構が管理するＶＮＩＣであってＬＭ後に対象ＶＭに割り当てられるＶＮＩＣを「第２のＶＮＩＣ」と言うことがある。
特開２０１２－１０８８１６号公報
　対象ＶＭの上位マシン（例えば、対象ＶＭにアクセスする物理的又は仮想的な計算機、或いは、対象ＶＭ上で動作する仮想的な計算機）がいたとしても、ＬＭでは、上位マシンに気づかれることなく、対象ＶＭをマイグレーションする必要がある。このため、ＬＭ後に対象ＶＭと外部環境との接続を復元する必要がある。
　外部環境のネットワーク接続情報として、例えば、ＰＳＷ（物理的なネットワークスイッチ）が保持しているＭＡＣアドレステーブルがある。ＭＡＣアドレステーブルは、宛先となるＭＡＣアドレスが割り当てられているマシンがＰＳＷのどのポートに接続されているかを表す情報を有する。
　ＬＭの後、ＭＡＣアドレステーブルを更新する必要がある。この更新は、第２の仮想化機構が、ＲＡＲＰ（Reverse　Address　Resolution　Protocol）パケットを発行することで行われる。ＲＡＲＰは、ＭＡＣアドレスを用いてＩＰアドレスを取得するためのプロトコルである。
　具体的には、第１及び第２の仮想化機構の間で、第１のＶＮＩＣのＭＡＣアドレス＃Ｘと第２のＶＮＩＣのＭＡＣアドレス＃Ｙが交換される。第２の仮想化機構は、第２の仮想化機構が有することになったＭＡＣアドレス＃Ｘを指定したＲＡＲＰパケットをブロードキャストする。ネットワーク上のＲＡＲＰサーバが、そのＲＡＲＰパケットを受信し、そのＲＡＲＰパケットに応答して、ＭＡＣアドレス＃Ｘに対応するＩＰアドレス＃Ｋを第２の仮想化機構に返す。これにより、第２の物理計算機がＩＰアドレス＃Ｋを使用した通信をすることができるようになる。ＲＡＲＰパケットは、ＰＳＷで中継されるが、ＰＳＷは、ＭＡＣアドレステーブルにおけるＭＡＣアドレス＃Ｘに対応したポートの識別情報を、そのＲＡＲＰパケットを受信したポートの識別情報に更新する。これにより、ＭＡＣアドレス＃Ｘとポートとの対応関係が更新され、ＬＭ後の対象ＶＭについて、ネットワークの接続が復元することになる。
　しかし、ＬＭ前において、第１の仮想化機構の管轄の外で、第１のＶＮＩＣのＭＡＣアドレスとは異なるＭＡＣアドレスが、対象ＶＭによる通信において使用されることがある。
　その一例として、Teamingと呼ばれる技術が適用されている環境がある。Teamingとは、計算機に割り当てられた１以上のＮＩＣの複数のポートを束ねて１つのポートとして運用し負荷分散、帯域向上及び耐障害性の向上を図るための技術である。この技術がＶＮＩＣに適用された場合、１以上のＶＮＩＣに係る複数のポート（チーム設定された複数のポート）は一体として運用され、下記のうちの少なくとも１つが行われる。
（＊）複数のポートのうちの第１のポートに障害が発生した場合に、第１のポートが論理的に切り離され、複数のポートのうちの第２のポートを使用して通信が続行される。
（＊）複数のポートを介して複数の通信相手と通信する際に分担して送受信が行われることで、帯域幅が増加され、又は、負荷が分散される。
　Teamingで使用されるＭＡＣアドレスは、ＶＮＩＣに割り当てられているＭＡＣアドレスと異なるＭＡＣアドレスであることがある。仮想計算機のＯＳ（ゲストＯＳ）が使用するＭＡＣアドレスの変更は、仮想化機構とは独立して実施される。
　そして、ＰＳＷが有するＭＡＣアドレステーブルには、ゲストＯＳが使用するＭＡＣアドレスが登録される。具体的には、例えば、ＰＳＷは、外部から来たパケットを受信した場合、受信したパケットに含まれているＭＡＣアドレスがＭＡＣアドレステーブルに無ければ、そのＭＡＣアドレスと、そのパケットを受信したポート（ＰＳＷのポート）のＩＤとをＭＡＣアドレステーブルに登録するようになっている。
　そのため、ＬＭ後に第２の仮想化機構が送信するＲＡＲＰパケットにおいて、正しいＭＡＣアドレス（具体的には、ＰＳＷのＭＡＣアドレステーブルに登録されているＭＡＣアドレスと同じＭＡＣアドレス）を指定することができないケースがあり得る。この場合、対象ＶＭのネットワーク接続を復元することはできない。
　上記のことは、ＭＡＣアドレスに限らず、第１の仮想化機構が管理する情報とは異なる情報が、対象ＶＭによる通信において使用される他のケースについてもあり得る。例えば、対象ＶＭがｔａｇ　ＶＬＡＮ（Virtual　LAN）を使用するケースである（ＬＡＮは、Local　Area　Networkの略称）。ｔａｇ　ＶＬＡＮを経由する通信では、ＶＬＡＮ　ｔａｇ（ＶＬＡＮ　ＩＤ等を含んだ情報）が使用されるが、仮想化機構は、対象ＶＭが使用するＶＬＡＮ　ｔａｇを知らない。このようなケースでは、ゲストＯＳのＭＡＣアドレスがＶＮＩＣのＭＡＣアドレスと同じであったとしても、上記のように、ＬＭ後に対象ＶＭのネットワーク接続を復元することができないという問題が生じ得る。
　このようなことを回避する１つの方法として、対象ＶＭが使用するＭＡＣアドレス或いはＶＬＡＮ　ｔａｇのような情報を仮想化機構に管理者が管理コンソールを通じて手動で入力する方法が考えられる。しかし、誤った情報が入力される或いは情報の入力漏れが生じるおそれがある。この場合、ＬＭ後に対象ＶＭのネットワーク接続を復元することはできない。
　また、仮想計算機或いはその上位マシンがどのように運用されているかを仮想化機構の管理者が管理することは困難であるケースがある。そのようなケースの一例として、クラウド環境でＰａａＳ（Platform　as　a　Service）を提供するケースである。通常、仮想化機構の管理者は、仮想計算機或いはその上位マシンがどのように運用されているかを把握していない。このため、仮想計算機が使用する情報を管理者が手動で入力する場合、仮想マシン或いはその上位マシンの使用者と仮想化機構の管理者の連携が必要になる。
　第１の仮想化機構は、第１の管理情報ユニットを有し、第２の仮想化機構が、第２の管理情報ユニットを有する。第１の仮想化機構が、仮想計算機からパケットを受信した場合、パケットから、所定種類の情報を抽出し、抽出した所定種類の情報を第１の管理情報ユニットに登録する。第１の仮想化機構は、ＬＭのときに、第１の管理情報ユニット中の所定種類の情報を、第２の仮想化機構に送信する。第２の仮想化機構は、その所定種類の情報を第２の管理情報ユニットに登録し、ＬＭされた仮想計算機のネットワーク接続を復元するべく、所定種類の情報を含んだ所定種類のパケットを、第２の物理計算機の１以上の物理Ｉ／Ｏデバイスの少なくとも１つから送信する。
　仮想化機構の管轄外の情報を使用した通信が行われる環境であっても、仮想化機構の管理者によって当該管轄外情報が手動で入力されること無しに、ライブマグレーションされた仮想計算機のネットワーク接続を復元することができる。仮想化機構の管理者が手動で管轄外情報を入力する必要が無いので、当該情報入力のために仮想計算機或いはその上位マシンの使用者と仮想化機構の管理者が連携する必要も無い。
図１は、実施形態に係る仮想計算機システムとその外部環境の一例を示す。 図２は、ＶＮＩＣ＃１１の管理テーブル＃１１とＶＮＩＣ＃１２の管理テーブル＃１２の例を示す。 図３は、ｔａｇ　ＶＬＡＮを使用していないＬＰＡＲ１２８から送信されるパケットの構成例を示す。 図４は、ｔａｇ　ＶＬＡＮを使用しているＬＰＡＲ１２８から送信されるパケットの構成例を示す。 図５は、ＬＭ対象のＬＰＡＲ１２８がｔａｇ　ＶＬＡＮを使用していないＬＰＡＲ１２８である場合に送信されるＲＡＲＰパケットの構成例を示す 図６は、ハイパーバイザ１０３内のＶＳＷ１３７が行う処理の流れを示す。 図７は、ＭＡＣアドレス学習テーブル１４４の構成例を示す。 図８は、メモリ１１１のうちハイパーバイザ１０３に関する情報が占める領域を示す。 図９は、図６のＳ６０３（ＭＡＣアドレス学習処理）の流れを示す。 図１０は、学習データ収集処理の流れを示す。 図１１は、ＬＭ処理の流れを示す。 図１２は、ＬＭ元のハイパーバイザ＃１におけるＶＳＷ＃１１のＬＭ前後のＭＡＣアドレス学習テーブル＃１１の一例を示す。 図１３は、ＬＭ先のハイパーバイザ＃２におけるＶＳＷ＃２１のＬＭ前後のＭＡＣアドレス学習テーブル＃２１の一例を示す。 図１４は、ＰＳＷ＃１におけるＬＭ前のＭＡＣアドレステーブル＃１の一例を示す。 図１５は、ＰＳＷ＃１におけるＬＭ前のＭＡＣアドレステーブル＃１の一例を示す。
　以下、図面を参照して、一実施形態を説明する。
　その際、同種の複数の要素を区別しないで説明する際には、その要素の参照符号を使用し、同種の要素を区別して説明する際には、その要素の参照符号に代えてその要素に付した通し番号を使用する。例えば、複数の物理計算機を区別しないで説明する際には、「物理計算機１０１」と記載し、複数の物理計算機を区別して説明する際には、「物理計算機＃１」、「物理計算機＃２」と記載する。
　また、以下の説明では、ａａａ情報の一例として、ａａａテーブルという名称で説明するが、情報はテーブルの形式に限らず他種の形式でも良い。
　図１は、実施形態に係る仮想計算機システムとその外部環境の一例を示す。
　仮想計算機システムは、複数の物理計算機１０１を含む。仮想計算機システムの外部環境は、例えば、複数のＰＳＷ１５４と、管理コンソール１４９とを含む。
　物理計算機１０１は、物理層（物理リソース）１０２を有する。物理層１０２は、１以上のＣＰＵ１０４、１以上のメモリ１１１、及び１以上の物理Ｉ／Ｏ（Input/Output）デバイスを含む。物理Ｉ／Ｏデバイスは、例えば、通信ネットワークを介した通信のためのインタフェースデバイスであり、物理Ｉ／Ｏデバイスが通信ネットワークに接続されていてよい。１以上の物理Ｉ／Ｏデバイスは、例えば、３つの物理的なＮＩＣ１１２と、２つのＦＣ（Fibre　Channel）－ＨＢＡ（Host　Bus　Adaptor）１１５である。図示の例では、物理計算機＃１に関して、ＮＩＣ＃１１の第１のポートに、ＰＳＷ＃１のポート＃Ａが接続されており、ＮＩＣ＃１２の第１のポートに、ＰＳＷ＃３のポート＃Ｂが接続されており、ＮＩＣ＃１３の第１のポートに、ＰＳＷ＃４のポート＃Ｂが接続されている。物理計算機＃２に関して、ＮＩＣ＃２１の第１のポートにＰＳＷ＃１のポート＃Ｄが接続されており、ＮＩＣ＃２２の第１のポートにＰＳＷ＃３のポート＃Ｄが接続されている。
　物理計算機１０１において、物理層１０２の少なくとも１つのＣＰＵ１０４においてコンピュータプログラム（例えばファームウェア）が実行されることで、ハイパパイザ１０３が実現される。ハイパーバイザ１０３は、物理層１０２（ＣＰＵ１０４、メモリ１１１、Ｉ／Ｏデバイス（ＮＩＣ１１２及びＦＣ－ＨＢＡ１１５）を論理的に分割し、且つ、論理的に分割することにより得られた複数の仮想リソースをそれぞれ複数のＬＰＡＲ（Logical　Partition）に割り当てることにより、１台の物理計算機１０１上に複数の仮想計算機を動作させることを可能とする機構である。仮想リソースの数はＬＰＡＲの数と同じであり、仮想リソースはＬＰＡＲに１対１で割り当てられる。仮想リソースがＬＰＡＲに割り当てられることで仮想計算機が実現されるので、以下、本実施形態では、仮想計算機を「ＬＰＡＲ」と呼ぶ。１つのＬＰＡＲ１２８に割り当てられる１つの仮想リソースは、例えば、１以上のＣＰＵ１０４に基づく１以上のＶＣＰＵ（仮想ＣＰＵ）１１９、１以上のメモリ１１１に基づく１以上のＶＭＥＭ（仮想メモリ）１２３、及び、１以上のＩ／Ｏデバイスに基づく１以上の仮想Ｉ／Ｏデバイスを含む。１以上の仮想Ｉ／Ｏデバイスは、例えば、１以上のＮＩＣ１１２に基づく１以上のＶＮＩＣ１２４、及び／又は、１以上のＦＣ－ＨＢＡ１１５に基づく１以上のＶＨＢＡ（仮想ＨＢＡ）１２６である。
　ＬＰＡＲ１２８では、ＯＳ（ゲストＯＳ）１３１が実行される。ゲストＯＳ１３１は、パケットを送信する際、パケットに、所定種類の情報を含めるようになっている。所定種類の情報は、例えば、ゲストＯＩＳ１３１が使用するＭＡＣアドレス、及び／又は、ＶＬＡＮ　ｔａｇを含む。ＶＬＡＮ　ｔａｇは、ゲストＯＳ１３１の通信においてｔａｇ　ＶＬＡＮが使用される場合に、ゲストＯＳ１３１が送信するパケットに含まれる。ゲストＯＳ１３１が送信するパケットは、そのゲストＯＳ１３１を実行するＬＰＡＲ１２８に割り当てられているＶＮＩＣ１２４又はＶＨＢＡ１２６から送信される。そして、パケットに含まれるＭＡＣアドレスは、ゲストＯＳ１３１が独自に使用するＭＡＣアドレス（以下、「ソフトウェアＭＡＣ」と言うことがある）であって、ＶＮＩＣのＭＡＣアドレスとは異なるＭＡＣアドレスであることがある。
　ＬＰＡＲ１２８から送信されたパケットは、複数のＰＳＷ１５４のうちの少なくとも１つが受信する。ＰＳＷ１５４は、物理的なネットワークスイッチである。ＰＳＷ１５４は、複数のポート（物理ポート）と、ＭＡＣアドレステーブル１５８（正確には、ＭＡＣアドレステーブル１５８を記憶するメモリのような記憶デバイス）と、図示しないプロセッサとを有している。ＭＡＣアドレステーブル１５８は、そのテーブル１５８を有するＰＳＷ１５４の物理ポートのＩＤとＭＡＣアドレスとの対応関係を表すアドレス管理情報の一例である。ここで言う「対応関係」は、どの物理ポートにどのゲストＯＳが接続されているかを表す。そのため、ＭＡＣアドレステーブル１５８に登録される物理ポートＩＤは、パケットの転送先物理ポートのＩＤと言うこともできる。ＭＡＣアドレステーブル１５８は、例えば、図１４に示すように、ＭＡＣアドレスと、ＶＬＡＮ　ｔａｇの少なくとも一部分の一例であるＶＬＡＮ　ＩＤと、物理ポートのＩＤとの組を有する（図１４は、ＰＳＷ＃１のＭＡＣアドレステーブル＃１の一例である。
　ＰＳＷ＃１（ＰＳＷ＃１のプロセッサ）は、パケットを受信した場合、対象ＭＡＣアドレス（受信したパケットに含まれているＭＡＣアドレス）がＭＡＣアドレステーブル＃１に無ければ、対象ＭＡＣアドレスと対象ＶＬＡＮ　ＩＤ（パケットに含まれているＶＬＡＮ　ｔａｇ中のＶＬＡＮ　ＩＤ）と、対象物理ポート（パケットを受信した物理ポート）のＩＤとの組をＭＡＣアドレステーブル＃１に登録するようになっている。対象ＶＬＡＮ　ＩＤが無い場合には、ＭＡＣアドレステーブル＃１には、ＶＬＡＮ　ＩＤとして、指定無しを意味する値が登録される。また、ＰＳＷ＃１（ＰＳＷ＃１のプロセッサ）は、対象ＭＡＣアドレスがＭＡＣアドレステーブル＃１に有るが、対象ＭＡＣアドレスに対応している物理ポートＩＤが対象物理ポートＩＤと異なっていれば、ＭＡＣアドレステーブル＃１における、対象ＭＡＣアドレスに対応した物理ポートＩＤを、対象物理ポートＩＤに更新するようになっている。また、ＰＳＷ＃１（ＰＳＷ＃１のプロセッサ）は、パケットを受信した場合、対象ＭＡＣアドレスがＭＡＣアドレステーブル＃１に有り、且つ、対象ＭＡＣアドレスに対応しているＶＬＡＮ　ＩＤが、対象ＶＬＡＮ　ＩＤと異なっていれば、新たなエントリを追加し、そのエントリに、対象ＭＡＣアドレスと対象ＶＬＡＮ　ＩＤを登録する。ＰＳＷ＃１のこのような機能により、ＭＡＣアドレステーブル＃１には、ゲストＯＳが使用するＭＡＣアドレス（及びＶＬＡＮ　ｔａｇ）が登録されるようになっており、故に、そのＭＡＣアドレスが、ソフトウェアＭＡＣであれば、ＬＰＡＲ１２８のＶＮＩＣ１２４のＭＡＣアドレスではなく、ソフトウェアＭＡＣが登録される。なお、ＰＳＷ＃１のこのような機能と同じ機能を、他のＰＳＷ１２８も有している。
　ハイパーバイザ１０３は、スケジューラ１１７、リソース管理部１１８、マイグレーション処理部１４８、複数のＶＳＷ（仮想スイッチ）１３７、及び、前述した１以上の仮想リソースを有する。
　スケジューラ１１７は、物理層１０２の論理分割を行い、リソース管理部１１８は、物理層１０２としての物理リソース等のリソースを管理する。スケジューラ１１７及びリソース管理部１１８により、物理層１０２（物理リソース）を論理的に分割することにより得られた複数の仮想リソース（例えば、ＶＣＰＵ１１９、ＶＭＥＭ１２３、ＶＮＩＣ１２４及びＶＨＢＡ１２６）をそれぞれ複数のＬＰＡＲ１２８に割り当てることができる。
　ＶＮＩＣ１２４は、ハイパーバイザ１０３が割り当てた仮想ＭＡＣアドレスを持つ。また、ＶＮＩＣ１２４は、仮想ＭＡＣアドレスの他に、ＶＮＩＣ１２４に関する情報を含んだ管理テーブル１５２を有する。管理テーブル１５２は、ＶＮＩＣ１２４毎に設けられる。以下、管理テーブル１５２について、ＬＰＡＲ＃１１に割り当てられたＶＮＩＣ＃１１及び＃１２のそれぞれの管理テーブルを例に取る。
　図２は、ＶＮＩＣ＃１１の管理テーブル＃１１とＶＮＩＣ＃１２の管理テーブル＃１２の一例を示す。
　管理テーブル＃１１は、ＶＮＩＣ＃１１の仮想ＭＡＣアドレスと、ＬＰＡＲ＃１１のゲストＯＳ＃１１が使用し得る１以上のＭＡＣアドレスである１以上のＯＳ登録ＭＡＣアドレス（すなわち、ＶＮＩＣ＃１１を経由するパケットに含まれるＭＡＣアドレスとして使用され得る１以上のＭＡＣアドレス）とを含む。ＯＳ登録ＭＡＣアドレスは、ＶＮＩＣ＃１１の仮想ＭＡＣアドレスと同じ値である場合もある。
　ゲストＯＳ＃１１が送信するパケットに含まれるＭＡＣアドレスが、管理テーブル＃１１に登録される。ハイパーバイザ１０３は、管理テーブル＃１１を参照することで、ゲストＯＳ＃１１によって登録されたＭＡＣアドレスを知ることができる。
　例えばＶＮＩＣ＃１１及び＃１２についてteamingの設定がされた場合、図２に示す管理テーブル＃１１及び＃１２の通り、ＶＮＩＣ＃１１とＶＮＩＣ＃１２とでは仮想ＭＡＣアドレスが異なるが、使用されるＯＳ登録ＭＡＣアドレスは、図２に示す通り同じになることがある（例えばＭＡＣアドレス００：００：８７：００：００：０１）。teaming時には、このＯＳ登録ＭＡＣアドレスを使用すれば良いようにも思えるが、teamingの場合には、ゲストＯＳがハイパーバイザ１０３にどのＭＡＣアドレスを使用してくるか分からないため、登録ＭＡＣアドレスを使用することができない（図２に示すように、両方とも共通のＭＡＣアドレスが複数登録されている場合がある）。
　再び図１を参照する。ＬＰＡＲ１２８では、前述したように、ゲストＯＳ１３１が動作する。ＬＰＡＲ＃１３のゲストＯＳ＃１３のようにＶＬＡＮ　ｔａｇを使用しないゲストＯＳ１３１からは、図３に示すような、ＶＬＡＮ　ｔａｇを含まないパケットが送信される。ＬＰＡＲ＃１１のゲストＯＳ＃１１或いはＬＰＡＲ＃１２のゲストＯＳ＃１２のようにｔａｇ　ＶＬＡＮを使用するゲストＯＳ１３１からは、図４に示すような、ＶＬＡＮ　ｔａｇを含むパケットが送信される。図３及び図４に示すいずれの種類のパケットにも、宛先ＭＡＣアドレスと送信元ＭＡＣアドレスとが含まれる。宛先ＭＡＣアドレスは、送信元のＬＰＡＲ１２８のゲストＯＳ１３１が送信先として指定するＭＡＣアドレスであり、送信元ＭＡＣアドレスは、送信元のＬＰＡＲ１２８のゲストＯＳ１３１が送信元として指定するＭＡＣアドレスである。例えば、ｔａｇ　ＶＬＡＮを使用しないゲストＯＳから送信されるパケット（以下、ＶＬＡＮ未使用パケット）は、第１のフィールド（例えば最初の６バイトのフィールド）に宛先ＭＡＣアドレスを有し、第２のフィールド（例えば次の６バイトのフィールド）に送信元ＭＡＣアドレスを有し、第３のフィールド（例えば次の２バイトのフィールド）にパケットのタイプを示す情報（例えばプロトコルを識別するための番号）を有し、第４のフィールド（例えば次の４６～１５００バイトのフィールド）に、データを有し、第５のフィールド（例えば最後の４バイトのフィールド）に、エラー検出のためのコードを有する。一方、ｔａｇ　ＶＬＡＮを使用するゲストＯＳから送信されるパケット（以下、ＶＬＡＮ使用パケット）は、ＶＬＡＮ未使用パケットとほぼ同じであり、相違点は、ＶＬＡＮ使用パケットには、第２のフィールドと第３のフィールドとの間に第６のフィールド（例えば４バイト）がある点である。第６のフィールドには、ＶＬＡＮ　ｔａｇがある。具体的には、例えば、第６のフィールドの前半部分（例えば２バイト）には、ＴＰＩＤ（Tag　Protocol　Identifier）があり、第６のフィールドの後半部分（例えば２バイト）には、ＴＣＩ（Tag　Control　Information）がある。ＴＰＩＤの値は、ｔａｇ　ＶＬＡＮ使用時には「０x８１００」となる。ＴＣＩは、ＶＬＡＮ　ＩＤやパケットの優先順位等の情報を含む情報である。ＴＰＩＤとＴＣＩとを含んだ情報を、ＶＬＡＮ　ｔａｇと呼ぶ。
　前述したように、例えば、ＬＰＡＲ＃１１及び＃１２のようにｔａｇ　ＶＬＡＮを使用するＬＰＡＲ１２８からは、ＶＬＡＮ　ＩＤ等の情報を含んだＶＬＡＮ　ｔａｇを含むパケットが送信される。また、例えば、ＬＰＡＲ＃１３のように、ネットワークを冗長化するTeamingを行うＬＰＡＲ１２８からは、ゲストＯＳがＶＮＩＣ１５２の仮想ＭＡＣアドレスと異なるＭＡＣアドレスを含むパケットが送信されることがある。
　ハイパーバイザ＃１により、稼働中のＬＰＡＲ１２８が物理計算機＃１から物理計算機＃２にＬＭされることがある。例えば、ＬＰＡＲ＃１３がＬＭされると、ＬＰＡＲ＃１３が物理計算機＃２にマイグレーションされ、物理計算機＃２内のハイパーバイザ＃２が、ＲＡＲＰ（Reverse　Address　Resolution　Protocol）を送信すれば、ＰＳＷ＃３のＭＡＣアドレステーブル＃３とＰＳＷ＃４のＭＡＣアドレステーブル＃４が更新され、ＬＰＡＲ＃１３のネットワーク接続を復元（実質的に引き継ぐ）ことができる。
　本実施形態では、ＬＭされるＬＰＡＲ１２８がＶＮＩＣの仮想ＭＡＣアドレスと異なるソフトウェアＭＡＣを含んだパケットを送信するようになっていても（或いは、ＶＬＡＮ　ｔａｇを含んだパケットを送信するようになっていても）、そのようなＬＰＡＲ１２８がＬＭされた後にネットワーク接続を復元できるよう（言い換えれば、ＬＭに伴いネットワーク接続の引き継ぎができるよう）、少なくともＬＭ元の物理計算機＃１内のハイパーバイザ＃１が、ＬＰＡＲ１２８からのパケットから所定種類の情報を抽出し保持するという学習機能を有する。所定種類の情報は、例えば、ＭＡＣアドレス（送信元ＭＡＣアドレス）とＶＬＡＮ　ｔａｇの少なくとも一部分（例えばＶＬＡＮ　ＩＤ）とのうちの少なくとも一方（典型的には両方）である。上記学習機能は、ＭＡＣ学習部１４０である。ＭＡＣ学習部１４０は、ＭＡＣアドレス（送信元ＭＡＣアドレス）とＶＬＡＮ　　ＩＤとを抽出し管理するＭＡＣアドレス学習を行うようになっている。
　ハイパーバイザ１０３は、自身が構築する仮想的なネットワークセグメント毎にＶＳＷ（仮想的なスイッチ）１３７を有する。ＶＳＷ１３７は、物理的なＮＩＣ１１２のポートに対応している。
　各ＶＳＷ１３７は、複数の仮想ポートと、ＭＡＣ学習部１４０と、ＭＡＣアドレス学習テーブル１４４とを有する。各ＶＳＷ＃１３７の複数の仮想ポートは、ＬＰＡＲ１２８に割り当てられたＶＮＩＣ１２４に接続される仮想ポートと、物理計算機１０１が有する物理的なＮＩＣ１１２に割り当てられる仮想ポートとを含む。ＭＡＣ学習部１４０は、ＭＡＣアドレス学習を行う。例えば、ＶＳＷ＃１１のＭＡＣ学習部＃１１は、ＶＳＷ＃１１に接続されているＶＮＩＣが割り当てられているＬＰＡＲ＃１１（ゲストＯＳ＃１１）からＶＳＷ＃１１がパケットを受信した場合、そのパケットからＭＡＣアドレス（送信元ＭＡＣアドレス）とＶＬＡＮ　ＩＤとを抽出し、抽出した情報（例えばＭＡＣアドレス及びＶＬＡＮ　ＩＤ）をＭＡＣアドレス学習テーブル＃１１に登録する。これにより、ＭＡＣアドレス学習テーブル１４０に登録される情報（ＭＡＣアドレス及びＶＬＡＮ　ＩＤ）は、そのＭＡＣアドレス学習テーブル１４０を有するＶＳＷ１３７が受信したパケットに依存する。
　図１に例示した構成によれば、ＬＰＡＲ１２８に割り当てられたＶＮＩＣ１２４に少なくとも１つのＶＳＷ１３７が接続されており、ＶＳＷ１３７に少なくとも１つの物理的なＮＩＣ１１２が接続されており、物理的なＮＩＣ１１２に少なくとも１つのＰＳＷ１５４が接続されており、ＰＳＷ１５４に、そのＰＳＷ１５４に物理的なＮＩＣ１１２を通じて接続されているＶＳＷ（仮想ネットワークセグメント）１３７に対応したネットワークセグメントが接続されている。ネットワークセグメントは、例えば、ＬＡＮのサブネット、或いは、ＶＬＡＮ（ｔａｇ　ＶＬＡＮ）で良い。例えば、ゲストＯＳ＃１３から送信されたパケットは、ＬＰＡＲ＃１３に割り当てられているＶＮＩＣ１２４、そのＶＮＩＣ１２４に接続されているＶＳＷ＃１３、及び、ＶＳＷ＃１３に接続されているＮＩＣ＃２を通じて、ＮＩＣ＃２に接続されているＰＳＷ＃３で受信される。ＰＳＷ＃３は、その受信したパケット内の宛先ＭＡＣアドレスに対応した物理ポートＩＤをＭＡＣアドレステーブル＃３から特定し、特定した物理ポート＃Ａ又は＃Ｄから、その受信したパケットを出力する。これにより、パケットは、ＰＳＷ＃３に接続されているネットワークセグメント＃３を通じて外部の装置へ送られる、或いは、物理計算機＃２内のＬＰＡＲ１２８へと送られる。
　ＶＳＷ１３７は、ネットワークセグメントに対応しているので、複数の物理計算機１０１に、同一のネットワークセグメントに対応した複数のＶＳＷ１３７が存在することになる。例えば、物理計算機＃１及び＃２に、同一のネットワークセグメント＃１に対応したＶＳＷ＃１１とＶＳＷ＃２１が存在することになる。
　管理コンソール１４９は、例えば、パーソナルコンピュータのような計算機でも良い。管理コンソール１４９は、例えば、複数のＰＳＷ１５４のうちの少なくとも１つ（例えばＰＳＷ＃１）に接続されている。管理コンソール１４９から、ＰＳＷ＃１を通じて、ＬＭ開始要求がＬＭ元の物理計算機＃１とＬＭ先の物理計算機＃２の両方に指示が出されることにより開始される。ＬＭ開始要求は、例えば、物理計算機＃１（又は＃２）だけに送られて、その物理計算機＃１（又は＃２）から相手の物理計算機＃２（又は＃１）にＬＭ開始要求が送られても良い。マイグレーション処理部＃１が、ＮＩＣ＃１を通じてマイグレーション処理部＃２にＬＭ対象のＬＰＡＲ＃１２８のデータを転送することにより、ＬＰＡＲ１２８のＬＭが実現される。ＬＭ開始要求では、ＬＭ対象のＬＰＡＲ１２８（例えばＬＰＡＲ＃１３）が及びマイグレーションの方式が指定される。指定されたＬＰＡＲ１２８が稼働中であり、かつ指定された方式がＬＭであれば、ＬＭが実行される。指定された方式がＬＭであるにも関わらす、指定されたＬＰＡＲ１２８が稼働中でなければ、ＬＭは失敗となる。本実施形態に係るマイグレーション処理部１４８は、ＬＭの他に、他種のマイグレーション、例えば、マイグレーション対象のＬＰＡＲ１２８のゲストＯＳ１３１をシャットダウンした状態でそのマイグレーション対象のＬＰＡＲ１２８をマイグレーションするシャットダウンマイグレーションを行うことができる。シャットダウンマイグレーションを行う際には、マイグレーション方式としてシャットダウンマイグレーションが指定される必要がある。
　ＬＰＡＲ１２８が物理計算機＃２にＬＭされた場合、ＬＭ先の物理計算機＃２のマイグレーション処理部＃２が、ＲＡＲＰパケットを送信する。
　図５は、ＬＭ対象のＬＰＡＲ１２８がｔａｇ　ＶＬＡＮを使用していないＬＰＡＲ１２８である場合に送信されるＲＡＲＰパケットの構成例を示す。
　図５からわかるように、パケットの構成は、図３に示したパケットの構成と同じである。第３のフィールド（タイプが書き込まれるフィールド）に、ＲＡＲＰを意味する値（例えば０x８０３５）が書き込まれ、第４のフィールド（データを有するフィールド）に、ＲＡＲＰに関するデータ（ＲＡＲＰパケット構成に従う値）が書き込まれる。
　図６は、ハイパーバイザ１０３内のＶＳＷ１３７が行う処理の流れを示す。
　図６の処理は、物理計算機１０１が起動しハイパーバイザ１０３によりＶＳＷ１３７が構築された後、全てのＶＳＷ１３７で実施される共通の処理である。具体的には、図６の処理は、ＶＳＷ１３７を有する物理計算機１０１がＬＰＡＲ１２８のＬＭ元であるかＬＭ先であるかに関係なく実施される。図６の処理は、全てのＶＳＷ１３７に適用されるが、以下、本実施形態のＬＭ対象がＬＰＡＲ＃１３であるため、ＶＳＷ＃１３を例に取り、図６に示す処理を説明する。
　（Ｓ６０１）物理計算機＃１に電源が入り、ハイパーバイザ＃１が動き始め、ＶＳＷ＃１３が構築され、ＶＳＷ＃１３の処理が開始する。
　（Ｓ６０２）ＶＳＷ＃１３は、ゲストＯＳ＃１３が送信したパケットを受信するまで、又は、学習データ取得要求を受けるまで、待機する。
　（Ｓ６０３）ゲストＯＳ＃１３が送信したパケットを受信した場合には、ＭＡＣ学習部＃１３がＭＡＣアドレス学習処理を行う（ＭＡＣアドレス学習処理の詳細については後の図９を参照）。
　（Ｓ６０４）ＶＳＷ＃１３は、ＭＡＣアドレス学習処理を行った後、受信したパケットを送信する。そのパケットは、ＶＳＷ＃１３に接続されているＮＩＣ＃１２を通じて物理計算機＃１から出力される。
　（Ｓ６０５）ＶＳＷ＃１３は、学習データ取得要求を受信した場合には、学習データ取得処理を行う（学習データ取得処理を含む学習データ収集処理の詳細については、後の図１０を参照）。
　（Ｓ６０６）ＶＳＷ＃１３は、学習データを取得し、取得した学習データを、学習データ取得要求の送信元（ＶＮＩＣ）に送信する。
　以上のように、ハイパーバイザ１０３が動作し、ＶＳＷ１３７が存在しているときには、常に、各ＶＳＷ１３７で、図６のＳ６０２～Ｓ６０４の処理が繰り返される。Ｓ６０５とＳ６０６は、ＬＭ処理が行われた場合に行われる。
　図７は、ＭＡＣアドレス学習テーブル１４４の構成例を示す。
　ＭＡＣアドレス学習テーブル１４４は、前述したように、ＶＳＷ１３７毎に存在し、１以上のエントリを有する。１つのエントリは、例えば、このＭＡＣアドレス学習テーブル１４４を有するＶＳＷ１３７が受信したパケットから抽出された送信元ＭＡＣアドレスと、そのパケットから抽出されたＶＬＡＮ　ＩＤと、そのパケットの送信元のＶＮＩＣのＩＤと、このエントリが更新された時刻である更新時刻とを有する。すなわち、各エントリは、ＶＮＩＣを特定するのに、ＶＮＩＣの仮想ＭＡＣアドレスではなく、ＶＮＩＣのＩＤを使用する。ＶＮＩＣについて、ＶＮＩＣの仮想ＭＡＣアドレスが登録されても良い。
　ＬＭされたＬＰＡＲ１２８のネットワーク接続をＬＭ先の物理計算機＃２において復元するために、ハイパーバイザ＃２（マイグレーション処理部＃２）がＲＡＲＰパケットを出す。図５を参照して説明したが、ＲＡＲＰパケットには、送信元ＭＡＣアドレスとＶＬＡＮ　ＩＤ（ｔａｇ　ＶＬＡＮが使用されていれば）が必要となる。ＬＭ元のハイパーバイザ＃１におけるＭＡＣアドレス学習テーブル１４４から、ＬＭされたＬＰＡＲに関する全エントリの情報をＬＭ先のハイパーバイザ＃２にマイグレーションする。これにより、ゲストＯＳ＃１３がハイパーバイザ＃１が管理している仮想ＭＡＣアドレスと異なるＭＡＣアドレスを含んだパケットを送信していた場合（及び、ｔａｇ　ＶＬＡＮが使用されていた場合）であっても、ＬＭ元から持ってきたエントリ（ＭＡＣアドレス学習テーブルのエントリ）に、ネットワーク接続の復元に必要な情報であってＲＡＲＰパケットに含められる情報が格納されている。このため、そのような情報を含んだＲＡＲＰパケットをＬＭ先のハイパーバイザ＃２（マイグレーション処理部＃２）が出すことで、ＬＭされたＬＰＡＲのネットワーク接続を復元することができるようになる。
　ＭＡＣアドレス学習テーブル１４４は、ハイパーバイザ１０３によるＶＳＷ１３７の初期化処理で生成され、ＶＳＷ１３７が存在する間、常に存在する。ゲストＯＳ１３４が、生成されたどのＶＳＷ（仮想ネットワークセグメント）を使うかは、ユーザによって指定される。ＭＡＣアドレス学習テーブル１４４の更新は、ゲストＯＳ１３４が使用するパケット中の情報が更新された場合に行われる。
　図８は、メモリ１１１のうちハイパーバイザ１０３に関する情報が占める領域を示す。
　図８に示すように、ＭＡＣアドレス学習テーブル１４４と、そのテーブル１４４を論理的に保持するＶＳＷ１３７（正確にはＶＳＷ１３７としての機能を発生させるためにＣＰＵ１０４によって実行されるプログラムモジュール）とがメモリ１１１に配置される。これにより、ゲストＯＳ１３４が大量のパケットを生成し送信しても、ＭＡＣアドレス学習処理を長い時間をかけずに行うことができる。管理コンソール１４９のような、物理計算機＃１の外部の装置がＭＡＣアドレス学習テーブル１４４を持っても良いかもしれないが、そうすると、通信ネットワークによりデータを転送する必要がでるため、ゲストＯＳ１３４により大量にパケットが生成され送信された場合に、データの解析及び更新に長い時間を要してしまうことになる。
　図９は、図６のＳ６０３（ＭＡＣアドレス学習処理）の流れを示す。
　ＭＡＣアドレス学習処理は、ＬＭとは無関係に、ＶＳＷ１３７が存在している間、そのＶＳＷ＃１３７のＭＡＣ学習部１４０で行われる処理である。ここでも、図６と同様に、ＶＳＷ＃１３を例に取り、図９に示す処理を説明する。
　（Ｓ９０１）ＭＡＣ学習部＃１３は、ゲストＯＳ＃１３が送信したパケットを受信する。
　（Ｓ９０２）ＭＡＣ学習部＃１３は、受信したパケットの解析を行い、ゲストＯＳ＃１３がｔａｇ　ＶＬＡＮを使用しているか否かに基づき、パケットから情報を取得する。具体的には、ｔａｇ　ＶＬＡＮが使用されている場合、取得される情報は、送信元ＭＡＣアドレスとＶＬＡＮ　ＩＤである。ｔａｇ　ＶＬＡＮが使用されていない場合、取得される情報は、送信元ＭＡＣアドレスである。ｔａｇ　ＶＬＡＮを使用しているか否かは、例えば、パケットにおける第２のフィールド（送信元ＭＡＣアドレス）の次の２バイトが、ＴＰＩＤ「０x８１００」であるか否かで判定することができる。
　（Ｓ９０３）ＭＡＣ学習部＃１３は、取得した送信元ＭＡＣアドレス（及びＶＬＡＮ　ＩＤ）と同じＭＡＣアドレス（及びＶＬＡＮ　ＩＤ）を含んだエントリ（図９の説明において、以下、一致エントリ）がＭＡＣアドレス学習テーブル＃１３にあるか否かを判定する。
　（Ｓ９０４）Ｓ９０３の判定の結果が肯定的の場合（Ｓ９０３：Ｙｅｓ）、ＭＡＣ学習部＃１３は、一致エントリ内に、Ｓ９０１で受信したパケットの送信元のＶＮＩＣのＩＤと同じＶＮＩＣ　ＩＤが登録されているか否かを判定する。
　（Ｓ９０５）Ｓ９０４の判定の結果が否定的の場合（Ｓ９０４：Ｎｏ）、ＭＡＣ学習部＃１３は、一致エントリのＶＮＩＣ　ＩＤを、Ｓ９０１で受信したパケットの送信元のＶＮＩＣ　ＩＤに変更する。これにより、例えばteaming時に異なるＶＮＩＣで同じＭＡＣアドレスが使用されていた場合でも、どのＶＮＩＣが使用されているかを知ることができる。
　（Ｓ９０６）Ｓ９０４の判定の結果が肯定的の場合（Ｓ９０４：Ｎｏ）、又は、Ｓ９０５の後、ＭＡＣ学習部＃１３は、一致エントリにおける更新時刻を、一致エントリを更新した時刻に変更する。
　（Ｓ９０７）Ｓ９０３の判定の結果が否定的の場合（Ｓ９０３：Ｎｏ）、ＭＡＣ学習部＃１３は、ＭＡＣアドレス学習テーブル＃１３に空きエントリがあるか否かを判定する。
　（Ｓ９０８）Ｓ９０７の判定の結果が否定的の場合（Ｓ９０７：Ｎｏ）、ＭＡＣ学習部＃１３は、ＭＡＣアドレス学習テーブル＃１３から、最も更新時刻の古いエントリを削除することにより、空きエントリを生成する。
　（Ｓ９０９）Ｓ９０７の判定の結果が肯定的の場合（Ｓ９０７：Ｎｏ）、又は、Ｓ９０８の後、ＭＡＣ学習部＃１３は、空きエントリに、Ｓ９０２で取得した情報（学習した情報）と、Ｓ９０１で受信したパケットの送信元のＶＮＩＣ　ＩＤと、空きエントリに情報を格納する時刻である更新時刻とを、格納する。
　図１０は、学習データ収集処理の流れを示す。
　学習データ収集処理を説明する際の前提として、図７で示したように、ＭＡＣアドレス学習テーブル１４４は、複数のエントリを有し、各エントリは、ＶＮＩＣ　ＩＤを含んでいる。ＶＮＩＣ　ＩＤは、名前の通り、ＶＮＩＣを識別するための情報であり、ＶＮＩＣと１：１で対応する。
　ＬＭされたＬＰＡＲ１２８のネットワーク接続を復元するためには、ＬＭ対象のＬＰＡＲに割り当てられたＶＮＩＣに対応するＶＮＩＣ　ＩＤを持つエントリの情報を取得し、ＬＭ先のハイパーバイザ＃２が、当該エントリのＭＡＣアドレスとＶＬＡＮ　ＩＤを利用してＲＡＲＰパケットを送信する必要がある。ＬＰＡＲに割り当てられたＶＮＩＣのエントリをＭＡＣアドレス学習テーブルから検索する際には、ＶＮＩＣ　ＩＤをキーとして検索する。ＬＰＡＲに複数のＶＮＩＣが割り当てられていれば、複数のエントリの情報を取得する必要がある。また、ＬＭ対象のＬＰＡＲ１２８がｔａｇ　ＶＬＡＮを使用するＬＰＡＲであることもあるので、その際には、１つのＶＮＩＣについて複数のエントリの情報を取得する必要がある。以下、図６及ぶ図９と同様、ＬＭ対象のＬＰＡＲ１２８がＬＰＡＲ＃１３であり物理計算機＃１から物理計算機＃２にＬＭされることを例に取り、図１０に示す学習データ収集処理を説明する。
　（Ｓ１００１）マイグレーション処理部＃１は、ＬＰＡＲ＃１３に割り当てられている１以上のＶＮＩＣ１３７のうちの１つのＶＮＩＣ１３７（例えば＃１１）に、学習データ取得要求を出す。
　（Ｓ１００２）ＶＮＩＣ＃１１は、Ｓ１００１の学習データ取得要求を受信し、ＶＮＩＣ＃１１に接続されているＶＳＷ＃１３に対して、学習データ取得要求を送信する。
　（Ｓ１００３）ＶＳＷ＃１３が、データ収集要求を受信する。
　（Ｓ１００４）ＶＳＷ＃１３が、ＶＮＩＣ＃１１のＶＮＩＣ　ＩＤを特定する。
　（Ｓ１００５）ＶＳＷ＃１３が、ＭＡＣアドレス学習テーブル＃１３内に、Ｓ１００４で特定したＶＮＩＣ　ＩＤと同一のＶＮＩＣ　ＩＤを持つエントリ（図１０の説明において、以下、一致エントリ）の検索を行う。
　（Ｓ１００６）ＶＳＷ＃１３が、検索したエントリが一致エントリであるかどうかの判定を行う。
　（Ｓ１００７）Ｓ１００６の判定の結果が肯定的の場合（Ｓ１００６：Ｙｅｓ）、ＶＳＷ＃１３が、一致エントリの情報を、マイグレーション処理部＃１のバッファ領域（例えばメモリ１１における所定領域）にコピーする。これにより、マイグレーション処理部＃１がＬＭ先にＬＰＡＲ＃１３に関するデータを転送できるようにする。
　（Ｓ１００８）Ｓ１００６の判定の結果が否定的の場合（Ｓ１００６：Ｎｏ）、或いは、Ｓ１００７の後、ＶＳＷ＃１３が、検索するエントリが最終エントリであるか否かを判定する。この判定の結果が否定的の場合（Ｓ１００８：Ｎｏ）、別の未検索のエントリについて、Ｓ１００５が行われる。
　（Ｓ１００９）Ｓ１００８の判定の結果が肯定的の場合（Ｓ１００８：Ｙｅｓ）、ＶＳＷ＃１３が、Ｓ１００３で受信した要求の送信元のＶＮＩＣ＃１１に対して、データ取得の完了を通知する。
　（Ｓ１０１０）データ取得の完了の通知を受けたＶＮＩＣ＃１１は、Ｓ１００１の要求の送信元のマイグレーション処理部＃１に対して、データ取得の完了を通知する。
　（Ｓ１０１１）ＶＮＩＣ＃１１からデータ取得の完了の通知を受けたマイグレーション処理部＃１は、ＬＭ対象のＬＰＡＲ＃１３に割り当てられている１以上のＶＮＩＣ１３７の全てについて、データの取得が完了したか否かを判定する。
　（Ｓ１０１２）Ｓ１０１１の判定の結果が否定的の場合（Ｓ１０１１：Ｎｏ）、マイグレーション処理部＃１は、ＬＰＡＲ＃１３に割り当てられている１以上のＶＮＩＣ１３７のうち別のＶＮＩＣ（例えば＃１２）に対して、Ｓ１００１のように学習データ取得要求を送信する。
　（Ｓ１０１３）Ｓ１０１１の判定の結果が肯定的の場合（Ｓ１０１１：Ｙｅｓ）、マイグレーション処理部＃１は、学習データ収集処理を終了する。
　図１１は、ＬＭ処理の流れを示す。なお、これまで、ＬＰＡＲ１２８が物理計算機＃１から物理計算機＃２にＬＭされると説明したが、正確には、物理計算機＃１におけるＬＭ元のＬＰＡＲに関するデータが物理計算機＃１から物理計算機＃２に転送され、物理計算機＃２におけるＬＭ先のＬＰＡＲに関するデータが、物理計算機＃１におけるＬＭ元のＬＰＡＲに関するデータに変更されることである。そこで、以下の説明では、「ＬＭ元ＬＰＡＲ」及び「ＬＭ先ＬＰＡＲ」という言葉が使用される。このＬＭ処理では、ＬＭ元ＬＰＡＲからＬＭ先ＬＰＡＲにＬＰＡＲ＃３がマイグレーションされるというイメージである。
　（Ｓ１１０１）管理コンソール１４９が、ＬＭ元の物理計算機＃１におけるマイグレーション処理部＃１に対してＬＭ開始要求を出す。
　（Ｓ１１０２）管理コンソール１４９が、ＬＭ先の物理計算機＃１におけるマイグレーション処理部＃２に対してＬＭ開始要求を出す。
　（Ｓ１１０３）マイグレーション処理部＃１は、ＬＭ元の物理計算機＃１に関する構成情報を収集する。構成情報は、例えば、どのＮＩＣ１１２のポートにどのＶＳＷ１３７を通じてどのＶＮＩＣ１２４が接続されているか、ＶＮＩＣ毎の仮想ＭＡＣアドレス、及び、ＶＨＢＡ毎のＷＷＮ（World　Wide　Name）を含んでよい。
　（Ｓ１１０４）マイグレーション処理部＃２はＬＭ先の物理計算機＃２に関する構成情報を収集する。
　（Ｓ１１０５）マイグレーション処理部＃２は、Ｓ１１０４で取得した構成情報のうちの、ＬＭ先ＬＰＡＲのＭＡＣアドレス及び／又はＷＷＮを、マイグレーション処理部＃１に転送する。
　（Ｓ１１０６）マイグレーション処理部＃１は、Ｓ１１０３で取得した構成情報のうちの、ＬＭ元ＬＰＡＲのＭＡＣアドレス及び／又はＷＷＮを、マイグレーショ処理部＃２に転送する。
　（Ｓ１１０７）マイグレーション処理部＃２は、Ｓ１１０６でマイグレーション処理部＃１から送信されたＭＡＣアドレス及び／又はＷＷＮを受信し、それらが、ＬＭ先ＬＰＡＲのＭＡＣアドレス及び／又はＷＷＮを、受信したＭＡＣアドレス及び／又はＷＷＮに変更する。
　（Ｓ１１０８）マイグレーション処理部＃１は、マイグレーション処理部＃２に対して、リソース確保要求を出す。
　（Ｓ１１０９）マイグレーション処理部＃２は、マイグレーション処理部＃１からリソース確保要求を受信し、ＬＭ先ＬＰＡＲのリソース確保処理を行う。
　（Ｓ１１１０）リソースを確保したマイグレーション処理部＃２は、マイグレーション処理部＃１からＶＭＥＭ１２３に記憶されている情報が転送されて来るのを待つ。
　（Ｓ１１１１）マイグレーション処理部＃１は、ＶＭＥＭ１２３から、ＬＭ元ＬＰＡＲに関する情報を取得し、取得した情報をマイグレーション処理部＃２に転送する。マイグレーション処理部＃１は、ＶＭＥＭ１２３に記憶されている、ＬＭ元ＬＰＡＲに関する情報のうち、ダーティ比率が一定値以下になるまで、ＬＭ元ＬＰＡＲに関する情報の転送を続ける。なお、ダーティ比率とは、ＬＭ元ＬＰＡＲに関する情報の量に対する、ＬＭ元ＬＰＡＲに関する情報のうちのダーティ情報の量の比率である。ダーティ情報は、本ＬＭ処理において転送された後に更新され転送が必要になった情報である。
　（Ｓ１１１２）マイグレーション処理部＃２は、ハイパーバイザ＃２におけるＶＭＥＭにおける情報のうち、ＬＭ先ＬＰＡＲに関する情報を、マイグレーション処理部＃１より転送されて来た情報（ＬＭ元ＬＰＡＲに関する情報）に変更する。
　（Ｓ１１１３）マイグレーション処理部＃１は、ダーティ比率が一定値以下になった場合に、ＬＭ元ＬＰＡＲを休止する。具体的には、マイグレーション処理部＃１は、ＬＭ元ＬＰＡＲに割り当てられていた仮想リソース（ＶＣＰＵ１１９、ＶＮＩＣ１２４等））を休止させることにより、ＬＭ元ＬＰＡＲを休止させる。これにより、ＶＭＥＭの情報のうちの、ＬＭ元ＬＰＡＲに関する情報を確定することができ、以って、ダーティ情報が増えないようにすることができる。
　（Ｓ１１１４）ＬＭ元ＬＰＡＲの休止後に、学習データ収集処理（図１０参照）が行われる。その処理は、マイグレーション処理部＃１がＬＭ元ＬＰＡＲに接続されているＶＮＩＣに学習データ取得要求を送信することを含む。この処理により、ＬＭ元ＬＰＡＲについて学習されたデータ（ソフトウェアＭＡＣ、ＶＬＡＮ　ＩＤ）を、マイグレーション処理部＃１が取得することができる。具体的には、図１０のＳ１００７の通り、ＭＡＣアドレス学習テーブル１４４の１以上のエントリの情報が、マイグレーション処理部＃１のバッファ領域にコピーされる。
　（Ｓ１１１５）マイグレーション処理部＃１は、マイグレーション処理部＃１のバッファ領域にコピーされた情報（ＭＡＣアドレス学習テーブル１４４の１以上のエントリの情報）を含んだ情報であるデバイス情報をマイグレーション処理部＃２に転送する。
　（Ｓ１１１６）マイグレーション処理部＃２は、Ｓ１１１５でマイグレーション処理部＃１から転送されたデバイス情報を受信し、受信したデバイス情報を、ＬＭ先ＬＰＡＲに反映する。具体的には、マイグレーション処理部＃２は、ＬＭ先ＬＰＡＲのＶＮＩＣに接続されているＶＳＷのＭＡＣアドレス学習テーブルにおける、ＬＭ先ＬＰＡＲのＶＮＩＣのＩＤに対応した１以上のエントリに、それぞれ、受信したデバイス情報のうちのＶＮＩＣ　ＩＤ以外の情報（ＭＡＣアドレス、ＶＬＡＮ　ＩＤ及び更新時刻）を格納する。
　ここまでの処理により、ＬＭの前後、例えば、Ｓ１１１３の前とＳ１１１６の後で、図１２及び図１３に示す変化が生じる。
　すなわち、例えば、図１２の左側に示すように、ＬＭ元ＬＰＡＲに割り当てられていたＶＮＩＣのＩＤが「１」であった場合、ＬＭ後に、ＶＮＩＣ　ＩＤ「１」を含んだ全てのエントリは、図１２の右側に示すように、空きエントリとなる。一方、図１３の左側に示すように、ＬＭ先ＬＰＡＲに割り当てられていたＶＮＩＣ（ＩＤ「９」のＶＮＩＣ）に対応するエントリに、受信したデバイス情報のうちのＶＮＩＣ　ＩＤ「１」以外の情報（ＭＡＣアドレス、ＶＬＡＮ　ＩＤ及び更新時刻）が格納される。格納先のエントリでは、ＶＮＩＣ　ＩＤは「９」である。
　（Ｓ１１１７）マイグレーション処理部＃１は、デバイス情報の転送後、最終メモリ転送を行う。例えば、ＬＭ元ＬＰＡＲについての残りの全てのダーティ情報がマイグレーション処理部＃２に転送される。
　（Ｓ１１１８）マイグレーション処理部＃２は、最終メモリの反映を行う。例えば、マイグレーション処理部＃２は、受信したダーティ情報を、ハイパーバイザ＃２におけるＶＭＥＭに格納する。
　（Ｓ１１１９）マイグレーション処理部＃１は、ＬＭされたＬＰＡＲを指定したＬＰＡＲ再開要求をマイグレーション処理部＃２に出す。
　（Ｓ１１２０）マイグレーション処理部＃２は、ＬＰＡＲ再開要求を受信し、その要求に従い、ＬＭ元で停止させていたゲストＯＳ１３１を再開させるためのＬＰＡＲ再開処理を行う。
　（Ｓ１１２１）マイグレーション処理部＃１は、ＬＭ元ＬＰＡＲのdeactivate処理を行う。
　（Ｓ１１２２）マイグレーション処理部＃２は、ＬＭ先ＬＰＡＲに接続されたＶＳＷのＭＡＣアドレス学習テーブルから、ＬＭ先ＬＰＡＲに割り当てられているＶＮＩＣに対応するエントリを見つけ出し、見つかったエントリ内のＭＡＣアドレス（及びＶＬＡＮ　ＩＤ）を含んだＲＡＲＰパケットをブロードキャスト送信する。これにより、図１４及び図１５に示すように、そのＲＡＲＰパケット内のＭＡＣアドレス（及びＶＬＡＮ　ＩＤ）と同じＭＡＣアドレス（及びＶＬＡＮ　ＩＤ）を含んだＭＡＣアドレステーブル＃１を有するＰＳＷ＃１が、そのＲＡＲＰパケットを受信した場合に、そのＭＡＣアドレスに対応する物理ポートのＩＤ「ｐｏｒｔＢ」を、今回そのＲＡＲＰパケットを受信した物理ポートのＩＤ「ｐｏｒｔＤ」に変更する。すなわち、ＲＡＲＰパケットのブロードキャスト送信により、ＰＳＷ１５４に、ネットワーク経路が変わったことを伝えることができる。なお、本実施形態では、ＰＳＷ１５４のＭＡＣアドレステーブル１４８を変更するためにＲＡＲＰパケットのブロードキャスト送信が利用されるが、ＲＡＲＰパケット以外の種類のパケットにより、ＰＳＷ１５４のＭＡＣアドレステーブル１４８が変更されても良い。
　（Ｓ１１２３）マイグレーション処理部＃２は、ＬＭ先ＬＰＡＲの構成情報を保存する。ＬＰＡＲの構成情報は、メモリに保存されても良いが、本実施形態では、物理計算機１０１の保守又は管理のための計算機であるＳＶＰ（Service　Processor）に保存される。ＳＶＰは、複数の物理計算機１０１に共通であっても良いし、物理計算機１０１毎に用意されても良い。例えば、Ｓ１１２３では、ＬＰＡＲの構成情報は、物理計算機＃２のＳＶＰに保存される。
　（Ｓ１１２４）マイグレーション処理部＃２は、マイグレーション処理部＃１に対して構成情報保存完了報告を送信する。
　（Ｓ１１２５）マイグレーション処理部＃１は、構成情報保存完了報告を受信し、Ｓ１１０５でマイグレーション処理部＃２から送信されたＭＡＣアドレス及び／又はＷＷＮを、ＬＭ元ＬＰＡＲのＭＡＣアドレス及び／又はＷＷＮとして設定する。
　（Ｓ１１２６）マイグレーション処理部＃１は、ＬＭ元ＬＰＡＲの定義（例えば、ＬＭ元ＬＰＡＲに関する、リソース管理部＃１内の情報）を削除する。
　（Ｓ１１２７）マイグレーション処理部＃１は、マイグレーション処理部＃２に対してＬＰＡＲ定義取り消し報告を送信する。
　（Ｓ１１２８）マイグレーション処理部＃１は、ＬＭ元ＬＰＡＲの構成情報を保存する。例えば、Ｓ１１２８では、ＬＰＡＲの構成情報は、物理計算機＃１のＳＶＰに保存される。
　（Ｓ１１２９）マイグレーション処理部＃１は、構成情報保存完了後、ＬＭ先マイグレーション処理部１７２に対して構成情報保存完了報告を送信する。
　（Ｓ１１３０）マイグレーション処理部＃１は、マイグレーション処理部＃２に構成情報保存完了報告を送信した後、管理コンソール１４９に対してＬＭ完了報告を送信する。
　（Ｓ１１３１）マイグレーション処理部＃２は、マイグレーション処理部＃１から構成情報保存完了報告を受信し、管理コンソール１４９に対してＬＭ完了報告を送信する。
　（Ｓ１１３２）管理コンソール１４９は、マイグレーション処理部＃１及び＃２の両方からＬＭ完了報告を受信した後、ＬＭを完了させる。
　上述した実施形態によれば、ハイパーバイザ１０３の管轄外のＭＡＣアドレス或いはＶＬＡＮ　ＩＤを使用した通信が行われる環境であっても、管理者によって当該ＭＡＣアドレス或いはＶＬＡＮ　ＩＤが手動で入力されること無しに、ライブマグレーションされたＬＰＡＲのネットワーク接続を復元することができる。管理者が手動でハイパーバイザ１０３の管轄外のＭＡＣアドレス或いはＶＬＡＮ　ＩＤを入力する必要が無いので、当該情報入力のためにＬＰＡＲ或いはその上位マシンの使用者とハイパーバイザ１０３の管理者が連携する必要も無い。
　また、複数のネットワークセグメントにそれぞれ対応した複数のＶＳＷ１３７がハイパーバイザ１０３で構築される場合、ＶＳＷ１３７毎にＭＡＣアドレス管理テーブル１４４がある。故に、ハイパーバイザ＃１は、複数のＭＡＣアドレス管理テーブル１４４を管理する。このような構成であっても、ＬＭ対象のＬＰＡＲ１２８に割り当てられているＶＮＩＣを通じてＶＳＷから学習データを収集することにより、ＬＭ対象のＬＰＡＲ１２８ではないＬＰＡＲ１２８に関するデータをＬＭ先に転送することを回避することができる。
　以上、一実施形態を説明したが、本発明は、その実施形態に限定されるものでなく、その趣旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上述の実施形態では、ＶＮＩＣを介した通信を例に取ったが、他種の仮想Ｉ／Ｏデバイス（例えばＶＨＢＡ）でも同様の処理が行われても良い。また、ハイパーバイザ１０３のような仮想化機構は、コンピュータプログラムとして実現されても良いし、物として実現されても良い。例えば、ハイパーバイザは、コンピュータプログラムを記憶した記憶デバイスと、物理計算機のような外部装置と通信するための通信インタフェースデバイスと、記憶デバイス及び通信インタフェースデバイスに接続されておりプロセッサを含んだ制御デバイスを有した装置であって、制御デバイス内のプロセッサでコンピュータプログラムが実行されることにより、ハイパーバイザとしての機能が実現されて良い。また、例えば、ハイパーバイザ１０３が有するスケジューラ１１７、リソース管理部１１８及びマイグレーション処理部１４８のうちの少なくとも１つがハードウェア回路で実現されても良いし、それらの要素１１７、１１８及び１４８の少なくとも１つの一部の処理がハードウェア回路で実現されても良い。
１０１：物理計算機、１０３：ハイパーバイザ、１２８：ＬＰＡＲ（仮想計算機）、１３７：ＶＳＷ（仮想スイッチ）、１４０：ＭＡＣ学習部、１４４：ＭＡＣ学習テーブル

 

Claims (10)

  1. 　１以上の物理ネットワークスイッチに接続される１以上の第１の物理Ｉ／Ｏ（Input/Output）デバイスを含む第１の物理リソースと、前記第１の物理リソースを論理的に分割することにより得られた１以上の第１の仮想リソースをそれぞれ１以上の第１のＬＰＡＲ（Logical　Partition）に割り当てることで１以上の仮想計算機を構築することができる第１の仮想化機構と、を有する第１物理計算機と、
    　前記１以上の物理ネットワークスイッチに接続される１以上の第２の物理Ｉ／Ｏデバイスを含む第２の物理リソースと、前記第２の物理リソースを論理的に分割することにより得られた１以上の第２の仮想リソースをそれぞれ１以上の第２のＬＰＡＲに割り当てることで１以上の仮想計算機を構築することができる第２の仮想化機構と、を有する第２の物理計算機と
    を有し、
    　（Ａ）前記第１の仮想化機構は、第１の管理情報ユニットを有し、
    　　仮想計算機からパケットを受信した場合、前記パケットから、所定種類の情報を抽出し、前記抽出した所定種類の情報を前記第１の管理情報ユニットに登録し、
    　（Ｂ）前記第１の仮想化機構は、稼働中のマイグレーション対象の仮想計算機である対象仮想計算機を前記第１の物理計算機から前記第２の物理計算機にマイグレーションするライブマイグレーションのときに、前記第１の管理情報ユニット中の前記所定種類の情報を、前記第２の仮想化機構に送信し、
    　（Ｃ）前記第２の仮想化機構は、第２の管理情報ユニットを有し、
    　　前記所定種類の情報を前記第２の仮想化機構から受信し、
    　　前記受信した所定種類の情報を前記第２の管理情報ユニットに登録し、
    　　前記所定種類の情報を含んだ所定種類のパケットを、前記１以上の第２の物理Ｉ／Ｏデバイスの少なくとも１つから送信する、
    仮想計算機システム。
  2. 　前記第１の仮想リソースは、前記１以上の第１の物理Ｉ／Ｏに基づく第１の仮想Ｉ／Ｏデバイスを含み、前記１以上の第２の仮想リソースは、前記１以上の第２の物理Ｉ／Ｏに基づく第２の仮想Ｉ／Ｏデバイスを含み、
    　前記第１の仮想化機構は、前記第１の仮想化機構が管理する１以上の仮想計算機にそれぞれ割り当てられる１以上の第１の仮想Ｉ／Ｏデバイスと前記１以上の第１の物理Ｉ／Ｏデバイスの少なくとも１つとが接続される１以上の第１の仮想スイッチを有し、
    　前記第２の仮想化機構は、前記第２の仮想化機構が管理する１以上の仮想計算機にそれぞれ割り当てられる１以上の第２の仮想Ｉ／Ｏデバイスと前記１以上の第２の物理Ｉ／Ｏデバイスの少なくとも１つとが接続される１以上の第２の仮想スイッチを有し、
    　各第１の仮想スイッチが、前記第１の管理情報ユニットを有し、各第２の仮想スイッチが、前記第２の管理情報ユニットを有し、
    　前記（Ａ）に関して、前記第１の仮想化機構が、仮想計算機の第１の仮想Ｉ／Ｏデバイスを通じてその仮想計算機からパケットを受信した第１の仮想Ｉ／Ｏデバイスの第１の管理情報ユニットに、前記受信したパケットに含まれている所定種類の情報を登録し、
    　前記（Ｂ）に関して、前記第１の仮想化機構は、前記ライブマイグレーションのときに、前記対象仮想計算機の第１の仮想Ｉ／Ｏデバイスから出力されたパケットが経由する第１の仮想スイッチが有する第１の管理情報ユニット中の少なくとも前記対象仮想計算機の第１の仮想Ｉ／Ｏデバイスに対応し前記所定種類の情報を含んだ対象情報部分を、前記第２の仮想化機構に送信し、
    　前記（Ｃ）に関して、前記第２の仮想化機構が、マイグレーションされた対象仮想計算機の第２の仮想Ｉ／Ｏデバイスに接続されている第２の仮想スイッチの第２の管理情報ユニットに、前記対象情報部分を登録し、前記対象情報部分中の前記所定種類の情報を含んだ前記所定種類のパケットを、前記対象仮想計算機の第２の仮想Ｉ／Ｏデバイスが接続された第２の仮想スイッチに接続されている第２の物理Ｉ／Ｏデバイスから送信する、
    請求項１記載の仮想計算機システム。
  3. 　各管理情報ユニットには、それぞれ、当該管理情報ユニットを有する仮想スイッチに接続されている仮想Ｉ／ＯデバイスのデバイスＩＤと、その仮想Ｉ／Ｏデバイスを通じて受信したパケット中の前記所定種類の情報とが登録される、
    請求項２記載の仮想計算機システム。
  4. 　前記（Ａ）に関して、前記抽出した所定種類の情報と同一の情報が、前記パケットを受けた第１の仮想スイッチの第１の管理情報ユニットに登録されているが、その登録済の情報に対応したデバイスＩＤから識別される仮想Ｉ／Ｏデバイスが、前記パケットの送信元の第１の仮想Ｉ／Ｏデバイスの異なっている場合、前記第１の仮想化機構が、前記パケットを受けた第１の仮想スイッチの第１の管理情報ユニットにおける前記登録済の情報に対応したデバイスＩＤを、前記パケットの送信元の第１の仮想Ｉ／ＯデバイスのＩＤに更新する、
    請求項３記載の仮想計算機システム。
  5. 　前記所定種類の情報は、ＭＡＣアドレス及びＶＬＡＮ（Virtual　LAN）　ｔａｇのうちの少なくとも１つである、
    請求項１記載の仮想計算機システム。
  6. 　前記所定種類の情報は、ＭＡＣアドレスであり、
    　前記所定種類のパケットは、ＲＡＲＰ（Reverse　Address　Resolution　Protocol）要求であり、
    　前記ＲＡＲＰパケットは、ＭＡＣアドレスを含み、
    　各物理ネットワークスイッチは、物理ポートＩＤとＭＡＣアドレスの対応関係を表すアドレス管理情報とを有し、パケットを受信した場合、対象ＭＡＣアドレスが前記アドレス管理情報に無ければ、前記対象ＭＡＣアドレスと対象物理ポートＩＤとの組を前記アドレス管理情報に登録し、前記対象ＭＡＣアドレスが前記アドレス管理情報に有り、且つ、前記対象ＭＡＣアドレスに対応している物理ポートＩＤが、前記対象物理ポートＩＤと異なっていれば、前記アドレス管理情報における、前記対象ＭＡＣアドレスに対応した物理ポートＩＤを前記対象物理ポートＩＤに更新するようになっており、
    　前記対象ＭＡＣアドレスは、前記受信したパケットが有するＭＡＣアドレスであり、
    　前記対象物理ポートは、前記パケットを受信した物理ポートである、
    請求項５記載の仮想計算機システム。
  7. 　前記所定種類の情報及び前記ＲＡＲＰパケットは、ＭＡＣアドレスの他にＶＬＡＮ　ｔａｇで含んでおり、
    　前記アドレス管理情報は、ＭＡＣアドレスと物理ポートＩＤとＶＬＡＮ　ｔａｇ部分の少なくとも一部分との対応関係を表しており、
    　各物理ネットワークスイッチは、パケットを受信した場合、前記対象ＭＡＣアドレスが前記アドレス管理情報に無ければ、前記対象ＭＡＣアドレスと対象ＶＬＡＮ　ｔａｇ部分と前記対象物理ポートＩＤとの組を前記アドレス管理情報に登録し、前記対象ＭＡＣアドレスが前記アドレス管理情報に有り、且つ、前記対象ＭＡＣアドレスに対応しているＶＬＡＮ　ｔａｇ部分が、前記対象ＶＬＡＮ　ｔａｇ部分と異なっていれば、前記アドレス管理情報における新たなエントリに、前記対象ＭＡＣアドレスと前記対象ＶＬＡＮ　ｔａｇ部分と前記対象物理ポートＩＤとの組を登録するようになっており、
    　前記対象ＶＬＡＮ　ｔａｇ部分は、前記受信したパケットが有するＶＬＡＮ　ｔａｇの少なくとも一部分である、
    請求項６記載の仮想計算機システム。
  8. 　前記（Ｂ）に関して、前記第１の仮想化機構は、前記対象仮想計算機に割り当てられている仮想リソースを休止し、その後に、前記第１の管理情報ユニット中の前記所定種類の情報を、前記第２の仮想化機構に送信する、
    請求項１記載の仮想計算機システム。
  9. 　１以上の物理ネットワークスイッチに接続される１以上の物理Ｉ／Ｏ（Input/Output）デバイスを含む物理リソースを有する物理計算機で実行され、前記物理リソースを論理的に分割することにより得られた１以上の仮想リソースをそれぞれ１以上のＬＰＡＲ（Logical　Partition）に割り当てることで１以上の仮想計算機を構築することができる仮想化機構であって、
    　稼働中のマイグレーション対象の仮想計算機である対象仮想計算機を物理計算機から別の物理計算機にマイグレーションするライブマイグレーションを実行することができるマイグレーション処理部と、
    　管理情報ユニットと、
    　仮想計算機からのパケットから、所定種類の情報を抽出し、前記抽出した所定種類の情報を前記管理情報ユニットに登録する学習部と
    を有し、
    　前記ライブマイグレーションのときに、前記マイグレーション処理部は、前記管理情報ユニット中の前記所定種類の情報を取得し、取得した前記所定種類の情報を、前記別の物理計算機に送信する、
    仮想化機構。
  10. 　１以上の物理ネットワークスイッチに接続される１以上の物理Ｉ／Ｏ（Input/Output）デバイスとプロセッサと記憶デバイスとを含む物理リソースを有し、
    　前記プロセッサが、仮想化機構を実行することで、前記物理リソースを論理的に分割することにより得られた１以上の仮想リソースをそれぞれ１以上のＬＰＡＲ（Logical　Partition）に割り当てることで１以上の仮想計算機を構築することができ、且つ、稼働中のマイグレーション対象の仮想計算機である対象仮想計算機を物理計算機から別の物理計算機にマイグレーションするライブマイグレーションを実行することができるようになっており、
    　前記記憶デバイスは、管理情報ユニットを記憶し、
    　前記プロセッサは、仮想計算機からのパケットから、所定種類の情報を抽出し、前記抽出した所定種類の情報を前記管理情報ユニットに登録し、
    　前記ライブマイグレーションのときに、前記プロセッサは、前記管理情報ユニット中の前記所定種類の情報を、前記別の物理計算機に送信する、
    物理計算機。

     
PCT/JP2012/071217 2012-08-22 2012-08-22 ライブマイグレーションされた仮想計算機のネットワーク接続を復元する仮想計算機システム Ceased WO2014030229A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/408,441 US9323566B2 (en) 2012-08-22 2012-08-22 Virtual computer system for restoring network connection of live-migrated virtual computer
PCT/JP2012/071217 WO2014030229A1 (ja) 2012-08-22 2012-08-22 ライブマイグレーションされた仮想計算機のネットワーク接続を復元する仮想計算機システム
JP2014531448A JP5869133B2 (ja) 2012-08-22 2012-08-22 ライブマイグレーションされた仮想計算機のネットワーク接続を復元する仮想計算機システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/071217 WO2014030229A1 (ja) 2012-08-22 2012-08-22 ライブマイグレーションされた仮想計算機のネットワーク接続を復元する仮想計算機システム

Publications (1)

Publication Number Publication Date
WO2014030229A1 true WO2014030229A1 (ja) 2014-02-27

Family

ID=50149565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/071217 Ceased WO2014030229A1 (ja) 2012-08-22 2012-08-22 ライブマイグレーションされた仮想計算機のネットワーク接続を復元する仮想計算機システム

Country Status (3)

Country Link
US (1) US9323566B2 (ja)
JP (1) JP5869133B2 (ja)
WO (1) WO2014030229A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10324743B2 (en) * 2014-08-27 2019-06-18 Red Hat Israel, Ltd. Announcing virtual machine migration
US10038629B2 (en) * 2014-09-11 2018-07-31 Microsoft Technology Licensing, Llc Virtual machine migration using label based underlay network forwarding
US9923800B2 (en) 2014-10-26 2018-03-20 Microsoft Technology Licensing, Llc Method for reachability management in computer networks
US9936014B2 (en) 2014-10-26 2018-04-03 Microsoft Technology Licensing, Llc Method for virtual machine migration in computer networks
US9942131B2 (en) * 2015-07-29 2018-04-10 International Business Machines Corporation Multipathing using flow tunneling through bound overlay virtual machines
CN110633127A (zh) 2018-06-25 2019-12-31 华为技术有限公司 一种数据处理方法及相关设备
US10853126B2 (en) * 2018-07-26 2020-12-01 Vmware, Inc. Reprogramming network infrastructure in response to VM mobility
US11748131B2 (en) * 2019-11-20 2023-09-05 Red Hat, Inc. Network updates for virtual machine migration
WO2022146586A1 (en) * 2020-12-30 2022-07-07 Oracle International Corporation Layer-2 networking information in a virtualized cloud environment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011198299A (ja) * 2010-03-23 2011-10-06 Fujitsu Ltd プログラム、コンピュータ、通信装置および通信制御システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257811B2 (en) * 2004-05-11 2007-08-14 International Business Machines Corporation System, method and program to migrate a virtual machine
US8195774B2 (en) * 2008-05-23 2012-06-05 Vmware, Inc. Distributed virtual switch for virtualized computer systems
US8468288B2 (en) * 2009-12-10 2013-06-18 International Business Machines Corporation Method for efficient guest operating system (OS) migration over a network
JP5463267B2 (ja) 2010-11-19 2014-04-09 株式会社日立製作所 仮想計算機システムおよび仮想計算機の移行方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011198299A (ja) * 2010-03-23 2011-10-06 Fujitsu Ltd プログラム、コンピュータ、通信装置および通信制御システム

Also Published As

Publication number Publication date
US20150121372A1 (en) 2015-04-30
JPWO2014030229A1 (ja) 2016-07-28
US9323566B2 (en) 2016-04-26
JP5869133B2 (ja) 2016-02-24

Similar Documents

Publication Publication Date Title
JP5869133B2 (ja) ライブマイグレーションされた仮想計算機のネットワーク接続を復元する仮想計算機システム
JP6185045B2 (ja) インフィニバンドネットワークにおけるバーチャルマシーンのライブマイグレーションをサポートするためのシステムおよび方法
US9893977B2 (en) System and method for supporting live migration of virtual machines in a virtualization environment
KR101242908B1 (ko) 가상화된 컴퓨터 시스템들에 대한 분배된 가상 스위치
US9703654B2 (en) Method, system, and apparatus for cloud application redundancy
JP2011118557A (ja) 仮想計算機の移動管理方法、前記移動管理方法を用いた計算機、前記移動管理方法を用いた仮想化機構および前記移動管理方法を用いた計算機システム
CN104871493A (zh) 高性能计算(hpc)网络中的通信信道故障切换
US9858096B2 (en) Communication device migration method of extension function and communication system
US20160380833A1 (en) Server, physical switch and communication system
JP6902527B2 (ja) 高性能コンピューティング環境においてスイッチポートステータスのスケーラブルな表現をサポートするためのシステムおよび方法
US20120166575A1 (en) Information system having computer and storage apparatus coupled to network
US10055241B1 (en) Virtual machine aware fibre channel
JP2011141635A (ja) ホスト間通信を使用した仮想サーバのデータの通信方法
JP6051233B2 (ja) 計算機システム、管理計算機及び管理方法
CN106161439B (zh) 一种信息处理方法及电子设备
WO2018015983A1 (en) Communication apparaus, system, rollback method, and program
JP5505380B2 (ja) 中継装置及び中継方法
EP3803611A1 (en) A system and method for bridging computer resources
JP2017195438A (ja) 通信管理方法、通信管理プログラムおよび情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12883216

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014531448

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14408441

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12883216

Country of ref document: EP

Kind code of ref document: A1