[go: up one dir, main page]

JP4683345B2 - Network load balancing apparatus, network load balancing method, and program - Google Patents

Network load balancing apparatus, network load balancing method, and program Download PDF

Info

Publication number
JP4683345B2
JP4683345B2 JP2008097886A JP2008097886A JP4683345B2 JP 4683345 B2 JP4683345 B2 JP 4683345B2 JP 2008097886 A JP2008097886 A JP 2008097886A JP 2008097886 A JP2008097886 A JP 2008097886A JP 4683345 B2 JP4683345 B2 JP 4683345B2
Authority
JP
Japan
Prior art keywords
server
client
arp
arp response
counter table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008097886A
Other languages
Japanese (ja)
Other versions
JP2009253578A (en
Inventor
宏紀 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008097886A priority Critical patent/JP4683345B2/en
Publication of JP2009253578A publication Critical patent/JP2009253578A/en
Application granted granted Critical
Publication of JP4683345B2 publication Critical patent/JP4683345B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)

Description

本発明は、クライアントからのアクセスを複数のサーバに振り分けることで負荷分散を行うネットワーク負荷分散装置、ネットワーク負荷分散方法及びプログラムに関する。   The present invention relates to a network load distribution apparatus, a network load distribution method, and a program for distributing a load by distributing access from a client to a plurality of servers.

ネットワーク上でクライアント(端末)からサーバに対してアクセスするネットワークシステムにおいては、クライアントからの多くのアクセスを複数のサーバに振り分けることで負荷分散を行うネットワーク負荷分散装置(ロードバランサ)が設置されている。そして、この種のネットワーク負荷分散装置においては、利用可能なサーバの中から最適なサーバを選択する負荷分散アルゴリズムとして、NAT(Network Address Translation:ネットワークアドレス変換)方式と、MAT(MAC Address
Translation:MACアドレス変換)方式が広く用いられている。
In a network system that accesses a server from a client (terminal) on a network, a network load balancer (load balancer) that distributes load by distributing many accesses from the client to a plurality of servers is installed. . In this type of network load balancer, a NAT (Network Address Translation) method and a MAT (MAC Address) are used as load balancing algorithms for selecting an optimum server from among available servers.
Translation: MAC address conversion) is widely used.

NAT方式では、負荷分散装置はクライアントがデータの宛先としている仮想サーバと、選択されたサーバ間のネットワークアドレス変換を行う。しかしながら、一般にネットワークアドレス変換では、ポート番号の変換も行うNAPT(Network Address Port Translation)が用いられるため、装置が複雑になり、ICMP(Internet
Control Message Protocol:インターネット制御通知プロトコル)パケットやRaw(生の)「IPパケットを転送することができず、また、負荷分散するサーバ側からクライアント側への通信ができないという問題がある。
In the NAT system, the load balancer performs network address conversion between a virtual server that is a data destination of the client and the selected server. However, in general, network address translation uses NAPT (Network Address Port Translation) which also performs port number translation, which complicates the apparatus, and ICMP (Internet)
Control Message Protocol: Internet control notification protocol) packet or Raw (raw) IP packet cannot be transferred, and there is a problem that communication from the server side to which the load is distributed cannot be transmitted to the client side.

一方、MAT方式は、インターネット接続のマルチホーミング(ルータ負荷分散)時やファイアウォールの負荷分散時に広く用いられる方式で、宛先IPアドレスはそのままで宛先MACアドレスを変換することにより、接続する機器を選択する。しかしながら、このMAT方式の場合、仮想サーバのIPアドレスと、それに対応するサーバ群のMACアドレスを負荷分散装置にあらかじめ登録しておく必要があり、またクライアントからのARP(Address Resolution Protocol:アドレス解決プロトコル)要求に対するARP応答を返さないような設定を各サーバに行っておく必要がある。   On the other hand, the MAT method is widely used for multihoming (router load balancing) of Internet connection and firewall load balancing, and selects a device to be connected by converting the destination MAC address without changing the destination IP address. However, in the case of this MAT method, it is necessary to register the IP address of the virtual server and the MAC address of the corresponding server group in advance in the load balancer, and ARP (Address Resolution Protocol) from the client. It is necessary to make a setting for each server so as not to return an ARP response to the request.

図7に、MAT方式による負荷分散装置の一般的な構成を示す。MAT方式では、図7のようにクライアント60からのARP要求に対してサーバ群61がARP応答を返さないようにしておき、代わりに負荷分散装置62があらかじめ設定しておいたサーバ郡のMACアドレスのうちの1つを選択して返す。従って、この方式では、サーバがARP応答を返さないようにする必要があり、負荷分散装置にはサーバのMACアドレスをあらかじめ登録しておく必要がある。   FIG. 7 shows a general configuration of a load distribution apparatus using the MAT method. In the MAT method, the server group 61 does not return an ARP response to the ARP request from the client 60 as shown in FIG. 7, and instead the MAC address of the server group set in advance by the load balancer 62 Select one of them and return it. Therefore, in this method, it is necessary to prevent the server from returning an ARP response, and it is necessary to register the MAC address of the server in advance in the load balancer.

NAT方式による負荷分散装置(ロードバランサ)の関連技術が、特開2004−118622号公報(特許文献1)に開示されている。   A related technique of a load distribution device (load balancer) based on the NAT method is disclosed in Japanese Patent Laid-Open No. 2004-118622 (Patent Document 1).

特開2004−118622号公報JP 2004-118622 A

上述したように、特許文献1等に記載の負荷分散装置においては、以下に述べるような問題点を有していた。   As described above, the load distribution device described in Patent Document 1 and the like has the following problems.

(1)NAT方式では、NAPTを用いるため、全てのパケットに対して、複雑なハードウェア、ソフトウェアによるIPアドレスやポート番号の変換、セッション管理等の複雑な処理が必要となる。また、NAT方式では、全てのパケットに対してアドレス変換を行うことが必要であるので、パケットが多くなるにつれて処理能力が低下する。   (1) Since the NAT method uses NAPT, complicated processing such as conversion of IP addresses and port numbers, session management, etc. by complicated hardware and software is required for all packets. In the NAT method, since it is necessary to perform address conversion on all packets, the processing capacity decreases as the number of packets increases.

(2)NAT方式は、TCPまたはUDPのポート番号を元にアドレス変換を行うため、ICMPパケットや生のIPパケットのような、ポート番号のないパケットについては処理を行うことができない。また、NAT方式はNAPTを用いるため、サーバ側からクライアント側への通信を行うことができない。   (2) Since the NAT method performs address conversion based on a TCP or UDP port number, it cannot process a packet without a port number, such as an ICMP packet or a raw IP packet. In addition, since the NAT method uses NAPT, communication from the server side to the client side cannot be performed.

(5)NAT方式では、負荷分散装置に仮想サーバのIPアドレス、サーバ群を接続するインタフェースのIPアドレス、サーバ群のIPアドレス等を設定するといった、特別の設定が必要であった。また、MAT方式についても、負荷分散を行う全てのサーバに対してARP応答を応答しないよう設定しておく必要があり、また負荷分散装置にはサーバのMACアドレスをあらかじめ登録しておく必要がある。サーバの設定変更は、サーバ数が多かったり、サーバOSにより設定方法が異なるなど、その作業は煩雑である。また、サーバの新規追加や削除の度に、負荷分散装置の設定を変更しなればならない。   (5) The NAT method requires special settings such as setting the IP address of the virtual server, the IP address of the interface connecting the server group, the IP address of the server group, etc. to the load balancer. The MAT method also needs to be set not to respond to ARP responses to all servers that perform load balancing, and the MAC address of the server must be registered in advance in the load balancing device. . Changing the server settings is complicated because the number of servers is large and the setting method differs depending on the server OS. In addition, the load balancer setting must be changed each time a new server is added or deleted.

本発明は、上述した問題点に鑑みてなされたものであり、処理が複雑でなく、負荷分散装置やサーバ群に特別な設定をする必要がないネットワーク負荷分散装置、ネットワーク負荷分散方法及びプログラムを提供することを目的とする。   The present invention has been made in view of the above-described problems. A network load distribution apparatus, a network load distribution method, and a program, which are not complicated and do not require any special setting in a load distribution apparatus or a server group. The purpose is to provide.

本発明によるネットワーク負荷分散装置は、クライアントからのARP要求に対してARP応答があった複数のサーバのうち、各サーバとクライアントとの接続状況に基づいて選択したサーバからのARP応答をクライアントに転送するネットワーク負荷分散装置であって各サーバ毎のクライアントとの接続数をカウント値として含むカウンタテーブルを生成する、サーバとクライアントとの接続状況を管理する手段と、カウンタテーブルに基づいて負荷の小さいサーバを選択するサーバ選択手段とを備えるThe network load distribution apparatus according to the present invention transfers an ARP response from a server selected based on a connection status between each server and the client among a plurality of servers having an ARP response to the ARP request from the client to the client. a network load balancer that, to produce a counter table containing the number of connections with the client for each server as a count value, and means for managing the connection status between the server and client, a small load on the basis of the counter table Server selection means for selecting a server .

本発明による負荷分散方法は、クライアントからのARP要求に対してARP応答があった複数のサーバのうち、各サーバとクライアントとの接続状況に基づいて選択したサーバからのARP応答をクライアントに転送するネットワーク負荷分散装置の負荷分散方法であって、各サーバ毎のクライアントとの接続数をカウント値として含むカウンタテーブルを生成する、各サーバとクライアントとの接続状況を管理するステップと、カウンタテーブルに基づいて負荷の小さいサーバを選択するサーバ選択ステップとを含む。 The load distribution method according to the present invention transfers an ARP response from a server selected based on a connection status between each server and the client among a plurality of servers having an ARP response to the ARP request from the client to the client. A load balancing method for a network load balancing apparatus, comprising: generating a counter table including the number of connections with clients for each server as a count value; managing a connection status between each server and clients; and based on the counter table And a server selection step of selecting a server with a low load .

本発明による負荷分散プログラムは、コンピュータ上で動作し、クライアントからのARP要求に対してARP応答があった複数のサーバのうち、各サーバとクライアントとの接続状況に基づいて選択したサーバからのARP応答をクライアントに転送する負荷分散プログラムであって、コンピュータに、各サーバ毎のクライアントとの接続数をカウント値として含むカウンタテーブルを生成する、各サーバとクライアントとの接続状況を管理する処理とカウンタテーブルに基づいて負荷の小さいサーバを選択するサーバ選択処理とを実行させる。
The load distribution program according to the present invention operates on a computer, and an ARP from a server selected based on a connection status between each server and the client among a plurality of servers having an ARP response to the ARP request from the client. A load balancing program for transferring a response to a client, and generating a counter table including the number of connections with the client for each server as a count value on a computer, processing and counter for managing the connection status between each server and the client A server selection process for selecting a server with a low load based on the table is executed.

本発明によれば、全てのパケットに対して、複雑なハードウェア、ソフトウェアによるIPアドレスやポート番号の変換、セッション管理等の複雑な処理が不要となる。また、全てのパケットに対してアドレス変換を行う必要がなく、パケットが多くなるにつれて処理能力が低下するといったことも発生しない。   According to the present invention, complicated processing such as IP address and port number conversion and session management by complicated hardware and software is not required for all packets. Further, it is not necessary to perform address conversion for all packets, and processing capacity does not decrease as the number of packets increases.

以下、本発明の一実施の形態について図面を参照して詳細に説明する。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

(実施の形態の構成)
図1は本発明の実施の形態によるネットワーク負荷分散装置10を含むネットワーク構成例を示す図である。図において、ネットワーク負荷分散装置10の機能を概略的に説明すると、クライアント20からIPアドレスがIP1であるサーバへアクセスする場合、ネットワーク負荷分散装置10はIPアドレスがそれぞれIP1であるサーバ31、32、33の中から1つを選択して振り分ける。
(Configuration of the embodiment)
FIG. 1 is a diagram showing a network configuration example including a network load distribution apparatus 10 according to an embodiment of the present invention. In the figure, the function of the network load distribution apparatus 10 will be schematically described. When the client 20 accesses a server having an IP address of IP1, the network load distribution apparatus 10 has servers 31, 32, Select one from 33 and distribute.

具体的には、まずクライアント20は、IPアドレスIP1に対応するMACアドレスを取得するため、IPアドレスIP1に対するARP要求をブロードキャストする。ネットワーク負荷分散装置10は、クライアント20からのARP要求をサーバ群の接続されているポートに転送する。クライアント20からのARP要求を受けたサーバ31、32、33は、それぞれ自分のMACアドレスをARP応答として返答する。   Specifically, first, the client 20 broadcasts an ARP request for the IP address IP1 in order to acquire a MAC address corresponding to the IP address IP1. The network load distribution apparatus 10 transfers the ARP request from the client 20 to the port connected to the server group. Receiving the ARP request from the client 20, the servers 31, 32, and 33 return their own MAC addresses as ARP responses.

ここで、サーバ31、32、33からそれぞれARP応答を受けたネットワーク負荷分散装置10は、全てのARP応答をクライアント20に返却せず、その中の1つだけを選択してクライアント20に転送し、クライアント20はIPアドレスがIP1であるサーバとして、サーバ群の中の1つのサーバとのみ通信することとなる。   Here, the network load distribution apparatus 10 that has received ARP responses from the servers 31, 32, and 33 does not return all ARP responses to the client 20, but selects only one of them and transfers it to the client 20. The client 20 communicates with only one server in the server group as a server having an IP address of IP1.

このようにして、たとえばクライアントが100台、サーバが5台あるような場合に、サーバ1台につきクライアントが20台ずつ接続されるように負荷分散を行う。   Thus, for example, when there are 100 clients and 5 servers, load distribution is performed so that 20 clients are connected to each server.

図2は、ネットワーク負荷分散装置10の構成を示すブロック図である。図において、ネットワーク負荷分散装置10は、入出力ポート部100、レイヤ2スイッチ処理部11、パケット解析部12、サーバ選択部13、カウンタテーブル部14、およびタイマ部15を備えている。   FIG. 2 is a block diagram illustrating a configuration of the network load distribution apparatus 10. In the figure, the network load distribution apparatus 10 includes an input / output port unit 100, a layer 2 switch processing unit 11, a packet analysis unit 12, a server selection unit 13, a counter table unit 14, and a timer unit 15.

入出力ポート部100は、ネットワークケーブルを接続する複数の入出力ポート101、102、103、・・・を有し、これらの入出力ポートには、ネットワークケーブルを介して別のネットワークスイッチやルータ、クライアントやサーバなどが接続される。   The input / output port unit 100 has a plurality of input / output ports 101, 102, 103,... For connecting a network cable. These input / output ports are connected to another network switch, router, or the like via the network cable. Clients and servers are connected.

レイヤ2スイッチ処理部11は、入出力ポートから受信されたパケットを適切な入出力ポートに転送する。   The layer 2 switch processing unit 11 transfers the packet received from the input / output port to an appropriate input / output port.

パケット解析部12は、入出力ポートから受信されたパケットをレイヤ2スイッチ処理部11を介して受け取り、ARPパケットの解析を行い、またカウンタテーブル部14内のカウンタテーブル200−1、200−2、200−3、・・・を更新する。   The packet analysis unit 12 receives a packet received from the input / output port via the layer 2 switch processing unit 11, analyzes the ARP packet, and performs counter table 200-1, 200-2 in the counter table unit 14. 200-3, ... are updated.

サーバ選択部13は、カウンタテーブル部14内のカウンタテーブル200−1、200−2、200−3、・・・を参照し、カウンタが最小であるMACアドレスのARP応答をレイヤ2スイッチ処理部11を介して入出力ポートから送信する。   The server selection unit 13 refers to the counter tables 200-1, 200-2, 200-3,... In the counter table unit 14, and sends the ARP response of the MAC address with the smallest counter to the layer 2 switch processing unit 11. From the input / output port.

カウンタテーブル部14は、IPアドレス毎のカウンタテーブル200−1、200−2、200−3、・・・を有する。このカウンタテーブル部14は、例えば、磁気ディスク、半導体メモリ等の不揮発性メモリからなる記録装置内に形成される。   The counter table unit 14 includes counter tables 200-1, 200-2, 200-3,... For each IP address. The counter table unit 14 is formed in a recording device composed of a nonvolatile memory such as a magnetic disk or a semiconductor memory, for example.

図4に、カウンタテーブル部14が保持するカウンタテーブルの一例を示す。図4に示すように、カウンタテーブル200−1、200−2は、各IPアドレス毎に、各サーバのMACアドレスと、MACアドレス毎のクライアントの接続数を示すカウンタ及び受信マークのフラグが記録・更新される。カウンタテーブルにおけるカウンタの値によって各サーバの通信状況、つまり各サーバ毎のクライアントとの接続数が管理される。また、受信マークによって、対象サーバがクライアントとの通信が可能な状況にあるかどうかの判別がなされる。   FIG. 4 shows an example of a counter table held by the counter table unit 14. As shown in FIG. 4, the counter tables 200-1 and 200-2 record, for each IP address, a MAC address of each server, a counter indicating the number of client connections for each MAC address, and a flag of a reception mark. Updated. The communication status of each server, that is, the number of clients connected to each server is managed by the counter value in the counter table. Further, it is determined by the reception mark whether or not the target server is in a state where communication with the client is possible.

タイマ部15には、IPアドレス毎に所定長さの時間であるタイマ(タイマ(1)、タイマ(2)、タイマ(3)、・・・)が設定される。このタイマ部15は、パケット解析部12がARP要求を受けてから発動し、設定したタイマが経過した場合にARP応答の受け付けを完了するために利用される。   In the timer unit 15, timers (timer (1), timer (2), timer (3),...) That are times of a predetermined length are set for each IP address. The timer unit 15 is activated after the packet analysis unit 12 receives an ARP request, and is used to complete acceptance of an ARP response when a set timer has elapsed.

(実施の形態の動作)
次に、本発明の実施の形態に係るネットワーク負荷分散装置10の動作について図3を用いて説明する。図3は図2に示したネットワーク負荷分散装置10における動作を説明するフローチャートである。
(Operation of the embodiment)
Next, the operation of the network load distribution apparatus 10 according to the embodiment of the present invention will be described with reference to FIG. FIG. 3 is a flowchart for explaining the operation of the network load distribution apparatus 10 shown in FIG.

まず、ステップS301において入出力ポートから受信されたパケットは、レイヤ2スイッチ処理部11にて転送されるべき入出力ポートへと転送される(ステップS302)。具体的には、受信パケットがユニキャストパケットであれば、送信先MACアドレスを有する装置が接続されている入出力ポートへパケットを転送する。受信パケットがブロードキャストパケットであれば、パケットを受信した入出力ポートと同じVLAN(Virtual LAN)に属する全ての入出力ポートへパケットを転送する。   First, the packet received from the input / output port in step S301 is transferred to the input / output port to be transferred by the layer 2 switch processing unit 11 (step S302). Specifically, if the received packet is a unicast packet, the packet is transferred to an input / output port to which a device having a destination MAC address is connected. If the received packet is a broadcast packet, the packet is transferred to all input / output ports belonging to the same VLAN (Virtual LAN) as the input / output port that received the packet.

さらに、パケット解析部12は、受信したパケットがARP要求であるかどうかを確認し(ステップS303)、ARP要求であった場合は、カウンタテーブル部14内にARP要求で要求されるIPアドレスのカウンタテーブル200−1、200−2、200−3、・・・が存在するかを確認する(ステップS304)。   Further, the packet analysis unit 12 checks whether or not the received packet is an ARP request (step S303). If the packet is an ARP request, the counter of the IP address requested by the ARP request is stored in the counter table unit 14. It is confirmed whether the tables 200-1, 200-2, 200-3,... Exist (step S304).

カウンタテーブルが存在しなければ、パケット解析部12は、新たにそのIPアドレスのカウンタテーブルを作成する(ステップS305、図4を参照)。一方、カウンタテーブルが既に存在する場合は、カウンタテーブル内の受信マークを全てoffに設定する(ステップS306)。   If the counter table does not exist, the packet analysis unit 12 newly creates a counter table for the IP address (see step S305, FIG. 4). On the other hand, if the counter table already exists, all the reception marks in the counter table are set to off (step S306).

その後、パケット解析部12は、そのARP要求に対するARP応答が入出力ポートから受信されるのを一定時間t1だけ待つ(ステップS307)。この一定時間t1は、ARP要求で要求されるIPアドレス毎にタイマ部15にタイマとして設定されており、パケット解析部12がARP要求を受けてから発動したタイマ部15によって計時される。   Thereafter, the packet analysis unit 12 waits for a predetermined time t1 until an ARP response to the ARP request is received from the input / output port (step S307). The predetermined time t1 is set as a timer in the timer unit 15 for each IP address requested by the ARP request, and is counted by the timer unit 15 that is activated after the packet analysis unit 12 receives the ARP request.

一定時間t1内にARP応答を受信した場合(ステップS308)、ARP要求で要求されたIPアドレスに対応するカウンタテーブル200−1、200−2、200−3、・・・に、ARP応答で返答されたサーバのMACアドレスが登録されているかを確認する(ステップS309)。カウンタテーブルに該当MACアドレスがない場合は、そのMACアドレスをカウンタテーブルに新規に登録し(ステップS310)、カウンタ値を0とし、受信マークをonとする(ステップS311)。カウンタテーブルに該当MACアドレスがある場合は、そのMACアドレスに対応する受信マークをonにする(ステップS311)。   When the ARP response is received within the predetermined time t1 (step S308), the response is made with the ARP response to the counter tables 200-1, 200-2, 200-3,... Corresponding to the IP address requested by the ARP request. It is confirmed whether the MAC address of the server that has been registered is registered (step S309). If there is no corresponding MAC address in the counter table, the MAC address is newly registered in the counter table (step S310), the counter value is set to 0, and the reception mark is turned on (step S311). If there is a corresponding MAC address in the counter table, the reception mark corresponding to the MAC address is turned on (step S311).

上記ARP応答の受信と、カウンタテーブル200−1、200−2、200−3、・・・の更新は、一定時間t1の間行われる。   The reception of the ARP response and the updating of the counter tables 200-1, 200-2, 200-3,... Are performed for a predetermined time t1.

ステップS307において、一定時間t1が経過すると、サーバ選択部13は、ARP要求で要求されたIPアドレスに対応するカウンタテーブル200−1、200−2、200−3、・・・を参照し、受信マークがoffのMACアドレスをカウンタテーブルから削除した後(ステップS312)、カウンタテーブルの中で、カウンタの値が最も小さいMACアドレスを選択する(ステップS313)。なお、最も小さいカウンタ値を持つMACアドレスが複数ある場合は、何れを選択してもよい。   In step S307, when the predetermined time t1 elapses, the server selection unit 13 refers to the counter tables 200-1, 200-2, 200-3,... Corresponding to the IP address requested by the ARP request, and receives them. After deleting the MAC address marked off from the counter table (step S312), the MAC address with the smallest counter value is selected from the counter table (step S313). If there are a plurality of MAC addresses having the smallest counter value, any of them may be selected.

サーバ選択部13は、返却するMACアドレスを選択したら、そのMACアドレスに対応するカウンタを「1」だけ増加させ、ARP要求を受信した入出力ポートに、選択したMACアドレスを含むARP応答を転送する(ステップS314)。   When selecting the MAC address to be returned, the server selection unit 13 increments the counter corresponding to the MAC address by “1”, and transfers the ARP response including the selected MAC address to the input / output port that has received the ARP request. (Step S314).

なお、サーバを新規に追加した場合は、ARP要求に対するARP応答が新規サーバから新たに受信されるようになるので、カウンタテーブル200−1、200−2、200−3、・・・に新しいサーバのMACアドレスがカウンタ0で追加され、自動的に負荷分散の対象となる。また、今まで接続されていたサーバを撤去した場合は、ARP要求に対するARP応答が返らなくなるので、カウンタテーブル内の受信マークがoffのままとなり、カウンタテーブルから削除され、負荷分散の対象から自動的に外れるようになる。   When a new server is added, an ARP response to the ARP request is newly received from the new server. Therefore, a new server is added to the counter tables 200-1, 200-2, 200-3,. Are added by the counter 0, and are automatically subject to load distribution. Also, if the server that has been connected so far is removed, the ARP response to the ARP request will not be returned, so the reception mark in the counter table will remain off, it will be deleted from the counter table, and it will automatically be removed from the load distribution target. Will come off.

(実施の形態の効果)
以下、本実施の形態による効果について説明する。
(Effect of embodiment)
Hereinafter, the effects of the present embodiment will be described.

第1に、全てのパケットに対して、複雑なハードウェア、ソフトウェアによるIPアドレスやポート番号の変換、セッション管理等の複雑な処理が不要となる。すなわち、NAT方式はNAPTを用いるため、全てのパケットに対して、IPアドレスやポート番号の変換、セッション管理等の複雑な処理が必要となるが、本実施の形態においては、既存のレイヤ2スイッチに本実施の形態によるARPに関する処理を追加するだけでよい。   First, for all the packets, complicated processing such as complicated hardware and software conversion of IP address and port number, session management and the like is not required. That is, since the NAT method uses NAPT, complicated processing such as IP address and port number conversion and session management is required for all packets. In this embodiment, the existing layer 2 switch It is only necessary to add processing related to ARP according to the present embodiment.

第2に、処理が簡単であるということである。NAT方式では、全てのパケットに対してアドレス変換を行う必要があるが、本実施の形態においては、通信の最初に行われるARP処理のみ特別な処理が必要となるが、ARP解決が完了した後は、通常のレイヤ2スイッチの動作となるので処理が簡単であり、パケットが多くなるにつれて処理能力が低下するようなことが起こらない。   Second, the process is simple. In the NAT method, it is necessary to perform address conversion on all packets. In this embodiment, only ARP processing performed at the beginning of communication requires special processing. However, after ARP resolution is completed, Since the operation is a normal layer 2 switch operation, the processing is simple, and the processing capability does not decrease as the number of packets increases.

第3に、ICMPパケットや生のIPパケットのような非TCP、非UDPパケットにも対応が可能なことである。NAT方式は、TCPまたはUDPのポート番号を元にアドレス変換を行うため、ICMPパケットや生のIPパケットのような、ポート番号のないパケットについては処理を行うことができないが、本実施の形態ではパケットのポート番号を意識しないため問題とならない。   Third, non-TCP and non-UDP packets such as ICMP packets and raw IP packets can be handled. Since the NAT method performs address conversion based on the TCP or UDP port number, it cannot process a packet without a port number such as an ICMP packet or a raw IP packet. There is no problem because the port number of the packet is not conscious.

第4に、サーバ群からクライアントに対して接続を行うことができるということである。NAT方式はNAPTを用いるため、クライアントから接続を行うことしかできなかったが、本実施の形態ではNAPTを用いないため、サーバからクライアントへの接続が可能である。   Fourth, the server group can connect to the client. Since the NAT method uses NAPT, it can only be connected from the client. However, in this embodiment, since the NAPT is not used, connection from the server to the client is possible.

第5に、特別な設定が不要ということである。NAT方式では、負荷分散装置に仮想サーバのIPアドレス、サーバ群を接続するインタフェースのIPアドレス、サーバ群のIPアドレス等を設定する必要があった。また、MAT方式では、負荷分散を行う全てのサーバに対してARP応答を応答しないよう設定しておく必要があり、また負荷分散装置にはサーバのMACアドレスをあらかじめ登録しておく必要がある。本実施の形態では、サーバへの特別な設定は一切不要であり、負荷分散装置に対してもMACアドレスの手動設定は一切不要である。   Fifth, no special setting is required. In the NAT system, it is necessary to set an IP address of a virtual server, an IP address of an interface connecting the server group, an IP address of the server group, and the like to the load balancer. In the MAT method, it is necessary to make a setting so as not to respond to an ARP response to all servers that perform load balancing, and it is necessary to register the MAC address of the server in advance in the load balancing device. In this embodiment, no special setting is required for the server, and no manual setting of the MAC address is required for the load balancer.

ここで、上記実施の形態によるネットワーク負荷分散装置10のハードウェア構成について、図6を参照して説明する。   Here, the hardware configuration of the network load distribution apparatus 10 according to the above embodiment will be described with reference to FIG.

図6を参照すると、ネットワーク負荷分散装置10は、一般的なコンピュータ装置と同様のハードウェア構成によって実現することができ、CPU(Central Processing Unit)401、RAM(Random Access Memory)等のメインメモリであり、データの作業領域やデータの一時退避領域に用いられる主記憶部402、ネットワークを介して他のノードとデータの送受信を行う通信部403、キーボードやマウス等の入力装置405、表示装置等の出力装置406及び記憶装置407と接続してデータの送受信を行う入出力インタフェース部404、上記各構成要素を相互に接続するシステムバス408を備えている。記憶装置407は、例えば、ROM(Read
Only Memory)、磁気ディスク、半導体メモリ等の不揮発性メモリから構成されるハードディスク装置等で実現される。
Referring to FIG. 6, the network load distribution device 10 can be realized by a hardware configuration similar to that of a general computer device, and is a main memory such as a CPU (Central Processing Unit) 401 and a RAM (Random Access Memory). Yes, a main storage unit 402 used for a data work area and a temporary data save area, a communication unit 403 that transmits and receives data to and from other nodes via a network, an input device 405 such as a keyboard and a mouse, a display device An input / output interface unit 404 that transmits and receives data by connecting to the output device 406 and the storage device 407, and a system bus 408 that interconnects the above-described components are provided. The storage device 407 is, for example, a ROM (Read
Only Memory), a hard disk device including a non-volatile memory such as a magnetic disk and a semiconductor memory.

本実施の形態によるネットワーク負荷分散装置10は、負荷分散制御を行うプログラムを組み込んだ、LSI(Large Scale Integration)等のハードウェア部品である回路部品を実装することにより、その動作をハードウェア的に実現することは勿論として、パケット解析部12、サーバ選択部13等の各機能を提供するプログラムを、補助記憶部405に格納し、そのプログラムを主記憶部402にロードしてCPU401で実行することにより、ソフトウェア的に実現することも可能である。     The network load distribution apparatus 10 according to the present embodiment implements its operation in hardware by mounting circuit components which are hardware components such as LSI (Large Scale Integration) incorporating a program for performing load distribution control. Of course, a program that provides each function such as the packet analysis unit 12 and the server selection unit 13 is stored in the auxiliary storage unit 405, and the program is loaded into the main storage unit 402 and executed by the CPU 401. Therefore, it can be realized by software.

上述した実施の形態では、複数のMACアドレスから1つを選択する方法として、カウンタが最小のものを選択したが、ラウンドロビン方式でMACアドレスを選択してもよいし、ARP応答が最初に戻ってきたものを負荷の少ないサーバとみなして選択してもよい。   In the above-described embodiment, as the method for selecting one from a plurality of MAC addresses, the one with the smallest counter is selected. However, the MAC address may be selected by a round robin method, and the ARP response is returned to the beginning. You may select it as a server with less load.

また、図5に示すように、クライアントが複数のVLAN VL1、VL2にそれぞれ存在し、各サーバがそれぞれのVLANにtagged VLAN(タグVLAN)TVL1、TVL2で属しているようなネットワーク構成の場合、ネットワーク負荷分散装置10をそれらの間に配置すれば、上述した構成を変更することなくそのまま対応可能である。このような環境では、VLAN毎にサーバを別々に用意する必要がないので効率的な負荷分散が可能となる。   Further, as shown in FIG. 5, in the case of a network configuration in which clients exist in a plurality of VLANs VL1 and VL2, and each server belongs to each VLAN with a tagged VLAN (tag VLAN) TVL1 and TVL2, If the load balancer 10 is disposed between them, the above-described configuration can be handled without change. In such an environment, it is not necessary to prepare a separate server for each VLAN, so that efficient load distribution is possible.

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも、上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。   Although the present invention has been described with reference to the preferred embodiments, the present invention is not necessarily limited to the above embodiments, and various modifications can be made within the scope of the technical idea. .

本発明の実施の形態によるネットワーク負荷分散装置を含むネットワーク構成例を示す図である。It is a figure which shows the network structural example containing the network load distribution apparatus by embodiment of this invention. 本発明の実施の形態によるネットワーク負荷分散装置の構成を示すブロック図である。It is a block diagram which shows the structure of the network load distribution apparatus by embodiment of this invention. 図2に示したネットワーク負荷分散装置における動作を説明するフローチャートである。3 is a flowchart illustrating an operation in the network load distribution apparatus illustrated in FIG. 2. 本発明の実施の形態によるネットワーク負荷分散装置のカウンタテーブル部が保持するカウンタテーブルの一例を示す図である。It is a figure which shows an example of the counter table which the counter table part of the network load distribution apparatus by embodiment of this invention hold | maintains. クライアントが複数のVLANを介して接続されるネットワーク構成におけるネットワーク負荷分散装置の実装例を示すブロック図である。It is a block diagram which shows the example of mounting of the network load distribution apparatus in the network structure where a client is connected via several VLAN. 本実施の形態によるネットワーク負荷分散装置のハードウェア構成例を示すブロック図である。It is a block diagram which shows the hardware structural example of the network load distribution apparatus by this Embodiment. MAT方式によるネットワーク負荷分散装置の一般的な構成態様を示す図である。It is a figure which shows the general structural aspect of the network load distribution apparatus by a MAT system.

符号の説明Explanation of symbols

10:ネットワーク負荷分散装置
20:クライアント
31〜33:サーバ
11:レイヤ2スイッチ処理部
12:パケット解析部
13:サーバ選択部
14:カウンタテーブル部
15:タイマ部
100:入出力ポート部
101〜103:入出力ポート
DESCRIPTION OF SYMBOLS 10: Network load distribution apparatus 20: Client 31-33: Server 11: Layer 2 switch process part 12: Packet analysis part 13: Server selection part 14: Counter table part 15: Timer part 100: Input / output port part 101-103: I / O port

Claims (15)

クライアントからのARP要求に対してARP応答があった前記複数のサーバのうち、前記各サーバとクライアントとの接続状況に基づいて選択した前記サーバからのARP応答を前記クライアントに転送するネットワーク負荷分散装置であって
各サーバ毎のクライアントとの接続数をカウント値として含むカウンタテーブルを生成する、サーバとクライアントとの接続状況を管理する手段と、
前記カウンタテーブルに基づいて負荷の小さいサーバを選択するサーバ選択手段と
を備えることを特徴とするネットワーク負荷分散装置。
A network load distribution device for transferring an ARP response from the server selected based on a connection status between each server and the client among the plurality of servers having an ARP response to the ARP request from the client to the client Because
Means for generating a counter table including the number of connections with the client for each server as a count value, and managing a connection status between the server and the client;
Server selection means for selecting a server with a low load based on the counter table;
Network load balancer, characterized in that it comprises a.
クライアントから受信したARP要求をサーバ群に転送して、該サーバ群の各サーバからのARP応答を受信する手段と、
前記選択したサーバからのARP応答をクライアントに転送する手段と
を備えことを特徴とする請求項1に記載のネットワーク負荷分散装置。
Means for transferring an ARP request received from a client to a server group and receiving an ARP response from each server of the server group;
Network load balancer according to claim 1, characterized in that Ru and means for transferring the ARP response from the selected server to the client.
前記カウンタテーブルが、IPアドレス毎に、各サーバのMACアドレスと、当該MACアドレス毎の前記カウント値が対応付けられ、
前記各サーバとクライアントとの接続状況を管理する手段が、前記サーバ群の各サーバからのARP応答の有無に応じて、前記カウンタテーブルに対するMACアドレスの登録または削除を行うことを特徴とする請求項1又は請求項2に記載のネットワーク負荷分散装置。
In the counter table, each IP address is associated with the MAC address of each server and the count value for each MAC address,
The means for managing the connection status between each server and client registers or deletes a MAC address in the counter table according to the presence or absence of an ARP response from each server in the server group. The network load distribution apparatus according to claim 1 or 2 .
前記クライアントからのARP要求に対する前記ARP応答の受け付けを完了する所定の時間を設定したタイマ手段を備え、
前記各サーバとクライアントとの接続状況を管理する手段は、前記タイマ手段に設定した所定時間が経過するまで、前記カウンタテーブルに対するMACアドレスの登録または削除を行い、
前記サーバ選択手段は、前記タイマ手段に設定した所定時間が経過した後に、前記ARP応答があったサーバの中から負荷の小さいサーバを選択することを特徴とする請求項1から請求項の何れかに記載のネットワーク負荷分散装置。
Timer means for setting a predetermined time to complete acceptance of the ARP response to the ARP request from the client;
The means for managing the connection status between each server and client performs registration or deletion of the MAC address with respect to the counter table until a predetermined time set in the timer means elapses.
The server selection means, after a predetermined time set in the timer means has elapsed, any of claims 1 to 3, characterized in that selecting a small server load among servers said there is ARP response A network load balancer according to claim 1.
前記クライアントからのパケットを受信し、当該パケットが前記ARP要求を含むかを解析する解析手段を備えることを特徴とする請求項1から請求項の何れかに記載のネットワーク負荷分散装置。 Receiving a packet from the client, the network load balancing device according to any one of claims 1 to 4, the packet is characterized in that it comprises an analysis means for analyzing whether containing the ARP request. クライアントからのARP要求に対してARP応答があった前記複数のサーバのうち、前記各サーバとクライアントとの接続状況に基づいて選択した前記サーバからのARP応答を前記クライアントに転送するネットワーク負荷分散装置の負荷分散方法であって、
各サーバ毎のクライアントとの接続数をカウント値として含むカウンタテーブルを生成する、各サーバとクライアントとの接続状況を管理するステップと、
前記カウンタテーブルに基づいて負荷の小さいサーバを選択するサーバ選択ステップと
を含むことを特徴とする負荷分散方法。
A network load distribution device for transferring an ARP response from the server selected based on a connection status between each server and the client among the plurality of servers having an ARP response to the ARP request from the client to the client Load balancing method,
Generating a counter table including the number of connections with the client for each server as a count value, and managing the connection status between each server and the client;
And a server selection step of selecting a server with a low load based on the counter table .
クライアントから受信したARP要求をサーバ群に転送して、該サーバ群の各サーバからのARP応答を受信するステップと、
前記選択したサーバからのARP応答をクライアントに転送するステップと
を含むことを特徴とする請求項に記載の負荷分散方法。
Transferring the ARP request received from the client to the server group and receiving an ARP response from each server of the server group;
The load balancing method according to claim 6 , further comprising a step of transferring an ARP response from the selected server to the client .
前記カウンタテーブルが、IPアドレス毎に、各サーバのMACアドレスと、当該MACアドレス毎の前記カウント値が対応付けられ、
前記各サーバとクライアントとの接続状況を管理するステップにおいて、前記サーバ群の各サーバからのARP応答の有無に応じて、前記カウンタテーブルに対するMACアドレスの登録または削除を行うことを特徴とする請求項6又は請求項7に記載の負荷分散方法。
In the counter table, each IP address is associated with the MAC address of each server and the count value for each MAC address,
The step of managing a connection status between each server and a client performs registration or deletion of a MAC address with respect to the counter table in accordance with the presence or absence of an ARP response from each server of the server group. The load balancing method according to claim 6 or claim 7 .
前記クライアントからのARP要求に対する前記ARP応答の受け付けを完了する所定の時間を設定し、
前記各サーバとクライアントとの接続状況を管理するステップにおいて、前記所定時間が経過するまで、前記カウンタテーブルに対するMACアドレスの登録または削除を行い、
前記サーバ選択ステップにおいて、前記所定時間が経過した後に、前記ARP応答があったサーバの中から負荷の小さいサーバを選択することを特徴とする請求項から請求項の何れかに記載の負荷分散方法。
Set a predetermined time to complete acceptance of the ARP response to the ARP request from the client;
In the step of managing the connection status between each server and the client, until the predetermined time elapses, the MAC address is registered or deleted from the counter table,
The load according to any one of claims 6 to 8 , wherein, in the server selection step, a server having a small load is selected from the servers having the ARP response after the predetermined time has elapsed. Distribution method.
前記クライアントからのパケットを受信し、当該パケットが前記ARP要求を含むかを解析する解析ステップを備えることを特徴とする請求項から請求項の何れかに記載の負荷分散方法。 Receiving a packet from the client, the load balancing method according to claim 6 to claim 9 in which the packet is characterized in that it comprises an analysis step of analyzing whether containing the ARP request. コンピュータ上で動作し、クライアントからのARP要求に対してARP応答があった前記複数のサーバのうち、前記各サーバとクライアントとの接続状況に基づいて選択した前記サーバからのARP応答を前記クライアントに転送する負荷分散プログラムであって、
前記コンピュータに、
各サーバ毎のクライアントとの接続数をカウント値として含むカウンタテーブルを生成する、各サーバとクライアントとの接続状況を管理する処理と
前記カウンタテーブルに基づいて負荷の小さいサーバを選択するサーバ選択処理と
を実行させることを特徴とする負荷分散プログラム。
An ARP response from the server selected on the basis of the connection status between each server and the client among the plurality of servers operating on the computer and receiving an ARP response to the ARP request from the client is sent to the client. A load balancing program to transfer ,
In the computer,
A process for managing a connection status between each server and the client, generating a counter table including the number of connections with the client for each server as a count value;
And a server selection process for selecting a server having a low load based on the counter table .
前記コンピュータに、
クライアントから受信したARP要求をサーバ群に転送して、該サーバ群の各サーバからのARP応答を受信する処理と、
前記選択したサーバからのARP応答をクライアントに転送する処理と
を実行させることを特徴とする請求項11に記載の負荷分散プログラム。
In the computer,
A process of transferring an ARP request received from a client to a server group and receiving an ARP response from each server of the server group;
The load distribution program according to claim 11 , wherein a process for transferring an ARP response from the selected server to a client is executed.
前記カウンタテーブルが、IPアドレス毎に、各サーバのMACアドレスと、当該MACアドレス毎の前記カウント値が対応付けられ、
前記各サーバとクライアントとの接続状況を管理する処理において、前記サーバ群の各サーバからのARP応答の有無に応じて、前記カウンタテーブルに対するMACアドレスの登録または削除を行うことを特徴とする請求項11又は請求項12に記載の負荷分散プログラム。
In the counter table, each IP address is associated with the MAC address of each server and the count value for each MAC address,
The processing for managing the connection status between each server and client performs registration or deletion of a MAC address with respect to the counter table in accordance with the presence or absence of an ARP response from each server of the server group. The load distribution program according to claim 11 or claim 12 .
前記クライアントからのARP要求に対する前記ARP応答の受け付けを完了する所定の時間を設定し、
前記各サーバとクライアントとの接続状況を管理する処理において、前記所定時間が経過するまで、前記カウンタテーブルに対するMACアドレスの登録または削除を行い、
前記サーバ選択処理において、前記所定時間が経過した後に、前記ARP応答があったサーバの中から負荷の小さいサーバを選択することを特徴とする請求項11から請求項13の何れかに記載の負荷分散プログラム。
Set a predetermined time to complete acceptance of the ARP response to the ARP request from the client;
In the process of managing the connection status between each server and client, the MAC address is registered or deleted from the counter table until the predetermined time has elapsed.
The load according to any one of claims 11 to 13 , wherein, in the server selection process, a server having a small load is selected from the servers having the ARP response after the predetermined time has elapsed. Distributed program.
前記クライアントからのパケットを受信し、当該パケットが前記ARP要求を含むかを解析する解析処理を備えることを特徴とする請求項11から請求項14の何れかに記載の負荷分散プログラム。 The load distribution program according to any one of claims 11 to 14 , further comprising an analysis process for receiving a packet from the client and analyzing whether the packet includes the ARP request.
JP2008097886A 2008-04-04 2008-04-04 Network load balancing apparatus, network load balancing method, and program Expired - Fee Related JP4683345B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008097886A JP4683345B2 (en) 2008-04-04 2008-04-04 Network load balancing apparatus, network load balancing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008097886A JP4683345B2 (en) 2008-04-04 2008-04-04 Network load balancing apparatus, network load balancing method, and program

Publications (2)

Publication Number Publication Date
JP2009253578A JP2009253578A (en) 2009-10-29
JP4683345B2 true JP4683345B2 (en) 2011-05-18

Family

ID=41313834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008097886A Expired - Fee Related JP4683345B2 (en) 2008-04-04 2008-04-04 Network load balancing apparatus, network load balancing method, and program

Country Status (1)

Country Link
JP (1) JP4683345B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5415388B2 (en) * 2010-10-08 2014-02-12 日本電信電話株式会社 Virtual channel connection system, control method, control program, first terminal, and second terminal
US9300491B2 (en) 2011-02-11 2016-03-29 Qualcomm Incorporated Frame delivery path selection in hybrid communication networks
US9025603B2 (en) 2011-03-08 2015-05-05 Qualcomm Incorporated Addressing scheme for hybrid communication networks
US20140019639A1 (en) 2011-03-31 2014-01-16 Hiroshi Ueno Computer system and communication method
JP7371784B2 (en) * 2020-07-13 2023-10-31 日本電信電話株式会社 Communication relay device, communication relay system, communication relay method, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4163697B2 (en) * 2005-03-30 2008-10-08 株式会社東芝 Load distribution system, real server, and load distribution method
JP4177346B2 (en) * 2005-03-30 2008-11-05 株式会社東芝 Load distribution system, real server, and load distribution method
JP2008060747A (en) * 2006-08-30 2008-03-13 Nec Corp Layer 2 load balancing system, layer 2 load balancer, and layer 2 load balancing method for the same

Also Published As

Publication number Publication date
JP2009253578A (en) 2009-10-29

Similar Documents

Publication Publication Date Title
JP5813885B2 (en) System and method for managing network protocol addressing in a controller
CN109937401B (en) Live Migration of Load Balanced VMs via Service Bypass
EP2748992B1 (en) Method for managing network hardware address requests with a controller
CN106576075B (en) Method and system for operating a logical network on a network virtualization infrastructure
US9450914B2 (en) Distributed proxy addressing operations
US10382391B2 (en) Systems and methods for managing network address information
US7965630B1 (en) Load balancing port proxy for dynamically controlling routing of query requests
CN102025799A (en) Method for discovery and automatic configuration for IP address of device
JP4683345B2 (en) Network load balancing apparatus, network load balancing method, and program
US20140365606A1 (en) Information processing apparatus, information processing method, and program
US9697173B2 (en) DNS proxy service for multi-core platforms
CN105554176A (en) Method and device for sending message and communication system
US20130254425A1 (en) Dns forwarder for multi-core platforms
CN115834291B (en) Distributed intranet service data acquisition method, device, equipment and storage medium
Alasadi et al. SSED: Servers under software-defined network architectures to eliminate discovery messages
WO2013159667A1 (en) Virtual router redundancy protocol load balancing mode (vrrpe)
JP2006033830A (en) Power saving in wireless packet based network
WO2017219777A1 (en) Packet processing method and device
JP5580766B2 (en) Server apparatus, packet transmission system, packet transmission method and program
JP6002642B2 (en) Communication node, network system, and device control method
JP2016134830A (en) Answering device, information processing device and program
JP2005064570A (en) Network system and internetwork device
JP2016146566A (en) Network system and data transfer method
JP2008060747A (en) Layer 2 load balancing system, layer 2 load balancer, and layer 2 load balancing method for the same
JP4945793B2 (en) Electronic device, name resolution method, and name resolution control program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110114

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110127

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4683345

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees