[go: up one dir, main page]

JP2002365018A - Measuring device for moving objects - Google Patents

Measuring device for moving objects

Info

Publication number
JP2002365018A
JP2002365018A JP2001169952A JP2001169952A JP2002365018A JP 2002365018 A JP2002365018 A JP 2002365018A JP 2001169952 A JP2001169952 A JP 2001169952A JP 2001169952 A JP2001169952 A JP 2001169952A JP 2002365018 A JP2002365018 A JP 2002365018A
Authority
JP
Japan
Prior art keywords
moving object
imaging
image
competitor
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001169952A
Other languages
Japanese (ja)
Other versions
JP4628590B2 (en
Inventor
Yuichi Kimura
祐一 木村
Takehiro Kurono
剛弘 黒野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2001169952A priority Critical patent/JP4628590B2/en
Publication of JP2002365018A publication Critical patent/JP2002365018A/en
Application granted granted Critical
Publication of JP4628590B2 publication Critical patent/JP4628590B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 移動物体の位置や運動量を非接触で精度よく
計測することが可能な移動物体の計測装置を提供する。 【解決手段】 本発明に係る移動物体の計測装置10
は、(1)移動物体を撮像する撮像装置12と、(2)
撮像装置12に取り付けられたズームレンズ装置16
と、(3)撮像装置12の撮像方向角度情報に基づい
て、ズームレンズ装置16のズーム値を制御し、撮像装
置12の1画素当たりの距離分解能を一定に維持するズ
ーム制御装置26と、(4)撮像装置12により撮像し
た画像データを処理し、移動物体を抽出して移動物体の
画像内における画像内位置を算出する画像処理装置20
と、(5)画像処理装置20により抽出された移動物体
の画像内位置から、移動物体の実空間内における実空間
内位置を算出する位置演算装置28と、を備える。
(57) [Summary] [PROBLEMS] To provide a moving object measurement device capable of accurately measuring the position and the amount of movement of a moving object in a non-contact manner. SOLUTION: The moving object measuring apparatus 10 according to the present invention.
(1) an imaging device 12 for imaging a moving object, and (2)
Zoom lens device 16 attached to imaging device 12
(3) a zoom control device 26 that controls the zoom value of the zoom lens device 16 based on the imaging direction angle information of the imaging device 12 and maintains a constant distance resolution per pixel of the imaging device 12; 4) An image processing device 20 that processes image data captured by the imaging device 12, extracts a moving object, and calculates a position of the moving object in the image.
And (5) a position calculation device 28 that calculates a position in the real space of the moving object in the real space from the position in the image of the moving object extracted by the image processing device 20.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、所定のフィールド
上で変則的な動きをする移動物体を撮像し、その画像デ
ータに基づいて移動物体の位置や運動量を計測する装置
に関する。
[0001] 1. Field of the Invention [0002] The present invention relates to an apparatus for capturing an image of a moving object moving irregularly on a predetermined field and measuring the position and the amount of movement of the moving object based on the image data.

【0002】[0002]

【従来の技術】サッカーやラグビーなど、所定のフィー
ルド上で行われる競技における競技者の、競技中におけ
る総運動量や単位時間当たりの運動量を計測することが
できれば、トレーニング効果を比較したり、競技者のコ
ンディションを数値化したりして、競技者の身体能力を
客観的に評価することが可能となり便利である。しかし
ながら、実際の競技中には競技者に計測用の装置(例え
ば、万歩計(登録商標)など)を装着することは許され
ない。このように、従来は競技者の運動量を計測するた
めの適切な装置はなく、よって競技者の身体能力を客観
的に評価することは容易ではなかった。
2. Description of the Related Art If it is possible to measure the total amount of exercise or the amount of exercise per unit time of a competitor in a competition such as soccer or rugby that is performed on a predetermined field, it is possible to compare training effects, It is convenient because it is possible to objectively evaluate the physical ability of the competitor by numerically expressing the condition of the competitor. However, it is not permissible to wear a measuring device (for example, a pedometer (registered trademark)) on the competitor during the actual competition. As described above, conventionally, there is no appropriate device for measuring the amount of exercise of the competitor, and it has not been easy to objectively evaluate the physical ability of the competitor.

【0003】[0003]

【発明が解決しようとする課題】そこで本発明者は、競
技者の運動量を計測する装置について鋭意検討した。そ
して、ビデオカメラなどの撮像装置を用いて競技者を撮
像し、得られた画像データに基づいて競技者の競技中に
おけるフィールド上での位置をトラックして、競技者の
運動量を計測することを考えた。
The inventor of the present invention has intensively studied a device for measuring the amount of exercise of a competitor. Then, an image of the competitor is taken using an imaging device such as a video camera, and based on the obtained image data, the position of the competitor on the field during the competition is tracked to measure the amount of exercise of the competitor. Thought.

【0004】そして、本発明者は、撮像装置により競技
者を撮像するとき、画面上の特定点、例えば中心点に対
応する実空間上の位置を、撮像装置の設置位置と、撮像
装置のパン方向及びチルト方向の角度とから算出し、こ
れを競技者のフィールド上での位置とすることとした。
しかしながら、サッカーなどのフィールド競技の場合、
競技者は長い距離をある程度の速度で移動したり、狭い
範囲内を細かく移動したりといった変則的な動きを繰り
返す。よって、競技者を画面の中心点に常に捉えること
は難しく、計測の精度を上げるためには、画面上の中心
点からズレた分だけ、競技者の実空間上における位置を
補正する必要がある。
When the inventor captures an image of an athlete using the imaging device, the inventor determines the position in the real space corresponding to a specific point on the screen, for example, the center point, by setting the installation position of the imaging device and the pan of the imaging device. It was calculated from the direction and the angle of the tilt direction, and this was determined as the position of the competitor on the field.
However, in the case of field sports such as soccer,
A competitor repeats irregular movements such as moving a long distance at a certain speed and moving finely in a narrow range. Therefore, it is difficult to always keep the competitor at the center point of the screen, and in order to improve the measurement accuracy, it is necessary to correct the position of the competitor in the real space by the amount deviated from the center point on the screen .

【0005】しかしながら、図6(a)に示すように、
撮像装置100により競技者Sの動きを単にトラックす
る手法では、図6(b)に示すように競技者Sが近距離
にいるとき(A地点)と、図6(c)に示すように遠距
離にいるとき(B地点)とで、撮像装置100の1画素
当たりの距離分解能が変化してしまう。例えば、撮像装
置100の水平方向の有効画素数を640画素とする
と、A地点では画面中に4mの範囲が撮像され、1画素
当たり0.625cmの分解能となる。一方、B地点で
は10mの範囲が撮像され、1画素当たり1.5625
cmの分解能となって、分解能の差は約1cmに及ぶ。
このように、撮像装置100の1画素当たりの距離分解
能が変化することで、画面上の中心点からのズレの計測
精度が変化するため、競技者Sの実空間上における位置
の計測精度が低下し、ひいては競技者Sの運動量の計測
精度が低下するという問題があった。
[0005] However, as shown in FIG.
In the technique of simply tracking the movement of the competitor S by the imaging device 100, when the competitor S is at a short distance as shown in FIG. 6B (point A), and as shown in FIG. The distance resolution per pixel of the imaging device 100 changes when the user is at a distance (point B). For example, assuming that the number of effective pixels in the horizontal direction of the imaging apparatus 100 is 640 pixels, a range of 4 m is imaged on the screen at the point A, and the resolution is 0.625 cm per pixel. On the other hand, at the point B, a range of 10 m is imaged, and 1.5625 per pixel
The resolution difference is about 1 cm.
As described above, since the distance resolution per pixel of the imaging device 100 changes, the measurement accuracy of the deviation from the center point on the screen changes, and the measurement accuracy of the position of the competitor S in the real space decreases. As a result, there is a problem that the measurement accuracy of the exercise amount of the competitor S is reduced.

【0006】そこで本発明は、移動物体の位置や運動量
を非接触で精度よく計測することが可能な移動物体の計
測装置を提供することを目的とする。
Accordingly, an object of the present invention is to provide a moving object measuring apparatus capable of measuring the position and the amount of movement of a moving object in a non-contact and accurate manner.

【0007】[0007]

【課題を解決するための手段】本発明に係る移動物体の
計測装置は、(1)移動物体を撮像する撮像装置と、
(2)撮像装置に取り付けられたズームレンズ装置と、
(3)撮像装置の撮像方向角度情報に基づいて、ズーム
レンズ装置のズーム値を制御し、撮像装置の1画素当た
りの距離分解能を一定に維持するズーム制御装置と、
(4)撮像装置により撮像した画像データを処理し、移
動物体を抽出して移動物体の画像内における画像内位置
を算出する画像処理装置と、(5)画像処理装置により
抽出された移動物体の画像内位置から、移動物体の実空
間内における実空間内位置を算出する位置演算装置と、
を備える。
A moving object measuring apparatus according to the present invention comprises: (1) an image pickup device for picking up an image of a moving object;
(2) a zoom lens device attached to the imaging device;
(3) a zoom control device that controls a zoom value of the zoom lens device based on imaging direction angle information of the imaging device and maintains a constant distance resolution per pixel of the imaging device;
(4) an image processing device that processes image data captured by an imaging device, extracts a moving object, and calculates a position in the image of the moving object, and (5) calculates a position of the moving object extracted by the image processing device. A position calculation device that calculates a position in the real space of the moving object in the real space from the position in the image;
Is provided.

【0008】この計測装置は、撮像装置により撮像した
画像データを用いることにより、移動物体の位置を非接
触で計測することができる。このとき、ズーム制御装置
が、撮像装置の撮像方向角度情報に基づいてズームレン
ズ装置のズーム値を制御し、撮像装置の1画素当たりの
距離分解能を一定に維持しているため、画面上の特定点
からズレた分だけ移動物体の実空間内位置を補正すると
き、画面上の特定点からのズレの計測精度が一定とな
り、移動物体の実空間内位置を精度良く計測することが
可能となる。
This measuring device can measure the position of a moving object in a non-contact manner by using image data picked up by an image pickup device. At this time, the zoom control device controls the zoom value of the zoom lens device based on the imaging direction angle information of the imaging device, and maintains the distance resolution per pixel of the imaging device constant. When correcting the position of the moving object in the real space by the amount deviated from the point, the measurement accuracy of the deviation from a specific point on the screen becomes constant, and the position of the moving object in the real space can be accurately measured. .

【0009】本発明に係る移動物体の計測装置は、
(1)撮像装置を支持すると共に撮像装置の撮像方向を
変更する駆動装置と、(2)移動物体を自動追尾するよ
うに駆動装置を制御する駆動制御装置と、を備えること
を特徴としてもよい。このようにすれば、移動物体を自
動追尾するように、駆動制御装置が駆動装置を制御して
撮像装置の撮像方向を自動的に変更することで、移動物
体を撮像する際における省力化が図られる。
A moving object measuring apparatus according to the present invention comprises:
(1) A driving device that supports the imaging device and changes the imaging direction of the imaging device, and (2) a driving control device that controls the driving device to automatically track a moving object may be provided. . With this configuration, the drive control device controls the driving device to automatically change the imaging direction of the imaging device so as to automatically track the moving object, thereby saving labor when imaging the moving object. Can be

【0010】本発明に係る移動物体の計測装置は、位置
演算装置により算出された移動物体の実空間内位置に基
づいて、移動物体の運動量を算出する運動量演算装置を
備えることを特徴としてもよい。このようにすれば、例
えば、移動物体としてサッカーなどの競技における競技
者のトレーニング効果を比較したり、競技者のコンディ
ションを数値化したりして、競技者の身体能力を客観的
に評価することが可能となる。
[0010] The moving object measuring apparatus according to the present invention may be provided with a momentum calculating device for calculating the momentum of the moving object based on the position of the moving object in the real space calculated by the position calculating device. . In this way, for example, it is possible to objectively evaluate the physical ability of the competitor by comparing the training effect of the competitor in a game such as soccer as a moving object, or by quantifying the condition of the competitor. It becomes possible.

【0011】[0011]

【発明の実施の形態】以下、添付図面を参照しながら本
発明に係る移動物体の計測装置の好適な実施形態につい
て説明する。なお、図面において同一の要素には同一の
符号を付し、重複する説明を省略する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A preferred embodiment of a moving object measuring apparatus according to the present invention will be described below with reference to the accompanying drawings. In the drawings, the same elements will be denoted by the same reference symbols, without redundant description.

【0012】図1は、本発明の実施形態に係る移動物体
の計測装置(以下、「計測装置」ともいう)の構成を示
すブロック図である。この計測装置10は、図2に示す
ように、サッカーなど、所定のフィールドF上で行われ
る競技における競技者Sの、競技中における位置や運動
量を計測する。
FIG. 1 is a block diagram showing a configuration of a moving object measuring device (hereinafter, also referred to as a “measuring device”) according to an embodiment of the present invention. As shown in FIG. 2, the measuring device 10 measures the position and the amount of exercise of the competitor S in a competition such as a soccer game performed on a predetermined field F during the competition.

【0013】図1に示すように、計測装置10は撮影カ
メラ12、雲台14、ズームレンズ装置16、撮像制御
装置18、画像処理装置20、及び統合制御装置22を
備えている。
As shown in FIG. 1, the measuring device 10 includes a photographing camera 12, a camera platform 14, a zoom lens device 16, an imaging control device 18, an image processing device 20, and an integrated control device 22.

【0014】撮影カメラ12は、例えばカラービデオカ
メラであり、移動物体、ここではサッカーの競技者Sを
撮影し、得られた画像データを画像処理装置20に送出
する。
The photographing camera 12 is, for example, a color video camera, and photographs a moving object, here, a soccer player S, and sends the obtained image data to the image processing device 20.

【0015】雲台14は、撮影カメラ12を支持してい
る。この雲台14は、撮影カメラ12をパン方向に駆動
するためのパン方向駆動用モータと、チルト方向に駆動
するためのチルト方向駆動用モータとを有している。ま
た、雲台14は撮影カメラ12のパン方向角度を検出す
るパン方向角度検出用エンコーダと、チルト方向角度を
検出するチルト方向角度検出用エンコーダとを有してい
る。そして、雲台14は撮像制御装置18からの制御信
号に基づいて、撮影カメラ12をパン方向、及びチルト
方向に振って撮影方向を変更すると共に、その位置での
撮影カメラ12のパン方向角度及びチルト方向角度を撮
像制御装置18に送出する。
The camera platform 14 supports the camera 12. The camera platform 14 has a pan direction driving motor for driving the photographing camera 12 in the pan direction and a tilt direction driving motor for driving in the tilt direction. The camera platform 14 has a pan direction angle detection encoder that detects the pan direction angle of the photographing camera 12, and a tilt direction angle detection encoder that detects the tilt direction angle. The camera platform 14 changes the photographing direction by swinging the photographing camera 12 in the pan direction and the tilt direction based on the control signal from the imaging control device 18, and changes the panning angle of the photographing camera 12 at that position. The tilt direction angle is sent to the imaging control device 18.

【0016】ズームレンズ装置16は、撮影カメラ12
の前面に取り付けられている。このズームレンズ装置1
6は、ズームリングに保持された電動ズームレンズと、
ズームリングの回転角度を電圧値で検出して、ズーム値
を検出するためのポテンショメータとを有している。
The zoom lens device 16 includes the photographing camera 12
Attached to the front of the This zoom lens device 1
6 is an electric zoom lens held by a zoom ring,
A potentiometer for detecting the rotation angle of the zoom ring as a voltage value and detecting the zoom value.

【0017】撮像制御装置18は、駆動制御装置24と
ズーム制御装置26とを有している。駆動制御装置24
は、雲台14を駆動制御して撮影カメラ12の撮影方向
を変更する。このとき、駆動制御装置24は、競技者S
を自動追尾するように雲台14を駆動制御する。駆動制
御装置24による競技者Sの自動追尾は、公知の手法を
用いることができる。例えば、画像処理装置20から送
られてくる競技者Sの画像内位置、競技者Sの移動速度
などの情報から、次の瞬間における競技者Sの位置を予
測し、予測された位置に撮影カメラ12が向くように雲
台14を駆動制御して、競技者Sを自動追尾することが
できる。
The imaging control device 18 has a drive control device 24 and a zoom control device 26. Drive control device 24
Drives and controls the camera platform 14 to change the shooting direction of the shooting camera 12. At this time, the drive control device 24
Of the camera platform 14 so as to automatically track the camera. A known technique can be used for automatic tracking of the player S by the drive control device 24. For example, the position of the competitor S at the next moment is predicted from the information such as the position in the image of the competitor S and the moving speed of the competitor S sent from the image processing device 20, and the photographing camera is positioned at the predicted position. By controlling the drive of the camera platform 14 so that the camera 12 faces, the competitor S can be automatically tracked.

【0018】ズーム制御装置26は、1画素当たりの距
離分解能が一定になるように、ズームレンズ装置16を
制御する。すなわち、ズーム制御装置26は、撮影カメ
ラ12の設置位置と、雲台14から送られてくる撮影カ
メラ12のチルト角度(撮像方向角度情報)及びパン角
度(撮像方向角度情報)とに基づいて、撮影カメラ12
の1画素当たりの距離分解能が一定となるようなズーム
値Zを算出し、このズーム値Zを達成するための制御信
号をズームレンズ装置16に送出する。ここで、「距離
分解能が一定」とは完全に一定であることを意味するの
ではなく、実質的に一定であれば足りる。なお、1画素
当たりの距離分解能が一定となるようなズーム値Zを、
チルト角度αとパン角度βとに対応させて予め算出して
おき、これをテーブル化してズーム制御装置26に記憶
させておいてもよい。
The zoom control device 26 controls the zoom lens device 16 so that the distance resolution per pixel is constant. In other words, the zoom control device 26 determines, based on the installation position of the imaging camera 12, the tilt angle (imaging direction angle information) and the pan angle (imaging direction angle information) of the imaging camera 12 sent from the camera platform 14. Photo camera 12
Is calculated so that the distance resolution per pixel becomes constant, and a control signal for achieving the zoom value Z is transmitted to the zoom lens device 16. Here, “the distance resolution is constant” does not mean that the distance resolution is completely constant, but it is sufficient that the distance resolution is substantially constant. Note that a zoom value Z that makes the distance resolution per pixel constant is:
It may be calculated in advance in correspondence with the tilt angle α and the pan angle β, and may be stored as a table in the zoom control device 26.

【0019】画像処理装置20は、撮影カメラ12から
送られてくる画像データを処理し、フレーム毎に競技者
Sの抽出を行う。この抽出処理は、画像データの各画素
の色相値と、芝生の色(緑)の色相値との差分を求め、
これを閾値により2値化することで、競技者Sを抽出す
る。また、彩度、明度のパラメータと組み合わせ、これ
を閾値により2値化することで抽出精度を上げることも
できる。そして、さらに抽出された競技者Sの所定の計
測部、ここでは接地位置の画像内位置p(xi,yi)を
算出し、これを統合制御装置22に送出する。ここで、
競技者Sが立っている場合は、図3に示すように、接地
位置は抽出された競技者Sの全体像の最下端の点とな
る。
The image processing device 20 processes the image data sent from the photographing camera 12, and extracts the competitor S for each frame. This extraction process calculates the difference between the hue value of each pixel of the image data and the hue value of the lawn color (green),
By binarizing this with a threshold, the competitor S is extracted. In addition, the extraction accuracy can be increased by combining with the parameters of the saturation and the brightness and binarizing them with a threshold value. Then, further predetermined measurement portion of the extracted competitor S, wherein the calculating the image position of the ground position p (x i, y i) , and sends it to the integrated control unit 22. here,
When the competitor S is standing, as shown in FIG. 3, the ground contact position is the lowest point of the extracted overall image of the competitor S.

【0020】統合制御装置22は、位置演算装置28と
メモリ30と運動量演算装置32とを有している。位置
演算装置28は、画像処理装置20から送られてくる競
技者Sの画像内位置p(xi,yi)と、撮像制御装置1
8を介して雲台14から送られてくる撮影カメラ12の
チルト角度α及びパン角度βとから、競技者Sの実空間
内位置P(Xi,Yi)を算出する。算出された実空間内
位置Pとそのときの時刻は、メモリ30に記憶される。
また、運動量演算装置32は、メモリ30に記憶された
競技者Sの実空間内位置Pから、競技者Sの競技中にお
ける総運動量や、単位時間当たりの運動量などを算出
し、算出された運動量はメモリ30に保存される。
The integrated control device 22 has a position calculating device 28, a memory 30, and a momentum calculating device 32. Position calculating unit 28, the image position of the competitor S sent from the image processing apparatus 20 p (x i, y i ) and the imaging control unit 1
The position P (X i , Y i ) of the competitor S in the real space is calculated from the tilt angle α and the pan angle β of the photographing camera 12 sent from the camera platform 14 via the camera 8. The calculated position P in the real space and the time at that time are stored in the memory 30.
Further, the exercise amount calculation device 32 calculates the total amount of exercise of the competitor S during the competition, the amount of exercise per unit time, and the like from the position P of the competitor S in the real space stored in the memory 30 and calculates the calculated amount of exercise. Are stored in the memory 30.

【0021】なお、本実施形態に係る計測装置10は、
モニターなどの表示装置34を備えていてもよい。この
ようにすれば、統合制御装置22において算出された競
技者Sの経時的な位置や、運動量などの結果をモニター
上で確認することができる。また、本実施形態に係る計
測装置10は、プリンターなどの記録装置36を備えて
いてもよい。このようにすれば、統合制御装置22にお
いて算出された競技者Sの経時的な位置や、運動量など
の結果を紙などに記録して打ち出すことができる。
The measuring device 10 according to the present embodiment
A display device 34 such as a monitor may be provided. In this way, it is possible to confirm on the monitor the results of the athlete S calculated over time by the integrated control device 22, such as the position over time and the amount of exercise. Further, the measuring device 10 according to the present embodiment may include a recording device 36 such as a printer. In this way, the results such as the position of the competitor S over time and the amount of exercise calculated by the integrated control device 22 can be recorded on a paper or the like and can be launched.

【0022】次に、上記した計測装置10を用いた、競
技者Sの実空間内における位置や運動量の計測方法につ
いて説明する。
Next, a method of measuring the position and the amount of exercise of the competitor S in the real space using the measuring device 10 will be described.

【0023】まず、図2に示すように、撮影カメラ12
により競技者Sを撮影する。撮影に際しては、駆動制御
装置24により雲台14を駆動制御して、競技者Sが画
像のほぼ中央に位置するように競技者Sを自動追尾す
る。実際には、画像の中心と競技者Sの所定の計測部、
ここでは接地位置とを一致させることは難しく、数画素
程度のずれが生じてしまう。そのため、駆動制御装置2
4は、以下の手順で雲台14を駆動制御する。
First, as shown in FIG.
To shoot the competitor S. At the time of photographing, the drive control unit 24 controls the drive of the camera platform 14 and automatically tracks the competitor S so that the competitor S is located substantially at the center of the image. Actually, the center of the image and a predetermined measuring unit of the competitor S,
Here, it is difficult to match with the ground position, and a shift of about several pixels occurs. Therefore, the drive control device 2
4 drives and controls the camera platform 14 in the following procedure.

【0024】まず、競技者Sの接地位置が画像の中央に
くるように雲台14を動かす。そして、接地位置と画像
の中心との距離が一定の範囲(例えば、100画素以
下)であるときには、雲台14の駆動を止めてその位置
で撮影を行う。接地位置と画像の中心との距離が上記範
囲を超えた場合は、再び雲台14を駆動して撮影方向を
変更する。
First, the camera platform 14 is moved so that the contact position of the competitor S is at the center of the image. When the distance between the ground contact position and the center of the image is within a certain range (for example, 100 pixels or less), the driving of the camera platform 14 is stopped, and shooting is performed at that position. If the distance between the ground contact position and the center of the image exceeds the above range, the camera platform 14 is driven again to change the shooting direction.

【0025】このとき、ズーム制御装置26は、撮影カ
メラ12の設置位置Cと、撮影カメラ12のチルト角度
α(撮像方向角度情報)及びパン角度β(撮像方向角度
情報)とに基づいて、1画素当たりの距離分解能が一定
となるようなズーム値Z、例えば1画素当たりの距離分
解能が1cmとなるようなズーム値を算出し、このズー
ム値Zで競技者Sを撮影する。すなわち、図4に示すよ
うに、撮影カメラ12の設置位置がC(0,0、H)と
決められているとき、撮影カメラ12から競技者Sまで
の距離Rは、撮影カメラ12のチルト角度αとパン角度
βとから、R = H/(sinαcosβ)と一義的に
決まる。よって、ズーム制御装置26は、この距離R
(すなわち、チルト角度αとパン角度β)に基づいて、
1画素当たりの距離分解能が一定となるようなズーム値
Zを算出し、このズーム値Zを得るための信号をズーム
レンズ装置16に送出して、ズーム値を制御する。
At this time, the zoom control device 26 calculates 1 based on the installation position C of the photographing camera 12, the tilt angle α (imaging direction angle information) and the pan angle β (imaging direction angle information) of the photographing camera 12. A zoom value Z that makes the distance resolution per pixel constant is calculated, for example, a zoom value that makes the distance resolution per pixel 1 cm, and the competitor S is photographed with this zoom value Z. That is, as shown in FIG. 4, when the installation position of the photographing camera 12 is determined to be C (0, 0, H), the distance R from the photographing camera 12 to the competitor S is determined by the tilt angle of the photographing camera 12. From α and the pan angle β, R = H / (sin α cos β) is uniquely determined. Therefore, the zoom control device 26 calculates the distance R
(Ie, tilt angle α and pan angle β),
The zoom value Z is calculated such that the distance resolution per pixel is constant, and a signal for obtaining the zoom value Z is sent to the zoom lens device 16 to control the zoom value.

【0026】なお、図5に示すように、撮影カメラ12
から競技者Sまでの距離R(すなわち、チルト角度αと
パン角度β)について、1画素当たりの距離分解能が一
定となるようなズーム値Zを予め算出しておき、これを
テーブル化してズーム制御装置26に記憶させておいて
もよい。このようにすれば、ズーム制御装置26は、ズ
ーム値のテーブルから所望のズーム値を得ることがで
き、ズーム値をその都度算出する必要がなくなり、処理
の効率化が図られる。
Note that, as shown in FIG.
The zoom value Z is calculated in advance so that the distance resolution per pixel is constant with respect to the distance R (ie, the tilt angle α and the pan angle β) from the player to the competitor S. The information may be stored in the device 26. In this way, the zoom control device 26 can obtain a desired zoom value from the zoom value table, and it is not necessary to calculate the zoom value each time, and the processing efficiency can be improved.

【0027】所望のズーム値Zで撮像された画像データ
は、画像処理装置20に送られる。ここで、画像データ
の処理が行われ、競技者Sが抽出される。そして、図3
に示すように、接地位置の画像内位置p(xi,yi)が
算出され、このデータが統合制御装置22に送出され
る。
The image data picked up at the desired zoom value Z is sent to the image processing device 20. Here, the processing of the image data is performed, and the competitor S is extracted. And FIG.
As shown in the image in the position p (x i, y i) of the ground position is calculated, this data is sent to the integrated controller 22.

【0028】統合制御装置22では、図3に示すよう
に、その撮影方向での画像の中心位置における画像内座
標o(xo,yo)の、実空間内における実空間内座標O
(Xo,Yo)が算出される。撮影カメラ12の設置位置
の座標Cを(0,0,H)とすると、画像の中心位置に
対応する実空間内座標O(Xo,Yo)は、以下の
(1)、(2)式から求められる。 Xo = Hsinβ/tanα … (1) Yo = Hcosβ/tanα … (2)
In the integrated control device 22, as shown in FIG. 3, the coordinates O (x o , y o ) in the image at the center position of the image in the shooting direction are the coordinates O in the real space in the real space.
(X o , Y o ) is calculated. Assuming that the coordinates C of the installation position of the photographing camera 12 are (0, 0, H), the coordinates O ( Xo , Yo ) in the real space corresponding to the center position of the image are as follows (1) and (2). Obtained from the formula. X o = Hsinβ / tanα ... ( 1) Y o = Hcosβ / tanα ... (2)

【0029】また、競技者Sの接地位置の画像内座標p
(xi,yi)に対応する実空間内座標P(Xi,Yi
は、次にようにして求められる。
The coordinates p in the image of the contact position of the competitor S
(X i, y i) real space coordinates corresponding to P (X i, Y i)
Is determined as follows.

【0030】まず、画像内座標p(xi,yi)のy方向
の補正を以下の(3)式に基づいて行う。 yi’= yi/sinα … (3)
First, the correction of the coordinates p (x i , y i ) in the image in the y direction is performed based on the following equation (3). y i '= y i / sin α (3)

【0031】次に、画像の中心位置oからの接地位置p
までの距離dと、撮影カメラ12の撮像軸からの角度θ
を、以下の(4)、(5)式から求める。 … (4) θ=tan-1 ((xi−xo)/(yi’−yo)) … (5)
Next, the grounding position p from the center position o of the image
And the angle θ from the imaging axis of the photographing camera 12
Is calculated from the following equations (4) and (5). ... (4) θ = tan -1 ((x i -x o) / (y i '-y o)) ... (5)

【0032】更に、この結果に対して、予め設定した画
像の1画素当たりの長さDをかけ合わせ、以下の
(6)、(7)式から競技者Sの接地位置の実空間内座
標P(Xi,Yi)を算出する。 Xi =Xo + D×dsin(β+θ) … (6) Yi =Yo + D×dcos(β+θ) … (7)
Further, the result is multiplied by a predetermined length D per pixel of the image, and from the following equations (6) and (7), the coordinates P in the real space of the contact position of the competitor S are obtained. (X i , Y i ) is calculated. X i = X o + D × dsin (β + θ) (6) Y i = Y o + D × dcos (β + θ) (7)

【0033】算出された競技者Sの接地位置の実空間内
座標P(Xi,Yi)は、メモリ30に記憶される。そし
て、運動量演算装置32は、このメモリ30に記憶され
た競技者Sの接地位置の実空間内座標P(Xi,Yi)に
基づいて、競技者Sの総運動量や単位時間当たりの運動
量を算出し、算出された運動量がメモリ30に記憶され
る。
The calculated coordinates P (X i , Y i ) of the contact position of the player S in the real space are stored in the memory 30. Based on the coordinates P (X i , Y i ) in the real space of the contact position of the competitor S stored in the memory 30, the exercise amount computing device 32 calculates the total amount of exercise of the competitor S and the amount of exercise per unit time. Is calculated, and the calculated amount of exercise is stored in the memory 30.

【0034】算出された競技者Sの接地位置の実空間内
座標P(Xi,Yi)の奇跡や、運動量は、表示装置34
により確認することができ、また記録装置36により紙
などに打ち出すことができる。
The calculated miracle of the coordinates P (X i , Y i ) in the real space of the contact position of the competitor S and the amount of exercise are displayed on the display device 34.
, And can be printed out on paper or the like by the recording device 36.

【0035】以上詳述したように、本実施形態に係る計
測装置10では、ズーム制御装置26によりズームレン
ズ装置16を制御し、撮影に際して1画素当たりの距離
分解能を一定に維持しているため、計測精度が変化する
ことがなく、競技者Sが所定のフィールドF内を大きく
移動しても小さく移動しても、競技者Sの接地位置の実
空間内における位置や運動量を、精度良く計測すること
ができる。そして、このように競技者Sの競技中におけ
る位置や運動量を精度良く計測することが可能となるこ
とで、競技者Sのトレーニング効果を比較したり、競技
者のコンディションを数値化したりして、競技者の身体
能力を客観的に精度良く評価することが可能となる。
As described in detail above, in the measuring device 10 according to the present embodiment, the zoom lens device 16 is controlled by the zoom control device 26, and the distance resolution per pixel is kept constant during photographing. Even if the measurement accuracy does not change and the competitor S moves large or small in the predetermined field F, the position and the amount of exercise of the contact position of the competitor S in the real space are accurately measured. be able to. And by being able to accurately measure the position and the amount of exercise during the competition of the competitor S, it is possible to compare the training effects of the competitor S and to digitize the condition of the competitor, It is possible to objectively and accurately evaluate the physical ability of the competitor.

【0036】本発明は、上記した実施形態に限定される
ことなく種々の変形が可能である。例えば、上記した実
施形態では、駆動制御装置24により雲台14を駆動制
御して、競技者Sを自動追尾する構成としたが、これに
限らずカメラマンが手動で競技者Sを追尾するようにし
てもよい。
The present invention can be variously modified without being limited to the above embodiment. For example, in the above-described embodiment, the drive control unit 24 controls the drive of the camera platform 14 to automatically track the athlete S. However, the present invention is not limited to this, and the cameraman manually tracks the athlete S. You may.

【0037】また、上記した実施形態では、計測装置1
0はフィールドの斜め上方に設置されることとしたが、
フィールドの真上に設置してもよい。計測装置10を真
上に設置した場合には、垂直方向の距離分解能の位置に
よる差が減少する。
In the above embodiment, the measuring device 1
0 is set diagonally above the field,
It may be placed directly above the field. When the measuring device 10 is installed right above, the difference in distance resolution in the vertical direction due to the position decreases.

【0038】また、上記した実施形態では、移動物体の
例としてサッカーの競技者Sについて説明したが、これ
に限られず、ラグビー、アメリカンフットボール、バス
ケットボール、ハンドボールなど、所定のフィールド内
で変則的な動きをする競技者の実空間内位置や、運動量
を計測するようにしてもよい。
In the above-described embodiment, the soccer player S has been described as an example of a moving object. However, the present invention is not limited to this. The position in the real space and the amount of exercise of the competitor performing the exercise may be measured.

【0039】なお、撮像装置を用いて移動物体を撮像
し、得られた画像データに基づいて移動物体の実空間内
での位置を算出可能な装置として、例えば特開平7−1
14642号公報(以下、文献1という)に開示された
ものがある。しかしながら、文献1に開示の装置は、画
面の特定位置に移動物体を安定して映し出すことを目的
とし、ズーム値を移動物体の移動に対応して広角に変更
したり、狭角に変更したりしている。よって、文献1に
開示の装置では、1画素当たりの距離分解能が変更され
て、移動物体の位置の計測精度が低下するという問題が
ある。これに対し、本実施形態に係る計測装置は、移動
物体の運動量を算出することを目的とし、ズーム値を制
御して1画素当たりの距離分解能を一定に維持してお
り、その結果、移動物体の位置や運動量を精度よく計測
することができるという優れた作用効果を奏し得る。
As an apparatus capable of imaging a moving object using an imaging device and calculating the position of the moving object in the real space based on the obtained image data, for example, Japanese Patent Application Laid-Open No. 7-1
There is one disclosed in Japanese Patent Application Publication No. 14642 (hereinafter referred to as Document 1). However, the device disclosed in Document 1 aims to stably project a moving object at a specific position on a screen, and changes a zoom value to a wide angle or a narrow angle in accordance with the movement of the moving object. are doing. Therefore, the device disclosed in Document 1 has a problem that the distance resolution per pixel is changed, and the measurement accuracy of the position of the moving object is reduced. On the other hand, the measuring device according to the present embodiment aims to calculate the momentum of the moving object, controls the zoom value, and keeps the distance resolution per pixel constant. It is possible to obtain an excellent operational effect that the position and the amount of exercise can be accurately measured.

【0040】[0040]

【発明の効果】本発明によれば、移動物体の位置や運動
量を非接触で精度よく計測することが可能となる。その
結果、移動物体としてスポーツなどの競技者の競技中に
おける位置や運動量を精度良く計測することが可能とな
って、トレーニング効果を比較したり、競技者のコンデ
ィションを数値化したりして、競技者の身体能力を客観
的に評価することが可能となる。
According to the present invention, the position and the amount of movement of a moving object can be accurately measured without contact. As a result, it is possible to accurately measure the position and the amount of exercise of a competitor such as a sport as a moving object during a competition, to compare training effects and to digitize the competitor's condition, Can be objectively evaluated.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施形態に係る移動物体の計測装置の
構成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of a moving object measurement device according to an embodiment of the present invention.

【図2】サッカーの競技者の、競技中における位置や運
動量を計測する様子を示す図である。
FIG. 2 is a diagram showing how a soccer player measures the position and the amount of exercise during a game.

【図3】競技者の画像内位置p(xi,yi)を説明する
ための図である。
[Figure 3] competitor in the image position p (x i, y i) is a diagram for explaining the.

【図4】撮影カメラによる撮影方向の位置関係を説明す
るための図である。
FIG. 4 is a diagram for explaining a positional relationship in a photographing direction by a photographing camera.

【図5】1画素当たりの距離分解能を一定にするために
必要な、撮影カメラから競技者までの距離と、ズーム値
との関係を示すグラフである。
FIG. 5 is a graph showing a relationship between a distance from a photographing camera to a competitor and a zoom value, which is necessary to keep the distance resolution per pixel constant.

【図6】競技者を単に撮影した場合において、競技者の
位置によって距離分解能が変動する様子を説明するため
の図である。
FIG. 6 is a diagram for explaining how the distance resolution varies depending on the position of the competitor when the competitor is simply photographed.

【符号の説明】[Explanation of symbols]

10…移動物体の計測装置、12…撮影カメラ、14…
雲台、16…ズームレンズ装置、20…画像処理装置、
24…駆動制御装置、26…ズーム制御装置、28…位
置演算装置、32…運動量演算装置、S…競技者。
10: Measuring device for moving objects, 12: Camera, 14 ...
Head, 16 ... zoom lens device, 20 ... image processing device,
24: Drive control device, 26: Zoom control device, 28: Position calculation device, 32: Momentum calculation device, S: Competitor.

フロントページの続き Fターム(参考) 2F065 AA03 BB05 BB15 BB24 CC16 DD03 EE05 FF04 FF26 JJ03 KK01 LL06 MM02 QQ04 QQ24 QQ31 RR06 SS03 SS11 UU02 5C054 AA01 CA04 CC02 CE15 CF06 CG02 CH02 DA06 EA01 EA03 EA05 FC03 FC12 FC15 FD03 FF03 GA04 GB18 HA16 5L096 AA02 AA06 BA08 BA18 CA04 EA43 GA06 HA05 Continued on the front page F-term (reference) 2F065 AA03 BB05 BB15 BB24 CC16 DD03 EE05 FF04 FF26 JJ03 KK01 LL06 MM02 QQ04 QQ24 QQ31 RR06 SS03 SS11 UU02 5C054 AA01 CA04 CC02 CE15 CF06 CG02 CH03 DA03 EA01 FC03 FC03 5L096 AA02 AA06 BA08 BA18 CA04 EA43 GA06 HA05

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 移動物体を撮像する撮像装置と、 前記撮像装置に取り付けられたズームレンズ装置と、 前記撮像装置の撮像方向角度情報に基づいて、前記ズー
ムレンズ装置のズーム値を制御し、該撮像装置の1画素
当たりの距離分解能を一定に維持するズーム制御装置
と、 前記撮像装置により撮像した画像データを処理し、前記
移動物体を抽出して該移動物体の画像内における画像内
位置を算出する画像処理装置と、 前記画像処理装置により抽出された前記移動物体の前記
画像内位置から、該移動物体の実空間内における実空間
内位置を算出する位置演算装置と、を備える移動物体の
計測装置。
An imaging device configured to image a moving object; a zoom lens device attached to the imaging device; and a zoom value of the zoom lens device controlled based on imaging direction angle information of the imaging device. A zoom control device for maintaining a constant distance resolution per pixel of the imaging device; processing image data captured by the imaging device to extract the moving object and calculate a position in the image of the moving object in the image Measurement of a moving object, comprising: an image processing device that performs the calculation; and a position calculation device that calculates a position in the real space of the moving object in the real space from a position in the image of the moving object extracted by the image processing device. apparatus.
【請求項2】 前記撮像装置を支持すると共に該撮像装
置の撮像方向を変更する駆動装置と、 前記移動物体を自動追尾するように前記駆動装置を制御
する駆動制御装置と、を備える請求項1に記載の移動物
体の計測装置。
2. A driving device for supporting the imaging device and changing an imaging direction of the imaging device, and a driving control device for controlling the driving device to automatically track the moving object. 3. The measuring device for a moving object according to claim 1.
【請求項3】 前記位置演算装置により算出された前記
移動物体の前記実空間内位置に基づいて、該移動物体の
運動量を算出する運動量演算装置を備える請求項1に記
載の移動物体の計測装置。
3. The moving object measuring device according to claim 1, further comprising a momentum calculating device that calculates a momentum of the moving object based on the position of the moving object in the real space calculated by the position calculating device. .
JP2001169952A 2001-06-05 2001-06-05 Measuring device for moving objects Expired - Fee Related JP4628590B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001169952A JP4628590B2 (en) 2001-06-05 2001-06-05 Measuring device for moving objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001169952A JP4628590B2 (en) 2001-06-05 2001-06-05 Measuring device for moving objects

Publications (2)

Publication Number Publication Date
JP2002365018A true JP2002365018A (en) 2002-12-18
JP4628590B2 JP4628590B2 (en) 2011-02-09

Family

ID=19011959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001169952A Expired - Fee Related JP4628590B2 (en) 2001-06-05 2001-06-05 Measuring device for moving objects

Country Status (1)

Country Link
JP (1) JP4628590B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210666A (en) * 2003-12-26 2005-08-04 Sumitomo Rubber Ind Ltd Golf swing diagnosis system
JP2006003965A (en) * 2004-06-15 2006-01-05 Kenchiku Shiryo Kenkyusya Co Ltd Image processing system
JP2011505202A (en) * 2007-11-30 2011-02-24 ナイキ インコーポレーティッド Exercise training system and method
KR101019798B1 (en) 2010-06-29 2011-03-04 (주) 골프존 Object motion sensing device and sensing method, and virtual golf simulation device using the same
JP2011179972A (en) * 2010-03-01 2011-09-15 Chugoku Electric Power Co Inc:The Multiple person-arrangement confirmation support system
JP2012104971A (en) * 2010-11-08 2012-05-31 Toa Corp Mobile body monitoring apparatus
WO2012002734A3 (en) * 2010-06-29 2012-06-21 Golfzon Co., Ltd. Sensing device and sensing processing method for moving object and virtual golf simulation device using the same
WO2013175837A1 (en) * 2012-05-25 2013-11-28 ソニー株式会社 Camera control device, camera control method, program, and camera device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07114642A (en) * 1993-10-19 1995-05-02 Oyo Keisoku Kenkyusho:Kk Measuring instrument for mobile object
JPH10314357A (en) * 1997-05-15 1998-12-02 Nippon Telegr & Teleph Corp <Ntt> Play display device
WO2000044449A1 (en) * 1999-01-29 2000-08-03 Scale Inc. Time-series data processing device and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07114642A (en) * 1993-10-19 1995-05-02 Oyo Keisoku Kenkyusho:Kk Measuring instrument for mobile object
JPH10314357A (en) * 1997-05-15 1998-12-02 Nippon Telegr & Teleph Corp <Ntt> Play display device
WO2000044449A1 (en) * 1999-01-29 2000-08-03 Scale Inc. Time-series data processing device and method

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210666A (en) * 2003-12-26 2005-08-04 Sumitomo Rubber Ind Ltd Golf swing diagnosis system
JP2006003965A (en) * 2004-06-15 2006-01-05 Kenchiku Shiryo Kenkyusya Co Ltd Image processing system
US9782660B2 (en) 2007-11-30 2017-10-10 Nike, Inc. Athletic training system and method
JP2011505202A (en) * 2007-11-30 2011-02-24 ナイキ インコーポレーティッド Exercise training system and method
US12194364B2 (en) 2007-11-30 2025-01-14 Nike, Inc. Athletic training system and method
US12097422B2 (en) 2007-11-30 2024-09-24 Nike, Inc. Athletic training system and method
US11717737B2 (en) 2007-11-30 2023-08-08 Nike, Inc. Athletic training system and method
US11161026B2 (en) 2007-11-30 2021-11-02 Nike, Inc. Athletic training system and method
US10603570B2 (en) 2007-11-30 2020-03-31 Nike, Inc. Athletic training system and method
US10391381B2 (en) 2007-11-30 2019-08-27 Nike, Inc. Athletic training system and method
JP2011179972A (en) * 2010-03-01 2011-09-15 Chugoku Electric Power Co Inc:The Multiple person-arrangement confirmation support system
CN103079652B (en) * 2010-06-29 2015-01-07 高夫准株式会社 Sensing device and sensing processing method for moving object and virtual golf simulation device using the same
CN103079652A (en) * 2010-06-29 2013-05-01 高夫准株式会社 Sensing device and sensing processing method for moving object and virtual golf simulation device using the same
WO2012002734A3 (en) * 2010-06-29 2012-06-21 Golfzon Co., Ltd. Sensing device and sensing processing method for moving object and virtual golf simulation device using the same
KR101019798B1 (en) 2010-06-29 2011-03-04 (주) 골프존 Object motion sensing device and sensing method, and virtual golf simulation device using the same
JP2012104971A (en) * 2010-11-08 2012-05-31 Toa Corp Mobile body monitoring apparatus
WO2013175837A1 (en) * 2012-05-25 2013-11-28 ソニー株式会社 Camera control device, camera control method, program, and camera device

Also Published As

Publication number Publication date
JP4628590B2 (en) 2011-02-09

Similar Documents

Publication Publication Date Title
US7273427B2 (en) Method and system for selecting a golf club
JP4424869B2 (en) Stride measuring device
Yamada et al. Tracking players and a ball in video image sequence and estimating camera parameters for 3D interpretation of soccer games
JPH10186474A (en) Golf ball motion measurement method
CN108226562B (en) Apparatus and method for measuring flight data of flying object and recording medium
US20050026710A1 (en) Apparatus and method for monitoring launch parameters of a launched sports object
US11583746B2 (en) Measurement and reconstruction of the golf launching scene in 3D
JP2002365018A (en) Measuring device for moving objects
JP2009041995A (en) Three-dimensional measurement system and three-dimensional measurement method
KR101850139B1 (en) Method, system and non-transitory computer-readable recording medium for compensating brightness of ball images
JP4436990B2 (en) Ball trajectory measuring device
JP2001268425A (en) Automatic tracking device
JP4064248B2 (en) Ball trajectory measuring device
CA2463647A1 (en) Stroke information measuring device and stroke information measuring method
JPH0993570A (en) Positioning control device for surveillance camera and reading device for indicator
KR101906847B1 (en) Method, system and non-transitory computer-readable recording medium for determining region of interest for photographing ball images
JP2002224260A (en) Offside decision assisting system
JP3725993B2 (en) Electronic component mounting circuit board inspection method and apparatus
JP2002135766A (en) Automatic tracking device
KR19980026347A (en) Golf swing posture automatic recording device
KR950008097B1 (en) Bowling apparatus with automatic detecting function for remaining pins
JPH03280672A (en) Image pickup device
JP3037203U (en) Golf ball motion measuring device
KR102541061B1 (en) Method, system and non-transitory computer-readable recording medium for compensating brightness of ball images
JP3393969B2 (en) Method and apparatus for recognizing subject in automatic camera system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees