[go: up one dir, main page]

JP5558127B2 - 位置ずれ測定装置及び位置ずれ測定方法並びに位置ずれ測定プログラム - Google Patents

位置ずれ測定装置及び位置ずれ測定方法並びに位置ずれ測定プログラム Download PDF

Info

Publication number
JP5558127B2
JP5558127B2 JP2010021283A JP2010021283A JP5558127B2 JP 5558127 B2 JP5558127 B2 JP 5558127B2 JP 2010021283 A JP2010021283 A JP 2010021283A JP 2010021283 A JP2010021283 A JP 2010021283A JP 5558127 B2 JP5558127 B2 JP 5558127B2
Authority
JP
Japan
Prior art keywords
correlation
pattern
phase information
phase
positional deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010021283A
Other languages
English (en)
Other versions
JP2011158383A (ja
Inventor
鉄也 田原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Azbil Corp
Original Assignee
Azbil Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Azbil Corp filed Critical Azbil Corp
Priority to JP2010021283A priority Critical patent/JP5558127B2/ja
Publication of JP2011158383A publication Critical patent/JP2011158383A/ja
Application granted granted Critical
Publication of JP5558127B2 publication Critical patent/JP5558127B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、例えば、画像等のパターンの位置ずれを測定する技術に関する。
半導体等の各種製造装置や製品の検査装置において、位置決め制御のために位置(ずれ)を検出、測定する装置(以下、「位置ずれ測定装置」ともいう。)が用いられることがある。
位置ずれ測定装置には、画像(信号)の相関に基づいた手法が使われることがある。例えば、予め撮影してメモリ等に記憶、登録しておいた画像(以下、「登録画像」ともいう。)と、登録画像との照合対象として撮影した画像(以下、「照合画像」ともいう)との相関に基づいた手法である。例えば、登録画像の画像パターンと照合画像の画像パターンとの相対的な位置関係をずらしながら、両画像パターン間の相関(係数)を算出する。そして、相関が最大になる位置を求めることで、両画像の位置の差異(位置ずれ)を測定することができる。
相関を用いた代表的な手法の一つに、正規化相関関数に基づく手法や、位相限定相関法と呼ばれる手法がある。位相限定相関法を用いたパターンの照合装置の一例が下記の特許文献1に記載されている。
正規化相関法は、通常の相関係数を用いる方法である。位相限定相関法は、周波数領域で振幅抑制をすることで、位相成分を強調した相関パターンを得る方法である。位相限定相関法は、正規化相関法に比べて、検出感度が高く、精度の高い位置ずれ測定が可能な手法として知られる。
特開平09−022406号公報
上述したような相関に基づくパターンの照合や位置ずれ測定においては、ローパスフィルタやバンドパスフィルタ等を用いたフィルタリング(帯域制限)が適用されることがある。フィルタリングにより画像パターンに含まれるノイズ成分を除去あるいは低減することができ、ノイズ成分による検出、測定精度の劣化を抑制できる。このようなノイズ低減効果は、画像パターン間の相関演算時に周波数による重み付けをする(例えば、高周波数における重みを相対的に低くする)ことによっても得ることができる。
しかしながら、フィルタリングや周波数成分の重み付けを行なうと、ノイズ成分だけではなく照合対象となる画像パターンの周波数成分も抑えられてしまう場合がある。その結果、位置分解能が低下し、ひいては位置ずれ測定の精度が劣化するおそれがある。
本発明の目的の一つは、照合される2つのパターン間の相関に基づく位置ずれ測定の精度を向上できるようにすることにある。なお、照合される2つのパターンには、N次元のパターンを適用でき、N=2の場合が画像の照合(パターンマッチング)に相当し、N=3の場合が立体のパターンマッチングに相当する。
ただし、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の一つとして位置付けることができる。
本発明の位置ずれ測定装置の一態様は、照合される2つのN次元(Nは2以上の整数)のパターンに対応するパターン信号のそれぞれに、互いに非平行な位相進行方向を示すm種類(mはm≧Nを満たす整数)の位相情報を付加し、同じ前記位相情報が付加されたm組のパターン信号間の相関を求める演算に相当する信号処理を実施する相関演算手段と、前記相関演算手段で求められたm組の相関の位相情報に基づき、前記パターン間の位相差に応じた位置ずれを求める位置ずれ算出手段と、を備える。
また、前記位置ずれ測定装置は、前記パターン信号どうしを比較して前記パターン間の位置ずれを推定する位置ずれ推定手段を更に備え、前記位置ずれ算出手段は、前記位置ずれ推定手段で得られた位置ずれの推定値と前記信号処理により得られた相関の位相情報とに基づいて、前記位置ずれを決定する、こととしてもよい。
さらに、前記位置ずれ推定手段は、前記パターン信号の振幅に関する相関を求める振幅相関演算部と、前記振幅相関演算部で求められた相関の最大値を求め、前記最大値に対応する位置ずれを前記推定値として求める最大値演算部と、を備えてもよい。
また、前記位置ずれ推定手段は、前記信号処理において得られた前記相関の振幅情報の最大値を求め、前記最大値に対応する位置ずれを前記推定値として求める最大値演算部を備えてもよい。
さらに、前記相関演算手段は、前記m種類の位相情報にそれぞれ対応したフィルタ特性を有するm種類の複素フィルタを備え、前記パターン信号のそれぞれに前記m種類の複素フィルタを適用することで、前記パターン信号のそれぞれに前記m種類の位相情報を付加する、こととしてもよい。
また、前記相関演算手段は、前記信号処理における前記位相情報の付加と前記相関の演算とを周波数領域において実施する、こととしてもよい。
さらに、前記複素フィルタの一部又は全部は、連続ウェーブレット変換によるフィルタとしてもよい。
また、本発明の位置ずれ測定方法の一態様は、照合される2つのN次元(Nは2以上の整数)のパターンに対応するパターン信号のそれぞれに、互いに非平行な位相進行方向を示すm種類(mはm≧Nを満たす整数)の位相情報を付加し、同じ前記位相情報が付加されたm組のパターン信号間の相関を求める演算に相当する信号処理と、前記信号処理により得られたm組の相関の位相情報に基づき、前記パターン間の位相差に応じた位置ずれを求める処理と、を有する。
さらに、本発明の位置ずれ測定プログラムの一態様は、コンピュータに読み取られることによって所定の位置ずれ測定処理を前記コンピュータに実施させる、コンピュータ読み取り可能な位置ずれ測定プログラムであって、照合される2つのN次元(Nは2以上の整数)のパターンに対応するパターン信号のそれぞれに、互いに非平行な位相進行方向を示すm種類(mはm≧Nを満たす整数)の位相情報を付加し、同じ前記位相情報が付加されたm組のパターン信号間の相関を求める演算に相当する信号処理と、前記信号処理により得られたm組の相関の位相情報に基づき、前記パターン間の位相差に応じた位置ずれを求める処理と、を前記コンピュータに実行させる。
上記本発明の一態様によれば、パターン間の相関に基づく位置ずれの測定精度を向上できる。例えば、相関演算に用いられる画像等のパターンにノイズ低減のためのフィルタリングや周波数重み付け等の帯域制限が適用されていても、位置ずれの測定精度を向上することができる。別言すると、ノイズ低減と測定精度向上の両立が可能である。
位置ずれ測定精度の低下を説明すべく相関値の等高線マップの一例を示す図である。 1次元のパターン信号及び当該パターン信号をlだけずらした信号の波形の一例をそれぞれ示す図である。 図2に例示するパターン信号に位相情報を付加した信号の波形と位相差を説明する図である。 図2に例示するパターン信号間の相互相関関数の位相及び絶対値の変化を示す図である。 パターン信号に位相情報を付加することにより複素平面上に描かれる等位相線の一例を示す図である。 パターン信号に位相情報を付加することにより複素平面上に描かれる等位相線の一例を示す図である。 パターン信号に2種類の位相情報を付加することにより複素平面上に描かれる2つの等位相線の一例を示す図である。 パターン信号に3種類の位相情報を付加した場合に複素平面上に描かれる3つの等位相線の一例を示す図である。 本発明の一実施形態に係る位置ずれ測定システムの一例を示すブロック図である。 図9に示す信号処理装置の第1の態様を示す機能ブロック図である。 パターン信号の次元数N=2の場合の図10に示す信号処理装置の機能ブロック図である。 図10及び図11に例示する位置ずれ概略値推定部の構成例を示す機能ブロック図である。 図9に示す信号処理装置の第2の態様を示す機能ブロック図である。 (A)及び(B)はそれぞれ図10及び図11に例示する位相情報付加フィルタ部に適用するフィルタの特性例を示す図である。 (A)及び(B)はそれぞれ図14(A)及び図14(B)に例示するフィルタ適用後のパターン信号の位相進行方向の一例を示す図である。 図9に示す信号処理装置の第3の態様を示す機能ブロック図である。 図9に示す信号処理装置の第4の態様を示す機能ブロック図である。 図9に示す信号処理装置の第5の態様を示す機能ブロック図である。 (A)及び(B)はそれぞれ図18に示す第5の態様の信号処理装置による位置ずれ測定に用いたパターンの一例を示す図である。 (A)及び(B)はそれぞれ図18に示す第5の態様の信号処理装置による位置ずれ測定の過程で得られた複素相関パターンの一例を示す図である。 図18に示す第5の態様の信号処理装置による位置ずれ測定の過程で得られた複素相関パターンにおける等位相線の一例を示す図である。
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形(各実施例を組み合わせる等)して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
〔A〕概要説明
相関を用いたパターン照合や位置ずれ測定手法は、一般的にはノイズに強いといわれている。例えば、画像照合等のパターンマッチングにおいて、照合の度に変化するランダムなノイズ成分(パターン)が照合対象のパターン(信号)に含まれていたとしても、当該ノイズ成分による影響は低減できる。これは、ノイズ成分と照合対象のパターンとの間に相関が無いか低いことを利用している。
しかし、ノイズ成分と照合対象のパターンとの間に相関がある場合は、当該ノイズ成分による影響を無視できない。例えば、照合対象の2つのパターンを同じ撮像装置で撮影した場合、双方のパターンに、撮像装置に由来する固定パターンノイズが共通して含まれることがある。
この場合、同一か実質的に同一であるパターンノイズが両パターンに含まれているため、パターン間に強い相関が生じる。その結果、位置ずれの測定精度が低下する。例えば、実際の位置ずれに関係無く、位置ずれが無いという結果が得られることがある。これは照合される2つのパターンのそれぞれ同じ位置にパターンノイズが存在するため、本来測定すべきパターンの位置ずれではなく、固定パターンノイズ間の位置ずれを測定してしまうからである。
相関演算に位相限定相関法を用いた場合、位相限定相関法の感度の高さが逆効果となり、固定パターンノイズどうしの相関(自己相関)の影響を受けやすい。また、正規化相関法を用いた場合も、固定パターンノイズの影響を受けることがある。
このような事態を回避する方法の一つとして、既述のフィルタリングや周波数重み付けがある。ノイズ成分は、通常、低周波数から高周波数にわたって広く分布するのに対し、照合対象のパターンは、低周波数領域に偏って分布する傾向がある。そこで、パターンに含まれる高周波数成分をフィルタリングや周波数重み付けにより除去あるいは低減することで、ノイズ成分による影響を除去あるいは軽減できる。
しかし、フィルタリングや周波数重み付けを用いて高周波成分を抑制(帯域制限)すると、ノイズ成分だけではなく照合対象のパターンの高周波成分も抑えられてしまう場合がある。照合対象のパターンの高周波成分が抑えられてしまうと、相関演算により得られる相関値(パターン)からも高周波成分の情報が失われるため、位置分解能が低下し、結果的に位置ずれの測定精度が劣化する。
例えば図1の相関値(相関パターン)の等高線マップに模式的に例示するように、パターンの高周波数成分が帯域制限によって除去あるいは抑制されると、相関値の高低差がなだらかになり、位置検出の確度が低下する。結果として、相関値がピーク(最大)を示す位置と、実際の位置ずれの真値とが一致しない結果になりやすい。
そこで、本実施形態では、照合される2つのパターンに対応するパターン信号のそれぞれに位相情報を付加し、当該位相情報が付加されたパターン信号の相関に基づき、両パターンの位相差に応じた位置ずれを求めることとする。このように付加的な位相情報を用いることで、位置分解能、ひいては位置ずれの測定精度を向上することが可能となる。なお、照合される2つのパターンには、N次元のパターンを適用でき、例えば、N=2の場合が画像パターンに相当し、N=3の場合が立体パターンに相当する。
(着眼点)
相関を用いた位置ずれ測定手法は、相関を基にした評価基準の値が最大となる位置ずれを探索する問題として考えることができる。一方、測定や信号処理では、信号の位相や、信号間の位相差を用いることで測定精度や推定精度を向上させることができる。
そこで、位相を用いた手法をN次元(Nは2以上の整数)のパターンマッチングに適用することを考える。まず、照合される2つのパターンに対応するパターン信号のそれぞれに位相情報を付加する。位相情報を付加する方法の一例としては、ヒルベルト変換が挙げられる。パターン信号をヒルベルト変換すると、実数値のパターン信号が複素値に変換され、複素数の偏角に相当する位相情報がパターン信号に含まれることになる。
このように位相情報が付加されたパターン信号間の相関を求めることで、両パターン信号の位相差を求めることができ、ひいては当該位相差に基づいて、パターン間の位置ずれに関する情報を得ることが可能となる。ただし、この手法を2次元以上のパターン(画像等)に適用する場合、1つの位相情報からでは位置ずれが特定できない。例えば、2次元のパターンにヒルベルト変換を適用すると、複素値化されたパターン上に等位相線ができる。つまり、位置ずれに対応する点がある曲線上にあることはわかるが、1点に特定することはできない。
そこで、本実施形態では、次元の数だけ、もしくはそれ以上の数の互いに平行にならないような位相情報を生成し、それらを組み合わせることで、位置ずれを1点に特定できるようにする。例えば、2次元の場合であれば、平行にならないような異なる2本の等位相線が得られれば、その交点から位置ずれが特定可能となる。当該位置ずれの測定値は、位相情報を利用しているため、評価基準の最大値の位置から求められる値よりも精度が高い。すなわち、本実施形態では、相関を基にした評価基準の値が最大になる点をそのまま位置ずれの測定値とするのではなく、その周辺における次元の数だけ、もしくはそれ以上の数の位相情報を利用することで、位置ずれの測定精度向上を図ることができる。
(位置ずれ測定の原理的な説明)
(1次元の場合)
本発明は2次元以上のパターン信号を対象としたものであるが、最初に導入として、1次元のパターン信号間の位置ずれを測定する場合の原理について簡単に説明する。ある信号A(x)と、当該信号A(x)を軸xの負方向へlだけずらした信号A(x−l)を考える(図2参照)。ただし、信号A(x)及びA(x−l)は、いずれも実数の信号とする。
これらの信号A(x)及びA(x−l)のそれぞれに位相情報を与えることを考える。位相情報は、ヒルベルト変換等を用いることで付加できるが、そのようにして付加した位相はやや複雑になるので、ここでは説明を簡単にするために、角周波数ωの複素正弦波
を乗じることで位相情報を付加する。
信号A(x)及び信号A(x−l)にそれぞれ位相情報を与えた複素信号f(x)及びg(x)は、次式(1)で表わすことができる。なお、jは虚数単位である。
式(1)に示す2つの信号f(x)及びg(x)の位相差は、ωlであり、ずれの大きさlに比例する(図3参照)。当該2つの信号f(x)と信号g(x)との相互相関関数φf,gは、次式(2)により求められる。なお、φは信号A(x)の自己相関関数を表わす。
相互相関関数φf,g及び自己相関関数φは、それぞれ以下の式(3)で表わすことができる。なお、説明を簡単にするため、ここでは平均値を引かずに算出する定義を用いる。式(3)中のアスタリスク(*)は、複素共役を表す。
相互相関関数φf,gの位相(偏角)及び絶対値のプロットをそれぞれ図4の上段及び下段に示す。φは実数値であり、
の絶対値は常に1になるので、φf,gの絶対値はφに等しく、位相は
の位相と一致する。図4の上段に例示するように、α=lでは位相が0になる(点A参照)。これは、信号g(x)を軸xの負方向へlだけずらすと、信号f(x)の位相と信号g(x)の位相とが一致し、位相差が0になることに対応している。このように、信号に位相情報を付加して複素値に変換した後、相互相関関数を算出し、その位相を調べれば、1次元パターン間の位置ずれを測定することができる。
なお、図4では、点A(α=l)だけでなく、点B及びCでも位相が0になっている。これは複素数の指数関数の性質により、
が区別できないことによる。
そのため、位相単独では位置ずれを一意に推定できないが、相互相関関数φf,gの絶対値(相関の大きさに関する情報)の最大値付近(図4下段の点A′参照)で位相が0になる点を求めることで一点に絞り込める。図4の下段に示す点B′及びC′は、点A′に比べると相互相関関数φf,gの絶対値が十分に小さいので、位置ずれ推定値の候補から外すことができる。なお、位相が0になる点を絞り込むのに、相互相関関数の絶対値の最大値を用いることは必須ではない。他の既存の位置ずれ推定に用いられている評価基準の値を当該絞り込みに用いることも可能である。
本例では説明が簡単になるような信号を用いているため、図4を見ると相互相関関数φf,gの絶対値の位置単独でも位置ずれを測定できるように見えるかもしれないが、実際にはそうではない。例えば、既述のようにパターン信号を帯域制限して高周波数成分を除去あるいは抑制した信号から相互相関関数φf,gを求めた場合、位置分解能が低下するため、当該相互相関関数φf,gの絶対値単独で位置ずれを精度良く測定するのは容易ではない。
一方、上述のごとく位相情報を用いると、元のパターン信号が帯域制限されていて滑らかな場合でも、位置ずれの測定精度を向上することが可能である。よって、パターン間の相互相関関数の絶対値や既存の評価基準に基づいて位置ずれの(探索)範囲をある程度絞り込んだ上で、位相情報を用いて真の位置ずれを測定することで、測定精度を向上できる。なお、本手法は、条件が良ければ、例えばパターン信号のサンプリング間隔よりも詳細な位置ずれや遅延を測定することも可能である。
(2次元の場合)
次に、画像信号等の2次元のパターン信号の場合を考える。1次元の場合と同様に、以下の式(4)で表わされる2つの単純化された信号f(x,y)及びg(x,y)を考える。なお、x及びyは、それぞれ画像等の2次元のパターンにおける水平方向及び垂直方向の座標を表わす。
式(4)に示す2つの信号f(x,y)及びg(x,y)の相互相関関数φf,gは、例えば次式(5)で表わすことができる。
ここで、2次元の信号の場合、1次元の信号の場合とは異なり、
の位相は、α+β=k+lが成り立つ線上のすべての点で0となる。別言すると、2次元のパターン信号にヒルベルト変換等を適用して位相情報を与えると、例えば図5及び図6に模式的に示すように、複素値に変換されたパターン上に位相=0の等位相線を1本定めることができる。つまり、位置ずれに対応する点が当該等位相線上に存在することは特定(推定)できる。
しかし、位置ずれに対応する点が当該等位相線上のどこに存在しているかまで特定する(1点に絞り込む)のは困難である。未知数の数が拘束条件の数より多いため、解が一意に定まらない状態にあるからである。逆にいえば、当該等位相線と非平行な(交差する)等位相線を前記複素値に変換されたパターン上にもう1本定めることができれば、位置ずれに対応する位置を等位相線の交点として一意に推定することができる(図7参照)。
そこで、前記の式(4)とは異なる方法で別の位相情報を信号f(x,y)及びg(x,y)に付加して、もう1つ相互相関関数を求める。例えば、以下の式(6)で表わされるようにして位相情報を信号f(x,y)及びg(x,y)に付加する。
この場合、式(6)に示す2つの信号r(x,y)及びs(x,y)の相互相関関数φr,sは、次式(7)で表わすことができる。
当該相互相関関数φr,sの位相が0になるのは、α−β=k−lが成り立つ線上になる。従って、図6に模式的に例示するように、α−β=k−lが成り立つ等位相線と、既述のα+β=k+lが成り立つ等位相線との交点を求めることで、位置ずれを一意に推定することができる。
このように、2次元(例えば画像)のパターン信号に位相情報を2通りの方法で付加し、パターン信号間の相互相関関数の等位相線(位相が0になる直線又は曲線)の交点を求めることで、パターン間の位置ずれを測定することが可能となる。ただし、2つの等位相線が一致したり平行であったりすると、等位相線の交点が生じないので、パターン信号に付加する位相情報は、等位相線の交点が生じるように工夫するとよい。具体的な例については後述する。
以上をまとめると、照合対象の2次元のパターン信号のそれぞれについて、位相情報を前記2通りの方法で付加して複素値に変換し、複素値に変換されたパターン信号間の相互相関の位相成分(位相パターン)において値(位相)が0に対応する2つの等位相線の交点を求めることで、2次元パターン(例えば画像)間の位置ずれを求めることができる。
なお、上記の例では2通りの方法でパターン信号を複素値に変換しているが、3通り以上の方法で当該変換を行なっても構わない。ただし、得られる等位相線の数が次元数よりも多いと、未知数の数よりも拘束条件の数の方が多くなるので、例えば図8に模式的に示すように、等位相線の交点が複数生じて一点に定まらない場合がある。そのような場合には、例えば、最小2乗法を用いたり、複数の交点の重心を求めたりすることで、位置ずれを一意に推定することが可能である。
(N次元の場合)
上述した手法は、N≧3のN次元のパターンに拡張可能である。例えば、与えられたN次元の2つのパターン信号のそれぞれについて、位相情報をm通り(ただし、mはm≧Nの整数)の方法で付加して複素値に変換する。そして、複素値に変換されたm組のパターン信号間の相互相関の位相成分(位相パターン)において値(位相)がそれぞれ0に対応するm組の超曲面又は超平面(以下、「等位相領域」と総称する。)の交点を求めることで、N次元パターン間のずれを求めることができる。
なお、m>Nの場合で、等位相領域の交点が複数生じて1箇所に定まらない場合には、例えば、最小2乗法を用いたり、複数の交点の重心を求めたりすることで、パターン間のずれを一意に推定することが可能である。
〔B〕具体例の説明
以下、上述した位置ずれ測定の具体例について、図9〜図21を用いて詳述する。
(システム構成例)
図9は、本発明の一実施形態に係る位置ずれ測定システムの一例を示すブロック図である。図9に示す測定システムは、例示的に、N次元のパターン信号を生成するパターン生成装置1と、パターン生成装置1で生成されたパターン信号を処理する信号処理装置2と、を備える。なお、例えば、N=2の場合の2次元パターンが画像パターンであり、この場合、パターン生成装置1は、例えば画像センサやCCDカメラ等の撮像装置に相当する。
信号処理装置2は、例示的に、同じ又は異なるパターン生成装置1から与えられた2つのパターン信号を照合して両パターンのパターンずれ(位置ずれ)を測定するパターン照合装置(位置ずれ測定装置)としての機能(以下、「位置ずれ測定機能」ともいう。)を有する。なお、照合対象の2つのパターン信号は、同じパターン生成装置1で生成されてもよいし異なるパターン生成装置1で生成されてもよい。
信号処理装置2は、例えば、CPU(Central Processing Unit)21と、ROM(Read Only Memory)22と、RAM(Random Access Memory)23と、ハードディスクドライブ(HD)24と、メモリ(FM)25と、インタフェース(I/F)26とを備える。
CPU21は、コンピュータ(演算処理部)の一例であり、CISC(Complex Instruction Set Computer、複合命令セットコンピュータ)方式やRISC(Reduced Instruction Set Computer、縮小命令セットコンピュータ)方式のCPU、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Processor、特定用途向けプロセッサー)等を用いて実現できる。
ROM22、RAM23、HD24およびメモリ25は、いずれも記憶部の一例であり、いずれかの記憶領域(例示的に、ROM22)に、所定のプログラムやパラメータ等の各種データを記憶することができる。前記プログラムには、本実施形態に係る位置ずれ測定をコンピュータに実行させる位置ずれ測定プログラムが含まれる。なお、記憶部は、内部又は外部記憶装置の別を問わない。記憶部には、他に、SSD(Solid State Drive)、フラッシュメモリ、SRAM(Static Random Access Memory)等を用いられてもよく、高速な書き込み及び読み出し速度が要求されないなら、より低速な磁気テープ装置、光ディスク装置等が用いられても構わない。
位置ずれ測定プログラムは、コンピュータ読取可能な記録媒体に記録された形態で提供することもできる。記録媒体の一例としては、フラッシュメモリ、フレキシブルディスク、CD−ROM、CD−R、CD−R、CD−RW、DVD、ブルーレイディスク、磁気ディスク、光ディスク、光磁気ディスク、ICカード、ROMカートリッジ、SSD等の、コンピュータ読取可能な種々の媒体が挙げられる。コンピュータは、当該記録媒体から位置ずれ測定プログラムを読み取ってハードディスク24やRAM23に適宜に転送し格納して用いる。
また、位置ずれ測定プログラムは、例えばRAM23、HD24等の内部又は外部記憶装置、あるいは記録媒体に記録しておき、その記憶装置又は記憶媒体からインターネット等の通信回線を介してコンピュータに提供することもできる。
ここで、コンピュータとは、例えば、ハードウェアとオペレーティングシステム(OS)とを含む概念であり、OSの制御の下で動作するハードウェアを意味することがある。また、OSが不要でプログラム単独でハードウェアを動作可能な場合には、そのハードウェアがコンピュータに相当するとみることができる。ハードウェアは、CPU等の演算装置と、記録媒体に記録されたプログラムを読み取り可能な読み取り装置とを含むことができる。
位置ずれ測定プログラムは、上述のようなコンピュータに、既述の位置ずれ測定機能を実現させるプログラムコードを含んでいる。また、その機能の一部はプログラムではなくOSによって実現されてもよい。
ROM22は、不揮発性記憶媒体の一例である。CPU21は、ROM22に保持されたプログラムやデータを読み出して、CPU21のマイクロコードの設定を行なったり、各部の初期化を行なったり、HD24からOS等を起動し、位置ずれ測定プログラムが実行されるような指示を行なったりする。
メモリ25は、例えばパターン生成装置1で生成されたパターン信号を一時的に記憶する。CPU21は、メモリ25に記憶されたパターン信号を例えばHD24に記憶する。記憶されたパターン信号は、位置ずれ測定処理時に参照されるテンプレート(登録パターン信号)として用いることができる。また、CPU21は、メモリ25に記憶された照合対象のパターン信号(以下、「照合パターン信号」ともいう。)と、例えばHD24にテンプレートとして記憶された登録パターン信号と、を前記位置ずれ測定プログラムに従って照合する。
I/F26は、例えば、表示装置や印刷装置等の周辺機器(ペリフェラル)を接続可能な外部接続I/Fや、LAN(ローカル・エリア・ネットワーク)、WAN(ワイド・エリア・ネットワーク)等のネットワークへの接続を可能にする通信I/Fである。外部接続I/Fは、例示的に、USB、IEEE1394、シリアル、パラレル、赤外線、無線等のインタフェースを提供する。通信I/Fとしては、例示的に、WiMAX(登録商標)、c.Link(登録商標)、HDMI(登録商標)、有線/無線LAN、電話線、携帯電話網、PHS網、電灯線ネットワーク、IEEE1394等の接続方式に準拠したものを適用できる。
信号処理装置2は、外部接続I/Fを通じて表示装置や印刷装置に例えば位置ずれ測定結果を出力したり、通信I/Fを介して、他の信号処理装置2やサーバと通信したりすることができる。したがって、信号処理装置2は、通信可能に接続されている他の信号処理装置2へプログラムや各種データの一部を提供することもできる。
(第1の態様)
図10に、上述した位置ずれ測定プログラムをCPU21が読み取って実行することにより実現される信号処理装置2の機能的な構成(第1の態様)を例示する。
図10に示す信号処理装置2は、例示的に、位置ずれ概略値推定部3と、照合対象の2つのパターン信号のそれぞれを複素値に変換するm組(m≧Nを満たす整数で、例示的にm=2)の複素フィルタ部4A−i及び4B−i(#i)(i=1,2,…,m)と、を備える。また、信号処理装置2は、m個の相関演算部5−i(#i)と、m個の位相成分抽出部6−i(#i)と、m個の等位相情報算出部7−i(#i)と、交点算出部8と、を備える。なお、図11に、N=2及びm=2の場合の信号処理装置2の構成例を示す。
位置ずれ概略値推定部(以下、単に「位置ずれ推定部」ともいう)3は、照合される2つのパターン(例えば、登録パターンと照合パターン)を比較して、互いにどれだけずれているか、大まかな位置ずれを推定する。大まかな位置ずれが推定可能であれば、どのような手法を適用してもよい。例えば、既知の位置ずれ測定手法を位置ずれ推定部3に適用することも可能である。
なお、位置ずれ推定部3への入力は、後述するように固定パターンノイズ等のノイズ成分を除去あるいは抑制するフィルタリング処理が適用されたパターン信号でもよいし当該フィルタリング処理が適用されていないパターン信号でもよい。また、位相限定相関法における振幅抑制処理が施されたパターン信号を位置ずれ推定部3の入力としてもよい。
大まかな位置ずれを推定する方法の非限定的な一例として、パターン信号間の相互相関の振幅情報を基に位置ずれを推定する方法について以下に説明する。なお、当該方法は、例えば図12に示すように、位置ずれ推定部3の一例として、振幅相関演算部31、最大値探索部32、探索中心決定部33を備えることで実現可能である。
振幅相関演算部31は、例えば以下の式(8)で表わされる、f(p,q)及びg(p,q)の正規化されていない相互相関関数φf,gを演算する。
ただし、f(p,q)及びg(p,q)は、2次元の登録パターン信号及び照合パターン信号をそれぞれ表す。また、p及びqはそれぞれ離散化された座標値を表わし、それぞれ平面における水平軸(x)及び垂直軸(y)に対応する。よって、信号g(κ+α,λ+β)は、信号g(κ,λ)を水平方向に−α、垂直方向に−βだけずらしたものであり、式(8)はそのずらした信号と信号f(κ,λ)との相関の大きさを求めている。言い換えれば、信号f(κ,λ)を水平方向にα、垂直方向にβずらした上で、g(κ,λ)との相関の大きさを求めている。また、
は、f(p,q),g(p,q)の平均値をそれぞれ表す。
次に、最大値探索部(最大値演算部)32は、振幅相関演算部31において式(8)により得られた相互相関関数φf,gの最大値の位置(座標)を求める。ここで求めた最大値の位置は、2つのパターンの真の位置ずれに対応した位置に近いと判断できるので、探索中心決定部33は、当該最大値の位置を位置ずれの概略推定値として決定する。当該概略推定値は、交点算出部8において等位相線の交点の探索範囲の中心位置を定めるのに用いられる。
なお、照合される2つのパターン信号の一方又は双方には、ノイズが含まれている場合がある。例えば、既述の固定パターンノイズが両パターン信号に共通に含まれていると、大まかな位置ずれすら推定できなくなる可能性がある。このような事態は、例えば図12に破線で示すように、位置ずれ推定部3に、照合される2つのパターン信号をそれぞれフィルタリングするフィルタ部30を備えることで回避可能である。
すなわち、パターン信号間の相互相関を求める前に各パターン信号を当該フィルタ部30にてフィルタリングすることで、各パターン信号に含まれるノイズ成分を予め除去あるいは抑制しておく。なお、ここでの「フィルタリング」の概念には、各パターン信号間の相関演算時に周波数による重み付けをする(例えば、ノイズ成分の比率が高い高周波数の重みを相対的に低くする)処理が含まれることとしてよい。
フィルタリングによってパターン信号からノイズ成分(例示的に、高周波数成分)を除去あるいは抑制すると、既述のようにパターンの周波数成分まで除去あるいは抑制されてしまって前記概略推定値の精度が劣化しうる。しかし、本実施形態では、後述するように、位相情報を用いて精度の高い位置ずれ推定が可能なので、当該劣化は許容できる。
フィルタ部30によるフィルタリングは、例示的に、フィルタ部30のフィルタ係数と、登録パターン信号及び照合パターン信号のそれぞれと、の畳み込み演算によって実現できる。例えば、フィルタ部30のフィルタ係数をhR(p,q)で表すと、当該畳み込み演算は、次式(9)で表わすことができる。
(p,q)及びg(p,q)は、それぞれf(p,q)及びg(p,q)に振幅用のフィルタリングを適用した後のパターン信号を表す。フィルタ係数hR(p,q)は、実数及び複素数のいずれであってもよく、f(p,q)及びg(p,q)(以下、単にそれぞれ「f」及び「g」と略記することがある。)からそれぞれノイズを除去あるいは抑制可能なものであれば足りる。なお、フィルタ部30は、登録パターン信号と照合パターン信号とで異なるフィルタを用いてもよいが、同じフィルタにする方が好ましい。
フィルタ部30によるフィルタリングの後、f(p,q)とg(p,q)との相互相関関数を振幅相関演算部31にて演算する。当該演算は、式(8)で表わされるf(p,q)及びg(p,q)を、それぞれ式(9)で表わされるf(p,q)及びg(p,q)に置き換えればよい。なお、フィルタ(係数)h(p,q)が複素数の場合、相互相関関数も複素関数である。この場合、最大値探索部32は、相互相関関数φf,gの絶対値又は実部の最大値を求め、その位置を位置ずれの概略推定値とすることができる。
なお、概略推定値を得る手法は、以上のような2つのパターン信号の相互相関関数の振幅情報を基にした手法に限られない。例えば次式(10)に示すように、2つのパターン信号をずらした時の値の差の絶対値を積算したものを評価関数とし、当該評価関数の最小値に対応する位置を概略推定値として求める手法もある。
次に、複素フィルタ部4A−i及び4B−i、相関演算部5−i、位相成分抽出部6−i、及び等位相情報算出部7−i、並びに、交点算出部8について説明する。これらの部分は、パターン信号間の相互相関の位相情報に基づいて、より正確な位置ずれを推定する処理を担う。なお、以降において、複素フィルタ部4A−i及び4B−iを区別しない場合、単に「複素フィルタ部4−i」と表記する。
複素フィルタ部4−iは、入力パターン信号に位相情報を付加する。位相情報の付加は、複素値のフィルタ(係数)と、登録パターン信号及び照合パターン信号と、の畳み込み演算によって実現できる。複素フィルタ部4−iに適用するフィルタをh(p,q)で表すと、この演算は次式(11)で表わすことができる。ただし、f(p,q),g(p,q)はフィルタリング後のパターン信号を表す。
各複素フィルタ部4−iは、等位相情報算出部7−iで求められる等位相線が互いに平行にならないような(別言すると、等位相線の交点が生じるような)位相情報を付加する。そのような関係にある複素フィルタ部4−iのフィルタ演算は、N=2(2次元)の場合であれば、例示的に、次式(12)で表わされるフィルタの組を用いることで実現できる。より具体的には、式(11)の演算を行なう際、i=1の場合にh(p,q)を適用し、i=2の場合にh(p,q)を適用することで、実現できる。
ここで、h(p,q)とh(p,q)とで平行にならないような位相情報を付加できる理由について簡単に述べる。h(p,q)のexp(jωp)とは水平方向に位相が進行する複素正弦波である。一方、h(p,q)のexp(jωq)は、同じ複素正弦波でも垂直方向に位相が進行する。これら2つは位相の進行方向が直交するため、フィルタをかけた後のパターンの位相の進行方向も異なるものになる。このようにして、互いに平行でないような位相情報を付加することができる。
ところで、式(12)は、h(p,q)とh(p,q)とで位相の進行方向が互いに直交する組み合わせを示すが、この場合、最終的に得られる等位相線(一般化したN次元の場合は超曲面又は超平面である等位相面)が互いに直交に近い形で交わり、その交点を精度良く求めやすい。したがって、各複素フィルタ部4−iのフィルタ係数は、位相の進行方向が互いに直交するように選ぶのが好ましい。
なお、ωは複素正弦波の周波数である。h(p,q)は水平方向の周波数がωで垂直方向の周波数が0である成分のみを通過させるフィルタ、h(p,q)は水平方向の周波数が0で垂直方向の周波数がωである成分のみを通過させるフィルタとしてそれぞれ機能する。よって、ωには、照合パターン信号や登録パターン信号がノイズ成分よりもパワーで十分に上回るような周波数を選ぶのが好ましい。照合パターン信号や登録パターン信号が全くパワーをもたないような周波数をωに選ぶと、位相情報に基づく位置ずれ測定が困難になるからである。
また、上記のフィルタh(p,q)及びh(p,q)はあくまでも一例であり、これ以外のフィルタでも同様な特性を有していれば適用可能である。例えば、次式(13)で表わされるようなフィルタを適用しても構わない。
一方で、以下の式(14)で表わされるフィルタの組を選ぶと、位相の進行方向がちょうど正反対の向きになるため、付加される位相情報が平行になる。したがって、次式(14)で表わされるフィルタの組みは候補から除外してよい。
また、次式(15)で表わされるようなフィルタの組も候補から除外してよい。
式(15)で表わされる2つのフィルタは、ω≠ωとして、通過周波数が互いに異なる限り、得られる等位相線を異ならせることができるが、位相の進行方向が同一なので、等位相線の交点が得られないからである。
なお、登録パターン信号及び照合パターン信号に対応する複素フィルタ部4A−i及び4B−iの組に適用するフィルタ(係数)は、それぞれ異なっていてもよいが同じにした方が実施は容易である。また、フィルタ特性(パターン信号に付加する位相情報に関する特性)以外の複素フィルタ部4−iの特性、例えば周波数に対するゲイン特性等は、他の複素フィルタ部4−iと揃える方が好ましい。
さらに、複素フィルタ部4−iには、ローパスフィルタやバンドパスフィルタの機能を併せてもたせることも可能である。これは、例えば、パターン信号のノイズ成分が除去あるいは抑制されておらず、ノイズ成分の除去あるいは抑制を実施する場合に便利である。
次に、相関演算部5−iは、複素フィルタ部4−iで複素値に変換され、位相情報を付加された複素パターン信号間の相互相関関数を演算する。ここでの相関演算は、正規化された相互相関関数を求めるものであっても、正規化されていない相互相関関数を求めるものであってもよい。例えば、2次元の正規化しない相互相関関数は、次式(16)で表わすことができる。
相関演算対象が複素値化されたパターン信号であるから、m個の相関演算部5−iによって、複素値をもつ相関パターン信号(以下、「複素相関パターン」ともいう)がm個得られる。
別言すると、上述した複素フィルタ部4−i及び相関演算部5−iは、照合される2つのパターン信号のそれぞれに位相情報を付加し、当該位相情報を付加されたパターン信号間の相関を求める演算に相当する信号処理を実施する相関演算手段の一例を成す。
位相成分抽出部6−iは、複素相関パターンから位相成分を抽出し、位相パターンを生成する。当該位相パターンは、例えば複素数の位相(偏角)を算出することで得られる。
等位相情報算出部7−iは、各位相パターンにおいて位相値が0となるような等位相線(3次元以上の場合は超曲面又は超平面である等位相面であり、以降においても同様とする。)を求める。等位相線は、探索中心の周辺で求めれば足りる。探索中心は、位置ずれ概略値推定部3で得られる概略推定値に設定できる。
交点算出部8は、探索中心に最も近い等位相線の交点を求める。求めた交点が位置ずれの測定値となる。m=Nの場合は単純に交点を求めればよい。m>Nの場合は、求められる等位相線の数がパターンの次元数よりも多いので交点が複数生じる可能性がある。その場合は、得られた複数の交点の重心をもって測定値とする等、何らかのルールで交点を決定すればよい。
別言すると、上述した位相成分抽出部6−i、等位相情報算出部7−i及び交点算出部8は、相関演算手段の一例を成す複素フィルタ部4−i及び相関演算部5−iで求められた相関の位相情報に基づき、パターン間の位相差に応じた位置ずれを求める位置ずれ算出手段の一例を成す。
なお、上述した説明において、具体的な数式についてはN=2(2次元)の場合に限って例示したが、以上説明した処理は3次元以上の一般的なケースに拡張しても実施可能である。3次元以上の場合の応用例としては、立体パターン間の位置ずれの測定、複数の手段で得られた高次元パターン間の位置合わせ等が挙げられる。
(第2の態様)
上述した登録パターン信号と照合パターン信号との相互相関関数(複素相関パターン)を得るまでの処理は、周波数領域で実施してもよい。周波数領域では、フィルタリングや相関演算といった処理を単純な乗算と複素共役演算とによって実現できるので、例えば演算処理の効率化を図ることができる。この場合の信号処理装置2の機能的な構成例を図13に第2の態様として示す。
図13に示す信号処理装置2は、例示的に、位置ずれ概略値推定部3と、m個の位相成分抽出部6−iと、m個の等位相情報算出部7−iと、フーリエ変換部11A及び11Bと、合成演算部12と、m個の位相情報付加フィルタ部13−iと、m個の位相用の逆フーリエ変換部14−iと、を備える。また、位置ずれ概略値推定部3は、振幅用のフィルタ部34と、振幅用の逆フーリエ変換部35と、最大値探索部32と、探索中心決定部33と、を備える。
フーリエ変換部11A及び11Bは、照合される2つのパターン信号(登録パターン信号及び照合パターン信号)をそれぞれフーリエ変換して周波数領域の信号(フーリエ変換パターン信号)を生成する。なお、「フーリエ変換」は、離散フーリエ変換(DFT)でも高速フーリエ変換(FFT)でもよい。また、既にフーリエ変換された各パターン信号が信号処理装置2に入力される場合、フーリエ変換部11A及び11Bの一方又は双方は削除して構わない。
合成演算部12は、登録パターン信号のフーリエ変換パターン信号の複素共役、及び照合パターン信号のフーリエ変換パターン信号を掛け合わせる。例えば、水平方向と垂直方向の角周波数をそれぞれω及びωで表現し、2次元の各パターン信号をフーリエ変換した2次元フーリエ変換パターン信号をそれぞれF(ω,ω)及びG(ω,ω)と表現し、F(ω,ω)の複素共役をF*(ω,ω)と表現すると、合成演算結果は、F*(ω,ω)G(ω,ω)である。当該合成演算は、両信号の相互相関を求める演算に相当する。合成演算部12による演算結果は、位置ずれ概略値推定部3と各位相情報付加フィルタ部13−iとにそれぞれ与えられる。
位置ずれ概略値推定部3において、振幅用のフィルタ部34は、第1の態様におけるフィルタ部30と同等の役割を果たし、大まかな位置ずれを推定する際にノイズの影響を除去あるいは低減するのに用いられる。したがって、各パターン信号についてノイズの除去あるいは抑制が既に行なわれていれば、当該フィルタ部34は削除して構わない。なお、フィルタ部34に適用するフィルタリング(関数)の種類は少なくとも1種類でよい。フィルタリングをH(ω,ω)で表現すると、フィルタ部34によるフィルタリング結果は、F*(ω,ω)G(ω,ω)H(ω,ω)と表現できる。
振幅用の逆フーリエ変換部35は、フィルタリング後のフーリエ変換パターン信号に対し、逆フーリエ変換(IDFT又はIFFT)を適用する。当該逆フーリエ変換により、パターン信号間の相互相関の大きさに関する情報(振幅パターン)を得ることができる。
なお、図13において、合成演算部12による演算として実現される相関演算とフィルタ部34によるフィルタリングとの処理順序が、第1の態様(例えば図12参照)で示した順序とは逆になっているが、得られる効果に違いは無い。周波数領域では相関演算とフィルタリングの双方を乗算と複素共役演算とによって実現可能なため、計算の順序を交換することが容易となる。ただし、第2の態様においても、第1の態様と同様、フィルタリング後に相関演算を実施することは可能である。このような計算順序の可換性は、合成演算部12による演算と後述する位相情報付加フィルタ部13−iによるフィルタリングとの処理順序についても同様に当てはまる。
最大値探索部32は、第1の態様と同様に、上述のごとく合成演算部12及びフィルタ部34を通じて得られた相互相関関数(例えば式(8)参照)の最大値を求め、当該最大値に対応する位置(座標)を求める。
探索中心決定部33は、当該最大値の位置を位置ずれの概略推定値とする。当該概略推定値は、第2の態様においても、交点算出部8において等位相線の交点の探索範囲の中心位置を定めるのに用いられる。
なお、第2の態様では、周波数領域での相関演算(合成演算部12による演算)の結果に基づいて位置ずれの概略推定値を得ることで、周波数領域での相関演算の有効利用を図ることができる。このようにした方が演算処理の高速化を図ることができるため好ましいといえるが、これに限定されない。第1の態様で示した方法で位置ずれの概略推定値を求めても構わない。
次に、位相情報付加フィルタ部13−i、位相用の逆フーリエ変換部14−i、位相成分抽出部6−i、等位相情報算出部7−i、及び交点算出部8について説明する。これらの部分は、合成演算部12による演算結果として得られる相互相関関数の位相情報に基づいて、より正確な位置ずれを推定する処理を担う。
まず、位相情報付加フィルタ部13−iは、等位相情報算出部7−iで求められる等位相線(3次元以上の場合は超曲面又は超平面である等位相面)が互いに非平行となるような位相情報を合成演算部12の演算結果に付加する。
例えば、N=2(2次元)の場合であれば、以下の式(17)で表わされる2つのフィルタ(関数)H(ω,ω)及びH(ω,ω)を合成演算部12の演算結果〔F(ω,ω)G(ω,ω)〕に適用できる。
すなわち、フィルタH(ω,ω)は、図14(A)に例示するように、水平及び垂直方向の軸がそれぞれω及びωで規定される座標平面における第1象限に相当する周波数成分を通過させるとともに、第2〜第4象限に相当する周波数成分をそれぞれ遮断する特性を有する。これに対し、フィルタH(ω,ω)は、図14(B)に例示するように、同座標平面における第4象限に相当する周波数成分を通過させるとともに、第1〜第3象限に相当する周波数成分をそれぞれ遮断する特性を有する。
フィルタH(ω,ω)を合成演算部12の演算結果に適用して得られる信号は、F(ω,ω)G(ω,ω)H(ω,ω)となる。当該フィルタリングは、周波数領域での演算であることを除けば、第1の態様で例示した複素フィルタ部4−iによるフィルタリングと同様である。また、位相情報付加フィルタ部13−iに、ローパスフィルタやバンドパスフィルタを併せて適用できる点も第1の態様と同様である。
式(17)で表わされるフィルタH(ω,ω)及びH(ω,ω)(以下、それぞれ単に「H」及び「H」と略記する。)によって位相情報を相互相関関数(相関パターン)に付加できる理由を以下に説明する。周波数には正の周波数と負の周波数とがあり、これは角周波数についても同じである。当該正負の意味を次式(18)の正弦波関数で説明する。
周波数が正、すなわちω>0の場合は、S(x)の位相はxが大きくなるにつれて進む。これに対し、ω<0の場合は、S(x)の位相はxが大きくなるにつれて遅れる(戻る)。例えば図7(A)及び図7(B)において、周波数が正の場合は横軸の左から右に、負の場合には右から左に位相が進行する。垂直方向(Y軸)についても同様であり、周波数が正ならば図7(A)及び図7(B)の下から上に、負ならば上から下へ位相が進行する。
ところで、照合対象の元のパターン信号は、通常、正負両方の周波数成分を含んでいる。しかし、パターン信号に式(17)で表わされるフィルタH及びHを適用すると、フィルタ適用後の信号にはそれぞれ正負一方の周波数成分だけが含まれることになる。
例えば、フィルタHを適用すると、水平方向及び垂直方向共に正の周波数成分のみが残る。よって、両方を合わせると、例えば図15(A)に破線矢印で示すように、紙面左下から右上に向かって斜めに位相が進行する。これに対し、フィルタHを適用すると、水平方向は正の周波数成分のみ、垂直方向は負の周波数成分のみがそれぞれ残る。よって、両方を合わせると、図15(B)に破線矢印で示すように、紙面左上から右下に向かって斜めに位相が進行する。このように、フィルタH及びHを用いることで、互いに直交するような位相進行方向をもった位相情報を合成演算部12の演算結果に付加できる。
次に、図13に例示する位相用の逆フーリエ変換部14−iは、それぞれ上述のごとく位相情報付加フィルタ部13−iにて位相情報を付加された信号に、逆フーリエ変換(IDFT又はIFFT)を適用する。これにより、第1の態様でいうところの「複素相関パターン」をm組得ることができる。
別言すると、上述したフーリエ変換部11A及び11B、合成演算部12、位相情報付加フィルタ部13−i、並びに逆フーリエ変換部14−iは、照合される2つのパターンに対応するパターン信号のそれぞれに位相情報を付加し、当該位相情報を付加されたパターン信号間の相関を求める演算に相当する信号処理を実施する相関演算手段の一例を成す。
位相成分抽出部6−i、等位相情報算出部7−i、及び交点算出部8による残りの処理は、第1の態様と同一若しくは同様であり、逆フーリエ変換部14−iでそれぞれ得られた複素相関パターンから、位相成分を抽出して位相=0となる等位相線(3次元以上の場合は超曲面又は超平面である等位相面)を求め、求めた等位相線の交点を位置ずれの測定値とする。また、探索中心の設定やm>Nの場合の測定値の決定についても、第1の態様と同様でよい。
(第3の態様)
上述した第1及び第2の態様では、大まかな位置ずれを推定する相互相関関数(振幅情報)と、より正確に位置ずれを推定すべく位相情報を付加した相互相関関数とを、個別に求めているが、双方の相互相関関数を求めるフィルタリングと相互相関演算とを共通化してもよい。この場合、個別に相互相関関数を求めなくてもよいため、演算効率を改善すること可能である。
この場合の信号処理装置2の機能的な構成例を図16に第3の態様として示す。図16に示す信号処理装置2は、例示的に、位置ずれ概略値推定部3aと、複素フィルタ部4A−i及び4B−i(#i)と、相関演算部5−iと、振幅・位相分離部6a−iと、等位相情報算出部7−iと、交点算出部8と、を備える。
複素フィルタ部4−iは、登録パターン信号及び照合パターン信号のそれぞれを複素値に変換することで当該パターン信号に位相情報を付加する。当該位相情報の付加は、複素値のフィルタ係数と、登録パターン信号及び照合パターン信号と、の畳み込み演算によって実現できる。すなわち、N=2の場合であれば、複素フィルタ部4−iは、第1の態様で例示した式(11)による演算を実施する。
複素フィルタ部4−iに適用するフィルタ(演算)の少なくとも1つは、位置ずれ概略値推定部3aが適切に機能するように設計するのが好ましい。非限定的な一例として、以下の式(19)で表わされるようなフィルタ(係数)を複素フィルタ部4−iに適用する。
なお、Wは、窓関数と呼ばれる原点対称の関数で、原点で最大値をもち、原点から離れるにつれて値が小さくなるような関数である。そのような関数の一例としては、次式(20)で表わされるような三角窓関数が挙げられる。
ここで、wは窓関数Wの幅を表わす。窓関数Wの幅wは、例示的に、窓関数Wに複素正弦波が2〜20周期分含まれるように選択するとよい。窓関数Wの幅wが大き過ぎると、位置ずれ概略値推定部3aが適切に機能しなくなるおそれがある。逆に、窓関数Wの幅wが小さ過ぎると、複素フィルタ部4−iが第1の態様で説明した機能を果たさなくなるおそれがある。例えば、複素正弦波の1周期分も窓関数Wに含まれないようだと、位相情報をパターン信号にうまく付加できなくなる。
なお、式(19)で表わされるフィルタh(p,q)及びh(p,q)によって平行でないような位相情報をパターン信号に付加できる理由は、第1の態様で説明した理由とほぼ同様である。窓関数Wが付加されても、その機能に大きな違いは無い。
また、h(ω,ω)は(ω,ω)=(ω,0)周辺の周波数成分を通過させ、h(ω,ω)は(ω,ω)=(0,ω)周辺の周波数成分を通過させるバンドパスフィルタとしてそれぞれ機能する。よって、ωには、照合パターン信号や登録パターン信号がパターンノイズよりもパワーで十分に上回るような周波数を選ぶのが好ましい。
ただし、上記のフィルタh(p,q)及びh(p,q)はあくまでも一例であり、これ以外のフィルタでも同様な特性を有していれば適用可能である。なお、第3の態様においても、登録パターン信号及び照合パターン信号に対応する複素フィルタ部4A−i及び4B−iの組に適用するフィルタ(係数)は、それぞれ異なっていてもよいが同じにした方が実施は容易である。
また、フィルタ特性(パターン信号に付加する位相情報に関する特性)以外の複素フィルタ部4−iの特性、例えば周波数に対するゲイン特性等は、他の複素フィルタ部4−iと揃える方が好ましい。さらに、複素フィルタ部4−iには、ローパスフィルタやバンドパスフィルタの機能を併せてもたせることも可能である。これは、例えば、パターン信号のノイズ成分が除去あるいは抑制されておらず、ノイズ成分の除去あるいは抑制を実施する場合に便利である。
次に、相関演算部5−iは、複素値に変換され、位相情報が付加されたパターン信号間の相互相関を演算する。ここでの相関演算は、正規化された相互相関関数を求めるものであっても、正規化されていない相互相関関数を求めるものであってもよい。例えば、N=2(2次元)の場合であれば、正規化しない相互相関関数は前記の式(16)によって求めることができる。当該相関演算によって得られるのは、複素相関パターンであり、m個の相関演算部5−iによって計m個得られる。
振幅・位相分離部6a−iは、相関演算部5−iによって得られた複素相関パターンを振幅情報(振幅パターン)と位相情報(位相パターン)とに分離する。振幅パターンは、複素相関パターンの絶対値又は実部をとることで得られる。位相パターンは、複素相関パターンの位相(偏角)を求めることで得られる。振幅パターンは、位置ずれ概略値推定部3の最大値探索部32に与えられ、位相パターンは、後段の等位相情報算出部7−iに与えられる。
位置ずれ概略値推定部3において、最大値探索部32は、振幅・位相分離部6a−iから与えられた振幅パターンが最大値をもつ位置(座標)を求める。その際、1つの振幅パターンだけを採用してもよいし、利用可能な全ての振幅パターンについて最大値探索を行なってもよい。
探索中心決定部33は、最大値探索部32で得られた振幅パターンの最大値の位置を基に、位相パターンによる位置ずれ測定を行なう範囲(探索範囲)の中心を決定する。1つの振幅パターンを単独で採用した場合は、その最大値の位置がそのまま探索中心となる。複数の振幅パターンを採用した場合は、例えば、相関関数の和が最大となる位置を採用する、あるいは、各振幅パターンの最大値の位置の重心を求めるといった方法で、探索中心を決定できる。
等位相情報算出部7−i及び交点算出部8による残りの処理は、第1の態様と同一若しくは同様であり、振幅・位相分離部6a−iで得られた位相パターンにおいて位相=0となる等位相線(3次元以上の場合は超曲面又は超平面である等位相面)を求め、求めた等位相線の交点を位置ずれの測定値とする。また、探索中心の設定やm>Nの場合の測定値の決定についても、第1の態様と同様でよい。
(第4の態様)
第3の態様で上述した登録パターン信号と照合パターン信号との相互相関関数(複素相関パターン)を得るまでの処理は、第2の態様で説明したごとく、周波数領域で実施することも可能である。第2の態様で説明したように、周波数領域では、フィルタリングや相関演算といった処理を単純な乗算と複素共役演算とによって実現できるので、演算処理の効率化を図ることができる。
この場合の信号処理装置2の機能的な構成例を図17に第4の態様として示す。図17に例示する信号処理装置2は、図16に例示した構成における複素フィルタ部4A−i及び4B−iと相関演算部5−iとから成る部分を、第2の態様(図13参照)と同様に、フーリエ変換部11A及び11Bと、合成演算部12と、フィルタ部15−iと、逆フーリエ変換部14−iとを備えたブロックに置き換えたものに相当する。
フーリエ変換部11A及び11Bは、照合される2つのパターン信号(登録パターン信号及び照合パターン信号)をそれぞれフーリエ変換(DFT又はFFT)して周波数領域の信号(フーリエ変換パターン信号)を生成する。なお、既にフーリエ変換された各パターン信号が信号処理装置2に入力される場合、フーリエ変換部11A及び11Bの一方又は双方は削除して構わない。
合成演算部12は、登録パターン信号のフーリエ変換パターン信号の複素共役、及び照合パターン信号のフーリエ変換パターン信号を掛け合わせる。これにより、両信号の相互相関が求められる。合成演算部12による演算結果は、位相情報付加フィルタ部13−iにそれぞれ与えられる。
フィルタ部15−iは、等位相情報算出部7−iで求められる等位相線(3次元以上の場合は超曲面又は超平面である等位相面)が互いに非平行となるような位相情報を合成演算部12の演算結果に付加する。
ここで、フィルタ部15−iの少なくとも1つは、第2の態様で例示した振幅用のフィルタ部34及び位相情報付加フィルタ部13−iの双方の機能を併せもつ。例えば、N=2(2次元)の場合、式(17)に例示したフィルタH及びHがそのような機能(特性)を有するので、当該フィルタH及びHの少なくとも一方をいずれかのフィルタ部15−iに適用すればよい。
逆フーリエ変換部14−iは、上述のごとく位相情報付加フィルタ部13−iにて位相情報を付加された信号に、逆フーリエ変換(IDFT又はIFFT)を適用する。これにより、既述の「複素相関パターン」を得ることができる。
位置ずれ概略値推定部3a、振幅・位相分離部6a−i、等位相情報算出部7−i、及び交点算出部8による残りの処理は、第3の態様と同一若しくは同様でよい。
なお、上述した第4の態様では、全ての複素相関パターンを周波数領域での演算で求めているが、その一部を第3の態様(図16参照)で示した方法で求めることも可能である。ただし、演算効率の改善を重視するなら、第4の態様の方が好ましい。
(第5の態様)
照合される2つのパターン信号(登録パターン信号及び照合パターン信号)のそれぞれに対する位相情報の付加は、連続ウェーブレット変換を用いて実施してもよい。この場合の信号処理装置2の機能的な構成例を図18に第5の態様として示す。
図18に示す信号処理装置2は、図16に例示した構成における複素フィルタ部4A−1〜4A−m及び4B−1〜4B−mを、それぞれ連続ウェーブレット変換部16A−1〜16A−m及び16B−1〜16B−mに置き換えたものに相当する。なお、以下の説明において、連続ウェーブレット変換部16A−i及び16B−iを区別しない場合には、連続ウェーブレット変換部16−iと略記する。
連続ウェーブレット変換部16A−i及び16B−iは、それぞれ登録パターン信号及び照合パターン信号を連続ウェーブレット変換する。連続ウェーブレット変換に用いるウェーブレットは、パターン信号に位相情報を付加するため、例示的に、複素関数のウェーブレットである。
例えば、2次元のパターン信号に位相情報を付加するには、次式(21)に示す2つのガボールウェーブレットを適用することができる。
ここで、x及びyは、それぞれ水平方向及び垂直方向の座標、ωはウェーブレットの中心周波数、γはウェーブレットの広がりを決めるパラメータをそれぞれ表わす。ウェーブレットの中心周波数ωは、任意に選択可能だが、1か2πにすると後の処理を簡素化できる。γは、ウェーブレット変換した結果の空間分解能と周波数分解能とに影響し、小さくすると空間分解能重視、大きくすると周波数分解能重視となる。一般にはπから4πの間の値が適切である。
なお、Ψ(x,y)の位相の進行方向は図15(A)に例示する方向となり、Ψ(x,y)の位相の進行方向は図15(B)に例示する方向となる。つまり、これら2つのウェーブレットの組により、位相の進行方向が平行でないような位相情報を付加することが可能である。
入力されたパターン信号f(x,y)の連続ウェーブレット変換は、例示的に、次式(22)で表わすことができる。なお、離散化されたパターン信号が入力される場合は、数値積分を用いればよい。
ここで、aは水平方向のスケールパラメータ、aは垂直方向のスケールパラメータ、bは水平方向のシフトパラメータ、bは垂直方向のシフトパラメータをそれぞれ表わす。スケールパラメータは、スケール、または周波数の逆数に対応するパラメータである。シフトパラメータは、位置に対応するパラメータである。i=1,…,mで、連続ウェーブレット変換部16−iの番号(#i)を表わす。
なお、ウェーブレット変換は、バンドパスフィルタとして機能するので、スケールパラメータを適切に選択することで、ノイズ抑制も併せて実施できる。スケールパラメータは、小さくすると周波数が高く、大きくすると周波数が低くなる。あまり小さく設定すると、ノイズの影響で位置ずれを正しく測定できないので、ノイズの影響を受けないような値にすることが望ましい。
相関演算部5−iは、例えば正規化されていない相互相関関数であれば、次式(23)により算出できる。
位置ずれ概略値推定部3a、振幅・位相分離部6a−i、等位相情報算出部7−i、及び交点算出部8による残りの処理は、第3の態様と同一若しくは同様でよい。
なお、ウェーブレット変換と相関演算とは、一定の条件下で順序の交換が可能である(田原鉄也、新誠一共著、「相関のウェーブレット変換とウェーブレット変換の相関」、電気学会産業計測制御研究会資料(IIC-03-76)、pp. 13-18 (2003))。したがって、相互相関関数を求めてからウェーブレット変換を実施することでも、上記と同等の機能を実現できる。
また、連続ウェーブレット変換部16−iの一部は、第3の態様(図16)で例示した複素フィルタ部4−iに置き換えてもよい。
(シミュレーション結果例)
上述した第5の態様の信号処理装置2で位置ずれ測定のシミュレーションを行なった結果の一例を図19〜図21に示す。
図19は照合対象の2つのパターンの一例を示し、図19(B)に例示するパターンBは、図19(A)に例示するパターンAを紙面右方向(水平方向)に40ピクセル、紙面下方向(垂直方向)に15ピクセルそれぞれずらしたパターンである。シミュレーションでは当該位置ずれを求めた。なお、両パターンには共通の固定パターンノイズが含まれている。
図20は、両パターンのパターン信号をそれぞれ連続ウェーブレット変換し、当該変換の結果から正規化された相互相関関数を求め、求めた相互相関関数の絶対値を等高線プロットした図である。図20(A)が式(21)のΨでパターン信号を連続ウェーブレット変換してから相関をとった場合、図20(B)が式(21)のΨで同等の処理を行なった場合をそれぞれ示している。連続ウェーブレット変換時のスケールは、固定パターンノイズの影響を抑えるため、通過帯域の中心周波数が低周波数になるように設定してある。本例では、相互相関関数の絶対値の最大値の位置は、真値からそれぞれ1ピクセルずれており、誤差が生じている。
図21は、相互相関関数の位相が0となるような等位相線をプロットした図である。等位相線#1は前記Ψでパターン信号を連続ウェーブレット変換した場合、等位相線#2は前記Ψでパターン信号を連続ウェーブレット変換した場合にそれぞれ対応している。図21では、絶対値の最大値近傍に2つの等位相線#1及び#2の交点が存在するが、当該交点の座標を整数に丸めると真値に一致する。このように、位相情報を併用することで、パターン間の位置ずれの測定精度を向上することができる。
1…パターン生成装置(撮像装置)、2…信号処理装置、3,3a…位置ずれ概略値推定部、4A−1〜4A−m,4B−1〜4B−m…複素フィルタ部、5−1〜5−m…相関演算部、6−1〜6−m…位相成分抽出部、6a…振幅・位相分離部、7…等位相情報算出部、8…交点算出部、11A,11B…フーリエ変換部、12…合成演算部、13…フィルタ部、13−1〜13−m 位相情報付加フィルタ部、14−1〜14−m…逆フーリエ変換部、15−1〜15−m…フィルタ部、16A−1〜16A−m,16B−1〜16B−m…連続ウェーブレット変換部、24…ハードディスク、25…メモリ、30,34…フィルタ部、31…振幅相関演算部、32…最大値探索部、33…探索中心決定部、35…逆フーリエ変換部

Claims (9)

  1. 照合される2つのN次元(Nは2以上の整数)のパターンに対応するパターン信号のそれぞれに、互いに非平行な位相進行方向を示すm種類(mはm≧Nを満たす整数)の位相情報を付加し、同じ前記位相情報が付加されたm組のパターン信号間の相関を求める演算に相当する信号処理を実施する相関演算手段と、
    前記相関演算手段で求められたm組の相関の位相情報に基づき、前記パターン間の位相差に応じた位置ずれを求める位置ずれ算出手段と、
    を備えた、位置ずれ測定装置。
  2. 前記パターン信号どうしを比較して前記パターン間の位置ずれを推定する位置ずれ推定手段を更に備え、
    前記位置ずれ算出手段は、
    前記位置ずれ推定手段で得られた位置ずれの推定値と前記信号処理により得られた相関の位相情報とに基づいて、前記位置ずれを決定する、請求項1記載の位置ずれ測定装置。
  3. 前記位置ずれ推定手段は、
    前記パターン信号の振幅に関する相関を求める振幅相関演算部と、
    前記振幅相関演算部で求められた相関の最大値を求め、前記最大値に対応する位置ずれを前記推定値として求める最大値演算部と、
    を備えた、請求項2記載の位置ずれ測定装置。
  4. 前記位置ずれ推定手段は、
    前記信号処理において得られた前記相関の振幅情報の最大値を求め、前記最大値に対応する位置ずれを前記推定値として求める最大値演算部を備えた、請求項2記載の位置ずれ測定装置。
  5. 前記相関演算手段は、
    前記m種類の位相情報にそれぞれ対応したフィルタ特性を有するm種類の複素フィルタを備え、
    前記パターン信号のそれぞれに前記m種類の複素フィルタを適用することで、前記パターン信号のそれぞれに前記m種類の位相情報を付加する、請求項1記載の位置ずれ測定装置。
  6. 前記相関演算手段は、前記信号処理における前記位相情報の付加と前記相関の演算とを周波数領域において実施する、請求項1〜5のいずれか1項に記載の位置ずれ測定装置。
  7. 前記複素フィルタの一部又は全部は、連続ウェーブレット変換によるフィルタである、請求項5記載の位置ずれ測定装置。
  8. 照合される2つのN次元(Nは2以上の整数)のパターンに対応するパターン信号のそれぞれに、互いに非平行な位相進行方向を示すm種類(mはm≧Nを満たす整数)の位相情報を付加し、同じ前記位相情報が付加されたm組のパターン信号間の相関を求める演算に相当する信号処理と、
    前記信号処理により得られたm組の相関の位相情報に基づき、前記パターン間の位相差に応じた位置ずれを求める処理と、
    を有する、位置ずれ測定方法。
  9. コンピュータに読み取られることによって所定の位置ずれ測定処理を前記コンピュータに実施させる、コンピュータ読み取り可能な位置ずれ測定プログラムであって、
    照合される2つのN次元(Nは2以上の整数)のパターンに対応するパターン信号のそれぞれに、互いに非平行な位相進行方向を示すm種類(mはm≧Nを満たす整数)の位相情報を付加し、同じ前記位相情報が付加されたm組のパターン信号間の相関を求める演算に相当する信号処理と、
    前記信号処理により得られたm組の相関の位相情報に基づき、前記パターン間の位相差に応じた位置ずれを求める処理と、
    を前記コンピュータに実行させる、コンピュータ読み取り可能な位置ずれ測定プログラム。
JP2010021283A 2010-02-02 2010-02-02 位置ずれ測定装置及び位置ずれ測定方法並びに位置ずれ測定プログラム Active JP5558127B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010021283A JP5558127B2 (ja) 2010-02-02 2010-02-02 位置ずれ測定装置及び位置ずれ測定方法並びに位置ずれ測定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010021283A JP5558127B2 (ja) 2010-02-02 2010-02-02 位置ずれ測定装置及び位置ずれ測定方法並びに位置ずれ測定プログラム

Publications (2)

Publication Number Publication Date
JP2011158383A JP2011158383A (ja) 2011-08-18
JP5558127B2 true JP5558127B2 (ja) 2014-07-23

Family

ID=44590451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010021283A Active JP5558127B2 (ja) 2010-02-02 2010-02-02 位置ずれ測定装置及び位置ずれ測定方法並びに位置ずれ測定プログラム

Country Status (1)

Country Link
JP (1) JP5558127B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019123917A1 (ja) 2017-12-22 2019-06-27 日本電気株式会社 画像照合装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6554977B2 (ja) * 2015-07-30 2019-08-07 富士通株式会社 接続相判定プログラム、方法および装置
CN109643071B (zh) * 2016-08-15 2021-04-23 Asml荷兰有限公司 对准方法
JP6920974B2 (ja) * 2017-12-11 2021-08-18 株式会社日立製作所 距離計測装置および距離計測方法
JP7057717B2 (ja) * 2018-05-28 2022-04-20 日本放送協会 位相差検出器及び画像処理装置、並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3497979B2 (ja) * 1996-10-30 2004-02-16 株式会社山武 距離検出装置
JP2004240931A (ja) * 2003-02-05 2004-08-26 Sony Corp 画像照合装置、画像照合方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019123917A1 (ja) 2017-12-22 2019-06-27 日本電気株式会社 画像照合装置
US11227196B2 (en) 2017-12-22 2022-01-18 Nec Corporation Image collating device

Also Published As

Publication number Publication date
JP2011158383A (ja) 2011-08-18

Similar Documents

Publication Publication Date Title
KR101822185B1 (ko) 3d 포인트 클라우드 poi 검출 방법 및 장치
JP4385139B2 (ja) 変位検出方法、及び、変位検出装置、変位検出プログラム、並びに、位相特異点マッチング処理方法、位相特異点マッチング処理プログラム
JP5558127B2 (ja) 位置ずれ測定装置及び位置ずれ測定方法並びに位置ずれ測定プログラム
US9547901B2 (en) Method and apparatus for detecting point of interest (POI) in three-dimensional (3D) point clouds
Cai et al. Visualizing and quantifying small and nonstationary structural motions in video measurement
US20060120621A1 (en) Demodulation and phase estimation of two-dimensional patterns
WO2010113389A1 (ja) ステレオ画像処理装置およびステレオ画像処理方法
Liu et al. Fast and accurate visual vibration measurement via derivative-enhanced phase-based optical flow
Wang et al. Recent progress in two-dimensional continuous wavelet transform technique for fringe pattern analysis
JP2009163744A (ja) フーリエ位相解析を用いたスワイプセンサ画像アライメントの方法およびシステム
WO2017070923A1 (zh) 一种人脸识别方法和装置
CN104657979A (zh) 一种超声图像特征检测方法及系统
JPWO2017221965A1 (ja) 状態判定装置、状態判定方法、及びプログラム
US20210256254A1 (en) Image matching device
Wang et al. Rotating vibration measurement using 3D digital image correlation
JP5787398B2 (ja) 関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラム
CN113128474B (zh) 一种基于计算机视觉及变分模态分解的结构模态识别方法
JP6845492B2 (ja) 画像照合装置
US8463077B1 (en) Rotation phase unwrapping algorithm for image reconstruction
WO2019015398A1 (zh) 运动信息获取方法及装置
Wietzke et al. The signal multi-vector
Sciammarella et al. Mathematical models utilized in the retrieval of displacement information encoded in fringe patterns
CN102073220B (zh) 一种单幅封闭条纹相位提取方法
CN102096910A (zh) 用于二维相位展开的加权梯度质量图获取方法
JP2010286302A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140604

R150 Certificate of patent or registration of utility model

Ref document number: 5558127

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250