JP7773949B2 - 位相画像処理装置及び位相画像処理方法 - Google Patents

Description

本発明は、電子、光、電波などの波動を用いて得られる干渉縞像から作成される位相画像に画像処理を施す位相画像処理装置及び位相画像処理方法に関し、特に位相画像に含まれる位相特異点を補正する技術に係わる。

干渉縞像は、観察対象から得られる波動である物体波と基準となる波動である参照波とを干渉させることにより得られる画像であり、例えば電子線バイプリズムを備える透過電子顕微鏡（ＴＥＭ；Transmission Electron Microscope）により撮影される。また干渉縞像から作成される位相画像には観察対象のより詳細なデータが含まれるので、例えばＴＥＭによって撮影された干渉縞像から位相画像を作成することにより、磁石内部の磁区や半導体界面の電荷分布、ナノ粒子の平均内部ポテンシャル等を得ることができる。

ところで干渉縞像から位相画像を作成する過程には逆三角関数演算が含まれ、得られる位相値は[-π,π）［ｒａｄ］の範囲に折り畳まれるため、折り畳まれた位相値を開く処理、いわゆるアンラップ処理を位相画像に施す必要がある。しかし位相画像に位相特異点が含まれる場合、アンラップ処理に支障をきたす。

非特許文献１には、位相特異点を放射状に外側へ拡散させることにより、計算コストを抑制しながら位相特異点の影響を低減させることが開示される。

Akira Hirose, "Singularity-spreading phase unwrapping: Its basic idea and the influence of time and space discreteness on the dynamics", APSIPA Annual Summit and Conference 2018 Hawaii, November 2018, pp. 99-103

しかしながら非特許文献１では、位相特異点の影響を十分に低減させることが困難である。

そこで本発明は、位相画像に含まれる位相特異点を高精度に補正可能な位相画像処理装置及び位相画像処理方法を提供することを目的とする。

上記目的を達成するために本発明は、位相画像に画像処理を施す位相画像処理装置であって、位相特異点を含む第一の位相画像に対応する第一の干渉縞像に基づいて複数の縞パターンを生成する縞パターン生成部と、前記縞パターンに基づいてパッチ画像を生成するパッチ画像生成部と、前記位相特異点に対応する前記第一の干渉縞像の領域に前記パッチ画像を貼り付けることにより前記第一の干渉縞像を補正して第二の干渉縞像を生成する干渉縞像補正部と、前記第二の干渉縞像から第二の位相画像を生成する位相画像補正部を備えることを特徴とする。

また本発明は、位相画像に画像処理を施す位相画像処理方法であって、位相特異点を含む第一の位相画像に対応する第一の干渉縞像に基づいて複数の縞パターンを生成する縞パターン生成ステップと、前記縞パターンに基づいてパッチ画像を生成するパッチ画像生成ステップと、前記位相特異点に対応する前記第一の干渉縞像の領域に前記パッチ画像を貼り付けることにより前記第一の干渉縞像を補正して第二の干渉縞像を生成する干渉縞像補正ステップと、前記第二の干渉縞像から第二の位相画像を生成する位相画像補正ステップを備えることを特徴とする。

本発明によれば、位相画像に含まれる位相特異点を高精度に補正可能な位相画像処理装置及び位相画像処理方法を提供することができる。

位相画像処理装置の全体構成図である。 干渉縞像、２次元空間周波数スペクトル、位相画像の一例を示す図である。 実施例１の処理の流れの一例を示す図である。 位相画像の欠陥領域に対応する干渉縞像の領域の一例を示す図である。 位相画像から作成された干渉縞像の一例を示す図である。 複数の縞パターンを生成する手順の一例を示す図である。 補正された干渉縞像の一例を示す図である。 補正された干渉縞像から生成された位相画像の一例を示す図である。 パラメータ入力画面の一例を示す図である。

以下、添付図面に従って本発明に係る位相画像処理装置及び位相画像処理方法の実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。

図１は位相画像処理装置１０１のハードウェア構成を示す図である。位相画像処理装置１０1は、演算部１０２、メモリ１０３、記憶部１０４、ネットワークアダプタ１０５がシステムバス１０６によって信号送受可能に接続されて構成される。また位相画像処理装置１０１は、ネットワーク１０９を介して干渉縞像撮影装置１１０や画像データベース１１１と信号送受可能に接続される。さら位相画像処理装置１０１には、表示装置１０７と入力装置１０８が接続される。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。

演算部１０２は、各構成要素の動作を制御する装置であり、具体的にはＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processor Unit）等である。演算部１０２は、記憶部１０４に格納されるプログラムやプログラム実行に必要なデータをメモリ１０３にロードして実行し、位相画像に対して様々な画像処理を施す。メモリ１０３は、演算部１０２が実行するプログラムや演算処理の途中経過を記憶するものである。記憶部１０４は、演算部１０２が実行するプログラムやプログラム実行に必要なデータを格納する装置であり、具体的にはＨＤＤ(Hard Disk Drive)やＳＳＤ(Solid State Drive)等である。ネットワークアダプタ１０５は、位相画像処理装置１０１をＬＡＮ、電話回線、インターネット等のネットワーク１０９に接続するためのものである。演算部１０２が扱う各種データはＬＡＮ(Local Area Network)等のネットワーク１０９を介して位相画像処理装置１０１の外部と送受信されても良い。

表示装置１０７は、位相画像処理装置１０１の処理結果等を表示する装置であり、具体的には液晶ディスプレイ等である。入力装置１０８は、操作者が位相画像処理装置１０１に対して操作指示を行う操作デバイスであり、具体的にはキーボードやマウス、タッチパネル等である。マウスはトラックパッドやトラックボール等の他のポインティングデバイスであっても良い。

干渉縞像撮影装置１１０は、観察対象に照射された波動の反射や透過によって生成される波動である物体波と、基準となる波動である参照波とを干渉させることによって得られる干渉縞像を撮影する装置である。観察対象に照射される波動は、可干渉な波動であり、例えば光、レーザー光、電波、電子波等である。干渉縞像撮影装置１１０は、例えば電子線バイプリズムを備える透過電子顕微鏡（ＴＥＭ；Transmission Electron Microscope）であり、電子線バイプリズムを備えるＴＥＭは干渉縞像として電子線ホログラムを撮影する。

画像データベース１１１は、干渉縞像撮影装置１１０によって取得された干渉縞像や、干渉縞像から作成される位相画像等を記憶するデータベースシステムである。位相画像は、干渉縞像に対してフーリエ変換法や縞走査法等を用いた演算処理を施すことにより作成される。

図２を用いて、フーリエ変換法を用いて干渉縞像から位相画像を作成する手順の一例について説明する。図２に例示される干渉縞像は、電子線バイプリズムを備えるＴＥＭによって撮影された画像であり、右上から左下に向かう細かな縞模様である干渉縞を含む。

図２の干渉縞像を離散フーリエ変換することにより、図２に例示される２次元空間周波数スペクトルが得られる。２次元空間周波数スペクトルは、横軸が水平周波数、縦軸が垂直周波数の平面に空間周波数毎の強度がプロットされたものであり、両軸の交点にはゼロ空間周波数の強度、すなわち直流成分がプロットされる。干渉縞像には右上から左下に向かう干渉縞が含まれるため、２次元空間周波数スペクトルの第２象限と第４象限にサイドバンドと呼ばれる高輝度領域が現れる。

次に２次元空間周波数スペクトルからサイドバンドを切り出し、新たな２次元空間周波数スペクトルの中心、すなわちゼロ空間周波数の位置に貼り付けて逆離散フーリエ変換することにより、複素数の画像Ｒ（ｘ，ｙ）＋ｉＩ（ｘ，ｙ）が得られる。ここで（ｘ，ｙ）は２次元画像の座標、ｉは虚数単位である。そして次式によって、図２に例示されるような位相画像が求められる。

ａｔａｎ２（Ｒ（ｘ，ｙ），Ｉ（ｘ，ｙ）） …（式１）
ここでａｔａｎ２（）は２変数を持つｔａｎ（）の逆関数である。（式１）によって得られる位相値は[-π,π）［ｒａｄ］の範囲に折り畳まれるので、折り畳まれた位相値にアンラップ処理を施す必要がある。

しかし、位相画像に位相特異点が含まれている場合、アンラップ処理に支障をきたす。そこで実施例１では、位相画像に含まれる位相特異点を高精度に補正するための処理の流れを実行する。

図３を用いて、実施例１で実行される処理の流れの一例についてステップ毎に説明する。

（Ｓ３００）
演算部１０２は位相画像を取得する。具体的には、干渉縞像撮影装置１１０で撮影された干渉縞像から（式１）を用いて位相画像が作成されたり、記憶部１０４や画像データベース１１１に予め記憶される位相画像が読み出されたりする。

（Ｓ３０１）
演算部１０２は、Ｓ３００で取得された位相画像、あるいは後述されるＳ３０５で生成される位相画像に位相特異点があるか否かを判定する。位相画像に位相特異点があればＳ３０２へ処理が進められ、なければ処理の流れは終了となる。

位相特異点の有無は、例えば位相勾配の局所周回積分値に基づいて判定され、具体的には次式が用いられる。

Ｗ（右上－左上）＋Ｗ（左上－左下）＋Ｗ（左下－右下）＋Ｗ（右下－右上） …（式２）
ここでＷ（右上－左上）は、隣接する２×２の４画素の中の右上の画素値から左上の画素値を減算したときの値がπ［ｒａｄ］以上のときに１を、－π［ｒａｄ］以下のときに－１を、[-π,π）［ｒａｄ］の範囲のときに０を返す関数である。（式２）の値が０でないとき、４画素の中心点に位相特異点があると判定され、位相特異点の周りの４画素が、位相特異点を含む領域である欠陥領域として抽出される。

なお位相特異点の有無の判定は、（式２）を用いることに限定されない。例えば、位相画像の中の隣接する画素間の画素値の差異がπ［ｒａｄ］以上である画素境界を接続して境界線を形成し、その線が途切れた端点を位相特異点と判定し、端点周りの４画素が欠陥領域として抽出されても良い。

（Ｓ３０２）
演算部１０２は、Ｓ３０１で抽出された欠陥領域に対応する領域を、位相画像に対応する干渉縞像から抽出する。具体的には、欠陥領域と同じ座標の領域が干渉縞像から抽出される。欠陥領域に対応する干渉縞像の領域は、図４に例示されるように縞模様が不鮮明である。

なお位相画像に対応する干渉縞像が無い場合は、次式により位相画像に対応する新たな干渉縞像が作成されても良い。

｜ ｅｘｐ［ｉｋｘ］ ＋ ｅｘｐ［ｉφ（ｘ,ｙ）］ ｜＾２ …（式３）
ここで、φ（ｘ,ｙ）が位相画像であり、２π／ｋは生成される干渉縞の縞周期、ｅｘｐ［］はネイピア数を底とする指数関数である。（式３）を用いることにより、図５に例示される水平方向に周期的な干渉縞像が作成される。

（Ｓ３０３）
演算部１０２は、Ｓ３００で取得された位相画像、あるいは後述されるＳ３０５で生成された位相画像に対応する干渉縞像に基づいて、複数の縞パターンを生成する。

図６を用いて、複数の縞パターンを生成する手順の一例について説明する。まず位相画像に対応する干渉縞像を離散フーリエ変換することにより２次元空間周波数スペクトルを得る。次に２次元空間周波数スペクトルからピーク強度の位置を探索し、ピーク強度の位置の周辺の領域であるサイドバンドを抽出する。サイドバンド内の各画素の座標は、縞の方向とピッチを示すので、各座標に対応する縞パターンを生成する。さらに、座標毎の縞パターンの位相を１画素ずつずらすことにより、位相の異なる複数の縞パターンを生成する。図６に例示される２４個の縞パターンは、サイドバンド内の４つの座標のそれぞれにおいて位相の異なる６つの縞パターンを生成した結果である。

なお縞パターンの大きさは欠陥領域の大きさ以下であることが好ましく、例えば欠陥領域の１／４の大きさに設定される。ただし、縞パターンが明瞭に示されるように、４×４の１６画素以上の大きさが必要である。

（Ｓ３０４）
演算部１０２は、Ｓ３０３で生成された縞パターンを用いてパッチ画像を生成し、生成されたパッチ画像を干渉縞像に貼り付けることにより干渉縞像を補正する。図７に補正された干渉縞像の一例を示す。補正前では不鮮明であった縞模様が、パッチ画像の貼り付けにより鮮明になる。

パッチ画像は、例えば、複数の縞パターンを加重加算することによって生成される。なおパッチ画像の縞模様の周期や方向がスパースな縞パターンの組で構成されると仮定すると、スパースコーディングアルゴリズムを利用でき、パッチ画像が少ない縞パターンの組で構成でき、処理時間を短縮できる。

（Ｓ３０５）
演算部１０２は、Ｓ３０４で補正された干渉縞像から位相画像を生成する。位相画像の生成には例えば（式２）が用いられる。図８に、補正された干渉縞像から生成された位相画像の一例を示す。

Ｓ３０５で生成された位相画像は、Ｓ３０１において位相特異点の有無を判定され、位相特異点が残っていればＳ３０２からＳ３０５までの処理が繰り返される。なお、位相特異点の数が所定数以下になった段階で繰り返し処理を終了にしても良いし、Ｓ３０２からＳ３０５までの処理の繰り返し数が所定回数に達した段階で繰り返し処理を終了にしても良い。

以上、説明した処理の流れにより、位相画像に含まれる位相特異点を高精度に補正することができる。なお、Ｓ３０２において干渉縞像を作成するときや、Ｓ３０３において縞パターンを生成するときに用いられるパラメータは、操作者によって設定されても良い。

図９を用いて、表示装置１０７に表示されるパラメータ入力画面の一例について説明する。図９に例示されるパラメータ入力画面は、縞周期入力部９０１、縞角度入力部９０２、干渉縞作成ボタン９０３、領域サイズ入力部９０４、パターンサイズ入力部９０５、間隔入力部９０６、ＳＣＰ入力部９０７、開始ボタン９０８を有する。

縞周期入力部９０１には、干渉縞の周期が入力される。縞角度入力部９０２には、干渉縞の方向を示す角度が入力される。干渉縞作成ボタン９０３は、干渉縞像を作成するときに押下される。

領域サイズ入力部９０４には、欠陥領域に対応する領域の大きさが入力される。パターンサイズ入力部９０５には、縞パターンの大きさが入力される。間隔入力部９０６には、欠陥領域に対応する領域にパッチ画像を敷き詰めるときの間隔が入力される。ＳＣＰ入力部９０７には、スパースコーディングアルゴリズムに用いられるパラメータが入力される。開始ボタン９０８は、パッチ画像の生成と貼り付けを開始するときに押下される。

以上、本発明の実施例について説明した。本発明は上記実施例に限定されるものではなく、発明の要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施例に開示されている複数の構成要素を適宜組み合わせても良い。さらに、上記実施例に示される全構成要素からいくつかの構成要素を削除しても良い。

１０１：位相画像処理装置、１０２：演算部、１０３：メモリ、１０４：記憶部、１０５：ネットワークアダプタ、１０６：システムバス、１０７：表示装置、１０８：入力装置、１０９：ネットワーク、１１０：干渉縞像撮影装置、１１１：画像データベース、９０１：縞周期入力部、９０２：縞角度入力部、９０３：干渉縞作成ボタン、９０４：領域サイズ入力部、９０５：パターンサイズ入力部、９０６：間隔入力部、９０７：ＳＣＰ入力部、９０８：開始ボタン

Claims (7)

1. 位相画像に画像処理を施す位相画像処理装置であって、
   位相特異点を含む第一の位相画像に対応する第一の干渉縞像に基づいて複数の縞パターンを生成する縞パターン生成部と、
   前記縞パターンに基づいてパッチ画像を生成するパッチ画像生成部と、
   前記位相特異点に対応する前記第一の干渉縞像の領域に前記パッチ画像を貼り付けることにより前記第一の干渉縞像を補正して第二の干渉縞像を生成する干渉縞像補正部と、
   前記第二の干渉縞像から第二の位相画像を生成する位相画像補正部を備えることを特徴とする位相画像処理装置。
2. 請求項１に記載の位相画像処理装置であって、
   前記パッチ画像生成部は、複数の前記縞パターンを加重加算することによって前記パッチ画像を生成することを特徴とする位相画像処理装置。
3. 請求項２に記載の位相画像処理装置であって、
   前記パッチ画像生成部は、スパースコーディングアルゴリズムを用いて前記パッチ画像を生成することを特徴とする位相画像処理装置。
4. 請求項１に記載の位相画像処理装置であって、
   前記縞パターン生成部は、前記縞パターンの生成に用いられるパラメータが入力される画面を表示し、前記画面に入力されたパラメータを用いて前記縞パターンを生成することを特徴とする位相画像処理装置。
5. 請求項１に記載の位相画像処理装置であって、
   前記第一の干渉縞像は、前記第一の位相画像に基づいて生成されることを特徴とする位相画像処理装置。
6. 請求項１に記載の位相画像処理装置であって、
   前記第二の位相画像を前記第一の位相画像としたのち、前記縞パターン生成部と前記パッチ画像生成部と前記干渉縞像補正部と前記位相画像補正部における各処理を、前記第二の位相画像に含まれる位相特異点の数が所定数以下になるまで、または繰り返し数が所定回数に達するまで繰り返すことを特徴とする位相画像処理装置。
7. 位相画像に画像処理を施す位相画像処理方法であって、
   位相特異点を含む第一の位相画像に対応する第一の干渉縞像に基づいて複数の縞パターンを生成する縞パターン生成ステップと、
   前記縞パターンに基づいてパッチ画像を生成するパッチ画像生成ステップと、
   前記位相特異点に対応する前記第一の干渉縞像の領域に前記パッチ画像を貼り付けることにより前記第一の干渉縞像を補正して第二の干渉縞像を生成する干渉縞像補正ステップと、
   前記第二の干渉縞像から第二の位相画像を生成する位相画像補正ステップを備えることを特徴とする位相画像処理方法。