[go: up one dir, main page]

JP2008520320A - ノイズのある画像における構造を向上させるための多特徴時間フィルタリング - Google Patents

ノイズのある画像における構造を向上させるための多特徴時間フィルタリング Download PDF

Info

Publication number
JP2008520320A
JP2008520320A JP2007542442A JP2007542442A JP2008520320A JP 2008520320 A JP2008520320 A JP 2008520320A JP 2007542442 A JP2007542442 A JP 2007542442A JP 2007542442 A JP2007542442 A JP 2007542442A JP 2008520320 A JP2008520320 A JP 2008520320A
Authority
JP
Japan
Prior art keywords
image
images
identified
sequence
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007542442A
Other languages
English (en)
Other versions
JP5107720B2 (ja
Inventor
モリー,ベノワ
フローラン,ラウル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2008520320A publication Critical patent/JP2008520320A/ja
Application granted granted Critical
Publication of JP5107720B2 publication Critical patent/JP5107720B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Filtering Materials (AREA)

Abstract

ノイズのある画像のシーケンスにおいて動いている背景上に表現された関心のあるオブジェクトを向上させるため、および向上された画像のシーケンスを表示するための方法であって、画像のシーケンスを取得する段階と、取得された画像または処理された画像のシーケンスからの画像において背景上にある関心のあるオブジェクトに関係する、少なくとも二つの別個に同定される部分をもつ特徴を抽出する段階と、各同定された部分を、取得された画像のシーケンスからのある画像に対して別個に位置合わせし、その一方で前記同定された部分のまわりの背景は位置合わせせず、同定された諸部分の位置合わせされた諸画像を生成する段階と、前記関心のあるオブジェクトからのすべての位置合わせされた同定された部分を、該位置合わせされた同定された部分の重み付けされた組み合わせを使って集合させ、集合された画像を生じる段階と、前記関心のあるオブジェクトと前記背景の両方を、少なくとも一枚の集合された画像および一枚の取得された画像にわたって積分する段階と、向上された関心のあるオブジェクトをの処理された画像を薄められた背景上に表示する段階、とを有する方法。

Description

本発明は、ノイズのある画像のシーケンスにおいて表現されている関心のある動いているオブジェクトを向上させる(enhancing)ための閲覧システムに、該システムで使われるコンピュータ実行可能な画像処理方法に、およびそのようなシステムを組み込む医療検査装置に関する。本発明はたとえば、血管造影図におけるステントおよび血管壁のような、薄い、関心のあるオブジェクトを向上させるため、心臓病学の医療分野にその用途を見出す。
ステントは、通例ステンレスまたは合金でできた血管内人工装具で、狭窄が現れた領域で血行を改善するために動脈内に入れられる。狭窄と呼ばれる狭まりが患者の冠動脈で同定されると、閉塞を開いて心筋への血流を改善するために血管形成と呼ばれる処置が処方されうる。近年では、血管形成はますますステント埋め込み技術を用いるようになっている。このステント埋め込み技術は、効率的に患部の血管を開けておくために検出された狭窄の位置にステントを入れるオペレーションを含む。ステントは、カテーテルおよびガイドワイヤによって導入されるモノレールに取り付けられたバルーンのまわりに緊密に巻かれている。いったん位置につけば、ステントを拡張させるためにバルーンがふくらまされる。いったん拡張されると、恒久的インプラントと考えられるステントは動脈壁を開かせておくスペーサーのような作用をする。
動脈、バルーン、ステント、モノレールおよび細いガイドワイヤはノイズのあるX線透視画像において観察される。X線透視法(fluoroscopy)は低線量のX線技術で、非常にノイズが多く低コントラストの画像を与える。画像シーケンスはコントラストの悪い医療画像から形成され、医療機器も血管壁もノイズのある背景上でほとんど区別がつかない。これらのオブジェクトが示すX線撮影コントラストは低く、そのためステントを正確な位置に入れて拡張させることの評価が非常に難しくなっている。また、ステント埋め込みのオペレーションの間、モノレールは、そのまわりに巻かれたバルーンおよびステントと一緒に、動脈に対して動いており、動脈は心臓パルスの影響のもとで動いており、しかも患者の呼吸の影響のもとで動いている背景上で見られる。これらの動きは、ノイズのある背景上でX線透視撮像のもとでステント埋め込みを追うことを一層視覚化しにくくしている。これらの条件で患者の動脈にカテーテルを導入することは非常に微妙で危険なオペレーションである。
いくつかの利用可能なバルーン展開処置において必要とされる造影剤は、ステントをバルーンおよび動脈壁から区別する段になると、臨床担当者の仕事を一層困難にする。
進行中の処置の(すなわちリアルタイムでの)精密な画像を有することは、実際、臨床担当者にとって何よりも重要である。というのも、深刻な臨床上の問題はステントの不十分な拡張または不適正な位置付けならびにいくつかのステントの間での空隙または重なりに関わることがあるからである。不適正に展開されたステントは血栓症を引き起こすことがある。
可視化を改善するために使われるいわゆる層分解法は、画像シーケンスを位相相関技術を使って複数の異なる層に分解することを含み、これは血管の動きと背景の動きの別個の推定につながる。すると背景の動きが元の画像から引き算される。しかしながら計算負荷は重く、この技術はインターベンションの間に使われるには非実用的となっている。
インターベンションの間に直接使用可能なもう一つの技術はWO03/045263A2において記載されている。この文書は、医療X線透視画像シーケンスのようなノイズのある画像においてノイズを最小限にし、背景を薄めて、冠動脈X線画像または血管造影図におけるステントのような低コントラスト特徴の検出を改善するための閲覧システムを開示している。
この改良された技術では、関心のあるオブジェクトの動きだけが推定される。関心領域(ROI)における関心のあるオブジェクトを抽出および位置特定する初期化段階ののち、このオブジェクトは系統的に画像シーケンスの参照フレームに関して位置合わせされる(registered)一方、背景は位置合わせされない。初期化段階および位置合わせ段階はどちらも、ステントおよび/またはステント導入用器具に設置されたマーカーを使用する。時間積分法が、関心のあるオブジェクトが位置合わせされた少なくとも二枚の画像上で実行される。オブジェクトの位置合わせ後にも背景は画像の参照フレームに対して動いており、いまだノイズを含んでいるので、この時間積分法は関心のあるオブジェクトの向上を提供する一方、背景に現れうるいかなる構造をもぼやけさせる。このアプローチは、エッジフィルタを使って関心のあるオブジェクトの鮮鋭な細部を抽出する向上ステップをも有する。
上述した困難を克服する改良された閲覧システムおよび画像処理方法を提供することが本発明の一つの目的である。
したがって、本発明は請求項1に基づく装置、請求項13に基づく方法および請求項14に基づくコンピュータプログラムプロダクトを提供する。
本発明は、WO03/045263A2において開示されている既知の改良された可視化技術を利用し、それを個別に、関心のあるオブジェクトをなすより小さな部分に適用する。各部分に関係する異なる複数の向上された特徴がその後、異なる複数の特徴の重み付き和を使って再集合される。少なくとも一つの集合された画像および取得されたシーケンスからの一つの画像を使って時間積分が実行できる。オブジェクトをより小さな部分に分割し、それぞれの個別に処理されたより小さな部分の重み付き和を使うことで、ぼかされた背景および低減されたノイズをもつ改良された画像が医療インターベンションを実行する際に臨床担当者に利用可能となる。
本発明のその他の特徴および利点は、以下の記述を付属の図面との関連で考慮すればさらに明らかとなるであろう。
本発明は、ノイズのある画像のシーケンスにおける関心のあるオブジェクトの向上を扱う。ここで解説される本発明の実装はソフトウェアに基づいているが、本発明は、たとえば医療用途コンピュータシステムにおけるグラフィックカードにおけるハードウェアコンポーネントを用いて実装されてもよい。
ここで図面、より具体的にはそのうち図1Aおよび1Bを参照すると、一段階血管形成インターベンションが図式的に示されている。
予備段階(図示せず)では、担当者は、狭い管腔の形の狭窄80aを患者の動脈81中で位置特定する。図1Aは、先端にバルーン74aが巻かれたモノレール70の、カテーテル69および細いガイドワイヤ65を使っての導入を表示している。前記バルーン74aのまわりにはステント75aが巻かれている。バルーン74aは、ステントとともに、以前に位置特定された動脈81の管腔80aにおける狭窄の位置に位置される。
モノレールの導入に続いて、図1Bは管腔80aを拡張して拡大管腔80bにするためにバルーン74bをふくらませることを表示している。バルーンの膨張は、ステント75bの塑性変形をも与える。ステント75bは次いで、管腔を拡大した状態に保つため、動脈壁の中に埋め込まれる。インターベンションは、バルーン74b、モノレール70、ガイドワイヤ65およびカテーテル69の除去へと進む。
血管形成インターベンションは二段階からなっていてもよい。第一の段階はステントを担持しない第一のバルーンの導入のみからなり、管腔80aを拡張するためのものである。第二段階は上に記載した一段階血管形成と同様である
ここで図2Aを参照すると、ノイズのある画像のシーケンスにおける関心のあるオブジェクトを向上させる例示的な方法のフローチャートが示されている。全体的な方式は、ステップ10における、向上されるべきオブジェクトを描いているデジタル医療2Dまたは3D画像(入力画像または取得画像とも呼ばれる)の初期取得を含む。この段階は、必要ならあるファイルフォーマットから別のファイルフォーマットに画像を変換するファイルコンバーター構成要素の使用を含んでいてもよい。結果として得られる入力画像は以下ではM(p)またはMと呼ばれる。pは画像内でのピクセルの添え字である。以下では、画像およびそのデータは同じ名前で呼ばれる。よって、Mは入力画像およびピクセルpについての入力データの両方を指す。全部の入力画像Mは、向上されるべきオブジェクトを含む画像のシーケンスをなす。取得の時間tが含意されるとき、Mは以下ではM(t)と呼ばれる。動いているオブジェクトおよび背景を位置特定するために、すべての入力画像Mについて共通の参照フレームが定義されてもよい。
第二ステップ11では、入力画像が処理されて、異なる複数の特徴部分を通じて関心のあるオブジェクトが抽出および位置特定される。オブジェクトは通例、画像の参照フレームに関して動いているが、これは必須ではない。背景そのものは、前記参照フレームに関してとオブジェクトに関しての両方に関して動くことができる。先述したように、画像は低コントラストおよび放射線不透明とはほど遠いオブジェクトのため、ノイズがあることもある。
特徴部分の抽出および位置特定は、オブジェクトに対して直接実行されてもよい(局所分散法[local variance method]または勾配強度法[gradient intensity method]のような当技術分野において知られている技術を使って生成されるエッジ検出画像を通じて)。図1Aおよび1Bを参照すると、この例における関心のあるオブジェクトは、インターベンションの部位、すなわち管腔をもつ血管でありうる。そして異なる複数の特徴部分はバルーン74aおよび74b、ステント75aおよび75b、ガイドワイヤ63およびモノレール70でありうる。
しかしながら、オブジェクトは放射線不透明からはほど遠いので、間接的に位置特定されるのが好ましい。本発明によれば、オブジェクトの位置特定は、まず関係する目印を位置特定することによって行われる。
図1Aおよび1Bを参照すると、ステップ11の特徴部分の間接的位置特定が、ガイドワイヤ先端63またはバルーン・マーカー71、72のような第一の個別目印を位置特定することによって実行されうる。細いガイドワイヤ65の先端に位置するマーカー63は、動脈81の狭窄域80aに対してガイドワイヤ65の位置を決定することを許容する。バルーン74aに対して所与の位置でモノレール70上に位置されているバルーン・マーカー71、72は、ステント拡張の前にステント75aが巻かれた第二のバルーンの位置の決定を許容する。バルーン・マーカー71、72はまた、拡張されたステント75bの最終確認をも許容する。
これらの先端またはマーカーと呼ばれる個別目印は、ステントまたは血管壁よりもずっとコントラストが良好である。ステップ11の特徴部分抽出は、原画像Mから前記先端またはマーカーを正確に抽出するためには適切である。しかしながら、臨床担当者は、先端およびマーカーを手動で選択すること、あるいはそれらの座標の検出を手動で改善することを選んでもよい。これらの先端およびマーカーは特有の容易に認識可能な形を有しており、画像中でコントラストの高い物質でできている。よって抽出するのが容易である。これらの特定的な特徴は、担当者にとって最終的に関心があるオブジェクトである、コントラストの貧弱なステントまたは血管壁には属していないことを注意しておく。マーカーを通じた位置特定はさらに、バルーン74aおよび74bのようなその他の部分の位置特定を正確に導出することを許容する。実際、バルーン・マーカーはバルーンに関して特定の位置を有している。また、ステントはバルーン・マーカーに取り付けられてはいないながらも該バルーン・マーカーに対して特定の位置を有するので、ステント75a、75bは正確に位置特定される。
より一般に、臨床担当者は目に見えるいかなる目印を選んでもよい。目印は医療機器に加えられるマーカー(バルーン・マーカー71および72)あるいは機器の一部(ガイドワイヤ先端63)または医療担当者にとって位置特定するために有意であるいかなる目に見える目印(ガイドワイヤ全体、バルーン…)であってもよい。
先述したように、関心のあるオブジェクトは参照フレームに対して動いていることがあり、その動きは単なる並進または回転より複雑であることがある。関心のあるオブジェクトは医療インターベンションの過程で変形されることもできるし、その諸部分が互いに相対的に動くこともある。異なる特徴部分は異なる動きを生じる。したがって、別個の部分(少なくとも二つの別個に同定される部分)に関係している特徴部分を検出および同定し、これらの特徴部分のそれぞれの動きおよび変形を個々に追うことが有益である。すると、ステップ11は入力画像Mからの同定された部分の画像12を与える。
いったん関心のあるオブジェクトの特徴部分が抽出されてしまうと、別個に同定される各部分は、次のステップ14で、シーケンスの別の入力画像に対して位置合わせされる。それにより前記同定された部分の位置合わせされた画像15が与えられる。
図3を参照すると、抽出が間接的に実行されるとき、たとえば二つの目印ARef,BRefがシーケンス中の参照画像と呼ばれるある画像において検出してある。これら二つの目印は、同定された部分nに関係している。目印ARef,BRefは自動手段によって選択されてもよい。その際、本発明に基づく方法の位置合わせステップ14は、参照画像中のARef,BRefの目印位置情報およびシーケンス中のある第二の画像中の対応する抽出された目印A′およびB′(同じ同定された部分nに関係している)を使って、第二の画像中の同定された部分を、参照画像中の同じ部分に自動的に位置合わせする。この幾何学的な操作は、現在の画像の目印を参照画像の対応する目印に一致させることによって、同定された部分の重心のまわりで実行される。この操作は次のものを含む可能な幾何学的変換からなる:
・第二の画像の線分A′B′の重心Ctを参照画像の線分ARefRefの重心CRefに一致させる並進T;
・第二の画像の線分A′B′の方向を参照画像の線分ARefRefの方向に一致させて線分A″B″とする回転R;
・得られた線分A″B″の長さを参照画像の線分ARefRefの長さに一致させて、線分ARefRefに一致する線分ABとする伸縮A。
そのような並進T、回転Rおよび伸縮Aの変換は、シーケンス中のある所与の瞬間における画像と参照画像との間で定義され、同じ同定された部分nをこれら二つの画像で同期させることを許容する。こうして、同定された部分nに対してコヒーレンスが生成されたことになる。一つの同定された部分nの位置合わせステップの間、同じ変換を他の部分や背景にも適用することで、そうした他の部分や背景はさらに同期から外れる。位置合わせされた画像と参照画像を重ね合わせると、対応する同定された部分nは生成されたコヒーレンスのおかげで向上されるのに対し、他の部分および背景ならびにノイズは、これらの要素の間にはコヒーレンスがないため、ぼかされる。
参照画像はすべての位置合わせについて同じでもよい。たとえばシーケンスの最初に取得された画像が参照画像で、第二の画像は時刻tにおける現在の画像である。ある好ましい実施形態では、参照画像は変動し、時刻tでの現在の画像として選ばれる。第二の画像は、直前の現在の画像、すなわちt−1における画像として選ばれる。そこで、ステップ11で説明したように両方の画像からすべての別個に同定された部分が抽出されたのち、前記第二の画像が現在の画像に「ゆがめ」られる。この部分ごとの位置合わせの結果は、t−1における画像上の各同定された部分nについての位置合わせされた画像REGISTn (t-1)である。ここで、別個に同定された部分と同数のゆがめられた画像すなわちREGISTn (t-1)のシーケンスがある。ここで、Nは同定された部分の総数、n∈[1,N]である。
この位置合わせ操作は、ある同定された部分のすべての点に対して実行される必要はない。この位置合わせの操作は、血管、ガイドワイヤ、バルーンおよびステントといった関心のあるオブジェクトのそれぞれの動きの効果を最小化する。好ましくは、よりよい位置合わせのためには二つ以上のマーカーが使われる。
続くステップ31では、位置合わせされた同定された諸部分が、該位置合わせされた同定された部分の重み付きの組み合わせを使って集合画像ASSEM(t)に集合される(assembled)。図4は、いくつかの同定された部分に対する目印位置合わせおよび位置合わせされた部分の重み付けの概略的な図解である。動いているオブジェクトは、同定された部分の重心Cによって図示され、ここではt−1で取られた左側の画像上で101ないし108の番号がついている。8個の部分が同定されており、第一のものは線分A101101およびその重心C101によって表されている。図4の右側には、位置合わせされた画像REGIST101 (t-1)が表されており、前記第一の同定された部分の、tにおいて取られた画像M(t)内の新しい位置への位置合わせに対応している。前記第一の部分は線分A′101B′101およびその重心C′101によって表され、これはほぼそのM(t)における位置に対応する。この画像は、ステップ14がこの第一の同定された部分だけに対して実行された結果であるので、他の重心および同定された部分は新しい位置102′ないし108′にあり、M(t)におけるそれらの実際の位置に必ずしも一致しない。
すべての同定された部分の位置合わせののち、各同定された部分の重心のまわりで、対応する位置合わせされた画像REGISTn (t-1)上でフィルタ核を使った重み付け操作が実行される。たとえば図4では、REGIST101 (t-1)において、重心101′のまわりで実行される。すべての位置合わせされた画像REGISTn (t-1) (t−1における画像上の同定された各部分nについての画像)からの集合画像を計算するために、まず窓win(Cn)が、各部分の重心、ここでは重心101′に関係するピクセルCnのまわりで定義される(ここでは窓は円形で、重心101′を中心とする)。さらに、重み付け係数は、win(Cn)内の全ピクセルjについて定義される等方的な空間分布WCn(j)を通じて定義される。この空間分布はCnで最大であり、Cnを中心とする円に属するすべてのjピクセルについて同一である。win(Cn)の外側のピクセルjについては、空間分布は0である。win(C)の窓の大きさは、同定された部分の大きさのほか、フィルタ核のために選ばれた諸パラメータの関数である。窓win(Cn)は好ましくは同定された部分の大きさよりも大きい。win(Cn)を使うことで、同定された部分nに焦点を当てて、位置合わせされた画像REGISTn (t-1)の残りを消去することができるようになる。図4の例では、結果として得られるwin(101′)内でのREGIST101 (t-1)の重み付け操作は、win(101′)内で0でないピクセルデータをもつ画像につながる。
このとき、集合画像ASSEM(t-1)は規格化された和、あるいは重み付け組み合わせの結果で、次のようになる:
Figure 2008520320
ここで、Nは同定された部分の数である。
各WCn(j)関数は、重心Cnからwin(Cn)のピクセルjまで測った距離rj nに対して定常的に減衰し、win(Cn)の外では0になる。この空間分布はたとえばガウス則exp[−(rj n)22]として選ぶことができる。集合された画像全部は、集合画像のシーケンスをなす。集合画像では、背景のほとんどはフィルタ核の使用のおかげで消去されている。ASSEM(t-1)において、異なる同定された部分はみなそれぞれM(t)における同じ同定された部分と同期されている。
図4において、win(Cn)は円として示されているが、実際にはいかなる形でもよい。好ましい実施形態では、win(Cn)は楕円であり、Cnを中心とし、主軸はCnにおける主たる特徴に平行または垂直で、第二軸はCnにおける主軸に直交する。その際、空間分布は該窓形に従って定義される。すなわち、楕円窓上でのガウス分布の例では、楕円座標が使われる。
本発明の一つの主要な側面は、集合画像ASSEM(t-1)が実際に、初期画像のピクセルごとのいくつかのゆがめられた画像をマージすることを許容するという事実にある。事実、いくつかの近接する重心に付随する近傍窓win(Cn)は実際に重なり合うことができる(窓の大きさ、特徴のカーブ……のため)。この重なり領域に属するピクセルqを見るとき、特にこのピクセルがある特徴に付随しているとき、対応する複数のREGISTn (t-1)画像のそれぞれがqについての情報を集合画像ASSEM(t-1)に寄与することになる。
これはそれ自身、通常の、たとえば点と点が対応するような補間技法よりも改善である。実際、使用される楕円窓が特徴重心に直交する方向に非常に引き延ばされていて窓と窓の重なり領域が少なくなっている場合、これまで述べてきた重み付け操作が点と点の対応をエミュレートすることがわかる。
この改善の直接的な結果は、検出された特徴の外部でのベクトル場の外挿にある。たとえば図4の例における重心108および105の先にあるそのようなデータのためには、画像のそれらの領域では追加的な同定された特徴がないため、「ゆがみ」情報が得られない。これらの特徴に対して近接する窓win(Cn)を使うことにより、t−1およびtにおける画像の間の対応についての情報が得られる。
その後のステップ41では、関心のあるオブジェクトおよび背景の時間的積分が、集合画像のシーケンスからの少なくとも一つの画像および入力画像のシーケンスからの一つの画像を使って、実行される。このステップの結果は処理された画像であり、これは合成(composite)画像COMP(t)とも呼ばれる。時間積分を通じて、同定された部分に対する各ピクセルの強度は増加され、その一方、背景の詳細はぼかされ、ノイズは低下させられる。
ある好ましい、図2Bに機能ブロックとして表される実施形態では、時間的積分は瞬間tにおける現在の画像Mと瞬間t−1において決定される集合画像ASSEM(t-1)とを使用する。ステップ60で瞬間t−1における画像から始めて、上記した位置合わせステップ14および重み付けされた組み合わせステップ31はステップ62におけるASSEM(t-1)へと導く。ステップ64の時間積分は再帰的なフィルタであり、重み付け因子α∈[0,1]を使って、集合画像ASSEM(t-1)と現在の画像M(t)との組み合わせとして合成画像COMP(t)を決定する。αの選択により、はいってくる画像により焦点を当てるか前の画像により焦点を当てるかが許容される。結果として得られる組み合わせは、関心のあるオブジェクトをさらに向上させ、その一方で背景をぼかし、ノイズを減らすことを許容する。先述したように、ASSEM(t-1)においては、同定された諸特徴部分はM(t)におけるそれぞれ同じ同定された部分と同期されている。よって、これら二つの画像を使った時間積分は、同定された部分に関するピクセル強度を追加し、その一方で(これら二つの画像にわたってコヒーレントでない)背景に関するピクセルをぼかし、ノイズを減らす。
ある代わりの実施形態では、処理された画像を考慮に入れ、それらを現在の画像M(t)に組み合わせるために、瞬間tにおける結果として得られる合成画像は、次の瞬間に際して、取得されたシーケンスからの入力画像に代わって再利用される(図2Aおよび2Bの両図で点線で表され、図2Bではステップ66に対応するように)。この代わりの実施形態を実装するため、瞬間tにおいて、ステップ11の特徴部分検出、ステップ14の部分の位置合わせおよびステップ31の重み付けされた組み合わせが、前の時点での処理された画像、すなわち合成画像COMP(t-1)を使って実行される。合成画像のシーケンスは取得された画像のシーケンスからのある画像、たとえば最初の画像を使って初期化できる。
時間積分は二つの画像に限定されなくてもよい。代わりの実施形態では、合成画像COMP(t-1)は、所与のNTI枚の画像の算術平均として得ることができる。以前に、瞬間t−NTI+1からt−1までに集合されたNTI−1枚と、瞬間tにおける現在の画像である。それについていえば、所与の数の以前に集合された画像と現在の画像とのいかなる重み付けられた組み合わせを使ってもよい。結果として得られる合成画像COMP(t-1)を、図2Bのステップ66のように、取得されたシーケンスからの入力画像の代わりに再利用してもよい。
時間積分技法を使うと、シーケンスが進むにつれ、画像はますます改善される。合成画像のシーケンスが位置合わせおよび重み付けされた組み合わせステップからの改善を蓄積するからである(生成されるコヒーレンスのおかげで特徴部分がより鮮鋭になる)。そして背景は一層ぼかされる(コヒーレンスの欠如)。実際、同定された部分の位置合わせののち、背景はいまだ動いている、および/またはいまだ非常にノイズが多い。換言すれば、時間積分ステップは、一連の画像における同じオブジェクトピクセルに対応する諸オブジェクトピクセルを積分し、それによりそれらの強度は増す。その一方、前記積分ステップは一連の画像で同じ背景ピクセルに対応しない諸背景ピクセルを積分するので、その強度は減少する。ノイズはこうして低下する。
よって、本発明に基づく方法の重要な諸ステップは、実は、動き補正された時間積分(ステップ41)が重み付け組み合わせ(ステップ31)によってさらに補強されたものである。これらのステップはこの順序で実行されようと逆順だろうと構わない。時間積分は関心のあるオブジェクト(およびその特徴部分)と背景の両方に適用されるものの、動き補正、すなわち位置合わせは関心のあるオブジェクトに適用され、背景には適用されない。背景は各重心のまわりに適用されるフィルタ核によってさらにおぼろになる。
本発明に基づくある代替的な実施形態(図2Aには示さず)では、時間積分ステップ41は実際には同定された部分の位置合わせされた画像15に対して、すなわちステップ31の重み付けされた組み合わせの前に実行されてもよい。これは複数の合成画像系列を生じる。同定された部分それぞれについて一つの系列である。その際、重み付けされた組み合わせ31はこれまでに述べたようにして実行されるが、別個に同定された部分の各合成画像系列に対してである。
図2Aの最後のステップでは、合成画像が表示される。
もう一つの実施形態では、異なる画像シーケンスにおいてエッジを補強するために、エッジ22の画像につながる向上ステップ21が、諸部分の位置合わせ(図2Aのステップ14)、重み付けされた組み合わせ(ステップ31)または時間積分(ステップ41)のいずれかのあとにさらに追加されることができる。先述したように時間積分ステップから得られる合成画像がステップ14で再利用される場合、それらの画像は再利用される前に向上される。もう一つの例では、表示される合成画像だけがステップ21を通じて向上される。
本発明はまた、ノイズのある画像のシーケンスにおいて動いている背景上に表現されている関心のあるオブジェクトを向上させるための、および向上された画像のシーケンスを表示するための装置をも提供する。本装置はさらに、画像のシーケンスを取得するための取得手段および本発明に基づく方法を実装するための処理手段を有する。
本発明は、本出願の教示に従ってプログラムされた、通常の汎用デジタルコンピュータまたはマイクロプロセッサを使って便利に実装されうる。本装置は有利には医療撮像システムの一部である。
図5は、本発明に基づくコンピュータシステム300のブロック図である。コンピュータシステム300は、CPU(中央処理装置)310、メモリ320、入力装置330、入出力伝送チャネル340および表示装置350を有することができる。追加的なディスクドライブ、追加的なメモリ、ネットワーク接続……といったその他の装置も含めてもよいが、図示してはいない。
メモリ320は、向上させるべきオブジェクトをもつ入力画像Mを含むソースファイルを含む。メモリ320はさらに、CPU310によって実行されることが意図されたコンピュータプログラムプロダクトを含むことができる。このプログラムは、上で述べた方法を実行するための命令を有する。入力装置は、たとえば画像中のROIおよび/もしくは目印の位置を選択するため、ならびに/または本方法の種々の段階もしくは実施形態を実行するか否かのために、ユーザーからの命令を受け取るために使われる。入出力チャネルは、メモリ320に格納されるべき入力画像Mを受け取るために、また他の装置に合成画像(出力画像)を送るために使用できる。表示装置は、入力画像からの結果として得られる向上されたオブジェクトを有する出力画像を可視化するために使用できる。
血管形成インターベンションを示す図である。 血管形成インターベンションを示す図である。 本発明に基づくシステムの機能ブロック図である。 本発明に基づくシステムの機能ブロック図である。 動いているオブジェクトにおける一つの同定された特徴部分に関する目印位置合わせの段階を示す図である。 動いているオブジェクトにおけるいくつかの同定された特徴部分に関する一つの目印位置合わせの段階および位置合わせされた画像の重み付けを示す図である。 本発明の教示に従ってプログラムされた汎用コンピュータの概略図である。

Claims (14)

  1. 画像のシーケンスにおいて背景に対して関心のあるオブジェクトを向上させるための、前記画像のシーケンスを取得するための取得手段と、前記画像を処理するための処理手段とを有する装置であって、前記処理手段が:
    ・取得された画像のシーケンスからの画像において関心のあるオブジェクトに関係する、少なくとも二つの別個に同定される部分をもつ特徴を抽出するための抽出手段と、
    ・各同定された部分を、取得された画像のシーケンスからのある画像に対して別個に位置合わせし、同定された諸部分の位置合わせされた諸画像を生じる位置合わせ手段と、
    ・前記関心のあるオブジェクトからのすべての位置合わせされた同定された部分を、該位置合わせされた同定された部分の重み付けされた組み合わせを使って集合させ、集合された画像を生じる集合手段、
    とを有する装置。
  2. 前記同定された部分と前記背景の両方を、少なくとも一枚の集合されたまたは位置合わせされた画像と一枚の取得された画像にわたって積分するための時間積分手段をさらに有する、請求項1記載の装置。
  3. 前記位置合わせ手段によって使用される、前記取得された画像のシーケンスからの画像が現在の画像である、請求項1記載の装置。
  4. 前記時間積分手段によって使用される、前記少なくとも一枚の集合された画像が、現在の画像の直前の画像に対応する集合画像である、請求項3記載の装置。
  5. 前記時間積分手段によって使用される前記取得された画像が現在の画像である、請求項4記載の装置。
  6. 前記時間積分手段が、前記集合されたまたは位置合わせされた画像と現在の画像との重み付けされた和として合成画像を生じる、請求項5記載の装置。
  7. 前記抽出手段が前記合成画像に適用される、請求項6記載の装置。
  8. 前記集合手段によって実行される組み合わせにおいて使用される重み付け係数が、各同定された部分を中心とする窓の上で定義され、該窓の外では0である、請求項1記載の装置。
  9. 前記重み付け係数が、前記窓の上で定義されたガウスフィルタ核に対応する、請求項8記載の装置。
  10. 前記同定された部分の間接的な位置特定を許容するために前記抽出手段が目印に適用される、請求項1記載の装置。
  11. 前記時間積分手段、前記集合手段および/または前記抽出手段から発される画像中の鮮鋭な詳細を向上させる向上手段をさらに有する、請求項1記載の装置。
  12. 関心のあるオブジェクトを描いた入力画像を取得するための手段と、請求項1ないし11のうちいずれか一項記載の該入力画像中のオブジェクトを向上させる装置とを有する、医療撮像システム。
  13. ノイズのある画像のシーケンスにおいて動いている背景上に表現された関心のあるオブジェクトを向上させるための方法であって:
    ・画像のシーケンスを取得する段階と、
    ・取得された画像のシーケンスからの画像において背景上にある関心のあるオブジェクトに関係する、少なくとも二つの別個に同定される部分をもつ特徴を抽出する段階と、
    ・各同定された部分を、取得された画像のシーケンスからのある画像に対して別個に位置合わせし、同定された諸部分の位置合わせされた諸画像を生成する段階と、
    ・前記関心のあるオブジェクトからのすべての位置合わせされた同定された部分を、該位置合わせされた同定された部分の重み付けされた組み合わせを使って集合させ、集合された画像を生じる段階、
    とを有する方法。
  14. 画像処理装置の処理ユニットにおける実行のためのコンピュータプログラムであって、前記処理ユニットにおいて走らされたときに請求項13記載の向上方法を実行する命令を有している、コンピュータプログラム。
JP2007542442A 2004-11-24 2005-11-21 ノイズのある画像における構造を向上させるための多特徴時間フィルタリング Expired - Fee Related JP5107720B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP04300809.3 2004-11-24
EP04300809 2004-11-24
PCT/IB2005/053831 WO2006056924A1 (en) 2004-11-24 2005-11-21 Multi-feature time filtering for enhancing structures in noisy images

Publications (2)

Publication Number Publication Date
JP2008520320A true JP2008520320A (ja) 2008-06-19
JP5107720B2 JP5107720B2 (ja) 2012-12-26

Family

ID=36011171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007542442A Expired - Fee Related JP5107720B2 (ja) 2004-11-24 2005-11-21 ノイズのある画像における構造を向上させるための多特徴時間フィルタリング

Country Status (7)

Country Link
US (1) US7844126B2 (ja)
EP (1) EP1817743B1 (ja)
JP (1) JP5107720B2 (ja)
CN (1) CN101065772B (ja)
AT (1) ATE395669T1 (ja)
DE (1) DE602005006837D1 (ja)
WO (1) WO2006056924A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013521849A (ja) * 2010-03-12 2013-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 血管造影画像内の動きの視覚化
JP2014050747A (ja) * 2008-10-27 2014-03-20 Toshiba Corp X線診断装置および画像処理装置
JP2014525308A (ja) * 2011-09-06 2014-09-29 コーニンクレッカ フィリップス エヌ ヴェ 血管治療結果可視化
JP2017131634A (ja) * 2016-01-26 2017-08-03 ゼネラル・エレクトリック・カンパニイ 撮影された被検体内の複数の低コントラストの物体の、向上した視覚化を行うシステムおよび方法
US10188362B2 (en) 2017-01-20 2019-01-29 Shimadzu Corporation X-ray fluoroscopy and imaging apparatus
US10980498B2 (en) 2015-12-28 2021-04-20 Shimadzu Corporation Radiography apparatus

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005104951A1 (en) * 2004-04-29 2005-11-10 Koninklijke Philips Electronics N.V. Viewing system for control of ptca angiograms
US11064964B2 (en) 2007-03-08 2021-07-20 Sync-Rx, Ltd Determining a characteristic of a lumen by measuring velocity of a contrast agent
US10716528B2 (en) 2007-03-08 2020-07-21 Sync-Rx, Ltd. Automatic display of previously-acquired endoluminal images
US9629571B2 (en) 2007-03-08 2017-04-25 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US11197651B2 (en) 2007-03-08 2021-12-14 Sync-Rx, Ltd. Identification and presentation of device-to-vessel relative motion
US9375164B2 (en) 2007-03-08 2016-06-28 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US8781193B2 (en) 2007-03-08 2014-07-15 Sync-Rx, Ltd. Automatic quantitative vessel analysis
JP5639764B2 (ja) 2007-03-08 2014-12-10 シンク−アールエックス,リミティド 運動する器官と共に使用するイメージング及びツール
US9968256B2 (en) 2007-03-08 2018-05-15 Sync-Rx Ltd. Automatic identification of a tool
DE102007019328A1 (de) * 2007-04-24 2008-11-06 Siemens Ag Verfahren zur hochauflösenden Darstellung filigraner Gefäßimplantate in angiographischen Aufnahmen
BRPI0817024A2 (pt) * 2007-09-21 2015-03-24 Koninkl Philips Electronics Nv Método para realçar uma estrutura móvel de interesse em uma seqüência de imagens, sistema de geração de imagem, meio legível por computador, elemento de programa, método para exibir uma seqüência de imagens, dispositivo de exibição, e, seqüência de imagens
WO2009111670A1 (en) * 2008-03-06 2009-09-11 Ev3 Endovascular, Inc. Image enhancement and application functionality for medical and other uses
US10362962B2 (en) 2008-11-18 2019-07-30 Synx-Rx, Ltd. Accounting for skipped imaging locations during movement of an endoluminal imaging probe
US9095313B2 (en) 2008-11-18 2015-08-04 Sync-Rx, Ltd. Accounting for non-uniform longitudinal motion during movement of an endoluminal imaging probe
US11064903B2 (en) 2008-11-18 2021-07-20 Sync-Rx, Ltd Apparatus and methods for mapping a sequence of images to a roadmap image
US9101286B2 (en) 2008-11-18 2015-08-11 Sync-Rx, Ltd. Apparatus and methods for determining a dimension of a portion of a stack of endoluminal data points
US9144394B2 (en) 2008-11-18 2015-09-29 Sync-Rx, Ltd. Apparatus and methods for determining a plurality of local calibration factors for an image
US9974509B2 (en) 2008-11-18 2018-05-22 Sync-Rx Ltd. Image super enhancement
CN102346911A (zh) * 2010-07-28 2012-02-08 北京集翔多维信息技术有限公司 在数字减影血管造影图像序列中分割血管的方法
EP2723231A4 (en) 2011-06-23 2015-02-25 Sync Rx Ltd LUMINAL BACKGROUND CLEANING
EP2654015A1 (en) 2012-04-21 2013-10-23 General Electric Company Method, system and computer readable medium for processing a medical video image
EP2863802B1 (en) 2012-06-26 2020-11-04 Sync-RX, Ltd. Flow-related image processing in luminal organs
CN105812068B (zh) * 2016-03-23 2018-05-04 国家电网公司 一种基于高斯分布加权的噪声抑制方法及装置
US11151726B2 (en) * 2018-01-10 2021-10-19 Canon Medical Systems Corporation Medical image processing apparatus, X-ray diagnostic apparatus, and medical image processing method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003513376A (ja) * 1999-10-26 2003-04-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像処理方法、システム及び糸状構造を表わす画像シーケンス内の雑音低減装置
WO2003045263A2 (en) * 2001-11-30 2003-06-05 Koninklijke Philips Electronics N.V. Medical viewing system and method for enhancing structures in noisy images
WO2003049032A2 (en) * 2001-12-07 2003-06-12 Koninklijke Philips Electronics N.V. Medical viewing system and method for spatially enhancing structures in noisy images
JP2004501723A (ja) * 2000-06-30 2004-01-22 セダーズ−シナイ メディカル センター 冠状管ステント配置のための改良された画像ガイダンス方法
WO2004044847A1 (en) * 2002-11-13 2004-05-27 Koninklijke Philips Electronics N.V. Medical viewing system and method for detecting boundary structures
WO2004051572A2 (en) * 2002-12-04 2004-06-17 Koninklijke Philips Electronics N.V. Medical viewing system and method for detecting borders of an object of interest in noisy images

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128108A (en) * 1997-09-03 2000-10-03 Mgi Software Corporation Method and system for compositing images
IL121773A0 (en) 1997-09-15 1998-02-22 Elscint Ltd Method for improving CT images having high attenuation objects
US6125193A (en) 1998-06-01 2000-09-26 Kabushiki Kaisha Toshiba Method and system for high absorption object artifacts reduction and superposition
US6332035B1 (en) 1999-06-23 2001-12-18 The Board Of Trustees Of The University Of Illinois Fast hierarchical reprojection algorithms for 3D radon transforms
US6411670B1 (en) 1999-11-17 2002-06-25 General Electric Company Data rebinning to increase resolution in CT image reconstruction
DE10306555A1 (de) * 2002-03-06 2003-09-18 Siemens Ag Verfahren zur Bearbeitung einer mit einem dynamischen Bildwandler, insbesondere einem Festkörperbilddetektor aufgenommenen Strahlungsbildsequenz bestehend aus mehreren nacheinander aufgenommenen Strahlungsbildern eines Untersuchungsobjekts

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003513376A (ja) * 1999-10-26 2003-04-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像処理方法、システム及び糸状構造を表わす画像シーケンス内の雑音低減装置
JP2004501723A (ja) * 2000-06-30 2004-01-22 セダーズ−シナイ メディカル センター 冠状管ステント配置のための改良された画像ガイダンス方法
WO2003045263A2 (en) * 2001-11-30 2003-06-05 Koninklijke Philips Electronics N.V. Medical viewing system and method for enhancing structures in noisy images
WO2003049032A2 (en) * 2001-12-07 2003-06-12 Koninklijke Philips Electronics N.V. Medical viewing system and method for spatially enhancing structures in noisy images
WO2004044847A1 (en) * 2002-11-13 2004-05-27 Koninklijke Philips Electronics N.V. Medical viewing system and method for detecting boundary structures
WO2004051572A2 (en) * 2002-12-04 2004-06-17 Koninklijke Philips Electronics N.V. Medical viewing system and method for detecting borders of an object of interest in noisy images

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10028711B2 (en) 2008-10-27 2018-07-24 Toshiba Medical Systems Corporation X-ray diagnosis apparatus and image processing apparatus
JP2018108413A (ja) * 2008-10-27 2018-07-12 キヤノンメディカルシステムズ株式会社 X線診断装置
JP2019084382A (ja) * 2008-10-27 2019-06-06 キヤノンメディカルシステムズ株式会社 画像処理装置及びx線診断装置
JP2014237041A (ja) * 2008-10-27 2014-12-18 株式会社東芝 X線診断装置
JP2015165942A (ja) * 2008-10-27 2015-09-24 株式会社東芝 X線診断装置
US9532754B2 (en) 2008-10-27 2017-01-03 Toshiba Medical Systems Corporation X-ray diagnosis apparatus and image processing apparatus
US12310771B2 (en) 2008-10-27 2025-05-27 Canon Medical Systems Corporation X-ray diagnosis apparatus and image processing apparatus
US11540790B2 (en) 2008-10-27 2023-01-03 Canon Medical Systems Corporation X-ray diagnosis apparatus and image processing apparatus
JP2014050747A (ja) * 2008-10-27 2014-03-20 Toshiba Corp X線診断装置および画像処理装置
US11937959B2 (en) 2008-10-27 2024-03-26 Canon Medical Systems Corporation X-ray diagnosis apparatus and image processing apparatus
US10827991B2 (en) 2008-10-27 2020-11-10 Canon Medical Systems Corporation X-ray diagnosis apparatus and image processing apparatus
US10456095B2 (en) 2008-10-27 2019-10-29 Canon Medical Systems Corporation X-ray diagnosis apparatus and image processing apparatus
JP2013521849A (ja) * 2010-03-12 2013-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 血管造影画像内の動きの視覚化
JP2014525308A (ja) * 2011-09-06 2014-09-29 コーニンクレッカ フィリップス エヌ ヴェ 血管治療結果可視化
US10980498B2 (en) 2015-12-28 2021-04-20 Shimadzu Corporation Radiography apparatus
JP2017131634A (ja) * 2016-01-26 2017-08-03 ゼネラル・エレクトリック・カンパニイ 撮影された被検体内の複数の低コントラストの物体の、向上した視覚化を行うシステムおよび方法
US10188362B2 (en) 2017-01-20 2019-01-29 Shimadzu Corporation X-ray fluoroscopy and imaging apparatus

Also Published As

Publication number Publication date
CN101065772B (zh) 2010-08-18
DE602005006837D1 (de) 2008-06-26
CN101065772A (zh) 2007-10-31
WO2006056924A1 (en) 2006-06-01
US7844126B2 (en) 2010-11-30
EP1817743A1 (en) 2007-08-15
JP5107720B2 (ja) 2012-12-26
US20080199097A1 (en) 2008-08-21
ATE395669T1 (de) 2008-05-15
EP1817743B1 (en) 2008-05-14

Similar Documents

Publication Publication Date Title
JP5107720B2 (ja) ノイズのある画像における構造を向上させるための多特徴時間フィルタリング
JP4426297B2 (ja) ノイズの多い画像中の構造を強調する医用ビューイングシステム及び方法
CN101166481B (zh) 利用图像获取装置的移动探测并增强噪声图像中静止结构的医疗观察系统
JP4804005B2 (ja) 境界構造を検出するための医用ビューイングシステム及び方法
JP5965840B2 (ja) 血管ロードマッピング
JP4430937B2 (ja) ノイズの多い画像中で構造を空間的に強調する医用ビューイングシステム及び方法
JP4988557B2 (ja) Ptca血管造影図の制御に対するビューイング装置
CN101242787A (zh) 用盲去卷积空间增强具有噪声的图像中的结构的系统和方法
CN103239246B (zh) 医用图像处理装置、医用图像处理方法以及x射线摄影装置
JP2005524419A (ja) ノイズの多い画像において構造物を検出し、強調させるための医療観察装置及び方法
EP3346923B1 (en) Enhanced imaging of a vascular treatment
JP6750425B2 (ja) 放射線画像処理装置および放射線画像処理方法
Karar et al. Localization and tracking of aortic valve prosthesis in 2D fluoroscopic image sequences

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121004

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees