[go: up one dir, main page]

JP3774192B2 - イメージセンサを用いた測定方法及び装置 - Google Patents

イメージセンサを用いた測定方法及び装置 Download PDF

Info

Publication number
JP3774192B2
JP3774192B2 JP2002541369A JP2002541369A JP3774192B2 JP 3774192 B2 JP3774192 B2 JP 3774192B2 JP 2002541369 A JP2002541369 A JP 2002541369A JP 2002541369 A JP2002541369 A JP 2002541369A JP 3774192 B2 JP3774192 B2 JP 3774192B2
Authority
JP
Japan
Prior art keywords
light
output
image sensor
correction data
linearization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002541369A
Other languages
English (en)
Other versions
JPWO2002039094A1 (ja
Inventor
敦 和田
浩司 江川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arkray Inc
Original Assignee
Arkray Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arkray Inc filed Critical Arkray Inc
Publication of JPWO2002039094A1 publication Critical patent/JPWO2002039094A1/ja
Application granted granted Critical
Publication of JP3774192B2 publication Critical patent/JP3774192B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/59Transmissivity
    • G01N21/5907Densitometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/10Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • G01J1/12Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using wholly visual means
    • G01J1/122Visual exposure meters for determining the exposure time in photographical recording or reproducing
    • G01J1/124Visual exposure meters for determining the exposure time in photographical recording or reproducing based on the comparison of the intensity of measured light with a comparison source or comparison illuminated surface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/10Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • G01J1/16Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using electric radiation detectors
    • G01J1/1626Arrangements with two photodetectors, the signals of which are compared
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G01N21/274Calibration, base line adjustment, drift correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/59Transmissivity
    • G01N21/5907Densitometers
    • G01N2021/5915Processing scan data in densitometry
    • G01N2021/5949Correcting nonlinearity of signal, e.g. in measurement of photomedium
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/59Transmissivity
    • G01N21/5907Densitometers
    • G01N2021/5957Densitometers using an image detector type detector, e.g. CCD

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Description

技術分野
本発明は試験片などの被測定物を光照射しその被測定物からの光をエリアセンサやイメージスキャナなどのイメージセンサで受光して二次元的又は一直線に沿って測定する測定方法、その測定値に基づいて被検出部の試料濃度を求める被測定物測定方法及びそれらを実現するための装置に関するものである。
本発明で測定対象とする被測定物からの光は、反射光、透過光、蛍光、燐光、化学発光など、定量測定や定性測定に使用されるあらゆる光を含んでいる。
背景技術
光検出器にはフォトダイオードのような単素子の光検出素子、フォトダイオードアレイのような光検出素子がライン上に配列されたリニアセンサ、及びCCD(電荷結合デバイス)センサやCMOSセンサのように光検出素子が二次元に配列されたイメージセンサがある。
被測定物からの光を測定する測定装置のセンサとしては、精度の良さ、コストパフォーマンス、技術的難易度の観点から主にフォトダイオードが用いられている。しかし、フォトダイオードを用いて複数項目の反射率等を得ようとした場合、光学系あるいは被測定物を移動させる必要がある。
また、フォトダイオードはスポット径内の平均化されたデータを得るものであるため、斑発色検知に代表されるような発色具合の詳細検知を行なう場合には不向きである。
イムノクロマト試験片測定装置としても、光学系が試験片上を移動しながら測光する駆動測光式のものが検討されているのみである。
これらの問題を解消する一つの手段として、イメージセンサの採用が考えられる。イメージセンサのデータは対象領域の画像情報であるため、1フレームの情報から複数の項目の測定、斑発色の検知、試験片の位置ずれの補正等を行なうことができる。
イメージセンサによって対象物の形状や色彩を検出することは広く知られている。例えば、免疫測定用のテストストリップの画像をCCDカメラで取り込み、画像の面積又は縦と横の長さの比率に基づいて判定を行なう方法が提案されている(特開平9−257708号公報参照)。そこでは取り込んだ信号を輝度信号として二値化した後に画像の形状を測定しており、その画像内の濃淡を測定するものではない。
イメージセンサを用いて二次元的な測定を行なっている他の例としては、尿測定機がある。そこでは、尿試験紙の発色の濃淡(明度)ではなく、色調(色相)を判定することによって測定するのが一般的であり、カラーCCDが用いられている。
イメージセンサで試験片の二次元的な濃淡分布を精度よく検出しようとすると、光の照射むら、レンズの収差などのほか、イメージセンサのピクセル(画素)間の感度差により面内の光むらが発生する。そのため、精度よく検出を行なうために、機械的な駆動系を用いてセンサ又は試験片を移動させるのが一般的である。その場合、イメージセンサを用いていても、一次元のリニアセンサとして利用されているにすぎない。
CCDセンサやCMOSセンサなどのイメージセンサを用いて反射率等を二次元的に測定できるかどうかは不明である。
そこで、本発明の第1の目的は、イメージセンサを用いて被測定物からの光を二次元的に又は一直線に沿って測定できる測定方法及び装置を提供することである。
また、本発明の第2の目的は、イメージセンサを検出器に用いた被測定物からの光の測定に基づいてイムノクロマト試験片などの被測定物の定量測定を行なうことのできる被測定物の測定方法及び装置を実現することである。
発明の開示
第1の目的を達成するための本発明の測定方法は、被測定物からの光をイメージセンサで受光し、そのイメージセンサの各ピクセル出力に対して前処理を施し、その前処理後のピクセル出力の積分値を算出することを特徴とする。ピクセル出力の前処理は、イメージセンサの出力が入射光量に比例するようにイメージセンサの出力を補正する直線化補正、及び基準物を測定したときにイメージセンサの各ピクセル出力を直線化補正したものが均一になるように各ピクセル出力を補正する光むら補正を含んでいる。
基準物として、例えば面内で濃淡が均一な反射板又はブランク(被測定物を置かないで測定光を全てイメージセンサに入射させる状態)を用いる。
これにより、反射率を二次元的に又は一直線に沿って簡便に測定できるようになる。
もし、検出範囲を発色領域だけに固定した場合、被測定物の位置ずれによって検出強度に影響がでる。また、被測定物の発色後の強度と面積が変動すれば、測定結果のばらつきが大きくなる。
そこで、被測定物の発色領域からの光の積分値を求める好ましい方法として、被測定物の発色領域よりも大きい領域で非発色領域を含めて測定した後、発色領域からの光の積分値を求める。その方法として、被測定物の発色領域を挟む2点のピクセル出力を結ぶ直線をピクセル出力のベースライン値とし、被測定物の各位置に対応するピクセル出力をベースライン値により変換した値を基にして求めるのが好ましい。
そのような被測定物からの光の積分値算出方法によれば、被測定物の非発色領域も含めて演算するが、発色領域の強度は損なわれない。被測定物の位置が多少ずれても、発色領域が検出範囲内にあれば、演算結果への影響を回避できる。
そして、被測定物の発色領域を挟む2点のピクセル出力、すなわち発色領域の両端部の非発色部分のピクセル出力を結ぶ直線をベースライン値とするので、被測定物の着色による強度変動、被測定物の高さや勾配などによる強度変動を軽減することができる。
その結果、被測定物の発色強度や面積が変動しても、演算結果への影響を回避することができる。
前処理の直線化補正の第1の局面は、次の工程(A)と(B)を含んだものである。
(A)受光する光量に対して出力が直線性をもつ光検出器を別途設け、前記イメージセンサに入射する光をその光検出器にも同時に入射させるとともに、その入射光量を変化させたときのイメージセンサ出力と前記光検出器の出力との関係を直線化データとして保持しておく工程、及び
(B)被測定物を測定したときのイメージセンサ出力を前記直線化データに基づいて前記光検出器の出力に比例するように補正する工程。
前処理の直線化補正の第2の局面は、次の工程(A)と(B)を含んだものである。
(A)発生する光が既知で互いに異なる複数の標準板を用意し、それらの標準板を測定したときのイメージセンサ出力と標準板からの光との関係を直線化データとして保持しておく工程、及び
(B)被測定物を測定したときのイメージセンサ出力を直線化データに基づいて標準板からの光に比例するように補正する工程。
前処理の直線化補正の第3の局面は、次の工程(A)と(B)を含んだものである。
(A)前記イメージセンサは露光時間の設定が可変なものであり、1つの基準物を測定する露光時間を複数段階に異ならせて測定したときのイメージセンサ出力と露光時間との関係を、露光時間に比例した基準物からの光に関する直線化データとして保持しておく工程、及び
(B)被測定物を測定したときのイメージセンサ出力を直線化データに基づいて露光時間から導かれる基準物からの光に比例するように補正する工程。
本発明の測定方法を実施するための測定装置は、被測定物からの光を受光するイメージセンサと、そのイメージセンサの各ピクセル出力を用いて、被測定物の面内からの光の積分値を算出する算出部とを備えている。
第2の目的を達成するための本発明の被測定物測定方法は、本発明の方法により求めた積分値に、その積分値と被測定物の試料濃度との関係を表わす検量線データを適用して被測定物の試料濃度を算出するものである。
これにより、イムノクロマト試験片などの被測定物の濃度測定を簡便に行なうことができるようになる。
本発明の被測定物測定方法を実施するための被測定物測定装置は、本発明の測定装置に、被測定物からの光の積分値と被測定物の試料濃度との関係を保持している検量線データ保持部と、算出部で求められた被測定物からの光の積分値に検量線データ保持部の検量線データを適用して被測定物の試料濃度を算出する定量部とをさらに備えたものである。
発明を実施するための最良の形態
イメージセンサを用いて、反射率等をもとにした定量測定を行なおうとすると、次のような問題が生じる。
(1)光量に対するリニアセンサのピクセルの出力特性は、フォトダイオードのような直線性をもったものではなく、光量の小さい領域と大きい領域で直線から外れたS字型の感度特性をもっている。そのため定量には適さないと考えられてきた。
(2)二次元的又は一次元的な測定を行なおうとすると、光の照射むら、レンズの収差、場所によるピクセルの感度のバラツキなどに基づいて面内での光むらが発生するため、定量結果に場所的なバラツキが生じる。
そこで、イメージセンサを検出器に用いた場合に起こるこれらの問題を解決することは、機械的な駆動系を必要としない簡便な二次元の測定装置を実現する上で好ましいことである。
以下では反射率を測定する場合を例として説明するが、本発明は反射率に代えて透過率、蛍光、燐光、化学発光などを測定する場合にも同様に適用することができる。
本発明を反射率測定装置に適用した実施の形態の概略を第1図に示す。
その反射率測定装置は、試験片を保持する試料台と、試料台に保持された試験片を光照射する光源と、試料台に保持された試験片からの反射光を受光するイメージセンサ8と、イメージセンサ8の出力が入射光量に比例するようにイメージセンサの出力を補正する直線化補正データを保持した直線化補正データ保持部102と、イメージセンサ8の出力を直線化補正データ保持部102に保持された直線化補正データに基づいて直線化補正する直線化補正部104と、試験片として面内で濃淡が均一な平板を測定したときのイメージセンサ8の各ピクセル出力を直線化補正データで補正したものが均一になるように各ピクセル出力を補正する光むら補正データを保持した光むら補正データ保持部106と、直線化補正されたイメージセンサ出力を光むら補正データ保持部106に保持された光むら補正データに基づいて光むらを補正する光むら補正部108と、面内に濃淡を持つ試験片を測定したときのイメージセンサ8の各ピクセル出力で、直線化補正と光むら補正が施された出力を用いて、その試験片の面内における反射率の積分値を算出する反射率算出部110とを備えている。
直線化補正部104はイメージセンサ8の出力を直線化補正データ保持部102に保持された直線化補正データに基づいて直線化補正する。光むら補正部108は直線化補正されたイメージセンサ出力を光むら補正データ保持部106に保持された光むら補正データに基づいて光むらを補正する。反射率算出部110は面内に濃淡を持つ試験片を測定したときのイメージセンサ8の各ピクセル出力で、直線化補正と光むら補正が施された出力を用いて、その試験片の面内における反射率の積分値を算出する。
この反射率測定装置を用いて撮像した生の画像情報は、イメージセンサ8の各ピクセル感度の個体差、LED4の照射むら、レンズ6のコサイン4乗則(収差)などの影響を受ける。「光むら」はこれらの全ての影響を受けて生じたものである。
試験片測定装置は、上の反射率測定装置にさらに、反射率と試験片の試料濃度との関係を保持している検量線データ保持部112と、反射率算出部で求められ積分された反射率に検量線データ保持部112の検量線データを適用して試験片の試料濃度を算出する定量部114とを備えている。
検量線データ保持部112に保持される検量線データは、他の試験片測定装置で求めたものを用いることもできるが、イメージセンサの感度特性や装置の光むらなどを考えれば、用いる試験片測定装置自体で標準試料を測定して定量部で検量線データを作成し、検量線データ保持部112に保持するようにするのがよい。
この実施の形態では、試験片を光照射しその被検出部からの反射光をイメージセンサ8で受光した後、次の(A)直線化補正と(B)光むら補正によってイメージセンサ8の出力を補正する。
(A)直線化補正部104による直線化補正では、直線化補正データ保持部102に保持された直線化補正データに基づいて、光量を変化させたときのイメージセンサ8の出力が光量に比例するようにイメージセンサ8の出力を補正する。
(B)光むら補正部108による光むら補正では、試験片として面内で濃淡が均一な平板を測定したときのイメージセンサ8の各ピクセル出力を直線化補正データで補正したものが均一になるように各ピクセル出力を補正する。
イメージセンサからの出力及び光検出器の出力は、光量がゼロのときの出力をダークデータとして差し引いたオフセット処理後の値であることが好ましい。
この実施の形態によれば、直線化補正によりイメージセンサ8からの出力が直線性をもったものになり、光むら補正により被測定面内での光むらがなくなり、機械的な駆動系を用いなくても試験片の面内での二次元又は一直線に沿った反射率測定を精度よく行なうことができるようになる。
そして、その反射率を基にして試験片の試料濃度を定量できるようになる。
[実施例1]
第1の実施例として、センサとしてエリアセンサを使用し、本発明の第1の局面による出力補正方法を適用した二次元の反射率測定装置を示す。
直線化補正データ保持部102に保持する直線化補正データと、光むら補正データ保持部106に保持する光むら補正データは、この反射率測定装置又は試験片測定装置において作成することができる。そのためには、第2図に示されるように、試料台に保持された試験片からの反射光を受光する位置に設けられ、受光する光量に対して出力が直線性をもつ光検出器10と、光源からの光量を変化させたときのイメージセンサ8の出力が光検出器10の出力に比例するようにイメージセンサ8の出力を補正する直線化補正データを作成して直線化補正データ保持部102へ保持させる直線化補正データ作成部122と、試験片として面内で濃淡が均一な平板を測定したときのイメージセンサ8の各ピクセル出力を直線化補正データで補正したものが均一になるように各ピクセル出力を補正する光むら補正データを作成して光むら補正データ保持部106へ保持させる光むら補正データ作成部124をさらに備えていることが好ましい。
直線化補正データ作成部122は、例えば、試験片として白板を測定し、画像内で最も明るいピクセル付近の幾つかのピクセルを選択して、それらのピクセル出力の平均値を用いて直線化補正データを作成するものである。
光むら補正データ作成部124は、例えば、試験片として白板を測定し、ピクセルが飽和光量に達したときの光量に対する一定割合の光量での画像データに対して光むら補正データを作成するものである。
イメージセンサ8として、例えばCCD型又はCMOS型センサを用いることができる。
受光する光量に対して出力が直線性をもつ光検出器10として、例えばフォトダイオードを用いることができる。
反射率算出部110は、その試験片面内の二次元又はその試験片面内の1つの直線上で反射率を積分するものである。
光学系を含むこの実施例の反射率測定装置の概要を第3図に示す。
2は被測定物である試験片であり、試料台(図示略)に保持されて所定の位置に載置される。臨床検査などの実際の測定では、試験片2は尿試験紙や免疫測定用試験紙などの試験紙、化学分析における薄層クロマトなどであるが、イメージセンサを補正する場合には表面での反射率が均一な白板が該当する。試験片2を照射するために、光源として3つのLED(発光ダイオード)4が試験片2の周囲上方に互いに120度間隔で同じ高さに配置され、試験片2の中心に向かって45度の入射角で試験片2を照射する。LED4はいずれも発光の中心波長が635nmのものである。
試験片2の上方には結像レンズ6を介してCMOSエリアセンサ8が配置されている。この実施例では、イメージセンサとしてCMOSエリアセンサを用いた。試験片2の反射光がそのレンズ6によってエリアセンサ8に結像されることにより、試験片2の画情報がエリアセンサ8により検出される。
LED4の光量を感知できる場所で、かつエリアセンサ8の画角外の場所に光検出器(PD)10が配置されている。光検出器10はフォトダイオードであり、受光する光量に対して出力が直線性をもっており、試験片2への照射光量を電圧に変換する。12はその光検出器10が受光した光量を電圧に変換する電圧計である。
破線のブロック14は、LED4、レンズ6、エリアセンサ8及び光検出器10がこの反射率測定装置の光学系を構成していることを示している。
破線のブロック20はエリアセンサドライブ回路であり、エリアセンサ8の出力を増幅する増幅器24、増幅されたアナログ出力をデジタル信号に変換するA/D変換器24及び取り込んだデジタル信号を一時的に保持するRAM(ランダム・アクセス・メモリ)26を備えている。エリアセンサドライブ回路20は、撮像時間などのレジスタ設定、画像データ取込み等、エリアセンサ8を制御するものである。また、エリアセンサドライブ回路20は、LED4の光量を調整したり、パソコン28とシリアル通信(56000bps)を行なったり、パソコン28からの命令を実行したりする。
パソコン28は、エリアセンサ8の各種レジスタ設定を行なったり、エリアセンサドライブ回路20に命令を与えたり、画像情報を取り込み、モニタに表示したりする。また、適宜の形式のフォーマットでデータを保存する。パソコン28は、第1図の枠100で囲まれたデータ処理部100内に含まれる各部、及び第2図の枠120で囲まれた補正データ作成部120内に含まれる各部の機能も実現するものである。
第4図は光学系14の具体例を示したものである。(a)は光学系の外観図であり、(b)はその垂直断面図、(c)は(b)における円内の拡大図である。
この光学系は、レンズ6から試験片2までの距離、及びレンズ6からエリアセンサ8までの距離を自在に微調整できる構造になっており、焦点あわせ、倍率の変更などが容易にできる。また、試験片2は試料台のベースプレート3ごと交換できるようになっている。
エリアセンサ8として三菱製CMOSイメージセンサ(H64283FP)を使用して反射率測定を行なった結果について説明する。
まず、エリアセンサ8の補正処理について説明する。
(1)オフセット処理(ダーク処理):
LED4の電流値を0(mV)としたときの、エリアセンサ8の出力(A/Dカウント値)をダーク(オフセット)とした。以降に記述する全ての演算結果(補正処理、反射率演算等)は、LED4照射時のエリアセンサ8の出力(A/Dカウント値)とダーク成分の差をエリアセンサ8の生出力(A/Dカウント値)とした。
(2)光量とエリアセンサ出力の関係(直線化補正):
試験片2に対してLED4が放つ光の量とエリアセンサ8の出力(VoutをA/D変換したカウント値)とは正比例の関係にはない。
第5図のグラフは、白板(ND(ニュートラル・デンシティ)9.5、反射率実測値87.00%(反射率実測値は分光測色計(MINOLTA CM−503c)により測定した(以下も同じ))を試験片2とし、LED4の光量を変化させたときのエリアセンサ8の出力を示している。横軸は光学系14内に配置した光検出器10の出力(mV)、縦軸はエリアセンサ8が最も強く光を受ける部分の連続して並ぶ適当な5ピクセルのデータを平均した値である。
光むら補正を行なうためには、エリアセンサ8の出力(A/Dカウント値)を光検出器10の出力(mV)に換算する処理を前処理として行なう必要がある。光むら補正を行なう前に、25℃の環境下で第5図の特性を測定し、その結果をもとにエリアセンサ8の各ピクセルの出力を補正演算する。
(3)画像のむら(光むら)補正:
この反射率測定装置を用いて撮像した生の画像情報は、エリアセンサ8の各ピクセル感度の個体差、LED4の照射むら、レンズ6のコサイン4乗則の影響などを受けて光むらを生じている。第6図は、白板(ND9.5、反射率実測値87.00%)を撮像し(画角範囲内は全て白板領域)、その画情報を3次元等高面グラフにしたものである。等高面は、画像を10×10の領域に分割し、各領域に含まれるピクセルの平均値から生成した。
白板のように濃淡具合の均一な平面を撮像した場合にも、光むらの影響を受けて画角内の濃淡情報がドーム状に変形してしまっていることが第6図のグラフから読み取れる。このドーム状に変形した画像情報を濃淡の一様な水平面に補正する処理は、エリアセンサ8を反射率測定装置の光検出器として用いる場合に必須である。本発明では、測定結果は、すべてこの光むら補正を施したものである。
本発明では、以下の手順によって補正処理を行なった。第7図を参照してその手順を説明する。
<補正参照データ獲得手順>
(1) 白板(ND9.5、反射率実測値87.00%)を試験片2とし、撮像した画像内の最も明るいピクセルが飽和光量に達するときの光検出器(PD)10の電圧値を求める(ステップS1〜S5)。
(2) 0(mV)からピクセルが飽和光量に達したときの光検出器10の電圧値を20等分し、21段階の各電圧値を求め、低い方からP0〜P21とする(ステップS6)。
(3) LED4の光量を調整し、光検出器10の電圧値が各段階になるようにセットする。それそれの光量で白板を撮像しデータを記憶する(21枚の画像データが得られる。0(mV)のときの画像はダークデータである)(ステップS7〜S11)。
(4) 全ての画像のデータをオフセット処理する(ピクセルごとに各画像データからダークデータの値を引く)(ステップS12)。
(5) 画像内で最も明るいピクセル付近の連続して並ぶ5ピクセルの値を平均する。この処理を各画像に対して行ない、光検出器10の電圧値に対するエリアセンサ出力の関係(第5図)を獲得する(ステップS13)。
この関係を直線化補正データとして直線化補正データ保持部102に記憶させる。
(6) 21枚の画像データのなかで、飽和光量×0.8あたりの画像データを光むら補正参照用白板データとする(ステップS14)。
<測定画像の光むら補正手顆>
(7) 測定画像の128×128ピクセル分のA/Dデータを直線化補正データ保持部102に保持された第5図の関係から光検出器10の電圧値に変換(PD電圧値変換:直線化処理)する(ステップS15)。変換は、第5図のグラフのサンプル点間を直線補間することにより行なう。
(8) (6)で獲得した光むら補正参照用白板データに対しても同様に、PD電圧値変換を行なう。
(9) 光むら補正参照用白板データ(PD電圧値変換後)対する測定画像のデータ(PD電圧値変換後)の比を128×128の各ピクセルに対して求める。この比を光むら補正データとして光むら補正データ保持部106に記憶させる(ステップS16)。
(ピクセル補正例)
前述までの補正方法により、生の各ピクセルの出力から反射光量を導いた例を示す。補正するピクセルは第8図に示す5点であり、それぞれ点1(32,32)、点2(96,32)、点3(64,64)、点4(32,96)、点5(96,96)とした。
第9図(a)のグラフは、白板(ND9.5、反射率実測値87.00%)を試験片2として、LED4の光量を変化させたときの、第8図で示す5点のエリアセンサの出力である。
これを第5図のグラフの関係からエリアセンサ出力(A/Dカウント値)を光検出器の電圧値に変換(PD電圧値変換)すると、第9図(b)のように補正される。第9図(b)では各点の反射光量に、光むらの影響などを受けて差異が生じているが、各点はLED4の光量に対して正比例の関係を持つようになる。
第9図(c)は(b)に対して光むら補正データを用いて光むらを補正したグラフである。各点はほぼ同一線上にプロットされている。(c)でエリアセンサの補正出力が1のときに完全に5点が一致するのは、この明るさの白板データから光むらを補正しているためである。(c)からは光量が下がるほど各点がばらつき、補正精度が悪くなっていることも読み取ることができる。
(領域補正例)
第10図(a)のグラフは、LED光量の暗いものから明るいものまで3段階に分けて白板(ND9.5、反射率実測値87.00%)を撮像し(画角範囲内は全て白板領域)、その画情報を並べて3次元等高面グラフにしたものである。等高面は、画像を10×10の領域に分割し、各領域に含まれるピクセルの出力の平均値から生成している。3つのドーム状の白板データのうち、左端のものが最も光量が少なく、右端のものが最も光量が多い。
右端の白板データは、真中の白板データに比べて光量が多いにもかかわらず最大値と最小値の差が狭くなっている。これは白板の明るい部分のピクセル光量が飽和量に近づいているためである。
第10図(a)のグラフに対して光むら補正を行なうと、第10図(b)のグラフのように平坦になる。
(同時再現性1)
同一ピクセルを対象に異なる反射率のNDペーパを撮像し、それらの濃淡値の比を反射率として演算した場合の同時再現性を検証した。
手順は次の通りである。
(1)LED4の電流値を0mAにし、ダーク(オフセット)画像を撮像する。
(2)ND9.5(反射率実測値87.00%)とND6.5(反射率実測値36.21%)をそれそれベースプレートに貼り付けたものを用意し、これらを交互に10回撮像する。
(3)各ピクセルを光むら補正した後で、1枚の画像を第11図のように11×11の領域(1つの領域は10×10=100ピクセル)に分割し、各領域の光量の平均値を算出する。この光量の平均値のND9.5とND6.5の比を反射率として、各領域について演算する。
表1は、10回測定したうちの1回分の測定結果である。表の上段はND9.5を撮像したときの各領域の光量の平均、中段はND6.5を撮像したときの各領域の光量の平均、下段は各々同じ領域の比を反射率として求めたものである。
Figure 0003774192
表中で、AVE.は平均値、C.V.(%)は変化率で、(標準偏差/平均値)を表わしている。Δは領域内の最大値と最小値との差を表わす。
表2は、10回測定した結果の各領域の反射率の平均値(上段)と各領域の反射率のばらつき(下段)を示したものである。
Figure 0003774192
表1、表2から各領域の反射率を比較すると、レンズ8の光軸付近(あるいはLED4の照射光が最も集光している部分)のばらつきが最も少なく、そこから同心円状に離れていくほどばらつきが多くなる傾向がみられる。これは、光軸から遠いほど補正量が多くなるためであると考えられる。
また、エリアセンサを用いて反射率を測定する場合の特徴として、濃淡が一様なはずの試験片を測定しても、各領域別に得られる反射率にかなりの差異があることがわかる。原因としては、光むら補正精度が場所によって異なることや、もともと試験片にある濃淡むらの影響が考えられる。
(同時再現性2)
同一画像内に異なる反射率のNDペーパを配置し、それらの濃淡値の比を反射率として演算した場合の同時再現性を検証した。手順は次の通りである。
(1)LED4の電流値を0mVにし、ダーク(オフセット)画像を撮像する。
(2)ND9.5(反射率実測値87.00%)とND6.5(反射率実測値36.21%)が画角に半分づつ入るようにベースプレートに貼り付けたものを用意し、これを10回撮像する。
(3)各ピクセルを光むら補正した後で、1枚の画像を第12図のように11×11の領域(1つの領域は10×10=100ピクセル)に分割し、各領域の光量の平均値を算出する。この光量の平均値のND9.5とND6.5の比を反射率として、各領域の反射率を算出する。
表3は、10回測定したうちの1回分の測定結果である。表3の上段左側はND9.5、上段右側はND6.5の各領域の光量の平均である。下段の左側は、画像内でND9.5とND6.5の交わる部分を中心線とし、これから線対称に求めた比を反射率としたものである(対称反射率と記述)。また、下段の右側は、その中心線で領域をND9.5とND6.5の領域に分割し、それぞれの同じ領域(例:横軸10の領域と50の領域、横軸50の領域と110の領域)の比を反射率としたものである(一方向反射率と記述)。
Figure 0003774192
表4は、表3下段のような演算を10測定分行なった場合の平均値(上段)とばらつき(下段)を示している。
Figure 0003774192
同時再現性1の結果に比べて、同時再現性2の結果はC.V.(%)で約2倍程度良好である。これは同時再現性1の測定では、測定毎に被写体を手で交換しなければならないのに対して、同時再現性2の測定では全く手を触れる必要がなかったためであると考えられる。つまり、同時再現性2の結果は純粋なCMOSエリアセンサの撮像再現性に近いものであるとも考えられる。
(反射率直線性)
精度管理された既存の分光色測計(MINOLTA CM−503c:エリアセンサを用いたものではない)にて、異なる反射率のNDペーパを複数種類測定し、本発明の実施例の反射率測定装置との相関を検証した。
あらかじめ、分光色測計により対象とする複数種のNDペーパの反射率を測定しておく。反射率はNDペーパ上の無作為な位置5点について測定し、平均したものを用いる。
(1)LED4の電流値を0mAにし、ダーク(オフセット)画像を撮像する。
(2)あらかじめ分光色測計にて計測しておいたNDペーパを撮像する。
(3)第8図に示されるように、各画像の一様に分布した5点(ピクセル)について光むら補正を行なう。
第13図のグラフは、横軸が分光色測計で測定した値、縦軸が本発明により第8図で示す各画像の5点(ピクセル)を光むら補正してプロットしたものである。
第13図のグラフの結果は領域平均ではなくピクセル単位での結果を示しているが、光軸に近いピクセル点3(96,32)などの直線性は良好であるといえる。点1(32,32)は5つのピクセルの中では最も暗い値を示す(生データにて)ピクセルであるが、直線性は5つのピクセルの中で最も劣っている。この実験からも、光軸から離れた部分の光むら補正が難しいことが読み取れる。
(温度特性)
実施例の反射率測定装置の温度特性を把握するための測定を行なった。
以下の操作を10℃、20℃、30℃の各環境でシステム(電源ON状態)を十分になじませた後行なう。ND9.5(反射率実測値87.00%)とND6.5(反射率実測値36.21%)が画角に半分づつ入るようにベースプレートに貼り付けたものを試験片とする。
(1)LED4の電流値を0mAにし、ダーク(オフセット)画像を撮像する。
(2)各環境温度でLED4の電流値を(10℃:16.52(mV)、20℃:17.20(mA)、30℃:17.95(mA))にセットし、光検出器10が検知するLED光量が(10℃:0.788(V)、20℃:0.786(V)、30℃:0.783(V))を超えるのを待つ。
(3)(2)の条件を満たした直後、撮像する。以上の作業を10回繰り返す。
表5は各10回の測定による各温度での全領域平均反射率の結果を示したものである。S.D.は標準偏差である。
Figure 0003774192
環境温度による影響はほとんどなく、およそ0.28(%/10℃)の程度の温度傾向であった。
(ドリフト特性)
使用状態(時間、温度を含む)における、実施例の反射率測定装置のドリフト傾向を把握するための測定を行なった。
(1)実施例の反射率測定装置の主なユニット(ドライブ回路20内、LED4付近、エリアセンサ8付近)に熱電対を装着して温度をモニタできるようにする。
(2)反射率測定装置を電源OFFの状態で十分に環境になじませる。
(3)LED4の電流値を0mVにし、ダーク(オフセット)画像を撮像する。
(4)LED4の電流値を17.3(mV)にセットし、光検出器10が検知するLED光量が0.789(V)を超えるのを待つ。
(5)(2)の条件を満たした直後、3回撮像する。
(6)(3)〜(5)の処理を10分おきに繰り返し、モニタしているユニット温度が全て平衡になるまで行なう。
第14図のグラフは、実施例の反射率測定装置の主なユニット(ドライブ回路20付近、LED4付近、エリアセンサ8付近)の時間経過(10分おき)と温度の関係を示している。
第15図のグラフは10分おきに3回ずつ測定した反射率の結果をプロットしたものである。
第14図、第15図の結果から、使用環境(温度、時間を含む)におけるドリフト現象は確認できず、仮りに存在するとしても、同時測定毎に発生するばらつきの中に包含される程度である。
以上の検証の結果、実施例の反射率測定装置は、同時再現性(n=10)では、C.V.=0.23%(反射率45%付近にて)、温度特性としては反射率45%付近において、およそ0.28(%/10℃)、使用状態(時間、温度を含む)においてドリフトの傾向はほとんど見られないことが確認された。
実施例で使用したCMOSエリアセンサは、尿試験紙の測定機など半定量レベルの測定には十分適用できることが判明した。
[実施例2]
反射率測定装置の第2の実施例として、第2の局面による出力補正方法を適用したものの概要を第16図に示す。
第3図の反射率測定装置と比較すると、光量をモニタする光検出器10が配置されていない点で異なる。他の構成は基本的に同じである。被測定物2の反射光が反射板5を介してレンズ6によりエリアセンサ8aに結像される。エリアセンサ8aは第3図における増幅器22まで含んだものを示している。エリアセンサ8aの検出信号はA/D変換器24を経て演算部28aに取り込まれる。演算部28aは、第3図におけるRAM26とパソコン28に該当するものである。演算部28aには、表示器30、キーボード32、プリンタ34が接続されている。36は取り込んだ画像データを保存するイメージ保存部であり、例えばハードディスク装置により構成される。演算部28aで算出された反射率を濃度に変換するために検量線データ40がハードディスク装置やフロッピーディスク装置に保存されている。
演算部28aのデータ処理結果は外部出力38として必要な外部機器に取り出すことができる。
この実施例ではエリアセンサ8aの出力と被測定物2の反射率との関係を直線化データとして取得するために、被測定物2として反射率が既知の標準板を測定する。標準板としてはNDペーパーを使用し、反射率が最も大きいものから最も小さいものまで11段階のものを用意する。
それらの標準板を被測定物2として測定した結果をエリアセンサ8aの出力とともに示したものが第17図である。縦軸は出力を表わし、横軸は各標準板を反射率の大きいものから順に並べたものである。各標準板の出力データは光むら補正処理を施していないので湾曲したものとなっている。
エリアセンサ8aの1つのピクセルについて反射率と出力の関係を示したものが第18図である。縦軸はエリアセンサ8aの出力を表わし、横軸は標準板の既知の反射率を表している。エリアセンサ8aは受光量に対して出力が非直線性を持っているので、この曲線はS字型を示しており、第5図に示したものと同じことを意味している。
エリアセンサ8aの各ピクセルについて第18図に示されるようなデータをピクセルごとの直線化データとして保持しておく。
反射率が未知の試料を測定したとき、各ピクセルについてそれぞれの直線化データを用いてその出力から第18図中に矢印で示されるように反射率を求める。反射率はこの直線化データの実測点の間を補間することにより得られる。
このようにして得られた未知試料の反射率は、光源による照射むらやレンズ、エリアセンサ8aの非直線性を含めて補正された反射率データとなり、直線性を持った反射率的データとなる。
この動作を第19図と第20図により改めて説明する。
第19図は直線化データを得るための手順を示したものである。基準板として反射率の異なるN種類のものを用意する。反射率は100%から0まで10%単位で変化している11種類である。1つの基準板を被測定物2の位置に置き、エリアセンサ8aにより撮像する。そのときのその基準板の既知の反射率rと撮像データを記憶する。この動作を全ての基準板について繰り返す。
これにより撮像データの各ピクセルの出力と反射率の関係を示す第18図の直線化データがピクセルごとに得られる。
第20図の操作では、反射率が未知の試料を被測定物の位置に置き、エリアセンサ8aで撮像する。その撮像結果から、ピクセルの位置を示す座標(x,y)について、各ピクセルの出力データから第16図に矢印で示されるように反射率を求める。この動作を全ピクセルについて行う。
[実施例3]
反射率測定装置の第3の実施例として、第3の局面による出力補正方法を適用したものを説明する。
光学系は第16図に示されたものと同じである。
この実施例ではエリアセンサ8aとして受光する露光時間がプログラム可能なものを使用する。そのようなエリアセンサとしては、例えば、第3図の実施例で使用した三菱製CMOSイメージセンサ(H64283FP)を使用する。しかし、用いるエリアセンサ8aは、CMOSイメージセンサに限らず、CCDイメージセンサでも露光時間がプログラム可能なものであれば、使用することができる。
エリアセンサ8aの出力は受光量に対して直線性を持っていないが、受光量は露光時間に比例する。また、受光量は反射率に比例するので、1つの基準板を使用して露光時間を異ならせることにより、基準板を共通に使用しても露光時間を変えることによって反射率の異なる基準板を用いた測定と等価な結果を得ることができる。
第16図における被測定物2の位置に基準板となる白板を載置する。まず基準の露光時間で測定する。次に被測定物の白板はそのままにして、露光時間を基準の露光時間の90%に下げて同じ測定を行う。同様にして80%、70%…というように露光時間を変化させていく。
第21図はそのように露光時間を減少させていったときのエリアセンサ8aの出力(縦軸)と露光時間(横軸。右側ほど露光時間が短い)を示したものである。この場合もエリアセンサ8a内での光むら補正を行っていないので、ピクセル間での出力は変動している。
各ピクセルについて出力と露光時間の関係を図示すると、第22図のようになり、この結果は第18図及び第5図と同じものである。各ピクセルについて第22図のデータを直線化データとして記憶しておく。
第23図はこの直線化データを取得する手順をまとめて示したものである。基準白板を被測定物2としてセットし、基準露光時間tをセットする。その露光時間で照射し、エリアセンサ8aによる撮像を行ない、露光時間tと撮像データを記憶する。
次に、露光時間を10%減少して同じ測定を繰り返す。このように、露光時間が順次減少するように設定して繰り返して測定していき、各ピクセルについてセンサ出力と露光時間の関係を図示したものが第22図である。横軸の露光時間は反射率に該当している。
第24図は反射率が未知の試料を測定したときの手順を示したものであり、第20図に示した手順と同じである。この実施例ではピクセルごとに反射率に該当する露光時間が得られる。
この実施例において補正後のデータの精度を確認した。反射率が既知の複数の被写体を測定した。エリアセンサ8aの中央部と周辺部の各位置でのピクセルを第25図のように選び出し、それぞれのピクセルにおける補正された出力と反射率の関係を第26図に示す。各位置でのピクセルの出力は、1個のピクセルの出力であってもよく、その位置周辺での幾つかのピクセルの出力の平均値であってもよい。直線は全ピクセルの平均値である。第26図で、横軸は既知の反射率、縦軸は補正された出力である。
第26図の結果から、エリアセンサ8a内のピクセルの位置にかかわらず、照射むらやレンズ、エリアセンサの非直線性を含めて直線的な反射率的値に補正されていることがわかる。
[実施例4]
本発明の反射率測定装置をイムノクロマト分析に適用するためにイムノクロマト試験片の測定を想定した測定を行なった。用意したサンプル試験紙は、第27図にAからFで示したような6種類であり、カラーインクジェットプリンタを用いて作成した。サンプル試験片サイズは画角範囲内の10mm×10mmとした。
これらのサンプル試験片を実施例の反射率測定装置により画像として取り込んだ。第28図は第27図の6パターンのうち、E(薄いグラデーション)を撮像して三次元等高面グラフとして表示したものである。XY面はサンプル試験片の平面に対応し、高さ(Z方向)は反射率で、等高面は5×5ピクセルを領域平均して作成した。第28図から、この反射率測定装置はサンプル試験片の発色した部分を忠実に検出していることがわかる。
第29図は第27図の6パターンのサンプル試験片を実施例の反射率測定装置により画像として取り込み、それぞれの試験片の中心付近の1ラインについてグラフ化したものである。第29図中の符号AからFは第27図の6パターンの符号に対応している。縦軸は反射率であり、分かりやすくするために、E,Fについては上方にシフトさせて表示した。横軸は測定したライン上の位置を表わしている。第29図から、この反射率測定装置はサンプル試験片の発色した部分の濃い、薄い、太い、細いといった特徴を忠実に読み取っていることがわかる。
したがって、第28図の等高面の窪んだ部分を体積分するか、又は第29図用に横方向の1ラインについて面積分することにより、試験片の反応量(濃度)を定量できることがわかる。
表6はそれぞれ同じ濃さの細いパターンと太いパターンの試験片のペアについて、発色範囲が太い場合と細い場合の定量結果を示したものである。Σは積分値である。
Figure 0003774192
表6からそれぞれの濃度において太い発色に対する細い発色はほぼ同じ値を示していることがわかる。
第30図に、第1の実施例の反射率測定装置を実際のイムノクロマト分析の測定装置として適用した例を示す。横軸はCRP(C−reactive protein:炎症が起こった際に著しく増加する結晶タンパクの1つ)濃度、縦軸はそれぞれのCRP濃度により発色したイムノクロマト試験片を実施例の反射率測定装置により測定したときのエリアセンサ出力である。この関係は本発明で反射率から試料濃度を定量する際の検量線データとして利用する。
[実施例5]
反射率測定装置により測定したエリアセンサ出力から発色部分の反射率積分値を求める好ましい実施例について説明する。エリアセンサ出力は実施例1〜3のいずれかの方法により前処理が施されている。
第31図の(A)はエリアセンサによる撮像画像であり、(B)は1つのX軸に沿った検出強度を表わす。
50は試験片であり、そのうちの中央部の実線で示された部分(Lで示された範囲)がエリアセンサにより撮像された範囲である。52は発色領域である。54は反射率の積分値を求める範囲であり、X方向に関して発色領域52よりも大きい領域で非発色領域を含めて積分処理を行なう。各Y座標についてX座標でXからXまで積分し、次にそれをY座標についてYからYまで積分する。
具体的には次のように行なう。各Y座標についてX軸方向で領域指定した範囲54の両端ポイントX,Xを直線で結ぶ。又は強度が同一レベルになる両端ポイント(これもX,Xとする)を探して直線で結ぶ。この両端ポイントは非発色領域に存在する。この直線を「ベースライン」という。Y軸は固定し、X軸で両端座標X,Xでの検出強度をZ,Zとする。ベースラインf(X)は、
f(X)={(Z−Z)/(X−X)}(X−X)+Z
と表わすことができる。同じY軸上にあるピクセル(座標(X,Y))の検出強度をZとする。ベースライン上のその座標(X,Y)の値を上のf(X)の式から求める。この値を基準値REFとする。すなわち、基準値REF=f(X)である。基準値REFはまた、Y座標の関数でもあるので、REF=f(X,Y)である。
座標(X,Y)での検出強度Zを基準値REFからの吸収比率rに変換する。すなわち、
r=1−(Z/REF)
として計算する。このrをXからXまで積分すると、そのY軸における積分値V(Y)が算出される。
このV(Y)を求める操作をY軸検出範囲のYからYまで積分すると、その領域54での積分値Vが算出される。
この算出された積分値Vをこの測定装置に内蔵している検量線を用いて濃度などの定量的な数値に変換する。
試験片を測定した結果を表7に示す。
Figure 0003774192
表7中の実施例の欄は上の実施例5による結果であり、参考例の欄は発色領城の一端側の非発色領域でのZ値を基準値REFとして積分値を算出した結果である。いずれも10回測定を行なった。AVE.は平均値、Δは領域内の最大値と最小値との差、S.D.は標準偏差、C.V.(%)は変化率で、(標準偏差/平均値)を表わしている。Δ、S.D.及びC.V.を比べると実施例の方が数値が小さく、すなわち測定値のばらつきが小さく、再現性が優れていることを示している。
産業上の利用可能性
このような反射率測定方法、試験片測定方法、及びそれらを実現する装置は、試薬部を支持体に設けた試験片を用いるイムノクロマト試験片測定装置などのドライケミストリ分析計を初め、種々の分析計として、臨床検査、食品分析、化学分析などの多くの分野で利用することができる。
【図面の簡単な説明】
第1図は本発明の一実施形態を概略的に示すブロック図である。第2図は本発明の好ましい態様を概略的に示すブロック図である。第3図は本発明の一実施例を一部ブロック図で示す概略構成図である。第4図は同実施例における光学系の具体例を示したものであり、(a)は光学系の外観図、(b)はその垂直断面図、(c)は(b)における円内の拡大図である。第5図はエリアセンサの出力特性を示す図である。第6図はエリアセンサにて白板を撮像したときの3次元等高面グラフである。第7図は本発明における補正処理の一例を示すフローチャート図である。第8図は補正を行なうピクセルの位置を示す平面図である。第9図は補正の一例を示す図であり、(a)は白板を試験片としたときのエリアセンサの各ピクセル出力のグラフ、(b)はPD電圧値変換した後の出力のグラフ、(c)はさらに(b)に対して光むら補正したグラフである。第10図(a)はLED光量の暗いものから明るいものまで3段階に分けて白板を撮像し、その画情報を並べて3次元等高面グラフにしたもの、(b)は(a)のグラフに対して光むら補正を行なったものである。第11図は1枚の画像を11×11の領域に分割する例を示す平面図である。第12図は1枚の画像を11×11の領域に分割する例を示す平面図である。第8図は光むら補正を行なうピクセルの位置を示す平面図である。第13図は第8図で示す各画像の5点を光むら補正してプロットした図である。第14図は実施例の反射率測定装置の主なユニットの時間経過と温度の関係を示す図である。第15図は10分おきに3回ずつ測定した反射率の結果をプロットした図である。第16図は反射率測定装置の第2の実施例を一部ブロック図で示す概略構成図である。第17図は第2の実施例において反射率の異なる標準板を測定した結果をエリアセンサの出力とともに示したものである。第18図は第17図の結果をエリアセンサの1つのピクセルについて示したものである。第19図は同実施例で直線化データを得るための手順を示したフローチャート図である。第20図は未知試料の反射率測定手順を示したフローチャート図である。第21図は反射率測定装置の第3の実施例において露光時間を減少させていったときのエリアセンサの出力と露光時間の関係を示した図である。第22図は第21図の結果をエリアセンサの1つのピクセルについて示したものである。第23図は同実施例で直線化データを得るための手順を示したフローチャート図である。第24図は未知試料の反射率測定手順を示したフローチャート図である。第25図は同実施例において補正後のデータの精度を確認するためのデータ取得ピクセル位置を示す平面図である。第26図はそれぞれのピクセルにおける補正された出力と反射率の関係を示すグラフである。第27図はサンプル試験紙のパターンを示す図である。第28図は第1の実施例の反射率測定装置で薄いグラデーションパターンのサンプル試験紙を測定したときの三次元等高面グラフである。第29図は同実施例の反射率測定装置で6種類のサンプル試験片の中心付近の1ラインについて反射率を測定した結果を示す図である。第30図は同実施例の反射率測定装置でCRPを測定したときの検量線を示す図である。第31図(A)はエリアセンサによる撮像画像を示す平面図、(B)はその撮像画像における1つのX軸に沿った検出強度を表わす図である。

Claims (23)

  1. 被測定物からの光をイメージセンサで受光し、そのイメージセンサの各ピクセル出力に対して、前処理として、
    イメージセンサの出力が入射光量に比例するようにイメージセンサの出力を補正する直線化補正、及び
    基準物を測定したときにイメージセンサの各ピクセル出力を直線化補正したものが均一になるように各ピクセル出力を補正する光むら補正を施した後、
    前記被測定物の発色域を選択して少なくとも一方向については発色域より大きい領域について、この前処理後のピクセル出力の積分値を算出する測定方法であって、
    前記直線化補正は次の工程(A)と(B)を含んでいることを特徴とする測定方法。
    (A)受光する光量に対して出力が直線性をもつ光検出器を別途設け、前記イメージセンサに入射する光をその光検出器にも同時に入射させるとともに、その入射光量を変化させたときのイメージセンサ出力と前記光検出器の出力との関係を直線化データとして保持しておく工程、及び
    (B)被測定物を測定したときのイメージセンサ出力を前記直線化データに基づいて前記光検出器の出力に比例するように補正する工程。
  2. 被測定物からの光をイメージセンサで受光し、そのイメージセンサの各ピクセル出力に対して、前処理として、
    イメージセンサの出力が入射光量に比例するようにイメージセンサの出力を補正する直線化補正、及び
    基準物を測定したときにイメージセンサの各ピクセル出力を直線化補正したものが均一になるように各ピクセル出力を補正する光むら補正を施した後、
    前記被測定物の発色域を選択して少なくとも一方向については発色域より大きい領域について、この前処理後のピクセル出力の積分値を算出する測定方法であって、
    前記直線化補正は次の工程(A)と(B)を含んでいることを特徴とする測定方法。
    (A)発生する光が既知で互いに異なる複数の標準板を用意し、それらの標準板を測定したときのイメージセンサ出力と標準板からの光との関係を直線化データとして保持しておく工程、及び
    (B)被測定物を測定したときのイメージセンサ出力を前記直線化データに基づいて前記標準板からの光に比例するように補正する工程。
  3. 被測定物からの光をイメージセンサで受光し、そのイメージセンサの各ピクセル出力に対して、前処理として、
    イメージセンサの出力が入射光量に比例するようにイメージセンサの出力を補正する直線化補正、及び
    基準物を測定したときにイメージセンサの各ピクセル出力を直線化補正したものが均一になるように各ピクセル出力を補正する光むら補正を施した後、
    前記被測定物の発色域を選択して少なくとも一方向については発色域より大きい領域について、この前処理後のピクセル出力の積分値を算出する測定方法であって、
    前記直線化補正は次の工程(A)と(B)を含んでいることを特徴とする測定方法。
    (A)前記イメージセンサは露光時間の設定が可変なものであり、1つの基準物を測定する露光時間を複数段階に異ならせて測定したときのイメージセンサ出力と露光時間との関係を、露光時間に比例した基準物からの光に関する直線化データとして保持しておく工程、及び
    (B)被測定物を測定したときのイメージセンサ出力を直線化データに基づいて露光時間から導かれる基準物からの光に比例するように補正する工程。
  4. 前記基準物として面内の濃淡が均一な反射板又はブランクを用いる請求の範囲第1項から第3項のいずれかに記載の測定方法。
  5. 前記積分値の算出は、被測定物の発色領域を挟む2点のピクセル出力を結ぶ直線をピクセル出力のベースライン値とし、被測定物の各位置に対応するピクセル出力を前記ベースライン値により変換した値を基にして求める請求の範囲第1項から第4項の いずれかに記載の測定方法。
  6. 前記直線化補正を画像内で最も明るいピクセル付近の幾つかのピクセルを選択して、それらのピクセルの出力の平均値を用いて行なう請求の範囲第1項から第項のいずれかに記載の測定方法。
  7. 前記直線化補正をピクセルごとに行なう請求の範囲第1項から第項のいずれかに記載の測定方法。
  8. 前記光むら補正は、基準物を測定し、ピクセルが飽和光量に達したときの受光量に対する飽和光量に近い一定割合の受光量での画像データに対して行なう請求の範囲第1項から第項のいずれかに記載の測定方法。
  9. 請求の範囲第1項から第項のいずれかに記載の方法により求めた積分値に、その積分値と被測定物の試料濃度との関係を表わす検量線データを適用して被測定物の試料濃度を算出することを特徴とする被測定物測定方法。
  10. 被測定物からの光を受光するイメージセンサと、
    前記イメージセンサの各ピクセル出力を用いて、前記被測定物の発色域の少なくとも一方向については発色域より大きい領域について、前記被測定物の面内からの光の積分値を算出する算出部と、
    受光量がゼロのときの出力をダークデータとして差し引いた後の前記イメージセンサの出力が入射光量に比例するようにイメージセンサの出力を補正する直線化補正データを保持した直線化補正データ保持部と、
    前記イメージセンサの出力を前記直線化補正データ保持部に保持された直線化補正データに基づいて直線化補正する直線化補正部と、
    基準物を測定したときの前記イメージセンサの各ピクセル出力を前記直線化補正データで補正したものが均一になるように各ピクセル出力を補正する光むら補正データを保持した光むら補正データ保持部と、
    前記直線化補正された前記イメージセンサの出力を前記光むら補正データ保持部に保持された光むら補正データに基づいて光むらを補正する光むら補正部と、
    前記直線化補正データを作成して前記直線化補正データ保持部に保持させるための直線化補正データ作成部と、
    受光量に対して出力が直線性をもち、前記イメージセンサに入射する光同時に入射するように設けられた光検出器と、を備え、
    前記直線化補正データ作成部は、前記イメージセンサへの入射光量を変化させたときのイメージセンサ出力と前記光検出器の出力との関係を直線化補正データとするものであり、
    前記算出部は前記直線化補正と前記光むら補正が施されたピクセル出力を用いて前記被測定物の面内からの光の積分値を算出するものであることを特徴とする測定装置。
  11. 受光する光量に対して出力が直線性をもつ前記光検出器としてフォトダイオードを用いる請求の範囲第10項に記載の測定装置。
  12. 被測定物からの光を受光するイメージセンサと、
    前記イメージセンサの各ピクセル出力を用いて、前記被測定物の発色域の少なくとも一方向については発色域より大きい領域について、前記被測定物の面内からの光の積分値を算出する算出部と、
    受光量がゼロのときの出力をダークデータとして差し引いた後の前記イメージセンサの出力が入射光量に比例するようにイメージセンサの出力を補正する直線化補正データを保持した直線化補正データ保持部と、
    前記イメージセンサの出力を前記直線化補正データ保持部に保持された直線化補正データに基づいて直線化補正する直線化補正部と、
    基準物を測定したときの前記イメージセンサの各ピクセル出力を前記直線化補正データで補正したものが均一になるように各ピクセル出力を補正する光むら補正データを保持した光むら補正データ保持部と、
    前記直線化補正された前記イメージセンサの出力を前記光むら補正データ保持部に保持 された光むら補正データに基づいて光むらを補正する光むら補正部と、
    前記直線化補正データを作成して前記直線化補正データ保持部に保持させるための直線化補正データ作成部と、
    前記直線化補正データ作成部は、発生する光が既知で互いに異なる複数の標準板を測定したときのイメージセンサ出力と標準板からの光との関係を直線化補正データとするものであり、
    前記算出部は前記直線化補正と前記光むら補正が施されたピクセル出力を用いて前記被測定物の面内からの光の積分値を算出するものであることを特徴とする測定装置。
  13. 被測定物からの光を受光するイメージセンサと、
    前記イメージセンサの各ピクセル出力を用いて、前記被測定物の発色域の少なくとも一方向については発色域より大きい領域について、前記被測定物の面内からの光の積分値を算出する算出部と、
    受光量がゼロのときの出力をダークデータとして差し引いた後の前記イメージセンサの出力が入射光量に比例するようにイメージセンサの出力を補正する直線化補正データを保持した直線化補正データ保持部と、
    前記イメージセンサの出力を前記直線化補正データ保持部に保持された直線化補正データに基づいて直線化補正する直線化補正部と、
    基準物を測定したときの前記イメージセンサの各ピクセル出力を前記直線化補正データで補正したものが均一になるように各ピクセル出力を補正する光むら補正データを保持した光むら補正データ保持部と、
    前記直線化補正された前記イメージセンサの出力を前記光むら補正データ保持部に保持された光むら補正データに基づいて光むらを補正する光むら補正部と、
    前記直線化補正データを作成して前記直線化補正データ保持部に保持させるための直線化補正データ作成部と、
    前記イメージセンサは露光時間の設定が可変なものであり、
    前記直線化補正データ作成部は1つの基準物を測定する露光時間を複数段階に異ならせて測定したときのイメージセンサ出力と露光時間との関係を直線化補正データとするものであり、
    前記算出部は前記直線化補正と前記光むら補正が施されたピクセル出力を用いて前記被測定物の面内からの光の積分値を算出するものであることを特徴とする測定装置。
  14. 被測定物からの光を受光するイメージセンサと、
    前記イメージセンサの各ピクセル出力を用いて、前記被測定物の発色域の少なくとも一方向については発色域より大きい領域について、前記被測定物の面内からの光の積分値を算出する算出部と、
    受光量がゼロのときの出力をダークデータとして差し引いた後の前記イメージセンサの出力が入射光量に比例するようにイメージセンサの出力を補正する直線化補正データを保持した直線化補正データ保持部と、
    前記イメージセンサの出力を前記直線化補正データ保持部に保持された直線化補正データに基づいて直線化補正する直線化補正部と、
    基準物を測定したときの前記イメージセンサの各ピクセル出力を前記直線化補正データで補正したものが均一になるように各ピクセル出力を補正する光むら補正データを保持した光むら補正データ保持部と、
    前記直線化補正された前記イメージセンサの出力を前記光むら補正データ保持部に保持された光むら補正データに基づいて光むらを補正する光むら補正部と、
    前記直線化補正データを作成して前記直線化補正データ保持部に保持させるための直線化補正データ作成部と、
    前記直線化補正データ作成部は、基準物を測定し、画像内で最も明るいピクセル付近の幾つかのピクセルを選択して、それらのピクセル出力の平均値を用いて直線化補正データを作成するものであり、
    前記算出部は前記直線化補正と前記光むら補正が施されたピクセル出力を用いて前記被 測定物の面内からの光の積分値を算出するものであることを特徴とする測定装置。
  15. 被測定物からの光を受光するイメージセンサと、
    前記イメージセンサの各ピクセル出力を用いて、前記被測定物の発色域の少なくとも一方向については発色域より大きい領域について、前記被測定物の面内からの光の積分値を算出する算出部と、
    受光量がゼロのときの出力をダークデータとして差し引いた後の前記イメージセンサの出力が入射光量に比例するようにイメージセンサの出力を補正する直線化補正データを保持した直線化補正データ保持部と、
    前記イメージセンサの出力を前記直線化補正データ保持部に保持された直線化補正データに基づいて直線化補正する直線化補正部と、
    基準物を測定したときの前記イメージセンサの各ピクセル出力を前記直線化補正データで補正したものが均一になるように各ピクセル出力を補正する光むら補正データを保持した光むら補正データ保持部と、
    前記直線化補正された前記イメージセンサの出力を前記光むら補正データ保持部に保持された光むら補正データに基づいて光むらを補正する光むら補正部と、
    面内で濃淡が均一な平板を測定したときの前記イメージセンサの各ピクセル出力を前記直線化補正データで補正したものが均一になるように各ピクセル出力を補正する光むら補正データを作成して前記光むら補正データ保持部へ保持させる光むら補正データ作成部と、を備え、
    前記算出部は前記直線化補正と前記光むら補正が施されたピクセル出力を用いて前記被測定物の面内からの光の積分値を算出するものであることを特徴とする測定装置。
  16. 前記光むら補正データ作成部は、基準物を測定し、ピクセルが飽和光量に達したときの光量に対する一定割合の光量での画像データに対して光むら補正データを作成するものである請求の範囲第15項に記載の測定装置。
  17. 前記算出部は、前記積分値の算出にあたり、被測定物の発色領域を挟む2点のピクセル出力を結ぶ直線をピクセル出力のベースライン値とし、試験片の各位置に対応するピクセル出力を前記ベースライン値により変換した値を基にして積分値を算出するものである範囲第10項から第16項のいずれかに記載の測定装置。
  18. 前記算出部は被測定物の面内の二次元について被測定物からの光を積分するものである請求の範囲第10項から第17項のいずれかに記載の測定装置。
  19. 前記算出部は被測定物の面内の1つの直線上で被測定物からの光を積分するものである請求の範囲第10項から第17項のいずれかに記載の測定装置。
  20. 前記直線化補正データを作成して前記直線化補正データ保持部に保持させるための直線化補正データ作成部をさらに備えた請求の範囲第15項に記載の測定装置。
  21. 前記直線化補正データ作成部はピクセルごとに直線化補正データを作成するものである請求の範囲第10項から第20項のいずれかに記載の測定装置。
  22. 前記イメージセンサとしてCCD型又はCMOS型センサを用いる請求の範囲第10項から第21項のいずれかに記載の測定装置。
  23. 請求の範囲第10項から第22項のいずれかに記載の測定装置に、
    被測定物からの光の積分値と被測定物の試料濃度との関係を保持している検量線データ保持部と、
    前記算出部で求められた被測定物からの光の節分値に前記検量線データ保持部の検量線データを適用して被測定物の試料濃度を算出する定量部とをさらに備えたことを特徴とする被測定物測定装置。
JP2002541369A 2000-11-10 2001-11-09 イメージセンサを用いた測定方法及び装置 Expired - Fee Related JP3774192B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000343366 2000-11-10
JP2000343366 2000-11-10
PCT/JP2001/009851 WO2002039094A1 (en) 2000-11-10 2001-11-09 Measuring method and instrument comprising image sensor

Publications (2)

Publication Number Publication Date
JPWO2002039094A1 JPWO2002039094A1 (ja) 2004-03-18
JP3774192B2 true JP3774192B2 (ja) 2006-05-10

Family

ID=18817744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002541369A Expired - Fee Related JP3774192B2 (ja) 2000-11-10 2001-11-09 イメージセンサを用いた測定方法及び装置

Country Status (6)

Country Link
US (1) US7274829B2 (ja)
EP (1) EP1333273A4 (ja)
JP (1) JP3774192B2 (ja)
CN (1) CN1308670C (ja)
AU (1) AU2002212752A1 (ja)
WO (1) WO2002039094A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230106393A (ko) * 2022-01-06 2023-07-13 부산대학교 산학협력단 온도장 및 변형장 동시 계측 시스템

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1241000C (zh) * 2000-11-10 2006-02-08 爱科来株式会社 传感器输出的修正方法
FR2853068B1 (fr) * 2003-03-26 2006-06-16 Bernard Pierre Andre Genot Procedure de correction automatique pour appareil de mesure optoelectronique et moyens associes
JP2007528491A (ja) * 2004-03-05 2007-10-11 バイエル・ヘルスケア・エルエルシー 画像システムアレイを有するハンディ型光学診断装置
TWI247888B (en) * 2004-08-13 2006-01-21 Advanced Semiconductor Eng System and method for testing CMOS image sensor
GB2450351B (en) * 2007-06-20 2012-01-18 Cozart Bioscience Ltd Monitoring an Immunoassay
JP4944006B2 (ja) * 2007-12-17 2012-05-30 株式会社山武 温度センサ、及び温度測定方法
DE102009052159A1 (de) 2009-08-05 2011-02-10 Georg Fritzmeier Gmbh & Co. Kg Messeinrichtung zur Bestimmung eines Vegetationsindex-Werts (REIP) von Pflanzen
JP5572359B2 (ja) * 2009-10-07 2014-08-13 株式会社テクノメデイカ 尿中物質濃度測定装置
JP5275956B2 (ja) * 2009-10-15 2013-08-28 株式会社ジャパンディスプレイウェスト 情報入力装置、情報入力プログラムおよび電子機器
JP5614230B2 (ja) * 2009-12-14 2014-10-29 住友電気工業株式会社 画像撮影装置
JPWO2013161664A1 (ja) * 2012-04-24 2015-12-24 富士フイルム株式会社 呈色解析装置
JP6841406B2 (ja) 2016-09-09 2021-03-10 大塚電子株式会社 光学測定方法および光学測定装置
JP6976529B2 (ja) * 2017-05-17 2021-12-08 株式会社アロマビット 匂い画像の基データ作成方法
CN112683905B (zh) * 2020-12-22 2025-01-24 威海华菱光电股份有限公司 片状物体检测装置的控制方法、控制装置和处理器
EP4465023A1 (en) 2023-05-11 2024-11-20 ARKRAY, Inc. Measurement method and measurement system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5126595A (en) * 1974-08-29 1976-03-04 Shimadzu Corp Denshitomeeta no beesurainhoseisochi
JPS6017592B2 (ja) 1981-06-22 1985-05-04 オムヤ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング 遠心分離器
JPS583680U (ja) * 1981-06-27 1983-01-11 三菱重工業株式会社 映像信号処理回路
JPH0692933B2 (ja) * 1983-06-30 1994-11-16 株式会社島津製作所 薄層クロマトスキャナ
JPS6080739A (ja) * 1983-10-07 1985-05-08 Ee D S:Kk 二次元濃度計
JPS60105935A (ja) * 1983-11-14 1985-06-11 Ricoh Co Ltd 反射率測定装置
JPH065227B2 (ja) * 1985-02-27 1994-01-19 オリンパス光学工業株式会社 電気泳動装置による総蛋白値の定量方法
JPS62294940A (ja) 1986-06-13 1987-12-22 Shimadzu Corp クロマトスキヤナ
JP2526594B2 (ja) * 1987-07-28 1996-08-21 株式会社島津製作所 スキャニング・デンシトメ−タ
JPH0650814A (ja) 1990-01-30 1994-02-25 Seca Corp 多スペクトル反射率計
JPH03289777A (ja) * 1990-04-05 1991-12-19 Nec Corp 赤外線撮像装置
JP2996485B2 (ja) 1990-04-13 1999-12-27 株式会社リコー 光量検出装置
JPH06225143A (ja) * 1993-01-27 1994-08-12 Tokyo Electric Co Ltd 画像読取装置
JPH06253209A (ja) * 1993-02-24 1994-09-09 Nikon Corp 画像読み取り装置
FR2713779B1 (fr) 1993-12-10 1996-03-08 Lorraine Laminage Procédé automatique d'analyse macérale et de détermination du pouvoir réflecteur de la vitrinite dans les charbons.
JPH10257273A (ja) * 1997-03-07 1998-09-25 Dainippon Screen Mfg Co Ltd 画像読取装置
DE19715983C1 (de) * 1997-04-17 1998-09-24 Aeg Infrarot Module Gmbh Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen Infrarot-Kamera
JP3914638B2 (ja) * 1997-09-09 2007-05-16 シーケーディ株式会社 形状計測装置
JP2000013807A (ja) * 1998-06-24 2000-01-14 Seiko Epson Corp デジタルカメラ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230106393A (ko) * 2022-01-06 2023-07-13 부산대학교 산학협력단 온도장 및 변형장 동시 계측 시스템
KR102747932B1 (ko) * 2022-01-06 2024-12-31 부산대학교 산학협력단 온도장 및 변형장 동시 계측 시스템

Also Published As

Publication number Publication date
EP1333273A1 (en) 2003-08-06
CN1308670C (zh) 2007-04-04
CN1473266A (zh) 2004-02-04
AU2002212752A1 (en) 2002-05-21
US7274829B2 (en) 2007-09-25
US20040076325A1 (en) 2004-04-22
JPWO2002039094A1 (ja) 2004-03-18
EP1333273A4 (en) 2011-04-06
WO2002039094A1 (en) 2002-05-16

Similar Documents

Publication Publication Date Title
JP3774192B2 (ja) イメージセンサを用いた測定方法及び装置
JP3754989B2 (ja) センサ出力の補正方法
US7443508B1 (en) Spectrophotometric scanner
US6969843B1 (en) Light standard for microscopy
JP6250040B2 (ja) 魚眼レンズ・アナライザ
EP2388571B1 (en) Method of illuminating a reagent test slide
CN112334759B (zh) 一种用于检测样品中的分析物的检测方法
JP2015509582A (ja) 比色アッセイを解析するための方法、システム、および装置
JPH08504950A (ja) 光学的試料分析装置及び方法
WO2009093453A1 (ja) 分析装置および分析方法
US7754153B2 (en) Optical biosensor for biomolecular interaction analysis
KR20230020993A (ko) 체액의 샘플 내 분석물의 농도를 결정하는 방법, 모바일 장치, 키트, 컴퓨터 프로그램 및 컴퓨터 판독형 저장 매체
JP4341153B2 (ja) 試験紙分析装置
JP2004191232A5 (ja)
EP0035720A1 (en) Apparatus for inspecting an object by light
JP2001289732A (ja) 表示画面の色情報検出方法及び表示色評価方法及びその装置並びに表示装置の製造方法及び表示装置
JP4588070B2 (ja) 色彩検査装置
JP2009222607A (ja) 試料分析装置の照明制御方法および試料分析装置
JPH1073534A (ja) 呈色物定量装置
CN109142763A (zh) 一种具备自动定标功能的poct检测设备及其实现方法
JP3408175B2 (ja) 髪質の評価装置
JP2004144672A (ja) 発色情報に基づく成分分析方法及び成分分析装置
CN115066598A (zh) 颜色测量
JPS6034699B2 (ja) 硬さ試験機
JP2005062095A (ja) 反射光測定装置及び反射光測定方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060216

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3774192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100224

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110224

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120224

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130224

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130224

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140224

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees