[go: up one dir, main page]

JP5990560B2 - スキャナからの歪みの像に基づく修正 - Google Patents

スキャナからの歪みの像に基づく修正 Download PDF

Info

Publication number
JP5990560B2
JP5990560B2 JP2014239206A JP2014239206A JP5990560B2 JP 5990560 B2 JP5990560 B2 JP 5990560B2 JP 2014239206 A JP2014239206 A JP 2014239206A JP 2014239206 A JP2014239206 A JP 2014239206A JP 5990560 B2 JP5990560 B2 JP 5990560B2
Authority
JP
Japan
Prior art keywords
reverse
data
scan data
scanner
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014239206A
Other languages
English (en)
Other versions
JP2015119959A5 (ja
JP2015119959A (ja
Inventor
宏治 野里
宏治 野里
キアン ヤン,
キアン ヤン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Rochester
Original Assignee
University of Rochester
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Rochester filed Critical University of Rochester
Publication of JP2015119959A publication Critical patent/JP2015119959A/ja
Publication of JP2015119959A5 publication Critical patent/JP2015119959A5/ja
Application granted granted Critical
Publication of JP5990560B2 publication Critical patent/JP5990560B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/047Detection, control or error compensation of scanning velocity or position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/047Detection, control or error compensation of scanning velocity or position
    • H04N2201/04753Control or error compensation of scanning position or velocity
    • H04N2201/04789Control or error compensation of scanning position or velocity in the main-scan direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Image Input (AREA)

Description

本開示は、走査撮像システム、及び、走査撮像システムに関連する歪みを修正するための構成を有するシステム、方法、及び非一時的コンピュータ可読媒体に関する。
現代の撮像システムと方法は、2つ大きなグループに分けることができる。第一の方法は、直接結像であり、被写体が照らされ、光が該被写体から集められ、一連の検出器を用いて検出される。第二の方法は画像走査であり、被写体は該被写体に渡って走査された小さなスポット(Spot)により照らされ、その後光は一つ以上の検出器を用いて集められる。
直接結像は、被写体の空間的変動を、撮像アレイ上での空間的変動に変換する。画像走査は、被写体の空間的変動を、検出器によって測定される時間的変動に変換する。
画像走査の正確性は、空間から時間への変換の再現性、信頼性、及び、正確性に、高く依存する。空間から時間への変換、通常、可動鏡により実行される。その鏡は、静電気力または起電力を用いて駆動されてもよい。可動鏡の一つの例は、ガルバノスキャナ(Galvano scanner)である。ガルバノスキャナは、段階的に、並びに/または、時間が掛かるが正確性のある結果を生み出すことが可能な直線的に駆動されてもよい。段階的、並びに/または、直線的にガルバノスキャナを操作することにより、被写体の空間的な位置と時間的な点との間は、直接な線形変換となる。
可動鏡の第二の方法は、リゾナントスキャナ(Resonant scanner)を用いることである。リゾナントスキャナは、リゾナントモードで駆動するガルバノスキャナであってもよく、または、特定の周波数においてリゾナントモードで駆動するように意図された、特定に設計された機械のスキャナであってもよい。線形スキャナやステッピングスキャナに優るリゾナントスキャナの一つの利点は、リゾナントスキャナは、高スピードで駆動されることが可能ということである。リゾナントスキャナの欠点は、スキャナの動きが、おおよそ正弦波的(sinusoidal)であることである。加えて、スキャナの相対位置が、時間と気温に伴ってドリフトする可能性がある。
共焦点顕微鏡や走査レーザー検眼鏡のような走査システムにおいて、kHzの周波数で動作するように駆動されることが可能なリゾナントスキャナは、被写体を走査するのに用いられる。リゾナントスキャナは、スキャナの物理的な動きも正弦波的となるか、正弦波にかなり近くなるように、頻繁に正弦波信号により駆動される。結果として、走査システムからの被検査画像は歪んでしまう。いくつかの既存技術が、スキャナによって引き起こされる正弦波歪みを修正する。
この問題を解決する一つの方法は、ダニエル エックス. ハンマー、他、安定化網膜撮像のための適応的光学走査レーザー検眼鏡,2006(以下、ハンマー)に記載されているような非線形可変画素クロックを使うことである。ハンマーは、リゾナントスキャナにより提供される正弦波スキャナを線形化するために、同期信号を提供するためのカスタムタイミングボードと、フレーム取り込み装置に対する非線形画素クロックを用いることを記載している。ハンマーにより示されているように、一般的な非線形画素クロックと実際のスキャナ出力における小さい位相誤差は、正弦波的走査が平らで画素クロックサンプリングがまばらである歪みを引き起こす可能性がある。
光学−電気的可変画素クロックシステム(OEVPC)である一つ目の方法は、アナログ−デジタル変換器(ADC)が時間領域においては非一様であるが空間領域においては一様に被検査画像を抽出するように、ADCに送られる可変画素クロックを生成するために使用されてよい。結果として、ADCからの被検査画像は、正弦波歪みはなく線形である。可変画素クロックアプローチの利点は、リアルタイムにおける正弦波歪みの修正と、高い正確性である。OEVPCの不利な面は、ハードウェア側におけるコストが増加することである。例えば、光学システムは、より大きく、より複雑である。フレーム取り込み器もまた、可変画素クロックを扱うために必要である。加えて、ユーザが、視界(field of view,FOV)、並びに/または、FOVに沿った複数の画素を走査するために複数の選択肢を有する意図がある場合、OEVPCはこれらの変形に対処するように設計される必要がある。
電気的可変画素クロックシステム(EVPC)である二つ目の方法は、可変画素クロックを生成するための電気的システムを使用する。このアプローチは、リゾナントスキャナにより生成されたアナログ運動信号(motion signal)を得ること、運動信号の校正(calibration)に基づいたルックアップテーブルを構築すること、位相ロックループ(PLL)と、高周波数等速参照クロック(例えば1GHz)から可変画素クロックを生成するために周波数ドライバを構築すること、を含んでもよい。EVPCは、OEVPCよりも費用がかからないものとなり得る。EVPCは、比較的高い正確性を有するが、OEVPCに関連するいくつかの同じ問題を有する。EVPCは、リゾナントスキャナの安定性にも依存する。リゾナントスキャナは、時間と気温の変化に伴ってドリフトする可能性がある。EVPCの柔軟性は、参照クロックとルックアップテーブルにも依存する。
この問題を解決する三つ目の方法は、校正方法である。校正方法は、正弦波歪みを校正するために、被検査画像の位置に配置された校正グリッドを用いる。校正グリッドは、そして、被検査画像を測定するのに使用される方法と同じ方法を使って測定される。ルックアップテーブルまたは変換行列は、そして、正弦波歪みを修正するために使用される。校正方法のいくつかの欠点は、サンプリングウィンドウを最適化しないため原画像のサンプリングFVOに沿った歪みが対称ではないこと、および、走査するFOVと画素数といったパラメータが変化したときにユーザは正弦波歪みを通常は再校正する必要があること、である。米国特許第5296703号明細書には、ロンキールーイング(Ronchi ruling)のような校正グリッドを使用する校正方法が記載されている。
EVPC方法と校正方法に伴う一つの問題は、それらは、リゾナントスキャナからのドリフトする同期信号の問題を解決することができないことである。ADCは、リゾナントスキャナの運動信号からの矩形波である水平同期信号(H−sync)として通常参照される、同期信号を受信する。機械的な不具合並びに/または電気的な不具合により、矩形波の立ち上がり/立ち下りは、リゾナントスキャナの物理的な動きに常には追尾しない。
この不都合は、H−syncの低速度のドリフトを引き起こし、結果として、ADCにより抽出された画像もドリフトする。これは、ランダムなスキュー歪みとして画像に現れる可能性がある。EVPC方法と校正方法は、そのドリフトに左右されず、したがって、可変画素クロックまたはルックアップテーブルは動的に更新されず、異なるデータサンプリングウィンドウに適用される。結果として、正弦波歪みを修正することは、H−syncドリフトの先端(Top)に起因する新しい歪みを導入する。
必要な方法は、リゾナントスキャナに関連する正弦波歪みを修正する、より柔軟性のある方法である。
例示的な実施形態は、被写体を撮像するための、システム、方法、非一時的なコンピュータ読み取り可能な媒体に向けられたものである。システムは、スキャナを含む。スキャナは、走査パスに沿った被写体上でスポット(spot)を置く。走査パスは、複数の走査線を含む。システムは、走査パスに沿う位置に関連づけられた原データを出力するために設定された検出器を含む。システムは、計算を実行する一つ以上のプロセッサを含む。計算は、原データを順方向走査データと逆方向走査データに分離することを含む。計算は、反逆方向走査データを生成するため逆方向走査データの順序を逆にすることを含む。計算は、順方向走査データと反転逆方向走査データに基づいて第一の関数の最大値に関連づけられたオフセット値を決定することを含む。順方向走査データは、反転された逆方向走査データと関連するオフセット値によりシフトされている。計算は、反転された逆方向走査データと組み合わされた順方向走査データを含む被写体の第一の画像を生成することを含む。順方向走査データは、反転された逆方向走査データと関連するオフセット値によりシフトされている。
例示的な実施形態は、第一の一連の画像を生成することを含む。第一の一連の画像における各画像は、反転された逆方向走査データの一部分と組み合わされた順方向走査データの一部分を含む。第一の一連の画像における各画像の順方向走査データは、反転された逆方向走査データに関連するシフト値によりシフトされる。さらに、第一の一連の画像における各画像に関連づけられた第二のデータセットを生成するために、第一の一連の画像における各画像を、空間領域から周波数領域へ変換することを含む。第一の一連の画像におえける各画像に関連づけられた第二のデータセットを含む第二の一連のデータセットが生成される。周波数ピークは、各第二のデータセットにおいて識別される。最大の明度(Intensity)を有する周波数ピークを有する第二の一連のデータセットにおける第二のデータセットは、第3のデータセットとして識別される。オフセット値としての、第3のデータセットのシフト値が識別される。
例示的な実施形態において、第一の関数は、順方向走査データの一部分と反転逆方向走査データの一部分との相互相関関数である。相互相関関数は、順方向走査データと反転逆方向走査データとの間のシフト値に関連して計算される。オフセット値は、第一の関数の最大値に関連づけられるシフト値である。
例示的な実施形態において、スポットは、光点である。光源は、レーザー、広帯域光原、複数の光源であり得る。
例示的な実施形態において、検出器は、被写体から反射された光点を検出し、原データは、走査パスに沿った物理的位置に関連づけられた時系列のデータ点である。
例示的な実施形態において、順方向走査データは、走査パスの順方向部分に関連づけられる、逆方向データは、走査パスの逆方向部分に関連づけられる。走査パスの順方向部分は、走査パスの逆方向部分に平行ではない。
例示的な実施形態において、走査パスの順方向部分は、互いに平行する複数の順方向走査線を含み、走査パスの逆方向部分は、互いに平行する複数の逆方向走査線を含む。
例示的な実施形態において、スキャナの動きにおける相対的変動を相殺するために、第一の画像を変形することにより、被写体の第二の画像が生成される。
例示的な実施形態において、スキャナはリゾナントスキャナを含み、スキャナの動きにおける相対的変動は、リゾナントスキャナの正弦波的な動きを実質的に参照する。
例示的な実施形態において、被写体の第三の画像は、第二の画像を、第二の画像の限定された部分に切り取ることにより生成される。第二の画像の限定された部分は、スキャナの動きが実質的に線形である走査パスの一部分に関連づけられる。
例示的な実施形態において、複数の走査線は、一つの順方向走査線と一つの逆方向走査線から構成される。第一の画像は2つの線から構成される。被写体の複数の第一の画像が得られる。複数の第一の画像は、第4の画像に結合される。
例示的な実施形態において、スキャナは、リゾナントスキャナに対して実質的に垂直の方向に動く第二のスキャナを含む。
例示的な実施形態は、オフセット値に基づいて水平同期信号を形成することを含む。
更なる特徴や側面は、後述する添付の図面を参照する、例示的な実施形態の詳細な記述から明らかになるだろう。
図1は、検眼鏡の図である。 図2は、例示的な実施形態に伴って取得され得る画像の図である。 図3は、例示的な実施形態に伴って生成される画像の図である。 図4は、方法400の図である。 図5A〜図5Fは、走査パスと、操作される被写体の一部分に関連する走査パスの図である。 図6A〜図6Bは、一つの例示的な実施形態において実装される同期信号及び走査パスとのそれらの関連の図である。 図7A〜図7Cは、例示的な実施形態における様々な工程において生成されるデータの図である。 図8は、リゾナントスキャナの動きに関連するデータ収集のタイミングの図である。 図9は、例示的な実施形態において使用され得るデバイス117の図である。
実施形態は、添付の図面を参照して以下に記述される。更に、以下に開示される画像撮影装置は、検査される眼、肌、臓器のような、検査される対象に適用されることが可能である。
<検眼鏡>
最初の実施形態は、図1に示される撮影装置などの眼底画像撮影装置を参照して記述される。
実施形態は、検眼鏡等の撮像システムとの接続において使用される、システム、方法、およびソフトウェアに向けられたものである。図1は、例示的な検眼鏡の図である。検眼鏡は、眼111(例えば、眼底)の内部についての情報を取得するためのシステムまたは装置である。
例示的な実施形態は、走査型検眼鏡である。走査型検眼鏡は、眼に渡るスポットを走査する。スポットは、眼に渡って走査される光源からの光点であり得る。
例示的な実施形態に於いて、光点は、光源101により作られる。光源101は、検眼鏡に組み込まれてもよい。また、検眼鏡は光源101を受信する入力を含み得る。光源101に対する入力は、ファイバー光入力または自由空間入力であり得る。光源101は、レーザー、広帯域光源、複数光源であり得る。例示的な実施形態において、光源101は、840nmの波長を有するスーパールミネセントダイオード(SLD)光源である。光源101の波長は、特定な長さに限定されないが、眼底画像撮影装置に対する光源101の波長は、検査される人体へのまぶしい光を低減するためと、画像解像度を維持するために、約800nmから1500nmの範囲に適切に設定される。
例示的な実施形態において、光源から発せられた光は、シングルモード光ファイバー102を通り、コリメート光(測定光105)としてコリメータ103により放射される。
例示的な実施形態において、シングルモードの光ファイバー102の経路において提供される偏光調整部材により、照射された光の偏光が調整される。別の構成では、光源102は偏光され、シングルモードの光ファイバー102は偏光維持ファイバーである。別の構成では、偏光調整部材はコリメータ103の後段に置かれてもよい。また、偏光調整部材は、偏光子に置き換えられてもよい。
コリメータ103から放射された測定光105は、ビームスプリッターを含む光分離部分104を通過する。例示的な実施形態は、適応的光学システム(Adaptive optical system)を含んでもよい。例示的な実施形態は、適応的光学システムを含むシステムと含まないシステムの両方を含む。
適応的光学システムは、光分離部分106、波面センサー115、波面修正デバイス108、及び、測定光105をこれらの構成要素に導くための反射ミラー107−1〜107−4を含む。反射光107−1〜107−4は、眼111の眼孔、波面センサー105、及び波面修正デバイス108へ測定光105を導くために、及び、眼111の眼孔、波面センサー105、及び波面修正デバイス108から測定光105を導くために提供される。波面センサー115と波面修正デバイス108は、光学的に共役な関係にあってもよい。ビームスプリッターは、光分離部分106として使用され得る。波面センサー115は、シャックハルトマンセンサ(Shack−Hartmann sensor)であってもよい。
光分離部分106を通過する測定光105は、反射ミラー107−1〜107−4上で反射して、波面修正デバイス108に入力する。波面修正デバイス108上で反射した測定光105は、反射ミラー107−3、107−4上でさらに反射する。
例示的な実施形態において、液晶素子を含む一つか二つの空間位相変調器は、波面修正デバイス108として使用される。液晶素子は、特定の偏光した要素だけの位相を変調する。この場合、測定光105の直交偏光要素を実質的に変調するために、1つの液晶素子が用いられる。代替的な実施形態では、波面修正デバイス108は、可変鏡である。
ミラー107−4により反射された測定光105は、走査光学システム109により2次元で走査される。例示的な実施形態では、走査光学システム109は、第一のスキャナ109−1と第二のスキャナ109−2を含む。第一のスキャナ109−1は、第一の軸の周りを回転し、第二のスキャナ109−2は、第二の軸の周りを回転する。第一の軸は第二の軸に対して実質的に直交する。
図1は、x−y面で回転する第一のスキャナ109−1と、z−x面で回転する第二のスキャナ109−2を示している。本願に照らし、第一の軸の周りの第一の面において測定光105を回転させることは、第一の面において測定光105を回転させることと同等であり、主走査方向または撮像される被写体の横方向において光点を走査することと同等である。本願に照らして、第二の軸の周りの第二の面において測定光105を回転させることは、第二の面で測定光105を回転させることと同等であり、副走査方向または撮像される被写体の縦方向において光点を走査することと同等である。副走査方向は、主走査方向と実質的に直交する。
第一のスキャナ109−1の走査周期は、第二のスキャナ109−2の走査周期よりも短い。第一のスキャナ109−1と第二のスキャナ109−2の順序は、例示的な実施形態の走査に影響なく交換され得る。第一のスキャナ109−1は、リゾナントスキャナモードで動作してもよい。
提示的な実施形態において、走査光学システム109は、第一のスキャナ109−1により第一の軸の周りを回転し、第二のスキャナ109−2により第一の軸に実質的に直交する第二の軸の周りを回転する単一の走査ミラーであってもよい。例示的な実施形態は、非機械的なビームステアリング技術も使用してもよい。
例示的な実施形態において、第一のスキャナ109−1と第二のスキャナ109−2はガルバノスキャナである。別の例示的な実施形態において、第一のスキャナと第二のスキャナのいずれか1つがリゾナントスキャナである。リゾナントスキャナは、主走査方向に対して使用され得る。リゾナントスキャナは、特定の周波数において振動するようにしてもよい。
走査光学システム109により走査された測定光109は、接眼レンズ110−1、110−2を通って眼111に放射される。眼111に放射された測定光は、反射され、錯乱され、または眼底で吸収される。接眼レンズ110−1、110−2は位置が調整された場合、適切な照射は、眼111の視度(Diopter)に従って行われる。この実施形態では、レンズは、接眼レンズ部分に対して使用されてもよいが、球面鏡等の他の光学要素も使用されてもよい。
眼111の網膜上で反射もしくは錯乱することにより生成された反射光は、その後、入射光の場合と同じ経路に沿って反対方向に進む。光分離部分106により反射された反射光の一部分は、光線波面を測定するために使用されるために波面センサー115に送られる。
例示的な実施形態において、シャックハルトマンセンサは、波面センサー115として使用される。しかしながら、例示的な実施形態は、シャックハルトマンセンサに限定されない。他の波面測定部として、例えば、曲率センサーが使用されてもよく、形成されたスポット像から逆計算(reverse calculation)により波面を取得する方法も使用されてもよい。
図1には、反射光が光分離部分106を通過するときに、反射光の一部は光分離部分104上で反射し、コリメータ112と光ファイバー113を通って光度センサー114へ導かれる。光度センサー114は、光を電気信号に変換する。電気信号は、制御部117により、被写体の像に加工され、像はディスプレイ118上に表示される。
波面センサー115は、適応的光制御部116に接続される。受信された波面は、適応的光制御部116へ伝達される。波面修正デバイス108もまた、適応的光制御部116に接続され、適応的光制御部116による指示に従って変調を実行する。適応的光制御部116は、波面センサー115の結果を測定することにより得られた波面に基づいて、収差(aberration)がない波面を得るために、修正のための変調量(修正量)を計算し、波面修正デバイス108に対し、該変調量に従って変調するよう指示する。波面の測定と波面修正デバイスに対する指示は繰り返され、適切な波面を得るためにフィードバック制御が実行される。
例示的な実施形態において、光分離部分104、106は、溶融ファイバカプラ(Fused Fiber coupler)である。他の例示的な実施形態において、光分離部分は、部分的に反射ミラーを含む。
検出器114は、走査スポットに関連する反射または蛍光発光(fluorescence)を検出してもよい。検出システムは、走査スポットに関連した開口(aperture)が、解像度並びに/または検出システムのコントラストを増加するために使用される、共焦点顕微鏡法を利用する。
<像>
図2は、検出器114により取得され得る像の図である。像210は、眼111の内部の例である。像220は、像210の拡大図の例である、現在の高解像度の画像化技術により、図2の像210により示されるような、個々の視細胞を画像化することが可能である。
図3は、範囲と解像度が可変である例示的な実施形態により生成された像の図である。像310は、眼111の3mm×1.55mmの部分を示している。像320は、眼111の820μm×820μmの部分を示している。像330は、眼111の440μm×440μmの部分を示している。
走査光学システム109は、リゾナントスキャナを使用してもよい。リゾナントスキャナは、通常、kHzのレートで動作し、例えば被検査物といった被写体を走査するために使用される。リゾナントスキャナの物理的な動きは、正弦波的、または正弦波に非常に近い。結果として、リゾナント走査システムにより得られた被検査画像は、歪んでいる。例示的な実施形態は、これらの歪みを修正するシステムに向けられる。リゾナントスキャナを含むシステムに特に適応可能であるが、この方法は、他の走査システムにも適応可能である。
図4は、例示的な実施形態を実行する方法400の図である。方法400のステップ402は、走査パスに沿った位置に関連づけられた原データを受信する工程を含む。方法400のステップ404は、原データを順方向走査データと逆方向走査データに分離する工程を含む。方法400のステップ406は、反転逆方向走査データを生成するために、逆方向走査データの順序を逆にする工程を含む。方法400のステップ408は、順方向走査データと反転逆方法走査データに基づいた第一の関数の最大値に関連づけられたオフセット値を決定する工程を含む。ここで、第一の走査データは、反転逆方向走査データに関連するオフセット値によりシフトされている。方法400のステップ404は、反転逆方法走査データと組み合わされた順方向走査データを含む、被写体の第一の像を生成する工程を含む。ここで、第一の走査データは、反転逆方向走査データに関連するオフセット値によりシフトされている。
<走査パス>
図5Aは、例示的な実施形態を用いて走査される被写体の部分510の図である。図5Bは、走査パスの図であり、該図において、第一のスキャナ109−1が第一の軸に沿って前後に走査され、第二のスキャナ109−2が第二の軸に沿って同じ時間に走査されるときに、スポットは移動する。図5Cは、走査される被写体の部分510に重ね合わせられた走査パス520の図である。
図5Dは、第一の他の走査パス530の図であり、該図において、第一のスキャナ109−1が第一の軸に沿って前後に走査され、第二のスキャナ109−2が走査の主部分の間固定の位置に保持され、第一の方向で動く第一のスキャナ109−1の最後と、反対の方向で動く第一のスキャナの最初に渡る第二の軸に沿って、一つのステップを進むときに、スポットは移動する。
図5Eは、第二の他の走査パス540の図であり、該図において、第一のスキャナ109−1は第一の軸に沿って前後に走査されるときに、スポットは移動する。第二のスキャナ109−2は、第一のスキャナ109−1が走査している間、固定の位置に保持される。第二の他の走査パス540において、第一のスキャナ109−1は、第二のスキャナ109−2が第二の軸に沿って動く間、固定の位置に保持される。
図5Fは、走査パス520の図であり、該図において、走査パスは2つのセットの走査線、順方向走査線522と逆方向走査線524、に分けられる。
<同期信号>
図6Aは、一つ目の例示的な実施形態において実装される同期信号及び走査パス520とのそれらの関連の図である。V−sync信号(垂直同期信号)610は、フレームの開始に合わせられる。H−sync信号(水平同期信号)620は、各走査線の開始に合わせられる。ビデオ信号630は、測定された明度に関連づけられたアナログ信号を表している。画素クロック649は、ビデオ信号を測定する時間に合わせられている。
図6Bは、二つ目の例示的な実施形態において実装される同期信号及び走査パス520とのそれらの関連の図である。第二の実施形態において、H−sync信号622は、各順方向走査の開始に合わせられる。
図6A、6Bに示される同期信号は、立ち上がりエッジ同期信号である。例示的な実施形態は、立り下がりエッジ同期信号である。
図7Aは、例示的な実施形態により生成された原データの図である。原データは複数の走査線を含む。原データ710は、2つのセットのデータ、順方向走査データ712と逆方向走査データ714、に分けられる。順方向走査データ712と逆方向走査データ714は、組み合わされた像を生成するために組み合わされる。
一つの例示的な実施形態において、H−sync信号620は、原データ710を順方向走査データ712と逆方向走査データ714に分離するために使用される。
別の例示的な実施形態において、H−sync信号620は、原データ710を走査線に分離するために使用される。各走査線は、一つの順方向走査線522と一つの逆方向走査線524に分離される。順方向走査データは、順方向走査線522の1セットで構成されている。逆方向走査データ714は、逆方向走査線524の1セットで構成されている。
反転逆方向走査データ716(不図示)を作成するために、順方向走査データ712に関連して、逆方向走査データ714の順序は逆にされる。順方向走査データと反転逆方向走査データは、組み合わされた像を生成するために、一緒に組み合わされる。もし、H−sync信号が走査システムの実際の動きに関連してドリフトする場合、像に歪みが現れる結果となる。例示的な実施形態において、この問題は、逆方向走査データに関連する順方向走査データを、以下に説明されるやり方において決定された固定の量オフセット(相殺)することにより処理される。
図7Bは、順方向走査データ712と反転走査データ714の組み合わせから生成された像データ720の図であり、該図において、順方向走査データ712と反転逆方向走査データ716は互いに関連してオフセットされている。リゾナントスキャナの正弦波的な動きに起因する歪みは、像データ720に現れる。その歪みは、図7Cに示される像データ730を生成するために、非正弦波の変換を用いて容易に修正される。像データ730はまた、像データ720の切り取られた部分でもある。像データ730は、正弦波的な動きの線形の部分にのみに限定されてもよい。
例示的な実施形態は、サンプリングウィンドウを示す。このサンプリングウィンドウは、データを取得するスピード、並びに/または、生成されたデータの正確性を向上させるために最適化されることが可能である。例示的な実施形態は、H−sync信号620におけるドリフトを補償(相殺)するサンプリングウィンドウの位置を動的に調整してもよい。正弦波歪みの修正(非正弦波変換)は、補間や積分に基づく。
リゾナントスキャナの動きは、収集されたデータの正確性に影響を与えない正弦波的であると仮定することができる。リゾナントスキャナの動きの頂点と谷間は、厳密に正弦波的でなくてもよい。これにより、例示的な実施形態の正確性は劣化しない。なぜならば、スキャナの頂点と谷間の間に収集されたデータは、通常は使用されないからである。例示的な実施形態は、頂点と谷間においてスキャナの動きをより正確に反映する異なる変換を用いてもよい。
<タイミング>
図8は、リゾナントスキャナの動きに関連するデータ収集のタイミングの図である。T1は、スキャナの動きからゼロ交差信号の立ち上がりエッジまでのタイミング遅延であり、T2はADC変換遅延である。T1+T2は、ADCにより検出されないハードウェア遅延である。機械的ドリフト並びに/または電気的ドリフトにより、T1はいくつかの走査システム上で時間と共にドリフトするが、T2は至って安定している。T3は、通常は「フロントポーチ」と参照され、T4+T5+T6は、データサンプリングウィンドウであり、T7は、通常「バックポーチ」と参照される。Tは、H−syncのドリフトが考慮されなければ、スキャナの動きの1周期に関連づけられる合計全タイミングである。T4とT6からのデータは、使用可能である、しかし、T5からのデータは使用可能ではない。なぜならば、スキャナは顕著な像歪みに伴ってゆっくり動くからである。上記の全てのパラメータは、通常T1とT2を除いて調整可能である。
例示的な実施形態において、最適なサンプリングウィンドウが特定される。「最適」は、T4とT6が同じ値であり、時間ウィンドウT4に関連する歪みが時間ウィンドウT6に関連づけられる歪みと実質的に同等である、サンプリングウィンドウを参照する。例示的な実施形態では、時間ウィンドウT4、T6に関連づけられる歪みは正弦波的である。例示的な実施形態において、ウィンドウT4とT6の両方の端部に関連づけられる歪みは、対称(Symmetric)である。
例示的な実施形態において、以下の関係が実質的に満たされる。
T4=T6 (1)
T1+T2+T3=T5/2 (2)
T7=T5/2 (3)
T=T1+T2+T3+T4+T5+T6+T7 (4)
式(4)に定義される合計タイミングTは、ADCを介して設定されてもよい。合計タイミングTは、ADC上の同期サイクル毎の画素の数に関連して定義されてもよい。合計タイミングTは、安定、並びに/または、正確であってよく、また、位相ロックされてもよい。式(1)が満たされるように、フレーム取り込み器においてデータウィンドウT4、T6が定義される。式(1)〜(3)は、式(4)に代入され、T5は式(5)を導き出せるようにT4とTに関連して定義される。
T5=T/2−T4 (5)
時間ウィンドウT4は、順方向走査線522と順方向走査データ712に関連づけられる。順方向走査データ712は、少なくとも一つの順方向走査線522を含む。時間ウィンドウT6は、逆方向走査線524と反転逆方向走査データ716に関連づけられる。反転逆方向走査データ716は、少なくとも一つの逆方向走査線524を含む。
一つの例示的な実施形態において、順方向走査データ712と反転逆方向走査データ716との間の時間差が計算されてもよい。時間差は、順方向走査データ712と反転逆方向走査データ716との間の相互相関関数の最大値を見つけることにより計算されてもよい。一つの例示的な実施形態において、相互相関関数が計算される範囲は、ウィンドウT4とT6に限定される。そのような例示的な実施形態において、ウィンドウT4とT6は、オフセットや変換なしに、正弦波曲線の順方向走査部分と逆方向走査部分のそれぞれ半分の中心に並べられる。
一度時間差が計算されると、フロントポーチT3は、順方向走査データと逆方向走査データ716を並べるように調整される。
T1は、計器の視界においてADCのサンプリングレートに関連してドリフトする場合、不安定であると考えられる。したがって、視界の解像度が増加した場合、T1の安定性はより重要である。ウィンドウT4とT6が、実質的に、同じ物理サンプリング位置ウィンドウにあるように、T3は動的に調整される必要があるだろう。例えば、T1がT1+Δtに変化した場合、T3はT3−Δtに調整されるべきである。
一つの例示的な実施形態において、T3は周期的に調整される。T1は普通ゆっくりとドリフトするため、調整間の時間間隔は、約数秒である。計器が始動するとき、周囲の気温が変化するとき、または計器内の構成要素の温度が変化するとき、T1の変化レートがより大きくなる。調整間の周期は、始動してからの時間、内部の温度変化、または周囲の気温の変化に基づいて変化する。
一度、ウィンドウT4とT6の最適なタイミングが決定されると、正弦波歪みは式(6)を用いて、補間または積分により修正されるだろう。
y=sin(ωt)、t∈[T1+T2+T3、T1+T2+T3+T4] (6)
別の実施形態において、もし像730が網膜視細胞のような周期的なデータを有する場合、相互相関に代わる別の方法が、サンプリングウィンドウの関連時間的位置を修正するために使用されてもよい。原則として、視細胞は、全方向においてお互いが2mm〜10mm間のスケールで整列されている。2次元フーリエ変換が、順方向走査データ712と反転逆方向走査データ716が結合された上に実行される。最大エントロピーや他の変換等のフーリエ変換以外の方法が、データの周波数を計算し、周期データを特定し、並びに/または空間スペクトラム解析を実行するために使用されてもよい。周期データは、像の2次元フーリエ変換の特定の周波数ピークとしてフーリエ変換において現れるだろう。ピークの周波数は、細胞のサイズと視界のサイズに依存する。後に、順方向走査データ712と反転逆方向走査データ716が単一の統合されたデータセットに組み合わされる。フーリエ変換はデータセット上で実行されてもよい。順方向走査データ712と反転逆方向走査データ716間のオフセットは、ピーク周波数の高さを最大にするように調整されてもよい。発明者は、順方向走査データ712と反転逆方向走査データ716が正しいオフセットを有する像は、順方向走査データ712と反転逆方向走査データ716が正しくないオフセットを有する像に関連して、もっとも高いピークの周波数を有すると判断した。T3は、この最大化工程により計算されたオフセットに従って、その後調節される。
図9は、例示的な実施形態を実装するために使用されるデバイス117の図である。デバイス117は、パーソナルコンピュータまたは特注のコンピューティングデバイスであってもよい。デバイス117は、命令を実行するために中央制御部(CPU)902を含む。命令は、非一時的コンピュータ読み取り可能媒体上でコード化されてもよい。非一時的コンピュータ読み取り可能媒体は、バードディスク、フロッピーディスク、光学ディスク、磁気ディスク、光磁気ディスク、磁気テープ、非揮発性メモリーカード、記録媒体を起動させるためのドライブ、及びその中の記録される情報を含む。命令と、命令が実行されるデータは、メモリ904に保存されてもよい。デバイスは、キーボード、マウス、タッチパネル、スタイラス、並びに/または、情報をデバイスに供給するための方法をユーザに供給する一つ以上のボタンを含んでもよい。バス908は、アドレスバスまたはデータバスを含み、構成における各部に接続される。デバイス117は、表示デバイス118を含むか、表示デバイス118に接続される。表示デバイス118は、デバイスの状態、並びに/または、様々な入力操作と処理結果を表示するために使用することが出来る。表示デバイス118は、LCD(液晶ディスプレイ)、PDP(プラズマディスプレイパネル)、OLED(有機発光ダイオード)等で構成され、画像並びに文字列を表示することができる。デバイス117は、検出器114に接続されるフレーム取り込み器912を含むか、接続されてもよい。
例示的な実施形態は、現存するハードウェア技術とソフトウェア技術の利点を結合することにより、リゾナントスキャナからの正弦波像歪みを正確に修正するように最適化された画像化システムを可能とする。例示的な実施形態は、各走査線の開始位置の正確な特定を可能とし、それにより、インタレース処理は、正しいやり方で行われるだろう。
例示的な実施形態の側面は、上述した実施形態の機能を実行するメモリデバイスに記憶されたプログラムを読み出して実行するシステムのコンピュータや装置(またはCPUやMPUといたデバイス)により、および、例えば、上述した実施形態の機能を実行するメモリデバイスに記憶されたプログラムを読み出して実行することによりシステムのコンピュータや装置により行われる工程を含む方法により実現化されることも可能である。この目的のために、プログラムは、例えば、ネットワークもしくはメモリデバイス(例えばコンピュータ読み取り可能な媒体)としての機能を果たす様々なタイプの記録媒体を介してコンピュータへ提供される。そのような場合、システムまたは装置、およびプログラムが格納された記録媒体は、例示的な実施形態として含まれる。
本発明は例示的な実施形態を参照して記述されてきたが、本発明は、開示された例示的な実施形態に限定されないことが理解されるだろう。以下の請求項の範囲は、全ての改良、同等な構成、機能を包含するように、もっとも広い解釈が許容されるだろう。

Claims (15)

  1. 検眼を撮像する撮像システムであって、
    複数の走査線を含む走査パスに沿って、前記被検眼上のスポットの位置を決めるスキャナと、
    前記走査線に沿った位置に関連づけられた原データを出力する検出器と、
    計算を実行する一つ以上のプロセッサを含み、
    前記計算は、
    前記検出器から出力された原データを順方向走査データと逆方向走査データに分離する工程と、
    反転逆方向走査データを生成するために前記逆方向走査データの順序を逆にする工程と、
    前記順方向走査データと前記反転逆方向走査データとの相互相関を計算することでオフセット値を決定する工程と、
    前記反転逆方向走査データと前記オフセット値により前記反転逆方向走査データに対してシフトされた前記順方向走査データとを組み合わせて前記被検眼の第一の画像を生成する工程と、
    前記オフセット値に基づいてデータサンプリングウインドウを調整する工程と、
    を含む撮像システム。
  2. 前記相互相関、前記順方向走査データと前記反転逆方向走査データとの間のシフト値に関連して算出され、前記オフセット値は、前記相互相関の最大値に関連づけられたシフト値である、請求項1に記載の撮像システム。
  3. 前記スポットは、光点である、請求項1に記載の撮像システム。
  4. 前記光点を生成するために、レーザー、広帯域光源、または複数の光源である光源をさらに有する、請求項3に記載の撮像システム。
  5. 前記検出器は、前記被検眼から反射された前記光点を検出し、前記原データは、前記走査パスに沿った物理的位置に関連づけられた時系列のデータ点である、請求項4に記載の撮像システム。
  6. 前記順方向走査データは、前記走査パスの順方向部分に関連づけられ、前記逆方向走査データは、前記走査パスの逆方向部分に関連づけられ、前記走査パスの前記順方向部分は、前記走査パスの前記逆方向部分に平行ではない、請求項1に記載の撮像システム
  7. 前記走査パスの前記順方向部分は、互いに平行な複数の順方向走査パスを含み、前記走査パスの逆方向部分は、互いに平行な複数の逆方向走査パスを含む、請求項6に記載の撮像システム
  8. 前記スキャナの動きにおける相対的変動を相殺するために前記第一の像を変換することにより、前記被検眼の第二の像を生成する工程をさらに有する、請求項1に記載の撮像システム。
  9. 前記スキャナはリゾナントスキャナを含み、前記スキャナの動きにおける前記相対的変動は前記リゾナントスキャナの実質的に正弦波的な動きを参照する、請求項8に記載の撮像システム
  10. 前記第二の像を、前記第二の像の限定された部分に切り取ることにより前記被検眼の第三の像を生成する工程をさらに有し、ここで前記第二の画像の限定された部分は、前記スキャナの動きが実質的に線形である前記走査パスの部分に関連づけられている、請求項8に記載の撮像システム。
  11. 前記複数の走査線は、一つの順方向走査線と一つの逆方向走査線から構成されており、前記第一の像は二つの線から構成されており、前記被検眼の複数の第一の画像が得られ、該複数の第一の画像は第四の像に結合される、請求項1に記載の撮像システム。
  12. 前記スキャナは、リゾナントスキャナと実質的に垂直の方向に動く第二のスキャナをさらに有する、請求項1に記載の撮像システム。
  13. 前記オフセット値に基づいて水平同期信号を形成する工程をさらに有する、請求項1に記載の撮像システム。
  14. 検眼の像に関連づけられた走査線を同期させる方法であって、
    走査パスに沿った位置に関連づけられた原データを受信する工程と、
    前記原データを順方向走査データと逆方向走査データに分離する工程と、
    反転逆方向走査データを生成するために前記逆方向走査データの順序を逆にする工程と、
    前記順方向走査データと前記反転逆方向走査データとの相互相関を計算することでオフセット値を決定する工程と、
    前記反転逆方向走査データと前記オフセット値により前記反転逆方向走査データに対してシフトされた前記順方向走査データとを組み合わせて前記被検眼の第一の画像を生成する工程と、
    前記オフセット値に基づいてデータサンプリングウインドウを調整する工程と、
    を含む方法。
  15. コンピュータに、請求項14に記載された方法の各工程を実行させるためのプログラム。
JP2014239206A 2013-12-04 2014-11-26 スキャナからの歪みの像に基づく修正 Active JP5990560B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/096,902 US9485383B2 (en) 2013-12-04 2013-12-04 Image based correction of distortion from a scanner
US14/096,902 2013-12-04

Publications (3)

Publication Number Publication Date
JP2015119959A JP2015119959A (ja) 2015-07-02
JP2015119959A5 JP2015119959A5 (ja) 2016-04-07
JP5990560B2 true JP5990560B2 (ja) 2016-09-14

Family

ID=53266354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014239206A Active JP5990560B2 (ja) 2013-12-04 2014-11-26 スキャナからの歪みの像に基づく修正

Country Status (2)

Country Link
US (1) US9485383B2 (ja)
JP (1) JP5990560B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065157B (zh) * 2017-02-21 2023-02-10 中国科学院苏州生物医学工程技术研究所 一种共聚焦成像畸变校正系统及方法
US12484785B2 (en) 2021-07-15 2025-12-02 University Of Rochester Microscopy imaging system and methods

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4213678A (en) * 1977-09-29 1980-07-22 Retina Foundation Scanning ophthalmoscope for examining the fundus of the eye
JPS568110A (en) * 1979-07-03 1981-01-27 Fuji Photo Film Co Ltd Light beam scanner
FR2555039B1 (fr) * 1983-11-21 1986-04-04 Centre Nat Rech Scient Ophtalmoscope catadioptrique a balayage
US4591236A (en) * 1984-02-13 1986-05-27 International Business Machines Corporation Optical scanner with beam directing holograms at window
US5155343A (en) * 1990-03-28 1992-10-13 Chandler Donald G Omnidirectional bar code reader with method and apparatus for detecting and scanning a bar code symbol
US5296703A (en) 1992-04-01 1994-03-22 The Regents Of The University Of California Scanning confocal microscope using fluorescence detection
US6345116B1 (en) * 1996-05-31 2002-02-05 Matsushita Electric Industrial Co., Ltd. Image processing apparatus
JPH11225965A (ja) 1998-02-18 1999-08-24 Canon Inc 眼科装置
DE19835067C2 (de) * 1998-08-04 2000-11-23 Zeiss Carl Jena Gmbh Laser-Scanning-Ophthalmoskop
JP2000115478A (ja) * 1998-10-06 2000-04-21 Canon Inc シリアルスキャナ装置及びその双方向誤差補正方法並びに記憶媒体
DE10037783A1 (de) 2000-08-03 2002-02-14 Leica Microsystems Verfahren und Vorrichtung zur Phasenkorrektur von Positions- und Detektionssignalen in der Scanmikroskopie und Scanmikroskop
DE102005047200B4 (de) 2005-10-01 2021-05-06 Carl Zeiss Microscopy Gmbh Verfahren zur Korrektur einer Steuerung eines optischen Scanners in einer Vorrichtung zur scannenden Abbildung einer Probe und Vorrichtung zur Erzeugung eines Bildes einer Probe durch Abscannen der Probe
DE102005047218B4 (de) 2005-10-01 2021-10-07 Carl Zeiss Microscopy Gmbh Verfahren zur Steuerung eines optischen Scanners, optischer Scanner und Laser-Scanning-Mikroskop
JP5242148B2 (ja) 2007-12-18 2013-07-24 オリンパス株式会社 走査型顕微鏡装置
US8134591B2 (en) * 2008-05-07 2012-03-13 Eastman Kodak Company Display using bidirectionally scanned linear modulator
KR101299455B1 (ko) * 2008-09-09 2013-08-22 삼성전자주식회사 광주사유니트, 이를 채용한 화상형성장치 및 이 광주사유니트의 동기신호 보정방법
JP2010262104A (ja) * 2009-05-01 2010-11-18 Nikon Corp 走査型共焦点顕微鏡
JP5598740B2 (ja) 2010-08-12 2014-10-01 株式会社ニコン 走査型顕微鏡
JP5787063B2 (ja) * 2011-03-31 2015-09-30 株式会社ニデック 眼科撮影装置
US20120257166A1 (en) * 2011-04-07 2012-10-11 Raytheon Company Portable self-retinal imaging device
WO2013125698A1 (ja) * 2012-02-24 2013-08-29 株式会社トプコン レーザ走査型撮影装置
JP5977542B2 (ja) * 2012-03-05 2016-08-24 株式会社トプコン 走査型眼底撮像装置
JP5977541B2 (ja) 2012-03-05 2016-08-24 株式会社トプコン 走査型眼底撮像装置
JP6217065B2 (ja) 2012-09-28 2017-10-25 株式会社ニデック 眼科撮影装置

Also Published As

Publication number Publication date
US20150156365A1 (en) 2015-06-04
US9485383B2 (en) 2016-11-01
JP2015119959A (ja) 2015-07-02

Similar Documents

Publication Publication Date Title
US11379035B2 (en) System and method for resonant eye-tracking
US11924396B2 (en) Non-mechanical beam steering assembly
JP5858433B2 (ja) 注視点検出方法及び注視点検出装置
US10117576B2 (en) System, method and computer accessible medium for determining eye motion by imaging retina and providing feedback for acquisition of signals from the retina
JP5915981B2 (ja) 注視点検出方法及び注視点検出装置
US20110298896A1 (en) Speckle noise reduction for a coherent illumination imaging system
JP3747471B2 (ja) 偏光方位検出型2次元受光タイミング検出装置およびそれを用いた表面形状計測装置
KR20040047791A (ko) 타겟 표면 이미지의 발생 방법 및 포착 시스템
JP6217065B2 (ja) 眼科撮影装置
US11334153B2 (en) Optical device, retinal projection display, head-mounted display, and input device
JP2017170141A (ja) ロバストな眼追尾のための方法及びそのための眼科装置
JP7175982B2 (ja) 光計測装置および試料観察方法
JP6576369B2 (ja) 干渉光学装置、干渉観察装置および干渉観察方法
JP2014068704A (ja) 眼科撮影装置
Sarkar et al. A resonant eye-tracking microsystem for velocity estimation of saccades and foveated rendering
US9974434B2 (en) Ophthalmic imaging apparatus and image generation method therefor
JP6166645B2 (ja) 光断層画像撮影装置
JP5990560B2 (ja) スキャナからの歪みの像に基づく修正
US10709329B2 (en) Image pickup apparatus and method of controlling image pickup apparatus
JP2016123466A (ja) 眼底撮影装置
WO2013185936A1 (en) Apparatus and method for estimating a property of a surface using speckle imaging
JP6866782B2 (ja) 光走査型撮影装置、および位相調整方法
JP6806481B2 (ja) 撮影装置、撮影装置の制御方法、及びプログラム
US10674902B2 (en) Information processing apparatus, operation method thereof, and computer program
WO2019098005A1 (ja) 光測定装置及び光測定方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160209

A524 Written submission of copy of amendment under section 19 (pct)

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20160209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160715

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160815

R150 Certificate of patent or registration of utility model

Ref document number: 5990560

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150