JP2015535091A - 視野の深度を推定する能力があるパッシブシングルチャネルイメージャの設計方法 - Google Patents

Abstract

本発明は、ソースの距離を推定するための、光学サブシステム、検出器サブシステム及びデジタル画像処理サブシステムを含む電気光学撮像システムを設計するための、コンピュータが実施する方法に関し、上記方法は、光学サブシステム、検出器サブシステム及びデジタル画像処理サブシステムを通して、放射の、そのソースからの伝搬のモデルを作るステップであり、該モデルを作るステップはソースの空間モデルに基づく、ステップを含み、上記方法は、光学サブシステムとデジタル画像処理サブシステムとを同時に設計する連帯的なステップであり、該設計するステップはソースからの距離の局所的な推定とソースからの実際の距離とにおける比較に依存する少なくとも１つの性能メトリックに基づく、ステップを含む。

Description

本発明は、電気光学パッシブシングルチャネルシステムを用いた深度の推定の分野に関し、より具体的に、上記の電気光学システムを設計する方法に関する。

上記の電気光学システムの応用は、より詳細に、ドローンなどの自律装置の開発が該装置の環境における３Ｄ情報抽出技法の開発を必要としているところの防衛の分野に関する。

さらに、スマートモバイルフォン又は対話型ゲーム用コンソールなどの民生用テクノロジーに関連付けられた新しい特性が、ユーザの周りの３Ｄ環境の知識をますますしばしば使用している。

双方の応用分野において、組み込みシステムに固有の制約が、エネルギーをほとんど消費しない小型システムの設計を必要としている。

言及された装置はすべて、これらが少なくとも１つのパッシブな電気光学システム（カメラ）を統合するという共通点を有する。

本発明の目的は、電気光学システムだけにより提供されるデータを生かすことによる深度のパッシブな推定に関し、これは、３Ｄ能力を装置に追加するためのエネルギー及び空間消費を最小にする方法である。

シングルチャネル距離推定方法は、従来技術において知られている。

米国特許第７７１１２０１号は、可動レンズとイメージセンサとイメージセンサに結合された処理モジュールとを用いて深度マップを生成して深度情報を決定する方法及び電気光学システムを開示している。レンズ、イメージセンサ及び処理モジュールは、カメラなどの撮像装置を形成し、オートフォーカス、監視又は自律的車両ナビゲーションなどの応用のためにあるシーンの画像を捕捉することに使用される。深度情報算定方法は、畳み込みカーネルを用いてガウスぼかし（Gaussian blur）の量を、次いで画像間のぼけ（blur）の差の推定をシミュレーションするステップを含む。

Ａ．Ｌｅｖｉｎ、Ｒ．Ｆｅｒｇｕｓ、Ｆ．Ｄｕｒａｎｄ及びＷ．Ｔ．Ｆｒｅｅｍａｎによる論文“Ｉｍａｇｅ ａｎｄ ｄｅｐｔｈ ｆｒｏｍ ａ ｃｏｎｖｅｎｔｉｏｎａｌ ｃａｍｅｒａ ｗｉｔｈ ａ ｃｏｄｅｄ ａｐｅｒｔｕｒｅ ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ”、ＳＩＧＧＲＡＰＨ、２００７年（http://groups.csail.mit.edu/graphics/CodedAperture/CodedAperture-LevinEtAl-SIGGRAPH07.pdf）は、符号化された絞りを実施するシングルチャネル電気光学システムから距離が推定される解決策を説明している。上記論文は、上記の絞りのエンコードを最適化する方法も説明している。

仏国特許第ＦＲ２８８０９５８号は、視野の深度を増加させる電気光学システムを開示している。上記特許に説明される別の解決策の１つは、光学測距装備を必要とすることなく単一の取得からあるシーンにおける被写体の距離を測定するように適合させた方法及びシステムの実施に関する。それから、上記方法は、デジタル画像の各領域に存在する被写体の距離の推定を得ることを可能にする。

従来技術の上記文献に提供される解決策は、色光学素子（chromatic optics／optique chromatique）を用いることにあり、このことは、取得に係る赤、緑及び青のチャネルに依存して可変レベルの鮮明さを有し、デジタル画像をＸ×Ｙ画素ゾーンに分けることを可能にする。それから、各ゾーンについて、少なくとも２つのチャネルの鮮明さが測定され、それから、測定値又は相対的な測定値が、鮮明さ対距離曲線に、すなわち例えば捕捉装置を較正することによって定義される曲線上にレポートされる。それから、装置の参照マークの中の捕捉装置エリアに示される被写体の部分の深度の推定に対応する距離が、得られる。

それから、上記方法は、デジタル画像の各領域に存在する被写体の距離の推定を得てセンサと標準の光学素子とを用いてリアルタイム及び低コストの光学測距装置を構築することを可能にし、これは、画像と画像に相互に関連付けられた距離情報とを与える。

国際出願第ＷＯ２００９０８２８２２号も知られており、該出願は、単一のカメラを用いて深度マップを生成し、一組の補足された画像から焦点メトリック情報の中で最良の焦点メトリックを選択する方法を説明している。最良のメトリックは、最適なレンズ位置を決定し、そこから深度を推測することを可能にする。この従来技術に係る方法は、画像処理動作を実行するよう生成された深度マップを使用し、例えば、フラッシュの強さを調整すること、関心のある深度面において画像の焦点を再度合わせること又はカラー画像の生成を助けることを可能にする。

国際出願第ＷＯ２００７０２２３２９号は、別の画像取得システムの例を説明しており、該システムは、２つの画像間の相対的なぼけと上記システムにより作り出される絶対的なぼけとに基づいて３次元空間シーンの２つの画像から深度マップを生成し、２つの画像間の相対的なぼけから直接深度マップを算定し、関連するぼけ半径値から距離を算定する。

米国特許出願第ＵＳ２００９２６８９８５号は、一対の解像度低減画像からピクチャ深度マップを生成する撮像システムを説明しており、種々の画像場所において２つの解像度低減画像間のぼけの差を計算し、種々の画像場所における２つの解像度低減画像間のぼけの差に基づいて深度マップを算定する。

さらに、交付された欧州特許第ＥＰ１７３４７４６号も知られており、該特許は、画像品質の性能基準に基づいて電気光学システムを最適化する方法を説明している。上記特許は、具体的に、
‐ 光学コンポーネント
‐ 電気光学検出器及び関連する回路
‐ デジタル処理手段
を含む電気光学撮像システムを設計するコンピュータ方法を説明している。

この従来技術に係る方法は、ソース（source）の空間モデルに基づく。上記方法は、後処理性能メトリックに基づいて光学サブシステムとデジタル画像処理サブシステムとを順次にではなく一緒に、連帯的に設計するステップを含み、上記後処理性能メトリックは、モデリングによって撮像システムにより算定されるデジタル画像とソースの理想的なデジタル画像との比較に依存する。

Ａ．Ｒａｊａｇｏｐａｌａｎ及びＳ．Ｃｈａｕｄｈｕｒｉによる論文“Ｐｅｒｆｏｒｍａｎｃｅ ａｎａｌｙｓｉｓ ｏｆ ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｅｓｔｉｍａｔｏｒ ｆｏｒ ｒｅｃｏｖｅｒｙ ｏｆ ｄｅｐｔｈ ｆｒｏｍ ｄｅｆｏｃｕｓｅｄ ｉｍａｇｅ ａｎｄ ｏｐｔｉｍａｌ ｓｅｌｅｃｔｉｏｎ ｏｆ ｃａｍｅｒａ ｐａｒａｍｅｔｅｒｓ”、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｓｐｒｉｎｇｅｒ、１９９８年、３０、１７５〜１９０頁も知られており、該論文は、深度を推定することに使用される２つの画像のぼけ割合を最適化する方法を提示している。この最適化は、ガウス関数とソースのパラメータモデルとによるぼけモデリングを用いて算定されるクラメール‐ラオ限界（Cramer-Rao bound）である深度推定性能基準に基づく。

従来技術において知られる様々な解決策は、深度の推定について、光学素子、検出器及び画像処理サブアセンブリの特徴に従ってシングルチャネル電気光学システムを最適化することを可能するものではない。

詳細に、Ａ．Ｌｅｖｉｎによる論文に提示される解決策は、得られる深度推定の確度に関する情報を与えない基準から絞りエンコードの最適化を提供する。さらに、この最適化は、絞りにのみ関連し、光学システム全体に関連しない。

仏国特許第ＦＲ２９１９７３２号は、色収差の変化を考慮するが、深度推定の精度に関する効果は説明されていない。

欧州特許第ＥＰ１７３４７４６号は、距離推定の精度ではなく画像の品質だけを向上させることを可能にする最適化方法を開示している。

Ａ．Ｒａｊａｇｏｐａｌａｎによる論文において提供される解決策は、エンコードされる絞りを用いて電気光学システムを最適化することを可能するものではない。なぜならば、このタイプの光学システムは、ガウスぼかしの前提に合わないからである。さらに、上記解決策は、数回の同じシーンの取得を得るために、電気光学マルチチャネルシステムと可能性として順次取得モードを有する電気光学シングルチャネルシステムとの最適化に限り可能にする。

要約すると、従来技術の解決策は、電気光学シングルチャネルシステムについて、深度推定の精度の度合いと画像取得条件とに基づいて電気光学システムを最適化することを可能にするものではない。

本発明は、シーンの取得の条件を考慮することによりソースの距離の推定の精度を向上させることを可能にする電気光学システムを最適化する方法を提供することによって従来技術の欠点を救済することを狙う。

上記狙いは、電気光学システムの設計から深度の推定を考慮して、ユーザのニーズに従って性能を最適化し、確保するものである。

本発明は、推定精度と使用の条件とに関するユーザのニーズへの適合と共に、深度を推定する能力がある電気光学パッシブシングルチャネルシステムを設計する新しい方法を提供する。

この目的のために、本発明は、その最も広い意味において、ソースの距離を推定するために光学サブシステム、検出器サブシステム及びデジタル画像処理サブシステムを含む電気光学撮像システムを設計するための、コンピュータが実施する方法に関し、上記方法は、光学サブシステム、検出器サブシステム及びデジタル画像処理サブシステムを通してソースからの放射（radiation／rayonnement）の伝搬のモデルを作るステップであり、該モデルを作るステップはソースの空間モデルに基づく、ステップを含み、上記方法は、光学サブシステムとデジタル画像処理システムとを同時に設計する連帯的なステップを含む。該設計するステップは、ソースからの距離の局所的な推定とソースからの実際の距離とにおける比較に依存する少なくとも１つの性能メトリックに基づく。

本特許文献において、「深度」及び「距離」の用語は同様の技術的意味を有する。

好ましくは、深度は、
‐ ソースを通り抜ける光軸と直交面とにおける交点と、
‐ 光軸と入射瞳又はカメラの任意の参照点とにおける交点と、
の間の光軸に沿って測定される距離である。

好ましくは、距離は、ソース点（source point）と到着点との間で測定され、あるいは推定される。ソース点は、点源（point source）の座標に対応する。点源の集合が、拡張されたソースを形成してもよい。点源の集合の重心を取る場合、到着点は、具体的に、入射瞳の中心点に、あるいはカメラの任意の他の参照点にある。

応用分野
本発明は、固有の焦点を用いた画像が取得されるとき、しかし、種々の焦点を用いて同時の取得を行い、複数の画像を処理するときも、当てはまる。

有利なことに、上記複数の画像は、複数の検出器行列から成る検出器を用いて得られ、各１つは特定のスペクトル帯に対して高感度であり、各画像は上記スペクトル帯の１つに対応する。

特定の実施形態に従い、電気光学システムは、上記スペクトル帯の各１つについて、特定の焦点を調整する手段と共に提供される。

ある特定の別の実施形態に従い、光学サブシステムは、推定された距離と画像の一覧の中の実際の距離とにおける不一致を最小化する能力があるエンコードされる絞りを含み、上記方法は、絞りのエンコードを変化させるステップと上記から生じる不一致を決定するステップとを備える。

ある特定の別の実施形態に従い、深度推定の精度を特徴付けるメトリックは、別のメトリック、例えば鮮明さを特徴付けるメトリック、又は大きい深度の視野を有する画像を作り出す能力に関連付けられることができる。

本発明は、下記の例示的な非限定的な実施形態の詳細な説明を添付の図面を参照しながら読むと、より良く理解されるであろう。
従来技術に従って深度を推定する電気光学パッシブシングルチャネルシステムの様々な機能ブロックの概略図を示す。 提供される設計支援方法の概略図を示す。 同一の焦点距離と同一の開口と異なる絞り形状とを有する２つの光学システムについて、深度推定性能の算定を使用すると得られる理論上の推定確度の曲線を示す。 同一の光学システムにおける２つの異なる焦点について、深度推定性能の算定を使用すると得られる理論上の推定確度の曲線を示す。 赤、緑及び青チャネルの焦点面の種々の位置を有する２つの色光学システムについて、深度推定性能の算定を使用すると得られる理論上の推定確度の曲線を示す。 深度の推定を容易にするよう最適化された電気光学システムを構成するレンズを示す。 図６に示される電気光学システムのレンズの特徴の表を示す。 図６及び図７に示される電気光学システムについて、深度推定性能の算定を使用すると得られる理論上の推定確度の曲線を示す。

電気光学システムパラメータの説明
図１は、従来技術に従って深度を推定する電気光学パッシブシングルチャネルシステムの様々な機能ブロックの概略図を示す。

上記は、検出器、例えば光学サブシステムに関連付けられたＣＣＤ検出器と、信号処理サブシステムとを意識的に備える。

光学サブシステムは、θｏとして記されたパラメータによって特徴付けられ、該パラメータは、通常、
‐ 焦点距離
‐ 開口（opening／ouverture）
‐ 光学システムを構成するレンズの特徴（数、曲率半径、直径、円錐度（conicity／conicite）、ガラスタイプ）
‐ 視野
に対応する。

検出器は、パラメータθｄによって特徴付けられ、パラメータθｄは、通常、画素のサイズ及び数に、あるいは、露光時間又は例えばバイヤー（Bayer）フィルタの存在する可能性などの他の特徴に対応する。光学素子／検出器アセンブリは、深度の推定に使用されることになるシーンの画像を形成する。

電気光学システムの処理部分は、点及びシーン広がり関数のパラメータと、θｔとして記された処理パラメータとを使用し、該パラメータは、例えば、画像のサムネイルのサイズに対応する。

ソースモデルのパラメータは、θｘによって表され、深度推定に関わる。ソースに関する前提は、例えば、電気光学システムが観察することができるコントラストの局所的なモデルに対応する（テクスチャ、輪郭など）。

深度推定の精度に関わるパラメータ
深度推定の精度は、最初、深度を用いた点広がり関数（ＰＳＦ）のばらつきに依存する。後から、光学パラメータθｏ及び検出器パラメータθｄに依存する。それから、精度は、深度を推定することに使用される各サムネイルの画素の数をより詳細に特徴付けるパラメータθｔに依存する。

さらに、深度推定に影響するいくつかのパラメータが、電気光学システムの使用の条件に依存する。一方、画像に影響する雑音レベルが存在し、この雑音レベルは、装置が使用されるところのライティング条件に広く結び付けられる。ここで、上記雑音レベルは、信号対雑音比（ＳＮＲ）によって定義される。一方、装置により観察されるシーンの特徴は、ソースモデルのパラメータθｘによって説明される。

こうして、電気光学システムの深度推定の精度は、光学パラメータ及びセンサパラメータ（θｄ及びθｃ）並びに処理パラメータ（θｔ）と使用の条件及びソースのモデル（ＳＮＲ、θｘ）との双方に依存する。

電気光学シングルチャネルシステムを設計するための例示的な方法の説明
深度を推定する電気光学システムを設計することは、精度テンプレートと使用の条件とに関するユーザの要件に従って、推定の確度に影響するすべてのパラメータを連帯的に最適化することを必要とする。

例えば、電気光学システムの視野とＳＮＲと電気光学システムの最大全体寸法と深度範囲にわたって所望される精度とをユーザに定義させる。

提案される発明に従う一例示的な設計方法は、
‐ 電気光学システムのライブラリの中で、使用の条件がユーザにより課されたものに近い最初の電気光学システムを取ること
‐ 単純な数学関数を用いて、あるいは、波動光学の式を用いて、あるいは光学設計ソフトウェアを用いて、上記のシステムに対して一組のＰＳＦのモデルを作る（modelling）こと
‐ 深度推定の精度メトリックを算定すること
‐ 結果をユーザにより課されたテンプレートと比較すること
‐ 光学素子、検出器及び処理パラメータにおける連続的な修正を導入するフィードバックループを、各修正について、メトリックとテンプレートとの比較を用いて実行すること
‐ テンプレートに最も近い電気光学システムを選択して最適化されたパラメータをユーザに返すこと
にある。

有利なことに、いくつかの電気光学システムがユーザにより課された条件に合う場合、後半部は、いくつかの解決策、又はより多くの制約を伝えてシステムを再最適化することの可能性を提示されることができる。

対照的に、伝えられた条件が非常に厳しく、電気光学システムを最適化することを可能にするものでない場合、ユーザは、このことを知らされて、自身の制約を見直すことになる。

上記で説明された方法は、図２に示されている。

推定精度の評価
有利なことに、深度推定の精度メトリックは、推定された距離と画像の一覧の中の実際の距離とにおける不一致の挙動の確率的平均によって算定される。

従来、上記の不一致は、画像の一覧について、深度に関して、尤度関数の平均曲率を算定することによって特徴付けられる。上記の尤度関数は、下記の：
‐ 点広がり関数（ＰＳＦ）のライブラリを記録するステップであり、ＰＳＦ関数の各１つが深度と電気光学システムとに関連付けられる、ステップ
‐ 少なくとも１つの実際の画像を捕捉し、あるいはＰＳＦライブラリの中のＰＳＦの１つを用いて少なくとも１つの画像のモデルを作るステップ
‐ 上記の（１又は複数の）サムネイル画像を所定サイズを有する（１又は複数の）サムネイルに分割してサムネイル集合を記録するステップ
‐ サムネイル内容に関して、各ＰＳＦの尤度を算定し、上記サムネイルの各１つについて、この尤度を最大化するＰＳＦを推定するステップ
‐ 上記尤度関数を最大化するＰＳＦの周りの尤度基準の局所的な曲率を測定するステップ
に従って算定される。

この曲線の測定は、クラメール‐ラオ限界（ＣＲＢ）と呼ばれる、推定された距離と実際の距離とにおける不一致を表す値を提供する。

有利な別の解決策に従い、深度推定の精度は、ソースの空間モデルの使用のおかげで、画像の一覧を取得し、あるいはシミュレーションする必要なく、算定される。

ある特定の別の実施形態に従い、ソースの空間モデルは、パワースペクトル密度である。上記のモデリングは、従来技術において言及された特許第ＥＰ１７３４７４６号に詳細に使用されている。

ある特定の別の実施形態に従い、ソースは、画像データベースから学習された共分散行列を用いてモデルを作られる。

ある特定の別の実施形態に従い、ソースは、ソースの階調度（gradients）の等方性及びガウス関数の仮定に基づいて、共分散行列の逆に対応する精度行列を用いてモデルを作られる。Ｑｘを精度行列として、有利な別の解決策は、下記にある。

ここで、Ｄは、水平及び垂直の一次導関数オペレータの連結であり、σ_ｘ ^２は、ソースの階調度の分散を特徴付けるパラメータである。

特定の算定に従い、Ｈｐが、深度ｐのＰＳＦに関連付けられた畳み込み行列である場合、精度行列を用いてソースのモデルを作ることは、ＣＲＢを下記のとおりに書くことを可能にする。

ここで、深度推定精度を特徴付ける量は、ＣＲＢ（ｐ）の平方根であるσ_ＣＲＢ（ｐ）である。

ここで、Ｒｂは、雑音共分散行列であり、Ｑｐは、データ精度行列である。

ある特定の場合、雑音は、分散σ^２ｂを用いてランダム確率密度ホワイト処理及びガウス関数としてモデルを作られることができ、ここで、データ精度行列は、下記のとおり書かれてよい。

ただし、

及び

である。上記は、信号対雑音比（ＳＮＲ）の反対として解釈される。

例
１）深度の推定を助ける絞りにおける修正
理想的な光学システム（すなわち、収差がない）の点広がり関数は、波動光学の式を用いてシミュレーションされる。上記のシステムは、７μｍの画素と共に、５０ｍｍの焦点距離と２の開口（an opening of 2）とを有する。焦点面は、電気光学システムから１．９ｍに位置づけられる。従来の絞りの場合に得られる理論上の推定精度が、同一の信号対雑音比について、従来技術において引用されたＡ．Ｌｅｖｉｎによる論文に提案されたものなどのエンコードされる絞りの場合に得られるものと比較される。

‐ 図３は、深度推定について、従来の絞りに対してエンコードされる絞りのゲインを示す。

上記の曲線は、様々な形の絞りを比較して深度推定を容易にするものを見出すことを可能にする。

２）深度推定を助けるための焦点における修正
理想的な、すなわち収差のない電気光学システムの点広がり関数は、波動光学の式を用いてシミュレーションされる。上記のシステムは、７μｍの画素と共に、２０ｍｍの焦点距離と３の開口（an opening of 3）とを有する。

焦点面は、装置から１．４ｍ（緑曲線）及び２ｍ（青曲線）離れて位置づけられる。上記２つの焦点について得られるσＣＲＢの理論上の推定精度が、比較される。

‐ 図４は、２つの異なる焦点が同一の推定精度曲線を有さないことを示す。

各々が、焦点面に関して、不正確さのあるピークを有する。ゆえに、０．５と１ｍとの間で深度を推定するために、１．３ｍの焦点がどちらかといえば使用されるべきである。同様にして、２．５ｍを超える距離を推定するために、２ｍの焦点がより好ましい。上記の曲線は、深度が推定されるべき空間の領域に従って装置の焦点を調整することを可能にする。

３）色光学素子の場合における３つの赤緑青チャネルの焦点面の位置における修正
図５は、５μｍの画素と共に、３の開口と２５ｍｍの焦点距離とを有し、３‐ＣＣＤ（tri-CCD）タイプの検出器を有する２つの電気光学色システムの、理論上の深度推定性能を示す。双方のシステムの焦点と軸上の色収差とは、双方のシステムについて、緑チャネル及び青チャネルの焦点面を１．８ｍと２．６ｍとにそれぞれ有するように設定される。赤チャネルの焦点面は、第１のシステムについて４ｍ離れており、第２のシステムについて無限である。σＣＲＢ曲線は、１乃至５ｍの領域の中で最も好ましいシステムが４ｍの焦点の赤チャネルを備えたシステムであることを示している。

４）色電気光学システムの最適化
図６及び図７は、図２に示された方法を用いて最適化された色電気光学システムの特徴を示す。図８は、ある深度範囲にわたり上記のイメージャのσＣＲＢ曲線を示す。

電気光学装置の詳細な説明
本例は、深度を推定する手段を備える一例示的な光学装置に関する。

図６に示される装置は、本例において非制限的な例として説明される、４つのレンズ１０乃至１３から形成された対物レンズと、対物レンズの焦点面に位置づけられた検出器１４とを備える。

レンズ１３は、円錐形タイプのものであり、特定の光学収差を補正する。

絞り１５は、対物レンズの光路に位置づけられる。説明される例において、この絞りは、従来のタイプのものであるが、エンコードされる絞りによって形成されてもよい。

本発明は、図８に示される決められた範囲［Ｐｍｉｎ，Ｐｍａｘ］内で深度推定の精度を最大化するように上記の既知の対物レンズを最適化することに関する。

上記の最適化は、実験的に及び経験的に、あるいはシミュレーションによって実行されてよい。

経験的な方法は、複数の対物レンズを、種々の屈折率（index）、位置づけ及び曲率特徴を有するレンズを用いて、下記の制約：
‐ レンズの一定の個数Ｎ
‐ 参照波長のための対物レンズの一定の焦点距離
‐ 対物レンズの一定の開口
‐ 変更されない検出器
‐ 観察される光源の信号対雑音比
を用いて生成することにある。

可変パラメータは：
‐ 上記Ｎ個のレンズの各１つの曲率の半径
‐ Ｎ個のレンズの各１つの素材の性質（したがって、屈折率）
‐ Ｎ個のレンズの各１つの相対的位置
‐ 円錐形レンズ１２が提供されるとき、こうしたレンズの円錐度
‐ 検出器１４の位置
‐ 絞り１５の位置及び構成
である。

光学システムの各１つについて、幅広いスペクトル帯を有する点光源が、Ｐ_ｍｉｎとＰ_ｍａｘとの間の距離ｐに、好ましくは光学軸上に位置づけられ、Ｍ‐チャネル検出器１４で作り出された少なくとも１つの色画像が取得され、こうした画像は、ｍ＝１，．．．ＭについてＰＳＦ_ｍ（ｐ）で参照される。例えば、検出器は、３つの“ＲＧＢ”チャネルを備える。説明された例において、Ｍは３に等しく、ｍ＝Ｒ，Ｇ，Ｂが色画像トリプレットＰＳＦ_ｍ（ｐ）について取得される。トリプレットにおける各画像は、畳み込み行列Ｈ_ｍを算定することを可能にする。Ｍの行列Ｈ_ｍを用いて、ここで、色行列Ｈ_ｐが下記の式で得られる。

ここで、ｃ_ｉ，ｊは、下記の係数である。

それから、上記の行列Ｈ_ｐ（ｐ）は、式（３）において説明されたとおりの精度行列Ｑ_ｐを算定することに使用される。

行列Ｑ_ｘは、μ＝０．０５を用いて下記によって定義される。

ここで、Ｄは、水平及び垂直の一次導関数オペレータの連結である。それから、距離ｐ＋Δｐに位置づけられた同一の光源に対応する追加のトリプレットの色画像が取得される。精度行列Ｑ_ｐ（ｐ＋Δｐ）が、同じ方法を用いて得られる。

上記の行列から、式（２）のデジタルの近似が下記の式で決定される。

上記のＣＲＢは、上記ソース位置ｐについて解析されるシステムを説明する。

上記の算定は、複数の深度ｐに対して繰り返されて、アセンブリの各１つについて、上記ソースからの距離ｐの関数としてσＣＲＢ（ｐ）値の曲線を決定し、その２つの例が、図５に示されている。

位置ｐにおけるＣＲＢのデジタル近似は、ｓ＝１，．．．，Ｓについて、位置ｐ：ｐ＋Δｐの周りでいくつかの測定Ｓ＞２から有利に算定されることができる。

光学システムは、最良のσＣＲＢ曲線を有するものを選択することによって決定される。こうした基準は、曲線の点の平均の最小化又は曲線の成分、あるいはより一般的にσＣＲＢ値の集合から推測された任意の品質関数に従って、決定されることができる。

図８は、図７に示される光学アセンブリの決定についての一例示的な選択された曲線と関連値とを示す。

別法として、この処理は、ＺＥＭＡＸタイプの光学シミュレーションソフトウェアから仮想的に実施されることができる。

軸上の色収差を最適化するために、異なる屈折率を有する２つのレンズの組み合わせ、あるいは屈折レンズと回折レンズとの組み合わせが、選択されてよい。幅広いスペクトル帯にわたって回折レンズの回折効率によって制限されないように、異なる収斂性を有する２つの光学素子の組み合わせが好ましい。

横の色収差と歪みとを続いて補正するために、各波長について、検出器のＸＹ面において同一であるべき画像の点位置と、視野のある点についての各波長について、画像スポットの重心が検出器において同一の位置にあるかとを、確認することが必要である。

それゆえに、絞りの両側においてレンズを配置することが必要である。

上記の光学システムは、テレセントリックな特性の制約に合う（射出瞳（the outlet of the pupil／sortie de la pupille）における視野半径（field radiuses／rayons de champ）の平均角が、検出器に対して垂直に来る）。この特質は、視野の中のある点の各波長についての画像スポットの重心が、焦点ぼけの場合に、検出器において同一位置にあることになることを確保する。上記の制約は、検出器に最も近いレンズによって考慮に入れられることになる。

上記のシステムは、好ましくは広い開口を有して（例において、システムはＦ／３に対して開いている）、視野の深度を低減させ、ぼけの変化を目立たせる。広い開口は、より広い収差補正を必要とする。許容差の理由で非球面の数を制限するために、光学的構造に複数レンズが追加される。絞りのどちらの側にも（either side）位置づけられるレンズの開口を制限し、したがって収差の振幅を低減するために、上記複数レンズの各１つについての複製が提供される。別の解決策が、絞りにおいてレンズを追加して球面収差を効率的に補正することにある。それから、上記のシステムは、Ｃｏｏｋｅトリプレットと呼ばれる３レンズ構造を有する。しかしながら、上記の解決策は、（例えば、エンコードされる絞りを位置づけるために）絞りへのアクセスを提供しない。

好適な一構造は、絞りのどちらの側にも位置づけられた４つのレンズを含む。この構造は、ラピッド・レクチリニア（Rapid rectilinear）（書籍“Ｈａｎｓｂｏｏｋ ｏｆ Ｏｐｔｉｃａｌ Ｓｙｓｔｅｍｓ Ｖｏｌｕｍｅ ４”の２７８頁）又はダブルガウス（書籍“Ｈａｎｓｂｏｏｋ ｏｆ Ｏｐｔｉｃａｌ Ｓｙｓｔｅｍｓ Ｖｏｌｕｍｅ ４”の３０３頁）の変異形である。その差は、ダブレットが存在しないこととテレセントリックな特徴の制約とから生じる（検出器に最も近い第４のレンズが、第３のレンズから間隔を空けられて、テレセントリックな特徴と像面湾曲（field curvature）の補正とを確保する）。

Ｚｅｍａｘなどの光学的な算定ソフトウェアを用いた最適化が、各レンズの曲率半径、厚さ及び位置を選択することを可能にする。各レンズの素材は、正しい量の軸上の色収差を作成するように選択される。残存収差を補正するために、円錐度が表面の１つに追加される。

Claims (16)

1. ソースの距離を推定するための、光学サブシステム、検出器サブシステム及びデジタル画像処理サブシステムを含む電気光学撮像システムを設計するための、コンピュータが実施する方法であって、
   当該方法は、前記光学サブシステム、前記検出器サブシステム及び前記デジタル画像処理サブシステムを通して前記ソースからの放射の伝搬のモデルを作るステップであり、該モデルを作るステップは前記ソースの空間モデルに基づく、ステップを含み、
   当該方法は、少なくとも１つの性能メトリックに基づいて、前記光学サブシステムと前記デジタル画像処理サブシステムとを同時に設計する連帯的なステップを含み、
   前記性能メトリックは、前記ソースからの距離の局所的な推定と前記ソースからの実際の距離とにおける比較に依存することを特徴とする、
   方法。
2. 前記比較の関数は、前記推定された距離と画像の一覧の中の前記実際の距離とにおける不一致の挙動の確率的平均によって実行される、請求項１に記載の方法。
3. 前記不一致は、画像の一覧について、深度に関して、尤度関数の平均曲率を算定することによって特徴付けられ、前記尤度関数は、下記の：
   ‐ 点広がり関数（ＰＳＦ）のライブラリを記録するステップであり、前記ＰＳＦ関数の各１つが深度に及び電気光学システムに関連付けられる、ステップと、
   ‐ 少なくとも１つの実際の画像を捕捉し、あるいは前記ＰＳＦライブラリのＰＳＦのうち１つを用いて少なくとも１つの画像のモデルを作るステップと、
   ‐ 前記画像を予め設定されたサイズを有するサムネイルに分割してサムネイル集合を記録するステップと、
   ‐ 前記サムネイルの内容に関して各ＰＳＦの尤度を算定し、前記サムネイルの各１つについて、前記尤度を最大化する点広がり関数（ＰＳＦ）を推定するステップと、
   ‐ 前記尤度関数を最大化するＰＳＦの周りの尤度基準の局所的な曲率を測定するステップと、
   に従って算定されることを特徴とする、請求項２に記載の方法。
4. 前記尤度基準が前記ソースの空間モデルから算定されることを特徴とする、請求項３に記載の方法。
5. 前記モデルが、パワースペクトル密度、又は画像データベースから学習された共分散行列、又は前記ソースの階調度の等方性及びガウス分布に基づいた精度行列であることを特徴とする、請求項４に記載の方法。
6. 複数の画像の、種々の焦点を用いた取得と処理とが、同時に実行されることを特徴とする、請求項３に記載の方法。
7. 前記複数の画像は複数のアレイのセンサを含む検出器を用いて得られ、前記センサの各々は特定のスペクトル帯に対して高感度であり、各画像は前記スペクトル帯の１つに対応することを特徴とする、請求項６に記載の方法。
8. 前記光学サブシステムが、前記スペクトル帯の各１つについて、特定の焦点を調整する手段と共に提供されることを特徴とする、請求項７に記載の方法。
9. 前記光学サブシステムは、前記推定された距離と画像の一覧の中の前記実際の距離とにおける不一致を最小化する能力があるエンコードされる絞りを含み、当該方法は、前記絞りのエンコードを変化させるステップと該変化から生じる不一致を決定するステップとを備えることを特徴とする、請求項３に記載の方法。
10. 前記の光学素子及び処理のパラメータが、深度の推定を容易にするようにリアルタイムで最適化され、使用の条件が、ユーザによって与えられ、あるいは前記電気光学システムに属するアルゴリズムによって推定されることを特徴とする、請求項３に記載の方法。
11. 前記設計するステップは、前記ソースからの距離の局所的な推定と前記ソースからの実際の距離とにおける比較に基づいた性能メトリックと、大きい深度の視野を有する画像をさらに作り出す能力を特徴付けるメトリックとの組み合わせに基づくことを特徴とする、請求項１に記載の方法。
12. 前記性能メトリックは、ユーザにより設定されたテンプレートと比較される、請求項１に記載の方法。
13. 複数の電気光学システムが前記テンプレートに一致する場合に、前記複数の電気光学システムはさらなる制約を課す可能性も前記ユーザに提案されることを特徴とする、請求項１２に記載の方法。
14. 電気光学システムが前記テンプレートに一致しない場合に、前記ユーザは制約を低減するように前記場合を知らされることを特徴とする、請求項１２に記載の方法。
15. 距離範囲［Ｐ_ｍｉｎ，Ｐ_ｍａｘ］において動作する深度推定器を含む電気光学装置であって、当該電気光学装置は、Ｎ個のレンズを含む対物レンズと前記対物レンズの焦点面に位置づけられた検出器と絞りとによって構成され、前記対物レンズの特徴は、ソースからの距離の局所的な推定と前記ソースからの実際の距離とにおける比較に依存する性能メトリックに従って決定されることを特徴とする、電気光学装置。
16. 前記レンズの少なくとも１つが円錐形タイプであることを特徴とする、請求項１５に記載の電気光学装置。

Images