JP6662765B2 - コンテキスト画像融合を用いたハイパースペクトル検出システム及び方法 - Google Patents

Description

関連技術の相互参照

本出願は、２０１３年９月２４日出願の米国仮特許出願第６１／８８１，６７１号の米国特許法第１１９条に基づく優先権を主張するものであって、その内容に依拠し、参照により全内容が本明細書に援用されるものである。

本開示はハイパースペクトルイメージングに関し、特にはコンテキスト画像融合を用いた、ハイパースペクトル検出システム及び方法に関するものである。

本明細書で言及したすべての刊行物又は特許文献は、参照により、全開示内容が援用されるものである。

ハイパースペクトルイメージングは、スペクトル範囲にわたり、多数（例えば、数十又は数百）の狭いスペクトル帯域を撮像し、合成画像を生成することを含み、撮像されたシーン内の各画素が、そのシーンの連続したスペクトルデータを含んでいる。ハイパースペクトルイメージングの１つの態様は、従来の２次元（２Ｄ）空間画像を、連続したスペクトル帯域の第３の次元と組合せ、基本的に２Ｄ空間画像の各々の画素に対し、分光分析を行うものである。

従来のハイパースペクトルイメージングは、画像化されるシーンのハイパーキューブデータの生成を含んでいる。ハイパーキューブは、基本的に３次元（３Ｄ）画像であって、２つの次元が空間であり、１つの次元が連続したスペクトルデータである。データの生成に使用される装置にもよるが、ほとんどのハイパースペクトルシステムにおいて、１つのハイパーキューブ画像が取得され、有用なコンテキスト依存情報が抽出されるまでに約数十秒要し得る。

ハイパーキューブは、データが本質的に３Ｄであるため、非常に大きくなる可能性があり、そのサイズは、画像の空間及びスペクトル解像度に依存する。多くのハイパースペクトル用途において、この量のデータ収集が必要である一方、すべての用途において必要であるという訳ではない。スペクトル検出用途において、多くの場合、収集されたデータの大部分は不要である。

ハイパースペクトルイメージングシステムの一種に、指定された領域において、特定の予め定められたスペクトルシグネチャを探すものがあり、これをハイパースペクトル検出器又はＨＳＤと呼んでいる。ＨＳＤは、基本的に視覚法又はその他の方法では容易に検出されない、特定のスペクトルシグネチャの有無を確認する、“ゴー／ノーゴー”センサである。多くの場合、計算の終了を待つのではなく、ユーザがリアルタイムで行動できるように、ＨＳＤからの情報がリアルタイムで利用可能であることが好ましい。更に、携帯又はハンドヘルドＨＳＤにとって、ＨＳＤの計算能力には限界があり得る。

本開示の１つの態様は、シーンのハイパースペクトル検出を行う方法である。この方法は、シーンの少なくとも一部の、動眼視野にわたる、デジタルコンテキスト画像を撮像するステップ、シーンの動眼視野に含まれる、瞬間視野にわたる、スペクトル画像を撮像するステップであって、瞬間視野が、動眼視野の半分未満であるステップ、コンテキスト画像とスペクトル画像を融合して、融合画像を形成するステップ、スペクトル画像をシーンの動眼視野内にパンして、シーン内の１つ以上のスペクトルシグネチャを捕捉するステップ、及び１つ以上のスペクトルシグネチャを、１つ以上の参照スペクトルシグネチャと比較して、コンテキスト画像における、１つ以上のスペクトルシグネチャの１つ以上の位置に印を付けるステップを有している。

本開示の別の態様は、シーンのハイパースペクトル検出を行う方法である。この方法は、シーンの少なくとも一部の、動眼視野にわたる、デジタルコンテキスト画像を撮像するステップ、シーンの瞬間視野にわたるスペクトル画像を、第１のセンサの１つの画素列で撮像するステップであって、瞬間視野が動眼視野に含まれるステップ、コンテキスト画像とスペクトル画像を融合して、融合画像を形成するステップ、スペクトル画像をシーン上にパンして、シーン内の１つ以上のスペクトルシグネチャを捕捉するステップ、１つ以上のスペクトルシグネチャを、１つ以上の参照スペクトルシグネチャと比較して、コンテキスト画像における、前記１つ以上のスペクトルシグネチャの１つ以上の位置に印を付けるステップ、及び融合画像と１つ以上の印が付された位置を、リアルタイムで、ディスプレイに表示するステップを有している。

本開示の別の態様は、シーンをスペクトル分析するためのハイパースペクトル検出システムである。このシステムは、シーンの少なくとも一部の、動眼視野にわたる、デジタルコンテキスト画像を撮像するように動作可能配置されたコンテキストカメラを有している。このシステムは、シーンの動眼視野に含まれ、動眼視野の半分未満である、瞬間視野にわたる、スペクトル画像を撮像するように動作可能に配置された、イメージング分光器も有している。このシステムは、スペクトル画像をシーン上の動眼視野内にパンして、シーン内の１つ以上のスペクトルシグネチャを捕捉する手段も有している。このシステムは、コンテキスト画像とスペクトル画像を受信及び融合して、融合画像を形成するプロセッサを更に有している。このプロセッサは１つ以上のスペクトルシグネチャを１つ以上の参照スペクトルシグネチャと比較して、コンテキスト画像における、１つ以上のスペクトルシグネチャの１つ以上の位置に印を付けるように構成されている。

更なる特徴及び効果は、以下の「発明を実施するための形態」に述べてあり、当業者とって、一部はその説明から容易に明らかであり、本明細書、特許請求の範囲、及び添付図面に示された、実施の形態を実施することによって認識できるであろう。上記概要説明及び以下の「発明を実施するための形態」は、単なる例示であって、本特許請求の性質及び特徴を理解するための概要又は枠組みを提供することを意図したものである。

添付図面は理解を深めるために添付したものであり、本明細書に組み込まれその一部を構成するものである。図面は１つ以上の実施の形態を示し「発明を実施するための形態」と共に様々な実施の形態の原理及び作用の説明に役立つものである。従って、添付図面と併せて以下の「発明を実施するための形態」から、本開示がより完全に理解されるであろう。

本開示による例示的なハイパースペクトル検出システムの概略図。 図１のハイパースペクトル検出システムによって分析される、例示的なシーンの正面図。 支持部材に支持されたコンテキストカメラ及びイメージング分光器を示す、例示的なハイパースペクトル検出システムの正面図。 一例として、三脚として示す支持装置に支持された、例示的なハイパースペクトル検出システムを示す図。 図１と同様の図であって、本明細書に開示したハイパースペクトル検出システムを用いて、どのようにして、図２のシーンの分析を行うことができるかの一例を示す図。 図１と同様の図であって、本明細書に開示したハイパースペクトル検出システムを用いて、どのようにして、図２のシーンの分析を行うことができるかの一例を示す図。 図１と同様の図であって、本明細書に開示したハイパースペクトル検出システムを用いて、どのようにして、図２のシーンの分析を行うことができるかの一例を示す図。 図４Ａに対応する図であって、図２のシーンをパンしたとき、ハイパースペクトル検出システムから見た図２のシーンを示す図。 図４Ｂに対応する図であって、図２のシーンをパンしたとき、ハイパースペクトル検出システムから見た図２のシーンを示す図。 図４Ｃに対応する図であって、図２のシーンをパンしたとき、ハイパースペクトル検出システムから見た図２のシーンを示す図。 コンテキストカメラ及びイメージング分光器のレンズを１つのレンズに置換したハイパースペクトル検出システムの例示的な実施の形態を示す図。 例示的なハンドヘルドハイパースペクトル検出システムの側面図。 例示的なハンドヘルドハイパースペクトル検出システムの正面図。 例示的なハンドヘルドハイパースペクトル検出システムの背面図。 スマートフォンを採用した、例示的なハンドヘルドハイパースペクトル検出システムの正立面図。 スマートフォンを採用した、例示的なハンドヘルドハイパースペクトル検出システムの背立面図。 コンテキストカメラを、イメージング分光器の役割も果たすことができるようにするスペクトル分散要素を有する、例示的なコンテキストカメラの拡大図。

以下、添付図面に例を示す、本開示の様々な実施の形態について詳細に説明する。図面全体を通し、可能な限り、同一又は同様の部品については、同一又は同様の参照番号又は符号を用いている。図は必ずしも縮尺通りではなく、本開示の重要な側面を示すために図のどこが簡略化されているか、当業者には見分けが付くであろう。

以下に記載の請求項は本「発明を実施するための形態」に組み込まれその一部を構成するものである。

本明細書に記載のあらゆる出版物又は特許文献の全開示内容は、参照により本明細書に援用されるものとする。

参考として、一部の図に直交座標が示してあるが、方向及び配向を限定することを意図したものではない。

図１は、本開示による例示的なハイパースペクトル検出（ＨＳＤ）システム１０の概略図である。ＨＳＤシステム１０は、以下に詳細に説明するスペクトル分析を行う、シーン１２に相対配置されているところを図示したものである。参考として直交座標が示してある。図２はシーン１２の正面図、即ちｚ方向を見た図である。

ＨＳＤシステム１０は、コンテキストカメラレンズ２４及びイメージセンサ２６を動作可能に支持するハウジング２２を備えた、コンテキストカメラ２０を有している。１つの例において、コンテキストカメラ２０は、従来の可視波長デジタルカメラであり、別の例において、コンテキストカメラは、赤外（ＩＲ）波長カメラ又は可視（ＶＩＳ）と近ＩＲ（ＮＩＲ）とを組み合わせたカメラ（例えば、ＶＩＳ及び／又は近ＩＲ（ＮＩＲ）及び／又は短波長ＩＲ（ＳＷＩＲ）及び／又は中間波長ＩＲ（ＭＷＩＲ）及び／又は長波長ＩＲ（ＬＷＩＲ））である。１つの例において、レンズ２４はズーム機能を有している。例示的な実施の形態において、コンテキストカメラ２０は、当技術分野において知られている、１つ以上の画像安定化技術を用いて、画像安定化が図られている。また、例示的な実施の形態において、レンズ２４は、当技術分野において知られている、１つ以上のオートフォーカス技術を用いた、オートフォーカス機能を有している。

１つの例において、イメージセンサ２６は、画素２７の配列を有し（対応する拡大挿入図参照）、画素配列は１，２８０×１，０２４画素以上のサイズを有している。１つの例において、画素２７は３μｍ〜５μｍの範囲の幅Ｗ_２７を有している。１つの例において、コンテキストカメラ２０は、携帯電話のカメラ、タブレットのカメラ、又はスマートフォンのカメラである。

コンテキストカメラ２０は、本明細書において“動眼視野”ＦｏＲと呼ばれる視野を有している。コンテキストカメラ２０は、シーン１２の一部の動眼視野にわたるデジタルコンテキスト画像を撮像し、それに応じてデジタルコンテキスト画像信号ＳＣを生成する。デジタルコンテキスト画像は、シーン１２の少なくとも一部の空間（可視）コンテキストを提供する、一般的に認識可能な２Ｄの空間画像である。

ＨＳＤシステム１０は、１つの例において、撮像レンズ４４及び画素４７を有する（対応する拡大挿入図参照）イメージセンサ４６を動作可能に支持する、ハウジング４２を備えたイメージング分光器４０も有している。１つの例において、画素４７は、１０μｍ〜２５μｍ（例えば、画素２７の大きさの約２倍〜約８倍）の範囲の幅Ｗ_４７を有している。１つの例において、センサ４６は、デジタルコンテキスト画像の一部（即ち、サブ領域）にわたる、スペクトルイメージングを可能にする画素２７の多数の行及び列を有している。１つの例において、撮像レンズ４４はズーム機能を有している。１つの例において、イメージング分光器４０は分散に基づいている。１つの例において、センサ４６は、１５マイクロメートル／画素のサイズ、及び１０ｎｍの（スペクトル）／画素で、０．９μｍ〜１．７μｍのスペクトル範囲において、５１２の空間画素及び４７×８０のスペクトル画素を分析することができる。例示的な実施の形態において、イメージング分光器４０がコンパクト、例えば、体積が約１２立方インチ（約１９６．６８立方センチメートル）であり、ＨＳＤシステム１０の携帯性が向上している。例示的な実施の形態において、イメージング分光器４０は、当技術分野で知られている１つ以上の画像安定化技術を用いて、画像安定化が図られている。また、例示的な実施の形態において、レンズ４４は、当技術分野で知られている１つ以上のオートフォーカス技術を用いた、オートフォーカス機能を有している。

イメージング分光器４０は、コンテキストカメラ２０の動眼視野ＦｏＲより大幅に狭い瞬間視野ｉＦＯＶを有している。図１はシーン１２における分光器の瞬間視野ｉＦＯＶの幅Ｗｓを、イメージセンサ４６に形成された、対応する分光器の（スペクトル）画像の対応する幅Ｗ’_Ｓと共に示している。図１はシーン１２における動眼視野ＦｏＲの幅Ｗ_Ｒ及びイメージセンサ２６に形成された、対応するコンテキストカメラ画像の対応する幅Ｗ’_Ｒも示している。幅Ｗ_ＳとＷ’_Ｓとは撮像レンズ４４の倍率Ｍ_４４によって関連している、即ちＷ’_Ｓ＝Ｍ_４４・Ｗ_Ｓである。同様に、幅Ｗ_ＲとＷ’_Ｒとは撮像レンズ２４の倍率Ｍ_２４によって関連している、即ちＷ’_Ｒ＝Ｍ_２４・Ｗ_Ｒである。Ｍ_４４＝Ｍ_２４の場合、Ｗ’_Ｓ／Ｗ’_Ｒ＝Ｗ_Ｓ／Ｗ_Ｒが成立する。

イメージング分光器４０は、シーン１２の狭い部分の、瞬間視野ｉＦＯＶにわたる、デジタルスペクトル画像を撮像し、それに応じ、１つの空間次元（例えば、１つの画素列）及び１つのスペクトル次元（すなわち、画素列中の各画素のスペクトルデータ）を含む、デジタルスペクトル画像信号ＳＳを生成する。例示的な実施の形態において、イメージング分光器４０は、１つ以上の可視及び赤外波長領域、例えば、ＶＩＳ、ＮＩＲ、ＳＷＩＲ、ＭＷＩＲ、及びＬＷＩＲの１つ以上にわたり動作する。

瞬間視野ｉＦＯＶは動眼視野ＦｏＲより大幅に狭い。１つの例において、瞬間視野ｉＦＯＶは動眼視野ＦｏＲの半分未満である。スペクトル画像の幅Ｗ’_Ｓは、センサ４６の１つの画素４７の幅Ｗ_４７を乗じた画素４７の列数Ｎ_Ｃ４７によって規定される、即ちＷ’_Ｓ＝（Ｎ_Ｃ４７）・（Ｗ_４７）である。最小の幅Ｗ’_ＳはＮ_Ｃ４７＝１のとき、即ちＷ’_Ｓ＝Ｗ_４７である。同様に、コンテキスト画像の幅Ｗ’_Ｒは、センサ２６の１つの画素２７の幅Ｗ_２７を乗じた画素２７の列数Ｎ_Ｃ２７によって規定される、即ちＷ’_Ｒ＝（Ｎ_Ｃ２７）・（Ｗ_２７）である。比Ｗ’_Ｓ／Ｗ’_Ｒ（従って、Ｗ_Ｓ／Ｗ_Ｒ）の最小値はＷ_４７／Ｗ’_Ｒである。

様々な例において、Ｗ_４７／Ｗ’_Ｒ≦［Ｗ’_Ｓ／Ｗ’_Ｒ］＜０．５、又は、Ｗ_４７／Ｗ’_Ｒ≦［Ｗ’_Ｓ／Ｗ’_Ｒ］＜０．２５、又はＷ_４７／Ｗ’_Ｒ≦［Ｗ’_Ｓ／Ｗ’_Ｒ］＜０．１５、又はＷ_４７／Ｗ’_Ｒ≦［Ｗ’_Ｓ／Ｗ’_Ｒ］＜０．１０、又はＷ_４７／Ｗ’_Ｒ≦［Ｗ’_Ｓ／Ｗ’_Ｒ］＜０．５、又はＷ_４７／Ｗ_Ｒ≦［Ｗ’_Ｓ／Ｗ’_Ｒ］＜０．１、又はＷ_４７／Ｗ’_Ｒ≦［Ｗ’_Ｓ／Ｗ’_Ｒ］＜０．０５、又はＷ_４７／Ｗ’_Ｒ≦［Ｗ’_Ｓ／Ｗ’_Ｒ］＜０．１である。例示的な実施の形態において、瞬間視野ｉＦＯＶが、イメージセンサ４６の画素４７の１つの列によって規定され、従ってＷ’_Ｓ／Ｗ’_Ｒ＝Ｗ_４７／Ｗ’_Ｒである。別の例において、瞬間視野ｉＦＯＶが、イメージセンサ４６の画素の利用可能な行及び列の部分によって規定される。

図３Ａは、ＨＳＤシステム１０の例示的な構成を示す正面図であって、コンテキストカメラ２０及びイメージング分光器４０が、支持部材５０に動作可能に支持され、各々がｙ方向に向いたそれぞれの軸Ａ１及びＡ２を中心に回転可能である。１つの例において、支持部材５０も、軸Ａ１及びＡ２と同じ方向に向いた軸Ａ３を中心に回転可能である。１つの例において、軸Ａ３を中心とした回転が容易になるように、支持部材５０が固定又は柱５２を備えている。１つの例において、ユーザがＨＳＤシステム１０を手に持つことができるように、柱５２の大きさが設定、あるいはハンドヘルドである（例えば、ハンドグリップを有する）ように構成されている（以下に紹介及び説明する図７Ａ〜７Ｃ参照）。従って、１つの例において、柱５２によってハンドルが規定される。

図３Ｂに示す別の例において、柱５２は、ＨＳＤシステム１０をジンバル装置や三脚（図示）等の支持装置５４に取り付けるために使用されている。１つの例において、柱５２は、コンテキスト画像１００及び／又はスペクトル画像１１０（図５Ａ参照）の撮像、コンピュータに対する入力等を行うために、ＨＳＤシステム１０を起動するのに使用することができるスイッチ５３を有している。

支持装置５４は、コンテキストカメラのイメージセンサ２６の選択画素が、イメージング分光器のセンサ４６の画素４７と同一場所に配置されるように、コンテキストカメラ２０とイメージング分光器４０との相対的な位置合わせを容易にするのに役立つ。

再度図１において、ＨＳＤシステム１０は、コンテキストカメラ２０及びイメージング分光器４０に動作可能に接続された、コンピュータ６０も有している。コンピュータ６０は、以下に詳細に説明するように、コンテキスト画像信号ＳＣ及びスペクトル画像信号ＳＳを受信し、これらの信号を処理（及び、必要な場合、スペクトル画像１１０をコンテキスト画像１００に融合）して、コンテキストに基づくハイパースペクトルを検出するように構成されている。ＨＳＤシステム１０は、コンピュータ６０に動作可能に接続されたディスプレイ７０も有している。以下に説明するように、シーン１２の少なくとも一部を見るとき、ディスプレイ７０を用いてコンテキスト画像１００、スペクトル画像１１０、又は両方の画像を一緒に表示することができる。１つの例において、ディスプレイ７０は、コンピュータ６０の制御に使用することができる、タッチスクリーン機能を有している。

コンピュータ６０は、プロセッサ６２及びメモリユニット（「メモリ」）６４を有している。１つの例において、メモリ６４は、測定スペクトルデータを比較することができる、保存スペクトルデータ（参照スペクトルデータ）を含んでいる。

コンピュータ６０は、ファームウェアに格納された命令及び／又はソフトウェアを実行して、スペクトル画像信号ＳＳ及びコンテキスト画像信号ＳＣを処理するように構成されている。コンピュータ６０は、ＨＳＤシステム１０の動作、並びにスペクトル画像信号ＳＳ及びコンテキスト画像信号ＳＣの前述の信号処理を含む、本明細書に記載の機能を実行するようにプログラムすることができる。本明細書において「コンピュータ」という用語は、単に当技術分野においてコンピュータと呼ばれる集積回路だけではなく、コンピュータ、プロセッサ、マイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ、特定用途向け集積回路、及びその他のプログラム可能な回路を広く意味し、これ等の用語は本明細書において同義的に使用される。

コンピュータ可読媒体に具現化された命令の形態を成すソフトウェアは、前記信号処理を含む、本明細書に開示したＨＳＤシステム１０の動作性能を、実行又は補助することができる。ソフトウェアは、コンピュータ６０、特にプロセッサ６２及びメモリ６４に動作可能にインストールすることができる。ソフトウェアの機能は、実行可能なコードを含むプログラミングを含むことができ、このような機能を利用して、本明細書に開示した方法を実行することができる。このようなソフトウェアコードは、プロセッサ６２等の汎用コンピュータで実行することができる。

１つの例において、ソフトウェアによって、プロセッサ６２が、２Ｄコンテキスト画像１００を１Ｄスペクトル画像１１０に融合あるいは結合する。特に、コンテキストカメラのイメージセンサ２６及びイメージング分光器のセンサ４６の画素に対し、ソフトウェアがコンテキスト画像１００及びスペクトル画像１１０の処理に使用することができる、それぞれのグリッド座標を与えることができる。例えば、コンテキストカメラのイメージセンサ２６の画素に対し、Ｃ１Ｈ〜Ｃ１２８０Ｈ掛ける（×）Ｃ１Ｖ〜Ｃ１，０２４Ｖのグリッド座標、及びイメージング分光器のセンサ４６の画素に対し、Ｓ１Ｖ〜Ｓ５１２Ｖの座標を与えることができる（ここで、Ｖ＝垂直、Ｈ＝水平である）。イメージング分光器４０及びコンテキストカメラ２０は、コンテキストカメラのイメージセンサの画素Ｃ１Ｖ×Ｃ６４０Ｈ及びＣ２Ｖ×Ｃ６４０Ｈが、分光器の画素行Ｓ１Ｖと同一場所に位置し、Ｃ１０２３Ｖ×Ｃ６４０Ｈ及びＣ１０２４Ｖ×Ｃ６４０Ｈが、分光器の画素行Ｓ５１２Ｖと同一場所に位置するように位置合わせされる。

動作中、コード及び、場合により、関連するデータレコードが、汎用コンピュータのプラットフォームのプロセッサ６２及び／又はメモリ６４に記憶される。しかし、別の時点においては、ソフトウェアは、他の場所に記憶及び／又は適切な汎用コンピュータシステムに移送して、ロードすることができる。従って、本明細書において説明する実施の形態は、少なくとも１つの機械可読媒体に担持された、１つ以上のコードモジュールの形態を成す１つ以上のソフトウェア製品を含んでいる。このようなコードを、コンピュータ６０のプロセッサ６２によって実行することにより、プラットフォームが、基本的に本明細書において説明及び例示する方法で、カタログ及び／又はソフトウェアダウンロード機能を実行することができる。

コンピュータ６０及び／又はプロセッサ６２は、各々コンピュータ可読媒体又は機械可読媒体を用いることができる（例えば、メモリ６４）。このような媒体は、例えば、以下に詳細に説明する、シーン１２の選択項目のスペクトル成分の決定を含む、命令をプロセッサに提供して、実行させることに関与する任意の媒体を意味する。メモリ６４はコンピュータ可読媒体を構成する。このような媒体は、不揮発性媒体、揮発性媒体、及び伝送媒体を含みこれに限定されない、多くの形態を成すことができる。不揮発性媒体には、例えば、前述のサーバプラットフォームの１つとして動作する、任意のコンピュータの任意の記憶装置等の、光又は磁気ディスクが含まれる。揮発性媒体には、このようなコンピュータプラットフォームの主記憶装置等の動的メモリが含まれる。物理的な伝送媒体には、コンピュータシステム内においてバスを構成する線を含む、同軸ケーブル、銅線、及び光ファイバーが含まれる。

１つの例において、コンピュータ６０は、ユーザがコンピュータに入力できるようにする、キーボードやボタン等（図７Ｃのボタン２１０を参照）の入力手段（例えば、ディスプレイ７０の上述したタッチスクリーン機能）を有している。コンピュータ６０を介した、ＨＳＤシステム１０に対する入力には、画像取得速度又はシャッター速度、メモリ６４に保存されているスペクトル画像の選択（例えば、スペクトルライブラリからの選択）、コンテキスト画像及び／又はスペクトル画像を記録するためのオン／オフ選択、並びに照明のオン／オフ選択（図示せず）等のソフトウェア制御の設定が含まれる。

１つの例示的な実施の形態において、ＨＳＤシステム１０は、ＨＳＤシステムを携帯できるようにする電池パック等の電源８０を有している。

スペクトル画像信号ＳＳ及びコンテキスト画像信号ＳＣの処理方法の例について、以下詳細に説明する。ＨＳＤシステム１０は、静止画像だけでなく、ビデオ画像を撮影するように動作することができる。

ＨＳＤシステム１０は、ＧＰＳ座標、地理情報システム（ＧＩＳ）データ、コンパス向首方向、傾斜計方位等の追加機能及び情報を提供する、図示しない他の構成要素を有することができる。前述のように、これ等の装置／機能もコンピュータ６０又はＨＳＤシステム１０の別の部分に常駐させることができる。

１つの例において、コンピュータ６０が、例えば、プロセッサ６２及びメモリ６４として、コンテキストカメラ２０に内蔵されている。例えば、コンテキストカメラ２０が、スマートフォンのカメラ又はタブレットのカメラである場合、コンピュータ６０は、スマートフォンの計算要素及び直前に述べた装置等の装置機能（以下に紹介及び説明する図９参照）を含むことができる。

従来のＨＳＤシステムにおいては、瞬間視野（ｉＦｏＶ）（例えば１つの画素列）を、はるかに広い動眼視野（ＦｏＲ）にわたり体系的にステップ走査する、固定センサプラットフォームによって、スペクトル画像データが捕捉される。走査時間は、特定の用途、条件、及び分析するシーンの特質にもよるが、１秒〜数十秒を要し得る。分光器のセンサ及びシーンは、通常、走査が完了するまで得ることができない、コヒーレントで正確な空間コンテキスト情報を捕捉するために、走査期間中互いに対し静止及び影響を及ぼさないようにする必要がある。

ＨＳＤシステム１０は、より簡単かつより効率的に動作する。シーン１２に対し、イメージング分光器のセンサ４６の各々の画素４７の、すべてのスペクトルデータを収集するのではなく、シーンの小領域、例えば、画素４７の１つの列又は画素４７の少数の列に対してのみ、スペクトルデータが収集され、１つの実施例において、画素列の数がユーザによって規定される。次に、シーン１２の小領域のスペクトルデータが、コンテキスト画像１００と共に、スペクトル画像１１０としてリアルタイムで表示される、即ち、スペクトル画像が、コンテキスト画像に融合されて、ディスプレイ７０に表示される。

図４Ａ〜４Ｂは図１と同様の図であって、ＨＳＤシステム１０を用いて、どのようにして、シーン１２の分析を行うことができるかの一例を示す図である。図４Ａはコンテキストカメラの動眼視野ＦｏＲがシーン１２の「＋ｘ」端部に向けられている状態を示している。この位置において、コンテキストカメラ２０が、シーン１２の端部のコンテキスト画像を撮像する。イメージング分光器の瞬間視野ｉＦｏＶが、シーン１２の位置における動眼視野ＦｏＲの略中心にくるように、イメージング分光器が配置（例えば、回転）される。瞬間視野ｉＦｏＶの別の位置が可能であり、中心位置は１つの便宜的な例示位置として示している。

図４Ｂ及び４Ｃは、コンテキストカメラ２０及びイメージング分光器４０が、シーン１２上を一緒に走査している状態を示し、図４Ｂはシーンの中心部が分析されている状態を示し、図４Ｃはシーンの「−ｘ」端部が分析されている状態を示している。コンテキストカメラ２０とイメージング分光器４０が一緒に走査されることにより、瞬間視野ｉＦｏＶの位置が動眼視野ＦｏＲ内に維持されることに注意されたい。しかし、コンテキストカメラ２０とイメージング分光器４０をこの様に一緒に走査する必要はない。１つの例において、例えば、イメージング分光器４０を、コンテキストカメラ２０と異なる速度で移動（回転）させることにより、瞬間視野ｉＦｏＶの相対位置を、動眼視野ＦｏＲ内で変えることができる。別の例おいて、コンテキストカメラ２０を固定し、イメージング分光器４０を移動（回転）させて、一部又はすべての動眼視野ＦｏＲ上を走査することができる。

幾つかの例において、コンテキストカメラ２０及びイメージング分光器４０によるシーン１２の走査を手動又は自動、例えば、コンピュータ６０の制御下で行うことができる。コンテキストカメラ２０を使用しているため、例えば、ディスプレイ７０を介し、使用可能なデータ（空間コンテキストに融合したスペクトル認識）をユーザに提示するのに、イメージング分光器４０による動眼視野ＦｏＲ全体の走査が終了するのを待つ必要がない。フィードバックがリアルタイム（例えば、＞１５フレーム／秒）であるため、ユーザは、瞬間視野ｉＦｏＶを動眼視野ＦｏＲ内の任意の場所に配置することができると共に、シーン１２に対する動眼視野の位置も変更することができる。ユーザはシーン１２の任意の場所で、開始及び停止することができると共に、「盲点」あるいはアクセスできない領域の調査を含む、シーン内の任意の場所に瞬時に再配置することができる。

図５Ａ〜５Ｃはそれぞれ図４Ａ〜４Ｃに対応し、ＨＳＤシステム１０から見たシーン１２を示している。図５Ａ〜５Ｃの各々は、動眼視野ＦｏＲによって規定されるコンテキストカメラ画像１００及び対応するコンテキストカメラ画像を重畳した、縦ストライプ状の対応するスペクトル画像１１０を含んでいる。スペクトル画像１１０は、分かり易くするために点描してあり、シーン１２のハイパースペクトル的に敏感な部分を表わしている。コンテキスト画像１００とスペクトル画像１１０との組合せによって、融合画像１１４が定義される。

図５Ａはシーン１２の＋ｘ側の融合画像１１４を示している。これはシーン１２の走査及び分析のための、ＨＳＤシステム１０の初期位置を表わしている。図５Ａはコンテキスト画像１００の幅Ｗ’_Ｒ及び分光器画像１１０の幅Ｗ’_Ｓも示している。図５Ａのコンテキスト画像１００が、どのようにしてシーン１２の端部のみをカバーしているか、及び分光器画像１１０が、どのようにしてシーン左端部のコンテキスト画像１００の一部のみをカバーしているか注視されたい。

ＨＳＤシステム１０の動作例において、システムの電源が投入されて初期化される。初期化は、フォーカス及び光強度レベルの自動調整の開始を含む、コンテキストカメラ２０の初期化を含むことができる。初期化処理は、フォーカス及び光強度レベルの自動調整の開始及びスペクトル較正の実施を含む、イメージング分光器４０の初期化も含むことができる。

初期化が完了すると、ユーザは、シーン１２の選択された部分（例えば、標的領域）にＨＳＤシステム１０を向けることができる。次に、ユーザは、スペクトル画像１１０をコンテキスト画像１００内、即ち動眼視野ＦｏＲ内に配置して、融合画像１１４の構成を規定することができる。前述のように、図５Ａは、融合画像１１４のコンテキスト画像１００及びスペクトル画像１１０のシーン１２に対する、例示的な初期位置を示している。

この時点で、ユーザは、イメージング分光器４０を（例えば、スイッチ５３を介して）作動させ、コンテキストカメラ２０及びイメージング分光器を（例えば、同期して）移動させてシーン１２をパンし、検出されたスペクトルを、例えば、メモリ６４に保存されている参照スペクトルと比較することにより、関心スペクトルシグネチャを特定する。コンテキスト画像１００及びスペクトル画像１１０の移動を示す、矢印ＡＲ１及びＡＲ２によって、融合画像１１４の移動（走査）を示す。

図５Ｂは、シーン１２の左半分の走査後のコンテキスト画像１００及びスペクトル画像１１０を示しており、コンテキスト画像及びスペクトル画像がシーンの略中心に配置されている。熱く輝き、従って、メモリ６４に保持されているスペクトルライブラリに保存されている、スペクトルシグネチャと一致する、ＩＲスペクトルにわたる、強いスペクトル信号を有する、白熱電球（図示せず）を備えたランプ１３の上に、タグ１２０が置かれている。タグ１２０は、コンテキスト画像１００における、スペクトルシグネチャの位置に印を付与する役割を果たす。

融合画像１１４の走査中に、関心スペクトルシグネチャ（即ちスペクトルの一致）が見つかった場合には、図５Ｂに点線の四角形で示すように、コンテキスト画像１００の対応する領域が関心領域ＲｏＩとして特定される。例えば、対応するコンテキスト画像の画素２７が、強調表示されると共に、周囲のコンテキスト画像の画素の空間、色、及び強度ジオメトリが強調表示され、例えば、コンテキストカメラのディスプレイ７０に関心領域ＲｏＩが規定される。関心領域ＲｏＩは、動眼視野ＦｏＲ内に留まっている間、追跡することができる。

コンテキストカメラ２０及びイメージング分光器４０が移動を続けて、シーン１２上の融合画像１１４を走査しているとき、タグ１２０は所定の位置に留まっている。更に、新たなスペクトルの一致が特定されたとき、コンテキスト画像１００が、その一致を印すために新しいタグに更新される。図５Ｃは、シーン１２を走査した後の、シーンの右側における融合画像１１４を示している。ティーカップ１４及びティーポット１６に関連した２つの新しいスペクトルシグネチャが各々特定され、それぞれのタグ１２０が付与されている。２つの新しいタグ１２０は、黒のダイヤモンド形状であり、これはランプ１３に関連したスペクトルシグネチャを特定する星形タグ１２０とは異なる、スペクトルシグネチャを表わしていることに注意されたい。

例示的な実施の形態において、スペクトルの一致が連続的に追跡され、その一致が動眼視野ＦｏＲ内に留まっている間、コンテキスト画像１００の関連する画素２７が強調表示される。例えば、ランプ１３のスペクトル一致タグ１２０を用いて、ランプ上のスペクトル的に一致する指紋を示すことができる。

ＨＳＤシステム１０によるシーン１２の走査結果が、シーンに関するスペクトル識別情報（及び、必要に応じ、ジオメトリ追跡情報）となる。この情報は１つ以上の静止画像又はビデオ画像に具体化することができる。

この時点において、ユーザは、スペクトルタグ１２０及び、必要に応じ、ジオメトリタグ１２２を備えた、融合画像１１４の静止版又はビデオ版を表示することができる。また、ユーザは、シーン１２における別の観点、角度、又は距離からの再配置、再走査するための既走査部分への戻り、及び／又は動眼視野ＦｏＲ内の別のシーンへの再配置を行うことができる。

ＨＳＤシステム１０による走査方式は、所謂「プッシュブルーム」ハイパースペクトルイメージング法と同じではなく、又それと混同されるべきではない。プッシュブルーム法は、シーン全体にわたって一方向に走査することにより、シーンの（ストリップチャートに似た）連続した２Ｄ空間×１Ｄスペクトルの超立方体を、ライン毎に生成するものである。本明細書に開示した走査方法は、コンテキストカメラ２０及びイメージング分光器４０を、シーン１２に対して移動させ、シーン内においてスペクトル的に一致する領域を空間的及びコンテキスト的に探索する必要がある一方、コンテキスト的に有用なデータを取得してユーザに表示するために、如何なる所与の方法においても、シーン全体にわたり移動する必要がない。

前述のように、従来のハイパースペクトルイメージングは、所与の２Ｄ画像内において、イメージング分光器のすべての画素のスペクトルを分析する。各画像に対し、２つの空間次元及び１つのスペクトル次元で３Ｄ超立方体データが生成される。従来のハイパースペクトルイメージングの例として、中程度の解像度の画像について、６４０×４８０の空間刻み（画素）及び１００のスペクトル刻み（バンド）、合計３０，７２０，０００のデータポイントがあり得る。そのデータキューブを捕捉及び記憶した（３０カメラフレーム／秒で約２０秒）後、ユーザによるシーンのコンテキスト分析を開始することができる。

本明細書に開示したＨＳＤシステム１０及び関連する方法は、コンテキスト的に有用なデータにアクセスするための第２の（水平）空間次元を不要なものとする。前述のデータキューブの解像度をベースラインとして使用すると、第２の空間次元の生成を排除することには、少なくとも以下の利点がある。第１に、コンテキストの分析に必要なデータポイントの数が３０，７２０，０００から４８，０００に低減され、これは６４０倍の改善である。第２に、ユーザがコンテキスト的に有用な情報にアクセスするのに要する時間が、＞２０秒から＜０．０３秒に低減され、これは６００倍の改善を示している。第３に、ＨＳＤシステム１０の複雑さが軽減され、ＨＳＤシステムをハンドヘルドできるまでに小型化することができる。

図６は、コンテキストカメラ２０及びイメージング分光器４０のそれぞれの撮像レンズ２４及び４４を、コンテキストカメラ及びイメージング分光器の両方に使用する１つのレンズ１４４に置き換えた、ＨＳＤシステム１０の例示的な実施の形態を示す図である。これにより、共通（即ち、同一）のレンズを使用して、コンテキスト画像１００及びスペクトル画像１１０を撮像することができる。図示の例において、ダイクロイックミラー１４６及び通常のミラー１４８を用いて、シーン１２からの光がイメージング分光器４０に誘導される。別の例示的な実施の形態において、異なる波長における撮像補正、あるいはコンテキストカメラ又はイメージング分光器の結像光学系を規定するためのレンズ、１つ以上の開口絞り等の形態をなす、追加の光学部品１４９が、レンズ１４４とコンテキストカメラ２０又はイメージング分光器４０（一例として、図示のように）との間に配置される。図６の実施の形態は、レンズ１４４の形態を成す単一の集光光学系を可能にし、これによってＨＳＤシステム１０が平易化される。１つの例において、レンズ１４４はズーム機能を有している。１つの例において、レンズ１４４は、当技術分野において知られている１つ以上の画像安定化技術を用いて、画像安定化が図られている。また、１つの例においてレンズ１４４は、当技術分野において知られている１つ以上のオートフォーカス技術を用いたオートフォーカス機能を有している。

図６は、シーン１２の少なくとも一部を照明光１６２で照明する、照明源１６０を備えた、ＨＳＤシステム１０の例示的な実施の形態も示している。光１６２はイメージング分光器４０又はコンテキストカメラ２０、あるいはその両方に使用されることを特に意図した波長を有するように選択することができる。

照明源１６０による能動的な照明が必要又は望ましい場合、スペクトル走査される狭い領域のみをカメラフレームの期間だけ安定的に照明する必要がある。シーン１２の全体を走査するために、シーン全体を照明する必要はない。これは同じ照明源に対し（面積の縮小及び／又はパルス持続時間に基づく）照明強度に大きな利益をもたらすと共に、それに応じて信号対雑音比およびシステムの感度が向上する。

本明細書に開示したＨＳＤシステム及び方法は、従来のＨＳＤシステム及び方法と比較して、幾つかの利点を有している。データの収集及び処理の平易化により、ＨＳＤシステムが携帯可能になり、ハンドヘルド装置として構成することができる。更に、システムユーザは、自己の裁量で、分析したいと思うシーンの任意の部分又はサブ部分を、リアルタイムで、迅速かつ簡単に走査する柔軟性を有している。コンテキスト画像１００によって提供される、コンテキストフィードバックによって、ユーザは、走査中に、空間走査パラメータをオンザフライで直ちに調整することができる。

２Ｄコンテキスト画像１００の各画素についての完全なスペクトル走査を生成する必要性を排除したこと、２Ｄコンテキスト画像の非常に狭い部分のみをスペクトル走査すること、及び保存されているスペクトルシグネチャに対する良好なスペクトルの一致のみを探索することにより、コンテキスト依存情報の取得速度、分析、及び提示がリアルタイム（＞１５フレーム／秒）で生じる。

コンテキスト画像１００によって、分析されるシーン１２の空間コンテキスト情報が提供されるため、スペクトル画像１１０が同じように高い空間分解能を有する必要がない。これによって、イメージング分光器４０のセンサ４６に大きな画素を用いることができ、それに対応する信号対雑音比の改善及びハードウェアコストの削減が得られるため、ＨＳＤシステム１０が、スペクトル領域においてより敏感になると共に、よりコスト効率的となる。

図７Ａ〜７Ｃは、例示的なハンドヘルドＨＳＤシステム１０のそれぞれ側面図、正面図、及び背面図である。ハンドヘルドＨＳＤシステム１０は、ハウジング２００を有し、ハウジングは前端部２０２、後端部２０４、及びハウジングに取り付けられたハンドル５２を備えている。ハウジング２００は、前述のＨＳＤシステムの主要な要素を収容するように構成された内部２０６を有している。コンテキストカメラ２０とイメージング分光器４０とは、前端部２０２を介して光学的に連通している。また、任意としての照明源１６０も、ハウジングの前端部２０２を介して連通している。ハウジングの後端部は、ＨＳＤシステム１０に対する入力、システムのオンオフ、コンテキストカメラ２０及びイメージング分光器４０の配向／回転等を行う各種ボタンの他、ディスプレイ７０を備えている。ハンドル５２によって、ユーザはディスプレイ７０の融合画像１１４を都合よく見ながら、ＨＳＤシステム１０を保持してシーン１２に向けることができる。

図８Ａ及び８Ｂは、それぞれ別の例示的なハンドヘルドＨＳＤシステム１０の正立面図及び背立面図である。ハンドヘルドＨＳＤシステム１０は、スマートフォン２５０を使用しており、そのデジタルカメラがコンテキストカメラ２０の役割を果たし、ディスプレイがディスプレイ７０の役割を果たしている。スマートフォン２５０は、支持部材５０に支持され、支持部材はハンドル５２に支持された、イメージング分光器４０の後端部に取り付けられている。図８Ａ及び８Ｂは、コンテキストカメラの光軸ＡＣ、及びイメージング分光器の光軸ＡＳを示している。１つの例において、スマートフォン２５０の計算要素（図示せず）をコンピュータ６０として使用している。

図９はコンテキストカメラ２０の拡大図であって、画素２７から成る、コンテキストカメラのイメージセンサ２６が、スペクトルデータも収集することができ、独立したイメージング分光器を必要としない１つの実施の形態を示している。図９の実施の形態において、コンテキストカメラ２０は、イメージセンサ３６の近傍に、スペクトル分散要素２７０を有している。スペクトル分散要素２７０は、シーン１２からの光２８０を画素２７Ｓの領域にわたり分散する役割を果たし、スペクトルデータの規定に用いられる一方、残りの画素２７Ｃが、通常の方法でコンテキストカメラ２０に用いられる。コンテキストカメラ画像１００においては、スペクトルデータの捕捉に用いられる画素２７Ｓからのコンテキストデータが欠落していることになる。従って、図９の実施の形態においては、コンテキストカメラ２０が内蔵イメージング分光器４０を備えている。

添付した特許請求の範囲に規定する本開示の精神及び範囲を逸脱せずに、本明細書に記載の好ましい実施の形態に対し様々な改良が可能であることは当業者にとって明らかであろう。従って、本開示は、添付の特許請求の範囲及びその均等物の範囲に属することを条件に、かかる改良及び変形を含むものである。

１０ ハイパースペクトル検出システム
１２ シーン
２０ コンテキストカメラ
２４、４４ 撮像レンズ
２６、４６ イメージセンサ
２７、４７ 画素
４０ イメージング分光器
５２ ハンドル
６０ コンピュータ
６２ プロセッサ
６４ メモリ
７０ ディスプレイ
ＦｏＲ 動眼視野
ｉＦｏＶ 瞬間視野
ＳＣ コンテキスト画像信号
ＳＳ スペクトル画像信号
１００ コンテキスト画像
１１０ スペクトル画像（分光器画像）
１１４ 融合画像
１２０ タグ

Claims (5)

1. シーンのハイパースペクトル検出を行う方法であって、
   前記シーンの少なくとも一部の、動眼視野（ＦｏＲ）にわたる、デジタルコンテキスト画像を撮像するステップと、
   前記シーンの前記ＦｏＲに含まれる、瞬間視野（ｉＦｏＶ）にわたる、スペクトル画像を撮像するステップであって、前記ｉＦｏＶが、前記ＦｏＲの半分未満であるステップと、
   前記コンテキスト画像と前記スペクトル画像を融合して、融合画像を形成するステップと、
   前記スペクトル画像を、前記シーン上の前記ＦｏＲ内に維持したままパンして、該シーン内の１つ以上のスペクトルシグネチャを捕捉するステップと、
   前記１つ以上のスペクトルシグネチャを、１つ以上の参照スペクトルシグネチャと比較して、前記コンテキスト画像における、前記１つ以上のスペクトルシグネチャの１つ以上の位置に印を付けるステップと、
   前記融合画像と前記１つ以上の印が付された位置を、リアルタイムでディスプレイに表示するステップと、
   を有して成ることを特徴とする方法。
2. 前記スペクトル画像が幅Ｗ’_Ｓを有し、画素幅Ｗ_４７の画素を有するスペクトルイメージセンサによって撮像され、前記コンテキスト画像が幅Ｗ’_Ｒを有し、Ｗ_４７／Ｗ’_Ｒ≦［Ｗ’_Ｓ／Ｗ’_Ｒ］＜０．２５であることを特徴とする請求項１記載の方法。
3. 前記融合画像及び前記１つ以上の印が付された位置を、リアルタイムで、ディスプレイに表示するステップを更に有して成ることを特徴とする請求項１又は２記載の方法。
4. シーンのハイパースペクトル検出を行う方法であって、
   前記シーンの少なくとも一部の、動眼視野（ＦｏＲ）にわたる、デジタルコンテキスト画像を撮像するステップと、
   前記シーンの瞬間視野（ｉＦｏＶ）にわたるスペクトル画像を、第１のセンサの１つの画素列で撮像するステップであって、前記ｉＦｏＶが前記ＦｏＲに含まれるステップと、
   前記コンテキスト画像と前記スペクトル画像を融合して、融合画像を形成するステップと、
   前記スペクトル画像を、前記シーン上をパンして、該シーン内の１つ以上のスペクトルシグネチャを捕捉するステップと、
   前記１つ以上のスペクトルシグネチャを、１つ以上の参照スペクトルシグネチャと比較して、前記コンテキスト画像における、前記１つ以上のスペクトルシグネチャの１つ以上の位置に印を付けるステップと、
   前記融合画像と前記１つ以上の印が付された位置を、リアルタイムで、ディスプレイに表示するステップと、
   を有して成ることを特徴とする方法。
5. シーンをスペクトル分析するためのハイパースペクトル検出システムであって、
   前記シーンの少なくとも一部の、動眼視野（ＦｏＲ）にわたる、デジタルコンテキスト画像を撮像するように動作可能配置されたコンテキストカメラと、
   前記シーンの前記ＦｏＲに含まれる、瞬間視野（ｉＦｏＶ）にわたる、スペクトル画像を撮像するように動作可能に配置されたイメージング分光器であって、前記ｉＦｏＶが前記ＦｏＲの半分未満であるイメージング分光器と、
   前記スペクトル画像を前記シーン上の前記ＦｏＲ内に維持したままパンして、該シーン内の１つ以上のスペクトルシグネチャを捕捉する手段と、
   前記コンテキスト画像と前記スペクトル画像を受信及び融合して、融合画像を形成すると共に、前記１つ以上のスペクトルシグネチャを１つ以上の参照スペクトルシグネチャと比較して、前記コンテキスト画像における、前記１つ以上のスペクトルシグネチャの１つ以上の位置に印を付けるように構成されたプロセッサと、
   前記融合画像と前記１つ以上の印が付された位置を、リアルタイムで表示するディスプレイと、
   を有して成ることを特徴とするシステム。

Images