JP5676492B2 - 生体の存在を検出するデバイス及びシステムの機能を制御する方法 - Google Patents

Description

本発明は、デバイスの機能を制御する方法に関する。

本発明は、生体の存在を検出するシステムにも関する。

本発明は、コンピュータプログラムにも関する。

Verkruysseらによる「Remote plethysmography imaging using ambient light」、Optics Express、16(26)、22 December 2008、pp. 21434-21445は、光プレチスモグラフィ信号が、ノーマル環境光を光源とし、消費者レベルの簡単なデジタルカメラの動画モードを用いて、人間の顔に関してリモートで測定されることができることを示した。カメラを動画モードにセットした後、任意の運動を最小化するため、被撮影者（volunteer）は、座る、立つ又は横になるよう求められる。カラー動画が、カメラによりセーブされ、パーソナルコンピュータに転送される。赤、緑及び青のチャネルに関する画素値が、各動画フレームに関して読み出され、ＰＶ（ｘ，ｙ，ｔ）のセットを提供する。ここで、ｘ及びｙはそれぞれ、水平及び垂直位置であり、ｔは、フレームレートに対応する時間である。グラフィックユーザインターフェイスを用いて、関心領域（ＲＯＩ）が（動画から選択される）静止画において選択され、生の信号ＰＶ_ｒａｗ（ｔ）がＲＯＩにおけるすべての画素値の平均として計算される。パワー及び位相スペクトルを決定するため、高速フーリエ変換が実行される。１．４３Ｈｚの心拍周波数に関する位相マップが、図の１つに示される。この記事は、著者らが彼らのカメラの１つと組み合わせて望遠レンズを簡単に用いようとしたと述べる。なぜなら、戦闘でのトリアージ又はアスリート監視（athletic monitoring）のため、心拍の遠隔探査に興味があるからである。

従来技術から知られる光プレチスモグラフィの用途は、心拍及び呼吸測定を用いた、及び撮像を用いた診断に限定される。

本発明の目的は、邪魔にならない生理的測定により得られる入力を用いて、冒頭に述べたタイプの方法、システム及びコンピュータプログラムを提供することである。

この目的は、本発明に基づかれる方法により実現され、この方法は、
時間における連続点で撮られるデジタル画像のシーケンスを得るステップと、
複数の画像点を含む少なくとも１つの測定ゾーンを選択するステップと、
少なくとも１つの測定ゾーンに関して、少なくとも上記複数の画像点での画素値の組合せの時間変化する値における少なくとも変動を表す信号を得るステップと、及び
比較データに対するスペクトルの少なくとも関心範囲に含まれる上記信号の少なくとも１つの特性を決定するステップであって、上記決定ステップが、
（ｉ）上記信号が、特定の精度で比較周波数とマッチする周波数において局所最大を伴うスペクトルを持つかどうか決定するステップと、
（ｉｉ）上記信号の少なくとも特定の周波数要素が、特定の精度で比較信号と同相にあるかを決定するステップとの少なくとも１つを有するステップと、
上記決定がポジティブかどうかに基づき、上記機能を制御するステップとを有する。

上記信号が、特定の精度で比較周波数とマッチする周波数において局所最大を伴うスペクトルを持つかどうかを決定するステップは、局所最大が比較範囲に含まれるかどうかを決定するステップを含むことができる。

この方法は、以下の意外な認識に基づかれる。即ち、人、言い換えると特定のタイプの特性を持つ人が、特定の環境に存在するかどうかを検出することが、人の心拍数又は呼吸数を発見することを狙いとする、この環境の画像のシーケンスの解析を実行することにより可能であるということである。従って、本書では診断目的のためだけに想定される方法は、邪魔にならない監視方法における新規で有益な用途を見つけ出す。この方法は、時間における連続点で撮られるデジタル画像のシーケンスを得るステップを含むので、これは邪魔にならない。人の近傍に持って行かれることになるセンサを用いても無駄である。この方法は、複数の画像点を含む少なくとも１つの測定ゾーンを選択するステップと、各測定ゾーンに対して、少なくとも複数の画像点での画素値の組合せの時間変化する値における少なくとも変動を表す信号を得るステップとを含むことからも、邪魔にならない。測定ゾーンにわたる空間平均といった組合せの使用は、比較的高い信号対ノイズ比を持つ信号を生じさせる。この信号から、心拍又は呼吸といった周期的な生理的現象に対応するスペクトルピークが、十分な精度に対して抽出されることができる。この堅牢性は、画像の使用が、反射された環境光を記録することを可能にする。その結果、この方法は邪魔にならない。

この方法の実施形態において、上記比較データが、選択された追加的な測定ゾーンの少なくとも複数の画像点での画素値の組合せの時間変化する値における少なくとも変動を表す少なくとも１つの信号に基づかれる。

この効果は、この方法により、どれくらいの異なる生体が画像に表されているかを決定することが可能にされる点にある。スペクトルにおける局所最大が発生する異なる位相又は異なる周波数の値は、異なる生体を示す。

この方法の変形例において、各選択された追加的な測定ゾーンが、上記画像に対して置かれるグリッドにおける複数の測定ゾーンの１つである。

この効果は、画像領域が完全に覆われる点にある。この効果は、離間して配置されると仮定する場合、グリッドのすべてのセクターより少ないセクターが選択されるときにも付随的に得られる。この方法のこの変形例において、体の部分に対応するかもしれないことを示唆する形状、色又は他の画像特性を持つ領域を特定する先行ステップは、省略されることができる。斯かるステップは高い誤差レートを持つ可能性があるので、これは、生体の検出の精度を改善する。各測定ゾーンが、複数の画像点を含み、少なくとも複数の画像点での画素値の組合せの時間変化する値が形成されるので、ノイズに対する感受性は低い。更に、各画素が他の画素と個別に比較される場合、より少ない信号が形成される必要がある。

別の変形例において、上記信号の少なくとも特定の周波数要素が、特定の精度で比較信号と同相にあるかを決定するステップが、上記測定ゾーンと、該測定ゾーンから離れて置かれる少なくとも１つの追加的な測定ゾーンとに関して得られる上記信号が、特定の精度で、上記測定ゾーンと上記少なくとも１つの追加的な測定ゾーンとに対する共通の周波数で個別の局所最大を伴うスペクトルを持つ場合にのみ実行される。

この効果は、全体の画像領域を覆う位相マップを構築する必要がない点にある。局所最大の周波数が同じであるが故、同じ生体を表すことができる又は表すことができない画像セグメントだけが、位相差があるかどうかを決定することにより追加的に解析される。従って、画像に表される２つの生体がほぼ同じ心拍数又は呼吸数を持つ場合でさえ、互いに区別されることができる。

この方法の実施形態において、上記デバイスが、知覚可能な出力を提供する少なくとも１つのデバイスを含み、上記方法は、ターゲットに対応する測定ゾーンに関してなされる決定がポジティブであるかどうかに基づき、空間ターゲットにより識別される空間的にターゲット化された出力を提供するよう上記デバイスを制御するステップを含む。

こうして、生体の存在を検出すると、その生体に向けてフィードバックすることが可能である。画像における測定ゾーンの位置は、ターゲットを配置するための情報を提供する。

変形例において、ターゲットに対応する少なくとも１つの測定ゾーンに関して、上記知覚可能な出力が、上記局所最大の上記周波数の値に基づき適合される。

この変形例は、周期的な生理的現象の周波数から推測される現在の精神状態に適したフェードバックを個人に与えることを可能にする効果を持つ。この現象は、例えば呼吸又は心拍とすることができる。例えばアンビエントシステムといったシステムにおいて、環境は、異なる雰囲気を持つセクターに分けられることができる。各セクターは、そのセクターにおける人のムードに適したものである。

別の実施形態において、少なくとも１つのデバイスが、上記決定がポジティブかどうかに基づき有効にされる。

この方法は、ペアレンタルコントロール機能又は省エネルギー機能において実現されることができる。少なくとも１つのデバイスは、生体又は特定のタイプの生体を検出すると、有効にされる。

この実施形態の変形例において、上記機能が制御される上記デバイスは、条件付きアクセスシステムに含まれる。

この効果は、アクセスを求めている人が自分の証明書を実際に提示しているかどうかが邪魔にならない態様でチェックされる点にある。特に、証明書が生体認証スキャンデバイスによりチェックされる場合、この機能は、生体認証特徴の複製（指紋のろう鋳造物、虹彩の光学的な複製物等）を用いてアクセスを得る試みを回避するのに役立つ。

ある実施形態において、デジタル画像の上記シーケンスが、初期化フェーズ終了後カメラによりキャプチャされるよう構成され、上記初期化フェーズが、
カメラ設定が変化される間、上記カメラにより取得される画像の少なくとも一部における周期的強度変動を測定するステップと、
少なくとも周波数の範囲における測定された周期的強度変動が最小であると決定される上記カメラ設定の値を選択するステップとを含む。

この実施形態は、例えば電源（mains）周波数での周期的な障害の源を除去することを可能にする。通常、斯かる障害は、アンビエント照明における周期的変動に対応する。この方法は、遠隔撮像に適しているので、例えば赤外線光源及びカメラを用いる場合よりも、これらの障害は大きく影響する。適切なカメラ設定は、フレームレート、露出時間、カメラゲイン及び画素クロックを含む。

この方法の実施形態は、測定ゾーン以外の画像部分における少なくとも複数の画像点での画素値の組合せの時間変化する値に対応する訂正信号を決定するステップと、
各測定ゾーンに関して、少なくとも上記測定ゾーンにおける上記画像の上記画素データと、上記測定ゾーンにおける少なくとも複数の上記画像点での画素値の組合せの上記時間変化する値との少なくとも１つを上記訂正信号から相関分離させるステップとを含む。

この実施形態は、非周期的障害を解析から除く（move）ことを可能にし、周期的な生理的現象が原因による信号要素の信号対ノイズ比を更に改良する。例としては、画像のシーケンスがキャプチャされる間、テレビを見ている人の顔におけるテレビ信号の反射である。測定ゾーン以外の画像部分は、この測定ゾーンも含むより大きな画像部分とすることができる点に留意されたい。

別の側面によれば、本発明による生体の存在を検出するシステムが、
時間における連続点で撮られるデジタル画像のシーケンスを得るインタフェースと、
画像データ処理システムとを含み、上記画像データ処理システムが、
複数の画像点を含む少なくとも１つの測定ゾーンを選択し、
少なくとも１つの測定ゾーンに関して、少なくとも複数の上記画像点での画素値の組合せの時間変化する値における少なくとも変動を表す信号を取得し、
比較データに対するスペクトルの少なくとも関心範囲に含まれる上記信号の少なくとも１つの特性を決定し、上記決定が、
（ｉ）上記信号が、特定の精度で比較周波数とマッチする周波数において局所最大を伴うスペクトルを持つかどうか決定することと、
（ｉｉ）上記信号の少なくとも特定の周波数要素が、特定の精度で比較信号と同相にあるかを決定することとの少なくとも１つを有し、
上記決定がポジティブかに基づき、出力を適合させる。

このシステムは、画像のシーケンスに表される環境において生体が存在するかどうか、オプションでどれくらい多くの生体がいるかを検出することができる。こうして、実際の生体と、同様にこの環境に存在することができる生体の画像との間が識別されることができる。邪魔にならない態様でこれを実行することも可能である。なぜなら、センサが、検出される生体に接触すること、又は生体の近くにあることに依存しないからである。

ある実施形態において、画像データ処理システムは、本発明に基づかれる方法を実行するよう構成される。

本発明の別の側面によれば、機械読み取り可読媒体に組み込まれるとき、情報処理能力を持つシステムに、本発明による方法を実行させる命令セットを含むコンピュータプログラムが与えられる。

生体の存在が検出されたかどうかに基づき、又は生体の心拍数又は呼吸数に基づき、出力を調整するよう構成されるシステムの概略図である。 生体の心拍数又は呼吸数を決定する方法を示すフローチャートである。 生体の存在を検出する代替的な方法を示すフローチャートである。 生体の存在を検出する第３の方法であって、生体に対するターゲット化されたフィードバックを提供することも可能にする方法を示すフローチャートである。 生体の存在を検出する第３の方法であって、生体に対するターゲット化されたフィードバックを提供することも可能にする方法を示すフローチャートである。 図１のシステムに含まれるアンビエントシステムが実現される環境の図である。

本発明が以下、添付の図面を参照してより詳細に説明される。

図１を参照すると、画像のシーケンスを処理するよう構成されるシステム１の例が与えられる。システム１は、周期的な生理的現象の周波数に対応する画像の画素データに基づき、信号のスペクトルにおける少なくとも１つのピークの存在及び周波数値のうちの少なくとも１つを決定するため、この処理を実行する。特定の実施形態では、生体の存在は、ピークの存在から推定され、１つ又は複数のシステム処理に対するバイナリ入力として用いられる。ピークの周波数は、それらの処理のうちの少なくとも１つにおける入力として用いられる。他の実施形態では、複数の異なる生体の存在が推定される。ある実施態様において、この情報は、画像セグメント化方法に対する入力として用いられる。別の実施形態では、この情報は、空間的にターゲット化されたフィードバックを提供するために用いられる。

システム１は、デジタル画像のシーケンスを間断なく記録するよう構成されるデジタルカメラ２を含む。システム１は更に、画像データを得るためデジタルカメラ２と通信するデータ処理デバイス３を含む。この処理デバイスは、後述するように、デジタルカメラ２の動作も制御する。

デジタルカメラ２によりキャプチャされるデジタル画像データは、データ処理デバイス３のインタフェース４を介して、データ処理デバイス３に渡される。図示される実施形態において、データ処理デバイス３は、処理ユニット５及びメインメモリ６だけでなく、データの不揮発性ストレージに関するデータ記憶デバイス７を含む。このデータは例えば、デジタル画像データ、及びデータ処理デバイス３が画像データを処理し、複数の周辺デバイスを制御することを可能にするソフトウェアである。

図示される実施形態において、周辺デバイスは、ビデオ表示システム８と、コントローラ９及び照明ユニット１０〜１２を含むアンビエントシステムと、生体認証スキャンデバイス１３とを含む。全ては、個別のインタフェース１４〜１６を介してデータ処理デバイス３に接続される。これらの周辺デバイスは、図２〜４を参照して説明される画像処理方法の１つ又は複数の変形例の結果に基づき制御されることができる周辺デバイスの単なる例である。ある実施形態において、ビデオ表示システム８は、光及び音タイルで覆われる壁を有する。別の実施形態では、このシステムは、投影システムを有する。更に別の実施形態では、このシステムは、標準的なテレビ受像機を有する。

以下に説明される方法は、皮膚の斑点（patch）に対応する画像データに基づき信号を生成することにより、デジタルカメラ２によりキャプチャされるシーンにおいて、人間又は動物といった１つ又は複数の生物の存在を決定するために用いられる。この信号は、例えば人間の心拍又は呼吸といった周期的な生理的現象の周波数と共に変化する。

人間の皮膚は、２層ブジェクトとしてモデル化されることができる。１つは、表皮（薄い表面層）であり、もう１つは、真皮（表皮の下のより厚い層）である。入射光線の約５％は、表皮において反射される。これは、すべての波長及び皮膚の色に対して当てはまる。残りの光は、体反射として知られる現象において、散乱され、２つの皮膚層内で吸収される（「Dichromatic Reflection Model」にて説明される）。表皮は光学フィルタのように挙動し、主に光を吸収する。真皮において、光は、散乱及び吸収される。吸収は、血液組成に依存する。その結果、吸収は、血流変動に対して感度が良い。真皮の光学特性は一般に、すべての人種に対して同じである。真皮は、大人の総血管ネットワークの約１０％となる血管の密集したネットワークを含む。これらの血管は、体における血流に基づき収縮する。これらは結果的に真皮の構造を変化させる。これは、皮膚層の反射率に影響を与える。結果的に、心拍は皮膚反射率変動から決定されることができる。これは、本書に示される方法の基礎をなす原理である。

図２に示される方法の実施形態において、デジタルカメラ２に関する適切な設定を決定するため、初期化フェーズがまず完了される（ステップ１７）。このため、デジタル画像のシーケンスがキャプチャされる間、データ処理デバイス３は、デジタルカメラ２のカメラチャネルのフレームレート、露出時間、画素クロック（これは、画素値が取得されるレートを決定する）及びゲインのうちの少なくとも１つを変化させる。このシーケンスの各画像の少なくとも部分の（空間的な）平均輝度が決定され、平均輝度における周期的変動の大きさが、設定の各新しい値に関して決定される。少なくともスペクトルの範囲、特に低周波範囲に含まれる大きさが最も小さいような設定が、本方法における後続の使用のために選択される。少なくとも画像の一部の空間平均輝度を決定する代わりに、個別の画素の輝度変動が決定されることができる。デジタルカメラ２の設定を選択する効果は、本方法の残りが適用される画像のシーケンスからできるだけ可能な範囲において、周期的なバックグラウンド照明変動が無くなる点にある。

次のステップ１８において、画像のシーケンス１９がデジタルカメラ２から得られる。画像のシーケンス１９は、連続した時間点においてキャプチャされるシーンを表す。これは、規則的又は不規則な間隔とすることができる。

次のステップ２０において、画像１９は、非周期的バックグラウンド信号を除去するために処理される。このため、画像１９の一部又は全部の時間変化する平均輝度に対応する訂正信号が形成される。図示される実施形態において、画像１９の画素データは、訂正信号から相関分離される。非線形相互相関をキャンセルするアルゴリズム自体は、知られている。例えばカメラの運動補償のため、更なる画像処理が、このステップ２０で行われることができる。

次の２つのステップ２１、２２において、デジタル画像のシーケンス１９のうちの少なくとも１つに関して、画像セグメント化アルゴリズムが実行される。特に、体の一部、一般には顔を表す画像セグメント２３を検出するアルゴリズムが、これらのステップ２１、２２において実行される。適切なアルゴリズムは、Viola, P.及びJones, M. J.による「Robust real-time object detection」、Proc. of IEEE Workshop on statistical and computational theories of vision、13 July 2001において説明される。特定の形状及び／又は色（皮膚の色）を用いた認識セグメントに基づかれる他の適切なアルゴリズムが、知られており、このアルゴリズムの代わりに、又はこれに加えて用いられることができる。所望のタイプの体の一部に対応すると決定される１つ又は複数の、例えば全ての異なるセグメント２３が、画像のシーケンス１９を介して追跡される（ステップ２４）。即ち、画像１９に含まれる体の一部の運動を定量化するためシーケンス１９における画像を比較することにより、セグメント２３が配置される、即ち、その位置が決定される。適切な追跡アルゴリズムは、例えばDe Haanらによる「True-motion estimation with 3-D recursive search block matching」、IEEE Transactions on circuits and systems for video technology、 3(5)、October 1993、pp. 368-379から知られる。

続いて、各選択及び追跡されたセグメント２３に関して、画像セグメント２３内の測定ゾーン２５が選択される（ステップ２６）。このステップ２６は、類似する特性を持つと決定された隣接する部分のセットを決定するため複数の画像部分の画素データの空間解析を含む。各画像部分は、大きさにおいて１つ又は複数の画像点である。このステップ２６は、データ処理デバイス３により自動的に実行される。適切なアルゴリズムは、最小のグラジエント変動を持つ領域を検出するアルゴリズムである。この領域に属する画像部分は、測定ゾーン２５を形成するために選択される。図示される実施形態において、測定ゾーン２５の位置は、画像のシーケンス１９におけるキー画像の解析により決定される。体の一部に対応するセグメント２３に対するその位置が決定され、この位置は従って、画像のシーケンス１９を介して画像セグメント２３と共に追跡される。従って、測定ゾーンを形成するすべての画像点に対して、各画像のどの画素が、測定ゾーン２５の特定の画像点に対応するかが決定される。別の実施形態において、特定の画像点は放棄される。その結果、測定ゾーン２５におけるすべての画像点より少ない画素値の和が取られる。更に、輝度は、色要素の加重和又は１色の要素だけの値とすることができる。緑は、最も強い信号を持つことが分かった。

次に、各測定ゾーン２５に関して、測定ゾーン２５の画像点に対応する画素の時間変化する平均輝度を表す信号２８が生成される（ステップ２７）。シーケンス１９の各画像に対して、測定ゾーン２５に含まれると決定される画素の平均輝度が形成される。シーケンス１９の各画像が、時間における点を表すので、時間変化する（離散時間）信号２８がこうして得られる。図２の図示された実施形態において、１つの測定ゾーン２５が選択される。その結果、唯一の信号２８が生成される。体の一部に可能性として対応するより多くの画像セグメント２３があり、その結果、複数の測定ゾーン２５がある場合、複数の信号２８も存在することになる。

すると、測定ゾーン２５の画像点に対応する画素の時間変化する平均輝度における少なくとも変動を表す追加的な信号３０を生み出すよう、各第１の信号２８がその平均値に中心化される（ステップ２９）。変形例において、このステップ２９は、ステップ２０に代替的に含まれる訂正信号との相関分離も有する。異なる変形例において、このステップ２９は、フィルタリング動作、例えば信号の微分に対応するフィルタリング動作を有する。第１の信号のダイナミックレンジの１％のオーダーの変動を抽出する他の変形例も可能である。

その後、少なくとも注目する生体（一般に人間）に関する典型的な心拍値及び／又は呼吸数値を有することが知られる範囲において、信号３０のスペクトルの１つ又は複数の局所最大を決定するため、基本的な信号処理技術が用いられる（ステップ３１）。

ある実施態様において、基準値の周りの所定の間隔内でマッチするかどうかを決定するため、局所最大の周波数は、メモリ６に格納される基準値と比較される（ステップ３２）。これは、各第２の信号３０に対して実行される。

図１のシステムにおいて、図２の方法のこの実施形態の第１の適用をすることは、生体、特に人間の存在を検出することを含む。このため、少なくとも１人の人間の存在を検出することに基づき機能を実行する１つ又は複数の周辺デバイスを制御するために、周期的な生理的現象の周波数に対応するスペクトルにおける少なくとも１つのピークの存在が検出されるかどうかを表す出力が使用される。人間が存在する場合、例えば、ビデオ表示システム８及びアンビエントシステムは機能し続けることができる。存在しない場合、これら、スイッチオフにされるか、スタンバイ機能へと切り替えられる。こうして、この用途は、省エネルギー型デバイスにおける用途である。同様な用途は、家及びオフィスにおけるインテリジェント照明システムである。自動的な画像解析を用いる生体の検出は、例えばペットによる誤警報に対してあまり感度が良くない。

同様な用途は、例えば生体認証スキャンデバイス１３を含むシステムといった条件付きアクセスシステムを制御することである。ある実施形態において、これは、指紋スキャナとすることができる。生体の検出を用いて、例えば、人の指のろう鋳造物が条件付きアクセスシステムを騙すために用いられることができないことが確実にされる。（人の虹彩又は顔のスキャンのために）カメラ２だけを用いる条件付きアクセスシステムは、人が実際にカメラレンズの前にいると決定するために、図２の方法の追加的な使用から利益を得ることもできる。

代替的に又は追加的に、図２の方法は、バイオフィードバックをユーザに提供するために用いられる。より詳細には、少なくともアンビエントシステムは、この方法の最後のステップ３１において決定される周波数に基づき、その出力を適合させるよう構成される。例えば、照明ユニット１０、１１、１２により放出される光の色又は強度は、心拍に基づき変化されることができる。このために、図２の方法は、データ処理デバイス３により得られる最後のＮ個のデジタル画像を有するシーケンスに関して、リアルタイムに実行される。Ｎは、画像キャプチャレートに依存し、平均的な人間の少なくとも２つの心拍をカバーするのに十分長い時間間隔、例えば長さ少なくとも４秒にわたるシーケンスを覆うよう、画像キャプチャレートに基づき選択される。この用途において、スペクトルにおける局所最大での周波数の値は、個別の観察の心拍数及び／又は呼吸数に基づき、照明ユニット１０、１１、１２の出力及び／又はビデオ表示システム８の出力を適合させるアルゴリズムへの入力として用いられる。

図２の方法の変形例において、複数の測定ゾーン２５が選択され、複数の平均信号３０が確立される場合、比較ステップ３２は、複数の比較を有することができる。特に、生体に対応しない測定ゾーン２５を除去すると、何人の人が存在するかを決定するため、異なる測定ゾーン２５に関する局所最大の周波数の間で比較が行われることができる。

ある実施態様において、この情報は、異なった生体に対応するセグメントに画像１９をセグメント化するために用いられる。

別の実施形態では、この情報は、複数の個人の現在の心拍数及び／又は呼吸数を決定するために用いられる。アンビエントシステムを用いて提供されるフィードバックは、その後複数のユーザの心拍数に依存するようにされる。それは、空間的にターゲット化され、空間ターゲットにより差別化されることもできる。空間ターゲットに対応する各測定ゾーン２５に対して、アンビエントシステム及び／又はビデオ表示システム８の出力は、関連付けられる信号３０のスペクトルにおける局所最大の周波数の値に基づき適合される。

図３は、特に生体認証スキャンデバイス１３と共に用いられる代替的な方法を示す。

この方法も、デジタルカメラ２に関する適切な設定を決定する初期化フェーズ３３で始まる。デジタル画像のシーケンスがキャプチャされる間、データ処理デバイス３は、デジタルカメラ２のフレームレート及び露出時間のうちの少なくとも１つを変化させる。シーケンスの各画像の少なくとも一部の（空間的な）平均輝度が決定され、平均輝度における周期的変動の大きさが、この設定の各新しい値に対して決定される。少なくともスペクトルの範囲、特に低周波範囲内の大きさが最小であるような設定が、この方法における後続の使用のために選択される。画像の少なくとも一部の空間平均輝度を決定する代わりに、個別の画素の輝度変動が決定されることができる。

初期化フェーズ３３の後、時間における連続点でのシーケンス３４が得られる（ステップ３５）。画像のシーケンス３４は、時間における連続点でキャプチャされるシーンを表す。これは、規則的又は不規則な間隔とすることができる。このシーンは、生体認証スキャンデバイス１３に対するユーザの証明書を提示する人を含む。

次のステップ３６において、画像３４は、非周期的バックグラウンド信号を除去するため処理される。このために、画像３４の一部又は全部の時間変化する平均輝度に対応する訂正信号が形成される。図示される実施形態において、画像３４の画素データはその後、訂正信号から相関分離させられる。例えばカメラの運動を補償するため、追加的な画像処理がこのステップ３６で行われることができる。

図２の方法のような形状及び／又は色認識に基づかれる画像セグメント化方法を適用する代わりに、各々の画像３４に対してグリッドが置かれる（ステップ３７）。このグリッドは、複数の測定ゾーン又は電位測定ゾーンへと各画像を分割する。各測定ゾーンは、複数の画像点、即ち複数の画素位置を含む。

その後、少なくとも１つ、しかし一般にはすべての測定ゾーンが選択される（ステップ３８）。各測定ゾーンに関して、その測定ゾーンの画像点に対応する画像３４における画素の輝度値の時間変化する空間平均に対応する個別の信号３９ａ〜ｎが、確立される。

各第１の信号３９ａ〜ｎは、関連付けられる測定ゾーンの画像点に対応する画素の時間変化する平均輝度を表す追加的な信号４１ａ〜ｎを得るため、その測定ゾーンにおける変動を好適に観測するため、その平均値に関して中心化される（ステップ４０）。変形例において、このステップ４０も、ステップ３６に代替的に含まれる訂正信号との相関分離を有する。異なる変形例において、このステップ４０は、フィルタリング動作、例えば信号の微分に対応するフィルタリング動作を有する。第１の信号のダイナミックレンジの１％のオーダーで変動を抽出する他の変形例も可能である。

信号４１ａ〜ｎのスペクトルが特定の範囲内で局所最大を持つ周波数が、その後決定される（ステップ４２）。これは、平均的な個人の心拍数又は呼吸数を表す格納された基準値と比較される（ステップ４３）。

同時に、生体認証スキャンデバイス１３は、画像において人の識別を確認するための認証データを得るよう作動される（ステップ４４）。

関連付けられる測定ゾーンの画像点に対応する画像における画素の輝度値の時間変化する空間平均における少なくとも変動を表す第２の信号４１ａ〜ｎの少なくとも１つが、特定の精度で基準周波数にマッチする周波数において局所最大を伴うスペクトルを持ち、認証データが格納されたデータにマッチする場合にのみ、システム１に対するアクセスが可能にされる（ステップ４５）。そうでなければ、システム１の使用は拒否される（ステップ４６）。

図３の方法の変形例において、認証ステップ４４は省略される。この変形例は、少なくとも１つの生体又は特定の種類の生体の存在の検出を条件に、ある機能が実行される一般的な方法である。例えば、照明ユニット１０〜１２は、生体又は人間が検出されるかどうかに基づき、オン／オフに切り替えられることができる。別の例として、年を取るにつれ、平均心拍数が変化することが知られている。従って、ペアレンタルコントロール機能は、システム１を用いようとしているのが大人か子供かを決定するため、大人の典型的な値との比較を用いることができる（ステップ３２）。

図４Ａ及び図４Ｂは、システム１の機能を制御する追加的な方法を示す。この機能は、画像セグメント化機能、又はアンビエントシステム及びビデオ表示システム８のうちの少なくとも１つを用いて知覚可能な出力をレンダリングする機能とすることができる。

この方法はここでも、デジタルカメラ２に関する適切な設定を決定する初期化フェーズ４７で始まる。デジタル画像のシーケンスがキャプチャされる間、データ処理デバイス３は、デジタルカメラ２のフレームレート及び露出時間の少なくとも１つを変化させる。シーケンスの各画像の少なくとも一部の（空間的な）平均輝度が決定され、平均輝度における周期的変動の大きさが、この設定の各新しい値に対して決定される。少なくともスペクトルの範囲、特に低周波範囲内の大きさが最小であるような設定が、この方法における後続の使用のために選択される。画像の少なくとも一部の空間平均輝度を決定する代わりに、個別の画素の輝度変動が決定されることができる。

初期化フェーズ４７の後、時間における連続点で撮られる画像のシーケンス４８が得られる（ステップ４９）。画像のシーケンス４８は、時間における連続点でキャプチャされるシーンを表す。これは、規則的又は不規則な間隔とすることができる。シーンは一般に、複数の人間を含む。

次のステップ５０において、画像４８は、非周期的バックグラウンド信号を除去するため処理される。このために、画像４８の一部又は全部の時間変化する平均輝度に対応する訂正信号が形成される。図示される実施形態において、画像４８の画素データはその後、訂正信号から相関分離させられる。例えばカメラの運動を補償するため、追加的な画像処理がこのステップ５０で行われることができる。

図３の方法のように、各々の画像４８に対してグリッドが置かれる（ステップ５１）。このグリッドは、複数の測定ゾーン又は電位測定ゾーンへと各画像を分割する。各測定ゾーンは、複数の画像点、即ち複数の画素位置を含む。

その後、すべての測定ゾーンが選択される（ステップ５２）。各測定ゾーンに関して、画像点に対応する画像４８における画素の輝度値の時間変化する空間平均に対応する個別の信号５３ａ〜ｎが、確立される。

各第１の信号５３ａ〜ｎは、関連付けられる測定ゾーンの画像点に対応する画素の時間変化する平均輝度における少なくとも変動を表す追加的な信号５５ａ〜ｎを得るため、その平均値に関して中心化される（ステップ５４）。変形例において、このステップ５４も、ステップ５０に代替的に含まれる訂正信号との相関分離を有する。異なる変形例において、このステップ５４は、フィルタリング動作、例えば信号の微分に対応するフィルタリング動作を有する。第１の信号のダイナミックレンジの１％のオーダーで変動を抽出する他の変形例も可能である。

信号５５ａ〜ｎのスペクトルが特定の範囲内で局所最大を持つ周波数が、その後決定される（ステップ５６）。これらは、周波数に基づき画像４８をセグメント化するため、その後互いに比較される（ステップ５７）。言い換えると、それらが隣接する場合、少なくとも特定の精度で共通の周波数において局所最大を持つ信号５５に関連付けられる測定ゾーンが、一緒にクラスター化される。

結果は、関連付けられる周波数値及び位置情報を持つ画像セグメントのテーブル５８である。

間隔を置いて配置されるセグメントが、実質的に同じ周波数値に関連付けられることが起こりうる。その場合、そのセグメントにおける測定ゾーンに関連付けられる追加的な信号５５ａ〜ｎの少なくとも１つの位相が決定される（ステップ５９）。少なくとも、共通の周波数において局所最大を伴うスペクトルを持つ追加的な信号５５ａ〜ｎに関連付けられる測定ゾーンが、位相に基づきクラスター化される（ステップ６０）。これは、信号の少なくとも特定の周波数要素が、特定の所定の精度で互いに同相にあるかを決定することを伴う。一般に、位相比較は、以前に決定された支配的な周波数に対応する周波数要素に関して実行されることになる（ステップ５６）。

効率さのため、測定ゾーンに関して得られる信号が共通の周波数において個別の局所最大を伴うスペクトルを持つ場合にのみ、測定ゾーンの信号の少なくとも特定の周波数要素が、追加的な測定ゾーンの信号の同じ周波数要素と同相にあるかどうかの決定が実行される。別の実施形態において、しかしながら、画像４８により覆われる全体の領域の位相マップが製作される。

図４Ｂは、同じ基本的な方法の２つの代替的な用途を示す。この方法の第１の用途は、画像セグメント化である。第２の用途は、ユーザの心理物理的状態に環境条件を適合させるシステムである。

画像セグメント化方法において、クラスタリングステップ６０又はステップ５７で得られるセグメントを特定する画像セグメントデータが、データ処理デバイス３により出力される。人の画像がいつもと違う角度でキャプチャされるか又は広角レンズの使用により歪められるときでも、この方法は、人の顔に対応する画像セグメントを出力することが可能である。こうして、この方法は、純粋に特定の形状又は色の認識に基づかれるものより安定している。更に、現実の人に対応する画像セグメントだけが得られる。この方法は、人と、例えば画像、図面又はマネキンといった人の複製との間を識別することができる。輝度変動がすべての皮膚色に関して発生するので、この方法は人種とは関係がない。

第２の用途は、ある環境６２、例えば部屋（図５を参照）においてクラスタリングステップ６０、５７を用いて検出される生体を位置決めすることを含む。この部屋には、カメラ２、照明ユニット１０〜１２及びビデオ表示システム８が配置される。図５の例において、第１の領域６３は、１人の人の位置に対応し、第２の領域６４は、第２の人の位置に対応する。

コントローラ９及び従って照明ユニット１０〜１２は、ターゲットが領域６３，６４の１つに対応すると決定されるかどうかに基づき、空間ターゲットにより区別される空間的にターゲットとされた出力を提供するよう制御される（ステップ６６）。より詳細には、領域６３、６４に存在すると決定された個人の心拍数及び／又は呼吸数に基づき、出力が適合される。こうして、第１の領域６３に向けられる光が、第２の領域６４に向けられる光とは異なる特性を持つことができる。差は、光、輝度、照明変動のダイナミクス等の任意の１つを含むことができる。

同様に、ビデオ表示システム８の出力も適合されることができる。特に、ビデオ表示システム８が３次元撮像システムを有するとき、深さ及び表示コーンが、例えば心拍数に基づき見ている人に適合されることができる。適合されることができる他の変数は、ディスプレイのカラー深度、コントラスト及び同様な側面を含む。ディスプレイがターゲット化される人の心拍数及び／又は呼吸数に基づき情報コンテンツを変化させることも可能である。図４Ａ及び図４Ｂの方法を用いて、システム１は、どれくらい多くの異なった領域６３，６４が存在するかを決定することができる。その領域に向けて、差別化され、個人化された出力がターゲット化される。

上述された実施形態は本発明を説明するものであって、限定するものではなく、当業者であれば、添付された請求項の範囲から逸脱することなく、多くの代替的な実施形態をデザインすることができることになることに留意されたい。請求項において、括弧内に配置されるいかなる参照符号も請求項を限定するものとして解釈されるべきではない。「有する」という語は、請求項に記載される以外の要素又はステップの存在を除外するものではない。ある要素に先行する「ａ」又は「ａｎ」という語は、斯かる要素が複数存在することを除外するものではない。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。

本書において概説される方法は、画素データの単一の色要素又は２つ若しくはこれ以上の色要素（例えば、レッド、グリーン、及びブルー、又はシアン、マゼンタ、イエロー及びブラック）の加重和に関して実行されることができる。

Claims (11)

1. デバイスの機能を制御する方法において、
   時間的に連続するデジタル画像のシーケンスを得るステップと、
   前記デジタル画像中の少なくとも１つの測定ゾーンを選択するステップであって、前記少なくとも１つの測定ゾーンは、複数の画像点を含む、ステップと、
   各測定ゾーンに対して、
   前記複数の画像点に対応する複数の画素値の組合せの時間的に変化する値の変動を表す信号を得るステップと、
   前記信号のスペクトルの関心範囲内における前記信号の比較データに対する特性を決定するステップであって、前記比較データは、他の測定ゾーンの複数の画像点に対応する複数の画素値の組合せの時間的に変化する値の変動を表す信号に基づいている、ステップとを有し、
   前記決定するステップが、
   （ｉ）前記信号が、特定の精度で前記比較データの周波数とマッチする周波数において局所最大を伴うスペクトルを持つかどうかを決定するステップ、及び
   （ｉｉ）前記信号の特定の周波数成分が、特定の精度で前記比較データと同相にあるかどうかを決定するステップ、のうち少なくとも１つを有し、
   当該方法は、
   前記の決定がポジティブかどうかに依存して、前記機能を制御するステップを有する、方法。
2. 前記他の測定ゾーンは、前記デジタル画像に対して置かれるグリッドにおける複数の測定ゾーンの１つである、請求項１に記載の方法。
3. 前記信号の特定の周波数要素が、特定の精度で比較データと同相にあるかどうかを決定するステップが、前記測定ゾーンと、該測定ゾーンから離れて置かれる少なくとも１つの他の測定ゾーンとに関して得られる前記信号が、特定の精度で、前記測定ゾーンと前記他の測定ゾーンとに対する共通の周波数において個別の局所最大を伴うスペクトルを持つ場合に実行される、請求項１に記載の方法。
4. 前記デバイスが、知覚可能な出力を提供する少なくとも１つのデバイスを含み、
   前記方法は、ターゲットに対応する測定ゾーンに関してなされる決定がポジティブであるかどうかに基づき、空間ターゲットにより識別される空間的にターゲット化された出力を提供するよう前記デバイスを制御するステップを含む、請求項１に記載の方法。
5. ターゲットに対応する少なくとも１つの測定ゾーンに関して、前記知覚可能な出力が、前記局所最大の周波数の値に基づき適合される、請求項４に記載の方法。
6. 少なくとも１つのデバイスが、前記決定がポジティブかどうかに基づき有効にされる、請求項１に記載の方法。
7. 前記デジタル画像のシーケンスが、初期化フェーズ終了後にカメラによりキャプチャされるよう構成され、前記初期化フェーズが、
   カメラ設定が変化される間、前記カメラにより取得される画像の少なくとも一部における周期的強度変動を測定するステップと、
   測定された周期的強度変動が最小であると決定される前記カメラ設定の値を選択するステップとを含む、請求項１に記載の方法。
8. 測定ゾーン以外の画像部分における少なくとも複数の画像点での画素値の組合せの時間変化する値に対応する訂正信号を決定するステップと、
   各測定ゾーンに関して、少なくとも前記測定ゾーンにおける前記画像の前記画素データと、前記測定ゾーンにおける少なくとも複数の前記画像点での画素値の組合せの前記時間変化する値との少なくとも１つを前記訂正信号から相関分離させるステップとを含む、請求項１に記載の方法。
9. 生体の存在を検出するシステムが、
   時間的に連続するデジタル画像のシーケンスを得るインタフェースと、
   画像データ処理システムとを含み、
   前記画像データ処理システムが、
   前記デジタル画像中の、複数の画像点を含む少なくとも１つの測定ゾーンを選択し、
   各測定ゾーンに対して、
   前記複数の画像点に対応する複数の画素値の組合せの時間的に変化する値の変動を表す信号を取得し、
   前記信号のスペクトルの関心範囲内における前記信号の比較データに対する特性を決定し、前記比較データは、他の測定ゾーンの複数の画像点に対応する複数の画素値の組合せの時間的に変化する値の変動を表す信号に基づいており、前記の決定が、
   （ｉ）前記信号が、特定の精度で前記比較データの周波数とマッチする周波数において局所最大を伴うスペクトルを持つかどうかを決定すること、及び
   （ｉｉ）前記信号の特定の周波数成分が、特定の精度で前記比較データと同相にあるかどうかを決定すること、のうち少なくとも１つを有し、
   前記の決定がポジティブかどうかに依存にして、出力を適合させる、システム。
10. 前記画像データ処理システムが、請求項１乃至１０のいずれか一項に記載の方法を実行するよう構成される、請求項９に記載のシステム。
11. 機械読み取り可読媒体に組み込まれるとき、情報処理能力を持つシステムに、請求項１乃至８のいずれか一項に記載の方法を実行させる命令セットを含むコンピュータプログラム。

Images