JP5991041B2 - 仮想タッチスクリーンシステム及び双方向モード自動切換方法 - Google Patents

Description

本発明は、マンマシンインタラクション分野およびデジタル画像処理分野に関し、特に、仮想タッチスクリーンシステム及び双方向モード自動切換方法に関する。

現在、タッチスクリーン技術は、ＨＭＩ装置となる携帯装置（例えば、スマートフォン）及びＰＣ（例えば、タブレットＰＣ）に幅広く利用されている。タッチスクリーンを用いることで、ユーザの該装置への操作がより快適かつ容易になるとともに、優れた体験をユーザにもたらすことが可能になる。タッチスクリーン技術は、携帯装置においては非常に成功しているものの、大型ディスプレイのタッチスクリーンにおいては、依然として課題と改善のチャンスが残されている。

Canesta, Incの、発明の名称が「System and Method for Determining an Input Selected By a User through a Virtual Interface」である米国特許US7151530B2には、１グループのキー値から、現在のキー値と指定されたキー値を選択する方法が提案されており、これにより、仮想インタフェース中の領域と交差する対象の提供が可能となる。該仮想インタフェースは、キー値グループからの単一キー値の選択が可能になるとともに、デプス（depth）センサーによる位置決めが可能になる。なお、該デプスセンサーは、デプスセンサーの位置に関連する位置の深度を決定することができる。なお、対象の変位特性や対象の形状特性の少なくともいずれかを決定することができる。位置情報は、対象の位置センサーや他の基準点に対する深さで近似することができる。カメラの画素配列に十分な数の画素指示対象が存在していると、該対象は検知されたと考えられている。また、仮想入力領域の表面と交差する対象の形状を決定するとともに、複数の既知の形状（たとえば、指やポインティング手段）との比較を行っている。

同様に、Canesta, Incの、発明の名称が「Quasi-Three-Dimensional Method And Apparatus To Detect And Localize Interaction Of User-Object And Virtual Transfer Device」である米国特許US6710770B2には、仮想装置による付属装置への情報入力または転送システムが開示され、該システムは、ＯＳ１とＯＳ２の二つの光学システムが設けられている。一実施例において、ＯＳ１は、仮想装置上に、かつ該仮想装置と平行に、扇ビーム面の光エネルギーを出射し、ＯＳ２は、ユーザ対象が関心ビーム面を通ると、該イベントを記録している。三角測量方法は、仮想タッチの位置決めが可能になるとともに、ユーザの所定情報を付属システムへ転送することが可能になる。他の実施例において、ＯＳ１は、好ましくはデジタルカメラであり、該デジタルカメラの視野によって、光エネルギー源により照射される関心面が定義される。

Apple社の、発明の名称が「identifying contacts on a touch surface」である米国特許US7619618B2には、手の接近、接触接近によるマルチタッチ面の感知や、スライド時の複数の指と掌のコンタクトポイントの同時追跡装置及び方法が開示されている。直観的な手の構造、動作の検知及び分類により、マルチ用途の人間工学コンピュータ出力装置における入力、静止、ポインティング、スクロール、３Ｄ操作のような操作が可能になる。

Matsushita Electric社の、発明の名称が「Multi-touch surface providing detection and tracking of multiple touch points」である、米国特許出願第US20100073318Ａ1号明細書には、直交線形許容センサーの２つの独立した配列によるマルチタッチポイントの検知及び追跡が可能なマルチタッチ感知面用のシステム及び方法が開示されている。

前述の従来技術においては、大多数の大型タッチスクリーンが、電磁ボード（例えば、電子ホワイトボード）や、IR board（例えば、双方向の大型ディスプレイ）等に依存しており、当面の大型タッチスクリーンの解決手段には、依然として多くの問題点がある。例えば、全体的に、このような種別の装置は、通常、ハードウェアに起因するボリューム増と重さから、携帯が困難で、利便性に欠けている。さらに、このような種別の装置のスクリーンは、ハードウェアの制限からサイズが固定され、環境の需要に応じた自由な調整ができず、さらに、特殊な電磁ペンやＩＲペンによる操作が必要となる。

また、仮想ホワイトボードプロジェクタにおいては、ユーザによるレーザペンのオン/オフのスイッチ制御が必要となり、非常に煩わしい作業であるため、レーザペンの制御が困難であるという問題点がある。なお、このような仮想ホワイトボードプロジェクタにおいては、レーザペンがオフになると、レーザペンの次の位置への正確な位置決めが困難であるため、レーザペンの位置決めが容易ではないという問題点がある。仮想ホワイトボードプロジェクタに、手指マウスをレーザペンの代わりに用いるものもあるが、手指マウスを用いる仮想ホワイトボードプロジェクタでは、タッチオン（touch on）や、タッチアップ（touch up）の検知ができない。

本発明の目的は、前述の従来技術における問題を解決するためになされたものであり、仮想タッチスクリーンシステム及び双方向モードの自動切換方法を提供することにある。

本発明の一局面においては、画像を投影面に投射し、前記投影面の環境の画像を連続取得し、得られた各画像から、前記投影面前の所定間隔内に位置する少なくとも１つの対象の候補ブロブを検知し、前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に入れる、仮想タッチスクリーンシステムにおける双方向モードの自動切換方法であって、前記投影面前の所定間隔内に位置する少なくとも１つの対象の候補ブロブを検知するステップにおいて、さらに、前記少なくとも１つの対象の候補ブロブ中の特定画素点の深度値を検索し、前記深度値が第１の間隔閾値未満かを判断し、前記深度値が第１の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第１の動作モード状態であると決定し、前記深度値が第１の間隔閾値を越えたか、かつ第２の間隔閾値未満かを判断し、前記深度値が第１の間隔閾値を越え、かつ第２の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第２の動作モード状態であると決定し、前記深度値と、第１の間隔閾値及び第２の間隔閾値との関係から、前記仮想タッチスクリーンシステムの第１の動作モードと第２の動作モード間の自動切換が行われる、仮想タッチスクリーンシステムにおける双方向モードの自動切換方法が提供される。

前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記第１の動作モードが、タッチモードであり、前記タッチモードにおいて、ユーザの仮想タッチスクリーン上のタッチ動作が行われ、前記第２の動作モードが、ジェスチャーモードであり、前記ジェスチャーモードにおいて、仮想タッチスクリーンにユーザの手が触れることなく、仮想タッチスクリーンから一定間隔範囲内のジェスチャー動作が行われる。

前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記第１の間隔閾値が、１ｃｍである。

前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記第２の間隔閾値が、２０ｃｍである。

前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記少なくとも１つの対象の候補ブロブ中の特定画素点が、前記少なくとも１つの対象の候補ブロブにおける深度値が最も深い画素点である。

前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記少なくとも１つの対象の候補ブロブ中の特定画素点の深度値が、前記少なくとも１つの対象の候補ブロブにおける、深度値が他の画素点の深度値よりも大きい画像点の深度値であり、又は、深度値の分布が他の画素点の深度値の分布よりも密集している１グループの画素点の深度値の平均値である。

前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、１画素の深度値が最小間隔閾値を超えたかを判断し、前記深度値が該最小間隔閾値を越えた場合は、前記画素が前記投影面前の所定間隔内に位置する少なくとも１つの対象の候補ブロブの画素であると決定する。

前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、１画素の深度値がある連通域に属しているか否かを判断し、前記深度値がある連通域に属している場合は、前記画素が前記投影面前の所定間隔内に位置する少なくとも１つの対象の候補ブロブの画素であると決定する。

本発明の他の局面においては、画像を投影面に投射するプロジェクタと、前記投影面の環境の画像を連続取得するデプスカメラと、デプスカメラから、初期状態で得られた深度情報により、初期深度図を構築し、前記初期深度図により、前記タッチ動作領域の位置を決定する深度図処理装置と、デプスカメラから、初期状態後に連続に得られた各画像から、決定したタッチ動作領域前の所定間隔内に位置する少なくとも１つの対象の候補ブロブを検知する対象検知装置と、前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に入れる追跡装置と、を有する仮想タッチスクリーンシステムにおける双方向モードの自動切換システムであって、前記深度図処理装置は、前記初期深度図における連通成分を検知・マークし、前記検知・マークした連通成分に、前記初期深度図の2本の対角線の交点が含まれているか否かを判定し、前記検知・マークした連通成分に、前記初期深度図の2本の対角線の交点が含まれている場合は、前記初期深度図の対角線と、検知・マークした連通成分との交点を計算し、算出された交点を順次接続するとともに、接続して得られた凸多角形を前記タッチ動作領域とする工程により、前記タッチ動作領域の位置を決定し、前記対象検知装置は、前記少なくとも１つの対象の候補ブロブ中の特定画素点の深度値を検索し、前記深度値が第１の間隔閾値未満かを判断し、前記深度値が第１の間隔閾値未満であると、仮想タッチスクリーンシステムが第１の動作モード状態であると決定し、前記深度値が第１の間隔閾値を越えたか、かつ第２の間隔閾値未満かを判断し、前記深度値が第１の間隔閾値を越え、かつ第２の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第２の動作モード状態であると決定し、前記深度値と、第１の間隔閾値及び第２の間隔閾値との関係から、前記仮想タッチスクリーンシステムの第１の動作モードと第２の動作モード間の自動切換が行われる、仮想タッチスクリーンシステムにおける双方向モードの自動切換システムが提供される。

本発明の実施例における仮想タッチスクリーンシステム及び双方向モードの自動切換方法によると、ユーザの手と仮想タッチスクリーンの間隔に基づいて動作モードの自動切換を行うことで、ユーザの利便性を向上することができる。

本発明の実施例における仮想タッチスクリーンシステムの構成図である。 本発明の実施例における、制御手段による対象検知と対象追跡処理の全体フローチャートである。 現在深度図から背景深度図を消去した図である。 現在深度図から背景深度図を消去した図である。 現在深度図から背景深度図を消去した図である。 入力された現シーンの深度図への２値化処理による候補対象のブロブ取得を示した図である。 入力された現シーンの深度図への２値化処理による候補対象のブロブ取得を示した図である。 本発明の実施例における仮想タッチスクリーンシステムの一種類の動作モードを示した図である。 本発明の実施例における仮想タッチスクリーンシステムの他の種類の動作モードを示した図である。 ブロブへの付番のための連通域を示す図である。 深度図から生成される連通域番号が付されたブロブの２値画像を示す図である。 ブロブの２値画像の強調工程を示す図である。 ブロブの２値画像の強調工程を示す図である。 ブロブの２値画像の強調工程を示す図である。 ブロブの２値画像の強調工程を示す図である。 図７Ｄに示されたブロブの２値化画像におけるブロブ重心点の座標検知工程を示す図である。 ユーザの手指やポインターによる仮想タッチスクリーン上の運動軌跡を示す図である。 検知した対象への追跡フローチャートである。 本発明の実施例における、すべての既存軌跡の各既存軌跡に最も接近する新規ブロブを検索するフローチャートである。 入力された既存の軌跡に対し、それに最も接近する新規ブロブを検索するフローチャートである。 本発明の実施例により得られる検知対象の仮想タッチスクリーン上の移動軌跡の点配列への平滑処理方法を示す図である。 本発明の実施例により得られる検知対象の仮想タッチスクリーン上の移動軌跡を示す図である。 平滑処理後の対象移動軌跡を示す図である。 制御手段の詳細配置図である。

以下、図面を参照しながら、本発明の具体的な実施例を詳細に説明する。

図１は、本発明の実施例における仮想タッチスクリーンシステムの構成図である。図１に示されたように、本発明の実施例における仮想タッチスクリーンシステムは、投影装置１と、光学装置２と、制御手段３と、投影面４（以下、投影スクリーンや、仮想スクリーンと称することがある）を有している。本発明の具体的な実施例において、投影装置は、プロジェクタであり、表示すべき画像を投影面４に投射して仮想スクリーンとすることで、ユーザの仮想スクリーン上の操作が可能になる。光学装置２は、例えば、デプスカメラ（depth camera）のような、画像を取得可能な任意の装置であり、投影面４の環境の深度情報を取得し、該深度情報から深度図を生成している。制御手段３は、前記投影面４から離隔する方向に、前記投影面４から所定間隔内の少なくとも１対象を検知するとともに、検知した対象を追跡し、平滑な点配列を生成している。前記点配列は、例えば、仮想スクリーン上の描画、インタラクション指令の組み合わせ等のさらなるインタラクションジョブに用いられる。

投影装置１は、画像を投影面４に投射して仮想スクリーンとすることで、ユーザの該仮想スクリーン上の操作、たとえば、描画やインタラクション指令の組み合わせ等が可能になる。光学装置２は、投影面４と、その前方に位置する対象（例えば、該投影面４をタッチするユーザの指やポインター）とが含まれる環境を取得している。該光学装置２は、投影面４の環境の深度情報を取得するとともに、該深度情報から深度図を生成している。所謂深度図とは、デプスカメラによりカメラレンズ前の環境を撮影し、撮影された環境における各画素点のデプスカメラまでの間隔を計算し、例えば、１６ビットの数値を用いて、各画素点で表される被写体のデプスカメラまでの間隔を記録することにより、これらの各画素点に付された間隔を示す１６ビット数値から形成された、各画素点のカメラまでの間隔を表した図である。その後、深度図は制御手段３に転送され、制御手段３により、前記投影面４から離隔する方向に沿って、前記投影面４から所定間隔内の少なくとも１つの対象が検知される。該対象が検知されると、該対象の投影面４上のタッチ操作が追跡され、タッチ点配列が形成される。次に、制御手段３により、形成されたタッチ点配列への平滑処理が行われることで、該仮想インタラクションスクリーン上の描画機能が実現可能になる。なお、このようなタッチ点配列が、組み合わせられることでインタラクション指令が生成され、これにより、仮想タッチスクリーンのインタラクション機能が実現可能になり、最終的に仮想タッチスクリーンを、生成されたインタラクション指令に応じて変えられる。本発明は、さらに、他の通常のカメラ及び他の通常の前景対象検知システムを用いて実施することができる。本発明の追跡方法への理解の便宜を図るために、以下、先ず、前景対象への検知工程を説明するが、該検知工程は、複数対象追跡の実現に必要な実施手段ではなく、単に複数対象の追跡の前提となる。換言すると、対象の検知は、対象追跡の内容に含まれるものではない。

図１５は、制御手段３の詳細配置図である。前記制御手段３は、通常、深度図処理手段３１と、対象検知手段３２と、画像強調手段３３と、座標計算・変換手段３４と、追跡手段３５と、平滑手段３６とを備えている。深度図処理手段３１は、先ず、デプスカメラのからの取得された深度図を入力とするとともに、背景を該深度図から除去するように、該深度図を処理し、その後、該深度図上の連通域の付番を行っている。対象検知手段３２は、前記深度図処理手段３１からの前記深度図の深度情報から、所定の２つの深度閾値を用いて仮想タッチスクリーンシステムの動作モードを判定し、仮想タッチスクリーンシステムの動作モードが判定されると、該判定された動作モードに対応する深度閾値により、深度図への２値化処理を行い、候補対象となる複数のブロブを形成し、その後、各ブロブと連通域の関係及びブロブ面積の大きさから、対象となるブロブを決定する。座標計算・変換手段３４は、対象と決定されたブロブの重心点（幾何学的な重心点）座標を計算するとともに、重心点座標を目標座標系である仮想インタラクションスクリーンの座標系に変換する。追跡手段３５及び平滑手段３６は、連続撮影された複数フレーム画像から検知された複数のブロブを追跡し、複数の重心点変換後の座標点配列を生成するとともに、生成された座標点配列に平滑処理を施す。

図２は、本発明の制御手段３による処理のフローチャートである。図２に示されたように、ステップＳ２１において、深度図処理手段３１は、デプスカメラ２から得られた深度図を受信し、該深度図は下記方法で得られる。即ち、デプスカメラ２により現環境の画像を撮影するとともに、撮影時に各画素点のデプスカメラまでの間隔を測定し、１６ビット（実際の需要に応じて、８ビットあるいは３２ビット）値で記録した深度情報からなり、これらの各画素の１６ビットの深度値で前記深度図が構成されている。以降の処理のために、現シーンの深度図の取得前に、投影スクリーン前に何ら非検知対象も存在しない背景深度図を予め取得する。次に、ステップＳ２２において、深度図処理手段３１は、該深度図から背景を除去し、前景対象の深度情報のみ保留するように、受信した深度図を処理するとともに、保留された深度図における連通域への番号付けを行う。

図３Ａ〜図３Ｃは、現深度図から背景深度図を消去した図である。図示された１６ビット数値で表示した深度図は、説明の便宜を図るためのもので、本発明の実施工程で必ず表示しなければならないものではない。図３Ａは、背景の深度図の実例を示した図であり、図示された深度図は、背景深度図のみで、即ち、投影面の深度図のみであり、何ら前景物（即ち、対象）の深度画像は含まれていない。背景の深度図の取得方法としては、本発明の実施例における仮想タッチスクリーンシステムで仮想タッチスクリーン機能を実施する方法の初期段階で、先ず、光学装置２から現シーンの深度図を取得するとともに、該深度図の瞬時図を保存することで、背景の深度図が得られる。該背景の深度図の取得時、現シーンにおいて、投影面４の前方（光学装置２と投影面４の間）には投影面４をタッチする動態対象が存在してはならない。背景の深度図の他の取得方法としては、瞬時的な写真を使用することなく、一連の連続した瞬時写真から、平均的な背景深度図を生成するようにする。

図３Ｂは、現シーンの取得された深度図の一実例であり、１つの対象（例えば、ユーザの手やポインター）による投影面へのタッチが示されている。

図３Ｃは、背景が除去された深度図の実例である。背景深度の除去方法としては、現シーンの深度図から、背景の深度図を引き去る方法や、現シーンの深度図をスキャンするとともに該深度図の各点と背景深度図における対応点の深度値比較を行う方法がある。これらの対をなす画素点の深度差の絶対値が近似し、かつ所定の閾値内であると、現シーンにおける深度差の絶対値に近似している対応点を現シーンの深度図から除去し、逆の場合は、該対応点を保留し、何ら変更も加えないようにする。次に、背景深度図除去後の現深度図における連通域への付番を行う。本発明における前記連通域とは、このような領域である。即ち、デプスカメラから２つの３Ｄ点が撮影されたとし、これらの点の投影がＸＹ平面（撮影された写真）上で隣接し、かつ深度値差が所定の閾値Ｄ未満であると、これらは「Ｄ−連通」されているとされる。１グループの３Ｄ点における任意の２点間にＤ−連通路があると、該グループの３Ｄ点は、Ｄ−連通されているとされる。１グループのＤ−連通された３Ｄ点における各点Ｐについては、ＸＹ平面上の各点Ｐにこのような連通条件を中断しないように前記グループに添加された隣接点が存在しないと、該グループのＤ−連通された３Ｄ点は、最大Ｄ−連通となる。本発明における前記連通域は、深度図における１グループのＤ−連通点であり、かつ最大のＤ−連通である。前記深度図の連通域は、前記デプスカメラにより取得される連続集団（ｍａｓｓ）領域に対応しており、連通域は、前記深度図におけるＤ−連通点集合であり、かつ最大のＤ−連通である。このため、連通域への付番は、実際に、前記Ｄ−連通された３Ｄ点への同一番号の付加であり、換言すると、同一連通域に属する画素点には同一番号が付されることになる。これにより、連通域の番号マトリクスが生成される。前記深度図の連通域は、前記デプスカメラから取得される連続した集団（ｍａｓｓ）に対応している。

前記連通域の番号マトリクスは、前記深度図におけるどの点が連通域となるかをマーク可能なデータ構造である。前記番号マトリクスにおける各要素は、深度図における１点に対応し、該要素の値が、該点の属する連通域の番号（１連通域に１番号）となる。

次に、ステップＳ２３において、２つの深度条件から、現シーンの背景除去後の深度図における各点への２値化処理を行うことで、候補対象となるブロブが生成され、同一連通域に属するブロブの画素点に連通域番号が付加される。以下、２値化処理について詳細に説明する。

図４Ａ、図４Ｂは、入力された現シーンの深度図への２値化処理による、候補対象のブロブの取得を示す図である。ここで、入力された現シーンの深度図が、図３Ｃに示されたような背景除去後の深度図となる。即ち、該深度図には、背景の深度が含まれておらず、検知された対象の深度のみが含まれている。図４Ａ、図４Ｂに示されたように、本発明の実施例は、図３Ｃに示されたような現シーンの深度図における各画素点と背景深度図の対象画素間の相対的深度情報から、２値化処理を行っている。本発明の実施例において、前記現シーンの深度図から、各画素点の深度値である、デプスカメラと検索された画素点で表される対象点間の間隔を検索する。図４Ａ、図４Ｂに示されたように、全画素点を遍歴する形式で、入力された現シーンの深度図から、各画素点の深度ｄを検索し、その後、背景深度図から、現シーンの深度図における検索された画素点に対応する画素点の深度値である背景深度ｂを検索した後、対応目標画素点の深度ｄと背景画素点の深度ｂとの差（subtraction value）ｓを計算し、即ち、ｓ＝ｂ−ｄを計算する。本発明の実施例においては、現シーンの深度図における最大深度値の画素点により、本発明の実施例の仮想タッチスクリーンシステムの動作モードを判断することができる。即ち、現シーンの深度図における最大深度値の画素点の深度ｄと、対応する背景画素点の深度ｂとの差ｓを計算する。図４Ａに示されたように、得られた差が０よりも大きく、かつ所定の第１の間隔閾値ｔ１未満であり、即ち、０＜ｓ＜ｔ１であると、本発明の実施例の仮想タッチスクリーンシステムはタッチモードで動作していると判断する。該タッチモードは、図５Ａに示しているように、ユーザの仮想タッチスクリーン上へのタッチ動作が可能なモードであることを表している。ここで、第１の間隔閾値ｔ１は、該間隔内において、仮想タッチスクリーンシステムがタッチモードで動作可能なことから、タッチ間隔閾値とも称されている。なお、図４Ｂに示されたように、得られた対応目標画素点の深度ｄと背景画素点の深度ｂとの差ｓが所定の第１の間隔閾値ｔ１よりも大きく、かつ所定の第２の間隔閾値ｔ２未満であると、即ち、ｔ１＜ｓ＜ｔ２であると、本発明の実施例の仮想タッチスクリーンシステムはジェスチャーモードで動作していると判断する。該ジェスチャーモードは、図５Ｂに示しているように、ユーザの手が仮想タッチスクリーンに触れることなく、仮想タッチスクリーンとの一定間隔範囲内でジェスチャー動作が可能なモードであることを表している。ここで、第２の間隔閾値ｔ２は、ジェスチャー間隔閾値とも称されている。本発明の実施例の仮想タッチスクリーンシステムにおいては、タッチモードとジェスチャーモードの2種類の動作モード間の自動切換が可能になることから、ユーザの手と仮想スクリーン間の間隔に基づき、所定の動作モードを起動するとともに、前記間隔閾値による制御が可能になる。ここで、第１と第２の間隔閾値ｔ１とｔ２の大きさにより、対象への検知精度を制御することができ、デプスカメラのハードウェア規格にも関係している。例えば、第１の間隔閾値ｔ１の値は、通常、１指の厚みの大きさや、通常のポインターの直径の大きさとなり、例えば、0.2〜1．5ｃｍであり、0.3ｃｍ、0.4ｃｍ、0.7ｃｍ、1.0ｃｍが好ましい。第２の間隔閾値ｔ２は、人が仮想タッチスクリーン前でジェスチャー動作を行う際の、手と仮想タッチスクリーン間の通常の間隔となる20ｃｍに設定することができる。ここで、図５Ａ、図５Ｂは、本発明の実施例の仮想タッチスクリーンシステムの2種類の動作モードを示した図である。

前述の図４Ａ、図４Ｂに示された図においては、マークすべき目標画素点と対応背景画素点間の深度値の差による、仮想タッチスクリーンシステムの現動作モードの判断以外にも、マークすべき目標画素点自身も一定の条件を満たす必要があり、このような条件は、該画素に対応する深度情報及び該画素の位置する連通域に関係している。例えば、マークすべき画素がある連通域に属する必要があり、理由としては、マークすべき画素が図３Ｃに示された背景除去後の深度図における画素であることから、画素がある候補対象のブロブの画素である場合、該画素は必ず連通域におけるある連通域に属する必要がある。同時に、目標画素の深度値ｄは、最小間隔ｍを越える（即ち、ｄ＞ｍである）必要があり、理由としては、ユーザが仮想タッチスクリーン前で操作を行う際に、タッチモードでもジェスチャーモードでも、仮想タッチスクリーンに接近する必要があり、かつデプスカメラから一定間隔離れる必要があるからである。ここで、目標画素値の深度値ｄが最小間隔ｍを越えるように設定することで、偶然デプスカメラの撮影範囲内に入り込んだ他の被写体のノイズを排除することができ、これにより、システムの動作効率を向上することができる。

ここで、前述の実施例においては、現シーンの深度図における最大深度図の画素点の深度ｄにより、仮想タッチスクリーンシステムの動作モードを判断しており、理由としては、通常、ユーザの仮想タッチスクリーンシステムへの操作時、ユーザの指先と仮想タッチスクリーンの間隔が最も近くなるからである。このため、前述の実施例においては、実際に、ユーザの指先を表せる画素点の深度により、ユーザ指先の位置により、仮想タッチスクリーンシステムのあるべき動作モードを判断しているが、本発明の実施例はこれに限られるものではない。例えば、現シーンの深度図の深度値を降順に並び替え、前に位置する複数の深度値の平均値（即ち、深度値の深い複数の画素点の深度値の平均値）を利用してもよい。或いは、現シーンの深度図における各画素点の深度値の分布に応じて、分布の密集している複数の画素点の深度値の平均値で決定してもよい。このように、他の複雑な状況において、例えば、ユーザが１つの指によるポインティング以外の他のジェスチャーによる動作で、ある指先の正確な位置判断ができない場合は、できる限り、検知した主な候補対象が前述の間隔閾値条件を満たすようにすると、仮想タッチスクリーンシステムの実際の現動作モードへの判断の正確性を向上することができる。用いられる特定画素点の深度値により、タッチモードとジェスチャーモードに対する、現シーンの深度図における画素深度間の差の識別が可能であればよいことは言うまでもない。

仮想タッチスクリーンシステムの現動作モードの判断後は、タッチモードとジェスチャーモードのいずれかの動作モードにおいて、対応目標画素点の深度ｄと背景画素点の深度ｂとの差ｓが所定の間隔閾値条件を満たしているか否か、及び前述のような対応目標画素点がある連通域に属するか、その深度値が最小間隔を超えたか否かに応じて、現シーンにおける検索した画素への２値化処理を行うことができる。例えば、タッチモードにおいて、対応目標画素点の深度ｄと背景画素点の深度ｂとの差ｓが第１の間隔閾値ｔ１未満であり、かつ対応目標画素点がある連通域に属し、該深度ｄが最小間隔ｍを超えた場合は、現シーンの深度図における検索された画素の階調値を２５５に設定し、それ以外の場合は、０に設定する。一方、ジェスチャーモードにおいては、対応目標画素点の深度ｄと背景画素点の深度ｂとの差ｓが第１の間隔閾値ｔ１よりも大きく、かつ第２の間隔閾値ｔ２未満であり、対応目標画素点がある連通域に属し、該深度ｄが最小間隔ｍを超えた場合は、現シーンの深度図における検索された画素の階調値を２５５に設定し、それ以外の場合は、０に設定する。もちろん、このような２値化において、直接２つの場合にそれぞれ０や、１を標記してもよく、２つの場合を区別可能な２値化方式であれば、いずれの方式を用いてもよい。

前述の２値化方式により、図６Ｂに示された複数の候補対象を有するブロブが得られる。図６Ａは、ブロブへの付番のための連通域を示す図である。ブロブの２値画像の取得後、連通域番号を有する画素点を走査検索し、該連通域番号を２値化ブロブ画像における対応の画素点に付加することで、図６Ｂに示されたように、一部のブロブは連通域番号が付されるようになる。前記２値画像におけるブロブ（白領域や点）は、投影面上をタッチする可能性のある目標対象の候補者である。前述したように、図６Ｂにおける連通域番号付きの２値化ブロブは、以下の２つの条件を有する。一つ目の条件は、ブロブが連通域に属すること、２つ目の条件は、ブロブの各画素点に対応する深度ｄと背景深度ｂとの差ｓが必ず間隔閾値条件を満たすこと、即ち、タッチモードでｓ＝ｂ−ｄ＜ｔ１であり、ジェスチャーモードでｔ１＜ｓ＝ｂ−ｄ＜ｔ２であることである。

次に、ステップＳ２４において、得られた深度図の２値化ブロブ画像への強調処理を行い、２値化ブロブ画像における不要なノイズを低減するとともに、ブロブの形状がより明確かつ安定になるようにする。該ステップは、画像強調手段３３で行われる。具体的に、以下のステップで強調処理が行われる。

先ず、連通域に属さないブロブを除去し、即ち、ステップＳ２３において、連通域番号が付されていないブロブは、直接その白黒階調値を最高値から０に変更し、例えば、その画素点の白黒階調値を、２５５から０に変更する。他の方法においては、１を０に変更する。これにより、図７Ａに示されたブロブの２値化画像が得られる。

次に、面積Ｓが面積閾値Ｔｓ未満の連通域に属するブロブを除去する。本発明の実施例において、ブロブがある連通域に属するとは、該ブロブの少なくとも１点が連通域に存在することを意味している。該ブロブの属する連通域の面積Ｓが面積閾値Ｔｓ未満であると、該ブロブはノイズと見なされ、ブロブの２値画像から除去される。それ以外の場合は、該ブロブを目標対象の候補者と見なしている。面積閾値Ｔｓは、仮想タッチスクリーンシステムに用いられる環境に応じて調整することができ、通常は、２００個の画素点に設定される。これにより、図７Ｂに示されたブロブの２値化画像が得られる。

次に、得られた図７Ｂに示されたブロブの２値化画像におけるブロブへの形態学(morphology)操作を行う。本実施例においては、拡張（dilation）操作と閉（close）操作を用いている。先ず、１回の拡張操作を行ってから、反復的に閉操作を行う。閉操作の反復回数は、１つの所定値であり、該所定値は、仮想タッチスクリーンシステムに用いられる環境に応じて調整することができる。該反復回数は、例えば、６回に設定することができる。最終的に、図７Ｃに示されたブロブの２値化画像が得られる。

最後に、同一連通域に属する複数のブロブが存在すると、即ち、これらのブロブが同一の連通域番号を有していると、同一連通域番号を有するブロブにおける、最大面積の１ブロブを保留し、他のブロブは除去する。本発明の実施例においては、１つの連通域に、複数のブロブが含まれてもよい。これらのブロブにおいて、最大面積を有するブロブのみが目標対象と見なされ、他のブロブは除去すべきノイズとなる。最終的に、図７Ｄに示されたブロブの２値化画像が得られる。

ステップＳ２５において、得られたブロブの輪郭を検知し、ブロブの重心点の座標を計算するとともに、重心点座標を目標座標に変換する。該検知、計算、及び変換操作は、座標計算・変換手段３４で行われる。図８は、図７Ｄに示されたブロブの２値化画像におけるブロブの重心点座標の検知工程を示す図である。図８において、ブロブの幾何学的情報から、ブロブの重心点の座標を計算する。該計算工程においては、ブロブの輪郭を検知し、該輪郭のＨｕモーメントを計算し、前記Ｈｕモーメントを用いて重心点の座標を計算している。また、本発明の実施例においては、各種の公知方法でブロブの輪郭を検知することができる。また、公知の算法を用いてＨｕモーメントを計算してもよい。前記輪郭のＨｕモーメントの取得後は、下記式から、重心点の座標を計算する。

(x₀,y₀)=(m₁₀/m_00,m₀₁/m₀₀)

ここで、(x₀,y₀)は、重心点の座標であり、m₁₀、m₀₁、m₀₀は、Ｈｕモーメントである。

座標変換とは、重心点の座標をブロブの２値画像の座標系からユーザインターフェースの座標系に変換することである。座標系の変換は、公知の方法を用いることができる。

タッチポイントの連続移動軌跡を取得するために、本発明の実施例の仮想タッチスクリーンシステムにより撮影された連続フレームの深度図におけるタッチポイントへの連続検知により、検知した複数のブロブの追跡を行い、複数点の配列を生成することができ、これにより、タッチポイントの運動軌跡を得ることができる。

具体的に、ステップＳ２６において、連続撮影した各フレームの深度図に対し、ステップＳ２１〜Ｓ２５の実施後に得られた各フレーム画像のブロブのユーザインターフェースにおける重心点座標への追跡を行い、重心点配列（即ち、軌跡）を生成するとともに、得られた重心点配列への平滑処理を行う。該追跡及び平滑操作は、追跡手段３５及び平滑手段３６で行われる。

図９は、ユーザの手指やポインターによる仮想タッチスクリーン上の運動軌跡を示す図であり、２つの対象（手指）の運動軌跡が示されている。これは１例に過ぎず、例えば、３つ、４つ、５つの対象のように複数の対象としてもよく、実際の需要に応じて決めることができる。

図１０は、検知した対象への追跡フローチャートである。図１０に示された追跡フローを繰り返し行い、最終的にスクリーン前の任意の対象の運動軌跡が得られる。具体的に、追跡動作を行うとは、新たに検知した深度図におけるブロブのユーザインターフェースにおける重心点の座標を前に得られた任意の軌跡に繰り入れることである。

複数の検知されたブロブのユーザインターフェースにおける重心点座標から、複数の新規検知したブロブの追跡を行うことにより、複数の軌跡を生成するとともに、これらの軌跡に関するタッチイベントを開始している。ブロブへの追跡を行うためには、ブロブを分類するとともに、ブロブの重心点座標を、すべての点の時間と空間上の関連の点配列に置く必要がある。同一配列における点のみ、１つの軌跡に統合することができる。図９に示されたように、仮想タッチスクリーンシステムが描画機能をサポートしていると、図９に示された配列における点は、投影スクリーン上の描画命令を表すことになり、同一配列における点をつなげて図９に示された曲線に形成することができる。

本発明の実施例においては、タッチ開始と、タッチ移動と、タッチ終了の３つのタッチイベントを追跡することができる。タッチ開始は、検知すべき対象が投影スクリーンをタッチし、軌跡が開始することをいう。タッチ移動は、検知すべき対象が現在投影スクリーンをタッチし、軌跡が投影面で延伸中であることをいう。また、タッチ終了は、検知すべき対象が投影スクリーンの面から離れ、移動軌跡が終了していることをいう。

図１０に示されたように、ステップＳ９１において、１フレームの深度図から、ステップＳ２１〜Ｓ２５で検知された対象の新規ブロブのユーザインターフェースにおける重心点座標を受信し、該重心点座標は、座標計算・変換手段３４から出力されたものである。

次に、ステップＳ９２において、その前に各フレームの深度図のブロブへの追跡処理後に得られた全点配列（即ち、すべての既存の軌跡であり、以下、既存軌跡と称される）における各点配列について、該既存軌跡に最も近接する新規ブロブを計算する。タッチスクリーン（即ち、投影スクリーン）をタッチする全ての対象の軌跡は、すべて仮想タッチスクリーンシステムに保留される。各軌跡は、１つの被追跡ブロブを保持し、該被追跡ブロブは、該軌跡の最後のブロブに付与される。本発明の実施例の前述の新規ブロブと既存軌跡の間隔は、１新規ブロブと１本の既存軌跡中の最後のブロブ間の間隔を指している。

次に、ステップＳ９３において、新規ブロブをそれに最も近接する既存の軌跡に入れるとともに、タッチ移動イベントを開始する。

次に、ステップＳ９４において、１本の既存軌跡に対し、それに近接する新規ブロブが存在しない場合、換言すると、全新規ブロブが他の既存軌跡にそれぞれ繰り入れられた場合は、該既存の軌跡を削除するとともに、該既存軌跡に関するタッチ終了イベントを起動する。

最後に、ステップＳ９５において、各新規ブロブに対し、近接する既存軌跡が存在しない場合、換言すると、その前に得られた全既存軌跡が、タッチ終了イベントの起動により削除されたか、新規ブロブと全既存軌跡との間隔がすべて所定の間隔閾値範囲内に存在しない場合は、該新規ブロブを新規軌跡の起点とするとともに、タッチ開始イベントを起動する。

前記ステップＳ９１〜Ｓ９５を繰り返し行い、連続フレームの深度図におけるブロブの重心点の、ユーザインターフェースにおける座標の追跡を実現することにより、同一の点配列に属するすべての点を１本の軌跡に構成することができる。
複数の既存軌跡が存在する場合は、各既存軌跡に対し、ステップＳ９２を繰り返し行う。図１１は、本発明の追跡手段３５により行われる、ステップＳ９２の詳細フローチャートである。

先ず、ステップＳ１０１において、すべての既存軌跡への追跡が完了したかを確認する。これは簡単な計数器で実現することができる。すべての既存軌跡に対し、ステップＳ９２が行われた場合は、ステップＳ９２を終了し、行われていない場合は、ステップＳ１０２に進む。

ステップＳ１０２において、次の既存軌跡を入力する。次に、ステップＳ１０３において、入力された既存軌跡に近接する新規ブロブを検索し、ステップＳ１０４に進む。

ステップＳ１０４において、入力された既存軌跡に近接する新規ブロブが検出されたかを判定する。入力された既存軌跡に近接する新規ブロブが検索された場合は、ステップＳ１０５に進み、検出されていない場合は、ステップＳ１０８に進む。

ステップＳ１０８において、入力された既存軌跡に近接する新規ブロブが存在しないため、該入力された既存軌跡は、「削除すべき既存軌跡」とマークされる。その後、ステップＳ１０１に戻る。これにより、ステップＳ９４において、該「削除すべき既存軌跡」に対し、タッチ終了イベントを起動する。

ステップＳ１０５において、入力された既存軌跡に近接する新規ブロブが、他の既存軌跡にも近接する新規ブロブであるかを判定する。換言すると、該新規ブロブが同時に２つ以上の既存軌跡に近接する新規ブロブであるかを判定する。該新規ブロブが２つ以上の既存軌跡に近接する新規ブロブであると判断されると、ステップＳ１０６へ処理が進み、それ以外の場合は、ステップＳ１０９へ処理が進む。

ステップ１０９において、該新規ブロブが、入力された既存の軌跡のみに近接する新規ブロブであるため、該新規ブロブを入力された既存の軌跡に繰り入れ、最も近接する新規ブロブとし、即ち、該既存軌跡の点配列中の一つの点とする。その後、ステップＳ１０２に処理が戻る。

ステップＳ１０６において、該新規ブロブが、同時に２つ以上の既存の軌跡に近接する新規ブロブであるため、該新規ブロブの、所属する複数の既存軌跡の各軌跡との間隔を計算する。その後、ステップＳ１０７において、ステップＳ１０６で算出された間隔の大きさを比較するとともに、該新規ブロブと入力された既存軌跡との間隔が、算出された間隔で最小となる間隔かを判定する。即ち、該新規ブロブと入力された既存軌跡との間隔が、他の既存の軌跡との間隔未満であるかを判定する。該新規ブロブと入力された既存軌跡との間隔が、ステップＳ１０６で算出された間隔における最小の間隔であると判定されると、ステップＳ１０９へ処理が進み、最小の間隔でないと、ステップＳ１０８へ処理が進む。

前記ステップＳ１０１〜Ｓ１０９を繰り返し行うことで、ステップＳ９２による処理を実現することができ、すべての既存軌跡と入力された新たに検索されたブロブへの遍歴が可能になる。

図１２は、入力された既存の軌跡に近接する新規ブロブを検索するフローチャートである。図１２に示されたように、ステップＳ１１１において、入力されたすべての新規ブロブに対し、入力された既存の軌跡との近接間隔が算出されたかを確認する。すべての新規ブロブに対し、入力された既存の軌跡との近接間隔が計算されると、ステップＳ１１８に処理が進み、それ以外の場合は、ステップＳ１１２に処理が進む。

ステップＳ１１８において、入力された既存の軌跡に近接する新規ブロブのリストが空であるかを判定する。空であれば、処理を終了し、空でなければ、ステップＳ１１９に進む。ステップＳ１１９において、すべての近接した新規ブロブのリストから、該入力された既存軌跡に最も近接する新規ブロブを検索するとともに、該最近接新規ブロブを入力された既存の軌跡の点配列に繰り入れる。その後、ステップＳ１０３を終了する。

ステップＳ１１２において、次の新規ブロブを入力する。次に、ステップＳ１１３において、次の新規ブロブと入力された既存軌跡間の間隔を計算する。次に、ステップＳ１１４において、算出された次の新規ブロブと入力された既存軌跡間の間隔が所定の閾値未満であるかを判定する。算出された次の新規ブロブと入力された既存軌跡間の間隔が所定の間隔閾値Ｔｄ未満であると、ステップＳ１１５に処理が進み、それ以外の場合は、ステップＳ１１１に戻る。ここで、間隔閾値Ｔｄは、通常、１０〜２０の画素点の間隔に設定され、１５の画素点の間隔が好ましい。該閾値Ｔｄは、仮想タッチスクリーンシステムに用いられる環境に応じて調整される。本発明の実施例においては、１新規ブロブと１既存軌跡間の間隔が、前記間隔閾値Ｔｄ未満であると、該新規ブロブは該既存軌跡に近接しているとされている。

ステップＳ１１５において、前述の次の新規ブロブを、入力された既存軌跡に属する候補新規ブロブリストに追加する。次に、ステップＳ１１６において、入力された既存の軌跡に属する候補の新規ブロブリストの大きさが、所定の大きさ閾値Ｔｓｉｚｅ未満であるかを判定する。入力された既存の軌跡に属する候補の新規ブロブリストの大きさが、所定の大きさ閾値Ｔｓｉｚｅ未満であると、ステップＳ１１１に処理が戻り、それ以外の場合は、ステップＳ１１７に処理が進む。

ステップＳ１１７において、入力された既存の軌跡に属する候補の新規ブロブリストにおける、入力された既存の軌跡との間隔が最長となる候補新規ブロブを、前記リストから削除し、ステップＳ１１１に戻る。図１２におけるステップを繰り返し行うことで、ステップＳ１０３が完成する。

以上、図１０〜１２を参照して、連続画像フレームにおけるブロブの、ユーザインターフェースにおける座標の追跡フローを説明した。前記追跡操作により、検知した対象のタッチ開始イベント、タッチ移動イベントや、タッチ終了イベントを起動することができる。これにより、最終的に、検知した対象の仮想タッチスクリーン上の移動軌跡が得られる。図１４Ａは、本発明により得られる検知対象の仮想タッチスクリーン上の移動軌跡を示す図である。

このように初期的に得られる図１４Ａに示された検知対象の仮想タッチスクリーン上の移動軌跡は、明らかに雑然としており、平滑な対象移動軌跡を得るためには、さらに該軌跡への平滑処理が必要となる。図１４Ｂは、平滑処理後の対象移動軌跡を示した図である。図１３は、本発明により得られる検知対象の仮想タッチスクリーン上の移動軌跡の点配列への平滑処理方法を示す図である。

点配列への平滑処理とは、点配列を平滑にするために、該配列中の点の座標の最適化を行うことである。図１３に示されたように、１つの軌跡をなす原点配列P⁰ _n（ｎは正の整数）が反復の第１回入力（即ち、ブロブ追跡の出力）として入力される。図１３において、原点配列P⁰ _nは第１列に配置される。次に、下記式を用いて、前回反復の結果から、次回反復の配列が算出される。

式中、P^k _nは、点配列中の点であり、ｋは、反復記号であり、ｎは、点配列記号であり、ｍは、反復点の基数である。

該反復計算を所定の反復閾値に達するまで繰り返し行う。本発明の実施例において、パラメータｍは、３〜７とすることができ、本発明の実施例では、３に設定されている。これは、各次の階級点は、前の階級の３つの点の反復により得られることを意味している。該反復閾値は、３である。

前記反復計算により、最終的に、図１４Ｂに示された平滑処理後の対象移動軌跡が得られる。

なお、本明細書においては、プログラムにより、コンピュータで実行される処理は、フローチャートの説明順のように、時間順で行う必要はない。即ち、プログラムによりコンピュータで実行される処理は、並行に行われてもよく、単独に行われてもよい（例えば、並行処理、ターゲット処理でもよい）。

同様に、プログラムは、１台のコンピュータ（プロセッサ）で行われてもよく、複数のコンピュータで分散して行われてもよい。なお、プログラムは、プログラムが実行される遠隔コンピュータに移動されてもよい。

当業者が、設計要求と他の要素に応じて、添付した特許請求範囲や同等物の範囲内の各種修正や、組み合わせや、サブ組み合わせや、代替が可能なことは言うまでもない。

Claims (8)

1. 仮想タッチスクリーンシステムにおける双方向モードの自動切換方法であって、
   画像を投影面に投射し、
   前記投影面の環境の画像を連続取得し、
   得られた各画像から、前記投影面前の所定間隔内に位置する少なくとも１つの対象の候補ブロブを検知し、
   前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に入れるステップを含み、
   前記投影面前の所定間隔内に位置する少なくとも１つの対象の候補ブロブを検知するステップは、
   前記少なくとも１つの対象の候補ブロブ中の特定画素点の深度値を検索し、
   前記深度値が第１の間隔閾値未満かを判断し、前記深度値が前記第１の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第１の動作モード状態であると決定し、
   前記深度値が前記第１の間隔閾値を越えたか、かつ第２の間隔閾値未満かを判断し、前記深度値が前記第１の間隔閾値を越え、かつ前記第２の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第２の動作モード状態であると決定するステップを含み、
   前記深度値と、前記第１の間隔閾値及び前記第２の間隔閾値との関係から、前記仮想タッチスクリーンシステムの前記第１の動作モードと前記第２の動作モード間の自動切換が行われる、仮想タッチスクリーンシステムにおける双方向モードの自動切換方法。
2. 前記第１の動作モードが、タッチモードであり、前記タッチモードにおいて、ユーザの仮想タッチスクリーン上のタッチ動作が行われ、
   前記第２の動作モードが、ジェスチャーモードであり、前記ジェスチャーモードにおいて、前記仮想タッチスクリーンに前記ユーザの手が触れることなく、前記仮想タッチスクリーンから一定間隔範囲内のジェスチャー動作が行われる、請求項１に記載の方法。
3. 前記第１の間隔閾値が、１ｃｍである、請求項１に記載の方法。
4. 前記第２の間隔閾値が、２０ｃｍである、請求項１に記載の方法。
5. 前記少なくとも１つの対象の候補ブロブ中の特定画素点が、前記少なくとも１つの対象の候補ブロブにおける、深度値が最も深い画素点である、請求項１に記載の方法。
6. 前記少なくとも１つの対象の候補ブロブ中の特定画素点の深度値が、前記少なくとも１つの対象の候補ブロブにおける、深度値が他の画素点の深度値よりも大きい画像点の深度値であり、又は、深度値の分布が他の画素点の深度値の分布よりも密集している１グループの画素点の深度値の平均値である、請求項１に記載の方法。
7. 前記投影面前の所定間隔内に位置する少なくとも１つの対象の候補ブロブを検知するステップにおいて、
   １画素の深度値が最小間隔閾値を超えたかを判断し、前記深度値が該最小間隔閾値を越えた場合は、前記画素が前記投影面前の所定間隔内に位置する少なくとも１つの対象の候補ブロブの画素であると決定する、請求項１〜６のいずれかに記載の方法。
8. 前記投影面前の所定間隔内に位置する少なくとも１つの対象の候補ブロブを検知するステップにおいて、
   １画素の深度値がある連通域に属しているか否かを判断し、前記深度値がある連通域に属している場合は、前記画素が前記投影面前の所定間隔内に位置する少なくとも１つの対象の候補ブロブの画素であると決定する、請求項１〜６のいずれかに記載の方法。

Images