JP2012083866A

JP2012083866A - 指取り付け型触覚再現機能付き処理装置

Info

Publication number: JP2012083866A
Application number: JP2010228028A
Authority: JP
Inventors: Takashi Nagoya; 崇名古屋
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2010-10-08
Filing date: 2010-10-08
Publication date: 2012-04-26

Abstract

【課題】ディスプレイ画面上の仮想ボタンと連動して、ディスプレイから離れた状態で、空中でのボタン操作を可能とする。
【解決手段】赤外線受光部２は、赤外線出力部１０の２つのＬＥＤから照射される赤外線を受光する。加速度センサ３は、指１２の指先の加速度を検出する。接触センサ５は、使用者の指１２の指先が接触していることを検知する。指１２の腹近傍に装着される振動部４は、圧電式振動子や、小型振動モータが接続された振動板が設けられた構造である。センサ情報送信部６は、赤外線受光部２、加速度センサ３、接触センサ５からの検出信号を入力信号として受け、赤外線受光部２における２つの受光点の光強度、位置といった情報などにより、ディスプレイ８からの遠近、左右上下の位置の検出情報を少なくとも含むセンサ情報を生成してセンサ情報処理部１１へ無線送信する。
【選択図】図１

Description

本発明は指取り付け型触覚再現機能付き処理装置に係り、特にディスプレイ画面上の仮想ボタンを指先で触れたときの触覚を再現する機能を有する指取り付け型触覚再現機能付き処理装置に関する。

従来、ゲームに連動して振動し、臨場感を付加する機能を有するゲームコントローラや、タッチパネルの仮想ボタンに連動して、ボタンをクリックしたときの触感を振動により再現したものがある。ゲームコントローラでは、さほど複雑な振動を与えていないが、クリックの再現などは、クリックの瞬間とボタンを押し戻す際の波形を差別して変化させている。

このように、触感を再現するものの中に、指先に装着して使用するデータ入力装置が提案されている（例えば、特許文献１、２参照）。これら特許文献１、２に記載のデータ入力装置は、パソコンなどの情報端末へのデータ入力装置として用いることができ、指による物体表面への圧力、傾斜、指の位置などを検出して、入力操作を行うものである。また、これらのデータ入力装置は、入力の際に指先に圧力、振動などの刺激を与えて触感を再現し、操作状況の認知を助け、操作性を向上させるものである。

また、キーボードを操作することなくキー入力を可能にするため、両手指先にレーザーマウスや光学式マウスと同様の原理の動き検出センサ及び触覚センサを装着するようにした入力装置も知られている（例えば、特許文献３参照）。

特開２００５−２９３５１２号公報特開２００５−１００１７９号公報特開２００６−３４０３７０号公報

しかしながら、特許文献１、２に記載の従来の触覚再現機能が付いているデータ入力装置では、指先に加えられる圧力や角度に応じて、ボタンをクリックする触感をフィードバックしている。そのため、クリックの際に外部に固定する部分が必要となり、例えば机の上などの使用場所が限られてしまったことが課題である。

また、特許文献３に記載の従来のデータ入力装置では、指先にある赤外線光源とセンサから、空中での位置検出を行っており、キー操作などの処理は、指先の接触センサを用いて机などの上に直接押すことで、処理を実行している。言い換えれば、この特許文献３記載のデータ入力装置では、直接押しての処理をするため、触感が得られるので、フィードバックは必要ないが、処理には必ず押さえるための場所が必要となってしまう。

本発明は以上の点に鑑みなされたもので、ディスプレイ画面上の仮想ボタンと連動して、ディスプレイから離れた状態で、空中でのボタン操作を可能とした指取り付け型触覚再現機能付き処理装置を提供することを目的とする。

上記の目的を達成するため、本発明は、ディスプレイの画面付近に設置される赤外線出力部と、赤外線出力部から出力された赤外線を受光して受光検出信号を出力する赤外線受光部と、使用者の指先の加速度を検出して加速度検出信号を出力すると共に、検出した加速度に基づいてクリック動作を検出してクリック動作検出信号を出力する加速度センサと、指先に接触するように設けられており、クリック動作検出信号が供給された時にそのクリックの触覚を再現するために振動する振動部と、指先が接触していることを検知して接触検出信号を出力する接触センサと、受光検出信号、加速度検出信号、及び接触検出信号に基づいて、少なくとも赤外線出力部と赤外線受光部との間の距離及び位置の情報を含むセンサ情報を生成して無線送信するセンサ情報送信部と、電源電圧を出力するバッテリとを有し、赤外線受光部、加速度センサ、振動部、接触センサ、センサ情報送信部、及びバッテリが、指先が収納される指収納部に内蔵された構成であることを特徴とする。

また、上記の目的を達成するため、本発明は上記の赤外線出力部が、第１の遮光部分により遮光される第１の方向以外の方向へ赤外光を出射する第１の赤外線発光用光源と、第２の遮光部分により遮光される第１の方向とは異なる第２の方向以外の方向へ赤外光を出射する第２の赤外線発光用光源とが離間配置された構造であることを特徴とする。

更に、上記の目的を達成するため、本発明は、上記加速度センサが、設定時間の間に、一方向に第１の閾値以上の加速度を検出した後に、一方向とは逆方向に第２の閾値以上の加速度を検出した時に、クリック動作として検出してクリック動作検出信号を出力することを特徴とする。

本発明によれば、ディスプレイから離れての操作が可能で、空中での動作による操作が可能であり、より操作性を向上させるという効果を得ることができる。

本発明の指取り付け型触覚再現機能付き処理装置の一実施の形態のブロック図である。本発明の指取り付け型触覚再現機能付き処理装置の赤外線出力部と赤外線受光部の距離及び位置検出方法を説明するフローチャートである。本発明の指取り付け型触覚再現機能付き処理装置の赤外線受光部の一例の構成図である。ＬＥＤの指向性を表したグラフの一例である。本発明の指取り付け型触覚再現機能付き処理装置のディスプレイ及び赤外線出力部の一例の構造図である。本発明の指取り付け型触覚再現機能付き処理装置の赤外線出力部に遮光部分を設けた場合と、設けなかった場合での光強度の分布を表した図である。本発明の指取り付け型触覚再現機能付き処理装置のセンサ動作の一例を説明するための図である。本発明の指取り付け型触覚再現機能付き処理装置のセンサ情報処理部の動作説明用フローチャートである。本発明の指取り付け型触覚再現機能付き処理装置の指収納部分の一例の構造図である。本発明の指取り付け型触覚再現機能付き処理装置の指収納部分の他の例の構造図である。

次に、本発明の指取り付け型触覚再現機能付き処理装置の実施の形態について、図面を参照して説明する。

図１は、本発明になる指取り付け型触覚再現機能付き処理装置の一実施の形態のブロック図を示す。本実施の形態の指取り付け型触覚再現機能付き処理装置は、指取り付け型処理装置１と赤外線出力部１０とからなり、ディスプレイ８上の位置情報と、使用者の指先の位置を対応させるものである。

指取り付け型処理装置１は、赤外線受光部２、加速度センサ３、振動部４、接触センサ５、センサ情報送信部６、及び指取り付け型処理装置１内の各部に電源を供給するためのバッテリ７からなり、使用者の指１２の指先に取り付けられる。ディスプレイ８の近傍に設置された赤外線出力部１０と、指取り付け型処理装置１の赤外線受光部２とは、ディスプレイ８上の座標位置と指１２の指先の位置とを対応させている。

赤外線受光部２は、赤外線出力部１０の２つの赤外線発光用光源から照射される赤外線を受光し、２つの受光点の位置を示す検出信号を出力する。なお、赤外線出力部１０の構成は後述する。赤外線受光部２は、例えば赤外線ＣＭＯＳセンサなどにより構成されている。加速度センサ３は、指１２の指先の加速度を検出する。接触センサ５は、使用者の指１２の指先が絶縁シートを通して触れることで、通電状態となり指先が接触していることを検知する。

また、指１２の腹近傍に装着される振動部４は、圧電式振動子や、小型振動モータが接続された振動板が設けられた構造である。センサ情報送信部６は、赤外線受光部２、加速度センサ３、接触センサ５からの検出信号を入力信号として受け、赤外線受光部２における２つの受光点の光強度、位置といった情報などにより、少なくともディスプレイ８からの遠近、左右上下の位置の検出情報を含むセンサ情報を生成し、そのセンサ情報を近距離無線通信方式であるブルーツース(Bluetooth)方式によりセンサ情報処理部１１へ無線送信する。

これら赤外線受光部２、加速度センサ３、接触センサ５、振動部４は、信号処理系とセンサ情報送信部６とバッテリ７との接続を有する基板と、フレキシブルプリント基板（ＦＰＣ）やケーブルにより電気的に接続されている。

次に、本実施の形態における距離及び位置の検出方法について、図２のフローチャートと共に説明する。赤外線出力部１０は後述するように赤外線発光用光源として赤外線を出射する２つの発光ダイオード（ＬＥＤ）が設けられた構成である。赤外線受光部２により赤外線出力部１０の２つのＬＥＤから出射された赤外線が検出されると（ステップＳ１）、センサ情報送信部６はその検出情報に基づいて処理１を実行する（ステップＳ２）。

この処理１について説明する。赤外線受光部２は、例えば図３に示すように、赤外線ＣＭＯＳセンサなどの撮像素子２２と、その光入射側に設けられたレンズ２１とを有する。図３中の実線で描かれた２点の光線ＩＲ１及び破線のＩＲ２は、撮像素子２２上でのそれぞれ検出点の距離ｌ１、ｌ２と対応している。図３中のＩＲ１とＩＲ２の関係のように、レンズ２１への赤外線の入射角度が大きくなるにつれ、撮像素子２２上で検出される２つの受光点は離れていく。言い換えれば、赤外線出力部１０と赤外線受光部２との間の距離が短くなるほど、赤外線の入射角度が大きくなり、撮像素子２２上での２つの受光点の間の距離ｌは大きくなっていく。センサ情報送信部６は、この距離ｌを撮像素子２２での２つの受光点がそれぞれ検出される２つの画素位置から求める。

続いて、センサ情報送信部６は、赤外線出力部１０における既知の値である実際の２つのＬＥＤ間の距離Ｌと、撮像素子２２上での２つの受光点の間の距離ｌとから、倍率ｍをｌ／Ｌの式から算出する。続いて、センサ情報送信部６は、この倍率ｍと、既知の値であるレンズ２１から撮像素子２２までの距離ｓとから、赤外線出力部１０と赤外線受光部２との間の距離ｄを、以下の式から求める。

ｄ＝ｍ・ｓ（１）
そして、センサ情報送信部６は、距離ｄから赤外線入射角０°での光強度Ｉ₀を算出する。なお、レンズの構成は、図３の構成に限らない。例えば、通常の撮像素子を用いる場合などは、赤外線以外の波長を絞り込むフィルタ(例えば、赤外線に対する狭帯域のものなど)をレンズ前後に入れても良い。

次に、位置の検出の処理２が行われる（ステップＳ３）。この処理２について説明する。位置を検出するために、まず２つの赤外線ＬＥＤの光強度を検出する。検出される光強度は、上記距離ｄにおける照射面積に反比例する。照射面積は、半径ｄの球の表面積の一部と考えればいいので、（１／ｄ）²に比例する。

また、赤外線出力部１０の２つの赤外線ＬＥＤは、ある程度の指向性を持つ。指向性の一例を図４に示す。この指向性によって、赤外線受光部２では位置（角度）によって光強度が異なって検出される。つまり、ある位置から赤外線出力部１０の２点からの赤外線を検出すると、それぞれ２つの角度から光が入射することになり、この２つの光強度に大小のバランスが生じる。

距離ｄにおける、赤外線の入射角度０°での光強度Ｉ₀と、ＬＥＤの指向性のデータを保有し、それに対して検出値をフィッティングさせることで、位置として認識できるようになる。つまり、実検出値をＩとすれば、Ｉ／Ｉ₀によって得られた値を、ＬＥＤの指向性のデータにフィッティングさせれば、赤外線受光部２の位置(角度)を求めることができる。

図５は、ディスプレイ８の画面の構成と赤外線出力部１０の構成を示す。図５（ａ）に示すように、ディスプレイ８の画面上には仮想ボタン９とカーソルが設置されている。このカーソルの位置は、赤外線受光部２等から得られてセンサ情報処理部１１に送信された検出情報と連動して、ディスプレイ８の画面上で遠隔操作される。

また、図５（ｂ）に示すように、赤外線出力部１０は２つの赤外線ＬＥＤ１３ａ及び１３ｂが離間配置された構成である。また、ＬＥＤ１３ａは図の左方向への光を遮光する遮光部分１４ａを有し、もう一つのＬＥＤ１３ｂは図の下方向への光を遮光する遮光部分１４ｂを有する構成とされており、検出範囲を制限している。検出範囲を制限することで、２点ある光強度のバランスが等しくなる点での誤検出を防止することができる。

遮光部分１４ａ、１４ｂがない場合と、あった場合の光強度の分布を等高線状に図６に示す。図６（ａ）に示すように遮光部分１４ａ、１４ｂがない場合には、２つの赤外線ＬＥＤ１４ａ、１４ｂに対応したそれぞれの線が２箇所で交差していることが示されている。つまり、２箇所で同じ光強度のバランスになり、位置の誤検出の要因となる。それに対して、遮光部分１４ａ、１４ｂがある場合には、図６（ｂ）に示すように１箇所のみで交差しているため、誤検出はない。

遮光部分１４ａ、１４ｂは、少なくともＬＥＤ１３ａ、１３ｂが半円状のみ露出するまで覆い、好ましくはＬＥＤ１３ａ、１３ｂが１／４円状のみ露出するまで覆うように設けられる。このとき、ＬＥＤ１３ａ、１３ｂは、ディスプレイ８の筐体のなるべく外周部に設けることが好ましい。より広い範囲にて位置検出が可能となる。

次に、加速度センサ３は、一次元の加速度センサで構成されており、図７にある上下方向のみの加速度を検出している。ディスプレイ８の画面上でカーソル位置を操作する動作と、クリック動作を区別するために、クリック動作とみなされるある一定以上の加速度が検出された場合は、カーソル位置の操作を中止する。

また、加速度センサ３は、設定時間内に、図７中の上方向の加速度が第１のしきい値以上であり、その後に下方向の加速度が第２のしきい値以上であった場合に、クリック動作であるみなすようにしている。つまり、上方向に第１のしきい値の加速度を超えることで、一時的にカーソル位置の操作を中止するが、設定時間内に下方向の第２のしきい値以上の加速度を与えないと、クリック動作とはみなされず、カーソル位置の操作を再開する。

これらクリック動作を判別する閾値となる時間、加速度は、個人差による操作性の差を無くすように設定できる。このとき、時間は０.２ｓｅｃから１ｓｅｃの範囲内で設定可能であるものとする。また、加速度は、２０ｍ／ｓｅｃ²から５０ｍ／ｓｅｃ² (約３Ｇ〜４Ｇ)の範囲内で設定可能であるものとする。

次に、接触センサ５は、指先が接触する部分に設けられ、接触の際に生じる押される力により接触状態を検知する。接触センサ５には、押される力によって電極同士の間隔が変化することにより静電容量の変化から接触状態を検出する静電式のセンサや、押される力によって圧電体が変形することによる圧電体の抵抗の変化から接触状態を検出する圧力センサを用いることができる。ここで、接触状態を検出すると、他の構成部分にも通電し、また接触センサ５により接触状態が検出されていない場合には他の構成部分は非通電状態となる。

次に、指取り付け型処理装置１とセンサ情報処理部１１における処理について、図８のフローチャートを参照して説明する。

センサ情報処理部１１は、まず、接触センサ５で指の接触状態が検出された場合（ステップＳ１１のＹＥＳ）に、ディスプレイ８の画面上に仮想ボタン９を表示させる処理１を行う（ステップＳ１２）。このステップＳ１２の処理では、センサ情報送信部６が通電及び接触状態オンであることをセンサ情報処理部１１に送信し、続いて赤外線受光部２の通電及び赤外線ＣＭＯＳセンサのセンサ情報をセンサ情報送信部６からセンサ情報処理部１１に送信する。これにより、センサ情報処理部１１は、赤外線受光部２から検出された位置情報を、仮想ボタン９が表示されたディスプレイ８の画面上の座標へと変換処理し、カーソルを動作させる。そして、ステップＳ１２では、加速度センサ３の通電及びクリック動作の検出を開始する。

加速度センサ３によりクリック動作が検出された場合（ステップＳ１３のＹＥＳ）、処理２を行う（ステップＳ１４）。このステップＳ１４の処理２では、加速度センサ３は振動部４に対して通電及び検出したクリックの触感を再現する振動を与える。これにより、使用者の指１２の指先にクリックの触感を再現する振動が与えられる。その後、上記の処理２において、センサ情報送信部６が加速度センサ３によりクリック動作が検出されたことをセンサ情報送信部１１に送信する。

続いて、カーソルがディスプレイ８の画面上の仮想ボタン９を指示しているかを判定する（ステップＳ１５）。カーソルがディスプレイ８の画面上の仮想ボタン９を指示しているときは、その指示した（選択した）仮想ボタンの操作内容の処理を行う（ステップＳ１６）。ディスプレイ８の画面上の仮想ボタン９は、チャンネル変えや音量調整などの操作と対応しており、クリック動作により指示した操作を選択・実行させる。

次に、本実施の形態の指収納部分について図９と共に説明する。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図９において、指取り付け型処理装置１は指収納部に内蔵されており、その指先収納部分には、近接するデバイスや回路との絶縁のために、絶縁シート２０が、指１２を取り囲むように設けられている。絶縁シート２０には、ポリウレタン、ポリカーボネート、ポリイミド、塩化ビニル、フッ化樹脂、シリコーン樹脂などの材料を用いることができ、これらの内側に繊維などの別の材料を設けて二層構造にしてもよい。また、接触センサ５ａ（図１の接触センサ５に相当）は、指１２の指先の先端が触れる位置に配置されている。

図１０は、本実施の形態の指収納部分の他の例を示す。同図中、図９と同一構成部分には同一符号を付し、その説明を省略する。図１０に示すように、接触センサ５ｂ（図１の接触センサ５に相当）は、指１２の第二関節近傍に設置されている。

なお、特開２００２−２７８６７３号公報には、指先に装着し、加速度センサなどを用いて指先の動作から位置や処理行い、クリックの触感を再現する装置が開示されている。この装置は、キーボードでの処理を想定したものに特化しており、そのため、位置検出は、初期状態でのある指(この場合人差指)の位置に対してのそれぞれ指が移動した距離と方向を、速度、加速度、角速度センサから検出して行っている。つまり、初期位置からの相対的な移動距離から位置を検出している。

それに対して、本実施の形態の処理装置は、テレビや番組記録装置などのリモコンのような処理を想定しており、ディスプレイ上のポイントを指示し、実行することを目的としている。そのため、位置の検出は指示している画面の位置に対応していればよい。本発明では、赤外線センサによって位置の検出を行っている。

また、本実施の形態では加速度センサ３は、位置検出は行っておらず、その機能はクリック動作の検出に特化している。また、クリック動作は、指先の上下運動からなされることから、その一次元の加速度センサのみで検出できる。

このように、本実施形態の指取り付け型触覚再現機能付き処理装置によれば、ディスプレイ８から離れての操作が可能で、空中での動作による操作が可能であり、より操作性を向上させるという効果を得ることができる。

なお、本発明は以上の実施の形態に限定されるものではなく、その他種々の変形例も包含する。例えば、センサ情報処理部１１は、ディスプレイ８と別個であっても、一体であってもよい。また、赤外線出力部１０は、ディスプレイ８と別個であっても、一体であってもよい。また、赤外線出力部１０の設置位置は、ディスプレイ８前面で、赤外線出力部１０の２つの赤外線ＬＥＤの中心とディスプレイ８の縦横いずれかの中心が、おおよそ合っていればよい。つまり、ディスプレイ８の上下左右いずれに設置しても使用することができる。

本発明はリモコンや、情報端末の操作、タッチパネルの代替に使用することができる。

１指取り付け型処理装置
２赤外線受光部
３加速度センサ
４振動部
５接触センサ
６センサ情報送信部
７バッテリ
８ディスプレイ
９仮想ボタン
１０赤外線出力部
１１センサ情報処理部
１２指
１３ａ、１３ｂ赤外線ＬＥＤ（発光ダイオード）
１４ａ、１４ｂ遮光部分
２０絶縁シート
２１レンズ
２２撮像素子

Claims

ディスプレイの画面付近に設置される赤外線出力部と、
前記赤外線出力部から出力された赤外線を受光して受光検出信号を出力する赤外線受光部と、
使用者の指先の加速度を検出して加速度検出信号を出力すると共に、検出した加速度に基づいてクリック動作を検出してクリック動作検出信号を出力する加速度センサと、
前記指先に接触するように設けられており、前記クリック動作検出信号が供給された時にそのクリックの触覚を再現するために振動する振動部と、
前記指先が接触していることを検知して接触検出信号を出力する接触センサと、
前記受光検出信号、前記加速度検出信号、及び前記接触検出信号に基づいて、少なくとも前記赤外線出力部と前記赤外線受光部との間の距離及び位置の情報を含むセンサ情報を生成して無線送信するセンサ情報送信部と、
電源電圧を出力するバッテリと、
を有し、前記赤外線受光部、前記加速度センサ、前記振動部、前記接触センサ、前記センサ情報送信部、及び前記バッテリが、前記指先が収納される指収納部に内蔵された構成であることを特徴とする指取り付け型触覚再現機能付き処理装置。
前記赤外線出力部は、第１の遮光部分により遮光される第１の方向以外の方向へ赤外光を出射する第１の赤外線発光用光源と、第２の遮光部分により遮光される前記第１の方向とは異なる第２の方向以外の方向へ赤外光を出射する第２の赤外線発光用光源とが離間配置された構造であることを特徴とする請求項１記載の指取り付け型触覚再現機能付き処理装置。
前記加速度センサは、設定時間の間に、一方向に第１の閾値以上の加速度を検出した後に、前記一方向とは逆方向に第２の閾値以上の加速度を検出した時に、クリック動作として検出して前記クリック動作検出信号を出力することを特徴とする請求項１又は２記載の指取り付け型触覚再現機能付き処理装置。