JP2005352739A

JP2005352739A - 携帯端末装置、入力システム、情報入力方法

Info

Publication number: JP2005352739A
Application number: JP2004172336A
Authority: JP
Inventors: Hiroshi Otake; 浩史大竹
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2004-06-10
Filing date: 2004-06-10
Publication date: 2005-12-22
Anticipated expiration: 2024-06-10
Also published as: JP4379214B2

Abstract

【課題】携帯端末装置に、使用者が意図する動作を行わせるには、キーボードやキーパッド等を用いるため、十分な操作性を確保しつつ、小型化することが難しい。
【解決手段】圧電センサ２５を使用者の手首の腱の位置に装着して間接的に使用者の指の動きを測定し、加速度センサ２３が使用者の腕の動きを測定する。そして、制御定義用メモリ１６が記憶している各センサが測定した値と、実行すべき処理または入力すべき文字との関係を示す情報である動作入力情報とに従って、ＣＰＵ１２が動作する。
【選択図】図１

Description

本発明は、使用者の指や手首の腱および腕の動きを測定することによって、使用者が意図する動作を行うことができる携帯端末装置、入力システム、情報入力方法に関する。

従来、携帯端末装置に情報を入力するには、主にキーボードやキーパッド、入力ペン等の入力装置を使用していた。しかし、このような入力装置を、腕時計型やブレスレット型等の小型の端末に、十分な操作性を確保しつつ入力機能を搭載させることは難しい。

そのため、筋電位などの生体信号や、指が物体を叩いたときの振動や加速度等を測定することによって、情報を入力する方法が提案されている。しかし、筋電位を測定する場合、皮膚表面の電気抵抗は発汗や周囲の湿度の影響を受けるため、医療現場等では、電解ペーストを皮膚に塗布した上に測定用の電極を貼付している。このような作業は、携帯端末装置の使用者の負担が大きい。また、周囲の電気製品等からの電磁波によるノイズが混入することが多く、電磁波によるノイズは筋電位を測定する妨げとなる。特に、入力を行う携帯端末装置が、携帯電話機やＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙｐｈｏｎｅＳｙｓｔｅｍ）端末である場合には、電磁波の影響を避けることができない。

動きセンサを有する入力センサ装置を使用者の指先に装着して任意の対象に接触させ、対象の表面に沿って移動させる場合に生じる力に応じて、文字や命令の入力を認識する入力システムが提案されている（例えば、特許文献１参照。）。

また、加速度センサやジャイロセンサ、慣性センサによるセンサを指に装着して指の動きを測定し、測定した指の動きを画面に表示してある仮想キーボード上に重畳して表示し、指の動きに応じて、仮想キーボードのキー入力を検出する情報入力システムが提案されている（例えば、特許文献２参照。）。

特開２００１−１４２６３１号公報（段落（００２９）〜（０１０１）、図１）特開２００２−２７８６７３号公報（段落（００１２）〜（００１９）、図３）

しかし、特許文献１に記載されているシステムは、動きセンサを接触させる対象物が必要であり、ジェスチャーなどの動きを検出することができない。

また、特許文献２に記載されているシステムは、キーボードを表示することができる程度の大きさの表示手段が必要であり、小型化が求められる携帯端末装置に適用することはできない。

そこで、本発明は、使用者の指および腕の動きを測定することによって、使用者が意図する動作を行うことができる携帯端末装置、入力システム、情報入力方法を提供することを目的とする。

本発明による携帯端末装置は、使用者の腕に装着されて、使用者の指および腕の動きを間接的に測定して測定量を出力する複数のセンサと、複数種類の測定量または測定量の組み合わせのそれぞれに対応する入力情報を記憶する制御定義用メモリと、センサが出力した測定量に応じた入力情報を制御定義用メモリから抽出し、抽出した入力情報に従って制御を実行する制御手段とを備えたことを特徴とする。

複数のセンサのうち、一部のセンサは、使用者の手首にある指の骨に結ばれている腱の隆起を測定するセンサであってもよい。そのような構成によれば、使用者の手首や指の動きを間接的に測定することができる。

複数のセンサのうち、一部のセンサは、使用者の手首に装着されて使用者の腕の動きの加速度ベクトルを測定するセンサであってもよい。そのような構成によれば、使用者の腕の動きを間接的に測定することができる。

制御手段は、センサが出力した測定量を用いて演算を行い、演算によって得られた値に応じた入力情報を制御定義用メモリから抽出してもよい。そのような構成によれば、センサが出力した測定量にもとづいて制御を実行することができる。

制御定義用メモリおよび制御手段を含む筐体と有線または無線で接続された子機がセンサを搭載してもよい。そのような構成によれば、使用者が腕に装着する装置は子機であるため、使用者が腕に装着する装置をより小型化することができる。

一の筐体が、センサと制御定義用メモリと制御手段とを搭載してもよい。そのような構成によれば、一の筐体の携帯端末装置が使用者の指および腕の動きを測定し、使用者が意図する動作を行うことができる。

互いの距離を測定して測定量を出力する機能を有する複数の筐体を含んでもよく、制御定義用メモリは、複数種類の測定量または測定量の組み合わせと筐体間の距離との組み合わせのそれぞれに対応する入力情報を記憶してもよく、制御手段は、センサが出力した測定量と複数の筐体が出力した測定量とに応じた入力情報を制御定義用メモリから抽出し、抽出した入力情報に従って制御を実行してもよい。そのような構成によれば、携帯端末装置は、センサが測定した使用者の指および腕の動きの測定量に加えて、筐体間の距離に応じて制御を実行することができる。

本発明による入力システムは、複数種類の測定量または測定量の組み合わせのそれぞれに対応する入力情報を記憶する制御定義用メモリと、使用者の指および腕の動きを間接的に測定する複数のセンサが出力した測定量に応じた入力情報を制御定義用メモリから抽出し、抽出した入力情報に従って制御を実行する制御手段とを含む携帯端末装置と、携帯端末装置と有線または無線で接続された子機とを備え、携帯端末装置は、子機との距離を測定する距離測定手段を含み、携帯端末装置または子機は、使用者の腕に装着されるセンサを含むことを特徴とする。

本発明による情報入力方法は、使用者の腕に装着されて、使用者の指および腕の動きをセンサで間接的に測定し、複数種類の測定量または測定量の組み合わせのそれぞれに対応する入力情報を記憶し、センサが出力した測定量に応じた入力情報を抽出し、抽出した入力情報に従って制御を実行することを特徴とする。

本発明によれば、使用者の指および腕の動きに応じて、使用者が意図する制御を実行することができる。

また、本発明によれば、大きいサイズのキーボードやキーパッド等を用いることなく、使用者が意図する制御を実行することができるため、携帯端末装置をより小型化することができる。

さらに、本発明によれば、ジェスチャーなどの動きを検出して、何らかの対象物に触れることなく使用者が意図する制御を実行することができる。

本発明の実施の形態について図面を参照して説明する。図１は、本発明による携帯端末装置１１を手首に装着した例を示す説明図である。なお、手首に装着するのは、携帯端末装置１１であっても、携帯端末装置１１に有線または無線で接続され、センサを搭載した子機であってもよいが、この実施の形態では、手首に携帯端末装置１１を装着しているものとして説明する。

ところで、指と手首との筋肉は腕にあり、この筋肉と手の骨とがそれぞれ腱で結ばれている。そして、指や手首を曲げるとその角度に応じてそれぞれの腱の部分が隆起する。そこで、携帯端末装置１１の、それぞれの腱の部分に接触するような位置に、圧力を電圧に変換する圧電センサ（センサ）２５を配置する。圧電センサ２５は、腱の部分の隆起によって生じる接触圧を測定する。表示部２２は、白黒またはカラーの液晶パネルや、有機ＥＬ（電子蛍光）等によって実現され、情報を表示する。キーボード１９は、押下して情報を入力するキーを備える。

図２は、本発明による携帯端末装置１１の一構成例を示すブロック図である。携帯端末装置１１は、携帯端末装置１１の各部を制御するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）（制御手段）１２、情報を入力するキーボード１９、キーボード１９に入力された情報をＣＰＵ１２に出力するキー入力部１８、情報を表示する表示部２２、表示部２２を制御する表示制御部２１、３次元の加速度ベクトルを測定する加速度センサ２３、複数の圧電センサ２５、圧電センサ２５を制御し、圧電センサ２５が測定した値をＣＰＵ１２に出力する圧力入力部２４、ＣＰＵ１２が実行する各種の制御プログラムや、かな文字変換等に使用される辞書等の固定的なデータを記憶するＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１４、ＣＰＵ１２がプログラムを実行する上で一時的に必要とされるデータを記憶する作業用メモリ１５、圧電センサ２５と加速度センサ２３とが測定した値と、それに応じて実行するべき処理または入力するべき文字との関係の情報を記憶する制御定義用メモリ１６、各センサが測定するタイミングを示す信号であるトリガをＣＰＵ１２に出力するタイマ部１７、ＣＰＵ１２と各部を接続するバス１３を含む。

作業用メモリ１５は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）によって実現される。加速度センサ２３は、使用者の腕の３次元空間上における加速度ベクトルを測定し、３次元加速度センサによって実現されるが、２次元以下の空間の加速度ベクトルを測定するものでもよいし、例えば、複数の１次元の加速度センサを、それぞれが垂直方向の加速度を測定するように設置したものでもよい。

制御定義用メモリ１６は、例えば、不揮発性メモリによって実現される。なお、例えば、圧電センサ２５と加速度センサ２３とが測定する値、または、圧電センサ２５と加速度センサ２３とが測定する値の組み合わせにもとづいて、指、手首および腕の動きがパターン化され、携帯端末装置１１の工場出荷時等に、制御定義用メモリ１６は、パターン化された動きと、それに応じて実行すべき処理または入力すべき文字との関係を示す情報である動作入力情報を予め記憶している。また、使用者は、キーボード１９を操作して、パターン化された動きと、それに応じて実行すべき処理または入力すべき文字との関係の情報である動作入力情報を、制御定義用メモリ１６に記憶させてもよい。タイマ部１７は、所定の時間間隔（例えば、１０ｍｓ毎）で、トリガをＣＰＵ１２に出力し、ＣＰＵ１２は、トリガが入力されると、加速度センサ２３に加速度ベクトルを測定させ、圧力入力部２４を介して圧電センサ２５に接触圧を測定させる。なお、ＣＰＵ１２は、加速度センサ２３および圧電センサ２５が測定した測定量を用いて所定の演算を行い、演算によって得られた値に応じた動作入力情報を制御定義用メモリから抽出し、抽出した動作入力情報に従って処理を実行したり、文字を入力したりする制御を実行してもよい。

携帯端末装置１１は、例えば、携帯電話機やＰＨＳ端末、ＰＤＡ（ＰｅｒｓｏｎａｌＤａｔａＡｓｓｉｓｔａｎｃｅ、ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）等によって実現される。

次に、実施の形態の動作について図面を参照して説明する。図３は、本発明の実施の形態の動作を説明するフローチャートである。

携帯端末装置１１の電源が投入されると、タイマ部１７は、所定の時間間隔でトリガをＣＰＵ１２に出力する。ＣＰＵ１２は、トリガが入力されると、加速度センサ２３に加速度ベクトルを測定させ、圧力入力部２４を介して圧電センサ２５に接触圧を測定させる。このとき、使用者が、携帯端末装置１１を装着した腕や指を動かすと、加速度センサ２３は、加速度ベクトルを測定し、圧電センサ２５は、腱の隆起による接触圧を測定する。圧電センサ２５は、測定した接触圧を圧力入力部２４に入力する。ＣＰＵ１２は、加速度センサ２３が測定した加速度ベクトルを、作業用メモリ１５に記憶させる（ステップＳ１０１）。さらに、ＣＰＵ１２は、圧電センサ２５が圧力入力部２４に入力した接触圧を、作業用メモリ１５に記憶させる（ステップＳ１０２）。

ＣＰＵ１２は、作業用メモリ１５が記憶している加速度ベクトルおよび接触圧にもとづいて、使用者の指、手首および腕の動きをパターン認識し（ステップＳ１０３）、パターン認識した動きと、制御定義用メモリ１６が記憶している動作入力情報とを比較し、動きのパターンを判別する（ステップＳ１０４）。

ＣＰＵ１２は、パターン認識した動きと、制御定義用メモリ１６が記憶している動作入力情報のパターン化した動きとが合致した場合、動作入力情報に従って、パターン化した動きに応じて実行するべき処理を行ったり、文字を入力したりする（ステップＳ１０５）。

ＣＰＵ１２は、パターン認識した動きと、制御定義用メモリ１６が記憶している動作入力情報のパターン化した動きとが合致しない場合、所定時間経過後（ステップＳ１０６）、ステップＳ１０１に戻る。

以上、述べたように、この実施の形態によれば、指や手首の屈伸と、腕の移動または回転の組み合わせによって、使用者は、携帯端末装置１１に対して、意図する操作または文字の入力を行うことができる。そのため、サイズの大きいキーボードやキーパッドが不要になり、携帯端末装置１１をより小型化することができる。

また、携帯端末装置１１を、手首付近に装着するので、腕時計型やブレスレット型等の小型の携帯端末装置として自然な形で装着することができる。

さらに、各センサによる測定対象が、腕の運動や指および手首の機械的な変化量であるので、携帯端末装置１１自体からの、または周囲の電気製品などからの電磁波による影響を受けることがない。

また、使用者は、対象物に触れることなく操作または文字の入力を行うことができるので、ジェスチャーなどの動きを検出することができる。

なお、この実施の形態では、指や手首を曲げた角度（圧電センサ２５が測定した腱の接触圧）と腕の移動や回転の運動（加速度センサ２３が測定した加速度ベクトル）との組み合わせによって、携帯端末装置１１が行う処理や入力する文字を決定するが、これらの組み合わせのうち、一部の組み合わせを用いて携帯端末装置１１が行う処理や入力する文字を決定してもよいし、キーボード１９への入力と組み合わせて携帯端末装置１１が行う処理や入力する文字を決定してもよい。また、１つのセンサが測定した量にもとづいて、携帯端末装置１１が行う処理や入力する文字を決定してもよい。

また、この実施の形態では、指の腱の隆起を測定するセンサとして圧電センサ２５を用いたが、本発明はこれに限定されるものではなく、加速度センサや、歪みゲージ等の、皮膚の起伏の変位が測定できる他のセンサを用いてもよい。腕の移動や回転の運動を測定するセンサとして加速度センサ２３を用いたが、質量計と感圧センサを組み合わせて用いたり、ジャイロセンサが測定した姿勢変化量と姿勢変化速度と姿勢変化加速度とを用いたりして腕の移動や回転の運動を測定してもよい。

使用者の指や手首、腕の動きのパターンに応じて実行されるべき携帯端末装置１１の処理は、例えば、メニュー選択機能や、かな文字変換の機能、カーソル移動機能、画面スクロール機能、各種機能の呼び出し等である。

使用者の腕の動きを、加速度センサ２３が測定した加速度ベクトルのうち、携帯端末装置１１の移動による成分を時間で１回積分して得られる速度ベクトルや、２回積分して得られる変位ベクトルから求めてもよい。

圧電センサ２５が測定した接触圧や、加速度センサ２３が測定した加速度ベクトルから使用者の指や手首、腕の動きのパターンを判別する基準を、使用者の操作によって、変更可能にしてもよい。すると、例えば、携帯端末装置１１を初めて利用する使用者は、大きな変化量で入力を確定することによって誤入力を抑制することができ、携帯端末装置１１の操作に慣れた使用者は、小さな変化量で入力を確定することによって、入力操作を迅速に行うことができる。なお、圧電センサ２５が測定した接触圧や、加速度センサ２３が測定した加速度ベクトルから使用者の指や手首、腕の動きのパターンを判別する基準を、使用者の操作によって、変更可能にしなくてもよい。その場合、動作入力情報をＲＯＭ１４に記憶させてもよい。

携帯端末装置１１の消費電力を低減するために、ＣＰＵ１２は、圧電センサ２５および加速度センサ２３への入力時以外は、圧電センサ２５および加速度センサ２３の電源を切ったりして、パワーセーブ状態にしてもよい。

なお、この実施の形態では、図１の例で示したように、圧電センサ２５を手首の円周に沿って直線上に配置したが、圧電センサ２５を２次元の平面上に配置したり、腱の隆起の移動を測定することができる平面状の圧電センサを用いてもよい。すると、腱の隆起の変化をより正確に測定することができる。すなわち、より複雑な指の動きを測定することが可能になる。

また、制御定義用メモリ１６は、手話による手と腕との動きにもとづく圧電センサ２５と加速度センサ２３とが測定した値と、それに対応する文字や単語との関係の情報を記憶してもよい。聴覚にハンディキャップを持つ人は、手話でコミュニケーションを行うのが一般的であるが、制御定義用メモリ１６が、手話による手と腕との動きと、文字や単語との対応関係を示す情報を記憶していると、手話による手と腕との動きに応じて、携帯端末装置１１に文字や単語を入力することができる。すると、聴覚にハンディキャップを持つ人が、携帯端末装置１１に文字や単語を入力するために、新たな指や腕の動きを習得する必要がなくなる。

ＣＰＵ１２は、各センサから、所定の長さの時間以上の入力や、所定の大きさ以上の入力、測定値の変化が所定の大きさ以上である入力があった場合に、携帯端末装置１１への入力であると判断してもよい。すると、チャタリングによる誤入力を防ぐことができる。

また、携帯端末装置１１は、互いの距離を測定する機能を有し、有線または無線で接続された複数のユニットによって構成されてもよい。このとき、ＣＰＵ１２と、キーボード１９と、キー入力部１８と、表示部２２と、表示制御部２１と、ＲＯＭ１４と、作業用メモリ１５と、制御定義用メモリ１７と、タイマ部１７とを含むユニット（以下、親機という。）は、例えば、音波によって他のユニット（以下、子機という。）との距離を測定する距離測定手段を含む。そして、制御定義用メモリ１６は、手と腕との動きにもとづく圧電センサ２５と加速度センサ２３とが測定した値、および子機との間の距離と、それに対応する文字および処理との関係の情報を記憶してもよい。すると、指や手の動きに加えて、親機と子機との間の距離に応じて、携帯端末装置１１が行う処理や文字を入力することができる。なお、このとき、各センサは、親機が搭載していても、子機が搭載していてもよく、複数のセンサの一部を親機が搭載し、複数のセンサの他の一部を子機が搭載していてもよい。また、距離測定手段を子機が搭載していてもよい。

本発明は、携帯電話機やＰＨＳ端末、ＰＤＡ等の携帯端末装置に利用することができる。

本発明による携帯端末装置を手首に装着した例を示す説明図である。本発明による携帯端末装置の一構成例を示すブロック図である。本発明の実施の形態の動作を説明するフローチャートである。

符号の説明

１１携帯端末装置
１２ＣＰＵ
１３バス
１４ＲＯＭ
１５作業用メモリ
１６制御定義用メモリ
１７タイマ部
１８キー入力部
１９キーボード
２１表示制御部
２２表示部
２３加速度センサ
２４圧力入力部
２５圧電センサ

Claims

使用者の腕に装着されて、使用者の指および腕の動きを間接的に測定して測定量を出力する複数のセンサと、
複数種類の測定量または測定量の組み合わせのそれぞれに対応する入力情報を記憶する制御定義用メモリと、
前記センサが出力した測定量に応じた入力情報を前記制御定義用メモリから抽出し、抽出した入力情報に従って制御を実行する制御手段と
を備えたことを特徴とする携帯端末装置。
複数のセンサのうち、一部のセンサは、使用者の手首にある指の骨に結ばれている腱の隆起を測定するセンサである
請求項１記載の携帯端末装置。
複数のセンサのうち、一部のセンサは、使用者の手首に装着されて使用者の腕の動きの加速度ベクトルを測定するセンサである
請求項１または請求項２記載の携帯端末装置。
制御手段は、センサが出力した測定量を用いて演算を行い、演算によって得られた値に応じた入力情報を前記制御定義用メモリから抽出する
請求項１から請求項３のうちいずれか１項記載の携帯端末装置。
制御定義用メモリおよび制御手段を含む筐体と有線または無線で接続された子機がセンサを搭載する
請求項１から請求項４のうちいずれか１項記載の携帯端末装置。
一の筐体が、センサと制御定義用メモリと制御手段とを搭載する
請求項１から請求項４のうちいずれか１項記載の携帯端末装置。
互いの距離を測定して測定量を出力する機能を有する複数の筐体を含み、
制御定義用メモリは、複数種類の測定量または測定量の組み合わせと前記筐体間の距離との組み合わせのそれぞれに対応する入力情報を記憶し、
制御手段は、センサが出力した測定量と前記複数の筐体が出力した測定量とに応じた入力情報を前記制御定義用メモリから抽出し、抽出した入力情報に従って制御を実行する
請求項１から請求項５のうちいずれか１項記載の携帯端末装置。
複数種類の測定量または測定量の組み合わせのそれぞれに対応する入力情報を記憶する制御定義用メモリと、使用者の指および腕の動きを間接的に測定する複数のセンサが出力した測定量に応じた入力情報を前記制御定義用メモリから抽出し、抽出した入力情報に従って制御を実行する制御手段とを含む携帯端末装置と、
前記携帯端末装置と有線または無線で接続された子機とを備え、
前記携帯端末装置は、前記子機との距離を測定する距離測定手段を含み、
前記携帯端末装置または前記子機は、使用者の腕に装着される前記センサを含む
ことを特徴とする入力システム。
使用者の腕に装着されて、使用者の指および腕の動きをセンサで間接的に測定し、
複数種類の測定量または測定量の組み合わせのそれぞれに対応する入力情報を記憶し、
前記センサが出力した測定量に応じた入力情報を抽出し、抽出した入力情報に従って制御を実行する
ことを特徴とする情報入力方法。