WO2011048840A1

WO2011048840A1 - 入力動作解析方法および情報処理装置

Info

Publication number: WO2011048840A1
Application number: PCT/JP2010/059269
Authority: WO
Inventors: 収西田; 輝夫北條; 進吾野村
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2009-10-19
Filing date: 2010-06-01
Publication date: 2011-04-28
Anticipated expiration: 2012-04-19
Also published as: US20120212440A1

Abstract

　種類の異なる入力手段を同時に用いた多点入力を、操作者の意図どおりに正確に行うことができる入力動作解析方法および情報処理装置を提供する。本発明に係る情報処理装置は、表示画面内の同一の入力領域（１）に対し、指（２）および指（２）より細いペン（３）を用いた入力動作を同時に受け付け可能である。操作者が、上記入力領域（１）に対して、少なくとも指（２）を接触または近接させた状態で、上記入力領域（１）の面に沿って指（２）またはペン（３）を動かす第１の入力動作を行ったとき、上記情報処理装置は、ペン（３）による入力動作を判別する入力具判別基準ではなく、指（２）による入力動作を判別する指判別基準であって、上記入力具判別基準よりも判別の解析度が低い指判別基準を用いて、指（２）またはペン（３）による上記第１の入力動作を解析する。

Description

入力動作解析方法および情報処理装置

　本発明は、ペンのような入力具および指の少なくとも一方を用いて、情報表示画面に手書き入力を行うことができる情報処理装置に関し、より詳細には、ペンまたは指による情報処理装置への入力動作を解析し、その入力動作に応じた情報処理を行うための入力動作解析方法と、その入力動作解析方法を実行する情報処理装置とに関するものである。

　従来、情報表示画面にペンのような入力具または指などが接触した位置を検出し、上記情報表示画面を備えた情報処理装置または情報処理システムに、操作者の意図を伝達するための入力装置として、タッチパネル（タッチセンサ）が開発されている。そのようなタッチパネルを情報表示画面に一体的に組み込んだ表示装置として、例えばタッチパネル一体型の液晶表示装置が普及している。

　タッチパネルにおける入力位置の検出方式としては、静電容量結合方式、抵抗膜方式、赤外線方式、超音波方式及び電磁誘導／結合方式などが知られている。

　下掲の特許文献１には、ペンを用いた入力を行う領域と、指を用いた入力を行う領域とを分けた入力装置が開示されている。

　図１１は、表示パネル上に透明なタッチパネルを配置した操作パネル２０に、操作者が様々な入力を行うための各種アイコンを表示した例を示す説明図である。

　例えば、鍵盤を模した「鍵盤」アイコン６１は、選択されているパート（楽器）の音域に対応した鍵盤を表しており、この鍵盤をタッチすることにより、その鍵盤の発音域を、選択されているパートの音色で演奏することができる。

　アイコン６２，６３は、「鍵盤」アイコン６１で示される鍵盤の発音域をオクターブ単位でシフトするためのものである。

　また、各種アイコン６４～６６は、音色または発音の仕方を制御する楽音パラメータの設定を変更する画面を呼び出す役割を持ち、アイコン６７は、楽音パラメータの数値を増減させる役割を持っている。

　ここで、操作者が、上記操作パネル２０を通じて快適な演奏を行えるようにするには、「鍵盤」アイコン６１およびアイコン６２，６３については、入力判定および入力に対する応答に要する時間は短い方が良いのに対し、アイコン６４～６７のように、現在の各種設定を変更するためのアイコンについては、入力判定および入力に対する応答に要する時間はむしろ長い方が、誤入力を防止する上で都合が良い。

　ところで、タッチパネルが押圧されていない状態から押圧された場合、直ちには正しい押圧位置を表す電圧が出力されないため、一般には若干のタイムラグを見込んでおく必要がある。また、このタイムラグは、押圧面積の大きなもの（たとえば、指）で押圧するほど大きくなり、押圧に対する位置判定に時間を要する。

　したがって、主として、押圧面積の小さいペン等で操作する第１の入力領域と、主として、押圧面積の大きな指等で操作する第２の入力領域とを分け、上記第１の入力領域に上記「鍵盤」アイコン６１およびアイコン６２，６３を配置し、上記第２の入力領域に上記アイコン６４～６７を配置するとともに、押圧操作に対する位置判定の方法をも入力領域に応じて異ならせることが望ましいと、特許文献１では説明されている。

日本国公開特許公報「特開２００５－９９８７１号公報（２００５年４月１４日公開）」日本国公開特許公報「特開２００７－５８５５２号公報（２００７年３月８日公開）」

　しかしながら、上記特許文献１の操作パネル２０では、ペン等で操作する第１の入力領域と指等で操作する第２の入力領域とを分けておき、その分け方を固定する構成なので、操作者が、入力領域に対して、ペンまたは指の使い易い方を自由に選択して入力を行うことができないという問題を有している。

　また、上記操作パネル２０では、１つの入力領域に対してペンと指とを同時に接触させ、ペンと指の少なくとも一方の位置変化によって、より高度な入力処理を行う多点入力方式に対応することができない。

　例えば上掲の特許文献２には、上記多点入力方式の例が開示されている。入力処理の具体例としては、ある形状およびサイズの表示画像を表示させた状態で、ユーザの２つの指で、その表示画像の左右の縁に触れた状態とし、その触れた位置の変化で、表示画像の表示サイズを変化させる表示処理が紹介されている。

　しかしながら、ペンと指のような種類の異なる入力手段を同時に用いた多点入力を行おうとすると、特許文献１で説明されているように、ペンの位置判定方法と、指の位置判定方法とを異ならせる必要があるが、この点が、特許文献２では全く考慮されていない。このため、本発明の実施の形態の欄で後述するように、種類の異なる入力手段を同時に用いた多点入力では、操作者が期待するような反応が得られず、操作者にとって誤動作になってしまうことがある。

　本発明は上記問題点に鑑みてなされたものであり、その主たる目的は、種類の異なる入力手段を同時に用いた多点入力を、操作者の意図どおりに正確に行うことができる入力動作解析方法および情報処理装置を提供することにある。

　本発明の情報処理装置は、上記の課題を解決するために、
(1)表示画面内の同一の入力領域に対し、指および指より細い入力具を用いた入力動作を同時に受け付け可能であり、当該入力動作に応じた情報処理を行う情報処理装置において、
(2)上記入力領域に対して上記入力具が接触または近接したのか、指が接触または近接したのかを識別する入力識別部と、
(3)上記入力具を用いた入力動作を判別する入力具判別基準と、指を用いた入力動作を判別する指判別基準であって、上記入力具判別基準よりも判別の解析度が低い指判別基準とを格納した記憶部と、
(4)上記入力識別部が、上記入力領域に対して、少なくとも指の接触または近接を１点検出し、かつ、上記入力領域の面に沿って上記入力具または指を動かした第１の入力動作があったとき、上記記憶部から上記指判別基準を呼び出し、上記指判別基準を用いて上記入力具または指による上記第１の入力動作を解析する解析部と
を備えたことを特徴とする。

　上記の構成において、入力具または指を用いた入力動作には、入力領域に対して、入力具または指を接触または近接させる動作、入力領域の面に沿って入力具または指を動かす第１の入力動作、入力具または指を入力領域から離間させる動作の全てが含まれている。すなわち、第１の入力動作は、入力動作の１形態である。

　上記構成によれば、指より細い入力具を用いた入力動作と、指を用いた入力動作とで、判別基準を異ならせている。これは、入力領域に対して入力具と指とをそれぞれ接触または近接させたときの各入力面積を考えると、指の入力面積の方が、入力具の入力面積より大きいため、指の方が入力具よりも出力される座標の変動が大きいためである。

　一般的に、指より細い入力具を用いた上記第１の入力動作としては、指で描くよりも細かい動き、例えば細かい文字を描く、あるいは文章を描くなどが考えられる。したがって、入力具判別基準は、指判別基準より細かい第１の入力動作の判別に対応できるように、入力動作全般に対して、より高い解析度に対応している。

　このため、例えば、指を用いた第１の入力動作を入力具判別基準に照らして判別すると、操作者が動かしたつもりのない指のぶれが、上記第１の入力動作であると判別され、操作者が意図しない誤動作を招くおそれがある。

　そこで、上記入力識別部が、上記入力領域における少なくとも１点の位置において、指の接触または近接を検出した場合には、たとえ、入力具の接触または近接を他の位置において併せて検出したとしても、入力具による第１の入力動作および指による第１の入力動作のどちらに対しても、上記解析部が、入力具判別基準を用いずに、上記指判別基準を用いて第１の入力動作を解析する。

　これにより、操作者が動かしたつもりのない指のぶれは、第１の入力動作と誤判定されなくなるので、種類の異なる入力手段を同時に用いた多点入力を、操作者の意図どおりに正確に行うことができる。

　なお、上記入力領域は、上記表示画面の一部でもよいし、全部でもよい。

　本発明の入力動作解析方法は、上記の課題を解決するために、表示画面内の同一の入力領域に対し、指および指より細い入力具を用いた入力動作を同時に受け付け可能であり、当該入力動作に応じた情報処理を行う情報処理装置が実行する入力動作解析方法であって、上記情報処理装置の操作者が、上記入力領域に対して、少なくとも指を接触または近接させた状態で、上記入力領域の面に沿って上記入力具または指を動かす第１の入力動作を行ったとき、上記情報処理装置は、上記入力具を用いた入力動作を判別する入力具判別基準ではなく、指を用いた入力動作を判別する指判別基準であって、上記入力具判別基準よりも判別の解析度が低い指判別基準を用いて、上記入力具または指による上記第１の入力動作を解析することを特徴とする。

　これにより、既に説明したとおり、操作者が動かしたつもりのない指のぶれは第１の入力動作と誤判定されなくなるので、種類の異なる入力手段を同時に用いた多点入力を、操作者の意図どおりに正確に行うことができる。

　本発明の情報処理装置および入力動作解析方法は、以上のように、表示画面内の同一の入力領域に対して、操作者が、少なくとも指を接触または近接させ、かつ、上記入力領域の面に沿って上記入力具または指を動かす第１の入力動作を行ったとき、上記情報処理装置は、上記入力具を用いた入力動作を判別する入力具判別基準ではなく、指を用いた入力動作を判別する指判別基準を用いて、上記入力具または指による上記第１の入力動作を解析する構成である。

　それゆえ、操作者が動かしたつもりのない指のぶれは第１の入力動作と誤判定されなくなるので、種類の異なる入力手段を同時に用いた多点入力を、操作者の意図どおりに正確に行うことができるという効果を奏する。

入力用のペンと指とを同時に用いた本発明の入力動作について説明するための説明図である。本発明に係る情報処理装置の全体構成を概略的に示すブロック図である。ジェスチャー入力および手書き入力を実行するためのより具体的な構成を示すブロック図である。タッチパネル制御基板の構成のうち、指による入力動作と、ペンによる入力動作との判別処理に携わる構成を示すブロック図である。光センサ内蔵型液晶表示パネルの断面を模式的に示す断面図である。タッチパネルに対する入力位置の検出を、対象物の像を検知することにより行う様子を示す模式図である。光センサ内蔵型液晶表示パネルが出力する画像データを示す図である。指とペンとにおける、接触時間に関する閾値Ｔ２の違いを示した説明図である。第２の入力動作に関する入力動作判定処理の手順を示すフローチャートである。第１の入力動作に関する入力動作判定処理の手順を示すフローチャートである。表示パネル上に透明なタッチパネルを配置した操作パネルに、操作者が様々な入力を行うための各種アイコンを表示した従来例を示す説明図である。

　以下、本発明の実施の形態について、詳細に説明する。

　〔実施の形態１〕
　本発明の一実施形態について、図１～図１０に基づいて説明すれば以下の通りである。

　（入力動作解析方法）
　まず、本発明の入力動作解析方法について、具体的に説明する。図１は、入力用のペンと指とを同時に用いた入力動作について説明するための説明図である。図１に示すように、本発明に係る情報処理装置は、表示画面内の同一の入力領域１に対し、指２および指２より細い入力具としてのペン３を用いた入力動作を同時に受け付け可能であり、当該入力動作に応じた情報処理を行うことができる。

　上記情報処理装置の操作者が、上記入力領域１に対して、少なくとも指２を接触または近接させた状態で、入力領域１の面に沿って指２またはペン３を動かす入力動作を第１の入力動作と呼ぶ。

　上記情報処理装置が、この第１の入力動作を解析するときには、ペン３を用いた入力動作を判別する入力具判別基準ではなく、指２を用いた入力動作を判別する指判別基準を用いる。

　より具体的には、上記入力具判別基準として、入力領域１の面に沿ったペン３の移動距離に関する閾値を用いることができ、上記指判別基準として、入力領域１の面に沿った上記指２の移動距離に関する閾値を用いることができる。なお、上記閾値のことを、第１の入力動作を解析するために予め設定されたパラメータと呼んでもよい。

　本発明および本実施形態では、入力具判別基準と指判別基準とは、互いに異なるように設定され、より具体的には、指判別基準を用いた判別の解析度は、入力具判別基準を用いた判別の解析度より低く設定されている。例えば、図１に示すように、指２の移動距離に関する閾値Ｌ１は、ペン３の移動距離に関する閾値Ｌ２より大きく設定されている。

　ここで、入力領域１に対して指２とペン３とを接触させたときの接触面積、または近接させたときに入力領域１の面に投影される影の面積を入力面積と総称する。なお、影の面積は、入力が検知され得る本影の面積であり、本影の周囲などに形成される半影の面積は、入力を検知する感度の閾値により通常は除外される。

　上記のようにペン３の閾値Ｌ２を指２の閾値Ｌ１より小さく設定する理由は、指２の入力面積の方が、ペン３の入力面積より大きいため、指２の方がペン３よりも出力される座標の変動が大きいからである。

　一般的に、指２より細いペン３を用いた上記第１の入力動作としては、指２で描くよりも細かい動き、例えば細かい文字を描く、あるいは文章を描くなどが考えられる。したがって、入力具判別基準は、指判別基準より細かい第１の入力動作の判別に対応できるように、入力動作全般に対して、より高い解析度に対応している。

　このため、例えば、指２を用いた第１の入力動作を入力具判別基準に照らして判別すると、操作者が動かしたつもりのない指２のぶれが、上記第１の入力動作であると判別され、操作者が意図しない誤動作を招くおそれがある。

　その一例として、指２を入力領域１のある位置に接触させたまま動かさず、入力領域１の他の位置でペン３によって第１の入力動作（ジェスチャー、または文字を描くなど）をした場合を想定する。この場合、操作者は指２の位置を固定しているつもりでも、実際には、入力面積が大きくなったり小さくなったり、指２の位置を示す代表点（後述）の座標が揺れ動いたりする。このため、指２を固定しながらペン３を動かすような多点入力を入力具判別基準に照らして判別すると、ペン３の動きに加えて、指２のぶれも第１の入力動作であると誤判定されてしまう。

　そこで、操作者が、入力領域１における少なくとも１点の位置において、指２を接触または近接させた状態が検出された場合には、たとえ、ペン３の接触または近接を他の位置において併せて検出したとしても、ペン３による第１の入力動作および指２による第１の入力動作のどちらに対しても、入力具判別基準を用いずに、上記指判別基準を用いて第１の入力動作を解析する。なお、上記他の位置において、ペン３の代わりに上記指２とは違う指を用いて第１の入力動作を行ってもよい。

　これにより、操作者が動かしたつもりのない指２のぶれは第１の入力動作と誤判定されなくなるので、種類の異なる入力手段を同時に用いた多点入力を、操作者の意図どおりに正確に行うことができる。

　なお、図１には、入力領域１に対して、指２の接触または近接が検出された点と、ペン３の接触または近接が検出された点との中点Ｍの移動距離と、指２の閾値Ｌ１との大小を判定する例が示されている。

　中点Ｍの移動距離と指２の閾値Ｌ１とを比較することにより、指２がある程度ぶれても、閾値Ｌ１の範囲内のぶれであれば、中点Ｍは移動していないと判定される。これに対し、仮に、中点Ｍの移動距離とペン３の閾値Ｌ２とを比較するとすれば、閾値Ｌ２は閾値Ｌ１よりはるかに小さいため、指２がわずかにぶれても、中点Ｍが移動したと判定され、操作者が意図しない誤動作が起きるおそれがある。

　本発明の入力動作解析方法は、指２とペン３とを同時に用いた第１の入力動作が行われる場合に、指２による入力動作が検出された場合には、必ず指２の閾値Ｌ１を入力動作の判定基準として用いるので、上記の誤動作を防止することができる。

　以下、上記入力動作解析方法を実施するための情報処理装置について説明する。

　（情報処理装置の全体構成）
　図２は、本発明に係る情報処理装置１０の全体構成を概略的に示すブロック図である。

　情報処理装置１０は、タッチパネルを備えたＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）またはＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）であり、液晶ディスプレイ（ＬＣＤ；Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）１１上にタッチパネル１２が一体的に設けられている。

　なお、液晶ディスプレイ（以下、ＬＣＤと略記する）１１およびタッチパネル１２として、画素ごとに光センサ素子を内蔵した液晶表示装置を用いることができる。このような光センサ内蔵型液晶表示装置は、ＬＣＤ１１およびタッチパネル１２を別々の要素として備える構成よりも薄型化を実現できる。

　また、光センサ内蔵型液晶表示装置は、情報の表示に加え、表示画面に接触または近接した対象物の画像を検出することができる。したがって、画像の検出により、指２またはペン３の入力位置の検出以外に、印刷物等の画像の読み取り（スキャン）を行うこともできる。なお、表示に用いるデバイスは、液晶ディスプレイに限定されるものではなく、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどであってもよい。

　さらに、情報処理装置１０は、ＬＣＤ１１およびタッチパネル１２の動作を制御する構成として、ＣＰＵ基板１３、ＬＣＤ制御基板１４およびタッチパネル制御基板１５を備えている。

　ＬＣＤ制御基板１４は、ＬＣＤ１１とＣＰＵ基板１３との間に接続され、ＣＰＵ基板１３から出力される映像信号を駆動信号に変換する。ＬＣＤ１１は、駆動信号によって駆動され、上記映像信号に対応する情報を表示する。

　タッチパネル制御基板１５は、タッチパネル１２とＣＰＵ基板１３との間に接続され、タッチパネル１２から出力されるデータをジェスチャーデータに変換する。ジェスチャーとは、情報処理装置１０の表示画面の全部または特定の一部である前記入力領域１において、表示画面に沿って、指２またはペン３を移動させたときの軌跡を意味し、様々な図形を描く各種軌跡のそれぞれが、特定の情報処理を指令するコマンドと対応付けられている。

　なお、ジェスチャーの種類は、ＭＯＶＥ（移動）、ＰＩＮＣＨ（拡大縮小）、ＲＯＴＡＴＥ（回転）に大きく分けることができる。

　後述する図３のジェスチャーコマンドテーブルに例示しているように、ＭＯＶＥには、シングルタッチのジェスチャーＪ１，Ｊ２などのほかに、マルチタッチのジェスチャーＪ３，Ｊ４，Ｊ５などが含まれる。

　ＰＩＮＣＨは、ジェスチャーＪ６，Ｊ７として示すように、例えば、入力領域１上の２点の入力位置の間隔を広げたり、狭めたりする入力動作である。

　ＲＯＴＡＴＥは、ジェスチャーＪ８として示すように、例えば２点の入力位置を互いに時計回り、または反時計回りに動かす入力動作である。

　また、入力領域１に対して、指２またはペン３を接触または近接させるタッチダウンの動作（ＤＯＷＮ）、および入力領域１に接触または近接させていた指２またはペン３を、入力領域１から離間させるタッチアップの動作（ＵＰ）をジェスチャーに含めることもある。

　上記ジェスチャーデータは、ＣＰＵ基板１３に送られ、ＣＰＵ基板１３に設けられたＣＰＵ１６によって、ジェスチャーデータに対応付けられたコマンドが認識され、コマンドに対応する情報処理が実行される。

　ＣＰＵ基板１３には、ＣＰＵ１６の動作を制御する各種プログラムを格納したＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、あるいは処理中のデータを一時的に格納するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などによって構成されたメモリ１７が設けられている。

　なお、タッチパネル１２から出力されるデータは、タッチパネルの方式が、例えば、抵抗膜方式の場合には電圧データであり、静電容量結合方式の場合には、静電容量データであり、光センサ方式の場合には、光センサデータである。

　（ジェスチャー入力等を実行する具体的な構成）
　次に、ジェスチャー入力および手書き入力を実行するためのタッチパネル制御基板１５、ＣＰＵ１６およびメモリ１７のより具体的な構成について、図３に基づいて説明する。

　タッチパネル制御基板１５には、座標生成部１５１、ジェスチャー判定部１５２、手書文字認識部１５３、およびメモリ１５４が備えられている。メモリ１５４は、ジェスチャーコマンドテーブルを記憶した記憶部１５４Ａと、手書文字テーブルを記憶した記憶部１５４Ｂとを備えている。

　また、ＣＰＵ１６には、実行する機能の観点において、軌跡描画部１６１および表示情報編集部１６２が備えられている。

　上記メモリ１７は、格納するデータの種類の観点において、ビットマップメモリ１７１および表示情報メモリ１７２を備えている。

　上記座標生成部１５１は、ＬＣＤ１１およびタッチパネル１２の入力領域１に対して、指２またはペン３が接触または近接した位置の座標データを生成し、さらに、上記位置の変化を軌跡座標データとして順次生成する。

　上記ジェスチャー判定部１５２は、座標生成部１５１によって生成された軌跡座標データを、上記ジェスチャーコマンドテーブルに格納されているコマンドの基本ストロークのデータと照合して、軌跡座標が描く線画に最も近似する基本ストロークに対応するコマンドを特定する。

　続いて、ジェスチャー判定部１５２は、入力領域１に対して行われたジェスチャーが、例えばＬＣＤ１１に表示されている文章または図形の編集を指令するジェスチャーである場合、上記コマンドを認識した後、認識したコマンドと、軌跡座標に基づいて認識した編集の対象となる文字、文字列または図形の位置情報とを表示情報編集部１６２に与える。

　上記軌跡描画部１６１は、座標生成部１５１により生成された軌跡座標データから、軌跡座標をつなげた軌跡イメージを生成する。その軌跡イメージは、ビットマップメモリ１７１に供給され、ビットマップメモリ１７１において、ＬＣＤ１１に表示されているイメージと合成され、ＬＣＤ１１に送出される。

　表示情報編集部１６２は、表示情報メモリ１７２内に格納された文字、文字列または図形のデータのうち、ジェスチャー判定部１５２から供給された位置情報に相当する文字、文字列または図形に対し、コマンドに対応する編集処理を行う。

　なお、表示情報編集部１６２は、ジェスチャー判定部１５２からのジェスチャーコマンドを受け付けるだけでなく、キーボード１８から入力されたコマンドも受け付けて、キー操作による編集処理を行うこともできる。

　表示情報メモリ１７２は、ＬＣＤ１１に表示される情報を格納するメモリであり、ビットマップメモリ１７１と共に、ＲＡＭ内に設けられている。表示情報メモリ１７２に格納された各種情報は、ビットマップメモリ１７１内のイメージと合成され、上記ＬＣＤ制御基板１４を介してＬＣＤ１１に表示される。

　手書文字認識部１５３は、座標生成部１５１により抽出された軌跡座標と、上記手書文字テーブルに格納された複数の基本文字ストロークとを照合し、軌跡座標が描く線画に最も近似する基本文字ストロークに対応する文字コードを認識して表示情報編集部１６２に出力する。

　（入力手段の判別を実行する具体的な構成）
　次に、図４を参照して、上記入力領域１に対して、指２による入力動作と、ペン３による入力動作とを判別する具体的な構成について説明する。

　図４は、タッチパネル制御基板１５の構成のうち、指２による入力動作と、ペン３による入力動作との判別処理に携わる構成を示すブロック図である。図４に示すように、タッチパネル制御基板１５の上記メモリ１５４は、上記ジェスチャーコマンドテーブル１５４Ａおよび手書文字テーブル１５４Ｂを格納した記憶部のほかに、ペン認識用パターンデータを記憶した記憶部１５４Ｃと、指認識用パターンデータを記憶した記憶部１５４Ｄと、ペン用パラメータを記憶した記憶部１５４Ｅと、指用パラメータを記憶した記憶部１５４Ｆと、ペン・指共通パラメータを記憶した記憶部１５４Ｇとを備えている。

　上記入力領域１に、指２またはペン３が接触または近接すると、前述したように、指２もペン３も、ある大きさの入力面積を持った領域を特定することになる。この領域の代表点を座標生成部１５１が検出することによって、座標生成部１５１は、指２またはペン３の入力位置を示す座標データ（ｘ，ｙ）を生成することができる。

　上記入力領域１に、指２が接触または近接したのか、それともペン３が接触または近接したのかを座標生成部１５１が判定するために、指２については上記指認識用パターンデータが用意され、ペン３については上記ペン認識用パターンデータが用意されている。すなわち、座標生成部１５１は、上記入力領域１に、指２またはペン３が接触または近接したときに、タッチパネル１２から出力されたデータ（パネル生データ）を、上記指認識用パターンデータおよびペン認識用パターンデータと照合することによって、指２が接触または近接したのか、あるいはペン３が接触または近接したのかを識別する属性データと、指２による入力位置の座標データ（ｘ１，ｙ１）、あるいはペン３による入力位置の座標データ（ｘ２，ｙ２）を生成することができる。

　したがって、座標生成部１５１は、入力領域に対して入力具が接触または近接したのか、指が接触または近接したのかを識別する本発明の入力識別部に相当している。

　一方、上記指用パラメータは、既に説明した指判別基準のことであり、指２による比較的粗い位置変化を検出するのに用いられ、例えば、指２の移動距離に関する前記閾値Ｌ１として用意されている。

　また、上記ペン用パラメータは、既に説明した入力具判別基準のことであり、ペン３による比較的細かい位置変化を検出するのに用いられ、例えば、ペン３の移動距離に関する前記閾値Ｌ２として用意されている。

　さらに、ペン・指共通パラメータは、指２またはペン３の属性の識別を必要としないパラメータである。その一例として、複数の指による多点入力、または少なくとも１本の指２とペン３とによる多点入力の点の数を、最大何点まで認識するかという上限値を示すようなパラメータを挙げることができる。

　上記ジェスチャー判定部１５２は、指２の入力動作に対して指用パラメータを用い、ペン３の入力動作に対してペン用パラメータを用い、さらにペン・指共通パラメータも用いることによって、ジェスチャーの判定を行う。

　（光センサ内蔵型液晶表示パネルによる代表点の検出）
　（１）光センサ内蔵型液晶表示パネルの概略構成
　上記座標生成部１５１が、指２とペン３とを識別する属性データを生成すると共に、入力位置の座標データ（ｘ，ｙ）を代表点の特定によって生成するための構成例を以下に説明する。

　図５は、光センサ内蔵型液晶表示パネル３０１の断面を模式的に示す断面図である。なお、ここで説明する光センサ内蔵型液晶表示パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造の表示パネルを利用できる。

　図示のとおり、光センサ内蔵型液晶表示パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、フォトダイオード６および光センサ回路（図示せず）、配向膜５８、偏光板５９などが設けられている。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられている。また、光センサ内蔵型液晶表示パネル３０１の背面には、バックライト３０７が設けられている。

　（２）入力位置の検出方法
　次に、図６の（ａ）および（ｂ）を参照しながら、操作者が、指２またはペン３を光センサ内蔵型液晶表示パネル３０１に接触または近接させた入力位置を検出する２種類の方法について説明する。

　図６の（ａ）は、反射像を検知することにより、上記入力位置を検出する様子を示す模式図である。バックライト３０７から光４００が出射されると、フォトダイオード６を含む光センサ回路は、指２などの対象物により反射された光４００を検知する。これにより、対象物の反射像を検知することができる。このように、光センサ内蔵型液晶表示パネル３０１は、反射像を検知することにより、入力位置を検出することができる。

　また、図６の（ｂ）は、影像を検知することにより、上記入力位置を検出する様子を示す模式図である。図６の（ｂ）に示すように、フォトダイオード６を含む光センサ回路は、対向基板５１Ｂなどを透過した外光４０１を検知する。しかしながら、ペン３などの対象物がある場合は、外光４０１の入射が妨げられるので、光センサ回路が検知する光量が減る。これにより、対象物の影像を検知することができる。このように、光センサ内蔵型液晶表示パネル３０１は、影像を検知することにより、入力位置を検出することもできる。

　上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光による反射像を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像との両方を同時に検知するようにしてもよい。

　（３）全体画像データ／部分画像データ／座標データ
　次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。

　図７の（ａ）に示す画像データは、対象物が光センサ内蔵型液晶表示パネル３０１上に置かれていないときに、光センサ内蔵型液晶表示パネル３０１全体または上記入力領域１全体をスキャンした結果として得られる画像データである。

　また、図７の（ｂ）に示す画像データは、操作者が指を光センサ内蔵型液晶表示パネル３０１に接触または近接させたときに、光センサ内蔵型液晶表示パネル３０１全体または上記入力領域１全体をスキャンした結果として得られる画像データである。

　操作者が指を光センサ内蔵型液晶表示パネル３０１または上記入力領域１に接触または近接させたとき、上記入力位置の近傍の光センサ回路が受光する光量が変化するため、当該光センサ回路が出力する電圧に変化が生じ、その結果として、生成される画像データのうち、入力位置の近傍の画素値の明度に変化が生じることとなる。

　図７の（ｂ）に示す画像データでは、図７の（ａ）に示す画像データと比べると、操作者の指に該当する部分の画素値の明度が高くなっている。したがって、上記座標生成部１５１は、図７の（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）を特定することができる。この領域ＰＰに含まれる画像データが、“部分画像データ”である。

　なお、図７の（ａ）に示す画像データは、全体領域ＡＰに対応する画像データ、すなわち“全体画像データ”である。

　また、部分画像データ（領域ＰＰ）の中心点または重心を、前述した代表点、すなわち入力位置として特定することができる。代表点の座標データＺは、全体領域ＡＰの例えば左上隅を直交座標系の原点とする座標データ（Ｘａ,Ｙａ）で表すことができる。また、領域ＰＰの左上隅を原点とする座標データ（Ｘｐ,Ｙｐ）を併せて取得してもよい。

　図４に示す前記指認識用パターンデータおよびペン認識用パターンデータは、上記領域ＰＰと照合され、入力手段が指２なのかペン３なのかを判定するためのデータである。例えば、上記領域ＰＰと同様の矩形形状の図形パターンとして、指認識用パターンデータおよびペン認識用パターンデータを用意し、パターンマッチングによって指２またはペン３を識別するようにしてもよい。あるいは、上記領域ＰＰの面積値を求め、指２に対応する面積値の範囲、およびペン３に対応する面積値の範囲を、それぞれ指認識用パターンデータおよびペン認識用パターンデータとしてもよい。

　指２とペン３とでは、上記領域ＰＰを検出するための明度の閾値が同じ場合、その閾値を超える明度の面積が、当然ながら異なる。つまり、指２の領域ＰＰの方が、ペン３の領域ＰＰより大きくなる。したがって、指２に対応する図形パターンまたは面積値の範囲をペン３に対応する図形パターンまたは面積値の範囲より大きく設定することになる。

　（ＤＯＷＮおよびＵＰの入力動作判定処理）
　以上の構成において、指２またはペン３を入力領域１に対して接触または近接させる入力動作（ＤＯＷＮ）、および入力領域１に対して接触または近接させていた指２またはペン３を入力領域１から遠ざける入力動作（ＵＰ）を情報処理装置１０が判定する入力動作判定処理について、以下具体的に説明する。

　なお、ＤＯＷＮおよびＵＰの入力動作は、本発明における第２の入力動作に相当する。

　図９は、上記入力動作判定処理の手順を示すフローチャートである。図４および図９に示すように、ジェスチャー判定部１５２は、まず、指２またはペン３による入力位置の点数が増加したかどうかを判定する（ステップ１；以下、Ｓ１と略記する）。Ｓ１で、点数が増加していない場合、ジェスチャー判定部１５２は、点数が減少したかどうかを判定する（Ｓ２）。Ｓ２で、点数が減少していない場合、Ｓ３に処理が進み、入力位置の点数が有るか無いかを判定する。Ｓ３で、入力位置が無いと判定されると、処理はＳ１に戻り、入力位置の点数に変化が有るまで、Ｓ１～Ｓ３の処理が周期的に繰り返される。

　上記Ｓ１～Ｓ３の処理を実行するために、ジェスチャー判定部１５２は、メモリ１５４に、指２またはペン３による現在の入力位置について、点数、各入力位置の属性（指かペンか）および座標データを含む位置情報を記憶させている。したがって、ジェスチャー判定部１５２は、上記位置情報の記憶された点数を増加させるか、減少させるかの処理に応じて、Ｓ１およびＳ２の判定を行うことができる。また、メモリ１５４に位置情報が何も記憶されていなければ、Ｓ３において、点数は０であると判定することができる。

　次に、Ｓ１で、点数が増加したと判定された場合、言い換えると、ジェスチャー判定部１５２が、座標生成部１５１から、入力位置の座標データと属性データとを受け取り、メモリ１５４に新たな位置情報を記憶させ、上記点数を増加させた場合、Ｓ４において、増加した入力位置の属性がペンかどうかを判定する。ジェスチャー判定部１５２は、座標生成部１５１から受け取った属性データによって、Ｓ４の属性判定処理を行うことができる。

　続いて、Ｓ４で、増加した入力位置の属性がペンであると判定された場合、ジェスチャー判定部１５２は、記憶部１５４Ｅからペン用パラメータを呼び出す。このペン用パラメータは、例えば、図１を参照して説明した閾値Ｌ２である。ジェスチャー判定部１５２は、ペン３の動きが閾値Ｌ２以下であれば、ペン３は入力領域１上を移動することなく、静止していると判定できるので、ペン３による入力位置の増加をＤＯＷＮと判定することができる（Ｓ５）。

　なお、ＤＯＷＮの判定について、ペン３の移動距離に関する閾値Ｌ２に加えて、ペン３が入力領域１に接触または近接する時間に関する閾値Ｔ２を、ペン用パラメータとして用いることが好ましい。閾値Ｔ２は、例えば、入力位置を検出するために、図７に示す全体領域ＡＰをスキャンするときのスキャン周期ｔの２回分、すなわち、Ｔ２＝２ｔとして設定される。

　上記閾値Ｔ２を設定するのは、入力領域１に対して指２またはペン３が接触または近接した場合、直ちには正しい入力位置をあらわす電圧、あるいは、論理回路による画像処理の結果としてのデジタル値が出力されないので、一般には若干のタイムラグを見込んでおく必要があるからである。

　また、このタイムラグは、接触面積または近接面積の大きなものほど大きくなり、入力位置の判定に時間を要する。さらに、入力領域１に対して指２が接触または近接する場合、入力位置が検出されたり、消滅したりするチャタリングが、ペン２よりも発生し易い。したがって、ペン３の閾値Ｔ２を上記のように２ｔとする場合には、指２の閾値Ｔ２を、例えば２ｔより大きい３ｔとするとよい。

　図８は、指２とペン３とにおける閾値Ｔ２の違いを示した説明図である。図８の（ａ）に示すように、ペン３の場合には、入力領域１に対して２単位時間（２ｔ）以上、接触または近接していれば、ジェスチャー判定部１５２は、ＤＯＷＮの入力動作が行われたと判定する。

　一方、図８の（ｂ）に示すように、指２の場合には、入力領域１に対して３単位時間（３ｔ）以上、接触または近接していれば、ジェスチャー判定部１５２は、ＤＯＷＮの入力動作が行われたと判定する。

　こうして、ジェスチャー判定部１５２は、閾値Ｌ２と閾値Ｔ２との両方を用いてペン３のＤＯＷＮを判定することにより、すなわち、ペン３の移動距離が閾値Ｌ２以下、かつ、ペン３の接触または近接時間が閾値Ｔ２以上という条件の充足を判定することにより、ＤＯＷＮの判定を一層正確に行うことができる。

　一方、Ｓ４において、増加した入力位置の属性がペンではないと判定された場合、ジェスチャー判定部１５２は、記憶部１５４Ｆから指用パラメータを呼び出す。この指用パラメータは、例えば、図１を参照して説明した閾値Ｌ１である。ジェスチャー判定部１５２は、指２の動きが閾値Ｌ１以下であれば、指２は入力領域１上を移動することなく、静止していると判定できるので、指２による入力位置の増加をＤＯＷＮと判定することができる（Ｓ６）。

　なお、指２のＤＯＷＮの判定の場合にも、閾値Ｌ１に加えて、上記閾値Ｔ１を用いることにより、すなわち、指２の移動距離が閾値Ｌ１以下、かつ、指２の接触または近接時間が閾値Ｔ１以上という条件の充足を判定することにより、ＤＯＷＮの判定を一層正確に行うことができる。

　次に、前記Ｓ２において、ジェスチャー判定部１５２が、点数が減少したことを認識した場合、つまり、ある入力位置について、座標生成部１５１から座標データが出力されなくなったため、メモリ１５４から、対応する位置情報を消去した場合、Ｓ７に処理が進む。

　Ｓ７では、ジェスチャー判定部１５２は、減少した入力位置の属性がペンかどうかを判定する。Ｓ７の判定結果がペンであれば、Ｓ８に処理が進み、Ｓ７の判定結果がペンではなければ、Ｓ９に処理が進む。

　Ｓ８では、ジェスチャー判定部１５２は、Ｓ５と同様に、記憶部１５４Ｅからペン用パラメータを呼び出し、ペン３の動きが閾値Ｌ２以下であれば、ペン３は入力領域１上を移動することなく、入力領域１から離れたと判定できるので、ペン３による入力位置の減少をＵＰと判定することができる。

　また、Ｓ９では、ジェスチャー判定部１５２は、Ｓ６と同様に、記憶部１５４Ｆから指用パラメータを呼び出し、指２の動きが閾値Ｌ１以下であれば、指２は入力領域１上を移動することなく、入力領域１から離れたと判定できるので、指２による入力位置の減少をＵＰと判定することができる。

　以上のＳ３，Ｓ５，Ｓ６，Ｓ８およびＳ９の処理後は、いずれも、次のＳ１０に処理が進む。

　図１０は、座標生成部１５１が出力する座標データが変化した場合、すなわち前記第１の入力動作を判定する処理の手順を示すフローチャートである。

　Ｓ１０では、ジェスチャー判定部１５２が、ある入力位置について、座標生成部１５１から出力される座標データに変化があったかどうかを判定する。ジェスチャー判定部１５２が、座標データの変化を認識する処理は、例えば、以下のように行われる。

　上記メモリ１５４には、ある入力位置について、座標生成部１５１が周期的に出力した座標データのうち、最新の座標データと、最新の座標データの１つ前の座標データとが記憶されている。

　そこで、ジェスチャー判定部１５２は、記憶された入力位置の全てについてそれぞれ、メモリ１５４に記憶された新旧２つの座標データを比較し、新旧２つの座標データが一致するか否かを判定する。例えば、ジェスチャー判定部１５２は、新旧２つの座標データの差分を演算し、差分が上記閾値Ｌ１またはＬ２以下であれば、座標データに変化はないと判定し、差分が上記閾値Ｌ１またはＬ２を上回れば、座標データに変化があったと判定する。

　Ｓ１０で、ジェスチャー判定部１５２が、ある入力位置について、座標データに変化があったと判定すると、Ｓ１１に処理が進む。Ｓ１０の判定結果が「否（Ｎｏ）」の場合、Ｓ１に処理が戻る。

　Ｓ１１では、ジェスチャー判定部１５２は、メモリ１５４に記憶された位置情報を参照することによって、全ての入力位置の属性を確認し、属性が指である入力位置が少なくとも１つ有るかどうかを判定する。Ｓ１１で、属性が指である入力位置が少なくとも１つ有ると判定されると、Ｓ１２へ処理が進む。

　Ｓ１２およびＳ１３では、座標データに変化があったと判定された入力位置の属性によらず、ジェスチャー判定部１５２は、記憶部１５４Ｆから指用パラメータを呼び出し、その入力位置の移動距離が、閾値Ｌ１を超えたかどうか、つまり入力領域１上で入力位置が直線的に移動する入力動作（ＭＯＶＥ）を判定する。つまり、座標データに変化があったと判定された入力位置の属性が、ペンであったとしても、ほかに属性が指である入力位置が少なくとも１つ有るため、上記入力位置の移動距離を、指の閾値Ｌ１と比較する。

　なお、上記のように、入力位置自体の移動距離を閾値Ｌ１と比較してもよいが、図１を参照して説明したように、指２の入力位置と、ペン３の入力位置との中点Ｍの移動距離と、指の閾値Ｌ１との大小を判定してもよい。

　例えば、２本の指でＭＯＶＥのジェスチャーを行うときには、移動の方向の判定に中点Ｍを使ってもよい。また、ＲＯＴＡＴＥのジェスチャーの場合には、回転の中心として、中点Ｍを使ってもよい。同様に、ＰＩＮＣＨのジェスチャーの場合、拡大縮小の中心位置として、中点Ｍを使ってもよい。

　この場合、隣り合う２点の位置の中点Ｍの動きは、隣り合う２点の位置の相対的な動きを示す。したがって、各点の位置の動きの解析に、相対的な動きの解析が加わわることによって、より高度な入力動作の解析を行うこともできる。

　いずれにしても、属性が指である入力位置が少なくとも１つ有る場合には、指判別基準によって、各入力位置の動き、または隣り合う入力位置同士の中点の動きを判定するので、指２がある程度ぶれても、閾値Ｌ１の範囲内のぶれであれば、静止と判定される。これにより、操作者が意図していない入力動作が検知され、誤った情報処理が行われる不具合が防止される。

　上記Ｓ１３で、座標データの変化がＭＯＶＥであると判定された場合には、第１の入力動作判定処理が終了する一方、座標データの変化がＭＯＶＥではないと判定された場合には、処理がＳ１４およびＳ１５に進む。

　Ｓ１４およびＳ１５では、入力位置の移動距離が閾値Ｌ１を超えて、入力領域１上で入力位置が曲線的に移動する入力動作（ＲＯＴＡＴＥ）かどうかが判定される。上記Ｓ１５で、座標データの変化がＲＯＴＡＴＥであると判定された場合には、第１の入力動作判定処理が終了する一方、座標データの変化がＲＯＴＡＴＥではないと判定された場合には、処理がＳ１６に進む。

　Ｓ１６では、入力位置の移動距離が閾値Ｌ１を超えて、入力領域１上で隣り合う２つの入力位置の間隔を拡縮させる入力動作（ＰＩＮＣＨ）かどうかが判定され、このＰＩＮＣＨの判定でもって、全ての第１の入力動作判定処理が終了する。

　一方、上記Ｓ１１で、属性が指である入力位置が１つも無いと判定されると、Ｓ１７へ処理が進む。Ｓ１７～Ｓ２１におけるＭＯＶＥ，ＲＯＴＡＴＥ，ＰＩＮＣＨの判定は、入力具判別基準であるペンの閾値Ｌ２を用いて行われる。Ｓ１７～Ｓ２１の処理と、Ｓ１２～Ｓ１６の処理との違いは、用いる判別基準の違いだけなので、重複する説明を省略する。

　本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、上記実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる他の実施形態についても本発明の技術的範囲に含まれる。

　本発明に係る情報処理装置では、上記入力領域に対して上記入力具または指を接触または近接させるか、あるいは、上記入力領域に対して上記入力具または指を離間させる第２の入力動作があったとき、上記解析部は、上記記憶部から、上記入力具については上記入力具判別基準を、上記指については上記指判別基準を、上記記憶部から個別に呼び出し、上記第２の入力動作を解析することを特徴とする。

　上記の構成によれば、第２の入力動作は、入力領域内のある点を指定する、一般にポインティングと呼ばれる入力動作である。第２の入力動作を、入力領域の面に沿って指または入力具を移動させる第１の入力動作と区別するためには、座標変化の現れ易い度合いに応じて、判別基準を使い分けることが好ましい。

　つまり、座標変化の現れ易い度合いが小さいペンのような入力具に対して、座標変化の現れ易い度合いが大きい指判別基準を用いると、実際には細かい文字を入力具によって描いたつもりであっても、静止していると判定され、ポインティングが行われたと誤判定されてしまう。

　逆に、座標変化の現れ易い度合いが大きい指に対して、座標変化の現れ易い度合いが小さい入力具判別基準を用いると、実際には指によるポインティングを行ったにもかかわらず、移動があったと誤判定されてしまう。

　したがって、第２の入力動作については、指に対して指判別基準を用い、入力具に対して入力具判別基準を用いることによって、第２の入力動作を正確に解析することができる。

　本発明に係る情報処理装置では、上記入力具判別基準は、上記入力領域の面に沿った上記入力具の移動距離に関する閾値であり、上記指判別基準は、上記入力領域の面に沿った上記指の移動距離に関する閾値であることを特徴とする。

　これにより、入力具を用いた第１の入力動作と、指を用いた第１の入力動作とに対する判別の解析度を具体的に異ならせることができる。例えば、入力具の移動距離に関する閾値を指の移動距離に関する閾値より小さく設定すれば、入力具を用いた第１の入力動作に対する解析度を、指の場合より高くすることができる。

　本発明に係る情報処理装置では、上記入力領域に対して上記入力具または指を接触または近接させる第２の入力動作について、上記入力具判別基準は、上記入力領域に対して上記入力具を接触または近接させる時間に関する閾値をさらに含み、上記指判別基準は、上記入力領域に対して上記指を接触または近接させる時間に関する閾値をさらに含んでいることを特徴とする。

　上記の構成において、入力領域に対して指または入力具が接触または近接した場合、直ちには正しい入力位置をあらわすデータが出力されないので、一般には若干のタイムラグを見込んでおく必要がある。

　このタイムラグは、接触面積または近接面積の大きなものほど大きくなり、入力位置の判定に時間を要する。さらに、入力領域に対して指が接触または近接する場合、入力位置が検出されたり、消滅したりするチャタリングが、入力具よりも発生し易い。

　したがって、例えば、入力領域に対して指を接触または近接させる時間が、指に関する時間の閾値を超えた場合に、入力領域に対して指を接触または近接させる第２の入力動作が確かに行われたと、判定することができる。

　また、上記タイムラグの小さい入力具についても、入力領域に対して入力具を接触または近接させる時間が、入力具に関する時間の閾値を超えた場合に、入力領域に対して入力具を接触または近接させる第２の入力動作が確かに行われたと、判定することができる。

　上記時間の閾値を前述の移動距離の閾値と組み合わせることによって、第２の入力動作が行われたかどうかの解析精度を一層向上させることができる。

　本発明に係る情報処理装置では、上記入力識別部が、上記入力領域に対する上記入力具または指の接触または近接を２点以上識別し、かつ、上記解析部が上記第１の入力動作を解析するとき、上記解析部は、隣り合う２点の位置の中点の位置が、上記入力領域の面に沿って移動した距離を、上記入力具判別基準または上記指判別基準との比較対象とする、あるいは比較対象として追加することを特徴とする。

　この場合、隣り合う２点の位置の中点の位置の動きは、隣り合う２点の位置の相対的な動きを示す。したがって、各点の位置の動きの解析に、相対的な動きの解析を加えることによって、より高度な入力動作の解析を行うこともできる。

　例えば、隣り合う２点が互いに逆方向に移動した場合でも、各点の移動速度が異なれば、中点の位置は、ある方向へ移動する。この場合、中点の位置の移動のみに着目して、２点が上記ある方向へ移動したと判定してもよいが、各点および中点を合わせた３点の移動に基づく情報処理が実行されるようにしてもよい。

　なお、ある着目した請求項に記載された構成と、その他の請求項に記載された構成との組み合わせが、その着目した請求項で引用された請求項に記載された構成との組み合わせのみに限られることはなく、本発明の目的を達成できる限り、その着目した請求項で引用されていない請求項に記載された構成との組み合わせが可能である。

　本発明は、操作者の指およびペンのような入力具を用いて、表示画面に対して情報処理に関する指令を入力することができるあらゆる情報処理装置に好適に利用することができる。

　　１　　入力領域
　　２　　指
　　３　　ペン
　１０　　情報処理装置
１５１　　座標生成部（入力識別部）
１５２　　ジェスチャー判定部（解析部）
１５４　　メモリ（記憶部）
１５４Ｅ　記憶部
１５４Ｆ　記憶部
　Ｌ１　　閾値（指判別基準）
　Ｌ２　　閾値（入力具判別基準）

Claims

　表示画面内の同一の入力領域に対し、指および指より細い入力具を用いた入力動作を同時に受け付け可能であり、当該入力動作に応じた情報処理を行う情報処理装置において、
　上記入力領域に対して上記入力具が接触または近接したのか、指が接触または近接したのかを識別する入力識別部と、
　上記入力具を用いた入力動作を判別する入力具判別基準と、指を用いた入力動作を判別する指判別基準であって、上記入力具判別基準よりも判別の解析度が低い指判別基準とを格納した記憶部と、
　上記入力識別部が、上記入力領域に対して、少なくとも指の接触または近接を１点検出し、かつ、上記入力領域の面に沿って上記入力具または指を動かした第１の入力動作があったとき、上記記憶部から上記指判別基準を呼び出し、上記指判別基準を用いて上記入力具または指による上記第１の入力動作を解析する解析部と
を備えたことを特徴とする情報処理装置。
　上記入力領域に対して上記入力具または指を接触または近接させるか、あるいは、上記入力領域に対して上記入力具または指を離間させる第２の入力動作があったとき、上記解析部は、上記記憶部から、上記入力具については上記入力具判別基準を、上記指については上記指判別基準を、上記記憶部から個別に呼び出し、上記第２の入力動作を解析することを特徴とする請求項１に記載の情報処理装置。
　上記入力具判別基準は、上記入力領域の面に沿った上記入力具の移動距離に関する閾値であり、上記指判別基準は、上記入力領域の面に沿った上記指の移動距離に関する閾値であることを特徴とする請求項１または２に記載の情報処理装置。
　上記入力領域に対して上記入力具または指を接触または近接させる第２の入力動作について、上記入力具判別基準は、上記入力領域に対して上記入力具を接触または近接させる時間に関する閾値をさらに含み、上記指判別基準は、上記入力領域に対して上記指を接触または近接させる時間に関する閾値をさらに含んでいることを特徴とする請求項３に記載の情報処理装置。
　上記入力識別部が、上記入力領域に対する上記入力具または指の接触または近接を２点以上識別し、かつ、上記解析部が上記第１の入力動作を解析するとき、上記解析部は、隣り合う２点の位置の中点の位置が、上記入力領域の面に沿って移動した距離を、上記入力具判別基準または上記指判別基準との比較対象とする、あるいは比較対象として追加することを特徴とする請求項３に記載の情報処理装置。
　表示画面内の同一の入力領域に対し、指および指より細い入力具を用いた入力動作を同時に受け付け可能であり、当該入力動作に応じた情報処理を行う情報処理装置が実行する入力動作解析方法であって、
　上記情報処理装置の操作者が、上記入力領域に対して、少なくとも指を接触または近接させた状態で、上記入力領域の面に沿って上記入力具または指を動かす第１の入力動作を行ったとき、
　上記情報処理装置は、上記入力具を用いた入力動作を判別する入力具判別基準ではなく、指を用いた入力動作を判別する指判別基準であって、上記入力具判別基準よりも判別の解析度が低い指判別基準を用いて、上記入力具または指による上記第１の入力動作を解析すること
を特徴とする入力動作解析方法。