JP6253861B1 - タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置 - Google Patents

Abstract

タッチジェスチャ判定装置１１０は、操作情報入力部１１と、操作判定部１２と、通知部１３と、表示制御部１４とを有し、操作判定部１２は、表示部品入力判定部１２ａと、画面全体入力判定部１２ｂと、操作モード切り替え判定部１２ｃとを有し、画面全体入力判定部１２ｂは、タッチジェスチャ操作が、ユーザがタッチパネルを見ずに行った動作であるか否かを判定するための判定条件の成立について判定するジェスチャ入力情報判定部１２２を有する。

Description

本発明は、タッチジェスチャ操作に対応する操作情報が入力され、入力された操作情報に基づく信号を出力するためのタッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム、並びに、タッチジェスチャ操作を受け付け、タッチジェスチャ操作に基づく信号を出力するタッチパネル入力装置に関する。

タッチパネルを見ずにタッチパネルに表示されたキーボードを操作することにより情報を入力するための技術がある。特許文献１には、ユーザがタッチパネル上に入力基準点を設定すると、入力基準点の位置を基準に情報を入力するための仮想入力キーが表示される携帯情報端末及びその文字入力方法が開示されている。ユーザは、最初に親指でタッチパネル上の任意の位置をタッチすることで入力基準点を設定し、その後、入力基準点の位置を基準に配置された仮想入力キーを人差指等でタッチすることで文字、記号等を入力する。

特開２０１２−１８５５６５号公報（例えば、段落００２７〜００４８）

しかしながら、特許文献１では、ユーザが仮想入力キーの配列を覚えていない場合、仮想入力キーが表示された後にタッチパネルを見る必要があり、完全にタッチパネルを見ずに情報を入力することが困難であった。

また、タッチパネルを見ずに行うタッチジェスチャ操作では、自分の指とタッチパネルとの位置関係を把握することが困難であるため、タッチパネルを見て行うタッチジェスチャ操作とは力加減、操作点などが異なる。しかし、タッチパネルはその違いを考慮せずに入力されたタッチジェスチャ操作を判定していたため、タッチパネルを見ずに行ったタッチジェスチャ操作が認識されないことがあった。

本発明は、上記の問題点を解決するためになされたものであり、ユーザがタッチパネルを見ずに行ったタッチジェスチャ操作を、タッチパネルがタッチジェスチャ操作として容易に認識することを目的とする。

本発明の一態様に係るタッチジェスチャ判定装置は、画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するタッチジェスチャ判定装置であって、前記操作情報に基づいて、前記タッチパネルの表示のための前記出力情報を生成する操作判定部と、前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、前記操作判定部は、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体操作モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、前記画面全体入力判定部は、前記操作情報から、前記タッチジェスチャ操作が前記画面全体操作モードにおいて前記ユーザが行った操作であるか否かを判定するための判定条件が満たされるか否かを判定し、前記判定条件が満たされる場合に前記タッチジェスチャ操作が前記画面全体操作モードにおける第１の操作であると判定し、前記判定条件は、予め定められた時間における前記タッチジェスチャ操作のタッチ数の変化とタッチ位置の移動量とに基づいて予め定められた条件であることを特徴とする。

本発明の他の態様に係るタッチジェスチャ判定方法は、画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するタッチジェスチャ判定方法であって、前記操作情報に基づいて、前記タッチパネルの表示のための前記出力情報を生成する操作判定ステップと、前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御ステップと、を有し、前記操作判定ステップは、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体操作モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定ステップを有し、前記画面全体入力判定ステップは、前記操作情報から、前記タッチジェスチャ操作が前記画面全体操作モードにおいて前記ユーザが行った操作であるか否かを判定するための判定条件が満たされるか否かを判定し、前記判定条件が満たされる場合に前記タッチジェスチャ操作が前記画面全体操作モードにおける第１の操作であると判定する処理を含み、前記判定条件は、予め定められた時間における前記タッチジェスチャ操作のタッチ数の変化とタッチ位置の移動量とに基づいて予め定められた条件であることを特徴とする。

本発明の他の態様に係るタッチパネル入力装置は、画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルと、前記操作情報を受け取り、前記操作情報に基づいて前記タッチパネルの表示を制御するタッチジェスチャ判定装置とを有するタッチパネル入力装置であって、前記タッチジェスチャ判定装置は、前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定部と、前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、前記操作判定部は、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体操作モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、前記画面全体入力判定部は、前記操作情報から、前記タッチジェスチャ操作が前記画面全体操作モードにおいて前記ユーザが行った操作であるか否かを判定するための判定条件が満たされるか否かを判定し、前記判定条件が満たされる場合に前記タッチジェスチャ操作が前記画面全体操作モードにおける第１の操作であると判定し、前記判定条件は、予め定められた時間における前記タッチジェスチャ操作のタッチ数の変化とタッチ位置の移動量とに基づいて予め定められた条件であることを特徴とする。

本発明によれば、ユーザがタッチパネルを見ずに行ったタッチジェスチャ操作を、タッチパネルがタッチジェスチャ操作として容易に認識することができる。

本発明の実施の形態に係るタッチパネル入力装置の概略構成を示す機能ブロック図である。 実施の形態における画面全体入力判定部の概略構成を示す機能ブロック図である。 実施の形態に係るタッチパネル入力装置のハードウェア（Ｈ／Ｗ）構成の一例を示す図である。 （ａ）及び（ｂ）は、実施の形態に係るタッチパネル入力装置におけるタッチパネルの画面及びタッチジェスチャ操作の一例を示す図である。 実施の形態に係るタッチジェスチャ判定装置の動作（タッチジェスチャ判定方法）を示すフローチャートである。 実施の形態におけるジェスチャ入力情報判定部による２点タッチ操作判定処理の動作の一例を示すフローチャートである。 実施の形態におけるジェスチャ入力情報判定部による２点タッチ操作判定処理の動作の他の例を示すフローチャートである。

以下に、本発明の実施の形態を、添付図面を参照しながら説明する。以下の説明において、タッチパネル入力装置は、タッチ式の操作用の画面（操作画面）を持つタッチパネルと、タッチパネルにおける操作情報を受け取るタッチジェスチャ判定装置とを具備する。

タッチパネル入力装置は、対象機器に搭載されることにより、又は、対象機器と通信可能に接続されることにより、対象機器としての電気機器の操作画面、対象機器としてのカメラの操作画面、対象機器としての工場設備の操作画面、対象機器としての自動車、船舶、航空機などに搭載される操作画面、対象機器としてのスマートフォン及びタブレット端末などの携帯情報端末の操作画面などに適用可能である。

タッチパネル入力装置は、タッチパネルの操作画面からタッチジェスチャ操作（「タッチ操作」とも言う）によって入力された操作情報に基づく信号（例えば、選択値）を、タッチパネル入力装置を搭載した対象機器、又は、タッチパネル入力装置と通信可能な対象機器に提供することができる。

タッチパネルは、ユーザが行うタッチジェスチャ操作を受け付けるタッチジェスチャ入力手段である。また、タッチジェスチャ操作は、ユーザの指（又は、ユーザの手の平、又は、ユーザの指及び手の平）などの特定の動きによる情報入力操作である。タッチジェスチャ操作は、タッチパネルの操作画面を指で軽く叩く操作であるタップ、タッチパネルの操作画面を指ではじく操作であるフリック、タッチパネルの操作画面を指でなぞる操作（指を滑らす操作）であるスワイプを含むことができる。

また、タッチジェスチャ操作は、タッチパネルにおける表示部品を指で引きずる操作であるドラッグ、タッチパネルの操作画面において複数本の指でつまみながら指の間隔を狭める操作であるピンチイン、タッチパネルの操作画面において複数本の指の間隔を広げる操作であるピンチアウトなどを含むことができる。

また、タッチジェスチャ操作は、２点以上のタッチでダイヤルを回転させるように操作するダイヤルジェスチャ、２点以上のタッチで指をタッチパネルに接触させたまま、指を上下左右に滑らせるように動かすスライダージェスチャなどを含むことができる。なお、タッチジェスチャ操作は、ペン型の入力補助具であるタッチペンを用いる操作をも含むことができる。

以下の説明において、ユーザが指を１本使ってタッチパネル上の１点をタッチしながら行うジェスチャを１点タッチ操作といい、ユーザが指を２本使ってタッチパネル上の２点をタッチしながら行うジェスチャ（例えば、ダイヤルジェスチャ）を２点タッチ操作といい、ユーザが指を３本使ってタッチパネル上の３点をタッチしながら行うジェスチャを３点タッチ操作という。

実施の形態．
《１》構成
図１は、本発明の実施の形態に係るタッチパネル入力装置１００の概略構成を示す機能ブロック図である。図２は、実施の形態における画面全体入力判定部１２ｂの概略構成を示す機能ブロック図である。図１に示されるように、実施の形態に係るタッチパネル入力装置１００は、タッチジェスチャ判定装置１１０と、タッチパネル１３０とを有している。タッチジェスチャ判定装置１１０は、実施の形態に係るタッチジェスチャ判定方法及び実施の形態に係るタッチジェスチャ判定プログラムを実行することができる装置である。

図１に示されるように、タッチパネル１３０は、ユーザによって行われるタッチジェスチャ操作を受け付け、タッチジェスチャ操作に対応する操作情報（以下、「タッチ情報」とも言う）Ａ０を出力する操作パネル部１３２と、操作パネル部１３２と重ねて配置され、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面などのような操作用画像を表示することができる表示パネル部１３１とを有している。表示パネル部１３１は、例えば、液晶ディスプレイである。

図１に示されるように、タッチジェスチャ判定装置１１０は、操作情報入力部１１と、操作判定部１２と、表示制御部１４とを有している。タッチジェスチャ判定装置１１０は、通知部１３を有していてもよい。

操作情報入力部１１は、操作パネル部１３２から出力された操作情報（操作信号）Ａ０を受け取る。操作情報入力部１１は、受け取った操作情報Ａ０に対応する入力情報Ａ１を操作判定部１２に出力する。入力情報Ａ１は、操作情報Ａ０に対応する情報であり、操作情報Ａ０と同じ情報であってもよい。

操作判定部１２は、操作情報入力部１１から入力情報Ａ１を受け取り、操作判定の結果である出力情報としての選択値Ａ２を通知部１３及び表示制御部１４に対して出力する。操作判定部１２から出力される選択値Ａ２は、操作判定部１２が入力情報Ａ１を基に決定した選択値であり、この選択値Ａ２を基に、タッチパネル入力装置１００を搭載した装置のアプリケーションプログラム等が、機器制御などを行う。

操作判定部１２は、受け取った入力情報Ａ１から、ユーザによるタッチジェスチャ操作の種類及び内容を判定する。図１に示されるように、操作判定部１２は、表示部品入力判定部１２ａと、画面全体入力判定部１２ｂと、操作モード切り替え判定部１２ｃとを有している。

表示部品入力判定部１２ａは、操作対象とする表示部品を画面内に表示した表示部品操作モードにおいて、画面に表示される表示部品に対するタッチ情報から入力内容を識別し、操作の受付及び選択値の決定を担う。

画面全体入力判定部１２ｂは、画面全体を入力範囲として設定する画面全体操作モードにおいて、画面全体に対するタッチ情報から入力内容を識別し、操作の受付及び選択値の決定を担う。図２に示されるように、画面全体入力判定部１２ｂは、パラメータ調整部１２１と、ジェスチャ入力情報判定部１２２とを有する。

タッチ情報の入力内容は、パラメータ調整部１２１と、ジェスチャ入力情報判定部１２２とにより識別する。パラメータ調整部１２１は、入力開始前の操作モードに応じてパラメータを調整し、ジェスチャ入力情報判定部１２２に調整したパラメータを渡す。

ジェスチャ入力情報判定部１２２は、操作情報入力部１１から受けとった入力情報Ａ１と、パラメータ調整部１２１から受け取ったパラメータから、任意のパターンのジェスチャ入力を判定し、それに対応する選択値Ａ２を決定する。ジェスチャ入力情報判定部１２２は、例えば、入力情報Ａ１に対応するタッチジェスチャ操作が、１点タッチ操作であるか、２点タッチ操作かを判定し、判定されたタッチジェスチャ操作に対応する選択値Ａ２を決定する。

ここで、従来では、２点タッチ操作であることを判定する場合、例えば、タップされている２点のそれぞれのタップ位置の座標が所定時間（Ａ ｍｓｅｃ）以内に所定距離（Ｂ ｐｉｘｅｌ）以上動かないことを判定条件として２点タッチ操作であることを判定していた。

しかし、タッチパネル１３０を見ずに操作をする時は、ユーザの指とタッチパネル１３０との位置関係がわからないため、上記判定条件だけでは判定できない可能性がある。したがって、タッチパネル１３０を見ずに行った２点タッチ操作であると判定するための判定条件を新たに設定することが望ましい。以下では、実施の形態に係るタッチジェスチャ判定装置１１０が、タッチパネル１３０を見ずに行った２点タッチ操作を判定するために新たに設定する判定条件について説明を行う。

タッチパネル１３０を見ずに２点タッチしようとして手を伸ばすと、指の長さと手の向きの関係で、同時に２点タッチするのは困難である。したがって、１点でタッチパネル１３０を触ってから、２点でタッチし、離すときに１点タッチに戻って手を離すという流れになりやすい。また、タッチパネル１３０を見ずに操作を行う場合には、力加減がわからずに、タッチパネル１３０を押し込む操作も行いやすい。

そのため、タッチパネル１３０を見ずに行った２点タッチ操作であると判定するための判定条件の例として、例えば、以下の第１から第３の判定条件を設定する。第１から第３の判定条件は、所定時間（予め定められた時間）におけるタッチジェスチャ操作のタッチ数の変化又はタッチ位置の移動量に基づいて予め定められた条件である。第１から第３の判定条件は、パラメータ調整部１２１又はジェスチャ入力情報判定部１２２に記憶されることができる。

第１の判定条件：２点タッチ操作中のタッチ位置が殆ど動かなかったとき（例えば、２点タッチ操作中のタッチ位置の所定時間（Ｃ０ ｍｓｅｃ：第１の時間）における移動量の合計が所定値（Ｄ０ ｐｉｘｅｌ：第１の値）以下のとき）。
第２の判定条件：２点タッチ操作直前の１点タッチ操作のタッチ位置が殆ど動かなかったとき（例えば、２点タッチ操作直前の１点タッチ操作のタッチ位置の所定時間（Ｃ１ ｍｓｅｃ：第２の時間）における移動量が所定値（Ｄ１ ｐｉｘｅｌ：第２の値）以下のとき）。
第３の判定条件：２点タッチ操作直後の１点タッチ操作のタッチ位置が殆ど動かなかったとき（例えば、２点タッチ操作直後の１点タッチ操作のタッチ位置の所定時間（Ｃ２ ｍｓｅｃ：第３の時間）における移動量が所定値（Ｄ２ ｐｉｘｅｌ：第３の値）以下のとき）。

ジェスチャ入力情報判定部１２２は、上記の第１から第３の判定条件の全てが満たされた場合に、タッチジェスチャ操作がタッチパネルを見ずに行った２点タッチ操作（第１の動作）であると判定し、上記の第１から第３の判定条件の内のいずれか１つ以上の判定条件が満たされない場合に、タッチジェスチャ操作がタッチパネルを見ずに行った２点タッチ操作ではないと判定する。

ただし、判定条件として、他の判定条件を用いてもよい。例えば、タッチパネル１３０を見ずに２点タッチしようとして手を伸ばすと、タッチ位置を目視で確認する場合と比較して、タッチ位置を即座に確認できないため、長時間２点タッチを行いやすい。したがって、ジェスチャ入力情報判定部１２２は、以下の第４の判定条件を満たす場合に、タッチジェスチャ操作がタッチパネルを見ずに行った２点タッチ操作であると判定し、以下の第４の判定条件が満たされない場合に、タッチジェスチャ操作がタッチパネルを見ずに行った２点タッチ操作ではないと判定する。

第４の判定条件：長時間２点タッチで操作を続けたとき（例えば、２点タッチ操作継続時間が所定値（Ｃ４ ｍｓｅｃ：第４の時間）以上であるとき）。

操作モード切り替え判定部１２ｃは、操作情報入力部１１から受け取った入力情報Ａ１から、入力情報Ａ１に画面の操作モードの切り替えに関する情報が含まれるかを判定する。画面の操作モードには、操作対象とする表示部品を画面内に表示した表示部品操作モードと、画面全体を入力範囲として設定する画面全体操作モードが存在し、これらの操作モードを切り替えることができる。

操作モード切り替え判定部１２ｃは、操作モードの切り替えに関する判定結果から、操作モードを切り替える。操作モード切り替え判定部１２ｃが操作モードを切り替えることにより、操作画面の表示内容、入力方法、及び通知方法が切り替わる。

通知部１３は、操作モード切り替え判定部１２ｃの判定結果に従い、操作画面の通知方法を切り替え、また、操作判定部１２により決定した選択値Ａ２の情報を受け、操作の状況を通知する。通知部１３は、選択値Ａ２に従う通知内容の通知を発し、又は通知信号を出力する。

例えば、通知部１３は、操作判定部１２により受け取った入力情報Ａ２に応じて、ユーザのタッチジェスチャ操作の状況を、例えば、音、画面表示、バイブレータによる振動、又はランプ点灯などで通知する。

通知部１３による通知が音による通知である場合には、通知部１３は音声出力部としてのスピーカに通知信号を出力する。スピーカは、後述の図３に示される。通知部１３による通知が画像表示である場合には、通知部１３は通知情報Ａ３を表示制御部１４に送り、表示制御部１４が通知情報Ａ３に基づく画像信号Ａ４をタッチパネル１３０の表示パネル部１３１に送信する。

表示制御部１４は、操作モード切り替え判定部１２ｃの判定結果に従い、操作画面の表示内容を切り替え、また、操作判定部１２により決定した選択値Ａ２の情報を受け、操作結果を画面に反映する。図１に示されるように、表示制御部１４は、タッチパネル１３０の表示パネル部１３１に表示される操作用画像の画像信号Ａ４を表示パネル部１３１に対して出力する。

図３は、実施の形態に係るタッチパネル入力装置１００のハードウェア（Ｈ／Ｗ）構成の一例を示す図である。図３に示されるように、実施の形態に係るタッチパネル入力装置１００は、タッチパネル１３０と、プロセッサ３０１と、メモリ３０２と、スピーカ３０３とを有している。

図１に示されるタッチジェスチャ判定装置１１０は、ソフトウェアとしてのタッチジェスチャ判定プログラムを格納する記憶装置としてのメモリ３０２と、メモリ３０２に格納されたタッチジェスチャ判定プログラムを実行する情報処理部としてのプロセッサ３０１とを用いて（例えば、コンピュータにより）実現することができる。

この場合には、図１における構成要素１１〜１４は、図３においてタッチジェスチャ判定プログラムを実行するプロセッサ３０１に相当する。なお、図１に示されるタッチジェスチャ判定装置１１０の一部を、図２に示されるメモリ３０２と、タッチジェスチャ判定プログラムを実行するプロセッサ３０１とによって実現することもできる。

タッチパネル１３０は、複数の指の接触を検知し、タッチ情報（各指の識別番号、座標、及び接触状態）をプロセッサ３０１に送信する。プロセッサ３０１は、タッチパネル１３０から取得したタッチ情報をメモリ３０２に記憶し、メモリ３０２に蓄積したタッチの履歴情報を基に、操作画面、入力方法、及び通知方法を切り替える。

また、プロセッサ３０１は、メモリ３０２に記憶したタッチ情報から、画面全体に対する操作であるか、表示部品に対する操作であるかを判定し、それぞれの操作モードにおいて選択値を決定する。

スピーカ３０３は、例えば、タッチジェスチャ操作状況をアナウンスなど音で通知する場合に使用される音出力部である。タッチパネル入力装置１００は、スピーカ３０３に代えて、又は、追加の構成として、バイブレータ、ランプ、通知信号を無線送信するための送信装置などの追加の装置を備えてもよい。

図４（ａ）及び（ｂ）は、実施の形態に係るタッチパネル入力装置１００におけるタッチパネル１３０の画面及びタッチジェスチャ操作の一例を示す図である。図４（ａ）は、表示部品操作モードで表示する画面例４０１を示している。図４（ａ）に示されるように、画面例４０１には、選択値を直接選択するボタン４０２など、操作対象とする様々な部品が表示される。表示部品が表示される領域に対しタッチ入力することにより、対象の部品の操作が可能となる。

図４（ｂ）は、画面全体操作モードで表示する画面例４０３を示している。図４（ｂ）に示されるように、画面例４０３には、現在選択している選択値の表示４０４、又は画面切り替えのための操作指示を促す表示（例えば、後述するキャンセル領域４０５）などが示される。この画面での入力方法としては、たとえばタップ操作の回数、２点以上のタッチでダイヤルを回転させるようなジェスチャ（ダイヤルジェスチャ）などで情報を入力する。

図４（ｂ）の画面例４０３の下部には、「＞＞Ｃａｎｃｅｌ＞＞」を囲む矩形領域であるキャンセル領域４０５が示されている。キャンセル領域４０５を選択してスワイプする（予め決められた方向に指を左から右に滑らせる）ことにより、画面全体操作モードをキャンセルして、画面全体操作モードから表示部品操作モードの画面への切り替えを実行することができる。

図５は、実施の形態におけるタッチジェスチャ判定装置１１０の動作（タッチジェスチャ判定方法）を示すフローチャートである。図５に示されるように、ステップＳＴ４０１において、ユーザは、表示部品操作モードでシステムを起動し、各処理部の初期化を実施する。

次のステップＳＴ４０２において、操作モード切り替え判定部１２ｃが、操作情報入力部１１から入力されたタッチ情報を基に、画面全体操作モードへの切り替え入力を判定する。画面全体操作モードへの切り替え入力を受け付けた場合（ＳＴ４０２においてＹＥＳ）、次のステップＳＴ４０３において、操作モードを遷移させ、画面全体操作モードにおける表示内容、入力方法、通知方法を切り替える。

次のステップＳＴ４０４において、ジェスチャ入力情報判定部１２２が、ユーザにより入力されたタッチ情報からジェスチャ入力に関する情報を識別し、それにより選択値Ａ２を決定する。ユーザは、例えば、２点以上のタッチでダイヤルを回転させるようなジェスチャ（ダイヤルジェスチャ）などで情報を入力する。

次のステップＳＴ４０５において、ステップＳＴ４０４で決定した選択値Ａ２を表示制御部１４に渡すことにより、表示内容を切り替え、操作内容を反映した画面を表示する。

次のステップＳＴ４０６において、ステップＳＴ４０４で決定した選択値Ａ２を通知部１３に渡すことにより、通知内容を切り替え、操作結果後の状況の通知、操作を促すアナウンスを実施する。

次のステップＳＴ４０７において、操作モード切り替え判定部１２ｃが、操作情報入力部１１から入力されたタッチ情報とタッチの履歴情報から、表示部品操作モードへの切り替え入力を判定する。

切り替え入力を検知した場合（ＳＴ４０７においてＹＥＳ）は、次のステップＳＴ４０８において、表示部品操作モードに遷移し、初期起動時に表示した表示部品の操作画面に移行する。表示部品操作モードへの切り替え入力が無い場合は、切り替え入力を受け付けるまで、操作パネル部１３２に対するタッチ入力を受け付け、そして、それに応じて表示内容及び通知内容を切り替える。

ステップＳＴ４０２の画面切り替えに関する入力判定において、入力内容が画面全体操作モードへの切り替えで無かった場合（ＳＴ４０２においてＮＯ）、次のステップＳＴ７０９において、表示部品に対する入力判定を実施する。

表示部品操作モードにおける表示部品に対する入力の判定は、表示部品の操作範囲にタッチ入力座標が含まれるかにより判定する。表示部品の操作入力を検知した場合、次のステップＳＴ４１０で選択値Ａ２の決定を、操作対象が表示部品でない場合はステップＳＴ４０２で再度タッチ入力の受付を実施する。

次のステップＳＴ４１０において、表示部品入力判定部１２ａが操作情報入力部１１から入力されたタッチ情報を基に、選択値Ａ２を決定する。選択の例として、図３の各表示部品の表示画面の図に示すように、ボタンなど、固有の選択値を割り当てた表示部品を配置しておき、表示部品へのタッチ入力によりその選択値を決定する。

次のステップＳＴ４１１において、ステップＳＴ４１０で決定した選択値Ａ２を表示制御部１４に渡すことにより、表示パネル部１３１の表示内容を切り替え、操作内容に対応する画面を表示する。

次のステップＳＴ４１２において、ステップＳＴ４１０で決定した選択値Ａ２を通知部１３に渡すことにより、通知内容を切り替え、操作結果後の状況の通知、操作を促すアナウンスを実施する。

図６は、実施の形態におけるジェスチャ入力情報判定部１２２による２点タッチ操作判定処理の動作の一例を示すフローチャートである。以下では、ジェスチャ入力情報判定部１２２が、ユーザによるタッチジェスチャ操作を、ユーザがタッチパネルを見ずに行った２点タッチ操作と判定する処理の一例について説明する。

図６に示されるように、ジェスチャ入力情報判定部１２２は、ステップＳＴ５０１において、２点タッチ操作中の２点のタッチ位置のＣ０ ｍｓｅｃにおける移動量の合計がＤ０ ｐｉｘｅｌ以下であるかを判定する（第１の判定条件：２点タッチ操作中のタッチ位置が殆ど動かなかったとき）。

Ｃ０ ｍｓｅｃ以内の移動量がＤ０ ｐｉｘｅｌ以下であるとき（ステップＳＴ５０１においてＹＥＳ）は、処理は、次のステップＳＴ５０２に進む。一方、Ｃ０ ｍｓｅｃ以内の移動量がＤ０ ｐｉｘｅｌより大きいとき（ステップＳＴ５０１においてＮＯ）は、ステップＳＴ５０５に進み、ジェスチャ入力情報判定部１２２は、タッチジェスチャ操作はタッチパネルを見ずに行った２点タッチ操作ではないと判定する。

ジェスチャ入力情報判定部１２２は、次のステップＳＴ５０２において、２点タッチ操作直前の１点タッチ操作のタッチ位置のＣ１ ｍｓｅｃにおける移動量がＤ１ ｐｉｘｅｌ以下であるかを判定する（第２の判定条件：２点タッチ操作直前の１点タッチ操作のタッチ位置が殆ど動かなかったとき）。

２点タッチ操作直前の１点タッチ操作のタッチ位置のＣ１ ｍｓｅｃにおける移動量がＤ１ ｐｉｘｅｌ以下であるとき（ステップＳＴ５０２においてＹＥＳ）は、処理は、次のステップＳＴ５０３に進む。一方、２点タッチ操作直前の１点タッチ操作のタッチ位置のＣ１ ｍｓｅｃにおける移動量がＤ１ ｐｉｘｅｌより大きいとき（ステップＳＴ５０２においてＮＯ）は、ステップＳＴ５０５に進み、タッチジェスチャ操作はタッチパネルを見ずに行った２点タッチ操作ではないと判定する。

ジェスチャ入力情報判定部１２２は、次のステップＳＴ５０３において、２点タッチ操作直後の１点タッチ操作のタッチ位置のＣ２ ｍｓｅｃにおける移動量がＤ２ ｐｉｘｅｌ以下であるかを判定する（第３の判定条件：２点タッチ操作直後の１点タッチ操作のタッチ位置が殆ど動かなかったとき）。

２点タッチ操作直後の１点タッチ操作のタッチ位置のＣ２ ｍｓｅｃにおける移動量がＤ２ ｐｉｘｅｌ以下であるとき（ステップＳＴ５０３においてＹＥＳ）は、ステップＳ５０４に進み、ジェスチャ入力情報判定部１２２は、タッチジェスチャ操作が、タッチパネルを見ずに行った２点タッチ操作であると判定する。

一方、２点タッチ操作直後の１点タッチ操作のタッチ位置のＣ２ ｍｓｅｃにおける移動量がＤ２ ｐｉｘｅｌより大きいとき（ステップＳＴ５０３においてＮＯ）は、ステップＳＴ５０５に進み、ジェスチャ入力情報判定部１２２は、タッチジェスチャ操作はタッチパネルを見ずに行った２点タッチ操作ではないと判定する。

以上のように、実施の形態におけるジェスチャ入力情報判定部１２２は、上記第１から第３の判定条件を全て満たすときに、当該タッチジェスチャ操作はタッチパネルを見ずに行った２点タッチ操作だと判定し、判定されたタッチジェスチャ操作に対応する選択値Ａ２を決定する。

一方、上記第１から第３の判定条件の内のいずれか１つ以上の判定条件を満たさないときには、ジェスチャ入力情報判定部１２２は、当該タッチジェスチャ操作はタッチパネルを見ずに行った２点タッチ操作ではないと判定し、判定されたタッチジェスチャ操作に対応する選択値Ａ２を決定する。

なお、上記では、ジェスチャ入力情報判定部１２２は、上記第１から第３の判定条件の全てを満たすときにタッチジェスチャ操作をタッチパネルを見ずに行った２点タッチ操作と判定したが、上記第１から第３の判定条件の内の１つ以上を満たすときに、タッチジェスチャ操作をタッチパネルを見ずに行った２点タッチ操作と判定してもよい。

例えば、上記第１の判定条件及び第２の判定条件を満たすときに、タッチジェスチャ操作をタッチパネルを見ずに行った２点タッチ操作と判定してもよい。また、タッチパネルを見ずに行った２点タッチ操作の判定条件に、他の条件を追加してもよい。また、タッチパネルを見ながら行った２点タッチ操作についても、上記第１から第３の判定条件を用いてもよい。

図７は、実施の形態におけるジェスチャ入力情報判定部１２２による２点タップ判定処理の動作の他の例を示すフローチャートである。以下では、ジェスチャ入力情報判定部１２２が、タッチジェスチャ操作を、ユーザがタッチパネルを見ずに行った２点タッチ操作と判定する処理の他の例について説明する。

図７に示されるように、ジェスチャ入力情報判定部１２２は、ステップＳＴ６０１において、２点タッチ操作継続時間がＣ３ ｍｓｅｃ以上であるかを判定する（第４の判定条件：長時間２点タッチで操作を続けたとき）。

２点タッチ操作継続時間がＣ３ ｍｓｅｃ以上であるとき（ステップＳＴ６０１においてＹＥＳ）は、ステップＳＴ６０２に進み、ジェスチャ入力情報判定部１２２は、タッチジェスチャ操作が２点タッチ操作であると判定する。

２点タッチ操作継続時間がＣ３ ｍｓｅｃ未満であるとき（ステップＳＴ６０１においてＮＯ）は、ステップＳＴ６０３に進み、ジェスチャ入力情報判定部１２２は、タッチジェスチャ操作が２点タッチ操作ではないと判定する。

《３》効果
以上のように、実施の形態に係るタッチジェスチャ判定装置１１０によれば、タッチパネルを見ずに２点タッチ操作を行うときのタッチジェスチャ操作の傾向から、タッチパネルを見ずに行った２点タッチ操作か否かを判定する第１から第３の判定条件（又は第４の判定条件）を設定し、ジェスチャ入力情報判定部１２２は、設定された第１から第３の判定条件（又は第４の判定条件）により当該タッチジェスチャ操作がタッチパネルを見ずに行った２点タッチ操作であるかを判定する。これにより、タッチパネルを見ながら行ったタッチジェスチャ操作と、タッチパネルを見ずに行ったタッチジェスチャ操作とを区別することができ、タッチパネルを見ずに行ったタッチジェスチャ操作を、タッチパネルが容易に認識することができる。

《４》変形例
上記実施の形態に係るタッチジェスチャ判定装置１１０では、タッチパネルを見ずに行った２点タッチ操作について第１から第３の判定条件（又は第４の判定条件）により判定したが、実施の形態に係るタッチジェスチャ判定装置１１０が判定するタッチジェスチャ操作は２点タッチ操作に限定されない。例えば、タッチパネルを見ずに行った３点タッチ操作（３本の指をタッチして行う操作）について新たに判定条件を設定し、３点タッチ操作について判定してもよい。

１１ 操作情報入力部、 １２ 操作判定部、 １２ａ 表示部品入力判定部、 １２ｂ 画面全体入力判定部、 １３ 通知部、 １４ 表示制御部、 １００ タッチパネル入力装置、 １１０ タッチジェスチャ判定装置、 １２１ パラメータ調整部、 １２２ ジェスチャ入力情報判定部、 １３０ タッチパネル、 １３１ 表示パネル部、 １３２ 操作パネル部、 ３０１ プロセッサ、 ３０２ メモリ、 ３０３ スピーカ、 Ａ０ 操作情報、 ４０１，４０３ 画面例、 ４０５ キャンセル領域、 Ａ１ 入力情報、 Ａ２ 選択値、 Ａ３ 通知情報、 Ａ４ 操作判定情報。

Claims (11)

1. 画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するタッチジェスチャ判定装置であって、
   前記操作情報に基づいて、前記タッチパネルの表示のための前記出力情報を生成する操作判定部と、
   前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、
   前記操作判定部は、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体操作モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、
   前記画面全体入力判定部は、前記操作情報から、前記タッチジェスチャ操作が前記画面全体操作モードにおいて前記ユーザが行った操作であるか否かを判定するための判定条件が満たされるか否かを判定し、前記判定条件が満たされる場合に前記タッチジェスチャ操作が前記画面全体操作モードにおける第１の操作であると判定し、
   前記判定条件は、予め定められた時間における前記タッチジェスチャ操作のタッチ数の変化とタッチ位置の移動量とに基づいて予め定められた条件である
   ことを特徴とするタッチジェスチャ判定装置。
2. 前記第１の操作は、前記ユーザの２本指が同時に前記タッチパネルをタッチする２点タッチ操作を含む
   ことを特徴とする請求項１に記載のタッチジェスチャ判定装置。
3. 前記判定条件は、
   前記２点タッチ操作中の２点のタッチ位置の予め定められた第１の時間における移動量の合計が予め定められた第１の値以下である条件である第１の判定条件、
   前記２点タッチ操作直前の１点タッチ操作のタッチ位置の予め定められた第２の時間における移動量が予め定められた第２の値以下である条件である第２の判定条件、
   及び前記２点タッチ操作直後の１点タッチ操作のタッチ位置の予め定められた第３の時間における移動量が予め定められた第３の値以下である条件である第３の判定条件、
   の全てを含む
   ことを特徴とする請求項２に記載のタッチジェスチャ判定装置。
4. 前記第１の操作は、前記ユーザの３本指が同時に前記タッチパネルをタッチする３点タッチ操作を含む
   ことを特徴とする請求項１に記載のタッチジェスチャ判定装置。
5. 前記操作判定部は、
   前記タッチパネルに前記操作用画像として表示された表示部品に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する表示部品操作モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する表示部品入力判定部と、
   前記表示部品操作モードと前記画面全体操作モードとを切り替える操作モード切り替え部と、をさらに有する
   ことを特徴とする請求項１から４のいずれか１項に記載のタッチジェスチャ判定装置。
6. 前記タッチパネルから出力された前記操作情報を受け取り、受け取った前記操作情報に対応する入力情報を前記操作判定部に出力する操作情報入力部をさらに有する
   ことを特徴とする請求項１から５のいずれか１項に記載のタッチジェスチャ判定装置。
7. 前記出力情報に応じた通知内容の通知を発し、又は前記出力情報に応じた通知内容の通知信号を出力する通知部をさらに有する
   ことを特徴とする請求項１から６のいずれか１項に記載のタッチジェスチャ判定装置。
8. 画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するタッチジェスチャ判定方法であって、
   前記操作情報に基づいて、前記タッチパネルの表示のための前記出力情報を生成する操作判定ステップと、
   前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御ステップと、を有し、
   前記操作判定ステップは、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体操作モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定ステップを有し、
   前記画面全体入力判定ステップは、前記操作情報から、前記タッチジェスチャ操作が前記画面全体操作モードにおいて前記ユーザが行った操作であるか否かを判定するための判定条件が満たされるか否かを判定し、前記判定条件が満たされる場合に前記タッチジェスチャ操作が前記画面全体操作モードにおける第１の操作であると判定する処理を含み、
   前記判定条件は、予め定められた時間における前記タッチジェスチャ操作のタッチ数の変化とタッチ位置の移動量とに基づいて予め定められた条件である
   ことを特徴とするタッチジェスチャ判定方法。
9. コンピュータに、
   画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するために、
   前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定処理と、
   前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御処理と、を実行させ、
   前記操作判定処理は、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体操作モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定処理を有し、
   前記画面全体入力判定処理は、前記操作情報から、前記タッチジェスチャ操作が前記画面全体操作モードにおいて前記ユーザが行った操作であるか否かを判定するための判定条件が満たされるか否かを判定し、前記判定条件が満たされる場合に前記タッチジェスチャ操作が前記画面全体操作モードにおける第１の操作であると判定する処理を含み、
   前記判定条件は、予め定められた時間における前記タッチジェスチャ操作のタッチ数の変化とタッチ位置の移動量とに基づいて予め定められた条件である
   ことを特徴とするタッチジェスチャ判定プログラム。
10. 画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルと、
    前記操作情報を受け取り、前記操作情報に基づいて前記タッチパネルの表示を制御するタッチジェスチャ判定装置と
    を有するタッチパネル入力装置であって、
    前記タッチジェスチャ判定装置は、
    前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定部と、
    前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、
    前記操作判定部は、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体操作モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、
    前記画面全体入力判定部は、前記操作情報から、前記タッチジェスチャ操作が前記画面全体操作モードにおいて前記ユーザが行った操作であるか否かを判定するための判定条件が満たされるか否かを判定し、前記判定条件が満たされる場合に前記タッチジェスチャ操作が前記画面全体操作モードにおける第１の操作であると判定し、
    前記判定条件は、予め定められた時間における前記タッチジェスチャ操作のタッチ数の変化とタッチ位置の移動量とに基づいて予め定められた条件である
    ことを特徴とするタッチパネル入力装置。
11. 前記タッチパネルは、
    前記タッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力する操作パネル部と、前記操作パネル部と重ねて配置され、前記画面に前記操作用画像を表示する表示パネル部とを有する
    ことを特徴とする請求項１０に記載のタッチパネル入力装置。

Images