JP4351599B2

JP4351599B2 - 入力装置

Info

Publication number: JP4351599B2
Application number: JP2004257649A
Authority: JP
Inventors: 卓哉平井; 篤飯阪; 敦士山下
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-09-03
Filing date: 2004-09-03
Publication date: 2009-10-28
Anticipated expiration: 2024-09-03
Also published as: US20070262965A1; EP1811360A1; EP1811360A4; CN102411438A; CN101010661A; JP2006072854A; WO2006027924A1

Description

本発明は、ユーザーが機器に対して命令や情報を入力するための入力装置に関し、より特定的には、ディスプレー等に表示された情報をもとにユーザーが手などの身体を用いて命令や情報を入力することのできる入力装置に関する。

従来、ディスプレー等の表示画面に表示された情報をもとにユーザーが指などを用いて命令や情報を入力する入力装置として、タッチパネルディスプレーがある。タッチパネルディスプレーは、ディスプレーの表示画面上にタッチパネルを設けた構成である。画面に表示されるＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）には、メニューやボタンスイッチに代表される表示部品（以下では、ＧＵＩ部品と呼ぶ）が含まれる。ユーザーは、画面上で所望のＧＵＩ部品に触れることによって、そのＧＵＩ部品に関連付けられた命令や情報を入力することができる。このように、タッチパネルディスプレーを利用すれば、簡単かつ直感的に命令や情報を入力することができるため、入力操作に不慣れな者にも分かりやすい入力インターフェースを実現できる。そのため、タッチパネルディスプレーは、銀行のＡＴＭ（ＡｕｔｏｍａｔｅｄＴｅｌｌｅｒＭａｃｈｉｎｅ）やカーナビゲーション装置などに広く採用されている。

一方、タッチパネルディスプレーのようにユーザーが表示画面に触れるのではなく、表示画面から離れた場所にある操作部を利用して入力を行うことのできる入力インターフェースとして、タッチトレーサーや、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）の入力装置として一般的に利用されているタブレットなどがある（例えば、特許文献１参照）。これらの入力インターフェースでは、表示画面に矢印などの形状のカーソルが表示され、ユーザーが指またはペンを操作部に設けられた所定の操作面に接触させた状態で移動させると、その動きに対応して画面上のカーソルが移動する。ユーザーは、カーソルが所望のＧＵＩ部品上に移動したことを確認してから所定の確定動作（例えばクリック操作）を行うことによって、そのＧＵＩ部品に関連づけられた命令や情報を入力することができる。

さらには、タッチパネルディスプレーやタブレットのように操作面に直接触れるのではなく、ユーザーの手などの動きをカメラを用いて検出し、その動きに対応して画面に表示されたカーソルを移動させる入力インターフェースもある（例えば、特許文献２参照）。この場合、ユーザーがカメラの視野内で、画面に表示されているカーソルを移動させたい方向に向かって空中で手を移動させると、その動きに対応して画面上のカーソルが移動する。ユーザーは、カーソルが所望のＧＵＩ部品上に移動したことを確認してから所定の確定動作（例えばこぶしを作る動作）を行うことによって、そのＧＵＩ部品に関連づけられた命令や情報を入力することができる。
特開平１１−３１６９号公報特開２０００−１８１６０１号公報

しかしながら、前述のような従来の入力インターフェースには以下のような欠点がある。

タッチパネルディスプレーは、表示画面に直接触れることによって入力を行うため、表示画面の設置位置に関して一種のジレンマが生じる。

ユーザーが指でタッチパネルディスプレーに触れるためには表示画面を身体の近くに置かなければならない。人間工学では、ＶＤＴ（ＶｉｄｅｏＤｉｓｐｌａｙＴｅｒｍｉｎａｌ）の操作などに関する入力インターフェースの最適な配置条件が定められており、身体から半径５０ｃｍ以内がよいとされている。

一方で、表示画面はなるべく遠くに設置した方がよい場合がある。その一例が、家庭に設置される大型テレビや、車内に設置されるカーナビゲーション装置である。テレビを３０ｃｍ程度の近距離で見ることは、目にとって良くないばかりでなく、てんかんなどの発作を誘発する恐れもある。また、車の運転中に用いるカーナビゲーション装置では、運転者が目の焦点距離を調節するのにかかる時間が、運転に対する注意の妨げになることが報告されている。つまり、運転中の焦点距離（数ｍ先）とカーナビゲーション装置の表示画面を見るときの焦点距離との差はより小さい方がより安全である。ところで、表示画面を見るときの焦点距離を離すことのできる表示装置として、レンズや鏡を用いたＨＵＤ（ＨｅａｄＵｐＤｉｓｐｌａｙ）に代表される遠焦点ディスプレーが存在するが、この遠焦点ディスプレーではユーザーが表示画面に触れることができないため、タッチパネルを適用することができない。

さらに、タッチパネルディスプレーは、ユーザーの入力操作によって表示画面に指紋がつくため表示の視認性が悪化するという本質的な問題も抱えている。

一方、タッチトレーサーやタブレットでは、表示画面と操作部が分離しているため、表示画面を遠くに、操作部を近くに置くことが可能である。またユーザーが画面を触ることがないので画面に指紋が付く心配もない。

しかし、表示画面と操作部が分離された入力インターフェースは、操作部の操作面上で指やペンをスライドさせることによって画面に表示されたカーソルを移動させる必要があるため、タッチパネルディスプレーのように所望のＧＵＩ部品をワンタッチで選択することはできない。すなわち、カーソルの現在位置を確認してから、指を操作面上でスライドさせてカーソルを所望のＧＵＩ部品上に移動させる操作が必要になるので、タッチパネルディスプレーのような素早い入力は困難である。このように、表示画面と操作部が分離された入力インターフェースはタッチパネルディスプレーのような直感的な入力が不可能であり、タッチパネルディスプレーよりも操作性に劣る。

また、前述のようにカメラを利用して手の動きを検出する方法でも、タッチトレーサーやタブレットの例と同様に、空中で手を動かしてカーソルを所望のＧＵＩ部品上に移動させる操作が必要になるので、タッチパネルディスプレーのような素早い入力は困難である。さらに、ユーザーは空中で手を動かす必要があるため、疲労を招きやすいという欠点もある。

なお、上記のようにカメラを利用した場合に、手指の“動き（すなわち相対的な位置の変化）”を検出するのではなく、ユーザーの指の向きを検出してその向きからユーザーが指している表示画面上の“位置”を検出することも考えられる。しかし、人間が遠くの物体を指さすときには、目の位置による視差の影響のため、ユーザーが指している指の先にユーザーが意図している物体があることはまれである。よって、指の向きだけからユーザーが指している表示画面上の位置を精度良く特定することは不可能である。また、ユーザーは空中で手を動かす必要があるため、手の位置が不安定になり、入力の精度が良くない。

それゆえに本発明の目的は、表示画面と操作部が分離していても直感的かつ正確に入力が可能な入力装置を提供することである。

上記目的を達成するために、本発明は以下の構成を採用した。なお、括弧内の参照符号や図番号や補足説明は、本発明の理解を助けるために、図面との対応関係を示したものであって、本発明の範囲を何ら限定するものではない。

第１の局面は、操作面を有し、当該操作面においてユーザーの手（６）と接触している領域を検出して当該領域を示す接触位置データ（１５０Ａ、１５０Ｂ）を出力する検出部（４、１００）と、標準の手形状モデルを予め保持しており、前記検出部から出力される前記接触位置データに基づいて当該標準の手形状モデルを変形させて、当該変形させた後の手形状モデルの画像を前記検出部の操作面上に載せられているユーザーの手形状に応じた接触領域画像（図１４Ｂの１０３、図１５Ｂの１０４、図１の７）を作成する身体位置表示部（６００）と、ユーザーによる操作の補助となる表示画像を生成する表示情報作成部（７００）と、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成する画像合成部（８００）と、前記画像合成部が合成した画像を表示する表示部（２、２００）と、前記表示部に表示された接触領域画像を利用して入力された特定のユーザー操作を検出する操作内容決定部（５００）とを備えた入力装置。これにより、検出部の操作面に載せているユーザーの手の形状が表示部に表示されるため、あたかも画面に直接触れているかのような直感的な入力操作が可能となる。

第２の局面は、第１の局面に準ずる発明であって、前記検出部は、指先の位置及び手のひらの付け根の位置を示す接触位置データを出力し、前記身体位置表示部は、前記接触位置データに含まれる前記指先の位置及び前記手のひらの付け根の位置に基づいて、前記標準の手形状モデルを変形させることを特徴とする。

第３の局面は、第１の局面に準ずる発明であって、前記検出部は、指先の位置を示す接触位置データを出力し、
前記身体位置表示部は、手のひらの付け根の位置を示すデータを予め保持しており、前記接触位置データに含まれる指先の位置と当該保持する手のひらの付け根の位置とに基づいて、前記標準の手形状モデルを変形させることを特徴とする。

第４の局面は、第２及び３の局面に準ずる発明であって、前記検出部は、接触型の座標入力デバイス（例えばタッチパネルやタッチパッド）であることを特徴とする。

第５の局面は、第２及び３の局面に準ずる発明であって、前記検出部は、前記操作面に沿って配置された複数の静電容量センサ（１０１）を含むことを特徴とする（図３）。これにより、静電容量センサの設定によっては、ユーザーの身体部分の接触だけではなく接近も検出でき、ユーザーは軽快に入力操作を行うことができる。

第６の局面は、第２及び３の局面に準ずる発明であって、前記検出部は、前記操作面に沿って配置された複数の圧力センサ（１０２）を含むことを特徴とする（図４）。これにより、圧力センサの検出値に基づいて、触れる、軽く押す、強く押すなどの入力操作を簡単に区別して検知することが可能となり、ユーザーは容易に多彩な入力操作を行うことができる。

第７の局面は、第６の局面に準ずる発明であって、前記接触位置データには、前記検出部の各圧力センサによって検知される圧力値が含まれ（１５０Ｂ）、前記身体位置表示部は、前記接触位置データに基づいて、前記検出部の各圧力センサによって検知される圧力値に応じた接触領域画像を作成するものであることを特徴とする。これにより、操作面のどの点にどの程度の圧力が加わっているかをユーザーに提示することができる。

第８の局面は、第７の局面に準ずる発明であって、前記身体位置表示部が作成する接触領域画像の各部分の色が、前記検出部の各圧力センサによって検知される圧力値に応じて変化することを特徴とする（図１２Ｂ、図１３Ｂ）。これにより、操作面のどの点にどの程度の圧力が加わっているかを色によりユーザーに提示することができる。

第９の局面は、第２又は３の局面に準ずる発明であって、前記身体位置表示部は、ユーザーの手の特徴（各指の長さなど）をさらに反映させて、前記保持する標準の手形状モデルを変形させることを特徴とする。これにより、より正確なモデリングが可能となる。

第１０の局面は、第２又は３の局面に準ずる発明であって、前記検出部から出力される接触位置データに基づいて前記検出部の操作面にユーザーの手が接触しているかどうかを判定する制御部（４００）を更に備え、前記表示情報作成部は、前記制御部によって前記検出部の操作面にユーザーの手が接触していると判定された場合に、表示画像を作成することを特徴とする。これにより、状況に応じて適切な表示情報を作成することができる。また、身体部分が検出されない場合に画像表示処理を行わないようにして、消費電力を抑えることができる。

第１１の局面は、第２又は３の局面に準ずる発明であって、前記検出部から出力される接触位置データに基づいて前記検出部の操作面にユーザーの手が接触しているかどうかを判定する制御部を更に備え、前記表示情報作成部は、前記制御部によって前記検出部の操作面にユーザーの手が接触していると判定された場合に、作成すべき表示画像中のＧＵＩ部品を強調することを特徴とする（図１９Ｂ、図２０Ｂ）。これにより、身体部分が検出されない場合にはＧＵＩ部品を目立たないように表示し、ＧＵＩ部品以外の表示情報を見やすくしたり、その情報量を増やしたりすることができる。

第１２の局面は、第２又は３の局面に準ずる発明であって、前記検出部から出力される接触位置データに基づいて、前記検出部の操作面に接触しているユーザーの手の特徴を検出する特徴検出手段（４００、６００）を更に備え、前記表示情報生成部は、前記特徴検出手段によって検出されたユーザーの手の特徴に応じて、作成すべき表示画像を変更することを特徴とする。これにより、ユーザーの身体部分の特徴に応じて適切な表示情報を作成することができる。

第１３の局面は、第１２の局面に準ずる発明であって、前記特徴検出手段は、前記検出部から出力される接触位置データに基づいて、前記検出部の操作面に接触しているユーザーの手が右手か左手かを判定することを特徴とする（図２１Ａ、図２１Ｂ）。これにより、ユーザーの身体部分が右手か左手かによって適切な表示情報を作成することができる。

第１４の局面は、第１３の局面に準ずる発明であって、前記表示情報作成部は、前記検出部の操作面に接触しているユーザーの手が右手または左手のいずれかの場合にのみ表示情報を作成することを特徴とする。これにより、例えばユーザーが検出部の右側から入力操作をしている場合にのみ表示情報を表示したり、ユーザーが検出部の左側から入力操作をしている場合にのみ表示情報を表示したりといったことが可能である。

第１５の局面は、第１４の局面に準ずる発明であって、前記表示情報作成部は、作成すべき表示画像中のＧＵＩ部品を強調表示、もしくは当該ＧＵＩ部品の位置を変更（図２１Ａ、図２１Ｂ）、もしくは当該ＧＵＩ部品の有効性を変更することを特徴とする。これにより、ユーザーが検出部の右側（または左側）から入力操作をしている場合にのみ、ＧＵＩ部品を強調したり、ＧＵＩ部品を有効にしたり、ＧＵＩ部品が無効化されていることを表示したりすることができる。また、ユーザーの位置に合わせてＧＵＩ部品の位置を入力操作のしやすい位置に変更することができる。

第１６の局面は、第１２の局面に準ずる発明であって、前記特徴検出手段は、前記検出部から出力される接触位置データに基づいて、前記検出部の操作面に接触しているユーザーの手が大人のものか子供のものかを判定することを特徴とする（図２２Ａ、図２２Ｂ）。これにより、ユーザーの身体部分が大人のものか子供のものかによって適切な表示情報を作成することができる。

第１７の局面は、第１６の局面に準ずる発明であって、前記表示情報作成部は、前記検出部の操作面に接触しているユーザーの手が大人または子供のいずれかの場合にのみ表示情報を作成することを特徴とする。これにより、例えばユーザーが大人の場合にのみ表示情報を表示したり、ユーザーが子供の場合にのみ表示情報を表示したりといったことが可能である。

第１８の局面は、第１７の局面に準ずる発明であって、前記表示情報作成部は、作成すべき表示画像中のＧＵＩ部品を強調表示、もしくは当該ＧＵＩ部品の位置を変更、もしくは当該ＧＵＩ部品の有効性を変更するものであることを特徴とする。これにより、ユーザーが大人（または子供）の場合にのみ、ＧＵＩ部品を強調したり、ＧＵＩ部品を有効にしたり（図２２Ａ）、ＧＵＩ部品が無効化されていることを表示したり（図２２Ｂ）することができる。また、ユーザーが大人か子供かによって、ＧＵＩ部品の位置を入力操作のしやすい位置に変更することができる。

第１９の局面は、第２又は３の局面に準ずる発明であって、当該入力装置は、ユーザーによる入力操作が可能なモードと不可能なモードの２つの操作モードを有し、前記画像合成部は、ユーザーによる入力操作が可能なモードのときには、前記表示情報作成部が作成した表示画像を、前記接触領域画像と合成することなしに、そのまま前記表示部に表示させるものであることを特徴とする。これにより、ユーザーによる入力操作が不可能なモードであるときに、それをユーザーに示唆することができる。

第２０の局面は、第２又は３の局面に準ずる発明であって、当該入力装置は、ユーザーによる入力操作が可能なモードと不可能なモードの２つの操作モードを有し、前記画像合成部は、前記操作モードに応じて、前記表示情報作成部が作成した表示画像と前記接触領域画像との合成方法を変更するものであることを特徴とする。これにより、例えばユーザーによる入力操作が不可能なモードであるときに、その旨を画面に表示するといったことが可能である。

第２１の局面は、第２０の局面に準ずる発明であって、前記画像合成部は、ユーザーによる入力操作が可能なモードのときには前記接触領域画像が半透明で表示、もしくは輪郭を強調して表示、もしくは半透明でかつ輪郭を強調して表示され、ユーザーによる入力操作が不可能なモードのときには当該接触領域画像が不透明で表示されるように、前記表示画像と前記接触領域画像を合成するものであることを特徴とする。これにより、ユーザーによる入力操作が不可能なモードであるときに、それをユーザーに示唆することができる。

第２２の局面は、操作面を有し、当該操作面においてユーザーの手（６）と接触している領域を検出して当該領域を示す接触位置データ（１５０Ａ、１５０Ｂ）を出力する検出部（４、１００）と、標準の手形状モデルを予め保持しており、前記検出部から出力される前記接触位置データに基づいて当該標準の手形状モデルを変形させて、当該変形させた後の手形状モデルの画像を前記検出部の操作面上に載せられているユーザーの手形状に応じた接触領域画像（図１４Ｂの１０３、図１５Ｂの１０４、図１の７）を作成する身体位置表示部（６００）と、ユーザーによる操作の補助となる表示画像を生成する表示情報作成部（７００）と、前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成する画像合成部（８００）と、前記画像合成部が合成した画像を表示する表示部（２、２００）と前記表示部に表示された接触領域画像を利用して入力された特定のユーザー操作を検出する操作内容決定部と（５００）とを備えた車両である。これにより、運転者や搭乗者は画面に直接触れることなしに入力操作を行うことができるため、入力操作が楽である。また、特に運転中に運転者が入力操作を行う場合には、手元を見なくても確実に入力操作を行えるため、視点の移動量が抑えられ安全である。

以上のような本発明により、ユーザーの身体部分が接触（または接近）している操作面上の位置が、画面上のどの位置に対応しているのかを正確に把握できるため、表示画面と検出部が分離していても、タッチパネルのようにあたかも画面に直接触れて入力しているかのような、直感的かつ正確な入力が可能となる。

以下に、本発明の実施形態について詳しく説明する。

図１は、本発明の一実施形態にかかる入力装置の概念図である。図１において、ユーザーの手元に操作用のタッチパッド４が設置され、ユーザーから離れた位置にディスプレー２が設置されている。ディスプレー２には、ユーザーが所望の命令や情報を入力するための１つ以上のＧＵＩ部品３が表示されている。

タッチパッド４の操作面の各点は、ディスプレー２の表示画面の各点と一対一で対応しており、ユーザーがタッチパッド４の操作面のある点を指で押すと、その接触位置を示すデータがタッチパッド４から図示しない制御部へと出力され、このデータに基づいて、その接触位置に対応するＧＵＩ部品３が特定され、そのＧＵＩ部品３に関連付けられた命令や情報が入力される。

一方、ユーザーがＧＵＩ部品３を選択するためにタッチパッド４上に手６を載せると、タッチパッド４上のユーザーの手６と触れている領域（通常はユーザーの指先と手のひらに触れている領域）がタッチパッド４によって検出され、その接触領域を示すデータがタッチパッド４から演算部へと送られる。演算部は、タッチパッド４から受け取ったデータからタッチパッド４に載せられている手の形状を推定し、推定された形状に基づく手形状モデルの画像７をＣＧなどによって生成する。そして、生成した手形状モデルの画像７をスーパーインポーズによってディスプレー２に表示する。ユーザーは、ディスプレー２に表示された手形状モデルを見ながら、手形状モデルの指先が所望のＧＵＩ部品３上に来るように手６を移動させてからタッチパッド４を押す。するとその接触位置に対応するＧＵＩ部品３（すなわち、手形状モデルの指先に位置するＧＵＩ部品３）に関連付けられた命令や情報が入力される。

なお、仮に手形状モデルの画像７が画面に表示されない場合を想定してみる。この場合、ユーザーは例えば画面の中央に表示されているＧＵＩ部品３を選択しようとするときに、タッチパッド４の操作面に視線を移してタッチパッド４の中央位置を確かめてから指で押す必要があり不便である。特に車の運転中では視線を手元に移すことは危険である。しかし本発明の入力装置によれば、ディスプレー２に表示された手形状モデルの画像７を見ることによって、現在の指の位置が画面上のどの位置に対応しているのかを確認することができる。よって、ユーザーはタッチパッド４に視線を移すことなくディスプレー２だけを見ながらＧＵＩ部品３を選択することができる。

以下、入力装置についてより詳細に説明する。

図２は、入力装置の構成を示すブロック図である。図２において、入力装置１０００は、検出部１００、表示部２００および演算部３００からなる。演算部３００は、演算部３００全体を制御する制御部４００、ユーザーの特定の入力操作を検出する操作内容決定部５００、検出部１００に対するユーザーの身体の接触領域を示す画像（例えば図１の７）を作成する身体位置表示部６００、ユーザーによる命令や情報の入力に必要となる表示情報（すなわちＧＵＩ部品３を含む画像）を作成する表示情報作成部７００、および、身体位置表示部６００によって作成された画像と表示情報作成部７００によって作成された表示情報とを合成する画像合成部８００とからなる。以下、各部の構成について詳細に説明する。

（検出部１００）
まず、検出部１００について説明する。

検出部１００は、ユーザーが手などの身体部分を利用して命令や情報を入力するための手段であり、ユーザーがその操作面に触れたときに、その接触位置を示すデータを出力する機能を備えている。検出部１００としては、典型的にはタッチパネルやタッチパッドを利用することができる。ただし、一般的なタッチパネルやタッチパッドでは同時に一箇所の接触位置しか検出することができないが、本発明で利用する検出部１００は、ユーザーが操作面上の複数の箇所に同時に触れたときに、それら複数の接触位置を同時に検出する機能を有しているものとする。このような機能は、複数の静電容量センサ（または圧力センサ）を検出部１００の操作面に沿って平面状に配置することにより実現される。

図３および図４に、検出部１００から出力されるデータの例を示す。

図３は、検出部１００に複数の静電容量センサを用いた場合の例である。図３において、検出部１００にはその操作面に沿って平面状に複数の静電容量センサ１０１が設けられている。ユーザーの身体部分（ここでは手６）が操作面に触れる（または近づく）と、検出部１００と身体部分の間の静電容量が変化し、この変化が静電容量センサ１０１によって検知される。検出部１００は、各静電容量センサ１０１の検出結果に基づいて、図３に示すような、操作面におけるユーザーの身体部分の接触位置を示す接触位置データ１５０Ａを出力する。

図４は、検出部１００に複数の圧力センサを用いた場合の例である。図４において、検出部１００にはその操作面に沿って平面状に複数の圧力センサ１０２が設けられている。ユーザーの身体部分（ここでは手６）が操作面に触れると、身体部分によって操作面に与えられる圧力が圧力センサ１０２によって検出される。検出部１００は、各圧力センサ１０２の検出結果に基づいて、図４に示すような、操作面におけるユーザーの身体部分の接触位置およびその圧力を示す接触位置データ１５０Ｂを出力する。なお、図４の接触位置データ１５０Ｂでは、大きな圧力が加わっている部分ほど濃い色で表されている。

次に、図５〜図８を用いて、車内における検出部１００の設置例を説明する。

図５は第１の設置例を示している。この設置例では、検出部１００がセンターコンソールの延長上であって、運転者が肘置きに肘をおいた状態で操作できるような位置に設置される。これにより、運転者は肘を肘置きに乗せた状態で入力操作を行うことができるので、入力操作の際に車が振動していても安定して操作することが可能となる。また、安定した入力操作が可能なので運転者が入力操作に気を取られることがなく、走行中に入力操作を行っても運転に支障を来さない。また、検出部１００がセンターコンソールに設置してあることで、運転者だけでなく、助手席や後部座席にいる人間でも入力操作が可能である。

図６は第２の設置例を示している。この設置例では、検出部１００がステアリングの中央部に斜め上向きに設置される。この設置例ではステアリングと検出部１００との距離が非常に近いので、運転者は、両手でステアリングを操作している状態から手を大きく移動させることなく速やかに入力操作を行うことが可能である。

図７は第３の設置例を示している。この設置例では、検出部１００が運転席のドアの内側であって、運転者が肘置きに肘をおいた状態で操作できるような位置に設置される。これにより、運転者が右手（すなわち多くの人間にとっての利き手）で入力操作を行うことができるので、多くの運転者にとって、より自然でかつ安定した入力操作が可能となる。

図８は第４の設置例を示している。この設置例では、検出部１００が後部座席の中央にある肘掛け上に設置される。この場合、表示部２００としては、図８のような後部座席専用ディスプレーを用いてもよいし、図５〜図７のような運転席や助手席のディスプレーを用いてもよい。この第４の設置例によれば、後部座席の搭乗者による入力操作が可能である。よって、本発明をビデオゲーム等の入力装置として利用するなど、本発明の入力装置を、後部座席特有のエンタテイメントのために利用することができる。また、検出部１００を後部座席の中央に配置したことで、後部座席の２人の搭乗者が検出部１００を共用することができる。

なお、図９のように、検出部１００の操作面を覆うような遮蔽部１３０を設けてもよい。これにより、操作面に対するユーザーの身体部分以外の物体の不慮の接触を防止することができ、例えば検出部１００の操作面にものが落下して機器が誤動作したりセンサが故障したりする不具合を回避することができる。

（表示部２００）
次に、表示部２００について説明する。

表示部２００は、画像合成部８００が合成した画像を画面に表示するものであり、表示部２００としては、液晶ディスプレー、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）ディスプレー、ＥＬ（ＥｌｅｃｔｒｏｎｉｃＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレーなどが利用できる。

なお、表示部２００は、例えばＨＵＤ（ＨｅａｄＵｐＤｉｓｐｌａｙ）やＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）のように、画像合成部８００が合成した画像をハーフミラー、鏡、レンズなどを用いて空中に結像させるディスプレーであってもよい。この場合、例えば車両のフロントボンネットの上方のように、表示部２００の設置が困難な位置にも画像を表示することが可能となる。

また、表示部２００としてプロジェクターを利用してもよい。この場合、画像合成部８００が合成した画像がプロジェクターによってスクリーンに投影されるため、安価に大画面表示を実現することができる。

このように、表示部２００の構成は、設置場所や表示目的などに応じて適宜に選択すればよい。

次に、演算部３００の各部について説明する。

（身体位置表示部６００）
まず、身体位置表示部６００について説明する。

身体位置表示部６００は、検出部１００から出力される接触位置データ（図３の１５０Ａまたは図４の１５０Ｂ）を制御部４００を通じて取得し、この接触位置データに基づいて、検出部１００に対するユーザーの身体の接触領域を示す画像（以下、接触領域画像と称す）を作成し、作成した画像を制御部４００へ出力するものである。以下、身体位置表示部６００における接触領域画像の作成手法を具体的に説明する。

検出部１００に対するユーザーの身体の接触領域を表示部２００の画面に表示する方法としては２通りの方法が考えられる。一つ目は、接触領域の形状そのものを接触領域画像として表示する方法であり、二つ目は、接触領域の形状から検出部１００に載せられているユーザーの手の位置および形状を推定し、その推定結果に基づいて手形状モデルを作成し、作成した手形状モデルの画像（図１の７）を接触領域画像として表示する方法である。以下、各方法について順番に説明する。

まず、接触領域の形状そのものを接触領域画像として表示する場合について、図１０Ａ〜図１２Ｂを参照して説明する。

まず、図１０Ａおよび図１０Ｂを参照して、接触領域の形状そのものを接触領域画像として表示する場合の第１の具体例を説明する。図１０Ａは、６００個（２０×３０）の静電容量センサ１０１を備えた検出部１００の操作面にユーザーの手が載せられているときの各静電容量センサ１０１の検出結果（２値）を示している。なお、静電容量センサ１０１の個数（すなわち検出部１００の解像度）は単なる一例であって、本発明はこれに限定されない。検出部１００からは、図１０Ａの各静電容量センサ１０１の検出結果が接触位置データとして出力されることになる。身体位置表示部６００は、この接触位置データに基づいて、図１０Ｂのように、手の接触（または接近）を検知した各静電容量センサ１０１に対応する位置にそれぞれ所定サイズのドットを配置した接触領域画像を作成する。こうして作成された接触領域画像は、後述する画像合成部８００の処理によって表示情報と合成され、表示部２００に表示される。このような表示により、ユーザーは、自分の手の下に位置する各静電容量センサ１０１の位置を画面上で確かめることができるため、特定の静電容量センサ１０１を狙ってダブルタップ操作などの入力操作を行うことが可能である。よって、小さいＧＵＩ部品を選択するなどの細かい入力操作が要求される場合に特に有効である。

次に、図１１Ａおよび図１１Ｂを参照して、接触領域の形状そのものを接触領域画像として表示する場合の第２の具体例を説明する。図１１Ａは、図１０Ａと同様に、６００個（２０×３０）の静電容量センサ１０１を備えた検出部１００の操作面にユーザーの手が載せられているときの各静電容量センサ１０１の検出結果（２値）を示している。なお、静電容量センサ１０１の個数（すなわち検出部１００の解像度）は単なる一例であって、本発明はこれに限定されない。検出部１００からは、図１１Ａの各静電容量センサ１０１の検出結果が接触位置データとして出力されることになる。身体位置表示部６００は、この接触位置データに基づいて、図１１Ｂのように実際の接触領域の形状に近い接触領域画像を作成する。具体的には、手の接触（または接近）を検知した静電容量センサ１０１のうち、互いに近接するものを１グループとして、このグループの形状を任意の図形（例えば楕円）で近似する。または、図１０Ｂの接触領域画像における近接するドット間の隙間を埋めて図１１Ｂに近い接触領域画像を作成するようにしてもよい。このような表示により、ユーザーにとって接触領域の形状が直感的に把握でき、違和感が少ないという効果がある。表示のバリエーションとして、接触領域の輪郭のみを表示したり、接触領域に所定のテクスチャーを貼り付けたり、接触面積に応じて接触領域の色や透明度を変化させたりしてもよい。

次に、図１２Ａおよび図１２Ｂを参照して、接触領域の形状そのものを接触領域画像として表示する場合の第３の具体例を説明する。図１２Ａは、６００個（２０×３０）の圧力センサ１０２を備えた検出部１００の操作面にユーザーの手が載せられているときの各圧力センサ１０２の検出結果（多値）を示している。なお、圧力センサ１０２の個数（すなわち検出部１００の解像度）は単なる一例であって、本発明はこれに限定されない。検出部１００からは、図１２Ａの各圧力センサ１０２の検出結果が接触位置データとして出力されることになる。身体位置表示部６００は、この接触位置データに基づいて、図１２Ｂのように、圧力を検出した各圧力センサ１０２に対応する位置にそれぞれ所定サイズのドットを配置するとともに、圧力センサ１０２によって検出された圧力が大きいほど、その圧力センサ１０２に対応するドットの色が濃くなるような接触領域画像を作成する。このような表示により、ユーザーは、自分の手の下に位置する各圧力センサ１０２の位置を画面上で確かめることができるため、特定の圧力センサ１０２を狙ってダブルタップ操作などの入力操作を行うことが可能である。よって、小さいＧＵＩ部品を選択するなどの細かい入力操作が要求される場合に特に有効である。また、各圧力センサ１０２によって検出されている圧力を画面上で確かめることができるため、ユーザーは、例えば前述のプッシュ操作のときにどの程度の力が必要かや、操作面に最も大きな圧力を与えているのは指先のどの部分かを把握することができる。これにより、例えば狙ったＧＵＩ部品とは別のＧＵＩ部品を誤って選択してしまったような場合に、その原因（例えば意図せずに手のひら部分で操作面に強い圧力を加えてしまっていたなど）を確かめることができる。なお、図１２Ｂの例では圧力に応じてドットの色を変化させているが、本発明はこれに限定されない。例えば、圧力に応じてドットの大きさ、ドットの透明度、ドットの形状、ドットの輪郭線の有無、ドットの輪郭線の線種、ドットの輪郭線の太さを変化させても良い。また、これらの変化を組み合わせてもよい。

次に、図１３Ａおよび図１３Ｂを参照して、接触領域の形状そのものを接触領域画像として表示する場合の第４の具体例を説明する。図１３Ａは、図１２Ａと同様に、６００個（２０×３０）の圧力センサ１０２を備えた検出部１００の操作面にユーザーの手が載せられているときの各圧力センサ１０２の検出結果（多値）を示している。なお、圧力センサ１０２の個数（すなわち検出部１００の解像度）は単なる一例であって、本発明はこれに限定されない。検出部１００からは、図１３Ａの各圧力センサ１０２の検出結果が接触位置データとして出力されることになる。身体位置表示部６００は、この接触位置データに基づいて、図１３Ｂのように実際の接触領域の形状に近い接触領域画像を作成する。具体的には、所定値以上の圧力を検出した圧力センサ１０２のうち、互いに近接するものを１グループとして、このグループの形状を任意の図形（例えば楕円）で近似し、さらに、各圧力センサ１０２によって検出された圧力に応じてこの図形の色にグラデーションを与える。例えば、圧力が大きい部分は赤で、圧力が小さい部分は青で、圧力がそれらの中間である部分は紫で表示する。このような表示により、ユーザーにとって接触領域の形状が直感的に把握でき、違和感が少ないという効果がある。なお、図１３Ｂの例では圧力に応じて各楕円の色を変化させているが、本発明はこれに限定されない。例えば、圧力に応じて楕円の大きさ、楕円の透明度、楕円の形状、楕円の輪郭線の有無、楕円の輪郭線の線種、楕円の輪郭線の太さを変化させても良い。また、これらの変化を組み合わせてもよい。

次に、接触領域の形状に基づいて作成された手形状モデルの画像を接触領域画像として表示する場合について、図１４Ａ〜図１６を参照して説明する。

身体位置表示部６００は、検出部１００から出力される接触位置データ（図３の１５０Ａまたは図４の１５０Ｂ）に基づいて、手形状のモデリングを行う。

手形状のモデリングのためには、ユーザーによる入力操作に先だって、ユーザー毎にキャリブレーション処理を行う必要がある。このキャリブレーション処理は、予め用意された手形状モデルに各ユーザーの手の特徴を反映させるための処理であり、ユーザーが入力装置を操作する前に一度だけ実行されればよい。ユーザーの手の特徴（例えば、手のひらの大きさや形状、各指の長さや太さ、指先から第１間接や第２間接までの長さなどのパラメータ）は、ユーザーが任意の入力手段を利用して身体位置表示部６００に直接入力してもよいし、ユーザーが検出部１００の操作面に手を押し当て、検出部１００から出力される接触位置データに基づいて身体位置表示部６００が自動的に認識してもよい。このようにして得られたユーザー固有の特徴パラメータは、ユーザーの識別情報（例えば名前）と一緒に任意の記憶装置に記憶しておけば後で再利用することができる。これにより、ユーザーが入力装置を利用する度にキャリブレーション処理を行う必要がなくなる。

身体位置表示部６００は、検出部１００から出力される接触位置データから手のひらの付け根の位置と各指先の位置を判定し、これらの位置とキャリブレーション処理によって得られたユーザーの手の特徴とに基づいて、図１４Ａのような予め用意された手形状モデル１０３を図１４Ｂのように変形させ、変形させた手形状モデルの画像を接触領域画像として制御部４００に出力する。

なお、場合によってはユーザーが５本の指の全てを検出部１００の操作面に接触させていないこともあり得る。例えば、ユーザーが５本の指のうちの人差し指と親指だけを操作面に接触させている場合も考えられる。このような場合に対応するためには、ユーザーが接触させている指の本数またはその組み合わせに応じた複数パターンの手形状モデルを予め用意しておき、身体位置表示部６００は、検出部１００から出力される接触位置データに基づいて、ユーザーがどの指を操作面に接触させているかを判定し、この判定結果に応じた手形状モデルを用いて接触領域画像を作成すればよい。例えば、ユーザーが５本の指のうちの人差し指と親指だけを操作面に接触させている場合には、予め用意された図１５Ａに示すような手形状モデル１０４を、接触位置データおよびユーザーの手の特徴とに基づいて図１５Ｂのように変形させればよい。

なお、５本の指のうちのどの指が接触しているかを判定する方法としては、検出部１００における接触位置を考慮して推定する方法や、接触領域間の相対位置を考慮して推定する方法や、接触位置の遷移の履歴を考慮して推定する方法などが考えられる。また、５本の指のうちのどの指が接触しているかを特定することなしに、接触している指の本数のみに応じて手形状モデルを選択してもよい。例えば、指が１本だけ接触している場合に、実際にその指が人差し指か否かに関わらず、人差し指だけを延ばしているような手形状モデルを用いるようにしてもよい。

なお、場合によってはユーザーが指だけしか検出部１００の操作面に接触させていないこともあり得る。この場合には、身体位置表示部６００は、検出部１００に対してユーザーがどの方向から入力操作を行うのかを考慮して、指先の接触位置から手のひらの位置を推定する。例えば図７の例では、ユーザーは肘置きに肘を置いた状態で入力操作を行うと想定されるため、ユーザーの手のひらは指先の位置に対して常に後部座席方向に位置すると考えられる。身体位置表示部６００は、推定した手のひらの位置と、接触位置データおよびユーザーの手の特徴とに基づいて、手形状モデルの画像を作成する。

なお、図１６のように、検出部１００の操作面の縁の一部に、または操作面全体を取り囲むように、複数の赤外線センサ１１０を配置し、各赤外線センサ１１０の上部に人体が存在するか否かを検知するようにしてもよい。これらの赤外線センサ１１０の検知結果を考慮することにより、身体位置表示部６００は、たとえユーザーが手のひらを検出部１００の操作面に接触させていない場合であっても、ユーザーの手の向きを容易に判定することができる。また、検出部１００の上方の操作面から離れた位置にユーザーの手があることも検知することができる。

なお、場合によってはユーザーが手のひらだけしか検出部１００の操作面に接触させていないこともあり得る。この場合、身体位置表示部６００は、例えば手を開いている状態の手形状モデルの画像を表示すればよい。さらには、その手形状モデルの画像を半透明にするなどして、操作面に指先が接していないことをユーザーに示唆するようにしてもよい。このような表示により、ユーザーは、表示部２００に表示される画像から自分の手の状態を容易に把握でき、安心することができる。

なお、検出部１００の操作面に指先も手のひらも両方とも接していないときには身体位置表示部６００は接触領域画像を作成しない。これにより、ユーザーは、表示部２００に表示される画像から自分の手の状態（すなわち操作面から手を離していること）を容易に把握でき、安心することができる。

（操作内容決定部５００）
次に、操作内容決定部５００について説明する。

操作内容決定部５００は、検出部１００から出力される接触位置データを制御部４００を通じて取得し、この接触位置データに基づいてユーザーの特定の入力操作を検知し、その結果を制御部４００へ出力するものである。操作内容決定部５００が検知する特定の入力操作の例として、操作面を押す操作（以下、プッシュ操作と称す）や、操作面を例えば指で押した状態でその指をスライドさせる操作や、操作面上のあるポイントに一定時間以上触れる操作（以下、ホールド操作と称す）や、操作面上のあるポイントに一瞬だけ触れる操作（以下、タップ操作と称す）や、操作面上のあるポイントに短時間で２度触れる操作（以下、ダブルタップ動作と称す）が挙げられる。なお、ホールド操作、タップ操作およびダブルタップ操作を検知するためには、接触位置の時間的な変化を考慮する必要があるため、操作面上の各ポイントに対して身体部分が接触した時間や履歴を適宜保持しておく必要がある。

なお、プッシュ操作は、検出部１００に複数の圧力センサ１０２を用いる場合には、圧力センサによって検出された圧力を所定の閾値と比較することによって簡単に検知することができるが、検出部１００に複数の静電容量センサ１０１を用いる場合には工夫が必要である。検出部１００に複数の静電容量センサ１０１を用いる場合には、例えば接触位置データからユーザーの指先が接している領域の面積を計算し、この面積の変化をモニタすることによってプッシュ操作を検知することが可能である。これは、ユーザーが単に手を操作面に載せている状態では指先と操作面との接触面積が比較的小さいのに対して、ユーザーが指先を操作面に押しつけたときにはその接触面積が１．２倍から２倍程度にまで大きくなることを利用している。

なお、図１７に示すように、表示部２００に例えば音量調節用のロータリースイッチをＧＵＩ部品によって模擬的に表示し、検出部１００の操作面に円を描くようなドラッグ操作を操作内容決定部５００で検知したときに、そのドラッグ操作に応じて音量を変化させるようにしてもよい。これにより、あたかも実際にロータリースイッチを回しているかのような直感的な入力操作が可能となる。

（制御部４００）
次に、制御部４００について説明する。

制御部４００の処理は、大きく分けて、検出部１００の操作面に対するユーザーの身体部分の接触領域を示す接触領域画像を表示部２００に表示するために実行される処理と、ユーザーの入力操作があったときに実行される処理とに分けられる。

まず、接触領域画像を表示部２００に表示するために実行される制御部４００の処理の流れを、図１８のシーケンス図を参照して説明する。

ステップＳ５０１において検出部１００が操作面に対するユーザーの身体部分の接触（または接近）位置を検出すると、検出部１００は制御部４００に検出位置データを送る。

ステップＳ５０２において、制御部４００は、その時点での操作モードをチェックする。ここでは、操作モードとして、ユーザーによる入力操作が許可されているモードと、ユーザーによる入力操作が禁止されているモードの２通りのモードが用意されているものとする。特にカーナビゲーション装置では、運転者が移動中にカーナビゲーション装置を操作することは危険につながるため、移動中はユーザーによる入力操作が禁止されるのが普通である。ステップＳ５０２のチェックによってユーザーによる入力操作が許可されていないと判断されると、制御部４００は、表示情報作成部７００が作成した表示情報をそのまま（すなわち、表示情報と接触領域画像を合成することなく）表示部２００に出力するように画像合成部８００に指示する。

ステップＳ５０２のチェックによってユーザーによる入力操作が許可されていると判断されると、制御部４００はステップＳ５０３において、身体位置表示部６００に対して接触領域画像の作成を指示し、さらにステップＳ５０４において、表示情報作成部７００に対して表示部２００に表示すべき表示情報を変更するように指示する。ここで必要であれば、制御部４００は、検出部１００の操作面に載せられている身体部分に関する特性（手の大きさ、左手か右手かなど）を検出し、その特性を表示情報作成部７００に送っても良い。身体位置表示部６００における接触領域画像の作成処理については前述した通りであるので説明を省略する。ここでは、身体位置表示部６００は、接触位置データに基づく手形状モデルの画像を接触領域画像として作成するものとする。

表示情報作成部７００は、制御部４００の指示に従って表示情報を変更する。ここでの表示情報作成部７００による表示情報の変更例を以下に説明する。

図１９Ａおよび図１９Ｂは、検出部１００が接触位置を検出した場合（すなわちユーザーの身体部分が検出部１００の操作面上に載せられている場合）と検出していない場合（すなわちユーザーの身体部分が検出部１００の操作面上に載せられていない場合）とで表示情報を変更する第１の例である。検出部１００が接触位置を検出したかどうかは、検出部１００から出力される接触位置データに基づいて制御部４００が判定することができる。制御部４００はこの判定結果に基づいて表示情報作成部７００に表示情報の変更を指示する。図１９Ａは、検出部１００が接触位置を検出していない場合の画面表示例である。ここでは、ユーザーが選択することのできるＧＵＩ部品（ここではボタン）の輪郭が、「目的地まで２４分」と書かれた単なるメッセージ表示用の欄と同じ線種で表示されている。図１９Ｂは、検出部１００が接触位置を検出した場合の、図１９Ａに対応する画面表示例である。ここでは、ボタンが立体的に表示されるため、ユーザーは選択の対象となる領域がどこかを一目で認識することができる。このように表示情報を変更することによって、ユーザーが入力操作をしようとしていないときには表示情報を簡素化して表示情報の視認性を向上し、ユーザーが入力操作をしようとしているときには選択対象を強調表示して操作性を向上することができる。

図２０Ａおよび図２０Ｂは、検出部１００が接触位置を検出した場合（すなわちユーザーの身体部分が検出部１００の操作面上に載せられている場合）と検出していない場合（すなわちユーザーの身体部分が検出部１００の操作面上に載せられていない場合）とで表示情報を変更する第２の例である。図２０Ａは、検出部１００が接触位置を検出していない場合の別の画面表示例である。ここでは、ユーザーが選択することのできるＧＵＩ部品（ここではボタン）が比較的小さい大きさで表示されている。図２０Ｂは、検出部１００が接触位置を検出した場合の、図２０Ａに対応する画面表示例である。ここでは、ボタンが図２０Ａと比較してより大きく表示されるため、ユーザーはボタンを選択し易くなる。このように表示情報を変更することによって、ユーザーが入力操作をしようとしていないときにはボタン以外の情報を見易くし、ユーザーが入力操作をしようとしているときにはボタンを拡大表示して操作性を向上することができる。

図２１Ａおよび図２１Ｂは、検出部１００の操作面に右手が載せられている場合と左手が載せられている場合とで表示情報を変更する例である。検出部１００の操作面に右手が載せられているか左手が載せられているかは、検出部１００から出力される接触位置データに基づいて制御部４００が判定してもよいし、前述のキャリブレーション処理において判定してもよい。この判定には、既存の種々のアルゴリズムを用いることができる。制御部４００はこの判定結果に基づいて表示情報作成部７００に表示情報の変更を指示する。図２１Ａは、検出部１００の操作面に右手が載せられている場合の画面表示例であり、図２１Ｂは、検出部１００の操作面に左手が載せられている場合の画面表示例である。ここでは、車内の運転席と助手席の間に検出部１００が設置されている場合のように、検出部１００の左右両側に２人のユーザーが存在し、検出部１００の右側に存在するユーザーは検出部１００を左手で操作し、検出部１００の左側に存在するユーザーは検出部１００を右手で操作するという状況を想定している。つまり、検出部１００の操作面に右手が載せられているということは、検出部１００を操作しているユーザーは検出部１００の左側にいると考えられる。このとき、仮にＧＵＩ部品（ここではボタン）が画面の右上に表示されていると、ユーザーがそのボタンを押そうとするときに検出部１００の中央付近がユーザーの手のひらで覆われてしまい、その結果として表示画面の中央付近が手形状モデルの画像で覆われることとなり、画面が見づらくなってしまう。そこで、このような問題を避けるために、検出部１００の操作面に右手が載せられている場合には、図２１Ａのようにボタンが画面の左側に表示され、逆に、検出部１００の操作面に左手が載せられている場合には、図２１Ｂのようにボタンが画面の右側に表示される。

なお、上の例では、検出部１００の操作面に右手が載せられている場合と左手が載せられている場合とでボタンの配置位置を変更するようにしたが、ボタンの機能や形や大きさや数などを変更するようにしても良い。例えば、検出部１００が車内の運転席と助手席の間に設置されている場合に、車両の移動中に右手（すなわち助手席の搭乗者の手）が載せられた場合には、文字入力のように比較的複雑な入力操作を要するボタンも画面スクロールのように比較的簡単な入力操作を要するボタンも表示するが、車両の移動中に左手（すなわち運転者の手）が載せられた場合には、安全のために比較的簡単な入力操作を要するボタンだけを表示することが考えられる。

図２２Ａおよび図２２Ｂは、検出部１００の操作面に比較的大きい手（すなわち大人の手）が載せられている場合と比較的小さい手（すなわち子供の手）が載せられている場合とで表示情報を変更する例である。検出部１００の操作面に比較的大きい手が載せられているか比較的小さい手が載せられているかは、検出部１００から出力される接触位置データに基づいて制御部４００が判定してもよいし、前述のキャリブレーション処理において判定してもよい。この判定には、既存の種々のアルゴリズムを用いることができる。制御部４００はこの判定結果に基づいて表示情報作成部７００に表示情報の変更を指示する。図２２Ａは、検出部１００の操作面に比較的大きい手が載せられている場合の画面表示例である。検出部１００の操作面に比較的大きい手が載せられているということは、大人が操作しようとしていると考えられるので、入力操作は特に制限されない。図２２Ｂは、検出部１００の操作面に比較的小さい手が載せられている場合の画面表示例である。検出部１００の操作面に比較的大きい手が載せられているということは、子供が操作しようとしていると考えられるので、一部または全てのボタンを無効化して入力操作を制限し、さらにボタンが無効化されていることがユーザーに分かるように、ボタンの色を変化させたり目印を付けたりする。

なお、上の例では、検出部１００の操作面に比較的小さい手が載せられている場合にボタンの色を変えたり目印を付けたりするとしたが、これに限らず、種々の表示情報の変更例が考えられる。例えば、表示情報に含まれる難しい単語を易しい単語に変更したり、画面構成や色遣いを子供風に変更したりすることも考えられる。

なお、表示情報の変更の他の例として、表示情報作成部７００は、操作面上にユーザーの身体部分が載せられていると判定された場合にのみ表示情報を生成するようにしてもよい。これにより、ユーザーが入力操作を行わないときに画像表示に係る処理を中断するため、消費電力を抑えることができる。同様に、表示情報作成部７００は、操作面上にユーザーの右手（または左手）が載せられていると判定された場合にのみ表示情報を生成するようにしてもよい。同様に、表示情報作成部７００は、操作面上に大人の手（または子供の手）が載せられていると判定された場合にのみ表示情報を生成するようにしてもよい。

なお、検出部１００の操作面に載せられている物体が必ずしもユーザーの身体部分であるとは限らない。そこで、制御部４００が、検出部１００の操作面に載せられている物体がユーザーの身体部分かどうかを検出部１００からの接触位置データに基づいて判定し、身体部分だった場合と、そうでない場合（例えば荷物などだった場合）とで表示情報を変更するようにしても構わない。例えば、検出部１００の操作面に載せられている物体が身体部分でないと判定された場合には、表示情報作成部７００は表示情報を生成しないようにしてもよい。検出部１００の操作面に載せられている物体が身体部分かどうかの判定は、例えばパターンマッチング等の手法により可能である。

表示情報が変更されると、制御部４００はステップＳ５０５において、画像合成部８００に対して、身体位置表示部６００によって作成された接触領域画像と表示情報作成部７００によって作成（変更）された表示情報とを合成するように指示する。画像合成部８００はこの指示に従って接触領域画像と表示情報を合成する。画像合成部８００によって合成された画像例を以下に説明する。

図２３Ａは、身体位置表示部６００が作成した接触領域画像（ここではリアルな手形状モデルの画像）を、表示情報作成部７００が作成した表示情報に上書きした場合の画面例である。このようにリアルな手形状モデルの画像を表示することにより、実際に画面に触れているかのような感覚をユーザーに与えることができ、直感的な入力操作が可能となる。

図２３Ｂは、身体位置表示部６００が作成した接触領域画像の輪郭のみを、表示情報作成部７００が作成した表示情報に上書きした場合の画面例である。このような画像合成により、接触領域の形状と位置が表示されると同時に、接触領域画像の内側の表示情報も表示されるので、操作中にも表示情報を確認し易くなる。

図２３Ｃは、身体位置表示部６００が作成したリアルな手形状モデルの画像を、輪郭を不透明にして内部を半透明にするように加工してから、表示情報作成部７００が作成した表示情報に上書きした場合の画面例である。このような画像合成により、直感的な入力操作が可能となると同時に、操作中にも表示情報を確認し易くなる。

図２３Ｄは、身体位置表示部６００が作成した接触領域画像の輪郭を、指先部分が強調表示されるように加工してから、表示情報作成部７００が作成した表示情報に上書きした場合の画面例である。このような画像合成により、ユーザーは自分が押そうとしている位置を素早く確認することができ、なおかつ接触領域画像の内側の表示情報も表示されるので、操作中にも表示情報を確認し易くなる。なお、指先部分を検出する方法としては、例えば輪郭の形状からパターンマッチング手法を用いて指先部分を特定したり、手形状モデルから爪の部分を抽出したりといった方法が考えられる。強調表示の例としては、印を表示したり、色を変更したり、透明度を変更したり、さらには、指先に行くほど徐々に輪郭の色を濃くしたり、指先に行くほど徐々に輪郭の透明度を小さくしたりすることが挙げられる。さらには、身体位置表示部６００が作成した手形状モデル（またはその輪郭）と表示情報作成部７００が作成した表示情報を画像合成部８００で合成する際に、さらに図１０Ｂ（または図１１Ｂ、図１２Ｂ、図１３Ｂ）の画像の少なくとも指先部分を合成することによって、手形状モデルの指先部分を強調することも可能である。

図２３Ｅは、身体位置表示部６００が作成した接触領域画像を、半透明または不透明の影を付加してから、表示情報作成部７００が作成した表示情報に上書きした場合の画面例である。このような画像合成により、実際に画面に触れているかのような感覚をユーザーに与えることができる。

上記の図２３Ａ〜図２３Ｅの例は、接触領域画像を必要に応じて加工してから表示情報作成部７００が作成した表示情報に上書きするものであるが、画像合成の際に接触領域画像以外を加工することも考えられる。以下、そのような例について説明する。

図２３Ｆは、身体位置表示部６００が作成した接触領域画像を表示情報に上書きするとその一部または全体が隠れてしまうようなＧＵＩ部品について、その近傍に補助情報（ＧＵＩ部品のラベルや補助説明などの情報）をポップアップ表示した例である。この表示を実現するために、画像合成部８００はまず、表示情報作成部７００が作成した表示情報に含まれる各ＧＵＩ部品が接触領域画像と重なるかどうかを既知のアルゴリズムを用いて判断する。そして、接触領域画像と重なるＧＵＩ部品があれば、そのＧＵＩ部品の位置から所定の方向（右方向や上方向など）に離れて存在する接触領域画像と重ならないような領域を見つけ、その領域にそのＧＵＩ部品の補助情報を表示する。このような画像合成により、ユーザーは、画面に表示された任意のＧＵＩ部品に関する情報を、そのＧＵＩ部品に接触領域画像を重ねることによって簡単に取得することができる。また、接触領域画像によって隠れてしまったＧＵＩ部品を、手を移動させることなく識別することができ、操作性が向上する。

図２３Ｇは、身体位置表示部６００が作成した接触領域画像を表示情報に上書きするとその一部または全体が隠れてしまうようなＧＵＩ部品について、そのＧＵＩ部品のラベルを接触領域画像に上書きした例である。なお、図２３Ｇの例では、隠れたＧＵＩ部品のラベルのみを接触領域画像に上書きしているが、隠れたＧＵＩ部品の形状もあわせて上書きしても良い。このような画像合成により、ユーザーは、接触領域画像によって隠れてしまったＧＵＩ部品を、手を移動させることなく識別することができ、操作性が向上する。

図２３Ｈは、身体位置表示部６００が作成した接触領域画像を表示情報に上書きしたときに接触領域画像の指先部分に重なるＧＵＩ部品を強調表示した例である。このような画像合成により、ユーザーは接触領域画像の指先がどのＧＵＩ部品の上にあるのかを容易に確認することができる。なお、指先部分の位置を検出する方法としては、例えば輪郭の形状からパターンマッチング手法を用いて指先部分を特定したり、手形状モデルから爪の部分を抽出したりといった方法が考えられる。また、強調表示は、例えば、色の変更、透明度の変更、形状の変更、線種・線の太さの変更、文字書式の変更、アイコンの変更、色や透明度の連続的な変更（グラデーション）など、種々の方法により可能である。

なお、上記の例では、ステップＳ５０２のチェックによってユーザーによる入力操作が許可されていないと判断されると、制御部４００は、表示情報作成部７００が作成した表示情報をそのまま表示部２００に出力するように画像合成部８００に指示するとしたが、本発明はこれに限らない。すなわち、現在の操作モードに応じて、画像合成部８００における画像合成方法を変更してもよい。より具体的には、ユーザーによる入力操作が可能なモードのときには接触領域画像が半透明で表示、もしくは輪郭を強調して表示、もしくは半透明でかつ輪郭を強調して表示され、ユーザーによる入力操作が不可能なモードのときには接触領域画像が不透明で表示されるように、表示画像と接触領域画像とが合成されるようにしてもよい。

次に、ユーザーによる特定の入力操作（ここではプッシュ操作）があったときに実行される制御部４００の処理の流れを、図２４のシーケンス図を参照して説明する。

ステップＳ５１１において、操作内容決定部５００は、ユーザーによるプッシュ操作を検出すると制御部４００にメッセージを送る。

ステップＳ５１２において、制御部４００は、表示情報作成部７００に対して表示情報を変更するように指示する。表示情報作成部７００は、制御部４００の指示に従って表示情報を変更する。ここでの表示情報の変更例を図２５Ａおよび図２５Ｂを用いて説明する。

図２５Ａは、ユーザーが押した検出部１００上の点に対応するＧＵＩ部品（すなわちユーザーによって選択されたＧＵＩ部品）を強調表示する例である。図２５Ａの例では、ユーザーによって選択されたＧＵＩ部品（ここではボタン）が、ボタンが押し込まれたような画像に変更されている。なお図２５Ａでは便宜上、接触領域画像が図示されているが、実際には、表示情報作成部７００が作成する表示情報に接触領域画像は含まれない。このような表示情報の変更により、ユーザーは、自分が選択しようとしたＧＵＩ部品を正しく選択できたかどうかを容易に確認することができ、操作性が向上する。

図２５Ｂは、ユーザーが押した検出部１００上の点に対応する画面上の点を強調表示する例である。図２５Ｂの例では、ユーザーが押した検出部１００上の点に対応する画面上の点に、あたかも指紋が残ったかのように、円形の目印が上書きされている。この円形の目印は、この目印が表示されてから一定時間が経過するか、ユーザーが再び検出部１００上の別の点を押すまでの間表示される。このような表示情報の変更により、ユーザーは、自分が指定しようとした画面上の点を正しく指定できたかどうかを容易に確認することができる。特に、自分が指定しようとした点と実際に指定された点とがずれていた場合に、ずれた方向と距離を確認することができる。

表示情報が変更されると、制御部４００はステップＳ５１３において、画像合成部８００に対して、身体位置表示部６００によって作成された接触領域画像と表示情報作成部７００によって作成された表示情報とを合成するように指示する。画像合成部８００はこの指示に従って接触領域画像と表示情報を合成する。

以上のように、本実施形態の入力装置によれば、ユーザーが画面に直接触れることなく、しかも操作時に手元を見ることなしに、ＧＵＩを利用した直感的な入力操作を行うことができる。

本発明の入力装置は、タッチパネルディスプレーのような直感的な入力操作を、画面に直接触れることなしに行えるようにしたものであり、ディスプレーから離れた位置で入力操作を行う場合や、表示手段として遠焦点ディスプレーを利用する場合に好適である。また、入力操作時に手元を見る必要がないため、カーナビゲーション装置の入力装置としても好適である。

本発明の一実施形態に係る入力装置の概念図入力装置の構成を示すブロック図検出部１００に静電容量センサ１０１を用いた場合に検出部１００から出力される接触位置データの例検出部１００に圧力センサ１０２を用いた場合に検出部１００から出力される接触位置データの例車内における入力装置の設置例車内における入力装置の設置例車内における入力装置の設置例車内における入力装置の設置例検出部１００を覆うように遮蔽部１３０を設けた例検出部１００に静電容量センサ１０１を用いた場合の接触位置データの例検出部１００に静電容量センサ１０１を用いた場合の接触領域画像の例検出部１００に静電容量センサ１０１を用いた場合の接触位置データの例検出部１００に静電容量センサ１０１を用いた場合の接触領域画像の例検出部１００に圧力センサ１０２を用いた場合の接触位置データの例検出部１００に圧力センサ１０２を用いた場合の接触領域画像の例検出部１００に圧力センサ１０２を用いた場合の接触位置データの例検出部１００に圧力センサ１０２を用いた場合の接触領域画像の例予め用意される手形状モデル１０３の例接触位置データに基づいて変形された手形状モデル１０３の例予め用意される手形状モデル１０４の例接触位置データに基づいて変形された手形状モデル１０４の例検出部１００の近傍に赤外線センサ１１０を設けた例ユーザーによる特定の入力操作の例接触領域画像を表示するための制御部４００の処理の流れを示すシーケンス図接触領域が検出されていない場合に表示情報作成部７００によって作成される表示情報の例接触領域が検出された場合に表示情報作成部７００によって作成される表示情報の例接触領域が検出されていない場合に表示情報作成部７００によって作成される表示情報の例接触領域が検出された場合に表示情報作成部７００によって作成される表示情報の例右手が検出された場合に表示情報作成部７００によって作成される表示情報の例左手が検出された場合に表示情報作成部７００によって作成される表示情報の例比較的大きい手が検出された場合に表示情報作成部７００によって作成される表示情報の例比較的小さい手が検出された場合に表示情報作成部７００によって作成される表示情報の例画像合成部８００によって合成された画像例画像合成部８００によって合成された画像例画像合成部８００によって合成された画像例画像合成部８００によって合成された画像例画像合成部８００によって合成された画像例画像合成部８００によって合成された画像例画像合成部８００によって合成された画像例画像合成部８００によって合成された画像例ユーザーによるプッシュ操作が検知されたときの制御部４００の処理の流れを示すシーケンス図ユーザーによるプッシュ操作があった時に表示情報作成部７００によって作成される表示情報の例ユーザーによるプッシュ操作があった時に表示情報作成部７００によって作成される表示情報の例

符号の説明

２ディスプレー
３ＧＵＩ部品
４タッチパッド
６操作者の手
７手形状モデルの画像
１００検出部
１０１静電容量センサ
１０２応力センサ
１０３手形状モデル
１０４手形状モデル
１１０赤外線センサ
１３０遮蔽部
１５０Ａ接触位置データ
１５０Ｂ接触位置データ
２００表示部
３００演算部
４００制御部
５００操作内容決定部
６００身体位置表示部
７００表示情報作成部
８００画像合成部
１０００入力装置

Claims

ユーザーが機器に対して命令や情報を入力するための入力装置であって、
操作面を有し、当該操作面においてユーザーの手と接触している領域を検出して当該領域を示す接触位置データを出力する検出部と、
標準の手形状モデルを予め保持しており、前記検出部から出力される前記接触位置データに基づいて当該標準の手形状モデルを変形させて、当該変形させた後の手形状モデルの画像を前記検出部の操作面上に載せられているユーザーの手形状に応じた接触領域画像として作成する身体位置表示部と、
ユーザーによる操作の補助となる表示画像を生成する表示情報作成部と、
前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成する画像合成部と、
前記画像合成部が合成した画像を表示する表示部と、
前記表示部に表示された接触領域画像を利用して入力された特定のユーザー操作を検出する操作内容決定部とを備えた入力装置。
前記検出部は、指先の位置及び手のひらの付け根の位置を示す接触位置データを出力し、
前記身体位置表示部は、前記接触位置データに含まれる前記指先の位置及び前記手のひらの付け根の位置に基づいて、前記標準の手形状モデルを変形させることを特徴とする、請求項１に記載の入力装置。
前記検出部は、指先の位置を示す接触位置データを出力し、
前記身体位置表示部は、手のひらの付け根の位置を示すデータを予め保持しており、前記接触位置データに含まれる指先の位置と当該保持する手のひらの付け根の位置とに基づいて、前記標準の手形状モデルを変形させることを特徴とする、請求項１に記載の入力装置。
前記検出部は、接触型の座標入力デバイスであることを特徴とする、請求項２又は３に記載の入力装置。
前記検出部は、前記操作面に沿って配置された複数の静電容量センサを含むことを特徴とする、請求項２又は３に記載の入力装置。
前記検出部は、前記操作面に沿って配置された複数の圧力センサを含むことを特徴とする、請求項２又は３に記載の入力装置。
前記接触位置データには、前記検出部の各圧力センサによって検知される圧力値が含まれ、
前記身体位置表示部は、前記接触位置データに基づいて、前記検出部の各圧力センサによって検知される圧力値に応じた接触領域画像を作成することを特徴とする、請求項６に記載の入力装置。
前記身体位置表示部が作成する接触領域画像の各部分の色が、前記検出部の各圧力センサによって検知される圧力値に応じて変化することを特徴とする、請求項７に記載の入力装置。
前記身体位置表示部は、ユーザーの手の特徴をさらに反映させて、前記保持する標準の手形状モデルを変形させることを特徴とする、請求項２又は３に記載の入力装置。
前記検出部から出力される接触位置データに基づいて前記検出部の操作面にユーザーの手が接触しているかどうかを判定する制御部を更に備え、
前記表示情報作成部は、前記制御部によって前記検出部の操作面にユーザーの手が接触していると判定された場合に、表示画像を作成することを特徴とする、請求項２又は３に記載の入力装置。
前記検出部から出力される接触位置データに基づいて前記検出部の操作面にユーザーの手が接触しているかどうかを判定する制御部を更に備え、
前記表示情報作成部は、前記制御部によって前記検出部の操作面にユーザーの手が接触していると判定された場合に、作成すべき表示画像中のＧＵＩ部品を強調することを特徴とする、請求項２又は３に記載の入力装置。
前記検出部から出力される接触位置データに基づいて、前記検出部の操作面に接触しているユーザーの手の特徴を検出する特徴検出手段を更に備え、
前記表示情報生成部は、前記特徴検出手段によって検出されたユーザーの手の特徴に応じて、作成すべき表示画像を変更することを特徴とする、請求項２又は３に記載の入力装置。
前記特徴検出手段は、前記検出部から出力される接触位置データに基づいて、前記検出部の操作面に接触しているユーザーの手が右手か左手かを判定することを特徴とする、請求項１２に記載の入力装置。
前記表示情報作成部は、前記検出部の操作面に接触しているユーザーの手が右手または左手のいずれかの場合にのみ表示情報を作成することを特徴とする、請求項１３に記載の入力装置。
前記表示情報作成部は、作成すべき表示画像中のＧＵＩ部品を強調表示、もしくは当該ＧＵＩ部品の位置を変更、もしくは当該ＧＵＩ部品の有効性を変更することを特徴とする、請求項１４に記載の入力装置。
前記特徴検出手段は、前記検出部から出力される接触位置データに基づいて、前記検出部の操作面に接触しているユーザーの手が大人のものか子供のものかを判定することを特徴とする、請求項１２に記載の入力装置。
前記表示情報作成部は、前記検出部の操作面に接触しているユーザーの手が大人または子供のいずれかの場合にのみ表示情報を作成することを特徴とする、請求項１６に記載の入力装置。
前記表示情報作成部は、作成すべき表示画像中のＧＵＩ部品を強調表示、もしくは当該ＧＵＩ部品の位置を変更、もしくは当該ＧＵＩ部品の有効性を変更するものであることを特徴とする、請求項１７に記載の入力装置。
当該入力装置は、ユーザーによる入力操作が可能なモードと不可能なモードの２つの操作モードを有し、
前記画像合成部は、ユーザーによる入力操作が可能なモードのときには、前記表示情報作成部が作成した表示画像を、前記接触領域画像と合成することなしに、そのまま前記表示部に表示させるものであることを特徴とする、請求項２又は３に記載の入力装置。
当該入力装置は、ユーザーによる入力操作が可能なモードと不可能なモードの２つの操作モードを有し、
前記画像合成部は、前記操作モードに応じて、前記表示情報作成部が作成した表示画像と前記接触領域画像との合成方法を変更するものであることを特徴とする、請求項２又は３に記載の入力装置。
前記画像合成部は、ユーザーによる入力操作が可能なモードのときには前記接触領域画像が半透明で表示、もしくは輪郭を強調して表示、もしくは半透明でかつ輪郭を強調して表示され、ユーザーによる入力操作が不可能なモードのときには当該接触領域画像が不透明で表示されるように、前記表示画像と前記接触領域画像を合成するものであることを特徴とする、請求項２０に記載の入力装置。
操作面を有し、当該操作面においてユーザーの手と接触している領域を検出して当該領域を示す接触位置データを出力する検出部と、
標準の手形状モデルを予め保持しており、前記検出部から出力される前記接触位置データに基づいて当該標準の手形状モデルを変形させて、当該変形させた後の手形状モデルの画像を前記検出部の操作面上に載せられているユーザーの手形状に応じた接触領域画像として作成する身体位置表示部と、
ユーザーによる操作の補助となる表示画像を生成する表示情報作成部と、
前記身体位置表示部が作成した接触領域画像と前記表示情報作成部が作成した表示画像を合成する画像合成部と、
前記画像合成部が合成した画像を表示する表示部と、
前記表示部に表示された接触領域画像を利用して入力された特定のユーザー操作を検出する操作内容決定部とを備えた車両。