JP2009265709A

JP2009265709A - 入力装置

Info

Publication number: JP2009265709A
Application number: JP2008110838A
Authority: JP
Inventors: Yukinori Asada; 幸則浅田; Takashi Matsubara; 孝志松原
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-04-22
Filing date: 2008-04-22
Publication date: 2009-11-12
Also published as: CN101566914A; US20090262187A1; CN101566914B

Abstract

【課題】入力装置において、できるだけ、ユーザがグラフィカルユーザインタフェースを操作しやすくなるように、グラフィカルユーザインタフェースの表示領域を変更したり、グラフィカルユーザインタフェースの表示領域の基準を変更したりできるようにする。
【解決手段】本発明の入力装置は、操作者を撮像する撮像部と、前記撮像部で撮像された操作者の体の一部を認識する画像認識部と、前記画像認識部で認識された操作者の体の一部を基準にして、操作者が操作を行うためのグラフィカルユーザインタフェースを表示する表示領域を算出する表示領域算出部と、前記表示領域算出部で算出された表示領域内でグラフィカルユーザインタフェースとともに前記操作者の体の一部を表示する表示画面を備える。
【選択図】図2

Description

本発明は、人物の動作を検出して、検出した動作とグラフィカルユーザインタフェースにより、直感的な操作を行うための入力装置あるいはグラフィカルユーザインタフェースの表示方法に関する。

グラフィカルユーザインタフェースを介してユーザの操作を受け付けると同時にユーザに操作結果のフィードバックを与えるパソコンやテレビが普及している。

一方、カメラを搭載したパソコンも普及し始めている。

このような中、ユーザがリモコン等の入力デバイスを手に取ることなく、カメラで撮像されたユーザーの動作により、テレビやパソコンを操作するための技術が検討されている。

例えば、特許文献１に係る発明は、複雑な画像処理を使わずに直感的な操作が可能な遠隔操作装置の提供を目的としており、表示装置に表示する画像を操作に対応した所定数の領域に分割し、分割された領域毎に直前の画像と現在の画像との変化を示す動き量を算出することにより、表示装置に表示しているグラフィカルユーザインタフェースを操作している。

特開2006-235771

特許文献1の図8においては、複数の視聴者のうちの一人が操作しようとする場合に、グラフィカルユーザインタフェースの大きさ、形、位置などを変えるようにすることが開示されている。

しかしながら、当該図8では、画面内で、操作者の表示が小さくなる分、グラフィカルユーザインタフェースの表示領域も狭くなってしまうため、人によっては、遠くから見づらく、操作しにくくなる恐れがある。

また、特許文献1に示されるように、表示される操作者を中心とした四角形の表示領域の四隅にグラフィカルユーザインタフェースを表示させるようにすると、手を肩の上に挙げなければならなくなるなど、人によっては、必ずしも操作がしやすいとは言えない。

本発明は、かかる問題を考慮した上で、入力装置において、できるだけ、ユーザがグラフィカルユーザインタフェースを操作しやすくなるように、グラフィカルユーザインタフェースの表示領域を変更したり、グラフィカルユーザインタフェースの表示領域の基準を変更したりできるようにするとともに、これらの変更をユーザが任意に設定できるようにすることを目的とする。

上記目的を達成するため、請求項１に係る本発明の入力装置は、操作者を撮像する撮像部と、前記撮像部で撮像された操作者の体の一部を認識する画像認識部と、前記画像認識部で認識された操作者の体の一部を基準にして、操作者が操作を行うためのグラフィカルユーザインタフェースを表示する表示領域を算出する表示領域算出部と、前記表示領域算出部で算出された表示領域内でグラフィカルユーザインタフェースとともに前記操作者の体の一部を表示する表示画面を備える。

そして、前記表示画面内で表示される表示領域が、表示画面よりも小さい場合には、当該表示領域を拡大して算出し、表示画面は、当該拡大された表示領域を表示する。また、前記画像認識部で認識される体の一部は顔、両手あるいは片手である。

さらに、請求項６に係る本発明の入力装置は、操作者を撮像する撮像部と、前記撮像部で撮像された操作者の体の一部を認識する画像認識部と、前記画像認識部で認識された操作者の体の一部を基準にして、操作者が操作を行うためのグラフィカルユーザインタフェースを表示する表示領域を算出する表示領域算出部と、前記表示領域算出部で算出された表示領域内でグラフィカルユーザインタフェースとともに前記操作者の体の一部を表示する表示画面と、前記表示画面内で表示される表示領域を変更する設定部とを備える。

具体的には、前記設定部は、表示領域を拡大するか、そのままにするかのどちらかを設定可能とする。

さらに、請求項８に係る本発明の入力装置は、操作者を撮像する撮像部と、前記撮像部で撮像された操作者の体の一部を認識する画像認識部と、前記画像認識部で認識された操作者の体の一部を基準にして、操作者が操作を行うためのグラフィカルユーザインタフェースを表示する表示領域を算出する表示領域算出部と、前記表示領域算出部で算出された表示領域内でグラフィカルユーザインタフェースとともに前記操作者の体の一部を表示する表示画面と、前記画像認識部で認識される体の一部を、どの部分にするかを変更する設定部とを備える。

具体的には、前記変更対象となる体の部分は、顔、両手あるいは片手である。

本発明によれば、グラフィカルユーザインタフェースの表示領域が拡大されることにより、ユーザが見やすく、操作しやすい入力装置とすることができる。

また、グラフィカルユーザインタフェースの表示領域の基準を、一例として顔ではなく、手とすることにより、ユーザが、簡単な動きで、操作しやすい入力装置とすることができる。

さらに、表示領域の変更や、表示領域の基準の変更をユーザが任意に設定できるようにすることにより、よりユーザが希望する操作を行うことのできる入力装置となる。

以下、本発明を適用した各実施例について説明する。

（第１の実施形態）
図1は、本発明をTVに適応した時の動作環境の概観を説明する図である。1は入力装置、4は表示画面、3は撮像部、2は入力装置1を操作しようとしているユーザである。表示画面4は、入力装置1の表示部であり、例えば、液晶ディスプレイやプラズマディスプレイ等の表示装置で構成される。表示画面4は、表示パネルとパネル制御回路とパネル制御ドライバとから構成され、後述する映像処理部103から供給されるデータで構成される映像を表示パネルに表示する。撮像部3は、入力装置1に動画像を入力するためのカメラ等のデバイスである。なお、撮像部3は、入力装置1に内蔵しても、コード、無線等で別途接続しても構わない。ユーザ2は、入力装置1に対して操作を行うユーザであり、撮像部3が撮影可能な範囲内に複数人いても構わない。

入力装置1は、例えば図2に示すように、少なくとも撮像部3、表示部4、画像認識部100、グラフィカルユーザインタフェース表示領域算出部101、システム制御部102、映像処理部103、操作方式設定部104を備える。

画像認識部100は、撮像部3から動画像を受信し、受信した動画像より人物の動作を検出することに加え、顔や手などを認識する。グラフィカルユーザインタフェース表示領域算出部101は、グラフィカルユーザインタフェースの表示位置、表示の大きさ、表示範囲などの表示領域を算出する。システム制御部102は例えばマイクロプロセッサから構成され、画像認識部100から受信したデータやグラフィカルユーザインタフェースに関するデータを、グラフィカルユーザインタフェース表示領域算出部101で算出した表示領域に応じて表示するべく、映像処理部103の動作を制御する。映像処理部103は、例えば、ＡＳＩＣ、ＦＰＧＡ、ＭＰＵ等の処理装置により構成される。映像処理部103は、システム制御部102の制御に従い、映像やグラフィカルユーザインタフェースに関するデータを、表示画面4で処理可能な形態に変換して出力する。操作方式設定部104は、ユーザ2が所定操作方式を任意に選択するための部位であり、詳細は後述する。

第１の実施形態における処理の概要を図3、図4を用いて説明する。

本形態では、ユーザ2の顔を認識し、認識した顔の位置、大きさに応じて、グラフィカルユーザインタフェースの表示領域を算出することを特徴としている。

まず、ユーザ2が特定の動作をすることにより、操作を開始する(図4のS4001 )。特定の動作とは、例えば、所定期間手を振る動作、手のひらを広げてカメラに向け所定時間静止させる動作、手を所定の形状にして所定期間静止させる動作、手まねきする動作、あるいは目のまばたきなど顔を使う動作などが考えられる。これら特定の動作をすることにより、ユーザ2は、入力装置1に対して、これから操作を行うという意思表示をし、これを受けて入力装置1は、ユーザ2の操作を受け付ける状態に移行する。画像認識部100は、ユーザの特定の動作を検出すると(図4のS4002 )、動きを検出した位置から所定範囲内にユーザ2の顔があるかを探す(図4のS4003)。もし、顔が見つからなかった場合には、ユーザ2に対して、顔の近くで特定の動作を行うように通知する(図4のS4005)。通知の方法は、表示装置4に表示してもよいし、音声等で通知しても良い。もし、顔が見つかったら(図4のS4004)、表示装置4の表示領域に対して検出した顔の位置、大きさを測定する(図4のS4006)。次に、グラフィカルユーザインタフェースの表示領域算出部101は、前記検出した顔の位置、大きさに対応したグラフィカルユーザインタフェースの表示領域を算出し(図4のS4007)、グラフィカルユーザインタフェースを表示する(図4のS4008)。前記検出した顔の位置、大きさに対応したグラフィカルユーザインタフェースの表示領域の例を図3-bおよび図3-cを用いて説明する。図3-b、図3-cにおいて、4a〜4dはグラフィカルユーザインタフェースの例であり、401は検出した顔の領域、402は、該検出した顔の領域401に対応してグラフィカルユーザインタフェースの表示領域算出部101が算出した、グラフィカルユーザインタフェースの表示領域である。

図3-bの例では、顔の領域401に対して単純にユーザ2の手が届く範囲にグラフィカルユーザインタフェース4a〜4dを配置したものである。しかしながら、この場合は、グラフィカルユーザインタフェースの表示領域が小さくなるほど、人によっては、遠くから見づらく、操作しにくくなる恐れがある。

これに対して、図3-cの例は、顔の領域401に対して表示装置4になるべく大きくグラフィカルユーザインタフェースを表示できるように、拡大したものである。この例であれば、表示画面を最大として、グラフィカルユーザインタフェースの表示領域を拡大できるので、遠くからも見やすくなり、操作しやすくなる。ただし、図3-bの場合は、グラフィカルユーザインタフェースを表示する計算量が少ないという利点もある。

これら二つの方式は操作方式設定部104によりユーザ2が切り替えできるようにしてもよい。また、所定期間ユーザ2の顔が認識できなかった場合は、グラフィカルインタフェースを消しても良い。

（第2の実施形態）
本形態では、第１の実施形態で説明した入力装置1において、ユーザ2の両手の位置に対応して、グラフィカルユーザインタフェースの表示領域を算出することを特徴としており、この方式について図5、図6、図7を用いて説明する。

まず、ユーザ2は図5-aに示すように、両手を上げ、手を振る(図6のS6001)。次に、画像認識部100は、両手の動きを検出する(図6のS6002)。ここで、画像認識部100は、両手それぞれが動いている領域を探すことになる。また、ここでは動きを検出するだけであるので、手でなくてもよく、動いているものが検出できればよい。画像認識部100が2ヶ所の動き部分を検出できなかった場合は(図6のS6003)、検出できなかったことをユーザに通知する(図6のS6004)。もし、検出できた場合は(図6のS6003)、検出した2ヶ所の動き部分の位置を計算する(図6のS6005)。この計算により、ユーザ2の操作できる範囲を推定できる。次に、グラフィカルユーザインタフェースの表示領域算出部101は、前記検出した2ヶ所の動き部分の位置に対応したグラフィカルユーザインタフェースの表示領域を算出し(図6のS6006)、グラフィカルユーザインタフェースを表示する(図6のS6007)。前記検出した2ヶ所の動き部分の位置に対応したグラフィカルユーザインタフェースの表示領域の例を図5-bおよび図5-cを用いて説明する。図5-bおよび図5-cにおいて、403、404は、検出した2ヶ所の動き部分の領域である。表示の方式は、図3-bおよび図3-cと同様に2種類考えられる。

図5-bの例では、検出した2ヶ所の動き部分の位置403 、404に対して単純にユーザ2の手が届く範囲にグラフィカルユーザインタフェース4a〜4dを配置したものである。しかしながら、この場合も、グラフィカルユーザインタフェースの表示領域が小さくなるほど、人によっては、遠くから見づらく、操作しにくくなる恐れがある。

これに対して、図5-cの例は、検出した2ヶ所の動き部分の位置403 、404に対して表示装置4になるべく大きくグラフィカルユーザインタフェースを表示できるように、拡大したものである。この例であれば、表示画面を最大として、グラフィカルユーザインタフェースの表示領域を拡大できるので、遠くからも見やすくなり、操作しやすくなる。ただし、図5-bの場合は、グラフィカルユーザインタフェースを表示する計算量が少ないという利点もある。

これら二つの方式は操作方式設定部104によりユーザ2が切り替えできるようにしてもよい。また、所定期間ユーザ2の手が認識できなかった場合は、グラフィカルインタフェースを消しても良い。

また、図7は、両手を広げ、その広げた手そのものを認識することにより2ヶ所の位置を検出する方法を説明する流れ図である。ユーザ2は、図5-aに示すように、両手を上げ、手を広げ、撮像装置3に向けるような動作をする(図7のS7001)。次に、画像認識部100は、両手をそれぞれ認識する(図7のS7002)。画像認識部100が2ヶ所の手を検出できなかった場合は(図7のS7003)、検出できなかったことをユーザに通知する(図7のS7004)。もし、検出できた場合は(図7のS7003)、検出した2ヶ所の手の位置を計算する(図7のS7005)。次に、グラフィカルユーザインタフェースの表示領域算出部101は、前記認識した両手の位置に対応したグラフィカルユーザインタフェースの表示領域を算出し(図7のS7006)、グラフィカルユーザインタフェースを表示する(図7のS7007)。前記認識した両手の位置に対応したグラフィカルユーザインタフェースの表示領域の例は、結果として図5-bおよび図5-cと同様である。

（第3の実施形態）
本形態では、第１の実施形態で説明した入力装置1において、ユーザ2の片手の位置、大きさ、形状に対応して、グラフィカルユーザインタフェースの表示領域を算出することを特徴としており、この方式について図8、図9を用いて説明する。

まず、ユーザ2は、図8-aに示すように、手で特定の動作をする(図9のS9001)。ユーザ2は、自分の操作しやすい位置で、特定の動作をすればよく、実施例1で説明したような動作が考えられる。次に、画像認識部100は、手を認識する(図9のS9002)。ここで、画像認識部100は、手を画像認識してもよいし、手が動いている領域を検出してもよい。画像認識部100が手を認識できなかった場合は(図9のS9003)、認識できなかったことをユーザに通知する(図9のS9004)。もし、検出できた場合は(図9のS9003)、手の位置、大きさ、形状を計算する(図9のS9005)。この計算により、ユーザ2の操作できる範囲を推定できる。次に、グラフィカルユーザインタフェースの表示領域算出部101は、前記認識した手の位置、大きさ、形状に対応したグラフィカルユーザインタフェースの表示領域を算出し(図9のS9006)、グラフィカルユーザインタフェースを表示する(図9のS9007)。前記認識した手の位置、大きさ、形状に対応したグラフィカルユーザインタフェースの表示領域の例を図8-bおよび図8-cを用いて説明する。図8-bおよび図8-cにおいて、405は、認識した手の領域である。

図8-bおよび図8-cの実施例によれば、前述した図３及び図５の実施例のように手を挙げる必要はなくなり、手のみの簡単な動作により、グラフィカルユーザインタフェースを用いて操作をすることができる。

表示の方式は、図3-bおよび図3-cと同様に2種類考えられる。

図8-bの例では、認識した手の領域405に対して単純にユーザ2の手が届く範囲にグラフィカルユーザインタフェース4a〜4dを配置したものである。しかしながら、この場合も、グラフィカルユーザインタフェースの表示領域が小さくなるほど、人によっては、遠くから見づらく、操作しにくくなる恐れがある。

これに対して、図8-cの例は、認識した手の領域405に対して表示装置4になるべく大きくグラフィカルユーザインタフェースを表示できるように、拡大したものである。この例であれば、表示画面を最大として、グラフィカルユーザインタフェースの表示領域を拡大できるので、遠くからも見やすくなり、操作しやすくなる。ただし、図8-bの場合は、グラフィカルユーザインタフェースを表示する計算量が少ないという利点もある。

（第4の実施形態）
第１から第3の実施形態において、ユーザ2が操作する各方式を説明した。本形態では、第１から第3の実施形態を操作方式設定部104において選択・設定する方法について図10、図11を用いて説明する。ここで、説明の都合上、前記第1の実施形態を「顔認識方式」、前記第2の実施形態を「両手認識方式」、前記第3の実施形態を「片手認識方式」と呼ぶことにする。

第１から第3の実施形態を操作方式設定部104において選択・設定する方法としては、種々の方法が考えられる。

一つの例としては、図10のように、設定画面を設け、タッチパネル方式やリモコンなどを用いて、選択する方法が考えられる。図10において、1001は操作方式選択方法の設定、1002はグラフィカルユーザインタフェース表示設定を表している。操作方式選択方法の設定1001では、「顔認識」、「両手認識」、「片手認識」を選択することにより、希望の方式での操作を行うことができる。また、グラフィカルユーザインタフェース表示の設定1002では、各方式において、グラフィカルユーザインタフェースを表示する際の表示領域を拡大するか、しないかを選択するものである。

別の例としては、図１０のような設定画面での各選択をあらかじめ定められたジェスチャで行う方法が考えられる。この場合、「顔認識」、「両手認識」、「片手認識」や、「拡大する」、「拡大しない」という選択肢それぞれを決定するまでのジェスチャを予め定める必要がある。

図11は、操作方式を選択する流れを説明する図である。まずユーザ2は特定の動作をすることにより、操作を開始する(図11のS1101)。次に、操作方式設定部104において、上述した、設定画面による選択やジェスチャでの選択により、操作方式の選択を行う(図11のS1102)。そして、当該選択により選択された操作方式による操作を行うべく、該当する第１から第3の実施形態のいずれかの処理に移る。

本発明の入力装置の動作環境を示す概観図である。本発明の入力装置の構成を示すブロック図である。本発明の第1の実施形態を説明する図である。本発明の第1の実施形態を説明する流れ図である。本発明の第2の実施形態を説明する図である。本発明の第2の実施形態を説明する流れ図である。本発明の第2の実施形態を説明する流れ図である。本発明の第3の実施形態を説明する図である。本発明の第3の実施形態を説明する流れ図である。本発明の第4の実施形態を説明する図である。本発明の第4の実施形態を説明する流れ図である。

符号の説明

１・・・入力装置、
２・・・ユーザ、
３・・・撮像装置、
４・・・表示装置、
１００・・・画像認識部、
１０１・・・グラフィカルユーザインタフェース表示領域算出部、
１０２・・・システム制御部、
１０３・・・映像処理部、
４０１・・・認識した顔の領域、
４０２・・・グラフィカルユーザインタフェース表示領域、
４０３、４０４・・・認識した両手の領域、
４０５・・・顔を中心にした分割領域
４０１〜４０６・・・認識した手の領域
４ａ〜４ｄ・・・グラフィカルユーザインタフェースの例

Claims

操作者を撮像する撮像部と、
前記撮像部で撮像された操作者の体の一部を認識する画像認識部と、
前記画像認識部で認識された操作者の体の一部を基準にして、操作者が操作を行うためのグラフィカルユーザインタフェースを表示する表示領域を算出する表示領域算出部と、
前記表示領域算出部で算出された表示領域内でグラフィカルユーザインタフェースとともに前記操作者の体の一部を表示する表示画面を備えることを特徴とする入力装置。
前記表示画面内で表示される表示領域が、表示画面よりも小さい場合に、当該表示領域を拡大して算出し、表示画面は、当該拡大された表示領域を表示することを特徴とする請求項1に記載の入力装置。
前記画像認識部で認識される体の一部は顔であることを特徴とする請求項1に記載の入力装置。
前記画像認識部で認識される体の一部は両手であることを特徴とする請求項1に記載の入力装置。
前記画像認識部で認識される体の一部は片手であることを特徴とする請求項1に記載の入力装置。
操作者を撮像する撮像部と、
前記撮像部で撮像された操作者の体の一部を認識する画像認識部と、
前記画像認識部で認識された操作者の体の一部を基準にして、操作者が操作を行うためのグラフィカルユーザインタフェースを表示する表示領域を算出する表示領域算出部と、
前記表示領域算出部で算出された表示領域内でグラフィカルユーザインタフェースとともに前記操作者の体の一部を表示する表示画面と、
前記表示画面内で表示される表示領域を変更する設定部とを備えることを特徴とする記載の入力装置。
前記設定部は、表示領域を拡大するか、そのままにするかのどちらかを設定可能であることを特徴とする請求項６に記載の入力装置。
操作者を撮像する撮像部と、
前記撮像部で撮像された操作者の体の一部を認識する画像認識部と、
前記画像認識部で認識された操作者の体の一部を基準にして、操作者が操作を行うためのグラフィカルユーザインタフェースを表示する表示領域を算出する表示領域算出部と、
前記表示領域算出部で算出された表示領域内でグラフィカルユーザインタフェースとともに前記操作者の体の一部を表示する表示画面と、
前記画像認識部で認識される体の一部を、どの部分にするかを変更する設定部とを備えたことを特徴とする入力装置。
前記変更対象となる体の部分は、顔、両手あるいは片手であることを特徴とする請求項８に記載の入力装置。