JP2003295990A - 機器の操作装置及び方法 - Google Patents
機器の操作装置及び方法Info
- Publication number
- JP2003295990A JP2003295990A JP2002103669A JP2002103669A JP2003295990A JP 2003295990 A JP2003295990 A JP 2003295990A JP 2002103669 A JP2002103669 A JP 2002103669A JP 2002103669 A JP2002103669 A JP 2002103669A JP 2003295990 A JP2003295990 A JP 2003295990A
- Authority
- JP
- Japan
- Prior art keywords
- data
- operator
- operation system
- virtual image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】各機器の操作系を空中に投影された虚像表示に
より選択し、機器の操作制御する装置及び方法を提供す
る。 【解決手段】各機器の操作系を虚像により表示させる機
器の操作装置において、操作者と該操作者の部位を撮像
する撮像手段と、該撮像手段で撮像されたデータから、
該部位の位置データと、該部位の特徴を特定する部位デ
ータとを決定する手段と、該部位の位置データと、該部
位データとを記憶する記憶手段と、該操作系の虚像を該
部位の位置データに基づいて該操作者の該部位の位置に
表示する虚像表示手段と、該表示されてた操作系の虚像
に接触しょうとする操作者を前記撮像手段で撮像して、
この撮像データから操作者の部位の特徴および部位の位
置とを決定し、この決定されたデータと該記憶手段に記
憶された該部位データ及び該部位の位置データとを比較
判別する手段と、該比較判別する手段の判別結果に基づ
き、各機器の操作系の選択並と制御を行う手段とを備え
たことを特徴とする。
より選択し、機器の操作制御する装置及び方法を提供す
る。 【解決手段】各機器の操作系を虚像により表示させる機
器の操作装置において、操作者と該操作者の部位を撮像
する撮像手段と、該撮像手段で撮像されたデータから、
該部位の位置データと、該部位の特徴を特定する部位デ
ータとを決定する手段と、該部位の位置データと、該部
位データとを記憶する記憶手段と、該操作系の虚像を該
部位の位置データに基づいて該操作者の該部位の位置に
表示する虚像表示手段と、該表示されてた操作系の虚像
に接触しょうとする操作者を前記撮像手段で撮像して、
この撮像データから操作者の部位の特徴および部位の位
置とを決定し、この決定されたデータと該記憶手段に記
憶された該部位データ及び該部位の位置データとを比較
判別する手段と、該比較判別する手段の判別結果に基づ
き、各機器の操作系の選択並と制御を行う手段とを備え
たことを特徴とする。
Description
【０００１】
【発明の属する技術分野】本発明は、各機器の操作系を
空中に投影された虚像表示により選択し、機器の操作制
御する装置及び方法に関する。
空中に投影された虚像表示により選択し、機器の操作制
御する装置及び方法に関する。
【０００２】
【従来の技術】従来、機器の操作系を選択する手段とし
て、機器に備えられた操作専用のボタンで行う方法、機
器が備える表示装置上に操作系をグラッフィクで表示し
たものを選択する（ＧＵＩ：グラフックユーザインター
フェイス）方法、操作系を空中（空間）に映し出して選
択する方法がある。操作系を空中に映し出して、操作系
の選択を行う技術として、特開平３−４６７２４号公報
に記載された、ホログラム板を用いて空中に操作系の虚
像を表示する手段、前記虚像を発生する位置に操作者の
指があるかを検出する手段、前記指ありと検出されたら
操作系が選択されたと判定する判定手段を備えたものが
知られている。さらには、特開平９−１９０２７８号公
報に記載された、前記操作系が選択されたことを報知す
る報知手段が知られている。
て、機器に備えられた操作専用のボタンで行う方法、機
器が備える表示装置上に操作系をグラッフィクで表示し
たものを選択する（ＧＵＩ：グラフックユーザインター
フェイス）方法、操作系を空中（空間）に映し出して選
択する方法がある。操作系を空中に映し出して、操作系
の選択を行う技術として、特開平３−４６７２４号公報
に記載された、ホログラム板を用いて空中に操作系の虚
像を表示する手段、前記虚像を発生する位置に操作者の
指があるかを検出する手段、前記指ありと検出されたら
操作系が選択されたと判定する判定手段を備えたものが
知られている。さらには、特開平９−１９０２７８号公
報に記載された、前記操作系が選択されたことを報知す
る報知手段が知られている。
【０００３】
【発明が解決しようとする課題】上述に記載された先行
技術において、空中に映し出された操作系の虚像位置に
操作者の指を検出する方法として、赤外線（レーザ）セ
ンサや超音波センサを用いる技術が記載されている。し
かしこの方法は、センサを横切った障害物を検出してい
るにすぎないので指以外のものについても検知する。例
えば、猫とか鳥とかの動物や操作者と装置の間を人物が
横切った場合などが考えられる。また操作系の虚像位置
の前後にある障害物に対しても前述と同様の誤動作が生
じることが考えられ、操作系選択において信頼性が低い
と言う問題があった。また、操作系の数に応じたセンサ
が必要となることからセンサ配置スペース、配線などの
設計制約が生じていた。
技術において、空中に映し出された操作系の虚像位置に
操作者の指を検出する方法として、赤外線（レーザ）セ
ンサや超音波センサを用いる技術が記載されている。し
かしこの方法は、センサを横切った障害物を検出してい
るにすぎないので指以外のものについても検知する。例
えば、猫とか鳥とかの動物や操作者と装置の間を人物が
横切った場合などが考えられる。また操作系の虚像位置
の前後にある障害物に対しても前述と同様の誤動作が生
じることが考えられ、操作系選択において信頼性が低い
と言う問題があった。また、操作系の数に応じたセンサ
が必要となることからセンサ配置スペース、配線などの
設計制約が生じていた。
【０００４】このため上記問題点や信頼性を高めるた
め、磁気センサと歪ゲージをグロープに配置する方法が
提案されている。この方法によれば、操作者の手に磁気
センサと指に歪ゲージを配置すると言った手間がかか
り、また前記磁気センサ（操作者側）と虚像を発生する
装置側とは信号を接続するためにケーブル或いは無線な
どの信号伝送手段が必要となるなどの問題点があった。
め、磁気センサと歪ゲージをグロープに配置する方法が
提案されている。この方法によれば、操作者の手に磁気
センサと指に歪ゲージを配置すると言った手間がかか
り、また前記磁気センサ（操作者側）と虚像を発生する
装置側とは信号を接続するためにケーブル或いは無線な
どの信号伝送手段が必要となるなどの問題点があった。
【０００５】また、前記の技術により、虚像に対する操
作系選択を検知したときは、警報部や光出力部などから
検知したことを操作者に知らせることについても記載さ
れているが、この警報部はいずれも装置側に備わってい
るものから発せられ、本当に操作系が検知されたものか
又はどの操作系が検知選択されたか判らず、操作者にと
って不明確な警報であると言う問題点があった。
作系選択を検知したときは、警報部や光出力部などから
検知したことを操作者に知らせることについても記載さ
れているが、この警報部はいずれも装置側に備わってい
るものから発せられ、本当に操作系が検知されたものか
又はどの操作系が検知選択されたか判らず、操作者にと
って不明確な警報であると言う問題点があった。
【０００６】また、磁気センサと歪ゲージを用いた方法
では、操作者の手に擬似的に検知したことを知らせるこ
とは出来るが、この方法は上述した問題がある。
では、操作者の手に擬似的に検知したことを知らせるこ
とは出来るが、この方法は上述した問題がある。
【０００７】
【課題を解決するための手段】前述の課題を解決するた
めに、請求項１の発明においては、各機器の操作系を虚
像により表示させる機器の操作装置において、操作者と
該操作者の部位を撮像する撮像手段と、該撮像手段で撮
像されたデータから、該部位の位置データと、該部位の
特徴を特定する部位データとを決定する手段と、該部位
の位置データと、該部位データとを記憶する記憶手段
と、該操作系の虚像を該部位の位置データに基づいて該
操作者の該部位の位置に表示する虚像表示手段と、該表
示されてた操作系の虚像に接触しょうとする操作者を前
記撮像手段で撮像して、この撮像データから操作者の部
位の特徴および部位の位置を決定し、この決定されたデ
ータと該記憶手段に記憶された該部位データ及び該部位
の位置データとを比較判別する手段と、該比較判別する
手段の判別結果に基づき、各機器の操作系の選択と制御
を行う手段とを備えたことを特徴とし、請求項２の発明
においては、前記部位の位置データと、前記部位の特徴
を特定する部位データとを画像処理により決定すること
を特徴とし、請求項３の発明においては、前記虚像表示
手段は、前記記憶された操作者の部位データと、前記撮
像された操作者の部位データとを一致判別結果に基づい
て前記虚像の表示の可否を決定することを特徴とし、請
求項４の発明においては、前記各機器の操作系は、映像
表示機器の操作系からなり、前記操作系の虚像は映像表
示機器の撮像手段の視野範囲内に表示されることを特徴
とし、請求項５の発明においては、前記操作者による前
記操作系の虚像への接触有無を感知するために、該操作
系の虚像の接触された操作部分の表示位置を該操作者と
該機器を結ぶ軸方向の前後に移動させる接触感知手段を
更に備えたことを特徴とし、請求項６の発明において
は、各機器の操作系を虚像により表示させる機器の操作
方法において、操作者と該操作者の部位を撮像する撮像
ステップと、該撮像手段で撮像されたデータから、該部
位の位置データと、該部位の特徴を特定する部位データ
とを決定するステップと、該部位の位置データと、該部
位データとを記憶する記憶ステップと、該操作系の虚像
を該部位の位置データに基づいて該操作者の該部位の位
置に表示する虚像表示ステップと、該表示されてた操作
系の虚像に接触しょうとする操作者を前記撮像手段で撮
像して、この撮像データから操作者の部位の特徴および
部位の位置とを決定し、この決定されたデータと該記憶
手段に記憶された該部位データ及び該部位の位置データ
とを比較判別するステップと、該比較判別するステップ
の判別結果に基づき、各機器の操作系の選択と制御を行
うステップと、を備えたことを特徴とする。
めに、請求項１の発明においては、各機器の操作系を虚
像により表示させる機器の操作装置において、操作者と
該操作者の部位を撮像する撮像手段と、該撮像手段で撮
像されたデータから、該部位の位置データと、該部位の
特徴を特定する部位データとを決定する手段と、該部位
の位置データと、該部位データとを記憶する記憶手段
と、該操作系の虚像を該部位の位置データに基づいて該
操作者の該部位の位置に表示する虚像表示手段と、該表
示されてた操作系の虚像に接触しょうとする操作者を前
記撮像手段で撮像して、この撮像データから操作者の部
位の特徴および部位の位置を決定し、この決定されたデ
ータと該記憶手段に記憶された該部位データ及び該部位
の位置データとを比較判別する手段と、該比較判別する
手段の判別結果に基づき、各機器の操作系の選択と制御
を行う手段とを備えたことを特徴とし、請求項２の発明
においては、前記部位の位置データと、前記部位の特徴
を特定する部位データとを画像処理により決定すること
を特徴とし、請求項３の発明においては、前記虚像表示
手段は、前記記憶された操作者の部位データと、前記撮
像された操作者の部位データとを一致判別結果に基づい
て前記虚像の表示の可否を決定することを特徴とし、請
求項４の発明においては、前記各機器の操作系は、映像
表示機器の操作系からなり、前記操作系の虚像は映像表
示機器の撮像手段の視野範囲内に表示されることを特徴
とし、請求項５の発明においては、前記操作者による前
記操作系の虚像への接触有無を感知するために、該操作
系の虚像の接触された操作部分の表示位置を該操作者と
該機器を結ぶ軸方向の前後に移動させる接触感知手段を
更に備えたことを特徴とし、請求項６の発明において
は、各機器の操作系を虚像により表示させる機器の操作
方法において、操作者と該操作者の部位を撮像する撮像
ステップと、該撮像手段で撮像されたデータから、該部
位の位置データと、該部位の特徴を特定する部位データ
とを決定するステップと、該部位の位置データと、該部
位データとを記憶する記憶ステップと、該操作系の虚像
を該部位の位置データに基づいて該操作者の該部位の位
置に表示する虚像表示ステップと、該表示されてた操作
系の虚像に接触しょうとする操作者を前記撮像手段で撮
像して、この撮像データから操作者の部位の特徴および
部位の位置とを決定し、この決定されたデータと該記憶
手段に記憶された該部位データ及び該部位の位置データ
とを比較判別するステップと、該比較判別するステップ
の判別結果に基づき、各機器の操作系の選択と制御を行
うステップと、を備えたことを特徴とする。
【０００８】
【発明の実施の形態】以下、本発明の一実施の形態を図
に基づいて説明する。図１は、本発明一実施の形態のシ
ステムの概念図である。図１で、５は本発明一実施の形
態の操作系選択装置である。操作系選択装置５には、放
送の受信画像や装置に接続された外部機器からの再生画
像等を表示するためのモニタ（表示部）部６と、本操作
系選択装置５の操作を行う操作者１を認識するカメラ部
（撮像系）７と、操作系を空間に表示するためのホログ
ラフィ投影部４から構成されている。尚、図１中で、３
は操作系の各々の操作ボタンを示し、操作者１の部位
（例えば、操作者の指）２が前記操作系のこの操作ボタ
ンに接触することにより操作系が選択されるものであ
る。また、モニタ部６は操作系によって、選択及び制御
される機器の一例であって、本操作系選択装置５に接続
され制御が行われる機器であってもよい。
に基づいて説明する。図１は、本発明一実施の形態のシ
ステムの概念図である。図１で、５は本発明一実施の形
態の操作系選択装置である。操作系選択装置５には、放
送の受信画像や装置に接続された外部機器からの再生画
像等を表示するためのモニタ（表示部）部６と、本操作
系選択装置５の操作を行う操作者１を認識するカメラ部
（撮像系）７と、操作系を空間に表示するためのホログ
ラフィ投影部４から構成されている。尚、図１中で、３
は操作系の各々の操作ボタンを示し、操作者１の部位
（例えば、操作者の指）２が前記操作系のこの操作ボタ
ンに接触することにより操作系が選択されるものであ
る。また、モニタ部６は操作系によって、選択及び制御
される機器の一例であって、本操作系選択装置５に接続
され制御が行われる機器であってもよい。
【０００９】図２は、本発明一実施の形態の前記操作系
選択装置５の詳細を示すブロック図である。図２中、他
の図と同一の符号は、同一のものを示す。図２中の操作
者を認識する撮像系は、主として、可動可能なレンズ群
１０と、光学像を電気信号に変換し、さらにはアナログ
信号をデジタル信号に変換し、色調や輝度補正等の信号
処理する映像信号処理部１１とワークメモリ１２と、上
述の映像信号処理部１１からの信号の画像解析を行う画
像解析DSP１６と、ワークメモリ１４とからなる。ま
た、図２中、１３は信号処理部を示し、１５はメモリを
示し、１８は前記レンズ群１０を制御するレンズ制御部
を示し、１７はレンズ位置から距離換算を距離演算処理
部を示す。また、１９は操作系の表示位置を演算する操
作系表示位置演算部を示し、２１は中央処理装置（ＣＰ
Ｕ）を示し、２２は操作系パターンを記憶した操作系パ
ターン格納部を示し、２４は操作系を表示する操作系表
示手段を示す。２４は、操作系パターン格納部２２から
読み出した所望の操作系（ボタン）を空間に投影する。
図３は、前記操作系表示手段２４の詳細なブロック図を
示す。図３中、他の図と同一の符号は、同一のものを示
す操作系表示手段２４は、ホログラフィックパターン発
生光学系２３と、レーザ光源４０と、投射レンズ４１
と、レンズ駆動部４２とで構成される。図４は、画像解
析動作のフローチャートを示す。図５は、操作者の部位
判別と操作系への接触報知動作のフローチャートを示
す。
選択装置５の詳細を示すブロック図である。図２中、他
の図と同一の符号は、同一のものを示す。図２中の操作
者を認識する撮像系は、主として、可動可能なレンズ群
１０と、光学像を電気信号に変換し、さらにはアナログ
信号をデジタル信号に変換し、色調や輝度補正等の信号
処理する映像信号処理部１１とワークメモリ１２と、上
述の映像信号処理部１１からの信号の画像解析を行う画
像解析DSP１６と、ワークメモリ１４とからなる。ま
た、図２中、１３は信号処理部を示し、１５はメモリを
示し、１８は前記レンズ群１０を制御するレンズ制御部
を示し、１７はレンズ位置から距離換算を距離演算処理
部を示す。また、１９は操作系の表示位置を演算する操
作系表示位置演算部を示し、２１は中央処理装置（ＣＰ
Ｕ）を示し、２２は操作系パターンを記憶した操作系パ
ターン格納部を示し、２４は操作系を表示する操作系表
示手段を示す。２４は、操作系パターン格納部２２から
読み出した所望の操作系（ボタン）を空間に投影する。
図３は、前記操作系表示手段２４の詳細なブロック図を
示す。図３中、他の図と同一の符号は、同一のものを示
す操作系表示手段２４は、ホログラフィックパターン発
生光学系２３と、レーザ光源４０と、投射レンズ４１
と、レンズ駆動部４２とで構成される。図４は、画像解
析動作のフローチャートを示す。図５は、操作者の部位
判別と操作系への接触報知動作のフローチャートを示
す。
【００１０】
【動作】この様に構成した本発明一実施の形態の特徴あ
る動作を説明する。先ず、操作者を認識する撮像系の特
徴ある動作を説明する。撮像系は、前述の如く、可動可
能なレンズ群１０と、光学像を電気信号に変換し、さら
にはアナログ信号をデジタル信号に変換し、色調や輝度
補正等の信号処理する映像信号処理部１１と、ワークメ
モリ１２と、上述の映像信号処理部１１からの信号の画
像解析を行う画像解析DSP１６と、ワークメモリ１４と
からなり、まず、カメラレンズ系で画像中心部の測距領
域から測距可能な範囲（およそ１０メートル程度）で、
測距対象物である操作者１の有無をチェックする（図４
のステップＳ０１、以下単に、「ステップＳ」と言
う）。操作者１がいる場合は、操作者１に焦点が合うよ
う画像（操作者）の高域成分がピークとなるまでレンズ
制御部１８でレンズ群１０を可動し、操作者１に合焦し
た場合、レンズ位置から距離換算を距離演算処理部１７
にて行う（ステップＳ０２）。そして、合焦した被写体
（操作者１）の特徴（輪郭）抽出領域を画像解析ＤＳＰ
１６で行う（ステップＳ０３）。前述の特徴抽出領域デ
ータの領域内から操作者１の部位（指）２の測距を行う
ためレンズ制御部１８を可動し、特徴抽出領域から操作
者の部位（指）２に合焦（特定）させ該部位を特定し
（ステップＳ０５）、この特定された部位と予め装置の
ＲＯＭ（例えばＣＰＵ２１のマスクＲＯＭ等）に記憶さ
れている複数の部位パターンと比較し（ステップＳ０
４）、部位パターンが一致した時は、メモリ１５に前述
の操作者の特徴データと部位データを格納（記憶）す
る。
る動作を説明する。先ず、操作者を認識する撮像系の特
徴ある動作を説明する。撮像系は、前述の如く、可動可
能なレンズ群１０と、光学像を電気信号に変換し、さら
にはアナログ信号をデジタル信号に変換し、色調や輝度
補正等の信号処理する映像信号処理部１１と、ワークメ
モリ１２と、上述の映像信号処理部１１からの信号の画
像解析を行う画像解析DSP１６と、ワークメモリ１４と
からなり、まず、カメラレンズ系で画像中心部の測距領
域から測距可能な範囲（およそ１０メートル程度）で、
測距対象物である操作者１の有無をチェックする（図４
のステップＳ０１、以下単に、「ステップＳ」と言
う）。操作者１がいる場合は、操作者１に焦点が合うよ
う画像（操作者）の高域成分がピークとなるまでレンズ
制御部１８でレンズ群１０を可動し、操作者１に合焦し
た場合、レンズ位置から距離換算を距離演算処理部１７
にて行う（ステップＳ０２）。そして、合焦した被写体
（操作者１）の特徴（輪郭）抽出領域を画像解析ＤＳＰ
１６で行う（ステップＳ０３）。前述の特徴抽出領域デ
ータの領域内から操作者１の部位（指）２の測距を行う
ためレンズ制御部１８を可動し、特徴抽出領域から操作
者の部位（指）２に合焦（特定）させ該部位を特定し
（ステップＳ０５）、この特定された部位と予め装置の
ＲＯＭ（例えばＣＰＵ２１のマスクＲＯＭ等）に記憶さ
れている複数の部位パターンと比較し（ステップＳ０
４）、部位パターンが一致した時は、メモリ１５に前述
の操作者の特徴データと部位データを格納（記憶）す
る。
【００１１】さらに、レンズ位置から部位２の距離換算
を距離演算部１７にて算出し（ステップＳ０６）、この
算出した距離データをメモリ１５に格納する（ステップ
Ｓ０７）。
を距離演算部１７にて算出し（ステップＳ０６）、この
算出した距離データをメモリ１５に格納する（ステップ
Ｓ０７）。
【００１２】次に、操作者１の部位２の位置に操作系９
を表示する操作系の特徴ある動作を説明する。操作系選
択装置５のモニタ部６は、放送信号（又は外部接続機器
からの映像信号）或いは、上述の撮像系からの撮像信号
を選択して、同期及びモニタの入力信号規格に合わせ出
力する信号処理部１３からの映像を表示する。空間に投
影する操作系９は、ホログラム板を用いた虚像であって
も、レーザ光を用いたホログラフィ像であってもかまわ
ない。図３を用いて操作系（表示）についての動作を説
明すると、操作系表示位置演算部１９は、前述の撮像系
によって特定された操作者の部位までの距離をメモリ１
５から読み出したデータを、操作系投影レンズ４１の焦
点に合わせ、操作者の部位位置（距離）と等しい位置に
操作系を表示させるための換算を行い、操作系表示手段
２４は、操作系パターン格納部２２から読み出した所望
の操作系（ボタン）を空間に投影する。操作系表示手段
２４は、操作系パターン格納部２２からのパターンをホ
ログラフィックパターン発生光学系２３に入力し、後方
よりレーザ光源４０を投射する。投射レンズ４１は、可
動型となっているので前述の操作系表示位置演算部から
のデータに基づきレンズ駆動部２４は、操作ボタン３の
ホログラフィック像を操作者１の部位２の位置（距離）
に表示させる。
を表示する操作系の特徴ある動作を説明する。操作系選
択装置５のモニタ部６は、放送信号（又は外部接続機器
からの映像信号）或いは、上述の撮像系からの撮像信号
を選択して、同期及びモニタの入力信号規格に合わせ出
力する信号処理部１３からの映像を表示する。空間に投
影する操作系９は、ホログラム板を用いた虚像であって
も、レーザ光を用いたホログラフィ像であってもかまわ
ない。図３を用いて操作系（表示）についての動作を説
明すると、操作系表示位置演算部１９は、前述の撮像系
によって特定された操作者の部位までの距離をメモリ１
５から読み出したデータを、操作系投影レンズ４１の焦
点に合わせ、操作者の部位位置（距離）と等しい位置に
操作系を表示させるための換算を行い、操作系表示手段
２４は、操作系パターン格納部２２から読み出した所望
の操作系（ボタン）を空間に投影する。操作系表示手段
２４は、操作系パターン格納部２２からのパターンをホ
ログラフィックパターン発生光学系２３に入力し、後方
よりレーザ光源４０を投射する。投射レンズ４１は、可
動型となっているので前述の操作系表示位置演算部から
のデータに基づきレンズ駆動部２４は、操作ボタン３の
ホログラフィック像を操作者１の部位２の位置（距離）
に表示させる。
【００１３】次に、操作者の部位判別と操作系への接触
報知動作を説明する。操作系の選択は、前述の操作系が
空間に表示されている時に操作者が操作系に接触しょう
とする（図３）場合であり、以下その動作を図５のフロ
ーチャートを参照して説明する。まず、操作者が装置に
近づき操作系レンズの視野内（図１のxを基点としてbか
らcの範囲）であると、前述した動作と同様に撮像系
は、図４のステップＳ０１乃至ステップＳ０６を用いて
操作者の部位２を特定する（ステップＳ１１）。操作系
が空間に表示されている時の部位（ステップＳ１１）と
予め操作者の部位を特定して記憶しているステップＳ０
７でのデータを読み出して、比較一致を試み（ステップ
Ｓ１２）、比較一致した場合は、操作系に部位が接触し
たと判別（操作系の選択）し（ステップＳ１３）、操作
系に部位が接触したと判断された場合は、該表示の操作
系表示位置（図３のa）を移動（a-α）させる（移動後
もとの位置に戻しても良い）ことで、操作者に操作系接
触を報知する（ステップＳ１４）。そして操作系におい
て接触された操作ボタンは、ＣＰＵ２１によって、装置
或いは機器の前記操作ボタンに該当する機能（制御）を
実行する。
報知動作を説明する。操作系の選択は、前述の操作系が
空間に表示されている時に操作者が操作系に接触しょう
とする（図３）場合であり、以下その動作を図５のフロ
ーチャートを参照して説明する。まず、操作者が装置に
近づき操作系レンズの視野内（図１のxを基点としてbか
らcの範囲）であると、前述した動作と同様に撮像系
は、図４のステップＳ０１乃至ステップＳ０６を用いて
操作者の部位２を特定する（ステップＳ１１）。操作系
が空間に表示されている時の部位（ステップＳ１１）と
予め操作者の部位を特定して記憶しているステップＳ０
７でのデータを読み出して、比較一致を試み（ステップ
Ｓ１２）、比較一致した場合は、操作系に部位が接触し
たと判別（操作系の選択）し（ステップＳ１３）、操作
系に部位が接触したと判断された場合は、該表示の操作
系表示位置（図３のa）を移動（a-α）させる（移動後
もとの位置に戻しても良い）ことで、操作者に操作系接
触を報知する（ステップＳ１４）。そして操作系におい
て接触された操作ボタンは、ＣＰＵ２１によって、装置
或いは機器の前記操作ボタンに該当する機能（制御）を
実行する。
【００１４】
【発明の効果】以上のように、本発明の請求項１によれ
ば、操作者の部位位置を予め記憶したものと比較して判
別しているために、操作者の部位が、空間に表示されて
いる操作系映像に確実に接触したことを検出できるとい
った効果がある。本発明の請求項２によれば、赤外線セ
ンサを用いた場合は、センサを横切る物体に反応して誤
動作を起こすことがあるが、本発明はそのような誤動作
をすることがなく確実に操作者の部位を特定するため、
操作系の選択が誤動作することなく確実に行える。また
磁気センサを用いる場合のように、操作者の部位にセン
サを取付けるといった煩わしさから操作者を開放すると
いった効果がある。本発明の請求項３によれば、予め装
置のＲＯＭに記憶された複数の部位パターンと比較し、
操作者の部位を判別しているので、操作者以外の物体
（被写体）の部位に動作することがないといった効果が
ある。本発明の請求項４によれば、操作系の選択におい
て、操作者が、装置の撮像系の視野から外れている場合
は操作系が表示されなく、操作系の選択目的時に表示が
可能であるといった効果がある。本発明の請求項５によ
れば、空間に表示された表示系の動きによって、操作系
への接触したことが判断できるので、周囲の騒音等に関
係なく確実に知ることが出来るといった効果がある。
ば、操作者の部位位置を予め記憶したものと比較して判
別しているために、操作者の部位が、空間に表示されて
いる操作系映像に確実に接触したことを検出できるとい
った効果がある。本発明の請求項２によれば、赤外線セ
ンサを用いた場合は、センサを横切る物体に反応して誤
動作を起こすことがあるが、本発明はそのような誤動作
をすることがなく確実に操作者の部位を特定するため、
操作系の選択が誤動作することなく確実に行える。また
磁気センサを用いる場合のように、操作者の部位にセン
サを取付けるといった煩わしさから操作者を開放すると
いった効果がある。本発明の請求項３によれば、予め装
置のＲＯＭに記憶された複数の部位パターンと比較し、
操作者の部位を判別しているので、操作者以外の物体
（被写体）の部位に動作することがないといった効果が
ある。本発明の請求項４によれば、操作系の選択におい
て、操作者が、装置の撮像系の視野から外れている場合
は操作系が表示されなく、操作系の選択目的時に表示が
可能であるといった効果がある。本発明の請求項５によ
れば、空間に表示された表示系の動きによって、操作系
への接触したことが判断できるので、周囲の騒音等に関
係なく確実に知ることが出来るといった効果がある。
【図１】本発明一実施の形態のシステムの概念図であ
る。
る。
【図２】本発明一実施の形態の前記操作系選択装置５の
詳細を示すブロック図である。
詳細を示すブロック図である。
【図３】前記操作系表示手段２４の詳細なブロック図を
示す
示す
【図４】画像解析動作のフローチャートを示す。
【図５】操作者の部位判別と操作系への接触報知動作の
フローチャートを示す
フローチャートを示す
1 操作者、 2 操作者の部位、 ３ 操作ボタ
ン、 ４ ホログラフィ投影部、 ５ 操作系選択
装置、 6 モニタ部、 7 カメラ部 、９操作
系、 １０ レンズ群、 １１ 映像信号処理部、
１２、１４ワークメモリ、 １５ メモリ、 １６
画像解析ＤＳＰ、 １８ レンズ制御部、 １７
距離演算処理部、 １９ 操作系表示位置演算
部、２４ 操作系表示手段、 ４０ レーザ光源、
４１ 操作系投影レンズ群、 ４２ レンズ駆動
部
ン、 ４ ホログラフィ投影部、 ５ 操作系選択
装置、 6 モニタ部、 7 カメラ部 、９操作
系、 １０ レンズ群、 １１ 映像信号処理部、
１２、１４ワークメモリ、 １５ メモリ、 １６
画像解析ＤＳＰ、 １８ レンズ制御部、 １７
距離演算処理部、 １９ 操作系表示位置演算
部、２４ 操作系表示手段、 ４０ レーザ光源、
４１ 操作系投影レンズ群、 ４２ レンズ駆動
部
フロントページの続き
Ｆターム(参考） 5B050 AA10 BA07 BA18 EA07 FA02
FA09
5B057 AA20 CH01 CH11 CH14 DA07
DA16
5E501 AC15 AC37 BA05 CA02 CB03
CB14 FA27
5L096 BA20 CA03 FA69 LA05
Claims (6)
- 【請求項１】 各機器の操作系を虚像により表示させる
機器の操作装置において、操作者と該操作者の部位を撮
像する撮像手段と、該撮像手段で撮像されたデータか
ら、該部位の位置データと、該部位の特徴を特定する部
位データとを決定する手段と、該部位の位置データと、
該部位データとを記憶する記憶手段と、該操作系の虚像
を該部位の位置データに基づいて該操作者の該部位の位
置に表示する虚像表示手段と、該表示されてた操作系の
虚像に接触しょうとする操作者を前記撮像手段で撮像し
て、この撮像データから操作者の部位の特徴および部位
の位置とを決定し、この決定されたデータと該記憶手段
に記憶された該部位データ及び該部位の位置データとを
比較判別する手段と、該比較判別する手段の判別結果に
基づき、各機器の操作系の選択と制御を行う手段と、 を備えたことを特徴とする機器の操作装置。 - 【請求項２】 前記部位の位置データと、前記部位の特
徴を特定する部位データとを画像処理により決定するこ
とを特徴とする請求項１の機器の操作装置。 - 【請求項３】 前記虚像表示手段は、前記記憶された操
作者の部位データと、前記撮像された操作者の部位デー
タとの一致判別結果に基づいて前記虚像の表示の可否を
決定することを特徴とする請求項１の機器の操作装置。 - 【請求項４】 前記各機器の操作系は、映像表示機器の
操作系からなり、前記操作系の虚像は映像表示機器の撮
像手段の視野範囲内に表示されることを特徴とする請求
項１の機器の操作装置。 - 【請求項５】 前記操作者による前記操作系の虚像への
接触有無を感知するために、該操作系の虚像の接触され
た操作部分の表示位置を該操作者と該機器を結ぶ軸方向
の前後に移動させる接触感知手段を更に備えたことを特
徴とする請求項１の機器の操作装置。 - 【請求項６】 各機器の操作系を虚像により表示させる
機器の操作方法において、操作者と該操作者の部位を撮
像する撮像ステップと、該撮像手段で撮像されたデータ
から、該部位の位置データと、該部位の特徴を特定する
部位データとを決定するステップと、該部位の位置デー
タと、該部位データとを記憶する記憶ステップと、該操
作系の虚像を該部位の位置データに基づいて該操作者の
該部位の位置に表示する虚像表示ステップと、該表示さ
れた操作系の虚像に接触しょうとする操作者を前記撮像
手段で撮像して、この撮像データから操作者の部位の特
徴および部位の位置とを決定し、この決定されたデータ
と該記憶手段に記憶された該部位データ及び該部位の位
置データとを比較判別するステップと、該比較判別する
ステップの判別結果に基づき、各機器の操作系の選択と
制御を行うステップと、 を備えたことを特徴とする機器の操作方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002103669A JP2003295990A (ja) | 2002-04-05 | 2002-04-05 | 機器の操作装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002103669A JP2003295990A (ja) | 2002-04-05 | 2002-04-05 | 機器の操作装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003295990A true JP2003295990A (ja) | 2003-10-17 |
Family
ID=29389351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002103669A Pending JP2003295990A (ja) | 2002-04-05 | 2002-04-05 | 機器の操作装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003295990A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005081205A1 (ja) * | 2004-02-25 | 2005-09-01 | Fukushima Prefecture | カテーテル検査シミュレーションシステム |
| JP2005234676A (ja) * | 2004-02-17 | 2005-09-02 | Alpine Electronics Inc | 空間操作系生成システム |
| WO2006009319A1 (ja) * | 2004-07-22 | 2006-01-26 | Nec Corporation | 画像処理システム |
| JPWO2010038822A1 (ja) * | 2008-10-01 | 2012-03-01 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理方法、情報記憶媒体及びプログラム |
-
2002
- 2002-04-05 JP JP2002103669A patent/JP2003295990A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005234676A (ja) * | 2004-02-17 | 2005-09-02 | Alpine Electronics Inc | 空間操作系生成システム |
| WO2005081205A1 (ja) * | 2004-02-25 | 2005-09-01 | Fukushima Prefecture | カテーテル検査シミュレーションシステム |
| JP2005241883A (ja) * | 2004-02-25 | 2005-09-08 | Hirona Gi | カテーテル検査シミュレーションシステム |
| WO2006009319A1 (ja) * | 2004-07-22 | 2006-01-26 | Nec Corporation | 画像処理システム |
| JPWO2006009319A1 (ja) * | 2004-07-22 | 2008-05-01 | 日本電気株式会社 | 画像処理システム |
| KR100887029B1 (ko) * | 2004-07-22 | 2009-03-04 | 닛본 덴끼 가부시끼가이샤 | 화상 처리 시스템 |
| CN100573585C (zh) * | 2004-07-22 | 2009-12-23 | 日本电气株式会社 | 图像处理系统 |
| JP4569781B2 (ja) * | 2004-07-22 | 2010-10-27 | 日本電気株式会社 | 画像処理システム |
| US7831071B2 (en) | 2004-07-22 | 2010-11-09 | Nec Corporation | Image processing system |
| JPWO2010038822A1 (ja) * | 2008-10-01 | 2012-03-01 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理方法、情報記憶媒体及びプログラム |
| US8884924B2 (en) | 2008-10-01 | 2014-11-11 | Sony Corporation | Information processing apparatus, information processing method, information recording medium, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9535538B2 (en) | System, information processing apparatus, and information processing method | |
| US20110262006A1 (en) | Interface apparatus, gesture recognition method, and gesture recognition program | |
| WO2021246089A1 (ja) | ジェスチャ認識装置、システム及びそのプログラム | |
| WO1999063758A1 (en) | Input position measuring instrument and entertainment system | |
| JP2013069224A (ja) | 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム | |
| JP2012066564A (ja) | 電子黒板システム及びプログラム | |
| CN102939617A (zh) | 姿势识别装置、姿势识别方法和程序 | |
| CN104503888A (zh) | 告警提示的方法及装置 | |
| JP2022120663A (ja) | 装置判別システム、装置判別方法及び装置判別プログラム | |
| CN110889317A (zh) | 操作辅助装置 | |
| WO2006030633A1 (ja) | 物体検出装置 | |
| CN111258411A (zh) | 一种用户交互方法及设备 | |
| JP6791108B2 (ja) | 顔位置検出装置 | |
| JP7094164B2 (ja) | 火災報知システムに対する試験の試験結果出力装置、試験結果出力方法及び試験結果出力プログラム | |
| JPH1124694A (ja) | 命令認識装置 | |
| JP2003295990A (ja) | 機器の操作装置及び方法 | |
| JPH0779429A (ja) | 画像監視装置 | |
| US10762467B2 (en) | Placement information registration device, placement information registration method, and placement information registration program | |
| JP7255226B2 (ja) | 処理システム及び処理方法 | |
| JPH08167022A (ja) | 画像監視装置 | |
| CN114756129A (zh) | Ar设备操作的执行方法及装置、存储介质、ar眼镜 | |
| JPH11112965A (ja) | 移動体の観測装置 | |
| JP7435021B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN115361542A (zh) | 投影机清洁度自检方法、装置、设备及存储介质 | |
| CN115100779A (zh) | 零售装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050405 |
|
| A072 | Dismissal of procedure |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20051011 |