JP2009069918A - 情報処理装置、情報処理方法 - Google Patents

Abstract

【課題】 ユーザと仮想物体との接触を刺激でユーザに通知する場合に、係る刺激を、係る接触が意識的に行われたのか無意識に行われたのかを鑑みて制御する為の技術を提供すること。
【解決手段】 刺激発生部１０、１１、１２の位置姿勢情報と、背景仮想物体の位置姿勢情報と、に基づいて、刺激発生部１０、１１、１２と背景仮想物体とが接触しているか否かを判断する。接触していると判断した場合には、注目範囲の中に刺激発生部１０、１１、１２が含まれているか否かを判断する。係る判断の結果に応じて、刺激発生部１０、１１、１２の動作を制御するための動作設定情報を生成し、生成した動作設定情報を刺激発生部１０、１１、１２に対して出力する。
【選択図】 図２

Description

本発明は、仮想空間と、この仮想空間を観察するユーザとのインタラクションを実現するための技術に関するものである。

仮想現実感システム（ＶＲシステム）とは、周知の通り、次のような動作を行うシステムである。即ち、コンピュータの作り出す３次元ＣＧ（コンピュータグラフィクス）で仮想空間を構成し、係る仮想空間の画像を大型ディスプレイ、モバイルディスプレイ、ＨＭＤ（ヘッドマウントディスプレイ）等に表示する。これにより、仮想の空間をあたかも現実であるかのようにユーザに感じさせる。また、３次元ＣＧによる仮想物体を現実空間の画像に重畳して表示する複合現実感システム（ＭＲシステム）も検討されており、現実の画像を使用することにより、従来のＶＲシステムよりもさらに実寸感覚のあるシステムが提供されている。これらのシステムにおいて、ＨＭＤを使用する場合は、ユーザの視点位置、視線方向などによって仮想空間を表示するため、さらに没入感のあるシステムとなる。

一方、近年、設計・製造分野において３Ｄ−ＣＡＤを使った設計（形状、デザイン）が主流になってきている。３Ｄ−ＣＡＤで設計された物体を評価する方法としては、３Ｄ−ＣＡＤで作成されたデータを３ＤＣＧとして計算機の画面上に表示して視覚的に評価する方法が主流である。またこの他にも、ラピッド・プロトタイピング装置等で簡易試作物（簡易モックアップ）を製作し、触覚的に評価する方法も主流である。

しかし、車や大型装置などを従来の方法で評価する場合には、計算機の画面上では実寸感覚が得られず、評価が難しいという問題があった。また、簡易モックアップを作製する場合でも、大きなモックアップの作製はコスト高となる問題があった。

そこで、３Ｄ−ＣＡＤなどのＣＧ情報をＶＲシステムやＭＲシステムを使って表示することで、実寸感覚や没入感のある環境で評価を行うことが試行されている。ユーザは、実寸の仮想物体を見ることにより、より直感的に評価及び検証を行うことができるようになる。

設計物体の操作性や組立性を評価する場合には、ＣＧによる視覚情報のみならず、物体に触れた場合の触覚情報も要求される。前記したモックアップを使用して評価を行う場合には、実際に物体に触れて検証を行うことができるが、ＶＲシステムやＭＲシステムにおいて触覚情報を得るためには特別な工夫が必要になる。ＣＧで表現された仮想的な物体（仮想物体）に触れた感触を表現するためには、ユーザと仮想物体との接触を検出する接触判定の処理と、ユーザに触覚情報を表現するデバイスが必要になる。触覚情報を表現するデバイスは、一般にハプティックデバイスや触覚ディスプレイと呼ばれ、仮想物体からの反力を表現する力覚提示装置（フォースフィードバック）と、皮膚感覚に刺激を与える皮膚感覚提示装置（タクタイルディスプレイ）にとに大別される。

設計物体の評価や検証には、力覚提示装置を使用して物体からの反力を表現することが好ましいが、力覚提示装置は、一般に大型で可搬性に乏しいものが多い。車や大型装置などを仮想的に評価する場合、可搬性の乏しさにより評価作業範囲が限定され、直感的な評価作業が行いにくいという問題がある。また、力覚提示装置を広範囲で使用する場合、表現可能な力点が１つで有る場合が多く、全身の触覚の没入感を得ることが難しい。従って、実寸感覚のあるＶＲシステムやＭＲシステムにより仮想的な設計物体を表現しても、触覚により確認できる部分は限定されてしまうため、実寸大で評価を行う効果が弱くなってしまう。

一方、皮膚感覚提示装置には小型な装置も存在するため可搬性に向いており、人体の複数部位に装着して没入感の高い触覚表現を行うことが可能である。移動自由度の高い皮膚感覚提示装置としては、グローブの指先に振動モータを設置し、仮想物体との接触に応じて振動刺激をユーザに与えるデバイスが特許文献１に開示されている。また、グローブの指腹部分に、指腹を押すように刺激する機構を内蔵し、仮想物体との接触に応じて指腹に皮膚刺激を提示するものが特許文献２に開示されている。振動モータを用いた触覚提示は、仮想物体からの反力提示は難しいが、仮想物体との接触の有無などを表現することができる。また、振動モータは小型、軽量、安価で、人が知覚するために十分な刺激を発生させることができるので、指先や手のみならず全身へ装着して没入感の高い触覚表現を実現させることも検討されている。例えば、非特許文献１では、全身に計１２個の振動モータを装着し、仮想壁との接触時に振動モータを振動させることでユーザに壁を認知させる装置を提案している。係る非特許文献１に開示の振動モータ装着位置は、人体感覚図から判断して頭、手の甲、肘、胴回り（３個）、膝、足首に装着している。また、非特許文献２では、腕４カ所、脚４カ所に振動モータを装着し、振動モータの振動を変化させて異なる質感の物体への接触を提示している。

なお、特許文献２と非特許文献２には、視覚情報の提示にＨＭＤを使用する構成が開示されており、視触覚が仮想空間に没入した感覚を得ることができる。
特表２０００−５０１０３３号公報 特開２００３−３１６４９３号公報 矢野 博明，小木 哲朗，廣瀬 通孝："振動モータを用いた全身触覚提示デバイスの開発"，日本バーチャルリアリティ学会論文誌， Ｖｏｌ．３， Ｎｏ．３，１９９８ Ｊｏｎｇｈｙｕｎ Ｒｙｕ， Ｇｅｒａｒｄ Ｊｏｕｎｇｈｙｕｎ Ｋｉｍ："Ｕｓｉｎｇ ａ Ｖｉｂｒｏ−ｔａｃｔｉｌｅ Ｄｉｓｐｌａｙ ｆｏｒ Ｅｎｈａｎｃｅｄ Ｃｏｌｌｉｓｉｏｎ Ｐｅｒｃｅｐｔｉｏｎ ａｎｄ Ｐｒｅｓｅｎｃｅ"，ＶＲＳＴ‘０４， Ｎｏｖｅｍｂｅｒ１０−１２， ２００４，Ｈｏｎｇｋｏｎｇ

ところで、仮想物体への接触には、ユーザが注意を払って行う意識的な接触と、注意を払っていない無意識の接触がある。意識的な接触では、微細な刺激でも十分にユーザは接触していることを認識することができるが、無意識の接触の部位に同様の刺激を与えた場合には、刺激に気づかない可能性もある。特に、非特許文献１や非特許文献２のように全身への接触を表現する場合には、接触表現を行う部位が多くなり、常に全身の接触に注意を払うことが困難になる。例えば、手元での操作では、手元に注意が向けられるため、足部分への注意は散漫となり、足部分の接触に応じて刺激を発生させても、ユーザが刺激を十分に認識しない場合があった。

また、全身のどの部分で接触が生じても刺激情報が確実に伝わるように、接触に意識を向けているか否かの状況によらず一律で刺激の強度を強くすると、意識的に仮想物体に触れている場合では、過剰な刺激はユーザに不快感を生じさせてしまう。

このように、従来では上記問題を解決するために、ユーザが注意を払っているかいないかに応じて、ユーザと仮想物体との接触における刺激を詳細に調整することは行われていなかった。

本発明は以上の問題に鑑みて成されたものであり、ユーザと仮想物体との接触を刺激でユーザに通知する場合に、係る刺激を、係る接触が意識的に行われたのか無意識に行われたのかを鑑みて制御する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。

即ち、ユーザの視点の位置姿勢情報に基づいて、仮想物体を配した仮想空間の画像を生成する情報処理装置であって、
前記ユーザの人体に取り付けた、刺激を発生する刺激発生部の位置情報を取得する手段と、
前記仮想物体の位置姿勢情報と、前記刺激発生部の位置情報と、に基づいて、前記仮想物体と前記刺激発生部とが接触しているか否かを判断する手段と、
前記仮想物体と前記刺激発生部とが接触していると判断した場合には、前記視点から注目している範囲として設定された注目範囲の中に前記刺激発生部が含まれているか否かを判断する判断手段と、
前記判断手段による判断結果に応じて、前記刺激発生部の動作を制御するための動作設定情報を生成し、生成した当該動作設定情報を前記刺激発生部に対して出力する出力手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。

即ち、ユーザの視点の位置姿勢情報に基づいて、仮想物体を配した仮想空間の画像を生成する情報処理装置であって、
前記ユーザの人体に取り付けた、刺激を発生する刺激発生部の位置情報を取得する手段と、
前記視点から注目している範囲として設定された注目範囲の中に前記刺激発生部が含まれているか否かを判断する判断手段と、
前記仮想物体の位置姿勢情報と、前記刺激発生部の位置情報と、に基づいて、前記仮想物体と前記刺激発生部とが接触しているか否かを判断する処理を、前記判断手段による判断結果に応じて制御する手段と、
前記判断手段による判断結果、及び前記仮想物体と前記刺激発生部とが接触しているか否かの判断結果、に応じて、前記刺激発生部の動作を制御するための動作設定情報を生成し、生成した当該動作設定情報を前記刺激発生部に対して出力する出力手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。

即ち、ユーザの視点の位置姿勢情報に基づいて、仮想物体を配した仮想空間の画像を生成する情報処理装置が行う情報処理方法であって、
前記ユーザの人体に取り付けた、刺激を発生する刺激発生部の位置情報を取得する工程と、
前記仮想物体の位置姿勢情報と、前記刺激発生部の位置情報と、に基づいて、前記仮想物体と前記刺激発生部とが接触しているか否かを判断する工程と、
前記仮想物体と前記刺激発生部とが接触していると判断した場合には、前記視点から注目している範囲として設定された注目範囲の中に前記刺激発生部が含まれているか否かを判断する判断工程と、
前記判断工程による判断結果に応じて、前記刺激発生部の動作を制御するための動作設定情報を生成し、生成した当該動作設定情報を前記刺激発生部に対して出力する出力工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。

即ち、ユーザの視点の位置姿勢情報に基づいて、仮想物体を配した仮想空間の画像を生成する情報処理装置が行う情報処理方法であって、
前記ユーザの人体に取り付けた、刺激を発生する刺激発生部の位置情報を取得する工程と、
前記視点から注目している範囲として設定された注目範囲の中に前記刺激発生部が含まれているか否かを判断する判断工程と、
前記仮想物体の位置姿勢情報と、前記刺激発生部の位置情報と、に基づいて、前記仮想物体と前記刺激発生部とが接触しているか否かを判断する処理を、前記判断工程による判断結果に応じて制御する工程と、
前記判断工程による判断結果、及び前記仮想物体と前記刺激発生部とが接触しているか否かの判断結果、に応じて、前記刺激発生部の動作を制御するための動作設定情報を生成し、生成した当該動作設定情報を前記刺激発生部に対して出力する出力工程と
を備えることを特徴とする。

本発明の構成によれば、ユーザと仮想物体との接触を刺激でユーザに通知する場合に、係る刺激を、係る接触が意識的に行われたのか無意識に行われたのかを鑑みて制御することができる。

以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。

以下の各実施形態では、頭部装着型表示装置の一例としてのＨＭＤ（Head Mounted Display）と、ユーザの人体の複数箇所に装着した刺激発生部と、によって仮想空間とのインタラクションを実現させるシステムについて説明する。

［第１の実施形態］
＜システムの概略について＞
先ず、図１，２を用いて、本実施形態に係るシステムについて説明する。図１は、本実施形態に係るシステムが使用されている状況を示す図である。図２は、本実施形態に係るシステムのハードウェア構成例を示すブロック図である。

図１に示す如く、ユーザ１の人体には刺激発生部１０、１１、１２が装着されていると共に、ユーザ１の頭部にはＨＭＤ１００が装着されている。これにより、ユーザ１は、仮想物体３００が存在する仮想空間を、視覚と触覚の両方で体験することができる。図１では、仮想物体３００は仮想的に表現された実寸台の車を模したもので、ユーザ１は係る車のエンジンルーム内の作業についての検証を行っている。また、刺激発生部１０はユーザ１の手、刺激発生部１１はユーザ１のヒジ、刺激発生部１２はユーザ１のヒザに、それぞれ装着されている。

また、刺激発生部１０、１１、１２とＨＭＤ１００とには１以上のマーカ４０が配されており、位置姿勢センサ４００はマーカ４０の位置姿勢を示す位置姿勢情報を取得する。

演算処理装置（情報処理装置）２００には、位置姿勢センサ４００が取得したマーカ４０の位置姿勢情報と、ＨＭＤ１００から得られる現実空間の画像とが入力される。そして演算処理装置２００は、後述する各種の処理を実行することで、ＨＭＤ１００には仮想空間画像と現実空間画像との合成画像を出力し、刺激発生部１０、１１、１２には、それぞれの動作を制御するための動作設定情報を出力する。

以下では、本実施形態に係るシステムを構成する各部について詳細に説明する。

＜ＨＭＤ１００について＞
ＨＭＤ１００は、一般にビデオシースルー型と呼ばれるＨＭＤであり、図２に示す如く、撮像部１０１と表示部１０２とで構成されている。

撮像部１０１は、現実空間の動画像を撮像し、撮像した各フレームの画像（現実空間画像）を、後段の演算処理装置２００に対して送出する。詳しくは後述するが、係る現実空間画像には、演算処理装置２００によって生成される仮想空間画像が、演算処理装置２００によって合成される。そして演算処理装置２００は、係る合成処理で得られる合成画像をＨＭＤ１００に対して送出する。

表示部１０２は、液晶画面などにより構成されており、ＨＭＤ１００を頭部に装着したユーザ１の眼前に位置するようにＨＭＤ１００に対して取り付けられたものである。表示部１０２には、演算処理装置２００から送出された合成画像が表示される。もちろん、表示部１０２にはその他の情報を表示させるようにしても良い。

ここで、撮像部１０１の光軸と表示部１０２の光軸とを一致させることで、撮像部１０１で撮像した画像と上記合成画像との視差を無くすことができ、ユーザ１は自らの視点での仮想空間画像と現実空間画像を違和感なく見ることができる。視覚的に現実物体と仮想物体を提示する方法には公知の技術を用いれば良いため、詳細な説明は省略する。

また、上述の通り、ＨＭＤ１００には、１以上のマーカ４０が配されている。

＜刺激発生部１０、１１、１２について＞
上述したように、図１では、ユーザ１の手、ヒジ、ヒザにはそれぞれ刺激発生部１０、１１、１２が装着されている。もちろん、刺激発生部の個数や装着位置についてはこれに限定するものではない。

本実施形態では、刺激発生部１０、１１、１２は、グローブ形状やサポーター形状を有しており、人体に装着する為の形状を有するように構成されている。

図３は、刺激発生部１０の概略構成を示す図である。図３に示す如く、刺激発生部１０は、グローブ形状を有する本体部１９と、１以上の皮膚感覚刺激部２０と、で構成されている。

本体部１９は、皮膚感覚刺激部２０が発生する刺激がユーザ１の人体９（図３では手）に十分伝わるように、人体９と皮膚感覚刺激部２０とを密着させる構造であることが望ましい。

皮膚感覚刺激部２０は、例えば振動モータで構成されている。皮膚感覚刺激部２０は、手のひらや手の甲等に複数配置し、仮想物体との接触部位に応じて駆動させる皮膚感覚刺激部２０を選択することが好適である。

なお、ヒジ用やヒザ用のサポーター形状を有する刺激発生部１１、１２についても同様に、１以上の皮膚感覚刺激部２０が配置されている。

＜皮膚感覚刺激部２０について＞
図３では、皮膚感覚刺激部２０として、振動モータを使用した例を示した。振動モータは、モータの回転軸に取り付けられた偏心重量が回転することで振動を発生する。振動モータには、一般的にシリンダー型（円筒型）とコイン型（扁平型）があり、どちらを用いても良いが、図３ではコイン型を用いた場合の図を示している。振動モータは小型で強い刺激を発生することができるため、本実施形態のように複数の人体位置に刺激を与える場合に好適である。

なお、皮膚感覚に刺激を与えるものであれば、皮膚感覚刺激部２０は振動モータ以外のものであっても良い。皮膚感覚に刺激を与える方法としては、機械刺激、電気刺激、温度刺激等があり、皮膚感覚刺激部２０に適用可能なデバイスは、その方法に応じて様々なものが考えられる。例えば、機械的な振動刺激を発生するボイスコイル型のデバイスを皮膚感覚刺激部２０として用いても良い。また、圧電素子や高分子アクチュエータ等のアクチュエータにより人体に接触したピンを動作させて刺激を与えるデバイスを皮膚感覚刺激部２０として用いても良い。また、空気圧力により皮膚表面を圧迫するデバイスを皮膚感覚刺激部２０として用いても良い。また、電気刺激として、微小電極アレイを用いて刺激を与えるものなどがあり、温度刺激では、熱電素子を用いるものなどがある。

このように、皮膚感覚刺激部２０として用いることができるデバイスには様々なものが考えられる。以下の説明は、皮膚感覚刺激部２０の動作内容（刺激強度の制御）が、演算処理装置２００から設定可能なものであれば、皮膚感覚刺激部２０に適用するデバイスは、如何なる方法で刺激を発生させるデバイスであっても良い。

＜位置姿勢センサ４００とマーカ４０とについて＞
上述したように、位置姿勢センサ４００は、マーカ４０の位置姿勢情報を取得する為のものである。従って、位置姿勢センサ４００は、マーカ４０を配したＨＭＤ１００や刺激発生部１０、１１、１２の位置姿勢を求めることができる。

位置姿勢センサ４００とマーカ４０とは光学式の位置姿勢取得システムであり、例えば、赤外線照射機能付きのカメラで構成される複数の位置姿勢センサ４００と、再帰性反射材で構成される複数のマーカ４０である。マーカ４０は異なる３次元位置に配置することでＩＤ付けが行われる。なお、係る位置姿勢取得システムによって、各マーカ４０を配した対象物（本実施形態の場合、ＨＭＤ１００、刺激発生部１０、１１、１２）の位置姿勢情報を求める技術については周知のものであり、詳細な説明は省略する。

しかし、ＨＭＤ１００や刺激発生部１０、１１、１２の位置姿勢情報を取得する方法はこれ以外にも考えられ、位置姿勢センサ４００とマーカ４０とを用いる方法に限定するものではない。

例えば、磁気センサシステムを用いてＨＭＤ１００、刺激発生部１０、１１、１２の位置姿勢情報を取得する方法がある。係る方法では、現実空間中に磁界を発生させるトランスミッタを設置し、ＨＭＤ１００と刺激発生部１０、１１、１２には係る磁界中における自身の位置姿勢に応じた磁界の変化を検知するレシーバを装着する。そして係るレシーバが検知した結果を示す信号に基づいて、それぞれのレシーバのセンサ座標系における位置姿勢情報を求める。センサ座標系とは、トランスミッタの位置を原点とし、係る原点で互いに直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする座標系である。もちろん、係る位置姿勢情報の取得方法は、他の方式を用いるセンサシステム、例えば、超音波システムを用いても同様である。

また、その他にも、ＨＭＤ１００や刺激発生部１０、１１、１２に対してマーカを配し、係るマーカをカメラで撮像することで、それぞれの位置姿勢情報を取得する方法を用いても良い。

また、周知のモーションキャプチャ技術を用いて刺激発生部１０、１１、１２の位置姿勢情報を取得するようにしても良い。

また、図３に示すように、グローブ型の刺激発生部１０を用いる場合には、手の位置姿勢を光学式センサで取得し、さらに指先の位置姿勢を機械式センサや光ファイバを用いた指先位置取得方法で取得する構成にしても良い。

このように、ＨＭＤ１００、刺激発生部１０、１１、１２の位置姿勢情報を取得する方法については特に限定するものではない。

本実施形態では、位置姿勢センサ４００が取得したＨＭＤ１００の位置姿勢情報、刺激発生部１０、１１、１２の位置姿勢情報は、演算処理装置２００に対して送出される。

＜演算処理装置２００について＞
演算処理装置２００は、例えば、一般のＰＣ（パーソナルコンピュータ）により構成されている。

ＣＰＵ２０１は、ＲＡＭ２０２やＲＯＭ２０３に格納されているプログラムやデータを用いて演算処理装置２００全体の制御を行うと共に、演算処理装置２００が行うものとして後述する各処理を実行する。

ＲＡＭ２０２は、データ記録部２０５からロードされたプログラムやデータ、位置姿勢センサ情報取得部２０９が位置姿勢センサ４００から取得した位置姿勢情報を一時的に記憶するためのエリアを有する。更にＲＡＭ２０２は、画像入力部２０７が撮像部１０１から取得した現実空間画像のデータを一時的に記憶する為のエリア、ＣＰＵ２０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ２０２は、各種のエリアを適宜提供することができる。

ＲＯＭ２０３は、ブートプログラムや設定データ等を格納する。

操作入力部２０６は、操作部２０４を演算処理装置２００に接続する為のインターフェースとして機能するものである。操作部２０４はキーボードやマウスなどにより構成されており、演算処理装置２００の操作者が操作することで、各種の指示を操作入力部２０６を介してＣＰＵ２０１に対して入力することができる。

データ記録部２０５は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。データ記録部２０５には、ＯＳ（オペレーティングシステム）や、演算処理装置２００が行うものとして後述する各処理をＣＰＵ２０１に実行させるためのプログラムやデータが保存されている。

係るプログラムには、後述する各フローチャートに従った各処理をＣＰＵ２０１に実行させるためのプログラムが含まれている。また、係るデータには、仮想空間を構成する各仮想物体に係るデータや、係る仮想空間を照射する光源に係るデータなどが含まれる。また、データ記録部２０５には、既知の情報として説明するものや、後述する各処理を行う際に当然用いるであろうと当業者であれば容易に相当し得る情報も保存されている。

データ記録部２０５に保存されているプログラムやデータは、ＣＰＵ２０１による制御に従って適宜ＲＡＭ２０２にロードされる。そしてＣＰＵ２０１はＲＡＭ２０２にロードされたプログラムやデータを用いて各処理を実行する。

なお、上述の説明で、ＲＡＭ２０２に一時的に格納されるものとして説明したものは、データ記録部２０５に一時的に保存するようにしても良い。

画像入力部２０７、画像出力部２０８は、ＨＭＤ１００を演算処理装置２００に接続する為のインターフェースとして機能する。ＨＭＤ１００が有する撮像部１０１から送出された現実空間画像のデータは、画像入力部２０７を介してＲＡＭ２０２やデータ記録部２０５に格納される。また、演算処理装置２００が生成した合成画像は、画像出力部２０８を介してＨＭＤ１００が有する表示部１０２に対して出力される。

位置姿勢センサ情報取得部２０９は、位置姿勢センサ４００を演算処理装置２００に接続する為のインターフェースとして機能する。位置姿勢センサ４００が取得した位置姿勢情報は位置姿勢センサ情報取得部２０９を介して演算処理装置２００内に入力され、ＲＡＭ２０２やデータ記録部２０５に格納される。

刺激情報出力部２１０は、皮膚感覚刺激部２０を演算処理装置２００に接続する為のインターフェースとして機能する。演算処理装置２００により生成された動作設定情報は、この刺激情報出力部２１０を介して、指定された皮膚感覚刺激部２０に対して出力される。

画像入力部２０７、画像出力部２０８、位置姿勢センサ情報取得部２０９、刺激情報出力部２１０は、アナログビデオポート、ＩＥＥＥ１３９４等のデジタル入出力ポート、ＲＳ２３２Ｃ、或いはＵＳＢ等のシリアルポート、イーサネット(登録商標)等によって構成される。

システムバス２１１には、演算処理装置２００を構成するものとして説明した上述の各部が接続されている。

＜演算処理装置２００が行う処理の概要について＞
ここで、演算処理装置２００が行う処理の概要について説明する。演算処理装置２００は、ＨＭＤ１００の位置姿勢に応じた仮想空間画像を生成し、撮像部１０１が撮像した現実空間画像と合成して表示部１０２に送出する処理に加え、次のような処理を行う。

即ち、刺激発生部１０、１１、１２と仮想物体との接触の有無を検知する。そして、接触があった場合には、ユーザが注目している範囲（領域）として設定される注目範囲の中に、接触した刺激発生部が含まれているか否かを判断する。そして係る判断結果に応じて、刺激発生部１０、１１、１２のうち接触があった刺激発生部に対する動作を制御する。

図１には、注目範囲としての範囲５０と、係る範囲５０以外の範囲６０とが示されている。ここで、範囲６０を注目範囲外と呼称する。

ここで、注目範囲５０とは、ユーザ１が視覚によって対象を知覚できる範囲及びその一部である。従って、注目範囲５０は、厳密に測定された人間の視野に限るものではなく、人工的に設定されたものであっても良い。

図１に示す如く、注目範囲５０の中では、刺激発生部１０を取り付けた部位（手）と仮想物体３００とに仮想的な接触が発生している。一方、注目範囲外６０では、刺激発生部１２を取り付けた部位（ヒザ）と仮想物体３００とに仮想的な接触が発生している。

このような場合、本実施形態では、刺激発生部１０と刺激発生部１２とで異なる刺激を発生させるように、これらの刺激発生部１０、１２を制御する。

以下では、演算処理装置２００が行う処理のうち、このような刺激発生部の動作制御について、より詳細に説明する。

図４は、演算処理装置２００による各刺激発生部１０、１１、１２の動作制御処理のフローチャートである。なお、図４のフローチャートに従った処理をＣＰＵ２０１に実行させるためのプログラムやデータは、データ記録部２０５に保存されている。係るプログラムやデータは、ＣＰＵ２０１による制御に従って適宜ＲＡＭ２０２にロードされる。そしてＣＰＵ２０１はこのロードされたプログラムやデータを用いて処理を実行することで、演算処理装置２００は、以降説明する、図４のフローチャートに従った処理を実行することになる。

先ず、ステップＳ４００１では、演算処理装置２００の初期化処理、以降の処理で用いる様々なデータをデータ記録部２０５からＲＡＭ２０２にロードする処理を行う。係るデータには、仮想空間で用いる様々な情報（仮想空間情報）が含まれている。

次にステップＳ４００２では、位置姿勢センサ４００から送出される、ＨＭＤ１００の位置姿勢情報、刺激発生部１０、１１、１２の位置姿勢情報、を、位置姿勢センサ情報取得部２０９を介してＲＡＭ２０２に取得する。

次にステップＳ４００３では、現在のユーザ１の視点の位置姿勢情報として、ステップＳ４００２で取得したＨＭＤ１００の位置姿勢情報を設定する。更に、各刺激発生部１０、１１、１２の位置姿勢で配置する仮想物体（以下、「部位仮想物体」と呼称する）の位置姿勢情報として、ステップＳ４００２で取得した各刺激発生部１０、１１、１２の位置姿勢情報を設定する。即ち、各刺激発生部１０、１１、１２の位置姿勢で、それぞれの刺激発生部に対応する部位仮想物体を配置する。また、仮想空間中に存在するその他の仮想物体の位置姿勢が変化する場合には、その変化後の位置姿勢情報を求める。このように、仮想空間における様々な情報の更新を行う。

ここで、部位仮想物体について簡単に説明する。上述のように、刺激発生部１０に対応する部位仮想物体を刺激発生部１０の位置姿勢で仮想空間中に配置する。また、刺激発生部１１に対応する部位仮想物体を刺激発生部１１の位置姿勢で仮想空間中に配置する。また、刺激発生部１２に対応する部位仮想物体を刺激発生部１２の位置姿勢で仮想空間中に配置する。これにより、各刺激発生部１０、１１、１２のそれぞれの位置姿勢が、仮想空間に対して反映されることになる。即ち、各刺激発生部１０、１１、１２と仮想空間とのインタラクションが可能になる。

なお、以降の説明では、部位仮想物体以外の仮想物体を、背景仮想物体と呼称する。即ち、仮想空間は背景仮想物体により構成されており、このような仮想空間中に、各刺激発生部の位置姿勢で部位仮想物体を配置するものとする。

なお、以降の説明で、部位仮想物体、背景仮想物体に共通の説明では、これらをまとめて単に「仮想物体」と呼称する。

また、部位仮想物体がどのような仮想物体であるのかについて詳しくは後述するが、部位仮想物体は、計算上、仮想空間に配されるもので、実際に描画対象としなくても良い。

ここで上述のように、図４のフローチャートに従った処理と並行して「仮想空間を構築する処理」、即ち、背景仮想物体や光源を仮想空間中に配置する処理が行われている。従ってステップＳ４００４では、この処理で仮想空間中に配置された各背景仮想物体と、ステップＳ４００３で配置された各部位仮想物体との干渉判定処理を行う。即ち、各背景仮想物体の何れかと各部位仮想物体の何れかとが接触しているか否かを判定する処理を行う。仮想物体同士の干渉判定処理は周知の技術である。

次にステップＳ４００５では、背景仮想物体と接触している部位仮想物体が、注目範囲（図１では注目範囲５０に相当）内に位置しているか否かを判断する（注目判定処理）。注目範囲の求め方については後述する。また、ステップＳ４００５における処理の詳細についても、後述する。

次にステップＳ４００６では、背景仮想物体と接触している部位仮想物体に対応する刺激発生部の動作を制御するための動作設定情報を生成する。係る動作設定情報は、背景仮想物体と接触している部位仮想物体が、注目範囲内に位置しているか否かに応じて異なる。例えば、刺激発生部１０の位置姿勢に配置した部位仮想物体と刺激発生部１１の位置姿勢に配置した部位仮想物体が共に背景仮想物体に接触しているとする。しかし、前者の部位仮想物体が注目範囲内に位置しており、後者の部位仮想物体が注目範囲内に位置していない場合、刺激発生部１０に対して生成する動作設定情報と、刺激発生部１１に対して生成する動作設定情報とは、異なる。即ち、それぞれの動作設定情報が示す刺激の強度が異なる。

ステップＳ４００６における処理の詳細については後述する。

次にステップＳ４００７では、背景仮想物体に接触している部位仮想物体に対応する刺激発生部（実際には皮膚感覚刺激部２０）に対して、この刺激発生部についてステップＳ４００６で生成した動作設定情報を、刺激情報出力部２１０を介して出力する。刺激発生部は、係る動作設定情報を受信すると、係る動作設定情報が示す強度の刺激を発生すべく動作する。

次に、本処理の終了指示が操作部２０４から入力された、若しくは本処理の終了条件が満たされた場合には処理をステップＳ４００８を介してステップＳ４００９に進める。

ステップＳ４００９では、本処理を終了する為の終了処理を行う。

一方、本処理の終了指示が操作部２０４から入力されてもいないし、本処理の終了条件も満たされていない場合には、処理をステップＳ４００８を介してステップＳ４００２に戻し、以降の処理を繰り返す。

＜ステップＳ４００４における干渉判定処理について＞
上述のステップＳ４００４における処理、即ち、部位仮想物体と背景仮想物体との干渉判定処理についてより詳細に説明する。

上述のように、データ記録部２０５には、部位仮想物体のデータ、背景仮想物体のデータが予め保存されている。ここで、各仮想物体のデータには、仮想物体の形状情報、テクスチャマップデータ等がある。形状情報には、例えば、仮想物体がポリゴンで構成されている場合、各ポリゴンの法線ベクトルデータ、ポリゴンを構成する各頂点のデータ、が含まれている。

部位仮想物体と背景仮想物体との干渉判定処理を行う場合、それぞれの仮想物体のデータのうち形状情報のみを用いる。しかし、仮想物体の形状が複雑である場合、形状情報のサイズは大きくなる。従って、形状が複雑な仮想物体同士の干渉判定処理を行う場合、データサイズの大きい形状情報を用いた干渉判定処理を行うことになり、処理負荷が大きくなる。従って、背景仮想物体と部位仮想物体との干渉判定処理を行う場合、背景仮想物体の形状の詳細度を落とした擬似形状仮想物体、部位仮想物体の形状の詳細度を落とした擬似形状仮想物体を生成し、擬似形状仮想物体同士で干渉判定処理を行うようにしても良い。

仮想物体の擬似形状仮想物体を生成するとは、仮想物体の形状情報から、例えば周知のポリゴンリダクション技術を用いて、よりデータ量の少ない形状情報（より低い詳細度の形状を示す形状情報）を生成することである。

なお、このように、干渉判定処理用の形状情報を、干渉判定処理の際にリアルタイムで生成しなくても、予め作成し、データ記録部２０５に保存させておいても良い。

なお、仮想物体同士の干渉判定処理については様々な技術があり、本実施形態では、如何なる干渉判定技術を用いても良い。また、仮想物体はポリゴン以外の要素で構築しても良く、それに応じて干渉判定処理の内容を変更しても良い。

即ち、本実施形態では、どのような干渉判定処理を行うのかについては本筋ではなく、仮想物体同士が干渉したか否かを検知することができれば、如何なる技術を用いても良い。

＜ステップＳ４００５における判定処理について＞
上述のステップＳ４００５における処理、即ち、背景仮想物体と接触している部位仮想物体が、注目範囲（図１では注目範囲５０に相当）内に位置しているか否かを判断する処理について、図５，６を用いてより詳細に説明する。

図５は、刺激発生部１０、１１を装着したユーザ１の腕と、位置姿勢センサ４００と、ＨＭＤ１００と、を含む現実空間の様子を示す図である。図６は、現実空間の状態が図５に示した状態である場合における、仮想空間の一例を示す図である。従って、ＨＭＤ１００を装着したユーザ１には、図５に示した現実空間と、図６に示した仮想空間とが合成された状態で提示されるのであるが、ここでは説明上、別個に示している。

図５に示す如く、上述したように、ユーザ１の手には刺激発生部１０が取り付けられており、肘には刺激発生部１１が取り付けられている。刺激発生部１０、１１にはそれぞれ、複数のマーカ４０が配されている。また、係るマーカ４０は、ＨＭＤ１００にも配されている。そして、それぞれのマーカ４０を位置姿勢センサ４００が観察している。６８は、ＨＭＤ１００の位置姿勢情報のうち姿勢成分で示される視線方向ベクトルである。係る視線方向ベクトル６８は、ＨＭＤ１００の位置姿勢情報のうち位置情報が示す位置を始点とするベクトルである。

一方、図６に示す如く、仮想空間には、背景仮想物体３０２，３０３が配置されている。ここで、６９は、ユーザ１の視点（ＨＭＤ１００が図５に示した位置姿勢を有している状態で、位置姿勢センサ４００がＨＭＤ１００の位置姿勢として測定した位置姿勢を有する視点）を示している。

３１１は、刺激発生部１０の位置姿勢で配された部位仮想物体、３１２は、刺激発生部１１の位置姿勢で配された部位仮想物体を示す。なお、図６では、それぞれの部位仮想物体３１１、３１２は、対応する刺激発生部１０、１１の形状を模した仮想物体であるが、係る形状は特に限定するものではない。しかし、部位仮想物体は、対応する刺激発生部の形状を模した仮想物体、若しくは対応する刺激発生部を装着する人体の部位の形状を模した仮想物体であることが好ましい。これは、刺激発生部やそれを装着する人体の部位の実際の形状と背景仮想物体との干渉判定処理を実現することで、よりリアリティのある干渉判定処理を行う為である。

５５は、視点６９の位置姿勢情報や画角情報等の視点情報に基づいて計算されるビューボリュームである。係るビューボリューム５５としては、例えば、一般に仮想空間画像を描画する際に設定されるビューボリューム（仮想空間を見るための仮想的な視野に相当するビューボリューム）がある。この場合、ビューボリューム５５は、ＨＭＤ１００の表示部１０２に描画される仮想空間の範囲を示す。図６では、ビューボリューム５５は、ＨＭＤ１００の水平画角と垂直画角、視線方向ベクトル６８に垂直な２つの面から構成されている。係る２つの面とは、視点６９に近い面（前方クリッピング面）と視点６９から遠い面（後方クリッピング面）である。なお、ビューボリューム５５は、視点に関する情報が変化すればその度に再計算されるもので、その形状やサイズについては適宜決定すれば良い。また、ビューボリューム５５を生成するために必要な情報（視点６９の位置姿勢情報以外）については、予めデータ記録部２０５に記録しておく。ここでは、ビューボリューム５５を注目範囲として用いる。

ここで、図６では、部位仮想物体３１１と背景仮想物体３０２とが接触しており、部位仮想物体３１２と背景仮想物体３０３とが接触している。そして更に図６では、部位仮想物体３１１はビューボリューム５５の内部に位置しており、部位仮想物体３１２はビューボリューム５５の外部に位置している。

ここで、背景仮想物体と接触している部位仮想物体のうち、注目範囲に含まれている部位仮想物体に対応する刺激発生部に対しては、ユーザ１は注意を払っていると推定することができる。逆に、注目範囲に含まれていない部位仮想物体に対応する刺激発生部に対しては、ユーザ１は注意を払っていないと推定することができる。

本実施形態では、注目範囲として求めたビューボリュームと、背景仮想物体と接触している部位仮想物体と、の位置関係に応じて、それぞれの部位仮想物体についてビューボリューム５５に対する内外判定処理を行う。

図６の場合、背景仮想物体３０２と接触している部位仮想物体３１１はビューボリューム５５の内部に位置しているので、ユーザ１は、刺激発生部１０を装着した部位については注意を払っていると推定する。一方、背景仮想物体３０３と接触している部位仮想物体３１２はビューボリューム５５の外部に位置しているので、ユーザ１は、刺激発生部１１を装着した部位については注意は払っていないと推定する。

そしてこの場合、刺激発生部１０と刺激発生部１１とには、それぞれ異なる強度の刺激を発生させるべく、刺激発生部１０、刺激発生部１１のそれぞれに対する動作設定情報を生成することになる。

図７は、ステップＳ４００５における処理の詳細を示すフローチャートである。

なお、ステップＳ４００５では、全ての部位仮想物体を処理対象とするのではなく、ステップＳ４００４における干渉判定処理で背景仮想物体と接触したと判断された部位仮想物体が処理対象となる。

ステップＳ７００１では、背景仮想物体と接触したと判断された部位仮想物体のそれぞれの位置情報が示す位置が、視点情報に基づいて設定されるビューボリューム（注目範囲）の内部であるのか外部であるのかを判断する。

係る判断処理の結果、ビューボリュームの内部に位置する部位仮想物体についてはステップＳ７００２において、係る部位仮想物体に固有の識別情報（例えばＩＤ）をＲＡＭ２０２に記録する。一方、ビューボリュームの外部に位置する部位仮想物体についてはステップＳ７００３において、係る部位仮想物体に固有の識別情報（例えばＩＤ）をＲＡＭ２０２に記録する。

なお、以上の説明では、仮想空間の表示用のビューボリュームを注目範囲として用いたが、四角錐や所定の形状の空間をＨＭＤ１００の視線方向に設定したものを注目範囲としてもよい。例えば、図８では、ビューボリューム５５よりも狭い空間を注目範囲（注目判定空間）５６として設定している。これは、表示領域の周辺部も注目している可能性が低いとして、注目判定空間５６を見えている範囲（ビューボリューム５５）よりも狭く設定している。この注目判定空間５６の内部に、背景仮想物体と接触している部位仮想物体が存在している場合、注目していると判定する。図８は、注目範囲の他の設定方法について説明する図である。

また、図８では、ビューボリューム５５の後方クリッピング面に相当する面も、視点６９の位置方向にずらして、比較的狭い注目判定空間５６を設定している。本実施形態のように、人体に直接装着する形態の刺激発生部では、表示に使われるビューボリュームほど遠方の仮想物体に触れることはあり得ないため、接触に関する注目範囲に特化した空間としてカスタマイズされている。

注目範囲のカスタマイズについては、人間の視覚特性やタスク（検証作業）内容などを考慮して決定すると良い。例えば、人間の視野は、垂直方向に上側60度、下側75度程度であると言われていることから、表示装置がそれ以上の画角を有する場合にも、上側60度、下側75度程度の範囲を注目範囲として設定する。またさらに、人間の視野内には、分解能の高い中心視野があり、視覚で確認しながら作業を行う（注目して物体に触れる）場合には、中心視野で物体を観察していると考えられる。従って、中心視野付近に注目範囲を設定するようにしても良い。また、タスクによって注目している範囲が狭い、広いという違いがあると考えられる。そこで、操作対象や検証内容などによって、所定の注目範囲を予め決定するようにしても良い。また、予め眼球運動の計測などによりタスク作業中の注目範囲を推定しておき、その結果から注目範囲を設定するようにしても良い。

即ち、注目範囲の設定については様々な方法があり、適宜決定すればよい。しかし何れにせよ、視点の位置姿勢が変われば、それに応じて注目範囲は設定し直すことになる。

＜ステップＳ４００６における動作設定情報の生成処理について＞
上述のステップＳ４００６における処理、即ち、背景仮想物体と接触している部位仮想物体に対応する刺激発生部の動作を制御するための動作設定情報を生成する処理についてより詳細に説明する。

図９は、ステップＳ４００６における処理の詳細を示すフローチャートである。

上記ステップＳ７００２においてＲＡＭ２０２に記録した識別情報については、ステップＳ９００２で処理対象となる。一方、上記ステップＳ７００３においてＲＡＭ２０２に記録した識別情報については、ステップＳ９００３で処理対象となる。

ステップＳ９００２では、ステップＳ７００２でＲＡＭ２０２に記録した識別情報に対応する部位仮想物体を特定する。そして、特定した部位仮想物体に対応する刺激発生部に対して設定すべき動作設定情報（注目範囲内用の動作設定情報）を生成（設定）する。

一方、ステップＳ９００３では、ステップＳ７００３でＲＡＭ２０２に記録した識別情報に対応する部位仮想物体を特定する。そして、特定した部位仮想物体に対応する刺激発生部に対して設定すべき動作設定情報（注目範囲外用の動作設定情報）を生成（設定）する。

図６の場合、刺激発生部１０に対しては注目範囲内用の動作設定情報を設定し、刺激発生部１１に対しては注目範囲外用の動作設定情報を設定する。

なお、どの刺激発生部にどの部位仮想物体が関連付けられているのか（どの刺激発生部の位置姿勢にどの部位仮想物体が配されているのか）を示す対応関係情報は予めデータ記録部２０５に記録しておく。これにより、部位仮想物体に対応する刺激発生部を特定することができる。

そして上記ステップＳ４００７では、上記ステップＳ７００２でＲＡＭ２０２に記録した識別情報に対応する部位仮想物体が関連付けられている刺激発生部には、ステップＳ９００２で設定した動作設定情報を、刺激情報出力部２１０を介して出力する。

また、上記ステップＳ４００７では、上記ステップＳ７００３でＲＡＭ２０２に記録した識別情報に対応する部位仮想物体が関連付けられている刺激発生部には、ステップＳ９００３で設定した動作設定情報を、刺激情報出力部２１０を介して出力する。

本実施形態において、刺激制御の好適な例としては、注目範囲内での接触で発生させる刺激に比べて、注目範囲外での接触で発生させる刺激を強く設定することである。即ち、背景仮想物体と接触している部位仮想物体が注目範囲の中に含まれている場合には、この部位仮想物体に対応する刺激発生部に第１の強度の刺激を発生させるための動作設定情報を設定する。また、背景仮想物体と接触している部位仮想物体が注目範囲の中に含まれていない場合には、この部位仮想物体に対応する刺激発生部に第２の強度の刺激を発生させるための動作設定情報を設定する。なお、第１の強度は、第２の強度よりも弱い。

皮膚感覚刺激部２０に振動モータを用いて、ＰＷＭ制御により動作させる場合には、予め異なる振動強度を出力する２つのデューティー比を設定しておく。そして、背景仮想物体と接触している部位仮想物体が注目範囲の中に含まれている場合には、この部位仮想物体に対応する刺激発生部に対して、低いデューティー比を動作設定情報として設定する。また、背景仮想物体と接触している部位仮想物体が注目範囲の中に含まれていない場合には、この部位仮想物体に対応する刺激発生部に対して、高いデューティー比を動作設定情報として設定する。

このようにして設定した動作設定情報を刺激発生部へと出力すると、背景仮想物体と接触している部位仮想物体が注目範囲の中に含まれている場合には、この部位仮想物体に対応する刺激発生部では比較的弱い刺激が発生する。一方で、背景仮想物体と接触している部位仮想物体が注目範囲の中に含まれていない場合には、この部位仮想物体に対応する刺激発生部では比較的強い刺激が発生する。ユーザは、背景仮想物体に触れたことを振動刺激の触感として認識することができ、特に注目範囲外での接触では強い刺激を受けることから、注意を払っていない接触でも明確に刺激を認識することができるようになる。

また、設定する動作設定情報は、デューティー比に限ることはない。例えば、振動モータの制御を入力電圧のアナログ値で制御する場合には、低電圧と高電圧の値を動作設定情報として設定することで、刺激発生部により強い刺激と弱い刺激を出力することができる。また、皮膚感覚刺激部２０に使用するデバイスによっては、デバイスの駆動周波数や振幅を変化させることで、刺激の強弱を表現しても良い。一般に、機械的な皮膚刺激を与えた場合には、２００Ｈｚ付近の刺激が最も感度が高いと言われている。そこで、注目範囲外の領域で与える強い刺激を２００Ｈｚ付近に設定し、注目範囲内で表現する刺激を１００Ｈｚ以下の刺激にすることにより、周波数変更により刺激の強弱を表現することができるようになる。この場合、動作設定情報は、各周波数値となる。

また、異なる刺激として、異なるパターンの刺激で表現しても良い。

図１０は、それぞれ異なる刺激に対応する波形のグラフを示す図である。

図１０（ａ）には、連続的な刺激出力のグラフが示されており、図１０（ｂ）には、刺激が矩形波となる出力のグラフが示されている。そして、それぞれの刺激のパターンを、注目範囲内の刺激、注目範囲外の刺激として割り当てても良い。特に、図１０（ａ）に示したパターンを注目範囲内用の刺激、図１０（ｂ）に示したパターンを注目範囲外用の刺激に割り当てることが望ましい。これは、図１０（ａ）に示したパターンにより注目範囲内での継続的な接触表現を行い、人間にとって認識しやすい刺激である図１０（ｂ）に示したパターンにより注意喚起としての刺激を表現することができるためである。

即ち、注目範囲の中に刺激発生部が含まれている場合には、この刺激発生部に第１の刺激を発生させる為の動作設定情報を生成し、注目範囲の中に刺激発生部が含まれていない場合には、この刺激発生部に第２の刺激を発生させる為の動作設定情報を生成する。なお、第１の刺激と第２の刺激とは異なる刺激である。

また、注目範囲内での接触、または注目範囲外での接触のいずれかでのみ刺激を出力し、もう一方では刺激出力を行わない制御を行ってもよい。

以上の説明により、本実施形態によれば、注目範囲の内外で異なる刺激を発生させることができるようになり、注目範囲外で注意を払っていない人体の部位に対して、接触情報を十分に伝えることができるようになる。

なお、以上説明した構成によれば、ユーザが注目範囲外の接触により強い刺激を受け、刺激部位に目を向けることに伴って仮想空間中の視点の位置姿勢も変更すると、一転して接触部位は注目範囲内となるので、刺激量が注目範囲内のものに変更される。

ＨＭＤ１００のトラッキングの情報に基づいた動的な注目範囲変更により、注意喚起のための接触状態刺激と意識的な接触を表現する刺激を自然に切り替えることができるようになる。ＨＭＤ１００のトラッキングは、人体頭部の位置姿勢または表示装置の位置姿勢情報を取得することを意味する。

［第２の実施形態］
部位仮想物体が注目範囲内に位置しているか否かを判定するための方法には様々なものがある。本実施形態では、撮像部１０１により撮像された現実空間画像を画像処理することで、部位仮想物体が注目範囲内に位置しているか否かを判定する。

なお、本実施形態に係るシステムは、第１の実施形態と同じであるものとし、以下説明する点が、第１の実施形態と異なる。

図１１は、撮像部１０１により撮像された現実空間画像の一例を示す図である。４１０は、現実空間画像であり、図１１に示す如く、現実空間画像４１０内には、背景仮想物体３０５、ユーザ１の腕１１９９、刺激発生部１０が映っている。更に、刺激発生部１０には、２次元バーコード４５、マーカ４０が配されており、これらも現実空間画像４１０内に映っている。図１１では、刺激発生部１０に対応する部位仮想物体は、背景仮想物体３０５に接触しているものとする。

２次元バーコード４５は、刺激発生部１０に固有の識別情報（例えばＩＤ）を示すものである。従って、刺激発生部１０に固有の識別情報を示すことができるものであれば、２次元バーコード４５以外のものを用いても良い。

本実施形態では、現実空間画像４１０内（画像中）に刺激発生部が映っている場合には、注目範囲内にこの刺激発生部が位置しているものと判断する。より具体的には、現実空間画像４１０内で２次元バーコード４５を検知し、その２次元バーコード４５の認識が成功すれば、係る認識で特定される「２次元バーコード４５が示す刺激発生部」が注目範囲内に位置していると判断する。

図１１では、２次元バーコード４５を検出し、認識すると、「現実空間画像４１０内に刺激発生部１０を示す２次元バーコード４５が存在する」と判断することができるので、刺激発生部１０に対して、注目範囲内用の動作設定情報を設定する。

２次元バーコード４５を検知するために行う、現実空間画像４１０に対する画像処理の範囲は、現実空間画像４１０の全域を行っても良いし、予め画像処理を行わない部分をマスクし、所定の範囲のみを画像処理対象とするようにしても良い。所定の範囲は、表示部１０２の表示範囲に対応させて選択しても良いし、中心視野範囲を考慮し、画像周辺部の画素をマスクする設定にしても良い。

なお、図１１では、現実空間画像４１０外での刺激発生部１０の位置姿勢を取得するため、マーカ４０を刺激発生部１０に配している。これは、現実空間画像４１０外（注目範囲外）での刺激発生部１０の位置姿勢を取得し、対応する部位仮想物体と背景仮想物体との接触判定を行うためである。

本実施形態では、実際にユーザが観察している画像を用いて、注目範囲に対する部位仮想物体の内外判定を行うので、その判定結果が、現実の状況に即したものになる。例えば、図１１で、刺激発生部１０と撮像部１０１との間に他の現実物体が存在する場合には、刺激発生部１０が現実物体に隠れて撮影される。この場合には、２次元バーコード４５は認識されず、「２次元バーコード４５が示す刺激発生部１０」が注目範囲内には位置していない判断する。

ユーザは物体に隠れた刺激発生部の位置姿勢を十分に確認することができない状況にあるため、この状況を注目範囲外と判定することにより、現実の状況に即した判定を行うことができる。

［第３の実施形態］
刺激発生部が注目範囲と注目範囲外の境界にわたって存在する場合、上記ステップＳ４００５で行う注目判定処理として予め定めた処理方法を用いることが望ましい。

一つ目の方法としては、刺激発生部が少しでも注目範囲に存在する場合には、注目（背景仮想物体と接触している部位仮想物体が注目範囲内に位置している）と判定する方法である。

二つ目の方法は、対象となる刺激発生部が完全に注目範囲に入っている場合のみを、注目と判定する方法である。この場合は、刺激発生部が境界に存在する場合は、注目範囲外として扱われる。

さらに、境界に存在する場合を特別な場合として、特別な判定を与えても良い。第１の実施形態のように、注目範囲を仮想空間中に設定して注目判定処理を行う場合には、仮想空間中で部位仮想物体が注目範囲と注目範囲外の境界にまたがって存在する場合を境界に存在するとする。一方、第２の実施形態のように画像処理により注目判定処理を行う場合には、画像の周辺部においてマーカの一部のみが確認された場合を境界に存在すると判定する。

図１２は、注目範囲の内外、境界、の何れに、背景仮想物体と接触している部位仮想物体が位置しているのかを判断する為の処理のフローチャートである。なお、図１２のフローチャートに従った処理は、上記ステップＳ４００５で行うものである。以下の説明では、ビューボリュームなどを用いて仮想空間中に注目範囲を設定した場合に、背景仮想物体と接触している部位仮想物体が注目範囲の内外、境界、の何れに位置しているのかを判断するものとする。

なお、ステップＳ４００５では、全ての部位仮想物体を処理対象とするのではなく、ステップＳ４００４における干渉判定処理で背景仮想物体と接触したと判断された部位仮想物体が処理対象となる。

ステップＳ１２０１では、背景仮想物体と接触したと判断されたそれぞれの部位仮想物体について、部位仮想物体の全体が注目範囲内に収まっているか否かを判断する。

収まっていると判断された部位仮想物体については、ステップＳ１２０２における処理対象となる。一方、収まっていないと判断された部位仮想物体については、ステップＳ１２０３における処理対象となる。

ステップＳ１２０２では、全体が注目範囲内に収まっている部位仮想物体に固有の識別情報（例えばＩＤ）をＲＡＭ２０２に記録する。

ステップＳ１２０３では、ステップＳ１２０１で収まっていないと判断された部位仮想物体について、部位仮想物体の全体が注目範囲外に収まっているか否かを判断する。

収まっていると判断された部位仮想物体については、ステップＳ１２０４における処理対象となる。一方、収まっていないと判断された部位仮想物体については、ステップＳ１２０５における処理対象となる。

ステップＳ１２０４では、全体が注目範囲外に収まっている部位仮想物体に固有の識別情報（例えばＩＤ）をＲＡＭ２０２に記録する。

ステップＳ１２０５では、注目範囲と注目範囲外の境界に位置している部位仮想物体（ステップＳ１２０１，Ｓ１２０３の何れの判断でも該当しない仮想物体）に固有の識別情報（例えばＩＤ）をＲＡＭ２０２に記録する。

そして、その後、ステップＳ４００６では、上記３通りのぞれぞれについて動作設定情報を設定する。例えば、全体が注目範囲内に収まっている部位仮想物体、全体が注目範囲外に収まっている部位仮想物体が存在する場合には、第１の実施形態と同様に動作設定情報を設定する。

また、注目範囲と注目範囲外の境界に位置する部位仮想物体に対応する刺激発生部については、例えば、次のような動作設定情報を設定する。即ち、全体が注目範囲外に収まっている部位仮想物体に対応する刺激発生部に発生させる刺激強度と、全体が注目範囲内に収まっている部位仮想物体に対応する刺激発生部に発生させる刺激強度と、の中間強度を示す動作設定情報を設定する。

以上の説明により、本実施形態によれば、注目範囲周辺の接触でも、注目範囲に比べて強い刺激を設定することにより、注目の度合いに応じた刺激をユーザに与えることができる。

［第４の実施形態］
以上の実施形態では、刺激発生部に皮膚感覚刺激部を取り付け、皮膚感覚刺激を人体に与えていた。しかし、例えば、音を発生する音源部を刺激発生部に取り付けることで、音刺激を人体に与えるようにしても良い。ここで、音源部は例えば小型のスピーカである。ユーザに接触を知らせる目的から、皮膚感覚刺激を用いることは好適であるが、皮膚感覚刺激を与える装置は皮膚（人体）との密着性が要求される場合が多く、刺激発生部の着脱が煩雑になる場合が多い。一方、音による接触通知は手軽に使用できるという観点から優れている。皮膚感覚刺激部の代わりに音源部を使用する場合にも、注目範囲の内外で発生音量や音の内容などを変化させることで、注目範囲外での接触に気づきやすくなる。

音により接触情報を表現する場合、外部スピーカを使用することも可能であるが、接触位置に近い場所に小型のスピーカを配置し、接触位置が音で判断できるようにすることが望ましい。更に、上記実施形態で示した振動と、音と、を併用すると、リアル感が増すため望ましい。

尚、ユーザの作業中に別の音が発生している場合や、複数の作業者で同時に作業を行う場合、複数の音が発生して分かりにくくなる。その場合には、皮膚感覚刺激を優先して使用すると良い。このように作業の状態に応じて使用する刺激発生部を適時変更しても良い。

［第５の実施形態］
以上の実施形態では、ステップＳ４００５における処理では、全ての部位仮想物体を処理対象とするのではなく、ステップＳ４００４における干渉判定処理で背景仮想物体と接触したと判断された部位仮想物体を処理対象としていた。

本実施形態では、先に、部位仮想物体が注目範囲内に位置しているか否かを判断し、その後で、部位仮想物体と背景仮想物体との干渉判定処理を行う。

図１３は、演算処理装置２００による各刺激発生部１０、１１、１２の動作制御処理のフローチャートである。なお、図１３において、図４と同じステップには同じステップ番号を付けており、その説明は省略する。

ステップＳ１３０４では、全ての部位仮想物体について、注目範囲内に位置しているか否かを判断する。注目範囲に対する部位仮想物体の内外判定処理については、上述の通りである。

そして、ステップＳ１３０５では、全ての部位仮想物体について、背景仮想物体との干渉判定処理を行う。

注目範囲に対する部位仮想物体の内外判定処理を、部位仮想物体と背景仮想物体との干渉判定処理に先立って行うことにより、先の処理の結果を後段の処理で用いることができる。

例えば、注目範囲内に位置していると判断された部位仮想物体については、より詳細な形状の形状情報を用いて背景仮想物体との干渉判定処理を行う。一方、注目範囲外に位置している判断された部位仮想物体については、より簡易な形状情報を用いて背景仮想物体との干渉判定処理を行う。

具体的には、図６に示した仮想空間の場合、部位仮想物体３１１についてはより手に近い形状で背景仮想物体との干渉判定処理を行い、部位仮想物体３１２については単純な形状（例えば円柱等の形状）で背景仮想物体との干渉判定処理を行う。

このように、接触判定の処理を制御することにより、注目範囲外での接触判定による計算コストを削減することができる。

そして、背景仮想物体と接触している部位仮想物体のうち、注目範囲内に位置している部位仮想物体、注目範囲外に位置している部位仮想物体のそれぞれについては、上記実施形態と同様の処理を行う。

［第６の実施形態］
第１の実施形態で説明したように、注目範囲内で部位仮想物体と背景仮想物体とが接触した場合に発生させる刺激に比べて、注目範囲外で部位仮想物体と背景仮想物体とが接触した場合に発生させる刺激を強く設定することが好ましい。即ち、背景仮想物体と接触している部位仮想物体が注目範囲の中に含まれている場合には、この部位仮想物体に対応する刺激発生部に第１の強度の刺激を発生させるための動作設定情報を設定する。また、背景仮想物体と接触している部位仮想物体が注目範囲の中に含まれていない場合には、この部位仮想物体に対応する刺激発生部に第２の強度の刺激を発生させるための動作設定情報を設定する。なお、第１の強度は、第２の強度よりも弱い。

しかし、注目範囲外での接触について継続的に強い刺激を発生させた場合には、ユーザが接触を認識した上でもさらに強い刺激が継続することになる。例えば、図１でユーザ１がヒザの部分の接触を理解した上で作業検証を行う場合に、継続的に強い刺激をヒザ部分に受けていると、刺激提示を煩わしく感じる可能性がある。そこで、本実施形態では、注目範囲外で部位仮想物体と背景仮想物体とが接触した場合に発生させる刺激は、接触開始時から所定時間（予め定められた時間）の間のみ発生させる、とする。

図１４は、部位仮想物体と背景仮想物体との接触が注目範囲外で継続した場合に発生させる刺激の強度を、時系列に示したグラフを示す図である。図１４では、部位仮想物体と背景仮想物体との接触が０秒のタイミングで発生したとする。本実施形態では、図１４に示すように、接触開始時から予め定められた時間だけ経過した後（図１４では１．５秒後）に、刺激強度を第一段階から第二段階に低下させる。

係る制御により、注目範囲外での接触を気づきやすくさせる効果と、強い刺激が続くことの煩わしさの解消を両立することができる。少なくとも第一段階の刺激強度は、注目範囲内における刺激強度よりも高くすることが好適である。

即ち、本実施形態では、第２の強度の刺激を発生させるために刺激発生部に設定させる動作設定情報は、予め定められた時間内のみ第２の刺激を刺激発生部に発生させるための動作設定情報である。

［第７の実施形態］
上記実施形態では、刺激発生部と背景仮想物体との干渉判定処理を行うために、刺激発生部の位置姿勢に部位仮想物体を配置し、係る部位仮想物体と背景仮想物体との干渉判定処理を行った。また上記実施形態では、刺激発生部が注目範囲の内側に位置しているのか外側に位置しているのかを判断するためにも、部位仮想物体を用いた。

このように、部位仮想物体を用いることで、現実世界の形状を仮想空間に反映することが可能となり、詳細な上記各判定を行うことができる。しかし、計算コストの面では、不利になる側面がある。そこで、本実施形態では、各皮膚感覚刺激部の位置を取得し、仮想空間に反映させる。

例えば、グローブ型の刺激発生部の各指先に皮膚感覚刺激部が配されている場合、それぞれの皮膚感覚刺激部の位置を仮想空間中にポイントとして反映させる。そして、そのポイントを部位仮想物体として用いる。

このように、本実施形態によれば、ボリュームのある部位仮想物体を用いないので、計算コストとしては上記実施形態よりも有利となる。一方、多くの皮膚感覚刺激部が用いられる場合には、それぞれの皮膚感覚刺激部の現実空間中での位置を取得することは困難となるので、各実施形態で説明した何れの構成を採用するのかは使用用途ごとに考慮すればよい。

なお、本実施形態では、仮想空間に反映させる現実空間の情報が、体積を持たないポイントであるため、皮膚感覚刺激部の位置情報のみを取得すれば良い。すなわち、姿勢情報が必要なくなるため、皮膚感覚刺激部については、位置姿勢センサではなく、３自由度のセンサを使用することができる。

［第８の実施形態］
上記実施形態では、部位仮想物体は現実空間中での刺激発生部の形状を模したものであるとした。しかし、係る形状は上述の通り、特に限定するものではない。例えば、グローブ型の刺激発生部を使用する場合であっても、係る刺激発生部の位置姿勢に配置する部位仮想物体の形状は円柱形状としても良い。

また例えば、グローブ型の刺激発生部の位置姿勢で配置する部位仮想物体として、手に工具を把持した形状の仮想物体を用いても良い。もちろん、係る仮想物体は、背景仮想物体との干渉判定処理、注目範囲に対する内外判定処理のみに用いるだけでなく、実際に表示しても良い。これにより、仮想的な工具を使用して作業検証を行うことができるようになる。

また、上記実施形態では、刺激発生部は、人体に装着する為の形状を有するように構成されているものとしたが、これに限定するものではない。例えば、棒状の刺激発生部に複数の皮膚感覚刺激部を設置する構成としても良い。この場合、部位仮想物体の形状をドライバやスパナなどの工具形状として、実際の刺激発生部の形状と異なるものに設定し、表示する。これにより、ユーザは工具を使用した作業を仮想的に体験することができるようになる。把持型の刺激発生部は、人体による直感的な操作感が失われる可能性があるものの、装着の煩雑さを改善することができる。また、現実の作業のシミュレーションを仮想空間で効果的に行うことができるようになる。

［第９の実施形態］
上記実施形態では、頭部装着型表示装置の一例としてＨＭＤ１００を用いた。しかし、頭部装着型表示装置としてＨＭＤ１００以外のものを用いてもよいし、頭部装着型表示装置以外の表示装置を用いても良い。例えば、ヘッドトラッキングにより視線方向を特定できる形態や、表示装置自体のトラッキングにより仮想的な視線方向がトラッキングできる形態であれば良く、如何なる表示装置を用いても良い。

ヘッドトラッキングを実現する環境としては、例えば、大型のディスプレイと偏光眼鏡により立体視を行うシステムがある。この場合、偏光眼鏡の位置姿勢から、注目範囲を設定することができる。

［第１０の実施形態］
上記実施形態では、注目範囲内で部位仮想物体と背景仮想物体とが接触した場合に発生させる刺激に比べて、注目範囲外で部位仮想物体と背景仮想物体とが接触した場合に発生させる刺激を強く設定する例などを説明した。但し、振動モータなどの皮膚感覚刺激部を用いる場合、同じ刺激強度でも人体の取り付け場所によって感じる強度が異なる場合がある。

例えば、人の指先は刺激に対して敏感に反応するが、ヒザやヒジはあまり敏感に反応しない。このため、人体の異なる部位に皮膚感覚刺激部を装着する場合は、事前に各部位を仮想物体と接触させ、同じ刺激強度と感じる値をあらかじめ各部位の基準強度として設定しておくと望ましい。そして、この基準強度を元にして、各部位の刺激強度を、注目範囲内か、注目範囲外かで異なる値とすれば、全身の各部位でも、仮想物体との接触を注目範囲内外でより明瞭に提示させることができる。

なお、本実施形態は、刺激発生強度を例として説明したが、提示パターンや周波数など他の制御方法でも同様である。

また、以上で説明した各実施形態は適宜組み合わせて用いても良い。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係るシステムが使用されている状況を示す図である。 本発明の第２の実施形態に係るシステムのハードウェア構成例を示すブロック図である。 刺激発生部１０の概略構成を示す図である。 演算処理装置２００による各刺激発生部１０、１１、１２の動作制御処理のフローチャートである。 刺激発生部１０、１１を装着したユーザ１の腕と、位置姿勢センサ４００と、ＨＭＤ１００と、を含む現実空間の様子を示す図である。 現実空間の状態が図５に示した状態である場合における、仮想空間の一例を示す図である。 ステップＳ４００５における処理の詳細を示すフローチャートである。 注目範囲の他の設定方法について説明する図である。 ステップＳ４００６における処理の詳細を示すフローチャートである。 それぞれ異なる刺激に対応する波形のグラフを示す図である。 撮像部１０１により撮像された現実空間画像の一例を示す図である。 注目範囲の内外、境界、の何れに、背景仮想物体と接触している部位仮想物体が位置しているのかを判断する為の処理のフローチャートである。 演算処理装置２００による各刺激発生部１０、１１、１２の動作制御処理のフローチャートである。 部位仮想物体と背景仮想物体との接触が注目範囲外で継続した場合に発生させる刺激の強度を、時系列に示したグラフを示す図である。

Claims (12)

1. ユーザの視点の位置姿勢情報に基づいて、仮想物体を配した仮想空間の画像を生成する情報処理装置であって、
   前記ユーザの人体に取り付けた、刺激を発生する刺激発生部の位置情報を取得する手段と、
   前記仮想物体の位置姿勢情報と、前記刺激発生部の位置情報と、に基づいて、前記仮想物体と前記刺激発生部とが接触しているか否かを判断する手段と、
   前記仮想物体と前記刺激発生部とが接触していると判断した場合には、前記視点から注目している範囲として設定された注目範囲の中に前記刺激発生部が含まれているか否かを判断する判断手段と、
   前記判断手段による判断結果に応じて、前記刺激発生部の動作を制御するための動作設定情報を生成し、生成した当該動作設定情報を前記刺激発生部に対して出力する出力手段と
   を備えることを特徴とする情報処理装置。
2. 更に、
   前記視点からの現実空間の画像を取得する手段と、
   前記現実空間の画像と、前記仮想空間の画像とを合成した合成画像を、表示装置に対して出力する手段と
   を備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記判断手段は、
   前記現実空間の画像中に前記刺激発生部が含まれているか否かを判断することで、前記注目範囲の中に前記刺激発生部が含まれているか否かを判断することを特徴とする請求項２に記載の情報処理装置。
4. 前記判断手段は、
   前記視点の位置姿勢情報を含む、前記視点に関する視点情報を取得する手段と、
   前記視点情報に基づいて前記注目範囲を示す情報を生成する手段とを備え、
   前記注目範囲の中に前記刺激発生部が含まれているか否かを判断する
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記出力手段は、
   前記注目範囲の中に前記刺激発生部が含まれていると前記判断手段が判断した場合には、前記刺激発生部に第１の刺激を発生させるための動作設定情報を生成し、
   前記注目範囲の中に前記刺激発生部が含まれていないと前記判断手段が判断した場合には、前記刺激発生部に第２の刺激を発生させるための動作設定情報を生成し、
   前記第１の刺激と前記第２の刺激とは異なる刺激であることを特徴とする請求項１に記載の情報処理装置。
6. 前記第２の刺激を発生させるための動作設定情報は、予め定められた時間内のみ前記第２の刺激を前記刺激発生部に発生させるための動作設定情報であることを特徴とする請求項５に記載の情報処理装置。
7. ユーザの視点の位置姿勢情報に基づいて、仮想物体を配した仮想空間の画像を生成する情報処理装置であって、
   前記ユーザの人体に取り付けた、刺激を発生する刺激発生部の位置情報を取得する手段と、
   前記視点から注目している範囲として設定された注目範囲の中に前記刺激発生部が含まれているか否かを判断する判断手段と、
   前記仮想物体の位置姿勢情報と、前記刺激発生部の位置情報と、に基づいて、前記仮想物体と前記刺激発生部とが接触しているか否かを判断する処理を、前記判断手段による判断結果に応じて制御する手段と、
   前記判断手段による判断結果、及び前記仮想物体と前記刺激発生部とが接触しているか否かの判断結果、に応じて、前記刺激発生部の動作を制御するための動作設定情報を生成し、生成した当該動作設定情報を前記刺激発生部に対して出力する出力手段と
   を備えることを特徴とする情報処理装置。
8. 前記刺激発生部が発生する刺激は、皮膚感覚刺激、音による刺激を含むことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. ユーザの視点の位置姿勢情報に基づいて、仮想物体を配した仮想空間の画像を生成する情報処理装置が行う情報処理方法であって、
   前記ユーザの人体に取り付けた、刺激を発生する刺激発生部の位置情報を取得する工程と、
   前記仮想物体の位置姿勢情報と、前記刺激発生部の位置情報と、に基づいて、前記仮想物体と前記刺激発生部とが接触しているか否かを判断する工程と、
   前記仮想物体と前記刺激発生部とが接触していると判断した場合には、前記視点から注目している範囲として設定された注目範囲の中に前記刺激発生部が含まれているか否かを判断する判断工程と、
   前記判断工程による判断結果に応じて、前記刺激発生部の動作を制御するための動作設定情報を生成し、生成した当該動作設定情報を前記刺激発生部に対して出力する出力工程と
   を備えることを特徴とする情報処理方法。
10. ユーザの視点の位置姿勢情報に基づいて、仮想物体を配した仮想空間の画像を生成する情報処理装置が行う情報処理方法であって、
    前記ユーザの人体に取り付けた、刺激を発生する刺激発生部の位置情報を取得する工程と、
    前記視点から注目している範囲として設定された注目範囲の中に前記刺激発生部が含まれているか否かを判断する判断工程と、
    前記仮想物体の位置姿勢情報と、前記刺激発生部の位置情報と、に基づいて、前記仮想物体と前記刺激発生部とが接触しているか否かを判断する処理を、前記判断工程による判断結果に応じて制御する工程と、
    前記判断工程による判断結果、及び前記仮想物体と前記刺激発生部とが接触しているか否かの判断結果、に応じて、前記刺激発生部の動作を制御するための動作設定情報を生成し、生成した当該動作設定情報を前記刺激発生部に対して出力する出力工程と
    を備えることを特徴とする情報処理方法。
11. コンピュータに請求項９又は１０に記載の情報処理方法を実行させるためのプログラム。
12. 請求項１１に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images