JP6774367B2 - ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム - Google Patents

Description

本発明は、ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システムに関する。

ユーザの頭部に装着されたヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display））にコンピュータグラフィックスを用いた仮想オブジェクトを表示させ、現実空間に存在する実在オブジェクトと同じように仮想オブジェクトをユーザに認識させる技術が知られている。

特許文献１には、仮想オブジェクトに対するユーザの手を用いた様々なジェスチャー操作を認識するＨＭＤの制御装置が記載されている。この制御装置は、認識したジェスチャー操作に応じて、仮想オブジェクトの表示位置、表示サイズといった、仮想オブジェクトの表示態様を変更する変更処理を行っている。ジェスチャー操作には、人差し指の指先を横方向に移動させるスライド操作や、人差し指と親指の指先を接触させた状態（人差し指と親指の指先で仮想オブジェクトを掴んだ状態）で手を移動させるタップアンドホールド操作が例示されている。

特許文献１に記載されているように、ＨＭＤを用いた技術では、ジェスチャー操作が操作入力方法としてしばしば採り入れられる。こうしたジェスチャー操作で仮想オブジェクトの表示態様を変更する変更処理を行わせるためには、変更処理の種類、あるいは変更処理の対象等の複数の選択肢のうちの１つの選択肢を選択するためのジェスチャー操作（以下、選択操作）と、選択操作で選択された１つの選択肢に付随する変更処理を実際に行わせるためのジェスチャー操作（以下、変更操作）の２種が必要となる。

特許文献２は、ＨＭＤを用いた技術ではないが、ユーザと対面するディスプレイに表示された三次元立体画像への操作入力方法として、ジェスチャー操作を採り入れている。特許文献２では、手を前後方に素早く移動させる操作（以下、クリック操作、特許文献２ではクリック動作と表記）を選択操作としている。そして、クリック操作が認識される度に、選択する選択肢をサイクリックに切り替えている。選択肢には、変更処理の対象である複数の三次元立体画像、並びに変更処理の種類である三次元立体画像の表示位置、表示サイズ、および表示向きが例示されている。

また、特許文献２では、クリック操作の規定速度よりも遅い移動速度で手を前後方に移動させるスライド操作、およびディスプレイの表示面に沿って手を移動させるスライド操作を変更操作としている。ユーザは、上記のクリック操作で所望の三次元立体画像および変更処理の種類を選択した後、スライド操作を行う。これにより、三次元立体画像の表示位置、表示サイズ、あるいは表示向きの変更処理が行われる。

特開２０１４−０７１８１２号公報 特開２００５−３２２０７１号公報

ここで、選択操作と変更操作とは区別する必要がある。というのは、選択操作と変更操作のうちの一方が他方と誤認識された場合は、例えば選択操作をした筈であるのに変更処理が行われる等、ユーザの意図しない処理が行われてしまい、使い勝手が悪くなるためである。

特許文献２では、選択操作であるクリック操作と、移動速度だけが異なるスライド操作を、変更操作に含めている。このため、クリック操作をスライド操作と誤認識して、三次元立体画像の表示位置、表示サイズ、または表示向きの変更処理が行われてしまったり、逆にスライド操作をクリック操作と誤認識して、変更処理の種類や対象が切り替わってしまったりといったことが起こり易く、使い勝手が悪くなるおそれがあった。

本発明は、ジェスチャー操作の誤認識を効果的に防止し、使い勝手を向上させることが可能なヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システムを提供することを目的とする。

上記課題を解決するために、本発明のヘッドマウントディスプレイの制御装置は、ユーザの頭部に装着され、仮想空間をユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置において、複数の構造物を有する三次元の仮想オブジェクトを仮想空間に表示させる表示制御部と、仮想オブジェクトの表示態様を変更する第１モードと、仮想オブジェクトが有する構造物の表示態様を変更する第２モードとを切り替えるモード切替処理部と、仮想オブジェクトおよび仮想オブジェクトが有する構造物に対するユーザの手を用いたジェスチャー操作を認識する操作認識部と、親指以外の少なくとも１本の指を親指に向けて押し下げてから押し上げる動作を２回連続して行うダブルタップ操作がジェスチャー操作として認識された場合、第１モードにおいては、仮想オブジェクトの表示態様に関する複数の選択肢のうちの１つの選択肢を選択し、第２モードにおいては、複数の構造物を選択肢とする複数の選択肢のうちの１つの選択肢を選択し、ダブルタップ操作が認識される度に、選択する選択肢を第１モードまたは第２モードごとにサイクリックに切り替える選択処理部と、手首、肘、肩のいずれかを支点として手を移動させるスライド操作がジェスチャー操作として認識された場合、選択処理部で選択された１つの選択肢に付随する、表示態様の変更処理を行う変更処理部とを備える。

表示制御部は、複数の選択肢を順番に並べたメニューバーを仮想空間に表示し、メニューバーにおいて、選択処理部で選択された１つの選択肢をフォーカス表示することが好ましい。この場合、表示制御部は、ダブルタップ操作がジェスチャー操作として認識された場合にのみメニューバーを表示することが好ましい。また、表示制御部は、ユーザの視点位置にメニューバーを表示することが好ましい。

仮想オブジェクトの表示態様に関する複数の選択肢は、変更処理の種類である、仮想オブジェクトの表示位置、表示サイズ、および表示向きであることが好ましい。

変更処理部は、複数の構造物のうちの選択処理部で選択された１つの構造物の透過率を変更する透過率変更処理を変更処理として行うことが好ましい。

仮想オブジェクトは、人体の三次元ボリュームレンダリング画像であることが好ましい。また、スライド操作は、２本の指の指先を接触させた状態で手を移動させるタップアンドホールド操作であることが好ましい。

本発明のヘッドマウントディスプレイの制御装置の作動方法は、ユーザの頭部に装着され、仮想空間をユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置の作動方法において、複数の構造物を有する三次元の仮想オブジェクトを仮想空間に表示させる表示制御ステップと、仮想オブジェクトの表示態様を変更する第１モードと、仮想オブジェクトが有する構造物の表示態様を変更する第２モードとを切り替えるモード切替処理ステップと、仮想オブジェクトおよび仮想オブジェクトが有する構造物に対するユーザの手を用いたジェスチャー操作を認識する操作認識ステップと、親指以外の少なくとも１本の指を親指に向けて押し下げてから押し上げる動作を２回連続して行うダブルタップ操作がジェスチャー操作として認識された場合、第１モードにおいては、仮想オブジェクトの表示態様に関する複数の選択肢のうちの１つの選択肢を選択し、第２モードにおいては、複数の構造物を選択肢とする複数の選択肢のうちの１つの選択肢を選択し、ダブルタップ操作が認識される度に、選択する選択肢を第１モードまたは第２モードごとにサイクリックに切り替える選択処理ステップと、手首、肘、肩のいずれかを支点として手を移動させるスライド操作がジェスチャー操作として認識された場合、選択処理ステップで選択された１つの選択肢に付随する、表示態様の変更処理を行う変更処理ステップとを備える。

本発明のヘッドマウントディスプレイの制御装置の作動プログラムは、ユーザの頭部に装着され、仮想空間をユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置の作動プログラムにおいて、複数の構造物を有する三次元の仮想オブジェクトを仮想空間に表示させる表示制御機能と、仮想オブジェクトの表示態様を変更する第１モードと、仮想オブジェクトが有する構造物の表示態様を変更する第２モードとを切り替えるモード切替処理機能と、仮想オブジェクトおよび仮想オブジェクトが有する構造物に対するユーザの手を用いたジェスチャー操作を認識する操作認識機能と、親指以外の少なくとも１本の指を親指に向けて押し下げてから押し上げる動作を２回連続して行うダブルタップ操作がジェスチャー操作として認識された場合、第１モードにおいては、仮想オブジェクトの表示態様に関する複数の選択肢のうちの１つの選択肢を選択し、第２モードにおいては、複数の構造物を選択肢とする複数の選択肢のうちの１つの選択肢を選択し、ダブルタップ操作が認識される度に、選択する選択肢を第１モードまたは第２モードごとにサイクリックに切り替える選択処理機能と、手首、肘、肩のいずれかを支点として手を移動させるスライド操作がジェスチャー操作として認識された場合、選択処理機能で選択された１つの選択肢に付随する、表示態様の変更処理を行う変更処理機能とを、コンピュータに実行させる。

また、本発明の画像表示システムは、ユーザの頭部に装着されるヘッドマウントディスプレイと、ヘッドマウントディスプレイの動作を制御する制御装置とを備え、ヘッドマウントディスプレイを通じて仮想空間をユーザに認識させる画像表示システムにおいて、複数の構造物を有する三次元の仮想オブジェクトを仮想空間に表示させる表示制御部と、仮想オブジェクトの表示態様を変更する第１モードと、仮想オブジェクトが有する構造物の表示態様を変更する第２モードとを切り替えるモード切替処理部と、仮想オブジェクトおよび仮想オブジェクトが有する構造物に対するユーザの手を用いたジェスチャー操作を認識する操作認識部と、親指以外の少なくとも１本の指を親指に向けて押し下げてから押し上げる動作を２回連続して行うダブルタップ操作がジェスチャー操作として認識された場合、第１モードにおいては、仮想オブジェクトの表示態様に関する複数の選択肢のうちの１つの選択肢を選択し、第２モードにおいては、複数の構造物を選択肢とする複数の選択肢のうちの１つの選択肢を選択し、ダブルタップ操作が認識される度に、選択する選択肢を第１モードまたは第２モードごとにサイクリックに切り替える選択処理部と、手首、肘、肩のいずれかを支点として手を移動させるスライド操作がジェスチャー操作として認識された場合、選択処理部で選択された１つの選択肢に付随する、表示態様の変更処理を行う変更処理部とを備える。

本発明によれば、仮想オブジェクトに関する複数の選択肢のうちの１つの選択肢を選択するジェスチャー操作である選択操作を、親指以外の少なくとも１本の指を親指に向けて押し下げてから押し上げる動作を２回連続して行うダブルタップ操作とし、仮想オブジェクトの表示態様を変更する変更処理を行わせるためのジェスチャー操作である変更操作を、手首、肘、肩のいずれかを支点として手を移動させるスライド操作とするので、ジェスチャー操作の誤認識を効果的に防止し、使い勝手を向上させることが可能なヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システムを提供することができる。

画像表示システムと画像蓄積サーバを示す図である。 画像表示システムの外観斜視図である。 画像表示システムを用いて対象患者の手術方針を検討する様子を示す図である。 拡張現実空間の成り立ちを説明するための図である。 ３Ｄ画像を構成するＣＴスキャン画像を示す図である。 画像表示システムを用いて対象患者の手術方針を検討する大まかな流れを示すフローチャートである。 制御装置を構成するコンピュータのブロック図である。 制御装置のＣＰＵの各機能部を示すブロック図である。 認識部と処理部の詳細を示すブロック図である。 第１対応情報を示す図である。 第１対応情報を示す図である。 第１対応情報を示す図である。 第１対応情報を示す図である。 第１対応情報を示す図である。 第１対応情報を示す図である。 第２対応情報を示す図である。 第２対応情報を示す図である。 アジャストモードにおける選択処理を示す図である。 オブザーブモードにおける選択処理を示す図である。 ３Ｄ画像の表示位置を移動する変更処理を示す図である。 ３Ｄ画像の表示サイズを縮小する変更処理を示す図である。 ３Ｄ画像の表示向きを変更する処理を示す図である。 ３Ｄ画像の選択された構造物の透過率を変更する処理を示す図である。 アジャストモードにおける仮想画像の詳細を示す図である。 オブザーブモードにおける仮想画像の詳細を示す図である。 制御装置の処理手順を示すフローチャートである。 ダブルタップ操作が認識された場合にのみアジャストモード表示バーを表示する第２実施形態を示す図である。 ユーザの視点位置にアジャストモード表示バーを表示する第３実施形態を示す図である。 画像表示システムの別の例を示す図である。 画像表示システムのさらに別の例を示す図である。

[第１実施形態]
図１において、画像表示システム１０は、ＨＭＤ１１と制御装置１２とが一体化されたものであり、例えば医療施設１３のカンファレンス室１４で用いられる。画像表示システム１０はユーザ１５の頭部に装着される。ユーザ１５は、医療施設１３に所属する医師や看護師といった医療スタッフである。なお、頭部とは、立位の状態で人体の頸部から上に位置する部分を言い、顔面等を含む部分である。

画像表示システム１０は、例えばＬＡＮ（Local Area Network）等のネットワーク１７を介して、画像蓄積サーバ１９と相互に通信可能に接続されている。画像蓄積サーバ１９は、例えば医療施設１３のコンピュータ室１８に設置されている。

画像蓄積サーバ１９は、医療施設１３で取得した患者の様々な医療画像を蓄積する。医療画像には、ＣＴ（Computed Tomography）スキャン画像４５（図５参照）を画像処理により再構成した三次元ボリュームレンダリング画像（以下、３Ｄ画像）４０（図３参照）が含まれる。画像蓄積サーバ１９は、個々の医療画像を識別するための画像ＩＤ、医療画像を撮影した患者を識別するための患者ＩＤ（Identification Data）、あるいは医療画像を撮影したモダリティの種類、撮影日時等を検索キーとした医療画像の検索が可能である。

画像蓄積サーバ１９は、画像表示システム１０からの検索キーを含む配信要求に応じて、検索キーに対応する医療画像を検索し、検索した医療画像を画像表示システム１０に配信する。なお、図１では１つの画像表示システム１０だけが画像蓄積サーバ１９に接続されているが、実際には医療施設１３には複数の画像表示システム１０が配備され、画像蓄積サーバ１９には複数の画像表示システム１０が接続されている。

図２において、画像表示システム１０は、本体部２５と装着部２６とで構成される。画像表示システム１０の装着時、本体部２５はユーザ１５の眼前に位置し、装着部２６はユーザ１５の頭部の上半部に位置する。

本体部２５は、保護枠２７、スクリーン２８、センサ部２９、および制御部３０を備えている。保護枠２７はユーザ１５の両眼全体を覆うように湾曲した１枚の透明板であり、例えば透明な色付きのプラスチックで形成される。スクリーン２８は保護枠２７の内側に配されている。スクリーン２８はユーザ１５の両眼のそれぞれに割り当てられており、中央には鼻当て３１が設けられている。スクリーン２８は、保護枠２７と同様に透明な材料で形成される。このスクリーン２８と保護枠２７を通じて、ユーザ１５は現実空間ＲＳ（図４参照）を肉眼で視認する。つまり画像表示システム１０のＨＭＤ１１は透過型である。

また、ユーザ１５の眼と対向するスクリーン２８の内面には、コンピュータグラフィックスを用いた仮想画像が投影部（図示せず）から投影表示される。投影部は、周知のように、仮想画像を表示する液晶等の表示素子と、表示素子に表示された仮想画像をスクリーン２８の内面に向けて投影する投影光学系とで構成される。この場合、スクリーン２８は、仮想画像を反射し、かつ現実空間ＲＳの光を透過するハーフミラーで構成される。投影部は、所定のフレームレート（例えば６０フレーム／秒）でスクリーン２８の内面に仮想画像を投影表示する。仮想画像はスクリーン２８の内面で反射してユーザ１５の眼に入射する。これにより、ユーザ１５は仮想画像を仮想空間ＶＳ（図４参照）上の虚像として認識する。なお、スクリーン２８自体を液晶等の表示素子としてもよい。

仮想画像には、拡張現実空間ＡＲＳ（図３参照）において、現実空間ＲＳに存在する実在オブジェクトと同じようにユーザ１５が認識する仮想オブジェクトがある。仮想オブジェクトは、ここでは患者の上半身の３Ｄ画像４０（図３参照）である。ユーザ１５は、３Ｄ画像４０に対して、自らの手３７（図３参照）を用いたジェスチャー操作を行う。

センサ部２９はスクリーン２８の上部に位置し、スクリーン２８と同じく保護枠２７で覆われている。センサ部２９はＨＭＤ１１に属し、画像表示システム１０の使用状態を把握するための様々なセンサを備えている。センサは、画像表示システム１０の使用周辺環境を空間認識するための複数台の赤外線エミッタと複数台の空間認識用カメラで構成される空間認識ユニット、カラー撮像素子を有するビデオカメラ、慣性計測ユニット（ＩＭＵ；inertial measurement unit）等である。ＩＭＵは、加速度センサ、角速度センサ（ジャイロスコープ）、および方位センサ（磁力計）で構成され、ビデオカメラと協働して、ユーザ１５の頭部の動きを追跡する、いわゆるヘッドトラッキングを実施する。

センサ部２９には、３Ｄ画像４０に対するユーザ１５の手３７を用いたジェスチャー操作を認識するための赤外線エミッタとデプスセンサで構成されるジェスチャー操作認識ユニットも配されている。デプスセンサは、赤外線エミッタから発せられて手３７を含む実在オブジェクトから反射される赤外光を検出して、ユーザ１４の視点の奥行方向の現実空間ＲＳの情報を得るセンサである。デプスセンサは、ユーザ１５がＨＭＤ１１を通じて認識する拡張現実空間ＡＲＳとほぼ同じ視野を、所定のフレームレート（例えば６０フレーム／秒）で撮像する。ユーザ１５は、このデプスセンサの視野内でジェスチャー操作を行う。

また、センサ部２９には、画像表示システム１０の使用周辺環境の音声を収録するためのマイクロフォンも配されている。このマイクロフォンによって、ジェスチャー操作に加えて、音声操作も可能となる。なお、ここでは透過型のＨＭＤ１１を例示したが、ビデオカメラで撮像した現実空間ＲＳの撮像画像に仮想画像を重畳して、この重畳画像をスクリーン２８の内面に投影表示する非透過型のＨＭＤを用いてもよい。

制御部３０は、本体部２５の三日月状の天板の裏側に取り付けられている。制御部３０には、センサ部２９に配された各種センサのドライバ、内蔵バッテリからの電力を各部に供給する電力供給回路、画像蓄積サーバ１９等の外部装置と無線通信を行う無線通信回路、ストレージデバイス５５、メモリ５６、これらを統括的に制御するＣＰＵ（Central Processing Unit）５７（いずれも図７参照）等が設けられている。ＨＭＤ１１と制御装置１２とが一体化された本実施形態の画像表示システム１０では、この制御部３０が制御装置１２を構成する。

装着部２６は数センチ程度の幅を有する帯状であり、内側リング３２と外側リング３３とで構成される。内側リング３２は切れ目のないＯ字状をしており、ユーザ１５の頭部の上半部にフィットした状態で固定される。ユーザ１５の頭部と接する内側リング３２の内面には、ウレタンフォーム等の衝撃吸収パッドが取り付けられている。内側リング３２は、ユーザ１５の頭部に合わせてサイズを調整可能である。また、内側リング３２は、所定移動範囲内で外側リング３３に対して前後方に移動可能で、かつユーザ１５の両耳を貫く軸を回転中心として、所定角度の範囲内で外側リング３３に対して回転可能である。

外側リング３３は後頭部側が切り欠かれたＣ字状をしている。外側リング３３は、内側リング３２のサイズ調整に応じて、初期位置から外側に撓んだり、撓んだ状態から初期位置に向けて内側に縮んだりする。

ユーザ１５の両耳に対峙する外側リング３３の部分には、音声を出力するスピーカー３４が設けられている（図２では左側のスピーカー３４のみ図示）。また、図示は省略したが、スピーカー３４の上部には、スピーカー３４の音量の調整ボタンと、スクリーン２８のバックライトの明るさ調整ボタンが設けられている。さらに、これも図示は省略したが、外側リング３３の後頭部側の切り欠き部分には、電源ボタンとＵＳＢ（Universal Serial Bus）端子が設けられている。

画像表示システム１０は、電力供給回路を介した内蔵バッテリの電力で動作し、かつ無線通信回路で画像蓄積サーバ１９等の外部装置と無線通信を行う。このため、画像表示システム１０はワイヤレスで使用することが可能である。なお、外側リング３３のＵＳＢ端子にＵＳＢケーブルを接続して外部装置と有線接続することで、外部装置からの電力供給と、外部装置との有線通信が可能となる。

図３は、医療施設１３のカンファレンス室１４にいるユーザ１５が、画像表示システム１０を用いて、手術予定の患者（以下、対象患者）の手術方針を検討している様子を示す。ユーザ１５は、ＨＭＤ１１を通じて拡張現実空間ＡＲＳを認識している。

カンファレンス室１４にはテーブル３６が設置されている。テーブル３６の中央には、対象患者の上半身の仰向けの３Ｄ画像４０が仮想オブジェクトとして表示されている。３Ｄ画像４０は、現実空間ＲＳにおける表示位置がテーブル３６のほぼ中央に固定され、その体軸がテーブル３６の長辺に沿い、かつ頸部がユーザ１５の左側、腰部がユーザ１５の右側となるように配置されている。

ユーザ１５はテーブル３６の一方の長辺のほぼ中央に立っている。ユーザ１５はテーブル３６に手（右手）３７および指（人差し指）３８を向けている。なお、３Ｄ画像４０はあくまでも仮想オブジェクトであって、現実空間ＲＳにおいては、テーブル３６には３Ｄ画像４０は存在しない。このため、図３のテーブル３６上では３Ｄ画像４０を破線で示している。

３Ｄ画像４０の現実空間ＲＳにおける表示位置がテーブル３６のほぼ中央に固定されているため、ユーザ１５の立ち位置に応じて、ユーザ１５が認識する拡張現実空間ＡＲＳにおける３Ｄ画像４０の見え方が異なる。具体的には、図３に示す立ち位置では、ユーザ１５は、３Ｄ画像４０の右半身が手前側、頸部が左側に見える。図３に示す立ち位置と反対側のテーブル３６の他方の長辺側にユーザ１５が立った場合は、逆に３Ｄ画像４０の左半身が手前側、頸部が右側に見える。

また、例えばユーザ１５がテーブル３６に近付くと、近付くにつれて３Ｄ画像４０が拡大表示される。逆にユーザ１５がテーブル３６から遠ざかると、遠ざかるにつれて３Ｄ画像４０が縮小表示される。

このように、３Ｄ画像４０の表示は、画像表示システム１０（ユーザ１５）とテーブル３６との三次元的な位置関係に応じて変更される。画像表示システム１０とテーブル３６との三次元的な位置関係は、センサ部２９の空間認識ユニットでテーブル３６を含むカンファレンス室１４の全体を空間認識し、かつビデオカメラおよびＩＭＵでヘッドトラッキングを実施することで認識可能である。なお、当然ではあるが、現実空間ＲＳの実在オブジェクトであるテーブル３６等も、ユーザ１５の立ち位置に応じて拡張現実空間ＡＲＳにおける見え方が異なる。

図４に、ユーザ１５が認識する拡張現実空間ＡＲＳの成り立ちを示す。ユーザ１５は、スクリーン２８と保護枠２７を通じて、テーブル３６および自らの手３７が存在する現実空間ＲＳを視認する。加えて、ユーザ１５は、スクリーン２８の内面を通じて、３Ｄ画像４０が存在する仮想空間ＶＳを視認する。これにより、ユーザ１５は、現実空間ＲＳと仮想空間ＶＳを融合させた拡張現実空間ＡＲＳを認識する。

仮想空間ＶＳには、ユーザ１５の視点位置を示すカーソル４１が重畳表示される。カーソル４１は二重丸の形状をしている。このカーソル４１の表示位置は、センサ部２９のビデオカメラおよびＩＭＵの協働によるヘッドトラッキングの結果から割り出される。すなわち、カーソル４１は、ユーザ１５の頭部の動きに連動して移動する。例えばユーザ１５が頭部を上に向けると、カーソル４１も上に移動する。

図５は、３Ｄ画像４０を構成する複数枚のＣＴスキャン画像４５のうちの一枚を示したものである。ここで、ＣＴスキャン画像４５の面（スライス面）と平行な、腹背を結ぶ線に沿った人体の前後方向を深さ方向とする。ＣＴスキャン画像４５には、外側から順に、皮膚４６、脂肪等の皮下組織４７、腹直筋等の筋組織４８、肋骨、胸骨等の骨４９、肝臓５０Ａ、胃５０Ｂ、脾臓５０Ｃ等の内臓５０、腫瘍等の病変５１といった人体組織の構造物が複数映されている。３Ｄ画像４０は、こうした人体組織の複数の構造物が映されたＣＴスキャン画像４５を再構成したものである。このため、３Ｄ画像４０は、複数の構造物が深さ方向に重なった仮想オブジェクトである。なお、３Ｄ画像４０には、例えば皮膚４６は肌色、骨４９は灰色、内臓５０はピンク色、病変５１は赤色等の色付けがなされている。

複数の構造物のうち、皮膚４６、皮下組織４７、筋組織４８、骨４９は、３Ｄ画像４０上の位置に関わらず、外側からこの順に存在する。一方、肝臓５０Ａ等の内臓５０は、３Ｄ画像４０において、体軸方向の位置に応じて変わる。ここでは肝臓５０Ａ、胃５０Ｂ、脾臓５０Ｃを例示したが、上半身の３Ｄ画像４０であるため、腎臓、膵臓、小腸、大腸といった他の内臓５０も３Ｄ画像４０に含まれている。

図６は、ユーザ１５が画像表示システム１０を用いて対象患者の手術方針を検討する際の大まかな流れを示すフローチャートである。まず、３Ｄ画像４０のファイルアイコンの一覧がＨＭＤ１１に表示され、一覧の中から、ユーザ１５により仮想オブジェクトとして表示する対象患者の３Ｄ画像４０が選択される（ステップＳＴ１００）。３Ｄ画像４０の選択後、画像表示システム１０は３Ｄ画像４０の初期表示位置の設定に移行する（ステップＳＴ１１０）。初期表示位置には、例えばテーブル３６上等、大まかな位置が設定される。

初期表示位置の設定後、画像表示システム１０はアジャストモードに移行する（ステップＳＴ１２０）。アジャストモードでは、３Ｄ画像４０の表示位置、表示サイズ、および表示向きのいずれか選択し、これらを初期表示位置からユーザ１５の好みとなるよう変更することが可能である。

すなわち、アジャストモードでは、現実空間ＲＳにおける３Ｄ画像４０の表示位置、表示サイズ、および表示向きが、仮想オブジェクトに関する複数の選択肢に相当する。また、アジャストモードでは、３Ｄ画像４０の表示位置、表示サイズ、および表示向きのそれぞれの変更処理が、選択された１つの選択肢に付随する、仮想オブジェクトの表示態様を変更する変更処理に相当する。

アジャストモードで３Ｄ画像４０の表示位置、表示サイズ、表示向きがユーザ１５の好むものとなり、ユーザ１５からアジャストモードを終える指示があった場合、画像表示システム１０はオブザーブモードに移行する（ステップＳＴ１３０）。オブザーブモードでは、アジャストモードで設定された表示位置、表示サイズ、表示向きにて、３Ｄ画像４０を観察することが可能である。

また、オブザーブモードでは、皮膚４６等の構造物を選択し、選択した構造物の透過率を変更することが可能である。例えば、皮膚４６、皮下組織４７、筋組織４８、骨４９等の各構造物を選択し、各構造物の透過率を全て１００％（透明）に変更して、手術予定の病変５１を直接視認可能とする。

すなわち、オブザーブモードでは、複数の構造物が、仮想オブジェクトに関する複数の選択肢に相当する。また、オブザーブモードでは、選択された構造物の透過率を変更する透過率変更処理が、選択された１つの選択肢に付随する、仮想オブジェクトの表示態様を変更する変更処理に相当する。なお、オブザーブモードにおいて、３Ｄ画像４０に対して仮想的なメスを用いて仮想的な開腹手術を施すことが可能な構成としてもよい。

図７において、画像表示システム１０の制御装置１２は、前述のストレージデバイス５５、メモリ５６、およびＣＰＵ５７等を備えている。これらはデータバス５８を介して相互接続されている。なお、制御装置１２は、これらの他にも、各種センサのドライバ、電力供給回路、無線通信回路を含む。

ストレージデバイス５５は、例えば制御装置１２に内蔵されたハードディスクドライブである。ストレージデバイス５５には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データが記憶されている。

メモリ５６は、ＣＰＵ５７が処理を実行するためのワークメモリである。ＣＰＵ５７は、ストレージデバイス５５に記憶されたプログラムをメモリ５６へロードして、プログラムにしたがった処理を実行することにより、制御装置１２の各部を統括的に制御する。

図８において、ストレージデバイス５５には作動プログラム６５が記憶されている。作動プログラム６５は、制御装置１２を構成するコンピュータを、ＨＭＤ１１の制御装置として機能させるためのアプリケーションプログラムである。ストレージデバイス５５には、作動プログラム６５の他に、第１対応情報６６（図１０〜図１５参照）および第２対応情報６７（図１６および図１７参照）が記憶されている。

作動プログラム６５が起動されると、ＣＰＵ５７は、メモリ５６等と協働して、センサ情報取得部７０、３Ｄ画像取得部７１、認識部７２、処理部７３、および表示制御部７４として機能する。

センサ情報取得部７０は、ＨＭＤ１１のセンサ部２９からのセンサ情報を取得する。センサ情報には、空間認識用カメラの撮像画像、ビデオカメラの撮像画像、ＩＭＵの各種センサの検知信号、デプスセンサの撮像画像、並びにマイクロフォンで収録した音声が含まれる。センサ情報取得部７０は、取得したセンサ情報を認識部７２に出力する。

３Ｄ画像取得部７１は、３Ｄ画像４０の配信要求を画像蓄積サーバ１９に発行する。また、３Ｄ画像取得部７１は、配信要求に応じて画像蓄積サーバ１９から送信された３Ｄ画像４０を取得する。３Ｄ画像取得部７１は、取得した３Ｄ画像４０を表示制御部７４に出力する。

認識部７２は、センサ情報取得部７０からのセンサ情報に基づいた各種認識を行う。認識部７２は、認識結果を処理部７３および表示制御部７４に出力する。処理部７３は、認識部７２からの認識結果に基づいた各種処理を行う。処理部７３は、処理結果を表示制御部７４に出力する。表示制御部７４は、３Ｄ画像４０を含む仮想画像のＨＭＤ１１への表示を制御する表示制御機能を担う。

図９において、認識部７２は操作認識部８０を含んでいる。また、処理部７３は選択処理部８５および変更処理部８６を含んでいる。

操作認識部８０には、センサ情報取得部７０からのセンサ情報のうちのデプスセンサの撮像画像が入力される。操作認識部８０は、デプスセンサの撮像画像、および第１対応情報６６に基づいて、ジェスチャー操作を認識する操作認識機能を担う。操作認識部８０は、認識したジェスチャー操作の情報（以下、ジェスチャー情報）を、認識結果として処理部７３に出力する。

なお、認識部７２には、操作認識部８０の他に、音声認識部、動き認識部、空間認識部等の各種認識部が設けられている。音声認識部は、センサ情報のうちのマイクロフォンの収録音声の中から特定音声を認識する。特定音声はユーザ１５が発話する音声で、予め決められた文言が登録されている。動き認識部は、センサ情報のうちのビデオカメラの撮像画像、およびＩＭＵの各種センサの検知信号に基づいて、ユーザ１５の頭部の動きを認識する。空間認識部は、空間認識用カメラの撮像画像に基づいて、画像表示システム１０の使用周辺環境を空間認識する。

処理部７３は、第２対応情報６７に基づいて、操作認識部８０からのジェスチャー情報で表されるジェスチャー操作を、その種類に応じた各種の操作コマンドとして認識する。そして、認識した操作コマンドに応じた各種処理を行う。より具体的には、処理部７３の選択処理部８５は、操作コマンドのうちの選択コマンド（図１６および図１７参照）に応じて、３Ｄ画像４０に関する複数の選択肢のうちの１つの選択肢を、サイクリックに切り替える選択処理機能を担う。複数の選択肢は、図６を用いて説明したように、アジャストモードでは３Ｄ画像４０の表示位置、表示サイズ、および表示向きといった変更処理の種類であり、オブザーブモードでは変更処理の対象である複数の構造物である。選択処理部８５は、選択した１つの選択肢の情報（以下、選択肢情報）を、処理結果として表示制御部７４に出力する。

変更処理部８６は、操作コマンドのうちの変更コマンド（図１６および図１７参照）に応じて、選択処理部８５で選択された１つの選択肢に付随する、３Ｄ画像４０の表示態様を変更する変更処理を行う変更処理機能を担う。変更処理は、これも図６を用いて説明したように、アジャストモードでは３Ｄ画像４０の表示位置、表示サイズ、および表示向きのそれぞれの変更処理であり、オブザーブモードでは構造物の透過率変更処理である。変更処理部８６は、変更処理の結果を示す情報（以下、変更情報）を、処理結果として表示制御部７４に出力する。

処理部７３は、これら選択処理部８５および変更処理部８６の他にも、様々な処理部を有している。例えば、操作コマンドのうちの画像選択コマンド（図１６参照）に応じて、３Ｄ画像取得部７１に３Ｄ画像４０の配信要求を発行させる画像選択処理部や、操作コマンドのうちのモード切替コマンド（図１７参照）に応じて、アジャストモードとオブザーブモードを切り替えるモード切替処理部等がある。また、処理部７３は、音声認識部で認識された特定音声についても、ジェスチャー情報と同じく操作コマンドを認識し、認識した操作コマンドに応じた各種処理を行う。

図１０〜図１５に示すように、第１対応情報６６には、ユーザ１５の手３７の動きの推移と、これに対応するジェスチャー操作が登録されている。まず、図１０に示す第１対応情報６６Ａには、２本の指３８（ここでは人差し指と親指）の指先同士を離したＧＡ１の状態から、ＧＡ２に示すように１本の指３８（ここでは人差し指）を親指に向けて押し下げた後、ＧＡ３に示すように間を置かずに１本の指３８を押し上げて再び２本の指３８の指先を離す一連の動きが登録されている。この動きに対しては、ジェスチャー操作としてシングルタップ操作が登録されている。

図１１に示す第１対応情報６６Ｂには、ＧＢ１〜ＧＢ３までは図１０のシングルタップ操作のＧＡ１〜ＧＡ３と同じであるが、ＧＢ３で２本の指３８の指先を離した後、さらに続けてＧＢ４に示すように１本の指３８（ここでは人差し指）を再び親指に向けて押し下げ、ＧＢ５に示すようにもう一度１本の指３８を押し上げて２本の指３８の指先を離す一連の動きが登録されている。この動きは、言い換えれば、親指以外の少なくとも１本の指３８を親指に向けて押し下げてから押し上げる動作を２回連続して行う動きである。第１対応情報６６Ｂでは、この動きに対して、ジェスチャー操作としてダブルタップ操作が登録されている。

なお、シングルタップ操作およびダブルタップ操作においては、親指以外の少なくとも１本の指３８を親指に向けて押し下げた場合に、親指と親指以外の少なくとも１本の指３８のそれぞれの指先を接触させる必要はない。

図１２に示す第１対応情報６６Ｃの動きは、ＧＣ１、ＧＣ２までは図１０のシングルタップ操作のＧＡ１、ＧＡ２と同じである。ただし、図１０ではＧＡ３で２本の指３８の指先を離していたのに対し、図１２では、ＧＣ３Ｒに示すように、２本の指３８の指先を接触させた状態で、手３７を左から右に移動させている。第１対応情報６６Ｃでは、この動きに対して、ジェスチャー操作としてタップアンドホールド操作の右スライド操作が登録されている。

図１３に示す第１対応情報６６Ｄには、図１２のＧＣ３Ｒとは逆に、ＧＣ３Ｌに示すように、２本の指３８の指先を接触させた状態で、手３７を右から左に移動させる動きが登録されている。この動きに対しては、ジェスチャー操作としてタップアンドホールド操作の左スライド操作が登録されている。なお、ＧＣ１、ＧＣ２の動きは図１２と同じであるため、図１３では図示を省略している。以降の図１４、図１５も同様である。

図１４に示す第１対応情報６６Ｅには、ＧＣ３Ｕに示すように、２本の指３８の指先を接触させた状態で、手３７を下から上に移動させる動きが登録されている。この動きに対しては、ジェスチャー操作としてタップアンドホールド操作の上スライド操作が登録されている。一方、図１５に示す第１対応情報６６Ｆには、図１４のＧＣ３Ｕとは逆に、ＧＣ３Ｄに示すように、２本の指３８の指先を接触させた状態で、手３７を上から下に移動させる動きが登録されている。この動きに対しては、ジェスチャー操作としてタップアンドホールド操作の下スライド操作が登録されている。

なお、図示は省略するが、第１対応情報６６には、タップアンドホールド操作として、図１２〜図１５に示す右左スライド操作、上下スライド操作に加えて、２本の指３８の指先を接触させた状態で、手３７を例えば左下から右上、あるいはその逆、さらには右下から左上、あるいはその逆に向かって動かす、斜めスライド操作も登録されている。

図１０に示すシングルタップ操作および図１１に示すダブルタップ操作は、指３８の付け根の関節である中手指節関節を支点とするジェスチャー操作である。対して図１２〜図１５に示す右左スライド操作、上下スライド操作、あるいは図示しない斜めスライド操作を含むタップアンドホールド操作は、中手指節関節を支点とするジェスチャー操作に、さらに手首、肘、肩のいずれかを支点として手３７を移動させるスライド操作が加わったジェスチャー操作である。

操作認識部８０は、周知の画像認識技術を用いて、デプスセンサの撮像画像に映されたユーザ１５の手３７から、２本の指３８の指先を認識する。そして、認識した指先の移動軌跡が、第１対応情報６６に登録された手３７の動きの推移のいずれに該当するかを判断する。

例えば、２本の指３８の指先が互いに離れた状態からほぼ同じ位置に移動し、間を置かずに再び離れた場合、操作認識部８０は、図１０の第１対応情報６６Ａに登録された動きに該当すると判断し、ジェスチャー操作をシングルタップ操作と認識する。また、２本の指３８の指先が互いに離れた状態からほぼ同じ位置に移動し、そのままの状態で２本の指３８の指先の位置が左から右に移動した場合、操作認識部８０は、図１２の第１対応情報６６Ｃに登録された動きに該当すると判断し、ジェスチャー操作をタップアンドホールド操作の右スライド操作と認識する。なお、親指以外の少なくとも１本の指３８は、人差し指に限らず、中指、薬指、さらには小指であってもよい。また、人差し指と中指等でもよい。

図１６および図１７に示すように、第２対応情報６７は、ジェスチャー操作と、これに対応するフェーズ毎の操作コマンドとを登録したものである。第２対応情報６７には、視点位置合わせの有無も併せて登録されている。

まず、フェーズが図６のステップＳＴ１００に示す３Ｄ画像４０の選択であった場合、視点位置合わせを伴うシングルタップ操作に対して、画像選択コマンドが割り当てられている。視点位置合わせは、３Ｄ画像４０のファイルアイコンの一覧の中から所望の３Ｄ画像４０を選択するために用いられる。すなわち、３Ｄ画像４０のファイルアイコンの一覧のうちの所望の３Ｄ画像４０に視点位置（カーソル４１）を合わせ、その状態でシングルタップ操作を行うと、視点位置を合わせた３Ｄ画像４０の配信要求が３Ｄ画像取得部７１から画像蓄積サーバ１９に配信される。

続いて、フェーズが図６のステップＳＴ１１０に示す３Ｄ画像４０の初期表示位置の設定であった場合、視点位置合わせを伴うシングルタップ操作に対して、今度は表示位置設定コマンドが割り当てられている。この場合の視点位置合わせは、３Ｄ画像４０の初期表示位置を確定するために用いられる。すなわち、３Ｄ画像４０の選択終了後に、現実空間ＲＳの実在オブジェクトに視点位置を合わせ、その状態でシングルタップ操作を行うと、視点位置を合わせた実在オブジェクト上に３Ｄ画像４０が表示される。

図６のステップＳＴ１２０に示すアジャストモードでは、ダブルタップ操作に対して、３Ｄ画像４０の表示位置、表示サイズ、表示向きといった変更処理の種類の選択をサイクリックに切り替える選択コマンドが割り当てられている。一方、図６のステップＳＴ１３０に示すオブザーブモードでは、ダブルタップ操作に対して、変更処理の対象である複数の構造物の選択をサイクリックに切り替える選択コマンドが割り当てられている。

アジャストモードで表示位置が選択されていた場合（フェーズ＝アジャストモード（表示位置））は、タップアンドホールド操作の右スライド操作に対して、３Ｄ画像４０の表示位置を右に移動させる変更コマンドが割り当てられている。また、タップアンドホールド操作の左スライド操作に対して、３Ｄ画像４０の表示位置を左に移動させる変更コマンドが割り当てられている。なお、図示は省略したが、タップアンドホールド操作の上下スライド操作に対しては、３Ｄ画像４０の表示位置を上下に移動させる変更コマンドが割り当てられ、タップアンドホールド操作の斜めスライド操作に対しては、３Ｄ画像４０の表示位置を斜め手前または斜め奥に移動させる変更コマンドが割り当てられている。

アジャストモードで表示サイズが選択されていた場合（フェーズ＝アジャストモード（表示サイズ））、タップアンドホールド操作の右スライド操作に対して、３Ｄ画像４０の表示サイズを拡大させる変更コマンドが割り当てられている。また、タップアンドホールド操作の左スライド操作に対して、３Ｄ画像４０の表示サイズを縮小させる変更コマンドが割り当てられている。

アジャストモードで表示向きが選択されていた場合（フェーズ＝アジャストモード（表示向き））、タップアンドホールド操作の右スライド操作に対して、３Ｄ画像４０を鉛直軸右回りに回転させる変更コマンドが、タップアンドホールド操作の左スライド操作に対して、３Ｄ画像４０を鉛直軸左回りに回転させる変更コマンドが、それぞれ割り当てられている。また、タップアンドホールド操作の上スライド操作に対して、タップアンドホールド操作の右左スライド操作の方向とほぼ平行な水平軸右回りに、３Ｄ画像４０を回転させる変更コマンドが、タップアンドホールド操作の下スライド操作に対して、水平軸左回りに３Ｄ画像４０を回転させる変更コマンドが、それぞれ割り当てられている。

オブザーブモードでは、タップアンドホールド操作の右スライド操作に対して、選択された構造物の透過率を増加させる変更コマンドが割り当てられている。また、タップアンドホールド操作の左スライド操作に対して、選択された構造物の透過率を減少させる変更コマンドが割り当てられている。

さらに、全フェーズに共通する操作コマンドとして、視点位置合わせを伴うシングルタップ操作に対して、作動プログラム６５を終了する終了コマンドが割り当てられている。この場合の視点位置合わせは、図２４および図２５に示す終了ボタン１０３を選択するために用いられる。なお、第２対応情報６７には、これらの他にも、リセットボタン１０５（図２４および図２５参照）への視点位置合わせを伴うシングルタップ操作に対する、３Ｄ画像４０の表示を初期表示位置の設定直後に戻すリセットコマンド等が登録されている。

視点位置合わせを利用するのは、上記の３Ｄ画像４０を選択する場合、３Ｄ画像４０の初期表示位置を設定する場合、終了コマンドを入力する場合、リセットコマンドを入力する場合等である。選択コマンド、および変更コマンドは、視点位置合わせの必要はなく、ダブルタップ操作、もしくはタップアンドホールド操作のみで入力可能である。

図１６および図１７で示したように、同じジェスチャー操作であっても、フェーズにより操作コマンドが異なる。このため、処理部７３は現在のフェーズを常に把握しており、操作認識部８０からのジェスチャー情報で表されるジェスチャー操作を、各フェーズに適応した操作コマンドとして認識する。

また、本例では、複数の選択肢のうちの１つの選択肢を選択するジェスチャー操作である選択操作にダブルタップ操作が割り当てられ、一方で３Ｄ画像４０の表示態様を変更する変更処理を行わせるためのジェスチャー操作である変更操作にタップアンドホールド操作が割り当てられている。

アジャストモードにおいては、選択処理部８５は、図１８に示すように、ダブルタップ操作が認識される度に、変更処理の種類を、表示位置、表示サイズ、表示向きの順にサイクリックに切り替える。順番が最後の表示向きが選択された状態でダブルタップ操作が認識された場合、選択処理部８５は、順番が最初の表示位置に戻って選択する。アジャストモードに移行した初期段階では、順番が最初の表示位置が選択されている。この場合の選択肢情報は、表示位置、表示サイズ、表示向きのいずれかである。

一方、オブザーブモードにおいては、選択処理部８５は、図１９に示すように、ダブルタップ操作が認識される度に、変更処理の対象である構造物を、皮膚４６、皮下組織４７、筋組織４８、骨４９、内臓５０、病変５１の順にサイクリックに切り替える。内臓５０が肝臓５０Ａ、胃５０Ｂ等、複数種類ある場合は、各内臓が１つの選択肢として扱われる。この場合も図１８の場合と同じく、順番が最後の病変５１が選択された状態でダブルタップ操作が認識された場合、選択処理部８５は、順番が最初の皮膚４６に戻って選択する。オブザーブモードに移行した初期段階では、順番が最初の皮膚４６が選択されている。この場合の選択肢情報は、上記複数の構造物４６〜５１のいずれかである。なお、皮膚４６、皮下組織４７、筋組織４８を、まとめて１つの選択肢、例えば体表として扱ってもよい。

各構造物の名称は、音声認識部で認識する特定音声としても予め登録されている。このため、オブザーブモードでは、ダブルタップ操作の替わりに、各構造物の名称をユーザ１５が発話することで、各構造物を直接選択することも可能である。

図２０は、アジャストモード（表示位置）における３Ｄ画像４０の表示位置の変更処理を示す図である。矢印の上段は、ユーザ１５が、手３７の２本の指３８の指先同士を接触させ、まさにタップアンドホールド操作を開始しようとしている状態である。この状態から矢印の下段に示すように、ユーザ１５が手３７を右から左に移動させた場合、操作認識部８０でタップアンドホールド操作の左スライド操作が認識される。

図１６に示す第２対応情報６７によれば、アジャストモード（表示位置）の場合のタップアンドホールド操作の左スライド操作には、３Ｄ画像４０の表示位置を左に移動する変更コマンドが割り当てられている。このため、変更処理部８６は、３Ｄ画像４０の表示位置を左に移動する変更処理を行う。この場合の変更情報は、３Ｄ画像４０の表示位置の左方への変位量である。変位量は、手３７の移動距離に応じて変わり、手３７の移動距離が大きい程、変位量も大きくなる。

図２１は、アジャストモード（表示サイズ）における３Ｄ画像４０の表示サイズの変更処理を示す図である。矢印の上段は、図２０の矢印の上段と同じく、ユーザ１５がタップアンドホールド操作を開始しようとしている状態である。矢印の下段も、図２０の矢印の下段と同じく、ユーザ１５が手３７を右から左に移動させた状態である。この場合も操作認識部８０でタップアンドホールド操作の左スライド操作が認識される。

ただし、図１６によれば、アジャストモード（表示サイズ）の場合のタップアンドホールド操作の左スライド操作には、３Ｄ画像４０の表示サイズを縮小する変更コマンドが割り当てられているので、変更処理部８６は、３Ｄ画像４０の表示サイズを縮小する変更処理を行う。この場合の変更情報は、３Ｄ画像４０の表示サイズの縮小率である。縮小率も図２０の変位量と同じく、手３７の移動距離が大きい程、大きくなる。

図２２は、アジャストモード（表示向き）における３Ｄ画像４０の表示向きの変更処理を示す図である。この場合も図２０および図２１の場合と同じく、操作認識部８０でタップアンドホールド操作の左スライド操作が認識された場合を例示している。

ただし、図１７によれば、アジャストモード（表示向き）の場合のタップアンドホールド操作の左スライド操作には、３Ｄ画像４０の表示向きを鉛直軸左回りに回転する変更コマンドが割り当てられているので、変更処理部８６は、３Ｄ画像４０の表示向きを鉛直軸左回りに回転する変更処理を行う。この場合の変更情報は、３Ｄ画像４０の回転量である。回転量も、手３７の移動距離が大きい程、大きくなる。

図２３は、オブザーブモードにおける３Ｄ画像４０の透過率変更処理を示す図である。この場合は図２０〜図２２とは逆に、操作認識部８０でタップアンドホールド操作の右スライド操作が認識された場合を例示している。また、構造物として皮膚４６が選択されている場合を例示している。

図１７によれば、オブザーブモードの場合のタップアンドホールド操作の右スライド操作には、選択された構造物の透過率を増加する変更コマンドが割り当てられている。このため、変更処理部８６は、３Ｄ画像４０の選択された構造物、この場合は皮膚４６の透過率を増加する透過率変更処理を行う。この場合の変更情報は透過率であり、透過率は手３７の移動距離が大きい程、変位幅も大きくなる。

図２３では、ハッチングで示すように、３Ｄ画像４０において予め設定された対象領域８７の透過率を変更する例を示している。対象領域８７は、腹部の大部分をカバーする大きさであり、深さ方向に沿って四角柱状に設定されている。図２３では、対象領域８７における皮膚４６の透過率が増加し、皮膚４６の下の構造物である皮下組織４７が透けて見えている状態を示している。なお、対象領域８７は円柱または楕円柱形状でもよい。また、３Ｄ画像４０全体を対象領域８７としてもよい。

表示制御部７４は、認識部７２からの画像表示システム１０の使用周辺環境の空間認識結果、並びにユーザ１５の頭部の動きの認識結果に基づいて、３Ｄ画像取得部７１からの３Ｄ画像４０を編集する。より詳しくは、表示制御部７４は、頭部の動きの認識結果で示されるユーザ１５の位置から見た場合のサイズおよび向きとなるよう、３Ｄ画像４０に拡縮処理および回転処理を施す。これらの拡縮処理および回転処理は、変更処理部８６の表示サイズおよび表示向きの変更処理とは別に独立して行われる。

また、表示制御部７４は、変更処理部８６からの変更情報に基づいて、３Ｄ画像４０を編集する。例えば変更処理部８６から変更情報として３Ｄ画像４０の表示サイズの縮小率が与えられた場合、図２１の矢印の下段に示すように、表示制御部７４は、与えられた縮小率で３Ｄ画像４０を縮小する。

図２４および図２５は、仮想空間ＶＳに表示される仮想画像の詳細を示す。図２４はアジャストモードの場合、図２５はオブザーブモードの場合をそれぞれ示す。表示制御部７４は、３Ｄ画像４０およびカーソル４１に加えて、アジャストモード表示バー９０およびオブザーブモード表示バー９１を仮想画像として仮想空間ＶＳに表示する。

表示制御部７４は、仮想空間ＶＳの下部中央の対称な位置に各表示バー９０、９１を表示する。また、表示制御部７４は、各表示バー９０、９１を半透明とし、各表示バー９０、９１を通して、ユーザ１５が３Ｄ画像４０および実在オブジェクトを視認可能としている。

アジャストモード表示バー９０には、アジャストモードにおける選択肢である表示位置、表示サイズ、表示向きをそれぞれ表すアイコン９０Ａ、９０Ｂ、９０Ｃが順番に並べられている。すなわち、アジャストモード表示バー９０は、複数の選択肢を順番に並べたメニューバーに相当する。表示位置のアイコン９０Ａは十字の矢印形状であり、表示サイズのアイコン９０Ｂは虫眼鏡の形状であり、表示向きのアイコン９０Ｃは２つの楕円の矢印を直角に交差させた形状である。

図２４において、アジャストモードでは、モードがアジャストモードであることをユーザ１５に報せるために、ハッチングで示すようにアジャストモード表示バー９０がフォーカス表示される。逆に図２５のオブザーブモードの場合は、オブザーブモード表示バー９１がフォーカス表示される。

フォーカス表示とは、複数の選択肢のうちの選択されている選択肢を、他の選択肢と区別して表示することをいう。フォーカス表示には、例えば選択されている選択肢を赤色、他の選択肢を灰色（グレーアウト）で表示する等、選択されている選択肢と他の選択肢とを異なる色で表示したり、選択されている選択肢のみを枠で囲んだり、あるいは選択されている選択肢の表示サイズを大きく表示させて目立たせる表示手法がとられる。図２４および図２５では、現在選択中の一方のモードの表示バーが例えば紺色、他方のモードの表示バーが例えば灰色で表示される。

図２４において、表示制御部７４は、各アイコン９０Ａ〜９０Ｃのうち、選択処理部８５で選択された１つの選択肢のアイコンをフォーカス表示する。図２４では、選択処理部８５で１つの選択肢として表示位置が選択され、ハッチングおよび破線の枠９２で示すように、表示位置のアイコン９０Ａがフォーカス表示されている様子を示している。この場合のフォーカス表示は、例えば、選択された選択肢のアイコンを白色、他のアイコンを灰色とする、あるいは、選択された選択肢のアイコンを赤色の枠で囲うことで行う。

表示制御部７４は、アジャストモードでは、選択された選択肢のアイコンと同じ形状にカーソル４１を変更する。図２４では、選択処理部８５で１つの選択肢として表示位置が選択されているので、カーソル４１は、表示位置のアイコン９０Ａと同じ十字の矢印形状に変更される。

図２５において、オブザーブモードでは、表示制御部７４は、構造物リスト９５を仮想空間ＶＳの右側に表示する。構造物リスト９５には、仮想空間ＶＳにおける表示色を示すカラーバー９６とともに、皮膚４６、肝臓５０Ａといった複数の構造物の名称が順番に並べられている。すなわち、構造物リスト９５も、アジャストモード表示バー９０と同じく、複数の選択肢を順番に並べたメニューバーに相当する。

表示制御部７４は、構造物リスト９５の各構造物の名称のうち、選択処理部８５で選択された１つの選択肢の名称をフォーカス表示する。この場合のフォーカス表示は、例えば、選択処理部８５で選択された１つの選択肢の名称を白色、他の名称を灰色とし、かつ選択処理部８５で選択された１つの選択肢の名称の表示サイズを、他の名称よりも大きくすることで行う。図２５では、選択処理部８５で１つの選択肢として皮膚４６が選択され、「皮膚」の文字がフォーカス表示されている様子を示している。

また、オブザーブモードでは、表示制御部７４は、３Ｄ画像４０に対してアノテーション９７を表示する。アノテーション９７は、現在選択されている構造物の名称（ここでは「皮膚」）と、当該構造物の３Ｄ画像４０上の位置を示す線と、当該構造物の透過率を示す透過率表示バー９８とで構成される。表示制御部７４は、透過率が０％（当該構造物が完全に視認可能な状態）の場合は、透過率表示バー９８の全体を例えば水色で塗り潰す。そして、透過率が増加した場合は塗り潰し部分を減らしていき、透過率１００％で塗り潰し部分をなくす。

表示制御部７４は、仮想空間ＶＳの右上部に、終了ボタン１０３、読込ボタン１０４、およびリセットボタン１０５を表示する。終了ボタン１０３は、作動プログラム６５を終了するためのボタンである。終了ボタン１０３に視点位置（カーソル４１）を合わせてシングルタップ操作することで、処理部７３に終了コマンドが入力され、作動プログラム６５が終了される。

読込ボタン１０４は、仮想オブジェクトとして表示する３Ｄ画像４０を選択する際に、３Ｄ画像４０のファイルアイコンの一覧をＨＭＤ１１に表示させるためのボタンである。リセットボタン１０５は、３Ｄ画像４０の表示を初期表示位置の設定直後に戻すためのボタンである。

以下、上記構成による作用について、図２６のフローチャートを参照して説明する。まず、カンファレンス室１４において、ユーザ１５は画像表示システム１０を頭部に装着して電源を投入し、オペレーティングシステム上で作動プログラム６５を起動する。これにより、制御装置１２のＣＰＵ５７に、認識部７２、処理部７３、表示制御部７４等の各機能部が構築され、制御装置１２は、ＨＭＤ１１の制御装置として機能する。

そして、図６のステップＳＴ１００で示したように、仮想オブジェクトとして表示する対象患者の３Ｄ画像４０を選択する。これにより３Ｄ画像取得部７１から３Ｄ画像４０の配信要求が画像蓄積サーバ１９に送信され、画像蓄積サーバ１９から３Ｄ画像取得部７１に３Ｄ画像４０が配信される。

ステップＳＴ５００において、画像蓄積サーバ１９からの３Ｄ画像４０は３Ｄ画像取得部７１で取得される。ユーザ１５は、図６のステップＳＴ１１０で示したように、３Ｄ画像４０の初期表示位置を設定する。これにより、表示制御部７４の制御の下、設定された初期表示位置に３Ｄ画像４０が表示される（ステップＳＴ５１０、表示制御ステップ）。

ユーザ１５は、例えば病変５１を詳細に把握するために３Ｄ画像４０に近付いたり、全体像を把握するために３Ｄ画像４０から遠ざかったりする。あるいは、ユーザ１５は、病変５１を違った角度から観察するために、顔の向きや立ち位置を変える。こうしたユーザ１５の動きに追従して、表示制御部７４により３Ｄ画像４０の表示が更新される。

ユーザ１５は、３Ｄ画像４０に対して様々なジェスチャー操作を行う（ステップＳＴ５２０でＹＥＳ）。制御装置１２では、操作認識部８０において、センサ情報取得部７０で取得したデプスセンサの撮像画像、および第１対応情報６６に基づいて、ジェスチャー操作が認識される（ステップＳＴ５３０、操作認識ステップ）。

ステップＳＴ５３０で認識したジェスチャー操作がダブルタップ操作であった場合（ステップＳＴ５４０でＹＥＳ）、選択処理部８５で選択処理が行われる（ステップＳＴ５５０、選択処理ステップ）。具体的には、アジャストモードであった場合は、図１８で示したように、変更処理の種類である表示位置、表示サイズ、表示向きのうちの１つが選択される。そして、ダブルタップ操作が認識される度に、変更処理の種類が、表示位置、表示サイズ、表示向きの順にサイクリックに切り替えられる。一方、オブザーブモードであった場合は、図１９で示したように、変更処理の対象である複数の構造物４６〜５１のうちの１つが選択される。そして、ダブルタップ操作が認識される度に、変更処理の対象が、複数の構造物４６〜５１の順にサイクリックに切り替えられる。

ステップＳＴ５３０で認識したジェスチャー操作がタップアンドホールド操作であった場合（ステップＳＴ５４０でＮＯ、ステップＳＴ５６０でＹＥＳ）、変更処理部８６で変更処理が行われる（ステップＳＴ５７０、変更処理ステップ）。具体的には、アジャストモードであった場合は、図２０〜図２２で示したように、３Ｄ画像４０の表示位置、表示サイズ、または表示向きのいずれかの変更処理が行われる。オブザーブモードであった場合は、図２３で示したように、選択された構造物に対する透過率変更処理が行われる。表示位置、表示サイズ、または表示向きのいずれかの変更処理が行われた場合は、変更情報として、変位量、拡縮率、回転量のいずれかが変更処理部８６から表示制御部７４に出力される。透過率変更処理が行われた場合は、変更情報として透過率が変更処理部８６から表示制御部７４に出力される。

ステップＳＴ５３０で認識したジェスチャー操作がダブルタップ操作、タップアンドホールド操作のいずれでもなかった場合（ステップＳＴ５４０、ＳＴ５６０でともにＮＯ）、すなわちシングルタップ操作であった場合は、処理部７３でその他の処理が行われる（ステップＳＴ５８０）。例えばアジャストモードにおいてシングルタップ操作が行われた場合、オブザーブモードに移行するモード切替処理が行われる。また、終了ボタン１０３への視点位置合わせを伴うシングルタップ操作が行われた場合、作動プログラム６５の終了処理が行われる（ステップＳＴ５９０でＹＥＳ）。作動プログラム６５の終了処理が行われなかった場合（ステップＳＴ５９０でＮＯ）は、必要に応じて表示制御部７４により３Ｄ画像４０が編集された後、ステップＳＴ５１０に戻る。

複数の選択肢のうちの１つの選択肢を選択する選択操作をダブルタップ操作とし、３Ｄ画像４０の表示態様を変更する変更処理を行わせるための変更操作をタップアンドホールド操作とするので、選択操作と変更操作を明確に区別することができ、選択操作と変更操作のうちの一方を他方と誤認識するおそれがない。このため、誤認識によってユーザの意図しない処理が行われてしまうことがない。したがって、ジェスチャー操作の誤認識を効果的に防止し、使い勝手を向上させることができる。

表示制御部７４は、アジャストモードにおける選択肢である表示位置、表示サイズ、表示向きのそれぞれのアイコン９０Ａ〜９０Ｃを順番に並べたアジャストモード表示バー９０、およびオブザーブモードにおける選択肢である複数の構造物の名称を順番に並べた構造物リスト９５を仮想空間ＶＳに表示し、これらアジャストモード表示バー９０および構造物リスト９５において、選択された１つの選択肢をフォーカス表示するので、ユーザ１５は、自分が今どの選択肢を選択しているのかが一目で分かる。視点位置合わせを伴うことなくダブルタップ操作のみで選択肢をサイクリックに切り替えた場合は特に、ユーザ１５は現在選択している選択肢を見失いがちになるが、こうしたフォーカス表示によれば、選択中の選択肢を見失うことは確実に防がれる。

変更処理の種類は、３Ｄ画像４０の表示位置、表示サイズ、および表示向きの３種類である。このため、変更処理の種類を選択肢とし、これをサイクリックに切り替えたとしても、僅か３回のダブルタップ操作で選択肢が１周する。したがって、所望の選択肢を選択する際のユーザ１５に掛かるジェスチャー操作のストレスは比較的低いといえる。

対して変更処理の対象である複数の構造物は数が比較的多く、その分、所望の選択肢を選択する際のジェスチャー操作のストレスは、変更処理の種類の場合よりもユーザ１５に掛かる。このため、上記第１実施形態では、各構造物の名称をユーザ１５が発話することで、各構造物を選択することも可能としている。

ここで、ユーザ１５に掛かるジェスチャー操作のストレスを軽減するため、ダブルタップ操作で構造物をサイクリックに切り替えるのではなく、視点位置合わせを伴う選択操作で構造物を選択する方法も考えられる。視点位置合わせを伴う構造物の選択操作は、具体的にはカーソル４１を所望の構造物に合わせた状態で何らかのジェスチャー操作を行う方法である。しかしながら、こうした視点位置合わせを伴う選択操作で構造物を選択する方法を採用した場合、透過率の変更前は視認不能な内臓５０や、内臓５０の微小な一部分である病変５１といった箇所には視点位置（カーソル４１）を合わせにくいので、かえって視点位置合わせの方がユーザ１５にとってストレスとなる。したがって、変更処理の対象である複数の構造物を選択肢とし、これをダブルタップ操作でサイクリックに切り替えることで、結果的にはユーザ１５に掛かるストレスを軽減することができる。

変更操作は、表示位置、表示サイズ、表示向き、あるいは透過率等、変位量、拡縮率、回転量、透過率といった数値を増減する操作である。このため、変更操作としては、シングルタップ操作やダブルタップ操作といった指３８を叩くジェスチャー操作ではなく、タップアンドホールド操作のように、右左、上下等、数値の増減をユーザ１５がイメージ可能なスライド操作が妥当である。

ここで、図１２で示したように、タップアンドホールド操作のＧＣ１、ＧＣ２の手３７の動きは、図１０で示したシングルタップ操作のＧＡ１、ＧＡ２の手３７の動きと同じである。このため、ユーザ１５がタップアンドホールド操作を行おうとして手３７をＧＣ１、ＧＣ２のように動かした後、気が変わってタップアンドホールド操作を止めてしまった場合は、まさしく手３７の動きが図１０で示したシングルタップ操作と同じになる。したがって、この場合は操作認識部８０でシングルタップ操作と誤認識するおそれがある。

このため、もしダブルタップ操作ではなくシングルタップ操作を選択操作として採用した場合は、変更操作であるタップアンドホールド操作を、選択操作であるシングルタップ操作と誤認識するおそれがある。そこで、シングルタップ操作ではなくダブルタップ操作を選択操作として採用している。これにより、シングルタップ操作と誤認識しやすいが、変更操作として妥当なタップアンドホールド操作を採用した場合でも、選択操作と変更操作の誤認識を効果的に防止することができる。

なお、スライド操作としては、タップアンドホールド操作に限らず、例えば人差し指等の１本の指３８の指先を立てた状態で、手首、肘、肩のいずれかを支点として手３７を移動させるものでもよい。

［第２実施形態］
上記第１実施形態では、ダブルタップ操作の有無に関わらず、メニューバーとしてのアジャストモード表示バー９０および構造物リスト９５を仮想空間ＶＳに表示しているが、図２７に示す第２実施形態では、ダブルタップ操作が認識された場合にのみメニューバーを表示する。

図２７は、アジャストモード表示バー９０の例を示す。矢印の上段は、変更処理の種類のうちの表示位置が選択されている状態である。この状態では、表示制御部７４は、仮想空間ＶＳにアジャストモード表示バー９０を表示しない。この矢印の上段の状態から、変更処理の種類を表示位置から表示サイズに切り替えるためにユーザ１５によりダブルタップ操作が行われ、このダブルタップ操作が操作認識部８０で認識された場合、表示制御部７４は、矢印の下段に示すように、仮想空間ＶＳにアジャストモード表示バー９０を表示する。そして、所定時間、例えば５秒経過後、アジャストモード表示バー９０を消去する。

このように、ダブルタップ操作が認識された場合にのみアジャストモード表示バー９０を表示するので、アジャストモード表示バー９０でユーザ１５の視界が制限される時間を極力短くすることができる。なお、図２７ではアジャストモード表示バー９０を例示したが、構造物リスト９５も同じく、ダブルタップ操作が認識された場合にのみ表示する構成としてもよい。

［第３実施形態］
図２８に示す第３実施形態では、ダブルタップ操作が認識された場合にのみメニューバーを表示することに加えて、ユーザ１５の視点位置にメニューバーを表示する。

図２８は、図２７の場合と同じくアジャストモード表示バー９０の例であり、矢印の上段は、変更処理の種類のうちの表示位置が選択されている状態を示す。この状態からユーザ１５によりダブルタップ操作が行われ、このダブルタップ操作が操作認識部８０で認識された場合、表示制御部７４は、矢印の下段に示すように、仮想空間ＶＳのユーザ１５の視点位置、すなわちカーソル４１の位置に、アジャストモード表示バー９０を表示する。そして、所定時間、例えば５秒経過後、アジャストモード表示バー９０を消去する。

このように、ユーザ１５の視点位置にアジャストモード表示バー９０を表示するので、選択中の選択肢を確認する際のユーザ１５の視点移動が最小限で済む。対象患者の手術方針の検討においては、ユーザ１５の視点は３Ｄ画像４０に集中していると考えられる。そのため、選択中の選択肢を確認する際のユーザ１５の視点移動を最小限とすれば、ユーザ１５は３Ｄ画像４０から視点を逸らさずに対象患者の手術方針を検討することができる。なお、この場合も上記第２実施形態と同じく、構造物リスト９５もユーザ１５の視点位置に表示する構成としてもよい。

なお、構造物に対する変更処理としては、上記第１実施形態の透過率変更処理に替えて、あるいは加えて、選択された構造物の表示色、明るさ、あるいはシャープネスを変更する処理としてもよい。

さらに、選択された構造物に対して変更処理を施すのではなく、選択された構造物以外の他の構造物全てに一律に変更処理を施してもよい。例えば選択された構造物が肝臓５０Ａであった場合、肝臓５０Ａ以外の他の構造物の皮膚４６、皮下組織４７、筋組織４８、骨４９、および他の内臓５０の透過率をまとめて変更する。こうすれば、選択された構造物だけを視認したい場合に、他の構造物の透過率を一気に１００％に変更することができ好適である。選択された構造物に対して変更処理を施すか、選択された構造物以外の他の構造物に対して変更処理を施すかをユーザ１５が切り替え可能な構成としてもよい。

デプスセンサ等のジェスチャー操作認識ユニットは、画像表示システム１０に搭載されていなくてもよい。少なくともユーザ１５の手３７を撮像可能であれば、ジェスチャー操作認識ユニットの設置位置は問わない。このため、ジェスチャー操作認識ユニットは、ユーザ１５が認識する拡張現実空間ＡＲＳと同じ視野を撮像するものでなくともよい。例えばジェスチャー操作認識ユニットを、ユーザ１５の手３７が映り込むカンファレンス室１４の壁や天井に設置してもよい。

上記各実施形態では、ＨＭＤ１１と制御装置１２が一体となった画像表示システム１０を例示しているが、本発明はこれに限定されない。図２９に示すように、ＨＭＤ１１１と制御装置１１２とが別体となった画像表示システム１１０でもよい。図２９では、制御装置１１２は、ディスプレイ１１３とキーボードおよびマウスで構成される入力デバイス１１４とを有するデスクトップ型のパーソナルコンピュータを例示しているが、ノート型のパーソナルコンピュータであってもよいし、タブレットコンピュータであってもよい。

もしくは、図３０に示すように、ユーザ１５が腰等に付けて携帯可能な携帯コンピュータ１２２にＨＭＤ１２１の制御装置の機能を担わせた画像表示システム１２０でもよい。この場合、携帯コンピュータを、市販のパーソナルコンピュータではなく、画像表示システム１２０に特化した専用の製品としてもよい。

また、画像蓄積サーバ１９がＨＭＤの制御装置の機能の全てまたは一部を担ってもよい。例えば表示制御部７４の機能を画像蓄積サーバ１９が担ってもよい。あるいは、画像蓄積サーバ１９とは別のサーバがＨＭＤの制御装置の機能を担ってもよい。さらには、医療施設１３のコンピュータ室１８ではなく、外部施設に設置されたネットワークサーバがＨＭＤの制御装置の機能を担ってもよい。画像蓄積サーバ１９も外部施設にネットワークサーバとして設置されていてもよい。

このように、本発明のＨＭＤの制御装置を構成するコンピュータのハードウェア構成は種々の変形が可能である。ＨＭＤの制御装置を、処理能力や信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、センサ情報取得部７０および３Ｄ画像取得部７１の機能と、認識部７２および処理部７３の機能と、表示制御部７４の機能とを、３台のコンピュータに分散して担わせる。この場合は３台のコンピュータでＨＭＤの制御装置を構成する。

以上のように、コンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム６５等のアプリケーションプログラムについても、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。

画像表示システム、あるいはＨＭＤは、上記各実施形態のように保護枠２７でユーザ１５の両眼全体を覆い、装着部２６をユーザ１５の頭部に固定するタイプに限らない。ユーザ１５の耳にかけるテンプル、目頭の下部に当たる鼻当て、スクリーンを保持するリム等を有する眼鏡タイプの画像表示システムを用いてもよい。

ＨＭＤは、現実空間ＲＳと仮想空間ＶＳを融合させた拡張現実空間ＡＲＳをユーザ１５に認識させるものに限らない。仮想空間ＶＳのみをユーザ１５に認識させるものでもよい。

３Ｄ画像４０は、対象患者の上半身の仰向けの画像に限らない。全身の仰向けの画像でもよいし、頭部等の他の部位の画像でもよい。また、構造物としては、上記各実施形態で例示した皮膚４６、皮下組織４７等の他に、門脈、下大静脈等の血管組織、あるいは脊髄等の神経組織を含めてもよい。

上記各実施形態では、画像表示システムの用途として医療施設１３内で行われる対象患者の手術方針の検討を例示し、仮想オブジェクトとして３Ｄ画像４０を例示したが、画像表示システムの用途は対象患者の手術方針の検討に限定されず、したがって仮想オブジェクトも３Ｄ画像４０に限定されない。例えば画像表示システムの用途をゲーム用途とし、ゲームのキャラクターを仮想オブジェクトとしてもよい。

上記各実施形態において、例えば、センサ情報取得部７０、３Ｄ画像取得部７１、認識部７２、処理部７３、表示制御部７４、操作認識部８０、選択処理部８５、変更処理部８６といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。

各種のプロセッサには、ＣＰＵ、プログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、専用電気回路等が含まれる。ＣＰＵは、周知のとおりソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサである。ＰＬＤは、ＦＰＧＡ(Field Programmable Gate Array) 等の、製造後に回路構成を変更可能なプロセッサである。専用電気回路は、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

上記記載から、以下の付記項１に記載のヘッドマウントディスプレイの制御装置を把握することができる。
［付記項１］
ユーザの頭部に装着され、仮想空間を前記ユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置において、
三次元の仮想オブジェクトを前記仮想空間に表示させる表示制御プロセッサと、
前記仮想オブジェクトに対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識プロセッサと、
親指以外の少なくとも１本の指を親指に向けて押し下げてから押し上げる動作を２回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記仮想オブジェクトに関する複数の選択肢のうちの１つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する前記選択肢をサイクリックに切り替える選択処理プロセッサと、
手首、肘、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理プロセッサで選択された前記１つの選択肢に付随する、前記仮想オブジェクトの表示態様を変更する変更処理を行う変更処理プロセッサとを備えるヘッドマウントディスプレイの制御装置。

本発明は、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採り得ることはもちろんである。また、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。

１０、１１０、１２０ 画像表示システム
１１、１１１、１２１ ヘッドマウントディスプレイ（ＨＭＤ）
１２、１１２、１２２ 制御装置
１３ 医療施設
１４ カンファレンス室
１５ ユーザ
１７ ネットワーク
１８ コンピュータ室
１９ 画像蓄積サーバ
２５ 本体部
２６ 装着部
２７ 保護枠
２８ スクリーン
２９ センサ部
３０ 制御部
３１ 鼻当て
３２ 内側リング
３３ 外側リング
３４ スピーカー
３６ テーブル
３７ 手
３８ 指
４０ 三次元ボリュームレンダリング画像（３Ｄ画像）
４１ カーソル
４５ ＣＴスキャン画像
４６ 皮膚
４７ 皮下組織
４８ 筋組織
４９ 骨
５０ 内臓
５０Ａ 肝臓
５０Ｂ 胃
５０Ｃ 脾臓
５１ 病変
５５ ストレージデバイス
５６ メモリ
５７ ＣＰＵ
５８ データバス
６５ 作動プログラム
６６、６６Ａ〜６６Ｆ 第１対応情報
６７ 第２対応情報
７０ センサ情報取得部
７１ ３Ｄ画像取得部
７２ 認識部
７３ 処理部
７４ 表示制御部
８０ 操作認識部
８５ 選択処理部
８６ 変更処理部
８７ 対象領域
９０ アジャストモード表示バー（メニューバー）
９０Ａ〜９０Ｃ アイコン
９１ オブザーブモード表示バー
９２ 枠
９５ 構造物リスト（メニューバー）
９６ カラーバー
９７ アノテーション
９８ 透過率表示バー
１０３ 終了ボタン
１０４ 読込ボタン
１０５ リセットボタン
ＡＲＳ 拡張現実空間
ＲＳ 現実空間
ＶＳ 仮想空間
ＳＴ１００〜ＳＴ１３０、ＳＴ５００〜ＳＴ５９０ ステップ

Claims (11)

1. ユーザの頭部に装着され、仮想空間を前記ユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置において、
   複数の構造物を有する三次元の仮想オブジェクトを前記仮想空間に表示させる表示制御部と、
   前記仮想オブジェクトの表示態様を変更する第１モードと、前記仮想オブジェクトが有する前記構造物の表示態様を変更する第２モードとを切り替えるモード切替処理部と、
   前記仮想オブジェクトおよび前記仮想オブジェクトが有する前記構造物に対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識部と、
   親指以外の少なくとも１本の指を親指に向けて押し下げてから押し上げる動作を２回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記第１モードにおいては、前記仮想オブジェクトの表示態様に関する複数の選択肢のうちの１つの選択肢を選択し、前記第２モードにおいては、前記複数の構造物を選択肢とする複数の選択肢のうちの１つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する選択肢を前記第１モードまたは前記第２モードごとにサイクリックに切り替える選択処理部と、
   手首、肘、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理部で選択された前記１つの選択肢に付随する、表示態様の変更処理を行う変更処理部とを備えるヘッドマウントディスプレイの制御装置。
2. 前記表示制御部は、前記複数の選択肢を順番に並べたメニューバーを前記仮想空間に表示し、
   前記メニューバーにおいて、前記選択処理部で選択された前記１つの選択肢をフォーカス表示する請求項１に記載のヘッドマウントディスプレイの制御装置。
3. 前記表示制御部は、前記ダブルタップ操作が前記ジェスチャー操作として認識された場合にのみ前記メニューバーを表示する請求項２に記載のヘッドマウントディスプレイの制御装置。
4. 前記表示制御部は、前記ユーザの視点位置に前記メニューバーを表示する請求項３に記載のヘッドマウントディスプレイの制御装置。
5. 前記仮想オブジェクトの表示態様に関する複数の選択肢は、前記変更処理の種類である、前記仮想オブジェクトの表示位置、表示サイズ、および表示向きである請求項１ないし４のいずれか１項に記載のヘッドマウントディスプレイの制御装置。
6. 前記変更処理部は、前記複数の構造物のうちの前記選択処理部で選択された１つの構造物の透過率を変更する透過率変更処理を前記変更処理として行う請求項１ないし５に記載のヘッドマウントディスプレイの制御装置。
7. 前記仮想オブジェクトは、人体の三次元ボリュームレンダリング画像である請求項１ないし６のいずれか１項に記載のヘッドマウントディスプレイの制御装置。
8. 前記スライド操作は、２本の指の指先を接触させた状態で手を移動させるタップアンドホールド操作である請求項１ないし７のいずれか１項に記載のヘッドマウントディスプレイの制御装置。
9. ユーザの頭部に装着され、仮想空間を前記ユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置の作動方法において、
   複数の構造物を有する三次元の仮想オブジェクトを前記仮想空間に表示させる表示制御ステップと、
   前記仮想オブジェクトの表示態様を変更する第１モードと、前記仮想オブジェクトが有する前記構造物の表示態様を変更する第２モードとを切り替えるモード切替処理ステップと、
   前記仮想オブジェクトおよび前記仮想オブジェクトが有する前記構造物に対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識ステップと、
   親指以外の少なくとも１本の指を親指に向けて押し下げてから押し上げる動作を２回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記第１モードにおいては、前記仮想オブジェクトの表示態様に関する複数の選択肢のうちの１つの選択肢を選択し、前記第２モードにおいては、前記複数の構造物を選択肢とする複数の選択肢のうちの１つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する選択肢を前記第１モードまたは前記第２モードごとにサイクリックに切り替える選択処理ステップと、
   手首、肘、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理ステップで選択された前記１つの選択肢に付随する、表示態様の変更処理を行う変更処理ステップとを備えるヘッドマウントディスプレイの制御装置の作動方法。
10. ユーザの頭部に装着され、仮想空間を前記ユーザに認識させるヘッドマウントディスプレイの動作を制御するヘッドマウントディスプレイの制御装置の作動プログラムにおいて、
    複数の構造物を有する三次元の仮想オブジェクトを前記仮想空間に表示させる表示制御機能と、
    前記仮想オブジェクトの表示態様を変更する第１モードと、前記仮想オブジェクトが有する前記構造物の表示態様を変更する第２モードとを切り替えるモード切替処理機能と、
    前記仮想オブジェクトおよび前記仮想オブジェクトが有する前記構造物に対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識機能と、
    親指以外の少なくとも１本の指を親指に向けて押し下げてから押し上げる動作を２回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記第１モードにおいては、前記仮想オブジェクトの表示態様に関する複数の選択肢のうちの１つの選択肢を選択し、前記第２モードにおいては、前記複数の構造物を選択肢とする複数の選択肢のうちの１つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する選択肢を前記第１モードまたは前記第２モードごとにサイクリックに切り替える選択処理機能と、
    手首、肘、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理機能で選択された前記１つの選択肢に付随する、表示態様の変更処理を行う変更処理機能とを、コンピュータに実行させるヘッドマウントディスプレイの制御装置の作動プログラム。
11. ユーザの頭部に装着されるヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの動作を制御する制御装置とを備え、前記ヘッドマウントディスプレイを通じて仮想空間を前記ユーザに認識させる画像表示システムにおいて、
    複数の構造物を有する三次元の仮想オブジェクトを前記仮想空間に表示させる表示制御部と、
    前記仮想オブジェクトの表示態様を変更する第１モードと、前記仮想オブジェクトが有する前記構造物の表示態様を変更する第２モードとを切り替えるモード切替処理部と、
    前記仮想オブジェクトおよび前記仮想オブジェクトが有する前記構造物に対する前記ユーザの手を用いたジェスチャー操作を認識する操作認識部と、
    親指以外の少なくとも１本の指を親指に向けて押し下げてから押し上げる動作を２回連続して行うダブルタップ操作が前記ジェスチャー操作として認識された場合、前記第１モードにおいては、前記仮想オブジェクトの表示態様に関する複数の選択肢のうちの１つの選択肢を選択し、前記第２モードにおいては、前記複数の構造物を選択肢とする複数の選択肢のうちの１つの選択肢を選択し、前記ダブルタップ操作が認識される度に、選択する選択肢を前記第１モードまたは前記第２モードごとにサイクリックに切り替える選択処理部と、
    手首、肘、肩のいずれかを支点として手を移動させるスライド操作が前記ジェスチャー操作として認識された場合、前記選択処理部で選択された前記１つの選択肢に付随する、表示態様の変更処理を行う変更処理部とを備える画像表示システム。

Images