JP7172999B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本技術は、振動の強さ等を制御する技術に関する。

近年においては、一般的に、ゲームのコントローラには偏心モータなどの振動部が搭載されており、コントローラは、所定のタイミングで振動させるように構成されている（例えば、下記特許文献１参照）。

例えば、ゲーム内の映像において、味方のキャラクターが敵からの攻撃を受けたような場合に、このタイミングに合わせてコントローラが振動される。ゲーム内の映像に合わせてコントローラが振動されることで、映像だけ流す場合に比べて、ユーザ体験を向上させることができる。

特開２００９－０３７５８２号公報

ゲームの音は、スピーカや、ヘッドフォンなどの音出力部から出力されるが、音の強さは、音出力部の種類毎にそれぞれ異なる。一方、コントローラの振動の強さは、音出力部の種類に関係なく、同じとされている。この場合、ユーザ体験が低減してしまうといった問題がある。

以上のような事情に鑑み、本技術の目的は、音出力部の種類毎に、振動の強さを適切に設定することで、ユーザ体験を向上させることができる技術を提供することにある。

上記目的を達成するため、本技術に係る情報処理装置は、制御部を具備する。前記制御部は、音を出力する音出力部の種類を判定し、判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させる。

これにより、音出力部の種類毎に、振動の強さを適切に設定することができ、結果として、ユーザ体験を向上させることができる。

上記情報処理装置において、前記制御部は、前記音出力部から出力される音の強さに応じて、前記振動部の振動の強さを変化させてもよい。この場合、前記制御部は、前記音の強さが強くなるほど、前記振動の強さが強くなるように、又は、前記音の強さが弱くなるほど、前記振動の強さが弱くなるように、前記振動の強さを変化させてもよい。あるいは、制御部は、前記音の強さが強くなるほど、前記振動の強さが弱くなるように、又は、前記音の強さが弱くなるほど、前記振動の強さが強くなるように、前記振動の強さを変化させてもよい。

上記情報処理装置において、前記制御部は、前記振動部の振動の強さに応じて、前記音出力部から出力される音の強さを変化させてもよい。

これにより、振動の強さに応じて、音の強さを適切に変化させることができる。

上記情報処理装置において、前記制御部は、変化された前記振動の強さに応じて、前記音出力部から出力される音の強さを変化させてもよい。

上記情報処理装置において、前記制御部は、変化された前記振動の強さが振動の最大値に達したとき、前記音の強さを変化させてもよい。

これにより、ユーザが感じる振動の強さを疑似的に強くすることができる。

上記情報処理装置において、前記制御部は、環境音における音の強さに応じて、前記振動部の振動の強さを変化させてもよい。

これにより、環境音の強さに応じて、振動の強さを適切に変化させることができる。

上記情報処理装置において、前記制御部は、環境音における音の強さに応じて、前記音出力部から出力される音の強さを変化させてもよい。

これにより、環境音の強さに応じて、音の強さを適切に変化させることができる。

上記情報処理装置において、前記制御部は、前記振動部の振動に応じて、映像を変化させてもよい。

これにより、振動に応じて、映像を適切に変化させることができる。

上記情報処理装置において、前記制御部は、前記振動部の振動に応じて、前記映像内におけるオブジェクトの大きさ又は前記オブジェクトのアクションの大きさを変化させてもよい。

上記情報処理装置において、前記制御部は、前記振動部の振動に応じて、映像におけるシーンを変化させてもよい。

これにより、振動に応じて、映像におけるシーンを適切に変化させることができる。

上記情報処理装置において、前記制御部は、映像におけるシーンに応じて、前記振動部の振動を変化させてもよい。

これにより、映像におけるシーンに応じて、振動を適切に変化させることができる。

上記情報処理装置において、ユーザの声を収集するために使用されるマイクロフォンが前記振動部の振動に応じて振動し、前記制御部は、前記マイクロフォンが使用されているか否かに応じて、前記振動の強さを変化させてもよい。

これにより、マイクロフォンが使用されているか否かに応じて、振動の強さを適切に変化させることができる。

上記情報処理装置において、前記制御部は、前記振動部の振動に基づくユーザの身体的変化の情報を取得し、ユーザの身体的変化に応じて、前記振動の強さを変化させるための値を変更してもよい。

これにより、ユーザの身体的変化に応じて、振動の強さを適切に変化させることができる。

上記情報処理装置において、前記制御部は、前記振動部の振動によって発生する振動音の強さを、前記音出力部から出力される音の強さに応じて変化させてもよい。

これにより、音の強さに応じて、振動音の強さを適切に変化させることができる。

上記情報処理装置において、前記振動部は、振動体に設けられ、前記制御部は、ユーザによって前記振動体が保持されている状態の情報を取得し、前記振動体が保持されている状態の情報に応じて、前記振動部の振動の強さを変化させてもよい。

これにより、振動体が保持されている状態に応じて、振動音の強さを適切に変化させることができる。

上記情報処理装置において、前記制御部は、前記音出力部から出力される音の強さの感度又は前記振動部の振動の強さの感度に関連する感度情報を取得し、前記感度情報に応じて、前記振動部の振動の強さを変化させる

これにより、感度に応じて、振動の強さを適切に変化させることができる。

本技術に係る情報処理方法は、音を出力する音出力部の種類を判定し、判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させる。

本技術に係るプログラムは、音を出力する音出力部の種類を判定するステップと、判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させるステップとをコンピュータに実行させる。

以上のように、本技術によれば、音出力部の種類毎に、振動の強さを適切に設定することで、ユーザ体験を向上させることができる技術を提供することができる。

本技術の第１実施形態に係るゲームシステムを示す図である。 ゲームシステムの構成を示すブロック図である。 コントローラの制御部の処理を示すフローチャートである。 ユーザの位置での環境音における音の強さを判定するときの処理を示すフローチャートである。 第２実施形態における処理を示すフローチャートである。 第３実施形態における処理を示すフローチャートである。 映像が変化されたときの一例を示す図である。 映像が変化されたときの一例を示す図である。 第４実施形態における処理を示すフローチャートである。 映像における次のシーンとして振動の頻度が少ないシーンが選択されたときの一例を示す図である 第５実施形態に係るチャット用マイクロフォンを示す図である。 第６実施形態における処理を示すフローチャートである。 振動信号の一例を示す図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

≪第１実施形態≫
＜全体構成及び各部の構成＞

図１は、本技術の第１実施形態に係るゲームシステム１００を示す図である。図２は、ゲームシステム１００の構成を示すブロック図である。

これらの図に示すように、ゲームシステム１００は、出力装置１０と、ゲーム装置５０（情報処理装置）とを備えている。ゲーム装置５０は、ゲーム装置本体３０と、コントローラ４０とを含む。

出力装置１０は、例えば、チューナー機能を有するテレビジョン装置である。なお、この出力装置１０は、チューナー機能を有しないモニタであってもよい。ゲーム装置５０は、ゲーム専用の機器であってもよいし、ＰＣ（Personal Computer）等であってもよい。

出力装置１０は、制御部１１と、記憶部１２と、通信部１３と、表示部１４と、スピーカ１５（音出力部）とを備えている。

出力装置１０の制御部１１は、ＣＰＵ（Central Processing Unit）等により構成される。出力装置１０の制御部１１は、記憶部１２に記憶された各種のプログラムに基づき種々の演算を実行し、出力装置１０の各部を統括的に制御する。

出力装置１０の記憶部１２は、出力装置１０の制御部１１の処理に必要な各種のプログラムや、各種のデータが記憶される不揮発性のメモリと、出力装置１０の制御部１１の作業領域として用いられる揮発性のメモリとを含む。

表示部１４は、例えば、液晶ディスプレイ、あるいは、ＥＬディスプレイ（ＥＬ：Electro Luminescence）等により構成される。表示部１４は、ゲーム装置本体２０から送信された映像信号に応じた映像を画面上に表示させる。スピーカ１５は、ゲーム装置本体２０から送信された音信号に応じたゲームの音を出力する。

図に示す例では、表示部１４とスピーカ１５とが一体である場合が示されているが、表示部１４と、スピーカ１５とが別体に構成されていてもよい。

出力装置１０の通信部１３は、ゲーム装置本体２０との間で、有線又は無線により通信可能に構成されている。出力装置１０の通信部１３は、ゲーム装置本体２０から送信されたゲームの映像信号及び音信号を受信する。

また、出力装置１０の通信部１３は、ヘッドフォン４０（音出力部：イヤホンを含む）との間で有線又は無線により通信可能に構成されている。ヘッドフォン４０は、出力装置１０の制御に応じて、ゲーム装置本体２０から送信された音信号に応じたゲームの音を出力する。

出力装置１０は、スピーカ１５から音を出力させるとき、ヘッドフォン４０からは、音は出力させないように構成されており、逆に、出力装置１０は、ヘッドフォン４０から音を出力させるとき、スピーカ１５からは音を出力させないように構成されている。

ゲーム装置本体２０は、制御部２１と、記憶部２２と、通信部２３と、光ディスクドライブ２４とを備えている。

光ディスクドライブ２４は、ゲームプログラムが記録された光ディスク（ＤＶＤ（ＤＶＤ：digital versatile Disc）、ｂｌｕ－ｒａｙディスク等）からゲームプログラムを読み取って、制御部２１へと出力する。ゲーム装置本体２０は、光ディスクの導入／排出機構（不図示）を有しており、光ディスクは、この導入排出機構によって、ゲーム装置本体２０内に導入されたり、ゲーム装置本体２０から排出されたりする。なお、ゲームプログラムは、ネットワーク上のサーバ装置からダウンロードされてもよい。

ゲーム装置本体２０の制御部２１は、ＣＰＵ（Central Processing Unit）等により構成される。ゲーム装置本体２０の制御部２１は、記憶部２２に記憶された各種のプログラム（ゲームプログラムを含む）に基づき種々の演算を実行し、ゲーム装置本体２０の各部を統括的に制御する。

ゲーム装置本体２０の記憶部２２は、ゲーム装置本体２０の制御部２１の処理に必要な各種のプログラム（ゲームプログラムを含む）や、各種のデータが記憶される不揮発性のメモリと、ゲーム装置本体２０の制御部２１の作業領域として用いられる揮発性のメモリとを含む。

ゲーム装置本体２０の通信部２３は、コントローラ３０及び出力装置１０との間で、有線又は無線により通信可能に構成されている。なお、ゲーム装置本体２０の通信部２３は、ネットワーク上のサーバ装置（不図示）と通信可能に構成されていてもよい。

ゲーム装置本体２０の通信部２３は、ゲーム装置本体２０の制御部３１の制御に基づき、ゲームにおける映像信号及び音信号を出力装置１０へと送信する。

また、ゲーム装置本体２０の通信部２３は、コントローラ３０から送信された操作信号を受信し、ゲーム装置本体２０の制御部２１へと出力する。ゲーム装置本体２０の制御部２１は、操作信号に応じて、操作の内容をゲームに反映させる。

コントローラ３０は、制御部３１と、記憶部３２と、操作部３３と、通信部３４と、振動部３５と、マイクロフォン３６とを含む。

コントローラ３０の制御部３１は、ＣＰＵ（Central Processing Unit）等により構成される。コントローラ３０の制御部３１は、記憶部３２に記憶された各種のプログラムに基づき種々の演算を実行し、コントローラ３０の各部を統括的に制御する。

コントローラ３０の記憶部３２は、コントローラ３０の制御部３１の処理に必要な各種のプログラムや、各種のデータが記憶される不揮発性のメモリと、コントローラ３０の制御部３１の作業領域として用いられる揮発性のメモリとを含む。

操作部３３は、十字キー、ジョイスティック等の方向入力キーや、押しボタン等を含む。操作部３３は、ユーザによる操作に応じて操作信号を生成し、コントローラ３０の制御部３１へと出力する。

コントローラ３０の通信部３４は、ゲーム装置本体２０との間で、有線又は無線により通信可能に構成されている。コントローラ３０の通信部３４は、コントローラ３０の制御部３１の制御に基づき、操作部３３により生成された操作信号をゲーム装置本体２０に送信する。

振動部３５は、偏心モータや、ボイスコイルモータ（ＶＣＭ：Voice Coil Motor）等により構成される。振動部３５は、入力電圧に基づいて、振動の強さ（振動の大きさ及び振動の周波数を含む）を変化させることが可能に構成されている。

マイクロフォン３６は、ユーザの周囲の環境音を集音するために設けられおり、環境音を電気信号に変換して制御部３１へと出力する。ここで、環境音とは、ゲームの映像に関連してスピーカ１５や、ヘッドフォン４０から出力されるゲームの音以外の音である。

この環境音には、空調機、扇風機、洗濯機、掃除機、電気ストーブ、テレビジョン装置（出力装置１０がテレビジョン装置である場合には、別のテレビジョン装置）、オーディオ機器などの各種の電子機器から出力される音が含まれる。また、環境音には、水道の蛇口から流れる水の音、ガスを使用したときに発生する音、道路を走る自動車の音等のインフラ設備に関する音や、人の話し声、動物の鳴き声などの生物に関する音が含まれる。また、環境音には、救急車、消防車、パトカーのサイレン音や、赤ちゃんの泣き声、犬が吠える音等の突発的な音が含まれる。

＜動作説明＞
次に、ゲームシステム１００における処理について説明する。この処理の説明では、特に、コントローラ３０の制御部３１の処理を中心に説明する。図３は、コントローラ３０の制御部３１の処理を示すフローチャートである。

まず、コントローラ３０の制御部３１は、音出力部の種類を判定する（ステップ１０１）。すなわち、コントローラ３０の制御部３１は、現在においてゲームの音を出力している音出力部が、スピーカ１５及びヘッドフォン４０のうちどちらであるかを判定する。

なお、音出力部の種類を判定するとき、コントローラ３０の制御部３１は、音出力部の種類を示す識別情報の取得要求を、ゲーム装置本体２０を介して出力装置１０へ送信する。そして、コントローラ３０の制御部３１は、出力装置１０から送信された識別情報に基づいて、音出力部の種類を判定する。

次に、コントローラ３０の制御部３１は、音出力部の種類に応じた補正係数ｋ１をコントローラ３０の記憶部３２から取得する（ステップ１０２）。ここで、補正係数ｋ１は、音出力部の種類に応じて、振動部３５の振動の強さを補正するため（変化させるため）に用いられる値（乗算に用いられる値）である。補正係数ｋ１は、音出力部の種類に応じて予め決定されており、この補正係数ｋ１は、音出力部の種類と関連付けられてコントローラ３０の記憶部３２に予め記憶されている。なお、本実施形態において補正係数ｋ１は、正の数である。

ここで、現在の音出力部がスピーカ１５であり、スピーカ１５からゲームの音が出力される場合と、現在の音出力部がヘッドフォン４０であり、ヘッドフォン４０からゲームの音が出力される場合とで、ユーザが感じる音の強さ（音圧及び音の周波数を含む）が異なる。なお、出力装置１０に設定されている音量（ボリューム値。例えば、１００段階）の大きさは同じであるとする。この場合、一般的には、ユーザは、スピーカ１５から出力されるゲームの音の方が、ヘッドフォン４０から出力されるゲームの音よりも強いと感じることが多い。

補正係数ｋ１の値は、音出力部の種類毎にユーザが感じるゲームの音の強さと関係がある。本実施形態では、音量が同じ場合において、ユーザがゲームの音を強く感じる音出力部ほど、補正係数ｋ１に、大きな値が設定される。

本実施形態では、音量が同じ場合に、ユーザは、ヘッドフォン４０から出力されるゲームの音の方が、スピーカ１５から出力されるゲームよりも強いと感じるので、ヘッドフォン４０に対する補正係数ｋ１は、スピーカ１５に対する補正係数ｋ１よりも大きく設定される。例えば、スピーカ１５に対する補正係数ｋ１は、１であり、ヘッドフォン４０に対する補正係数ｋ１は、１．２である。

ここで、本実施形態では、音出力部がスピーカ１５であるか、ヘッドフォン４０であるかが単純に判断されている。つまり、単純な二択である。一方、スピーカ１５には様々な種類があり、ヘッドフォン４０にも様々な種類がある。従って、ユーザが感じる音の強さがどの程度であるかがスピーカ１５、ヘッドフォン４０の種類毎に考慮され、スピーカ１５、ヘッドフォン４０の種類毎に、補正係数ｋ１が用意されていてもよい。

ユーザが感じるゲームの音の強さがどの程度であるかをスピーカ１５、ヘッドフォン４０の種類毎に判断するために、コントローラ３０の制御部３１は、スピーカ１５、ヘッドフォン４０の抵抗値の情報を取得してもよい。

あるいは、ゲームシステム１００において、スピーカ１５、ヘッドフォン４０の種類、形状をユーザに選択させる処理が実行されてもよい。この場合、例えば、スピーカ１５、ヘッドフォン４０の種類、形状を選択させるための画像が出力装置１０の表示部１４上に表示される。ユーザは、コントローラ３０の操作部３３を操作することで、スピーカ１５、ヘッドフォン４０の種類、形状を選択することができる。

コントローラ３０の制御部３１は、補正係数ｋ１を取得した後、マイクロフォン３６から取得された音の情報に基づいて、環境音における音の強さ（音圧及び音の周波数を含む）を判定する（ステップ１０３）。環境音における音の強さは、現在時刻の所定時間前（例えば、数秒程度）から現在時刻までの音の強さの平均値であってもよいし、現在時刻におけるその瞬間の音の強さであってもよい。

ここで、スピーカ１５からゲームの音が出力されている場合、マイクロフォン３６から取得される音には、環境音の他に、スピーカ１５から出力されるゲームの音が含まれる。従って、典型的には、コントローラ３０の制御部３１は、ゲームの音と、環境音とが混ざった状態で所得された音から、環境音を取り出し（例えば、フィルタを掛けて環境音を取り出す）、環境音における音の強さを判定する。

環境音における音の強さを判定すると、次に、コントローラ３０の制御部３１は、環境音における音の強さに応じた補正係数ｋ２をコントローラ３０の記憶部３２から取得する（ステップ１０４）。

ここで、補正係数ｋ２は、振動部３５の振動の強さを、環境音における音の強さに応じて補正するため（変化させるため）に用いられる値（乗算に用いられる値）である。補正係数ｋ２は、環境音における音の強さに応じて予め決定されており、この補正係数ｋ２は、環境音における音の強さと関連付けられてコントローラ３０の記憶部３２に予め記憶されている。なお、本実施形態において補正係数ｋ２は、正の数である。

ここで、ゲームの音の強さが同じでも、環境音における音の強さが強い場合と、環境音における音の強さが弱い場合とでは、ユーザが感じるゲームの音の強さは異なる。この場合、一般的に、ユーザは、環境音における音の強さが弱い（静かな）方が、環境音における音の強さが強い（うるさい）場合よりも、ゲームの音の強さを強く感じる。

補正係数ｋ２の値は、環境音における音の強さに応じてユーザが感じるゲームの音の強さと関係がある。具体的には、環境音における音の強さが弱くなる（静かになる）ほど、つまり、ユーザがゲームの音を強く感じるほど、補正係数ｋ２に、大きな値が設定される。例えば、環境音が０（あるいは、略０）である場合、補正係数ｋ２は、１であり、環境音が強くなるに従って、補正係数ｋ２は、０．９、０．８・・の値が設定される（なお、補正係数ｋ２には、下限値があり０にはならない）。

また、環境音における音の強さが同じであっても、スピーカ１５からゲームの音が出力されている場合と、ヘッドフォン４０からゲームの音が出力されている場合とでは、ユーザが感じる環境音の強さが異なる。つまり、環境音における音の強さが同じ場合、ユーザは、ヘッドフォン４０を装着してヘッドフォン４０からゲームの音を聞いている場合の方が、スピーカ１５から出力されているゲームの音を聞いている場合よりも環境音における音の強さを弱いと感じる。

従って、補正係数ｋ２の値は、スピーカ１５からゲームの音が出力されている場合と、ヘッドフォン４０からゲームの音が出力されている場合とで異なっていてもよい。この場合、環境音における音の強さが同じ場合に、環境音における音の強さを弱く感じる音出力部ほど、つまり、ユーザがゲームの音を強く感じる音出力部ほど、補正係数ｋ２に大きな値が設定される。この場合、例えば、ヘッドフォン４０から音が出力されている場合の補正係数ｋ２は、スピーカ１５から音が出力される場合の補正係数ｋ２よりも大きく設定される。

補正係数ｋ２を取得すると、次に、コントローラ３０の制御部３１は、現在のゲームの音の強さを判定する（ステップ１０５）。

この場合、典型的には、コントローラ３０の制御部３１は、現在においてどの程度の強さで音出力部からゲームの音を出力したかの情報の取得要求を、ゲーム装置本体２０を介して、出力装置１０へ送信する。コントローラ３０の制御部３１は、出力装置１０から受信した上記情報に基づいて、現在のゲームの音の強さを判定する。

なお、ゲームの音がスピーカ１５から出力されている場合、マイクロフォン３６によって取得されたゲームの音の情報に基づいて、現在のゲームの音の強さが判定されてもよい。また、出力装置１０から取得された情報と、マイクロフォン３６から取得された情報の両方が用いられて現在のゲームの音の強さが判定されてもよい。

現在のゲームの音の強さを判定すると、制御部３１は、現在のゲームの音の強さに基づいて、振動部３５の振動の強さを算出する（ステップ１０６）。本実施形態では、振動部３５の振動の強さは、現在のゲームの音の強さが強くなるほど、その強さが強くなるように値が設定されている。例えば、現在のゲームの音の強さと、求められる振動の強さとの比ｒは、常に一定とされる。この比ｒは、例えば、ゲームの設計者により、ゲーム毎、あるいはプラットフォーム毎に設定されてもよいし、ユーザにより設定されてもよい。

振動の強さを算出すると、コントローラ３０の制御部３１は、振動の強さの値に、補正係数ｋ１と、補正係数ｋ２とを乗算して、補正された振動の強さを算出する（ステップ１０７）。

ここで、上述のように、補正係数ｋ１は、ユーザがゲームの音を強く感じる音出力部ほど、大きな値が設定されている。従って、本実施形態では、振動の強さの値に、補正係数ｋ１が乗算されることで、ユーザがゲームの音を強く感じる音出力部ほど、振動の強さが強くなるように、振動の強さが補正（変化）される。

また、上述のように、補正係数ｋ２は、環境音における音の強さが弱くなるほど、つまり、ユーザがゲームの音を強く感じるほど、大きな値が設定されている。従って、振動の強さの値に、補正係数ｋ２が乗算されることで、環境音における音の強さが弱くなるほど、つまり、ユーザがゲームの音を強く感じるほど、振動の強さが強くなるように、振動の強さが補正（変化）される。

なお、ここでの説明から理解されるように、補正係数ｋ１及び補正係数ｋ２は、ユーザが感じるゲームの音の強さが強くなるほど、振動部３５の振動が強くなるように振動の強さ補正している点で共通している。

コントローラ３０の制御部３１は、補正された振動の強さを算出すると、現在、振動部３５を振動させるタイミングであるかどうかを判定する（ステップ１０８）。振動部３５を振動させるかどうかの指示は、ゲーム装置本体２０から送信され、コントローラ３０の制御部３１は、この指示に応じて、現在、振動部３５を振動させるタイミングであるかどうかを判定する。

現在、振動部３５を振動させるタイミングである場合（ステップ１０８のＹＥＳ）、コントローラ３０の制御部３１は、補正された振動の強さで、振動部３５を振動させ（ステップ１０９）、次のステップ１１０へ進む。振動部３５が振動すると、コントローラ３０全体が、振動部３５の振動に応じた強さで振動され、この振動がユーザの手に伝わる。なお、ここでの例では、振動部３５を振動させる全てのタイミングで、振動の強さが変化されているが、一部のタイミングで振動の強さが変化されてもよい。

現在、振動部３５を振動させるタイミングではない場合（ステップ１０８のＮＯ）、コントローラ３０の制御部３１は、振動部３５を振動させずに、次のステップ１１０へ進む。

ステップ１１０では、コントローラ３０の制御部３１は、ゲームの音を出力する音出力部の種類が変更されたかどうかを判定する。なお、音出力部の種類が変更された場合、音出力部の種類が変更されたことを示す信号が、出力装置１０からゲーム装置本体２０を介してコントローラ３０に送信される。

音出力部の種類が変更された場合（ステップ１１０のＹＥＳ）、制御部３１は、ステップ１０１へ戻り、音出力部の種類を判定する。一方、音出力部の種類が変更されていない場合（ステップ１１０のＮＯ）、制御部３１は、ステップ１０３へ戻り、環境音における音の強さを判定する。

＜作用等＞
ここで、ゲームの音の強さに対して、コントローラ３０の振動の強さが弱いと、ユーザは、コントローラ３０の振動がゲームの音に埋もれてしまい、振動を実際の振動よりも弱く感じてしまう場合がある。また、ゲームの音の強さに対して、コントローラ３０の振動の強さが弱いと、ユーザは、ゲームの音とコントローラ３０の振動とが分離しているように感じてしまう場合がある。

一方、本実施形態では、ゲームの音の強さとの関係で、振動部３５の振動の強さ（コントローラ３０の振動の強さ）が適切に設定されている。具体的には、ゲームにおける音の強さが強くなるほど、振動部３５の振動の強さが強くなるように、振動部３５の振動の強さが変化される。

これにより、ゲームの音の強さに対して、コントローラ３０の振動の強さが弱いとユーザが感じてしまうことを防止することができる。従って、ユーザが、コントローラ３０の振動がゲームの音に埋もれてしまい、振動を感じにくいと感じてしまったり、ゲームの音とコントローラ３０の振動とが分離しているように感じてしまったりすることを防止することができる。さらに、ゲームの音の強さが強くなるほど、振動部３５の振動の強さを強くすることで、ゲームの音とコントローラ３０の振動とが協調しているとユーザに感じさせることもできる。このように、本実施形態では、ユーザ体験を向上させることができる。

また、本実施形態では、音出力部の種類が判定され、判定された音出力部の種類に応じて、振動部３５の振動の強さが補正（変化）される。これにより、音出力部の種類毎に、振動の強さを適切に設定することができ、結果として、ユーザ体験を向上させることができる。

特に、本実施形態では、ユーザがゲームの音を強く感じる音出力部ほど、振動部３５の振動の強さが強くなるように、振動部３５の振動の強さが補正（変化）される。これにより、ユーザが実際に感じているゲームの音の強さに合わせて、振動部３５の振動の強さを適切に変化させることができ、さらに、ユーザ体験を向上させることができる。

また、本実施形態では、環境音における音の強さが判定され、判定された環境音における音の強さに応じて、振動部３５の振動の強さが補正（変化）される。これにより、環境音における音の強さに応じて、振動の強さを適切に設定することができ、結果として、ユーザ体験を向上させることができる。

特に、本実施形態では、環境音における音の強さが弱くなるほど、つまり、ユーザがゲームの音を強く感じるほど、振動の強さが強くなるように、振動の強さが補正（変化）される。これにより、ユーザが実際に感じているゲームの音の強さに合わせて、振動部３５の振動の強さを適切に変化させることができ、さらに、ユーザ体験を向上させることができる。

＜第１実施形態変形例＞
以上の説明では、ゲームの音の強さが強くなるほど、振動部３５の振動が強くなる（換言すると、ゲームの音の強さが弱くなるほど、振動部３５の振動の強さが弱くなる）場合について説明した。一方、ゲームの音の強さが強くなるほど、振動部３５の振動の強さが弱くなるように（換言すると、ゲームの音の強さが弱くなるほど、振動部３５の振動の強さが強くなるように）、振動の強さが変化されてもよい。

ここで、ゲームの音が出力されるタイミングと、振動部３５が振動するタイミングとが一致しているような場合、例えば、足音に合わせて、振動部３５が振動するような場合、実際の振動の強さよりも振動を強く感じる場合がある。例えば、このような場合に、ゲームの音の強さが強くなるほど、振動部３５の振動が弱くなるように、振動の強さが変化されてもよい。

例えば、足音に合わせて、振動部が振動する場合に、足音における音の強さが弱い場合よりも、足音における音の強さが強い場合の方が、振動部３５における振動の強さが弱くされる。この場合、音及び振動のタイミングが一致している場合と、音及び振動のタイミングが一致してしない場合とで、ユーザが感じる振動の強さが異なってしまい、ユーザが違和感を覚えてしまうことを防止することができる。

なお、これについては、音出力部の種類毎に応じて、振動部３５の振動の強さが補正（変化）される場合や、環境音における音の強さに応じて、振動部３５の振動の強さが補正（変化）される場合についても同様のことが言える。

つまり、ゲームの音が出力されるタイミングと、振動部３５が振動するタイミングとが一致しているような場合、ユーザがゲームの音を強く感じる音出力部ほど、振動の強さが弱くなるように、振動の強さが補正（変化）されてもよい。

また、ゲームの音が出力されるタイミングと、振動部３５が振動するタイミングとが一致しているような場合、環境音における音の強さが強くなるほど、つまり、ユーザがゲームの音を強く感じるほど、振動の強さが弱くなるように、振動の強さが補正（変化）されてもよい。

ここで、ゲームの音の強さに基づいて、振動部における振動の強さを変化させる方法について具体的に説明する。なお、本明細書中において、「音の強さ」と言った場合には、音出力部から出力される音の強さ及びユーザが感じる音の強さの両方が含まれる。また、「振動の強さ」と言った場合には、振動部における振動の強さ及びユーザが感じる振動の強さの両方が含まれる。

ユーザが実際に感じる音の強さは、音圧と、音の周波数と関係がある。また、ユーザが実際に手に感じる振動の強さは、振動の大きさ及び振動の周波数と関係がある。

従って、ゲームの音の強さに応じて、振動部における振動の強さを変化させるための方法としては、大きく分けて以下の４つの方法がある。なお、（１）～（４）の４つの方法のうち、２以上の方法が組み合わされてもよい。

（１）ゲームの音の音圧に応じて、振動部３５の振動の大きさが変化される。（２）ゲームの音の音圧に応じて、振動部３５の振動の周波数が変化される。（３）ゲームの音の周波数に応じて、振動部３５の振動の大きさが変化される。（４）ゲームの音の周波数に応じて、振動部３５の振動の周波数が変化される。

ここで、音の周波数について、人の可聴域は、およそ２０Ｈｚ～２０ｋＨｚであることが知られており、３ｋＨｚ付近に音最大感度点があることがあることが知られている。つまり、音圧が同じ場合、音の周波数が３ｋＨｚの音最大感度点に近づくに従って、ユーザは、音の強さを大きく感じる。従って、（３）、（４）において、ゲームの音の周波数が考慮される場合、この関係が利用される。

また、振動の周波数について、人は、手において、２００Ｈｚ付近に振動最大感度点があることが知られている。つまり、振動の大きさが同じ場合、２００Ｈｚの振動最大感度点に近づくに従って、ユーザは、振動の強さを強く感じる。従って、（２）、（４）において、振動の周波数が考慮される場合、この関係が利用される。なお、手以外の部分については、振動最大感度点は、２００Ｈｚとは異なる値となる場合がある。

なお、（２）及び（４）の場合、典型的には、振動部３５としてボイスコイルモータが用いられる（振動の周波数を制御するのが容易であるため）。一方、（１）及び（３）では、振動部３５としてボイスコイルモータが用いられてもよいし、偏心モータが用いられてもよい。

また、（２）及び（４）の場合、振動部３５の特性を考慮して、最も振動が大きくなる共振点付近の周波数帯を使用して振動部３５を振動させてもよい。

ここで、ユーザによりコントローラ３０（振動体の一例）が保持されている状態（コントローラ３０の姿勢、ユーザがコントローラ３０を把持する力）によって、コントローラ３０の振動の仕方が変わり、ユーザが感じる振動の強さが変わることがある。

このような場合、ユーザによりコントローラ３０が保持されている状態の情報が、加速度センサ、角速度センサ、圧力センサ等の各種のセンサによって検出されてもよい。この場合、コントローラ３０の制御部は、上記情報を各種のセンサから取得し、この情報に応じて、振動部３５の振動の強さを変化させてもよい。

また、ユーザが感じる音の強さ、振動の強さは、年齢差、個人差がある（例えば、モスキート音は若い年齢ほど聞こえやすい）。従って、コントローラ３０の制御部３１は、音出力部から出力される音の強さの感度又は振動部３５の振動の強さの感度に関連する感度情報を取得し、この感度情報に基づいて、振動部３５の振動の強さを変化させてもよい。

感度情報しては、ユーザの年齢の情報、ユーザ毎の音の感じやすさ、振動の感じやすさの情報等が挙げられる。ユーザの年齢の情報は、例えば、ユーザ情報等から取得することができる。また、ユーザ毎のユーザ毎の音の感じやすさ、振動の感じやすさの情報は、例えば、ゲーム毎に、音や振動を発してユーザが音、振動に対してどの程度の感度を有しているかを判断することによって取得することができる。

（環境音）
上述の説明では、環境音を集音するマイクロフォン３６がゲームコントローラ３０に設けられている場合について説明したが、このマイクロフォン３６は、ゲーム装置本体２０や、出力装置１０等の設けられていてもよい。

ここで、マイクロフォン３６により取得される環境音における音の強さは、ユーザの位置（特に、耳の位置）での環境音における音の強さとは異なる場合がある。これは、マイクロフォン３６の位置と、ユーザの位置との間に距離があるためである。特に、マイクロフォン３６がゲーム装置本体２０や、出力装置１０に設けられている場合、ユーザ位置と、マイクロフォン３６との間の距離が遠くなってしまう。このため、マイクロフォン３６により取得される環境音における音の強さと、ユーザの位置での環境音における音の強さとの差が大きくなってしまう場合がある。

従って、マイクロフォン３６により取得される環境音における音の強さと、ユーザの位置での環境音における音の強さとの差が考慮されて、ユーザの位置での環境音における音の強さが判定されてもよい。

図４は、ユーザの位置での環境音における音の強さを判定するときの処理を示すフローチャートである。

コントローラ３０の制御部３１は、まず、マイクロフォン３６で取得された環境音における音の強さの情報に基づいて、マイクロフォン３６の位置での環境音における音の強さを判定する（ステップ２０１）。なお、マイロフォンが、ゲーム装置本体２０や、出力装置１０等に設けられている場合には、コントローラ３０は、例えば、所定時間毎に、マイクロフォン３６で取得された音の情報を、ゲーム装置本体２０、出力装置１０等から受信する。なお、ステップ２０１の処理は、上述のステップ１０３と基本的に同じである。

次に、コントローラ３０の制御部３１は、ユーザの位置と、マクロフォンの位置と、環境音を発している音発生源（空調機、洗濯機等）の位置との空間内における位置関係を判定する（ステップ２０２）。

ユーザの位置は、例えば、ゲーム装置本体２０、出力装置１０等に設けられたカメラ（不図示。典型的には、２つ以上設置される）によって取得された画像に基づいて判断される。このとき、顔検出に基づいて、ユーザの耳の位置が判断されてもよい。

マイクロフォン３６の位置も、例えば、ゲーム装置本体２０、出力装置１０等に設けられたカメラによって取得された画像に基づいて判断される。例えば、ゲーム装置本体２０にマイクロフォン３６が設けられており、出力装置１０にカメラが設けられている場合、カメラによって取得される画像には、ゲーム装置本体２０が写るので、このゲーム装置本体２０の位置がマイクロフォン３６の位置として判断される。

音発生源の位置も、例えば、ゲーム装置本体２０、出力装置１０等に設けられたカメラによって取得された画像に基づいて判断される。この場合、音発生源が画像に写っていれば、音発生源の位置を判断することが可能である。なお、音発生源が、カメラの画角から外れた位置に位置していることも想定される。このような場合には、マイクロフォン３６で取得された音の情報から、音の指向性と音の強さを判断して、マイクフォンの位置に対する音発生源の位置関係を判断してもよい。あるいは、光センサなどから距離を測定することも可能である。

また、ゲーム装置本体２０や、出力装置１０が、空調機や、洗濯機などの他の電子機器とシステム連携されている場合も想定される。従って、このような場合には、システム連携されている他の電子機器が稼働中であることを示す情報が、音発生源の位置を判定するための情報として補助的に使用されてもよい。

コントローラ３０の制御部３１は、３者の空間内における位置関係を判定すると、マイクロフォン３６の位置における環境音における音の強さと、３者の空間内の位置関係とに基づいて、ユーザの位置での環境音における音の強さを判定する（ステップ２０３）。

例えば、マイクロフォン３６の位置と、音発生源との間の距離が、ユーザの位置と、音発生源との間の距離よりも近い場合には、ユーザの位置での環境音における音の強さは、マイクロフォン３６の位置における環境音よりも弱い。逆に、マイクロフォン３６の位置と、音発生源との間の距離が、ユーザの位置と、音発生源との間の距離よりも遠い場合には、ユーザの位置での環境音における音の強さは、マイクロフォン３６の位置における環境音よりも強い。この関係を利用して、コントローラ３０の制御部３１は、マイクロフォン３６により取得された環境音における音の強さに応じて、ユーザの位置での環境音における音の強さを判定する。

なお、ユーザの位置での環境音における音の強さが判定された場合、この環境音における音の強さに応じた補正係数ｋ２が取得され、この補正係数ｋ２によって、振動部３５の振動の強さが補正されてもよい。

ここで、環境音における音の強さに応じて、音出力部から出力されるゲームの音の強さが変化されてもよい。この場合、典型的には、環境音における音の強さが強くなるほど、ゲームの音が強くなるように、ゲームの音の強さが変化される。

この場合、例えば、コントローラ３０の制御部３１は、環境音における音の強さが所定の閾値以上である場合に、環境音における音の強さに応じて、ゲームの音が強くなるように、ゲーム装置本体２０、出力装置１０に指示を出す。これにより、環境音における音の強さが強い（うるさい）場合に、自動的にゲームの音の強さが強くなる。また、ゲームの音の強さが強くなるので、これに応じて、振動部３５の振動の強さも強くなる。

また、環境音の種類が判定され、環境音の種類に応じて、その後にどのような処理が実行されるかが決定されてもよい。この場合、例えば、環境音が空調機の音などの定常的に鳴っている音である場合には、ゲームの音が強くなるように、ゲームの音の強さが変化される。一方、環境音が突発的な音（救急車の音など）である場合、振動が重要であるゲームのシーン（シーンについては、後述の第４実施形態参照）へ移行せずに、振動が重要でないシーンに切り替えて、その突発的な環境音が終わったときに、振動が重要な元のシーンに移行するといった処理が実行されてもよい。

≪第２実施形態≫
次に、本技術の第２実施形態について説明する。第２実施形態では、第１実施形態と異なる点を中心に説明する。

ここで、上述のように、第１実施形態では、ゲームの音の強さが強くなるほど、振動の強さが強くなるように、振動の強さが変化されている。この場合、ゲームの音の強さが強くなると、振動の強さが最大値に達し、それ以上、振動の強さを強くすることができなくなってしまう場合が想定される。

第２実施形態では、このように（変化された）振動の強さが最大値に達したときに、ゲームの音の強さを変化させる処理が実行される（つまり、振動の強さに応じて、音の強さが変化される）。

図５は、第２実施形態における処理を示すフローチャートである。図５におけるステップ３０１～３０８、３１５は、図３におけるステップ１０１～１０８、１１０と同じである。

コントローラ３０の制御部３１は、現在のゲームの音の強さに基づいて算出された振動の強さに補正係数ｋ１及びｋ２を乗算して補正された振動の強さを算出した後、現在、振動部３５を振動させるタイミングかどうかを判定する（ステップ３０８）。

現在、振動部３５を振動させるタイミングである場合（ステップ３０８のＹＥＳ）、コントローラ３０の制御部３１は、補正された振動の強さが、振動部３５の振動の強さの最大値以上であるかどうかを判定する（ステップ３０９）。

補正された振動の強さが、振動部３５の振動の強さの最大値以上である場合（ステップ３０９のＹＥＳ）、コントローラ３０の制御部３１は、ゲーム装置本体２０、出力装置１０に対して、ゲームの音の強さを一時的に弱くするように指示する（ステップ３１０）。なお、弱くされるゲームの音は、ゲーム全体の音であってもよいし、ゲーム全体の音のうち、バックミュージックなどの一部の音であってもよい。なお、バックミュージックなどの一部の音を弱くする場合、この音の強さを０にしてしまってもよい。

音の強さを弱くするように指示を出すと、次に、コントローラ３０の制御部３１は、振動の強さの最大値で、振動部３５を振動させる（ステップ３１１）。

ステップ３０９において、補正された振動の強さが、振動部３５の振動の強さの最大値未満である場合（ステップ３０９のＮＯ）、コントローラ３０の制御部３１は、現在、ゲーム装置本体２０において、ゲームの音の強さが弱くなった状態であるかどうかを判定する（ステップ３１２）。

ゲームの音の強さが弱くなった状態である場合（ステップ３１２のＹＥＳ）、コントローラ３０の制御部３１は、ゲームの音の強さを元の強さに戻すように、ゲーム装置本体２０、出力装置１０に対して指示を出し（ステップ３１３）、次のステップ３１４へ進む。

ステップ３１２において、ゲームの音の強さが弱くなった状態ではない場合（ステップ３１２のＮＯ）、つまり、ゲームの音の強さが元の強さである場合、コントローラ３０の制御部３１は、ステップ３１３を飛ばして、ステップ３１４進む。

ステップ３１４では、コントローラ３０の制御部３１は、補正された振動の強さで、振動部３５を振動させる。

第２実施形態では、振動部３５の振動の強さが最大値に達し、それ以上、振動の強さを強くすることができなくなってしまった場合に、ゲームの音の強さが弱くされる。これにより、ユーザが感じる振動部３５の振動の強さを疑似的に強くすることができる。

上述の説明では、振動部３５の振動の強さが最大値にしたときに、音出力部から出力されるゲームの音の強さが変化される場合について説明した。一方、振動部３５の振動の強さがユーザによって変化されたときに、この振動の強さに応じて、音出力部から出力されるゲームの音の強さが変化されてもよい。

この場合、例えば、振動部３５の振動の強さ（例えば、３段階）をユーザが任意に設定するためのメニュー画面が出力装置１０の表示部１４上に表示される。コントローラ３０の制御部３１は、メニュー画面上でユーザにより任意に設定された振動部３０の振動の強さに応じて、音出力部から出力されるゲームの音の強さを変化させる。この場合、制御部３１は、振動の強さが強くなるほど、ゲームの音の強さが強くなるように音の強さを変化させてもよいし、振動の強さが強くなるほど、ゲームの音の強さが弱くなるように音の強さを変化させてもよい。

振動部３５の振動の強さに応じて、ゲームの音の強さを変化させるための方法としては、大きく分けて以下の４つの方法がある。なお、（１）～（４）の４つの方法のうち、２以上の方法が組み合わされてもよい。

（１）振動部３５の振動の大きさに応じて、ゲームの音圧が変化される。（２）振動部３５の振動の周波数に応じて、ゲームの音圧が変化される。（３）振動部３５の振動の大きさに応じて、ゲームの音の周波数が変化される。（４）振動部３５の振動の周波数に応じて、ゲームの音の周波数が変化される。

≪第３実施形態≫
次に、本技術の第３実施形態について説明する。ここで、頻繁にコントローラ３０が振動されていて、かつ、この振動が強いような場合、ユーザが強い振動に慣れて鈍感になってしまい、実際の振動の強さよりも振動を弱く感じてしまう場合がある。

ユーザが振動に慣れてしまい実際の振動の強さよりも振動を弱く感じている場合に、例えば、ゲームにおける映像において大きなアクションの映像が流れ、同時に、コントローラ３０が振動される場合を想定する。この場合、ユーザが実際に感じている振動の強さと、映像内における大きなアクションとが合っていないとユーザが感じてしまい、ユーザが違和感を覚えてしまう場合がある。

第３実施形態では、このような場合に、ユーザが違和感を覚えしまうことを防止するために、振動の頻度や、振動の強さに応じて（つまり、振動に応じて）、映像を変化させる処理を実行する。

図６は、第３実施形態における処理を示すフローチャートである。

まず、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の頻度を判定する（ステップ４０１）。ここで、所定時間とは、現在時刻の所定時間前（例えば、数十秒～数分前）から現在時刻までの時間である。

次に、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の強さの平均値を算出する（ステップ４０２）。ここで、所定時間とは、現在時刻の所定時間前（例えば、数十秒～数分前）から現在時刻までの時間である。

次に、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の頻度が所定の閾値以上であるかどうかを判定する（ステップ４０３）。振動部３５における振動の頻度が所定の閾値以上である場合（ステップ４０３のＹＥＳ）、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の強さの平均値が所定の閾値以上であるかどうかを判定する（ステップ４０４）。

振動部３５における振動の強さの平均値が所定の閾値以上である場合（ステップ４０４のＹＥＳ）、コントローラ３０の制御部３１は、ゲーム装置本体２０に対して、映像を変化させるように指示する（ステップ４０５）。この場合、ゲーム装置本体２０は、この指示に応じて、映像を一時的に変化させる。

ここで、所定時間内の振動部３５における振動の頻度が所定の閾値以上であり、かつ、所定時間内の振動部３５における振動の強さの平均値が所定の閾値以上である場合とは、頻繁にコントローラ３０が振動されていて、かつ、この振動が強い場合である。このような場合、ユーザが強い振動に慣れてしまい、実際の振動の強さよりも振動を弱く感じてしまう。

図７及び図８は、映像が変化されたときの一例を示す図である。図７には、飛行機が飛んでいるときの映像が示されている。図７の左側は、元の映像であり、図７の右側は、変化後の映像である。図７に示すように、変化後の映像における飛行機（オブジェクト）の大きさは、元の映像における飛行機の大きさよりも小さい。

図８には、ボクサーのパンチが相手のボクサーにヒットしたときの映像が示されている。図８の左側は、元の映像であり、図８の右側は、変化後の映像である。図８に示すように、変化後の映像におけるボクサー（オブジェクト）のアクションの大きさは、元の映像におけるボクサーのアクションの大きさよりも小さい。

ステップ４０５において映像を変化させる指示が出されると、図７の右側、図８の右側に示すような映像が表示部１４の画面上に表示される。

ステップ４０３において、振動部３５における振動の頻度が所定の閾値未満である場合（ステップ４０３のＮＯ）、コントローラ３０の制御部３１は、ステップ４０６へ進む。同様に、ステップ４０４において、振動部３５における振動の強さの平均値が所定の閾値未満である場合（ステップ４０４のＮＯ）、コントローラ３０の制御部３１は、ステップ４０６へ進む。

ステップ４０６では、コントローラ３０の制御部３１は、現在、映像が変化した状態であるかどうかを判定する。現在、映像が変化した状態である場合（ステップ４０６のＹＥＳ）、コントローラ３０の制御部３１は、ゲーム装置本体２０に対して、映像を元に戻すように指示する。ゲーム装置本体２０は、この指示に応じて、映像を元に戻す。

ステップ４０７において映像を元に戻す指示が出されると、図７の左側、及び図８の左側に示すような映像が表示部１４の画面上に表示される。

第３実施形態では、ユーザが強い振動に慣れてしまい、実際の振動の強さよりも振動を弱いと感じてしまっている場合に、映像が変化され、例えば、飛行機の大きさが小さくされたり、ボクサーのアクションが小さくされたりする。従って、ユーザが違和感を覚えてしまうことを防止することができる。

≪第４実施形態≫
次に、本技術の第４実施形態について説明する。

上述のように、頻繁にコントローラ３０が振動されていて、かつ、この振動が強いような場合、ユーザが強い振動に慣れて鈍感になってしまい、実際の振動の強さも振動を弱く感じてしまう場合がある。

第４実施形態では、強い振動に慣れて鈍感になってしまったユーザの感覚を、元の敏感な感覚へ戻すために、振動の頻度や、振動の強さに応じて（つまり、振動に応じて）、映像におけるシーンを変化させる処理が実行される。

図９は、第４実施形態における処理を示すフローチャートである。

まず、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の頻度を判定する（ステップ５０１）。ここで、所定時間とは、現在時刻の所定時間前（例えば、数十秒～数分前）から現在時刻までの時間である。

次に、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の強さの平均値を算出する（ステップ５０２）。ここで、所定時間とは、現在時刻の所定時間前（例えば、数十秒～数分前）から現在時刻までの時間である。

次に、コントローラ３０の制御部３１は、現在、映像のシーンが切り替えられるタイミングであるかどうかを判定する（ステップ５０３）。現在、映像のシーンが切り替えられるタイミングではない場合（ステップ５０３のＮＯ）、コントローラ３０の制御部３１は、ステップ５０１へ戻る。

一方、現在、映像のシーンが切り替えられるタイミングである場合（ステップ５０３のＹＥＳ）、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の頻度が所定の閾値以上であるかどうかを判定する（ステップ５０４）。

振動部３５における振動の頻度が所定の閾値以上である場合（ステップ５０４のＹＥＳ）、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の強さの平均値が所定の閾値以上であるかどうかを判定する（ステップ５０５）。

振動部３５における振動の強さの平均値が所定の閾値以上である場合（ステップ５０５のＹＥＳ）、コントローラ３０の制御部３１は、ゲーム装置本体２０に対して、映像における次のシーンとして、振動の頻度が少ないシーンを選択するように指示する（ステップ５０６）。なお、ステップ５０６において、コントローラ３０の制御部３１は、振動の強さが弱いシーンを選択するように指示してもよい。

図１０は、映像における次のシーンとして振動の頻度が少ないシーンが選択されたときの一例を示す図である。図１０の左側には、映像における前のシーンが示されており、図１０の右側には、映像における次のシーンが示されている。

図１０の左側に示されている前のシーンは、飛行機が飛んでいるシーンで振動の頻度が多い。図１０の右側に示されている次のシーンは、息抜きのシーンで、振動の頻度が少ない（振動は全く発生しない）。この息抜きのシーンは、所定時間内における振動の頻度や振動の強さの平均値等に応じて、内容や長さが変更されてもよい。

ステップ５０４において、振動部３５における振動の頻度が所定の閾値未満である場合（ステップ５０４のＮＯ）、コントローラ３０の制御部３１は、ステップ５０７へ進む。同様に、ステップ５０５において、振動部３５における振動の強さの平均値が所定の閾値未満である場合（ステップ５０５のＮＯ）、コントローラ３０の制御部３１は、ステップ５０７へ進む。

ステップ５０７では、コントローラ３０の制御部３１は、ゲーム装置本体２０に対して、通常通り、次のシーンを選択するように指示する。ゲーム装置本体２０は、この指示に応じて、通常通り、次のシーンを選択する。この場合、図１０の右側に示されているような息抜きのシーンは、表示部１４の画面上に表示されない。

第４実施形態では、ユーザが強い振動に慣れてしまい、実際の振動の強さよりも振動を弱く感じてしまっている場合に、映像のシーンが変化され、次のシーンとして振動の頻度が少ない（又は振動の強さが弱い）シーンが選択される。従って、強い振動に慣れて鈍感になってしまったユーザの感覚を、元の敏感な感覚へ戻すことができる。

第４実施形態では、強い振動に慣れて鈍感になってしまったユーザの感覚を、元の敏感な感覚へ戻すために、次のシーンとして振動の頻度が少ない（又は振動の強さが弱い）シーンが選択される場合について説明した。一方、次のシーンが振動の頻度が多いシーンで、かつ、振動が重要なシーンである場合、ユーザの感覚が現時点で鈍感にならないようにするための処理が実行されてもよい。

この場合、例えば、現在のシーンが、振動が重要でないシーンである場合、現在のシーンにおける振動の頻度が少なくされたり、振動の強さが弱くされたりする（つまり、映像におけるシーンに応じて、振動が変化される）。

ここで、次のシーンが振動の頻度が多いシーンで、かつ、振動が重要なシーンであるかどうかが、現時点で制御部３１が分からない場合がある。例えば、ロールプレイングゲームなどでは、現在のシーンから、振動が多く、振動が重要なシーンＡ、振動が少なく、振動が重要でないシーンＢなどの複数のシーンに分岐する場合がある。この場合、次のシーンが、振動が多く、振動が重要なシーンＡであるのか、振動が少なく、振動が重要でないシーンＢであるのかが確定されない。

従って、このような場合、ユーザ情報に基づいて、シーンＡ及びシーンＢのうちどちらのシーンがユーザによって選択される可能性が高いかが推定されてもよい。この推定により、シーンＡがユーザによって選択される可能性が高いと判定された場合、現在のシーンンにおける振動の頻度が少なくされたり、振動の強さが弱くされたりする。

≪第５実施形態≫
次に、本技術の第５実施形態について説明する。

図１１は、第５実施形態に係るチャット用マイクロフォン６０を示す図である。

図１１に示すチャット用マイクロフォン６０は、耳に掛けて使用するタイプのマイクロフォンであり、コントローラ３０に有線で接続されている。このチャット用マイクロフォン６０は、ユーザの声を収集して、収集された声を電気信号に変換する。

チャット用マイクロフォン６０は、ユーザが通信ゲームなどをプレイしているときに、一緒にそのゲームをプレイしている他のユーザとチャットをするために用いられる。また、このチャット用マイクロフォン６０は、ゲームにおけるコマンドを入力するために用いられる場合もある。

例えば、図１１に示すようなチャット用マイクロフォン６０の場合、コントローラ３０が振動すると、コントローラ３０の振動に応じてチャット用マイクロフォン６０も振動してしまう。この場合、振動の強さが強いと、振動音がノイズとなってチャット用マイクロフォン６０から出力される信号に乗ってしまう場合がある。

従って、コントローラ３０の制御部３１は、チャット用マイクロフォン６０が使用されているとき、チャット用マイクロフォン６０が使用されていないときよりも振動の強さを弱くしてもよい。これにより、チャット用マイクロフォン６０から出力される信号に、ノイズが乗らないようにすることができる。

なお、ユーザの声が収集されているかどうか（マイクロフォンが使用されているかどうかの）の判断は、ＶＡＤ（ＶＡＤ：Voice Activity Detection）によって検出することができる。また、振動の強さが弱くされるとき、人の可聴領域が考慮されて、振動における周波数成分のうち例えば、１００Ｈｚ以上の周波数成分が下げられてもよい。

ここで、例えば、ユーザが対戦用の通信ゲームをしながら、その通信ゲームを一緒にプレイしている味方のユーザとチャット用マイクロフォン６０を使用してチャットを行っている場合を想定する。この場合、ユーザが味方のユーザとのチャットに気を取られ、対戦相手の敵が近づいてきていることに気が付かない場合がある。

このように、例えば、ゲームの局面が、敵が近づいてきたような重要な局面である場合に、振動の強さが強くなる処理が実行されてもよい。

この場合、コントローラ３０の制御部３１は、チャット用マイクロフォン６０が使用されているとき、チャット用マイクロフォン６０が使用されていないときよりも振動の強さを強くする。これにより、チャットに気を取られているユーザに、ゲームの局面が、敵が近づいてきたような重要な局面であることを気付かせることができる。なお、敵が近づいてきたときに、これを通知するための振動が発生する場合、この振動の強さを、敵を操作するユーザが任意に設定可能であってもよい。

以上の説明から理解されるように、コントローラ３０の制御部３１は、チャット用マイクロフォン６０が使用されているか否かに応じて、振動の強さを変化させることができればよい。

≪第６実施形態≫
次に、本技術の第６実施形態について説明する。

ここで、振動部３５が振動すると、振動音が発生する場合があり、ユーザが、この振動音に嫌悪感を覚えてしまう場合がある。

例えば、ゲームの音の強さが弱いとき、振動音をユーザが気にしてしまう場合がある。一方で、ゲームの音の強さが強いとき、振動音が多少強くてもユーザはあまり気にしない。第６実施形態では、この関係が利用され、ゲームの音の強さに応じて、振動音の強さが変化される。

図１２は、第６実施形態における処理を示すフローチャートである。

まず、コントローラ３０の制御部３１は、現在のゲームの音の強さを判定する（ステップ６０１）。このときの処理は、図３におけるステップ１０５と同じである。

次に、コントローラ３０の制御部３１は、現在のゲームの音の強さに応じて、振動部３５へ出力される振動信号の周波数成分を調整する（ステップ６０２）。このとき、コントローラ３０の制御部３１は、ゲームの音の強さが弱くなるほど、人の可聴領域（２０Ｈｚ～２０ｋＨｚ）内における所定の範囲の周波数成分が少なくなるように、振動信号の周波数成分を調整する。

この振動信号の周波数成分を調整するために、例えば、ローパスフィルタや、バンドパスフィルタが用いられる。すなわち、ローパスフィルタや、バンドパスフィルタによって、所定の範囲の周波数成分がカットされて、所定の範囲の周波数成分が少なくされる。

カットの対象となる周波数の範囲（所定の範囲）は、ユーザが気になってしまう振動音の周波数の範囲である。ここで、人の可聴領域は、２０Ｈｚ～２０ｋＨｚであるが、ユーザが気になってしまう振動音の周波数は、人の可聴領域と完全には一致しないことも考えられる。例えば、２０Ｈｚ～１００Ｈｚ、２０Ｈｚ～２００Ｈｚ等の範囲の振動音は気にしないことも考えられる。

従って、カットの対象となる周波数の範囲（所定の範囲）は、例えば、１００Ｈｚ以上、２００Ｈｚ以上等と設定される。この場合、例えば、ローパスフィルタのカットオフ周波数が、１００Ｈｚ、２００Ｈｚなどに設定され、ローパスフィルタは、１００Ｈｚ以上、２００Ｈｚ以上の周波数をカットすることができるように構成される。

カットの対象となる周波数の範囲（所定の範囲）は、ゲームの音の強さに応じて、その広さが設定されていてもよい。例えば、カットの対象となる周波数の範囲は、ゲームの音の強さが弱くなるほど、その広さが広くなるように設定されていてもよい。

なお、カットの対象となる周波数の範囲（所定の範囲）は、人の可聴領域（２０Ｈｚ～２０ｋＨｚ）と一致していてもよい。この場合、人の可聴領域の周波数成分が、バンドパスフィルタによってカットされる。

また、コントローラ３０の筐体の構造などによって、振動部３５の振動によって発生する振動音の特性が変わる可能性もある。従って、コントローラ３０の種類毎に、カットの対象となる周波数の範囲（所定の範囲）が異なっていてもよい。

図１３は、振動信号の一例を示す図である。図１３に示す３つの図は、上から順番に、現在のゲームの音の強さが０、５０、１００であるときの振動信号の一例を示している。なお、図１３では、カットオフ周波数が２００Ｈｚに設定されたローパスフィルタによって、振動信号の周波数成分が調整されたときの様子が示されている。

図１３における下の図を参照して、現在のゲームの音の強さが１００（最大値）である場合、振動信号における周波数成分は調整されない。つまり、ゲームの音の強さが強い場合は、ユーザは、振動音が強くても気にしないので、周波数成分の調整は行われない。

図１３における中央の図を参照して、現在のゲームの音の強さが５０である場合、振動信号がローパスフィルタ（カットオフ周波数２００Ｈｚ）を通されて、２００Ｈｚ以上の周波数成分がカットされる。つまり、現在のゲームの音の強さが５０である場合、振動音をユーザが気にしてしまう場合があるので、２００Ｈｚ以上の周波数成分がカットされる。

図１３における上の図を参照して、現在のゲームの音の強さが０である場合、振動信号がローパスフィルタ（カットオフ周波数２００Ｈｚ）を通されて、２００Ｈｚ以上の周波数成分がカットされる。なお、ゲームの音の強さが０である場合、音の強さが５０である場合よりも、ローパスフィルタが強めにかけられている。つまり、現在のゲームの音の強さが０である場合、ユーザが振動音に敏感になっているので、２００Ｈｚ以上の周波数成分が強めにカットされる。

図１２に戻り、振動信号の周波数成分を調整すると、コントローラ３０の制御部３１は、周波数成分が調整された振動信号を振動部３５へ出力する（ステップ６０３）。

第６実施形態では、振動部３５の振動によって発生する振動音の強さが、ゲームの音の強さに応じて変化される。特に、第６実施形態では、ゲームの音の強さが弱くなるほど、人の可聴領域（２０Ｈｚ～２０ｋＨｚ）内における所定の範囲の周波数成分が少なくなるように、振動部３５の振動の周波数が変化される。これにより、ユーザが振動音に気付いてしまうことを防止することができる。

ここで、ゲームの音の強さに応じて、振動音の強さを変化させる方法としては、以下の４つの方法がある。なお、（１）～（４）のうち、２以上が組み合わされてもよい。

（１）ゲームの音の音圧に応じて、振動部３５の振動の大きさが変化される。（２）ゲームの音の音圧に応じて、振動部３５の振動の周波数が変化される。（３）ゲームの音の周波数に応じて、振動部３５の振動の大きさが変化される。（４）ゲームの音の周波数に応じて、振動部３５の振動の周波数が変化される。

なお、（２）及び（４）の場合、典型的には、振動部３５としてボイスコイルモータが用いられる（周波数成分の調整が容易であるため）。なお、（１）及び（３）においては、振動部３５として、ボイスコイルモータが用いられてもよいし、偏心モータが用いられてもよい。

第６実施形態においても第１実施形態と同様に、環境音が考慮されてもよい。また、第６実施形態においても第５実施形態と同様に、チャット中であるかどうかが考慮されてもよい。なお、当然であるが、本技術において説明した各実施形態は、相互に組み合わせることができる。

≪各種変形例≫
例えば、振動が適切であったかどうかを判定するために、コントローラ３０などに、振動に基づくユーザの身体的変化（発汗の変化、心拍の変化、脳波の変化、顔の表情の変化）を計測するセンサ（カメラ、加速度センサ、脳波センサ等）が設けられていてもよい。

この場合、コントローラ３０の制御部３１は、ユーザの身体的変化の情報をセンサから取得し、ユーザの身体的変化に応じて、振動の強さを変化させるための値（例えば、比ｒ、補正係数ｋ１、補正係数ｋ２等）を変更してもよい。これにより、振動の強さをより適切な強さにすることができる。

以上の説明では、主に、コントローラ３０の制御部３１が各種の処理を実行する場合について説明した。一方、これらの処理は、ゲーム装置本体２０や、出力装置１０が実行してもよいし、ネットワーク上のサーバ装置が実行してもよい。

以上の説明では、本技術が適用される例として、ゲーム装置５０を例に挙げて説明した。一方、本技術は、携帯電話機（スマートフォンを含む）、携帯ゲーム機、携帯音楽プレイヤー、タブレットＰＣ（ＰＣ：personal computer）、バーチャルリアリティ装置等の各種の電子機器に適用可能である。

以上の説明では、本技術が適用される例として、ゲームシステム１００を例に挙げて説明した。一方、本技術は、典型的には、映像、音及び振動の３つの要素を含むシステムであれば、どのようなシステムについても適用可能である。例えば、本技術は、バーチャルリアリティシステムに適用することができる。

本技術は以下の構成をとることもできる。
（１） 音を出力する音出力部の種類を判定し、判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させる制御部
を具備する情報処理装置。
（２） 上記（１）に記載の情報処理装置であって、
前記制御部は、前記音出力部から出力される音の強さに応じて、前記振動部の振動の強さを変化させる
を具備する情報処理装置。
（３） 上記（２）に記載の情報処理装置であって、
前記制御部は、前記音の強さが強くなるほど、前記振動の強さが強くなるように、又は、前記音の強さが弱くなるほど、前記振動の強さが弱くなるように、前記振動の強さを変化させる
情報処理装置。
（４） 上記（２）に記載の情報処理装置であって、
前記制御部は、前記音の強さが強くなるほど、前記振動の強さが弱くなるように、又は、前記音の強さが弱くなるほど、前記振動の強さが強くなるように、前記振動の強さを変化させる
情報処理装置。
（５） 上記（１）乃至（４）のうちいずれか１つに記載の情報処理装置であって、
前記制御部は、前記振動部の振動の強さに応じて、前記音出力部から出力される音の強さを変化させる
情報処理装置。
（６） 上記（２）に記載の情報処理装置であって、
前記制御部は、変化された前記振動の強さに応じて、前記音出力部から出力される音の強さを変化させる
情報処理装置。
（７） 上記（６）請求項６に記載の情報処理装置であって、
前記制御部は、変化された前記振動の強さが振動の最大値に達したとき、前記音の強さを変化させる
情報処理装置。
（８） 上記（１）乃至（７）のうちいずれか１つに記載の情報処理装置であって、
前記制御部は、環境音における音の強さに応じて、前記振動部の振動の強さを変化させる
情報処理装置。
（９） 上記（１）乃至（８）のうちいずれか１つに記載の情報処理装置であって、
前記制御部は、環境音における音の強さに応じて、前記音出力部から出力される音の強さを変化させる
情報処理装置。
（１０） 上記（１）乃至（９）のうちいずれか１つに記載の情報処理装置であって、
前記制御部は、前記振動部の振動に応じて、映像を変化させる
情報処理装置。
（１１） 上記（１０）に記載の情報処理装置であって、
前記制御部は、前記振動部の振動に応じて、前記映像内におけるオブジェクトの大きさ又は前記オブジェクトのアクションの大きさを変化させる
情報処理装置。
（１２） 上記（１）乃至（１１）のうちいずれか１つに記載の情報処理装置であって、
前記制御部は、前記振動部の振動に応じて、映像におけるシーンを変化させる
情報処理装置。
（１３） 上記（１）乃至（１２）のうちいずれか１つに記載の情報処理装置であって、
前記制御部は、映像におけるシーンに応じて、前記振動部の振動を変化させる
情報処理装置。
（１４） 上記（１）乃至（１３）のうちいずれか１つに記載の情報処理装置であって、
ユーザの声を収集するために使用されるマイクロフォンが前記振動部の振動に応じて振動し、
前記制御部は、前記マイクロフォンが使用されているか否かに応じて、前記振動の強さを変化させる
情報処理装置。
（１５） 上記（１）乃至（１４）のうちいずれか１つに記載の情報処理装置であって、
前記制御部は、前記振動部の振動に基づくユーザの身体的変化の情報を取得し、ユーザの身体的変化に応じて、前記振動の強さを変化させるための値を変更する
情報処理装置。
（１６） 上記（１）乃至（１５）のいちいずれか１つに記載の情報処理装置であって、
前記制御部は、前記振動部の振動によって発生する振動音の強さを、前記音出力部から出力される音の強さに応じて変化させる
情報処理装置。
（１７） 上記（１）乃至（１６）のうちいずれか１つに記載の情報処理装置であって、
前記振動部は、振動体に設けられ、
前記制御部は、ユーザによって前記振動体が保持されている状態の情報を取得し、前記振動体が保持されている状態の情報に応じて、前記振動部の振動の強さを変化させる
情報処理装置。
（１８） 上記（１）乃至（１７）のうちいずれか１つに記載の情報処理装置であって、
前記制御部は、前記音出力部から出力される音の強さの感度又は前記振動部の振動の強さの感度に関連する感度情報を取得し、前記感度情報に応じて、前記振動部の振動の強さを変化させる
情報処理装置。
（１９） 音を出力する音出力部の種類を判定し、
判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させる
情報処理方法。
（２０） 音を出力する音出力部の種類を判定するステップと、
判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させるステップと
をコンピュータに実行させるプログラム。

１０…出力装置
１３…表示部
１４…スピーカ
２０…ゲーム装置本体
３０…コントローラ
３１…制御部
３３…操作部
３５…振動部
３６…マイクロフォン
４０…ヘッドフォン
５０…ゲーム装置
６０…チャット用マイクロフォン
１００…ゲームシステム

Claims (16)

1. 音を出力する音出力部の種類を判定し、判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させ、前記音出力部から出力される音の強さに応じて、前記振動部の振動の強さを変化させ、変化された前記振動の強さが振動の最大値に達しとき、前記音の強さを変化させる制御部
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記音の強さが強くなるほど、前記振動の強さが強くなるように、又は、前記音の強さが弱くなるほど、前記振動の強さが弱くなるように、前記振動の強さを変化させる
   情報処理装置。
3. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記音の強さが強くなるほど、前記振動の強さが弱くなるように、又は、前記音の強さが弱くなるほど、前記振動の強さが強くなるように、前記振動の強さを変化させる
   情報処理装置。
4. 請求項１に記載の情報処理装置であって、
   前記制御部は、環境音における音の強さに応じて、前記振動部の振動の強さを変化させる
   情報処理装置。
5. 請求項１に記載の情報処理装置であって、
   前記制御部は、環境音における音の強さに応じて、前記音出力部から出力される音の強さを変化させる
   情報処理装置。
6. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記振動部の振動に応じて、映像を変化させる
   情報処理装置。
7. 請求項６に記載の情報処理装置であって、
   前記制御部は、前記振動部の振動に応じて、前記映像内におけるオブジェクトの大きさ又は前記オブジェクトのアクションの大きさを変化させる
   情報処理装置。
8. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記振動部の振動に応じて、映像におけるシーンを変化させる
   情報処理装置。
9. 請求項１に記載の情報処理装置であって、
   前記制御部は、映像におけるシーンに応じて、前記振動部の振動を変化させる
   情報処理装置。
10. 請求項１に記載の情報処理装置であって、
    ユーザの声を収集するために使用されるマイクロフォンが前記振動部の振動に応じて振動し、
    前記制御部は、前記マイクロフォンが使用されているか否かに応じて、前記振動の強さを変化させる
    情報処理装置。
11. 請求項１に記載の情報処理装置であって、
    前記制御部は、前記振動部の振動に基づくユーザの身体的変化の情報を取得し、ユーザの身体的変化に応じて、前記振動の強さを変化させるための値を変更する
    情報処理装置。
12. 請求項１に記載の情報処理装置であって、
    前記制御部は、前記振動部の振動によって発生する振動音の強さを、前記音出力部から出力される音の強さに応じて変化させる
    情報処理装置。
13. 請求項１に記載の情報処理装置であって、
    前記振動部は、振動体に設けられ、
    前記制御部は、ユーザによって前記振動体が保持されている状態の情報を取得し、前記振動体が保持されている状態の情報に応じて、前記振動部の振動の強さを変化させる
    情報処理装置。
14. 請求項１に記載の情報処理装置であって、
    前記制御部は、前記音出力部から出力される音の強さの感度又は前記振動部の振動の強さの感度に関連する感度情報を取得し、前記感度情報に応じて、前記振動部の振動の強さを変化させる
    情報処理装置。
15. 音を出力する音出力部の種類を判定し、
    判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させ、
    前記音出力部から出力される音の強さに応じて、前記振動部の振動の強さを変化させ、
    変化された前記振動の強さが振動の最大値に達しとき、前記音の強さを変化させる
    情報処理方法。
16. 音を出力する音出力部の種類を判定するステップと、
    判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させるステップと、
    前記音出力部から出力される音の強さに応じて、前記振動部の振動の強さを変化させるステップと、
    変化された前記振動の強さが振動の最大値に達しとき、前記音の強さを変化させるステップと
    をコンピュータに実行させるプログラム。

Images