JP7300091B2 - 情報処理装置、装着型機器、情報処理方法及び記憶媒体 - Google Patents

Description

本発明は、情報処理装置、装着型機器、情報処理方法及び記憶媒体に関する。

特許文献１には、外側マイクロホンと内側マイクロホンとを備えたヘッドホン装置が開示されている。当該ヘッドホン装置は、外側マイクロホンで得られた外来音の音声信号と内側マイクロホンで得られた外来音の音声信号とを比較することにより、ヘッドホン装置が装着状態であるか非装着状態であるかを検出することができる。

特許文献２には、検出マイクとスピーカとを備えたヘッドセットが開示されている。当該ヘッドセットは、ヘッドセットに入力される音楽等の音響信号と、検出マイクで検出された音響検出信号とを比較して、不一致である場合にヘッドセットが非装着であるものと判定する。

特開２０１４－３３３０３号公報 特開２００７－１６５９４０号公報

特許文献１のヘッドホン装置は、外来音を用いて装着状態の検出を行っている。外来音は外部環境に応じて変化し得るため、外部環境によっては装着判定の精度が十分に得られない可能性がある。特許文献２のヘッドセットは、入力される音響信号と検出された音響検出信号との一致又は不一致に基づいて装着状態を検出するものである。そのため、例えば、ヘッドセットがケースに入っている場合等、ヘッドセットが密閉されている場合には非装着状態であっても音響信号と音響検出信号が一致する場合がある。このように、ヘッドセットが置かれている環境によっては装着判定の精度が十分に得られない可能性がある。

本発明は、より広範な環境で装着型機器の装着判定を行うことができる情報処理装置、装着型機器、情報処理方法及び記憶媒体を提供することを目的とする。

本発明の一観点によれば、装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得する音響情報取得部と、前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する装着判定部と、を備える、情報処理装置が提供される。

本発明の他の一観点によれば、装着型機器であって、前記装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得する音響情報取得部と、前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する装着判定部と、を備える、装着型機器が提供される。

本発明の他の一観点によれば、装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得するステップと、前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定するステップと、を備える、情報処理方法が提供される。

本発明の他の一観点によれば、コンピュータに、装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得するステップと、前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定するステップと、を実行させるためのプログラムが記憶された記憶媒体が提供される。

本発明によれば、より広範な環境で装着型機器の装着判定を行うことができる情報処理装置、装着型機器、情報処理方法及び記憶媒体を提供することができる。

第１実施形態に係る情報処理システムの全体構成を示す模式図である。 第１実施形態に係るイヤホンのハードウェア構成を示すブロック図である。 第１実施形態に係る情報通信装置のハードウェア構成を示すブロック図である。 第１実施形態に係るイヤホン制御装置の機能ブロック図である。 第１実施形態に係るイヤホン制御装置により行われる装着判定処理を示すフローチャートである。 チャープ信号の特性を示すグラフである。 Ｍ系列信号又は白色雑音の特性を示すグラフである。 反響音の特性の一例を示すグラフである。 一方が開端で他方が閉端である気柱管の構造図である。 両側が閉端である気柱管の構造図である。 装着判定に用いられる音響信号の種類と判定基準を示す表である。 第２実施形態に係る情報処理システムの全体構成を示す模式図である。 第３実施形態に係る装着状態スコアの時間変化を示すグラフである。 ２つの閾値により装着状態の判定を行う例を示すグラフである。 第４実施形態に係る情報処理装置の機能ブロック図である。

以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

［第１実施形態］
本実施形態に係る情報処理システムについて説明する。本実施形態の情報処理システムは、イヤホン等の装着型機器の装着を検出するためのシステムである。

図１は、本実施形態に係る情報処理システムの全体構成を示す模式図である。情報処理システムは、互いに無線通信接続され得る情報通信装置１とイヤホン２とを備える。

イヤホン２は、イヤホン制御装置２０、スピーカ２６及びマイクロホン２７を備える。イヤホン２は、ユーザ３の耳に装着可能な音響機器であり、典型的にはワイヤレスイヤホン、ワイヤレスヘッドセット等である。スピーカ２６は、装着時にユーザ３の外耳道に向けて音波を発する音波発生部として機能するものであり、イヤホン２の装着面側に配されている。マイクロホン２７も装着時にユーザ３の外耳道等で反響した音波を受けることができるようにイヤホン２の装着面側に配されている。イヤホン制御装置２０は、スピーカ２６及びマイクロホン２７の制御及び情報通信装置１との通信を行う。

なお、本明細書において、音波、音声等の「音」は、周波数又は音圧レベルが可聴範囲外である非可聴音を含むものとする。

情報通信装置１は、例えば、コンピュータであり、イヤホン２の動作の制御、イヤホン２から発せられる音波の生成用の音声データの送信、イヤホン２が受けた音波から得られた音声データの受信等を行う。具体例としては、ユーザ３がイヤホン２を用いて音楽鑑賞を行う場合には、情報通信装置１は、音楽の圧縮データをイヤホン２に送信する。また、イヤホン２がイベント会場、病院等における業務指令用の電話装置である場合には、情報通信装置１は業務指示の音声データをイヤホン２に送信する。この場合、更に、ユーザ３の発話の音声データをイヤホン２から情報通信装置１に送信してもよい。また、情報通信装置１又はイヤホン２は、イヤホン２が受けた音波を用いた耳音響認証の機能を備えていてもよい。

なお、この全体構成は一例であり、例えば、情報通信装置１とイヤホン２が有線接続されていてもよい。また、情報通信装置１とイヤホン２が一体の装置として構成されていてもよく、情報処理システム内に更に別の装置が含まれていてもよい。

図２は、イヤホン制御装置２０のハードウェア構成例を示すブロック図である。イヤホン制御装置２０は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）２０２、ＲＯＭ（Read Only Memory）２０３及びフラッシュメモリ２０４を備える。また、イヤホン制御装置２０は、スピーカＩ／Ｆ（Interface）２０５、マイクロホンＩ／Ｆ２０６、通信Ｉ／Ｆ２０７及びバッテリ２０８を備える。なお、イヤホン制御装置２０の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。

ＣＰＵ２０１は、ＲＯＭ２０３、フラッシュメモリ２０４等に記憶されたプログラムに従って所定の演算を行うとともに、イヤホン制御装置２０の各部を制御する機能をも有するプロセッサである。ＲＡＭ２０２は、揮発性記憶媒体から構成され、ＣＰＵ２０１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ２０３は、不揮発性記憶媒体から構成され、イヤホン制御装置２０の動作に用いられるプログラム等の必要な情報を記憶する。フラッシュメモリ２０４は、不揮発性記憶媒体から構成され、データの一時記憶、イヤホン制御装置２０の動作用プログラムの記憶等を行う記憶装置である。

通信Ｉ／Ｆ２０７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）等の規格に基づく通信インターフェースであり、情報通信装置１との通信を行うためのモジュールである。

スピーカＩ／Ｆ２０５は、スピーカ２６を駆動するためのインターフェースである。スピーカＩ／Ｆ２０５は、デジタルアナログ変換回路、増幅器等を含む。スピーカＩ／Ｆ２０５は、音声データをアナログ信号に変換し、スピーカ２６に供給する。これによりスピーカ２６は、音声データに基づく音波を発する。

マイクロホンＩ／Ｆ２０６は、マイクロホン２７から信号を取得するためのインターフェースである。マイクロホンＩ／Ｆ２０６は、アナログデジタル変換回路、増幅器等を含む。マイクロホンＩ／Ｆ２０６は、マイクロホン２７が受け取った音波により生じたアナログ信号をデジタル信号に変換する。これにより、イヤホン制御装置２０は、受け取った音波に基づく音声データを取得する。

バッテリ２０８は、例えば二次電池であり、イヤホン２の動作に必要な電力を供給する。これにより、イヤホン２は、外部の電源に有線接続することなく、ワイヤレスで動作することができる。

なお、図２に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。例えば、イヤホン２はユーザ３による操作を受け付けることができるようにボタン等の入力装置を更に備えていてもよく、ユーザ３に情報を提供するためのディスプレイ、表示灯等の表示装置を更に備えていてもよい。このように図２に示されているハードウェア構成は適宜変更可能である。

図３は、情報通信装置１のハードウェア構成例を示すブロック図である。情報通信装置１は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３及びＨＤＤ（Hard Disk Drive）１０４を備える。また、情報通信装置１は、通信Ｉ／Ｆ１０５、入力装置１０６及び出力装置１０７を備える。なお、情報通信装置１の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。

図３では、情報通信装置１を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、入力装置１０６及び出力装置１０７は、ＣＰＵ１０１等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。

ＣＰＵ１０１は、ＲＯＭ１０３、ＨＤＤ１０４等に記憶されたプログラムに従って所定の演算を行うとともに、情報通信装置１の各部を制御する機能をも有するプロセッサである。ＲＡＭ１０２は、揮発性記憶媒体から構成され、ＣＰＵ１０１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１０３は、不揮発性記憶媒体から構成され、情報通信装置１の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１０４は、不揮発性記憶媒体から構成され、イヤホン２と送受信するデータの一時記憶、情報通信装置１の動作用プログラムの記憶等を行う記憶装置である。

通信Ｉ／Ｆ１０５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）等の規格に基づく通信インターフェースであり、イヤホン２等の他の装置との通信を行うためのモジュールである。

入力装置１０６は、キーボード、ポインティングデバイス等であって、ユーザ３が情報通信装置１を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。

出力装置１０７は、例えば表示装置である。表示装置は、液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等であって、情報の表示、操作入力用のＧＵＩ（Graphical User Interface）等の表示に用いられる。入力装置１０６及び出力装置１０７は、タッチパネルとして一体に形成されていてもよい。

なお、図３に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１０４は、半導体メモリを用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。このように図３に示されているハードウェア構成は適宜変更可能である。

図４は、本実施形態に係るイヤホン制御装置２０の機能ブロック図である。イヤホン制御装置２０は、音響情報取得部２１１、装着判定部２１２、発音制御部２１３、通知情報生成部２１４及び記憶部２１５を有する。

ＣＰＵ２０１は、ＲＯＭ２０３、フラッシュメモリ２０４等に記憶されたプログラムをＲＡＭ２０２にロードして実行する。これにより、ＣＰＵ２０１は、音響情報取得部２１１、装着判定部２１２、発音制御部２１３及び通知情報生成部２１４の機能を実現する。また、ＣＰＵ２０１は、当該プログラムに基づいてフラッシュメモリ２０４を制御することにより記憶部２１５の機能を実現する。これらの各部で行われる具体的な処理については後述する。

なお、図４の機能ブロックの各機能の一部又は全部は、イヤホン制御装置２０ではなく情報通信装置１に設けられていてもよい。すなわち、上述の各機能は、イヤホン制御装置２０によって実現されてもよく、情報通信装置１によって実現されてもよく、情報通信装置１とイヤホン制御装置２０とが協働することにより実現されてもよい。情報通信装置１及びイヤホン制御装置２０は、より一般的に情報処理装置と呼ばれることもある。

しかしながら、本実施形態の装着判定の処理は、イヤホン２内に設けられたイヤホン制御装置２０で行われることが望ましい。この場合、装着判定における情報通信装置１とイヤホン２との通信を不要にすることができ、イヤホン２の消費電力を低減することができる。イヤホン２は、装着型機器であるため、小型であることが要求される。そのため、バッテリ２０８の大きさには限界があり、放電容量の大きいものを用いることが難しい。このような事情により、イヤホン２内で装着判定を完結させることによる消費電力低減が有効である。以下の説明では、特記されている場合を除き、図４の機能ブロックの各機能はイヤホン２内に設けられているものとする。

図５は、本実施形態に係るイヤホン制御装置２０により行われる装着判定処理を示すフローチャートである。図５を参照して、イヤホン制御装置２０の動作を説明する。

図５の装着判定処理は、例えば、イヤホン２の電源がオンであるときに所定の時間が経過するごとに実行される。あるいは、図５の装着判定処理は、ユーザ３がイヤホン２を操作することにより使用を開始したときに実行されてもよい。

ステップＳ１０１において、発音制御部２１３は、検査用信号を生成し、スピーカＩ／Ｆ２０５を介してスピーカ２６に検査用信号を送信する。これにより、スピーカ２６は、ユーザ３の外耳道に向けて装着判定用の検査音を発する。

なお、ステップＳ１０１において、スピーカ２６からの検査音を用いる手法に代えて、ユーザ３の体内で生じる音を用いてもよい。体内で生じる音の具体例としては、ユーザ３の呼吸、心拍、筋肉の動き等により生じる生体音が挙げられる。また、別の例としては、ユーザ３に発声を促すことによりユーザ３の声帯から発せられるユーザ３の声を用いてもよい。

ユーザ３に発声を促す処理について一例を説明する。通知情報生成部２１４は、ユーザ３に声を発するように促すため通知情報を生成する。この通知情報は、例えば音声情報であり、スピーカ２６から、「声を出してください」というようなメッセージを発することでユーザ３に発声を促すものであり得る。情報通信装置１又はイヤホン２にユーザ３が見ることができる表示装置が存在している場合には、上述のメッセージを表示装置に表示してもよい。

また、検査音を発する処理又はこの発声を促す処理は、装着判定の際に常に行われるものであってもよいが、所定の条件を満たしたとき又は所定の条件を満たさないときにのみ行われるものであってもよい。この所定の条件の一例としては、取得された音響情報に含まれる音圧レベルが判定を行うために十分なレベルでない場合が挙げられる。この条件を満たした場合、発声を促して音圧レベルの高い音響情報を取得する。これにより、装着判定の精度を向上させることができる。

ステップＳ１０２において、音響情報取得部２１１は、マイクロホン２７が受け取った音波に基づく音響情報を取得する。この音響情報は、ユーザ３の体内における共鳴に関する音響情報として記憶部２１５に記憶される。なお、音響情報取得部２１１は、音響情報の取得にあたって、フーリエ変換、相関演算、ノイズ除去、レベル補正等の信号処理を適宜行ってもよい。

ステップＳ１０３において、装着判定部２１２は、音響情報に基づいて、ユーザ３がイヤホン２を装着しているか否かを判定する。ユーザ３がイヤホン２を装着していると判定された場合（ステップＳ１０３におけるＹＥＳ）、処理はステップＳ１０４に移行する。ユーザ３がイヤホン２を装着していないと判定された場合（ステップＳ１０３におけるＮＯ）、処理はステップＳ１０５に移行する。

ステップＳ１０４において、イヤホン２は、情報通信装置１との通信、情報通信装置１から取得した情報に基づく音波の生成等の動作を継続する。所定時間の経過後、処理はステップＳ１０１に戻り、再び装着判定が行われる。

ステップＳ１０５において、イヤホン２は、情報通信装置１との通信、情報通信装置１から取得した情報に基づく音波の生成等の動作を停止し、本処理を終了する。

これにより、ユーザ３がイヤホン２を装着している場合には動作が継続され、装着していない場合にはイヤホン２の動作を停止する処理が実現される。したがって、非装着時にイヤホン２が動作することによる電力の浪費が抑制される。

なお、図５においては、ステップＳ１０５の後には処理が終了し、イヤホン２が動作しなくなるものとしているが、これは一例である。例えば、所定時間経過後に再びステップＳ１０１に戻り、再度装着判定が行われてもよく、その後ユーザ３がイヤホン２を装着していると判定された場合にイヤホン２の動作を再開してもよい。

ステップＳ１０１においてスピーカ２６が発する検査音の具体例について説明する。検査音の生成に用いられる信号の例としては、チャープ信号、Ｍ系列（Maximum Length Sequence）信号又は白色雑音等の所定範囲の周波数成分を含む信号が用いられ得る。これにより、検査音の周波数範囲を装着判定に用いることができる。

図６は、チャープ信号の特性を示すグラフである。図６は、強度と時間の関係、周波数と時間の関係及び強度と周波数の関係をそれぞれ示している。チャープ信号は、周波数が時間に応じて連続的に変化する信号である。図６には、周波数が時間に対して線形に増加するチャープ信号の例が示されている。

図７は、Ｍ系列信号又は白色雑音の特性を示すグラフである。Ｍ系列信号は、白色雑音に近い疑似雑音を生成する信号であるため、Ｍ系列信号及び白色雑音の特性はほぼ同様である。図７も図６と同様に、強度と時間の関係、周波数と時間の関係及び強度と周波数の関係をそれぞれ示している。図７に示されるようにＭ系列信号又は白色雑音は、広範囲の周波数の信号を均等に含む信号である。

チャープ信号、Ｍ系列信号又は白色雑音は、広範囲にわたって周波数が変動する周波数特性を有している。そのため、これらの信号を検査音として用いることにより、ステップＳ１０２において広範囲の周波数で反響音を取得することができる。

ステップＳ１０２において取得される反響音の具体例について説明する。図８は、反響音の特性の一例を示すグラフである。

図８の横軸は周波数を示しており、縦軸は、取得した音波の音圧レベルを示している。図８では、取得した音波を発生原因ごとに「ｎｏｉｓｅ」、「ｓｐｅｅｃｈ」、「ｅｃｈｏ」の３つに分けて表示している。

「ｎｏｉｓｅ」は、生体内雑音を示しており、具体的には、ユーザ３の呼吸、心拍、筋肉の動き等により生じる生体音を示している。図８に示されるように、「ｎｏｉｓｅ」は、１ｋＨｚ以下の範囲に集中している。

「ｓｐｅｅｃｈ」は、ユーザ３の発声により生じた音を示している。図８に示されるように、「ｓｐｅｅｃｈ」は、３ｋＨｚ以下の範囲に集中している。また、６ｋＨｚ付近に小さなピークが存在している。このピークは外耳道での反響に起因するものである。

「ｅｃｈｏ」は、検査音がユーザ３の外耳道、声道等の体内で反響したことにより生じた音を示している。図８に示されるように、「ｅｃｈｏ」は、複数のピークを有する特性を示す。２ｋＨｚ付近には、声道共鳴音による複数のピークが存在している。また、６ｋＨｚ、１２ｋＨｚ、１４ｋＨｚ付近には外耳道共鳴音の１次、２次、３次のピークがそれぞれ存在している。これらの共鳴より生じたピークは、装着判定に用いられ得る。なお、２０ｋＨｚ付近のピークは、イヤホン２の筐体等における共鳴音であるため、当該ピークは、ユーザ３の体内での反響音ではない。しかしながら、共鳴音の吸収率が装着時と非装着時で互いに異なるため、装着の有無に応じて当該ピークのレベルは変化する。そのため、２０ｋＨｚ付近のピークを装着判定に用いてもよい。

ここで、共鳴音についてより詳細に説明する。共鳴とは、一般的には、物理的な系に特定の周期で働きかけがなされた場合に、その物理的な系が特徴的な振る舞いを見せる現象のことである。音響現象の場合の共鳴の例としては、ある音響系に種々の周波数の波長の音波を送出した場合に、特定の周波数で大きな反響音が生じる現象が挙げられる。そのような反響音は共鳴音と呼ばれる。

共鳴音を説明する単純なモデルとして気柱管共鳴のモデルが知られている。図９は一方が開端で他方が閉端である気柱管の構造図である。図９の例において、気柱管の長さをＬ、音速をＶ、共鳴の次数をｎ（ｎ＝１、２、・・・）とすると、共鳴周波数ｆは、以下の式（１）となる。ただし、式（１）において開口端補正は無視している。

また、図１０は両方が閉端である気柱管の構造図である。図１０の例において、共鳴周波数ｆは、以下の式（２）となる。

式（１）及び式（２）から理解されるように、観測された共鳴周波数が高いほど、共鳴が生じた気柱管は短く、観測された共鳴周波数が低いほど、共鳴が生じた気柱管は長い。すなわち、共鳴周波数と、共鳴が生じた部分の長さは反比例の関係にあり、相互に対応付けが可能である。

具体例として、図８の６ｋＨｚ付近にみられる１次のピークについて考察する。ユーザ３がイヤホン２を装着している場合において、外耳道の構造は、両方が閉端である気柱管に相当する。そのため、式（２）を用いて気柱管の長さを算出することができる。音速Ｖは約３４０ｍ／ｓであり、共鳴周波数ｆは約６ｋＨｚであり、次数ｎは１であるため、これらを式（２）に代入すると、Ｌの値は約２．８ｃｍと算出される。この長さはおおよそ人間の外耳道の長さと合致するため、図８の６ｋＨｚ付近にみられるピークは確かに外耳道共鳴によるものであるといえる。外耳道以外の人間の体内の空洞（声道、呼吸器等）も気柱管のモデルで説明できるため、同様に共鳴周波数と空洞の長さとを対応付けることができる。これにより、反響音の特性に含まれるピークから共鳴が生じた部分の長さを特定することができ、共鳴部位を特定することもできる。

次に、ステップＳ１０３における装着判定の具体例を説明する。図１１は、装着判定に用いられる音響信号の種類と判定基準を示す表である。生体音（図８の「ｎｏｉｓｅ」）は、ユーザ３の体内で発生するものであるため、イヤホン２を装着していない場合には、検出されないか、あるいは検出されたとしても非常に小さい音圧となる。したがって、１ｋＨｚ以下の所定の検出周波数の音響信号の音圧レベルが所定の閾値未満である場合には、非装着であると判定し、閾値以上である場合には、装着していると判定するアルゴリズムにより装着判定が可能である。

声道反響音（図８の「ｅｃｈｏ」の２ｋＨｚ付近）も、ユーザ３の体内で発生するものであるため、イヤホン２を装着していない場合には、検出されないかあるいは検出されたとしても非常に小さい音圧となる。したがって、２ｋＨｚ付近の音響信号の音圧レベルにピークが存在しないか又は十分に小さい場合には、非装着であると判定し、ピークが存在する場合には、装着していると判定するアルゴリズムにより装着判定が可能である。

外耳道反響音（図８の「ｅｃｈｏ」の５－２０ｋＨｚ付近）も、ユーザ３の体内で発生するものであるため、イヤホン２を装着していない場合には、検出されないかあるいは検出されたとしても非常に小さい音圧となる。したがって、５－２０ｋＨｚ付近の音響信号の音圧レベルにピークが存在しないか又は十分に小さい場合には、非装着であると判定し、ピークが存在する場合には、装着していると判定するアルゴリズムにより装着判定が可能である。

なお、生体音により、声道反響音又は外耳道反響音によるピークが発生することもあるため、生体音によって生じたピークを装着判定に用いてもよいが、ピークが微弱であることが多い。そのため、声道反響音又は外耳道反響音のピークを装着判定に用いる場合には、検査音を用いるか、あるいは発声を促す処理を行うことが望ましい。声道反響音のピークは、外耳道に検査音を発した場合よりも発声した場合の方が大きくなるため、声道反響音装着判定に用いる場合には、発声を促す処理を行うことが望ましい。外耳道反響音のピークは、発声した場合よりも外耳道に検査音を発した場合の方が大きくなるため、声道反響音装着判定に用いる場合には、検査音を用いた処理を行うことが望ましい。

装着判定は、図１１に示すもののいずれか１つを用いるものであってもよいが、１つ又は複数の基準をパラメータ化して、装着状態スコアを算出し、その装着状態スコアが閾値以上であるか否かに基づいて行われるものであってもよい。

本実施形態によれば、イヤホン２等の装着型機器を装着しているユーザ３の体内における共鳴に関する音響情報を取得し、これに基づいてユーザ３が装着型機器を装着しているか否かを判定することができる。これにより、外来音のある環境のみならず、外来音がない静かな環境であっても装着判定を行うことができる。また、体内の共鳴を判定に用いているため、密閉環境における誤判定が生じにくい。したがって、より広範な環境で装着型機器の装着判定を行うことができる情報処理装置を提供することができる。

本実施形態において、検査音を用いて装着判定を行う場合には、スピーカ２６から音波が発せられてから、マイクロホン２７において音波が取得されるまでの反響時間に基づいてユーザ３がイヤホン２を装着しているか否かを判定してもよい。検査音が外耳道に向けて発せられ、反響音が取得されるまでの時間は、ユーザ３の外耳道における音波の往復時間であるため、外耳道の長さにより定まる。この反響時間が外耳道の長さにより定まる時間から大幅にずれる場合には、イヤホン２が装着されていない可能性が高い。したがって、反響時間を装着判定の要素として用いることにより、より高精度に装着判定を行う事ができる。

［第２実施形態］
本実施形態の情報処理システムは、イヤホン２の構造及び装着判定の処理が第１実施形態と相違する。以下では主として第１実施形態との相違点について説明するものとし、共通部分については説明を省略又は簡略化する。

図１２は、本実施形態に係る情報処理システムの全体構成を示す模式図である。本実施形態において、イヤホン２は、互いに異なる位置に配された複数のマイクロホン２７、２８を備えている。マイクロホン２８は、イヤホン制御装置２０によって制御される。マイクロホン２８は、装着時に外部から音波を受けることができるようにイヤホン２の装着面とは反対の背面側に配されている。

本実施形態のイヤホン２は、生体音を用いた装着判定を行う際により有効である。生体音は、呼吸音、心音、筋肉の動き等によるものであるため音圧が微弱であり、生体音を用いた装着判定は、外部ノイズにより精度が不十分となる場合がある。

生体音は生体内で発生するため、生体を通じて伝搬する成分が多い。したがって、イヤホン２の装着時には、マイクロホン２８で取得される生体音よりもマイクロホン２７で取得される生体音のほうが大きくなる。そこで、マイクロホン２８で取得される生体音よりもマイクロホン２７で取得される生体音が大きい場合に装着状態であると判定することができる。この手法では、外部ノイズの影響がキャンセルされるため、閾値との大小関係を比較する手法に比べて高い精度での装着判定が可能になる。したがって、本実施形態によれば、第１実施形態と同様の効果が得られることに加え、高い精度での装着判定が実現され得る。

［第３実施形態］
本実施形態の情報処理システムは、図５のステップＳ１０３における装着判定処理のアルゴリズムが第１実施形態と相違する。以下では主として第１実施形態との相違点について説明するものとし、共通部分については説明を省略又は簡略化する。

本実施形態では、１つ又は複数の基準をパラメータ化して、装着状態スコアを算出し、その装着状態スコアが閾値以上であるか否かに基づいて装着判定が行われているものとする。また、図５の処理において、ステップＳ１０５において動作が停止された後もステップＳ１０１に戻り、一定の周期で装着判定が繰り返されるものとする。図１３は、本実施形態に係る装着状態スコアの時間変化の一例を示すグラフである。図中の装着状態スコアＳ１が装着状態と非装着状態の間の閾値（第１の閾値）である。

第１実施形態の手法では、装着状態スコアが第１の閾値以上である場合に装着状態であると判定され、第１の閾値未満である場合に非装着状態であると判定される。そのため、時刻ｔ１以前の期間、時刻ｔ２から時刻ｔ３の間の期間及び時刻ｔ４以降の期間が非装着状態であり、時刻ｔ１から時刻ｔ２の間の期間及び時刻ｔ３から時刻ｔ４の間の期間が装着状態であると判定される。

この場合、時刻ｔ２から時刻ｔ３のように短時間に装着状態スコアが変動した場合にも状態が切り替わる。ユーザ３がイヤホン２を短時間に着脱を繰り返すことはあまりないため、このような短時間の変動は装着状態を適切に示していない場合が多い。特に、イヤホン２を装着しているにもかかわらず非装着であると判定されると、イヤホン２の機能の一部が停止されるため、ユーザ３の利便性を損なうことになる。そこで、本実施形態の情報処理システムは、短時間に装着状態スコアが変動した場合等の場合には、状態が切り替りにくくするように装着判定処理を行う。なお、このような短時間の変化が生じる例としては、ユーザ３がイヤホン２に触ったときが挙げられる。以下、本実施形態において適用され得る装着判定処理の例を４つ説明する。

（装着判定処理の第１例）
本実施形態に係る装着判定処理の第１例は、装着状態スコアが第１の閾値以上の状態から第１の閾値よりも小さい状態に変化した場合に、所定の期間、装着状態を維持するようにするものである。装着状態が維持される期間内に装着状態スコアが第１の閾値以上に戻った場合には、非装着状態にはならなかったものとして扱う。これにより、図１３の時刻ｔ２から時刻ｔ３のように短時間だけ装着状態スコアが低下した場合には、装着状態が維持される。

（装着判定処理の第２例）
本実施形態に係る装着判定処理の第２例は、装着判定に用いる閾値を２つ設けるものである。図１４は、２つの閾値により装着状態の判定を行う例を示すグラフである。図１４の装着状態スコアＳ１は、非装着状態から装着状態への切り替えを判定するための第１の閾値であり、装着状態スコアＳ２は、装着状態から非装着状態への切り替えを判定するための第２の閾値である。

本例においては、時刻ｔ２から時刻ｔ３の間、装着状態スコアは、第１の閾値を下回るものの、第２の閾値を下回らないので、装着状態が維持される。時刻ｔ４から時刻ｔ５の期間においても同様に装着状態が維持される。時刻ｔ５以降、装着状態スコアが第２の閾値以下になると非装着状態であると判定される。このように本例では、２つの閾値を設けることにより、装着状態から非装着状態への切り替えと非装着状態から装着状態への切り替えにヒステリシスを与えることができる。したがって、短時間に起こる装着状態スコアの微小変動による装着状態と非装着状態の切り替わりが抑制される。

（装着判定処理の第３例）
本実施形態に係る装着判定処理の第３例は、装着状態スコアに応じて装着判定の間隔が異なるようにするというものである。より具体的には、装着状態スコアが所定値よりも大きいときには、装着判定の間隔を長時間に設定し、装着状態スコアが所定値よりも小さいときには、装着判定の間隔を短時間に設定する。この所定値は、装着判定に用いる第１の閾値よりも高い値に設定する。これにより、図１３の時刻ｔ２、ｔ４付近のように装着状態スコアが低くなってきたときには装着判定の間隔が長くなるため、短時間の装着状態スコア変動による状態の切り替わりが起こりにくくなる。したがって、図１３の時刻ｔ２から時刻ｔ３のように短時間だけ装着状態スコアが低下した場合には、装着状態が維持されやすくなる。

（装着判定処理の第４例）
本実施形態に係る装着判定処理の第４例は、装着状態スコアと第１の閾値との差に応じて装着判定の間隔が異なるようにするというものである。より具体的には、装着状態スコアと閾値の差が所定値よりも大きいときには、装着判定の間隔を長時間に設定し、装着状態スコアと第１の閾値の差が所定値よりも小さいときには、装着判定の間隔を短時間に設定する。これにより、図１３の時刻ｔ１、ｔ２、ｔ３、ｔ４付近のように装着状態スコアが閾値に近いときには装着判定の間隔が長くなるため、短時間の装着状態スコア変動による状態の切り替わりが起こりにくくなる。したがって、図１３の時刻ｔ２から時刻ｔ３のように短時間だけ装着状態スコアが低下した場合には、装着状態が維持されやすくなる。

以上のように、本実施形態においては、短時間に装着状態スコアが変動した場合等の場合には、状態が切り替りにくくするような装着判定処理が実現される。そのため、イヤホン２を装着しているにもかかわらず非装着であると判定されてイヤホン２が使用不能になる等のユーザ３の利便性を損なう事態が生じる可能性が低減される。したがって、本実施形態によれば、第１実施形態と同様の効果が得られることに加え、ユーザの利便性が向上され得る。

上述の実施形態において説明したシステムは以下の第４実施形態のようにも構成することができる。

［第４実施形態］
図１５は、第４実施形態に係る情報処理装置４０の機能ブロック図である。情報処理装置４０は、音響情報取得部４１１及び装着判定部４１２を備える。音響情報取得部４１１は、装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得する。装着判定部４１２は、音響情報に基づいて、ユーザが前記装着型機器を装着しているか否かを判定する。

本実施形態によれば、より広範な環境で装着型機器の装着判定を行うことができる情報処理装置４０が提供される。

［変形実施形態］
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

上述の実施形態では、装着型機器の例としてイヤホン２を例示しているが、処理に必要な音響情報を取得可能であれば、耳に装着されるものに限定されるものではない。例えば、装着型機器は、骨伝導型の音響装置であってもよい。

また、上述の実施形態では、例えば図８に示されるように、装着判定に用いられる音の周波数範囲は２０ｋＨｚ以下の可聴範囲内であるが、これに限られるものではなく、検査音は非可聴音であってもよい。例えば、スピーカ２６、マイクロホン２７の周波数特性が超音波帯域まで対応可能であれば、検査音は超音波であってもよい。この場合、装着判定時に検査音が聞こえることによる不快感が軽減される。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の回路であってもよい。

該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disk）－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Operating System）上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software as a Service）の形態でユーザに対して提供することもできる。

なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得する音響情報取得部と、
前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する装着判定部と、
を備える、情報処理装置。

（付記２）
前記音響情報は、前記ユーザの声道における共鳴に関する情報を含む、
付記１に記載の情報処理装置。

（付記３）
前記装着判定部は、前記声道における共鳴に対応する周波数の信号のピークに基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
付記２に記載の情報処理装置。

（付記４）
前記音響情報は、前記ユーザの外耳道における共鳴に関する情報を含む、
付記１乃至３のいずれか１項に記載の情報処理装置。

（付記５）
前記装着判定部は、前記外耳道における共鳴に対応する周波数の信号のピークに基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
付記４に記載の情報処理装置。

（付記６）
前記装着型機器は、前記ユーザの外耳道に向けて音波を発する音波発生部を備える、
付記１乃至５のいずれか１項に記載の情報処理装置。

（付記７）
前記音響情報に含まれる音圧レベルが前記装着判定部における判定に対して十分でない場合に、前記音波発生部が音波を発するよう制御する発音制御部を更に備える、
付記６に記載の情報処理装置。

（付記８）
前記装着判定部は、前記音波発生部から音波が発せられてから、前記装着型機器において反響音が取得されるまでの反響時間に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
付記６又は７に記載の情報処理装置。

（付記９）
前記反響時間は、前記ユーザの外耳道における音波の往復時間に基づくものである、
付記８に記載の情報処理装置。

（付記１０）
前記音波発生部が発する音波は、チャープ信号、Ｍ系列信号又は白色雑音に基づく周波数特性を有する、
付記６乃至９のいずれか１項に記載の情報処理装置。

（付記１１）
前記音響情報に含まれる音圧レベルが前記装着判定部における判定に対して十分でない場合に、前記ユーザに対して声を発するように促すための通知情報を生成する通知情報生成部を更に備える、
付記１乃至１０のいずれか１項に記載の情報処理装置。

（付記１２）
前記装着判定部は、前記音響情報に基づくスコアと第１の閾値との大小関係に基づいて前記ユーザが前記装着型機器を装着しているか否かを判定する、
付記１乃至１１のいずれか１項に記載の情報処理装置。

（付記１３）
前記スコアが前記第１の閾値以上である状態から前記スコアが前記第１の閾値よりも小さい状態に変化した後、前記装着型機器は、少なくとも一部の機能を停止する、
付記１２に記載の情報処理装置。

（付記１４）
前記スコアが前記第１の閾値よりも小さい状態に変化した後、所定の期間内に前記スコアが前記第１の閾値以上に再び変化した場合に、前記装着型機器は、前記少なくとも一部の機能を停止しない、
付記１３に記載の情報処理装置。

（付記１５）
前記装着判定部は、前記第１の閾値よりも小さい第２の閾値に更に基づいて前記ユーザが前記装着型機器を装着しているか否かを判定し、
前記スコアが前記第１の閾値以上である状態から前記スコアが前記第１の閾値よりも小さい状態に変化した後、前記スコアが前記第２の閾値よりも小さい状態に変化しなかった場合には、前記装着型機器は、前記少なくとも一部の機能を停止しない、
付記１３に記載の情報処理装置。

（付記１６）
前記装着型機器は、前記ユーザの耳に装着される音響機器である、
付記１乃至１５のいずれか１項に記載の情報処理装置。

（付記１７）
前記音響情報は、前記ユーザの体内で生じた音に関する情報を含む、
付記１乃至１６のいずれか１項に記載の情報処理装置。

（付記１８）
前記装着判定部は、前記ユーザの体内で生じた音に対応する周波数の音圧レベルに基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
付記１７に記載の情報処理装置。

（付記１９）
前記装着判定部は、互いに異なる位置に配された複数のマイクロホンにより取得された前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
付記１乃至１８のいずれか１項の記載の情報処理装置。

（付記２０）
装着型機器であって、
前記装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得する音響情報取得部と、
前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する装着判定部と、
を備える、装着型機器。

（付記２１）
装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得するステップと、
前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定するステップと、
を備える、情報処理方法。

（付記２２）
コンピュータに、
装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得するステップと、
前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定するステップと、
を実行させるためのプログラムが記憶された記憶媒体。

１ 情報通信装置
２ イヤホン
３ ユーザ
２０ イヤホン制御装置
２６ スピーカ
２７、２８ マイクロホン
４０ 情報処理装置
１０１、２０１ ＣＰＵ
１０２、２０２ ＲＡＭ
１０３、２０３ ＲＯＭ
１０４ ＨＤＤ
１０５、２０７ 通信Ｉ／Ｆ
１０６ 入力装置
１０７ 出力装置
２０４ フラッシュメモリ
２０５ スピーカＩ／Ｆ
２０６ マイクロホンＩ／Ｆ
２０８ バッテリ
２１１、４１１ 音響情報取得部
２１２、４１２ 装着判定部
２１３ 発音制御部
２１４ 通知情報生成部
２１５ 記憶部

Claims (25)

1. 装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得する音響情報取得部と、
   前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する装着判定部と、
   前記音響信号に基づいて、前記ユーザの認証を実行する認証部と、
   を備え、
   前記ユーザが前記装着型機器を装着していないと前記装着判定部によって判定される場合、前記装着型機器は、少なくとも一部の機能を所定時間停止し、
   前記所定時間の経過後、前記装着型機器は、前記少なくとも一部の機能を再開する、情報処理装置。
2. 前記音響情報は、前記ユーザの声道における共鳴に関する情報を含む、
   請求項１に記載の情報処理装置。
3. 前記装着判定部は、前記声道における共鳴に対応する２ｋＨｚ付近の周波数の信号のピークに基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
   請求項２に記載の情報処理装置。
4. 前記音響情報は、前記ユーザの外耳道における共鳴に関する情報を含む、
   請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記装着判定部は、前記外耳道における共鳴に対応する２ｋＨｚ付近の周波数の信号のピークに基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
   請求項４に記載の情報処理装置。
6. 前記装着型機器は、前記ユーザの外耳道に向けて音波を発する音波発生部を備える、
   請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記音響情報に含まれる音圧レベルが前記装着判定部における判定に対して十分でない場合に、前記音波発生部が音波を発するよう制御する発音制御部を更に備える、
   請求項６に記載の情報処理装置。
8. 前記装着判定部は、前記音波発生部から音波が発せられてから、前記装着型機器において反響音が取得されるまでの反響時間に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
   請求項６又は７に記載の情報処理装置。
9. 前記反響時間は、前記ユーザの外耳道における音波の往復時間に基づくものである、
   請求項８に記載の情報処理装置。
10. 前記音波発生部が発する音波は、チャープ信号、Ｍ系列信号又は白色雑音に基づく周波数特性を有する、
    請求項６乃至９のいずれか１項に記載の情報処理装置。
11. 前記音響情報に含まれる音圧レベルが前記装着判定部における判定に対して十分でない場合に、前記ユーザに対して声を発するように促すための通知情報を生成する通知情報生成部を更に備える、
    請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記装着判定部は、前記音響情報に基づくスコアと第１の閾値との大小関係に基づいて前記ユーザが前記装着型機器を装着しているか否かを判定する、
    請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記スコアが前記第１の閾値以上である状態から前記スコアが前記第１の閾値よりも小さい状態に変化した後、前記装着型機器は、前記少なくとも一部の機能を停止する、
    請求項１２に記載の情報処理装置。
14. 前記スコアが前記第１の閾値よりも小さい状態に変化した後、所定の期間内に前記スコアが前記第１の閾値以上に再び変化した場合に、前記装着型機器は、前記少なくとも一部の機能を停止しない、
    請求項１３に記載の情報処理装置。
15. 前記装着判定部は、前記第１の閾値よりも小さい第２の閾値に更に基づいて前記ユーザが前記装着型機器を装着しているか否かを判定し、
    前記スコアが前記第１の閾値以上である状態から前記スコアが前記第１の閾値よりも小さい状態に変化した後、前記スコアが前記第２の閾値よりも小さい状態に変化しなかった場合には、前記装着型機器は、前記少なくとも一部の機能を停止しない、
    請求項１３に記載の情報処理装置。
16. 前記装着型機器は、前記ユーザの耳に装着される音響機器である、
    請求項１乃至１５のいずれか１項に記載の情報処理装置。
17. 前記音響情報は、前記ユーザの体内で生じた音に関する情報を含む、
    請求項１乃至１６のいずれか１項に記載の情報処理装置。
18. 前記装着判定部は、前記ユーザの体内で生じた音に対応する２ｋＨｚ付近の周波数の音圧レベルに基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
    請求項１７に記載の情報処理装置。
19. 前記装着判定部は、互いに異なる位置に配された複数のマイクロホンにより取得された前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する、
    請求項１乃至１８のいずれか１項の記載の情報処理装置。
20. 前記装着判定部は、前記スコアに応じた間隔で前記ユーザが前記装着型機器を装着しているか否かを繰り返し判定する、
    請求項１２乃至１９のいずれか１項に記載の情報処理装置。
21. 前記間隔は、前記スコアと前記第１の閾値との差に基づいて設定される、
    請求項２０に記載の情報処理装置。
22. 前記スコアは、複数の基準をパラメータ化することによって算出される、
    請求項１２乃至２１のいずれか１項に記載の情報処理装置。
23. 装着型機器であって、
    前記装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得する音響情報取得部と、
    前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定する装着判定部と、
    前記音響信号に基づいて、前記ユーザの認証を実行する認証部と、
    前記ユーザが前記装着型機器を装着していないと前記装着判定部によって判定される場合、前記装着型機器の少なくとも一部の機能を所定時間停止させる停止部と、
    前記所定時間の経過後、前記装着型機器の前記少なくとも一部の機能を再開させる再開部と、
    を備える、装着型機器。
24. 装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得するステップと、
    前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定するステップと、
    前記音響信号に基づいて、前記ユーザの認証を実行するステップと、
    前記ユーザが前記装着型機器を装着していないと判定される場合、前記装着型機器の少なくとも一部の機能を所定時間停止するステップと、
    前記所定時間の経過後、前記装着型機器の前記少なくとも一部の機能を再開するステップと、
    を備える、情報処理方法。
25. コンピュータに、
    装着型機器を装着するユーザの体内における共鳴に関する音響情報を取得するステップと、
    前記音響情報に基づいて、前記ユーザが前記装着型機器を装着しているか否かを判定するステップと、
    前記音響信号に基づいて、前記ユーザの認証を実行するステップと、
    前記ユーザが前記装着型機器を装着していないと判定される場合、前記装着型機器の少なくとも一部の機能を所定時間停止するステップと、
    前記所定時間の経過後、前記装着型機器の前記少なくとも一部の機能を再開するステップと、
    を実行させるためのプログラム。

Images