JP2011253374A - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

Abstract

【課題】ユーザ状態等を解析してユーザの困り度を判定して判定結果に応じてヘルプ情報を提供する装置および方法を実現する。
【解決手段】カメラの撮影画像の解析処理を実行する画像解析部の解析結果と、マイクから入力する音声の解析処理を実行する音声解析部の解析結果を入力して、ユーザに対するヘルプ情報の出力制御を実行するデータ処理部を有する。データ処理部は、画像解析結果として、例えばユーザの顔の向きが装置方向を向いているか否か等のユーザ情報を取得し、取得したユーザ情報に基づいて、ユーザの困り度を算出し、算出した困り度が規定の閾値以上である場合にユーザに対してヘルプ情報を出力する処理を行う。
【選択図】図３

Description

本発明は、情報処理装置、および情報処理方法、並びにプログラムに関する。特に、ユーザの発話等に基づいて様々な処理を実行する情報処理装置、および情報処理方法、並びにプログラムに関する。

ＰＣや、テレビ、録画再生機、その他、様々な家電製品を操作する場合、ユーザは、各装置に備えられた入力部やあるいはリモコンなどを操作して、所望の処理を装置に実行させる。例えばＰＣを利用する場合にはキーボードやマウスを入力デバイスとして用いることが多い。また、テレビや録画再生機などに対してはリモコンを用いて、様々な処理、例えばチャンネルの切り替えや再生コンテンツの選択などを行うことが多い。

このような様々な装置に対する指示を、ユーザの発話や動作によって実行するシステムについて、様々な研究がなされている。具体的には音声認識処理を用いてユーザの発話を認識するシステムや、画像処理を用いてユーザの行動やジェスチャーを認識するシステムなどである。

リモコン、キーボート、マウス等の一般的な入力デバイスに加えて、音声認識や画像認識など、様々な複数のコミュニケーションモードを利用して、ユーザとのコミュニケーションを実行するインタフェースは、マルチモーダル・インタフェースと呼ばれる。マルチモーダル・インタフェースについて開示した従来技術として、例えば、特許文献１（ＵＳ特許６９８８０７２号公報）がある。

しかしながら、このようなマルチモーダル・インタフェース等において利用される音声認識装置や画像認識装置は処理能力に限界があり、理解できるユーザの発話や動作が限られてしまう。従って、ユーザの意思が正確にシステム側に伝わらない場合も多いというのが現状である。特に音声認識のシステムにおいて，ユーザの発話できるコマンドの種類が増えれば増えるほど，ユーザは自然なインタラクションを行うことができるが，何が受け付けられるのか，利用可能なコマンドを知ることができず，次に何を発話してよいか困る時がある。

ＵＳ特許第６，９８８，０７２号公報

本発明は、例えば上記問題点に鑑みてなされたものであり、ユーザの発話や動作などの音声情報や画像情報を情報処理装置が入力して処理を実行するマルチモーダルなインタラクションシステムにおいて、例えばユーザの存在、ユーザの顔の向き、ユーザの状態、システムの状態、今までの応答の履歴等に応じて最適なヘルプ情報をユーザに提供することを可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
カメラの撮影画像の解析処理を実行する画像解析部と、
マイクから入力する音声の解析処理を実行する音声解析部と、
前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対するヘルプ情報の出力制御を実行するデータ処理部を有し、
前記データ処理部は、
画像解析結果または音声解析結果の少なくともいずれかの解析結果に基づいて、ユーザの困り度を算出し、算出した困り度が規定の閾値以上である場合にユーザに対してヘルプ情報を出力する処理を行う情報処理装置にある。

さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、画像解析結果からユーザの顔の向きが情報処理装置の方向を向いているか否かを判定し、該判定情報を適用して前記困り度の算出を実行する。

さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、画像解析結果からユーザの顔が一定の方向を向いている持続時間を判定し、該判定情報を適用して前記困り度の算出を実行する。

さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、ユーザの要求に応じた処理が実行されたか否かの判定情報を適用して前記困り度の算出を実行する。

さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、ユーザ要求の棄却回数情報に基づいてユーザレベルを判定し、該判定情報を適用して前記困り度の算出を実行する。

さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、情報処理装置からのユーザに対する応答処理からの経過時間情報に基づいて前記困り度の算出を実行する。

さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、情報処理装置の状態遷移を取得して保持するシステム状態制御部を有し、前記データ処理部は、前記システム状態制御部の保持したシステム状態に応じたヘルプ情報を出力する処理を行う。

さらに、本発明の第２の側面は、
情報処理装置において実行する情報処理方法であり、
画像解析部が、カメラの撮影画像の解析処理を実行する画像解析ステップと、
音声解析部が、マイクから入力する音声の解析処理を実行する音声解析ステップと、
データ処理部が、前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対するヘルプ情報の出力制御を実行するデータ処理ステップを実行し、
前記データ処理ステップは、
画像解析結果または音声解析結果の少なくともいずれかの解析結果に基づいて、ユーザの困り度を算出し、算出した困り度が規定の閾値以上である場合にユーザに対してヘルプ情報を出力する処理を行うステップである情報処理方法にある。

さらに、本発明の第３の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
画像解析部に、カメラの撮影画像の解析処理を実行させる画像解析ステップと、
音声解析部に、マイクから入力する音声の解析処理を実行させる音声解析ステップと、
データ処理部に、前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対するヘルプ情報の出力制御を実行させるデータ処理ステップを有し、
前記データ処理ステップは、
画像解析結果または音声解析結果の少なくともいずれかの解析結果に基づいて、ユーザの困り度を算出し、算出した困り度が規定の閾値以上である場合にユーザに対してヘルプ情報を出力する処理を行わせるステップであるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、ユーザ状態を解析してユーザの困り度を判定して判定結果に応じてヘルプ情報を提供する装置および方法が実現される。具体的には、データ処理部が、カメラの撮影画像の解析処理を実行する画像解析部の解析結果と、マイクから入力する音声の解析処理を実行する音声解析部の解析結果を入力して、ユーザに対するヘルプ情報の出力制御を実行する。データ処理部は、画像解析結果として、例えばユーザの顔の向きが装置方向を向いているか否か等のユーザ情報を取得し、取得したユーザ情報に基づいて、ユーザの困り度を算出し、算出した困り度が規定の閾値以上である場合にユーザに対してヘルプ情報を出力する処理を行う。

本発明の情報処理装置の利用例について説明する図である。 本発明の情報処理装置の構成例を示すブロック図である。 本発明の情報処理装置の詳細な構成例を示すブロック図である。 本発明の情報処理装置の実行する処理例について説明するフローチャートを示す図である。 本発明の情報処理装置の実行する処理例について説明するフローチャートを示す図である。 本発明の情報処理装置の実行する処理例について説明するフローチャートを示す図である。 本発明の情報処理装置の実行する処理例について説明するフローチャートを示す図である。 本発明の情報処理装置の実行する処理例について説明する図である。 本発明の情報処理装置の実行する処理例について説明する図である。 本発明の情報処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本発明の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本発明の情報処理装置の実行する処理の概要について
２．本発明の情報処理装置の構成例について
３．ユーザに対するヘルプ情報の出力処理の具体例について
４．情報処理装置のハードウェア構成例について

［１．本発明の情報処理装置の実行する処理の概要について］
まず、図１を参照して本発明の情報処理装置の実行する処理の概要について説明する。図１には、本発明に係る情報処理装置の例としてテレビを示している。情報処理装置１００は、例えば、放送コンテンツの表示処理の他、内蔵する録画再生機器、例えばハードディスク、ＤＶＤやＢｌｕ−ｒａｙディスク等に記録されたコンテンツの再生処理や、録画再生機器に対する番組の録画処理などを実行する。

情報処理装置１００の前には、複数のユーザがいる。図に示す例では、ユーザａ，１１、ユーザｂ，１２、ユーザｃ，１３がいる。これらのユーザは、情報処理装置１００に対して、様々な要求を行う。例えばチャンネルの切り替え、ボリュームの調整、録画処理の開始、あるいは記録コンテンツの一覧リストの表示、リストからのコンテンツの選択再生要求、再生の停止、早送りなどの要求である。

ユーザは、これらの要求を音声、すなわち発話によって行う。情報処理装置１００は、カメラ１０１、マイクとスピーカを備えた音声入出力部１０２を有する。ユーザａ〜ｃ，１１〜１３の発する言葉は、マイクとスピーカを備えた音声入出力部１０２を介して情報処理装置１００内に入力される。また、ユーザａ〜ｃ，１１〜１３の画像は、カメラ１０１を介して情報処理装置１００内に入力される。

情報処理装置１０１は、これらの入力情報を解析して、装置が実行すべきアクションを決定し、実行する。ユーザの要求が理解できた場合は、その要求に応じた処理を実行する。例えばチャンネルの切り替えやコンテンツの選択再生処理などである。

例えば、本発明の情報処理装置１０１は、例えばユーザの過去数ステップの顔の向き、注視方向、一つ前の発話からの経過時間、システムからの応答を最後に出力してからの経過時間、過去数ステップのユーザの音声コマンドに対するシステムからの行動、システムの現在の状態等を解析し、この解析結果に応じてユーザがシステムからの助けを必要としている状態かどうかを推定し、困っていると推定された時には利用可能なコマンド例、あるいはヘルプを表示するためのコマンドの提示などのヘルプ情報の出力を行う。これらの具体的な処理については後段で説明する。

［２．本発明の情報処理装置の構成例について］
次に、図２を参照して本発明の情報処理装置の構成例について説明する。図２に示す情報処理装置１００は、例えば図１に示す情報処理装置１００に対応する。なお、本発明の情報処理装置はテレビに限らず、ＰＣや、録画再生機、その他、様々な家電製品として実現可能である。すなわち、ユーザ要求に応じて様々な処理を行う情報処理装置である。

図２に示すように情報処理装置１００は、画像入力部（カメラ）２０１、画像解析部２０２、音声入力部（マイク）２０３、音声解析部２０４、データ処理部２０５、音声出力部（スピーカ）２０６、画像出力部（表示部）２０７を有する。

画像入力部（カメラ）２０１は、情報処理装置２００の周囲の画像、例えばユーザの画像を入力する。画像入力部（カメラ）２０１の撮影した画像は画像解析部２０２に入力される。画像解析部２０２は、例えば、予め記憶部に格納済みのユーザの顔情報などの登録情報を用いて、撮影画像に含まれるユーザの識別処理を実行する。具体的には、ユーザの位置、ユーザが誰であるかなどの情報を解析する。この解析情報がデータ処理部２０５に入力される。

音声入力部（マイク）２０３は、情報処理装置２００の周囲の音声情報、例えばユーザの発話を入力する。音声入力部（マイク）２０３の入力した音声情報は音声解析部２０４に入力される。音声解析部２０４は、音声解析用の辞書を記憶部内に有しており、ユーザの発話した単語を、辞書を用いて解析し、解析情報をデータ処理部２０５に入力する。

データ処理部２０５では、音声解析部２０４から音声解析情報を入力し、画像解析部２０２から画像解析情報を入力し、入力情報に従って、情報処理装置が実行する処理（アクション）を決定する。すなわち、前述したように、ユーザの要求が理解できた場合は、その要求に応じた処理を実行する。例えばチャンネルの切り替えやコンテンツの選択再生処理などである。

さらに、データ処理部２０５は、例えばユーザの過去数ステップの顔の向き、注視方向、一つ前の発話からの経過時間、システムからの応答を最後に出力してからの経過時間、過去数ステップのユーザの音声コマンドに対するシステムからの行動、システムの現在の状態等を解析し、この解析結果に応じてユーザがシステムからの助けを必要としている状態かどうかを推定し、困っていると推定された時には利用可能なコマンド例、あるいはヘルプを表示するためのコマンドの提示などのヘルプ情報の出力を行う。

ヘルプ情報の出力処理は、音声出力部（スピーカ）２０６を介した音声出力、あるいは画像出力部（表示部）２０７を介した画像出力のいずれか、あるいはその組み合わせによって行われる。この具体的な内容については後段で説明する。

図３は、図２に示した情報処理装置１００の詳細構成を示す図である。
画像解析部２０２は、顔・顔方向認識部３１１と、人認識部３１２を有する。
音声解析部２０４は、音声検出部３２１と、意味検出部３２２を有する。
データ処理部２０５は、ユーザ情報管理部３３１と、ユーザインタラクション状態推定部３２２、システム状態制御部３３３、システム応答生成部３３４、およびシステム応答出力部３３５を有する。

画像解析部２０２の、顔・顔方向認識部３１１と、人認識部３１２では、画像入力部（カメラ）２０１から入力する撮像画像から、予め規定したあるフレーム間隔毎のサンプルタイム毎に顔や人がフレーム画像中に存在するか、さらに存在している場合には、顔の属性（顔の角度，推定年齢，性別等）の推定、顔の方向の解析、顔認識などを行う。なお、これらの処理に必要な辞書データや顔画像情報は画像解析部２０２内のメモリに登録されている。例えば、顔認識処理等の処理は、画像入力部２０１を介して入力した画像から識別した人の顔に基づいて、予め登録した顔画像データとのマッチング処理を実行して行われる。

音声解析部２０４の音声検出部３２１と、意味検出部３２２では、音声入力部（マイク）２０３から入力する音声データに基づいて音声源の方向推定、音声区間の検出、意味理解、信頼度付加などを行う。音声解析部２０４は、音声解析用の辞書を記憶部内に有しており、ユーザの発話した単語を、辞書を用いて解析し、解析情報をデータ処理部２０５に入力する。

この音声解析処理に際しては、音声以外の音を棄却し、人の声のみを取得する処理が行われる。さらに取得した音声情報に基づく意味抽出処理が実行される。この処理は、例えば音声解析部２０４の保持する辞書データとのマッチング処理をベースとして行われる。この処理において、マッチする登録単語がない場合などには、無意味な発話としてデータが棄却される。さらに音声認識の信頼度が算出される。信頼度は、例えば音声解析部２０４の保持する辞書データとのマッチング率等に基づいて行われ、予め設定した閾値等との比較により信頼度が低いと判断された発話は棄却されることになる。

データ処理部２０５は、図３に示すようにユーザ情報管理部３３１と、ユーザインタラクション推定部３２２、システム状態制御部３３３、システム応答生成部３３４、およびシステム応答出力部３３５を有する。

ユーザ情報管理部３３１は、顔・顔方向認識部３１１と、人認識部３１２からの出力情報、例えば画像中に顔が含まれるか否か、さらに含まれる場合は顔の属性（顔の角度，推定年齢，性別等）の推定、顔の方向の解析、顔認識結果等の情報を入力する。さらに、音声解析部２０４の意味検出部３２２から、発話内容についての情報を入力する。ユーザ情報管理部３３１は、これらの入力情報をユーザ管理情報として保持、管理する。なお、これ等の情報は、時間経過に伴って、順次更新される情報であり、ユーザ情報管理部３３１は、各サンプリングタイム（ｔ，ｔ＋１，ｔ＋２・・・）対応のユーザ情報として、これらの情報をメモリに記録して管理する。

ユーザ情報管理部３３１の保持したユーザ情報は、ユーザインタラクション状態推定部３３２に提供される。
ユーザインタラクション状態推定部３３２は、例えば以下の処理を実行する。
（処理Ａ）現在から過去の規定時間中（＝所定のサンプリングタイム期間）におけるユーザの顔の向き、注視方向、顔の向きの持続時間等の解析処理。
（処理Ｂ）現在から過去の規定時間中（＝所定のサンプリングタイム期間）におけるシステム（情報処理装置）の動作履歴（音声区間検出失敗やドメイン外発話の有無）、ユーザの習熟度の解析処理。
（処理Ｃ）システム（情報処理装置）からのユーザへの最後の応答からの経過時間に応じて、ユーザの困っている確率（困り度）を推定し，困っていると判定した時に最適なヘルプ情報の提示を行う処理。

システム状態制御部３３３は、システム（情報処理装置）内部の状態遷移を取得して保持する。
システム応答生成部３３４は、ユーザの発話にあいまい性があるかどうか、システムの応答としてユーザの状態によって何をどのようにシステムの応答をどのように出力するかの決定を行う。
システム応答出力部３３５は、ユーザに対するヘルプ情報等の応答を出力する。出力は、音声出力部（スピーカ）２０６や、画像出力部（表示部）２０７を介して行われる。

［３．ユーザに対するヘルプ情報の出力処理の具体例について］
次に、本発明の情報処理装置の実行する処理例として、ユーザに対するヘルプ情報の出力処理の具体例について説明する。

先に説明したように、音声認識や画像認識を適用したマルチモーダル・インタフェースでは、利用される音声認識装置や画像認識装置の処理能力に限界があり、理解できるユーザの発話や動作が限られてしまう。この結果、ユーザの意思がシステム側に伝わらず、ユーザの意思に応じた処理が実行されない場合が発生するという問題がある。以下に説明する処理例は、このような問題を解決する処理例であり、ユーザが困っているか否かを解析して、ユーザの困り度を算出し、算出した困り度に応じてヘルプ情報の提示を実行する処理例である。

前述したように、データ処理部２０５のユーザインタラクション状態推定部３３２は、以下の処理を実行する。
（処理Ａ）現在から過去の規定時間中（＝所定のサンプリングタイム期間）におけるユーザの顔の向き、注視方向、顔の向きの持続時間等の解析処理。
（処理Ｂ）現在から過去の規定時間中（＝所定のサンプリングタイム期間）におけるシステム（情報処理装置）の動作履歴（音声区間検出失敗やドメイン外発話の有無）、ユーザの習熟度の解析処理。
（処理Ｃ）システム（情報処理装置）からのユーザへの最後の応答からの経過時間に応じて、ユーザの困っている確率（困り度）を推定し，困っていると判定した時に最適なヘルプ情報の提示を行う処理。

これらの処理Ａ〜Ｃの具体的な処理シーケンスについて図４以下のフローチャートを参照して説明する。
まず、図４を参照して、処理Ａのシーケンスについて説明する。処理Ａは以下の処理である。
（処理Ａ）現在から過去の規定時間中（＝所定のサンプリングタイム期間）におけるユーザの顔の向き、注視方向、顔の向きの持続時間等の解析処理。

ステップＳ１０１においてユーザ情報を入力する。このユーザ情報は、ユーザ情報管理部３３１が画像無解析部２０２と音声解析部２０４から入力した情報である。すなわち、例えば画像中に顔が含まれるか否か、さらに含まれる場合は顔の属性（顔の角度，推定年齢，性別等）の推定、顔の方向の解析、顔認識結果等の情報、さらに、発話内容についての情報等が含まれる。なお、これ等の情報は、時間経過に伴って、順次更新されており、ユーザインタラクション状態推定部３３２は、各時間（ｔ，ｔ＋１，ｔ＋２・・・）に対応する情報を、ユーザ情報管理部３３１から入力する。

ステップＳ１０２では、ユーザ情報管理部３３１から入力したユーザジョウホウニ従って、時刻ｔのユーザの顔の向きがシステム（情報処理装置１００）の方を向いているか否かを判定する。

データ処理部２０５のユーザインタラクション状態推定部３３２は、ユーザの顔の向きがシステム（情報処理装置１００）の方を向いているか否かを判定するための閾値として、水平方向の角度閾値（θ＿ＭＩＮとθ＿ＭＡＸ）と、垂直方向の角度閾値（φ＿ＭＩＮとφ＿ＭＡＸ）を有しており、ユーザの顔の向きがこれらの角度範囲にある場合は、ユーザがシステム（情報処理装置１００）の方を向いていると判定する。

すなわち、ステップＳ１０２では、
時刻ｔでの顔の向き（θ，φ）が
θ＿ＭＩＮ＜＝θ＜＝θ＿ＭＡＸ、かつ、
φ＿ＭＩＮ＜＝φ＜＝φ＿ＭＩＮ
上記条件を満足するか否かを判定する。

上記条件を満足する場合は、ユーザの顔の向きがシステム（情報処理装置１００）の方を向いていると判定し、ステップＳ１０２の判定がＹｅｓとなり、ステップＳ１０３に進む。
一方、上記条件を満足しない場合は、ユーザの顔の向きがシステム（情報処理装置１００）の方を向いていないと判定し、ステップＳ１０２の判定がＮｏとなり、ステップＳ１０４に進む。

ステップＳ１０３では、顔の向きがシステム方向であると判定し、時刻（ｔ）におけるユーザの顔の向きを示すパラメータ（ＦａｃｅＤｉｒｅｃｔｉｏｎ（ｔ））を以下のように設定する。
ＦａｃｅＤｉｒｅｃｔｉｏｎ（ｔ）＝ｆｏｒ Ｓｙｓｔｅｍ
上記データは、時刻（ｔ）におけるユーザの顔の向きがシステム方向であることを示すデータである。

一方、ステップＳ１０４では、顔の向きがシステム方向でないと判定し、時刻（ｔ）におけるユーザの顔の向きを示すパラメータ（ＦａｃｅＤｉｒｅｃｔｉｏｎ（ｔ））を以下のように設定する。
ＦａｃｅＤｉｒｅｃｔｉｏｎ（ｔ）＝ｆｏｒ Ｏｔｈｅｒｓ
上記データは、時刻（ｔ）におけるユーザの顔の向きがシステム方向でないことを示すデータである。

これ等ステップＳ１０３とステップＳ１０４において設定されたデータは、ステップＳ１１０に示すように、メモリに保持される。保持データは時間対応のデータとして保持される。

ステップＳ１０３，Ｓ１０４の処理の後、ステップＳ１０５に進む。
ステップＳ１０５では、
時刻（ｔ）におけるユーザの顔の向き［Ｆａｃｅ Ｄｉｒｅｃｔｉｏｎ（ｔ）］と、１つ前のサンプルタイム（ｔ−１）のユーザの顔の向き［Ｆａｃｅ Ｄｉｒｅｃｔｉｏｎ（ｔ−１）］とが一致するか否かを判定する。すなわち、ユーザが継続的に同じ方向を向いているか否かを判定する。

時刻（ｔ）におけるユーザの顔の向き［Ｆａｃｅ Ｄｉｒｅｃｔｉｏｎ（ｔ）］と、１つ前のサンプルタイム（ｔ−１）のユーザの顔の向き［Ｆａｃｅ Ｄｉｒｅｃｔｉｏｎ（ｔ−１）］とが一致する場合は、ステップＳ１０６に進み、ユーザの顔の向き［Ｆａｃｅ Ｄｉｒｅｃｔｉｏｎ（ｔ）］の持続時間を更新してメモリに保持する。
一致しない場合は、ステップＳ１０６の処理を省略する。

次に、ステップＳ１０７において、ユーザの顔の向き［Ｆａｃｅ Ｄｉｒｅｃｔｉｏｎ（ｔ）］の持続時間（ｔ_ｆｄ）に基づいて、顔の向き持続時間（ＦａｃｅＤｉｒＤｕｒ）を、規定閾値に従って、
（１）短時間（ｓｈｏｒｔ）
（２）中時間（Ｍｅｄｉｕｍ）
（３）長時間（ｌｏｎｇ）
これらの分類を実行してメモリに保持する。

次に、図５に示すフローチャートを参照して、処理Ｂのシーケンスについて説明する。処理Ｂは以下の処理である。
（処理Ｂ）現在から過去の規定時間中（＝所定のサンプリングタイム期間）におけるシステム（情報処理装置）の動作履歴（音声区間検出失敗やドメイン外発話の有無）、ユーザの習熟度の解析処理。

ステップＳ２０１において、システム（情報処理装置）がユーザの発話を受け付けて処理を実行したか否かを判定する。
この処理は、ユーザインタラクション推定部３３２がシステム状態制御部３３３から入力するシステム処理情報に基づいて判定する。
ステップＳ２０１において、システム（情報処理装置）がユーザの発話を受け付けて処理を実行したと判定した場合は、ステップＳ２０２に進み、処理を実行しなかったと判定した場合は、ステップＳ２１１に進む。

システム（情報処理装置）がユーザの発話を受け付けて処理を実行し、ステップＳ２０２に進むと、ステップＳ２０２において、いままでのユーザ発話の棄却回数、すなわち、ユーザ発話に応じて処理を実行しなかった回数をセッション情報としてメモリに保存する。

次に、ステップＳ２０３において、過去数セッションの棄却回数に関する特徴量と規定閾値を比較する。特徴量とは、例えば棄却理由等の情報である。棄却理由としては、例えば音声区間の検出失敗や、ドメイン外発話であるとの判定、あるいは音声解析結果が低信頼度であるとの判定などがある。

次に、ステップＳ２０４において、棄却回数と特徴量と、予め規定した閾値比較処理に基づいて、ユーザレベル（ＵｓｅｒＬｅｖｅｌ）を、
（ａ）ビギナー（Ｂｅｇｉｎｎｅｒ）
（ｂ）経験者（Ｔｒａｉｎｅｄ）
（ｃ）エクスパート（Ｅｘｐｅｒｔ）
これらのレベルにユーザを分類する。

セッションとは、例えば、ユーザ発話に応じた処理が実行されたと推定されるまでの期間である。
例えばユーザの発話がチャンネル変更要求である場合、システムがユーザ要求に応じた正しいチャンネル変更を実行するまでの期間であり、その間にユーザ発話が複数回（例えばｎ＋１回）、実行され、ｎ＋１回目の発話に応じて正しいチャンネル変更処理を実行した場合には、棄却回数＝ｎとなる。

ステップＳ２０４では、棄却回数と予め設定された閾値に応じて以下のようにユーザレベルを判定する。
（ａ）棄却回数が多いユーザ＝ビギナー（Ｂｅｇｉｎｎｅｒ）
（ｂ）棄却回数が中程度のユーザ＝経験者（Ｔｒａｉｎｅｄ）
（ｃ）棄却回数が少ないユーザ＝エクスパート（Ｅｘｐｅｒｔ）
これらのレベルにユーザを分類する。
なお、棄却理由としての特徴量が異なる場合と同じ場合とでは、上記のレベル設定を変更する構成としてもよい。

一方、ステップＳ２０１において、システム（情報処理装置）がユーザの発話を受け付けて処理を実行しなかったと判定した場合、すなわちユーザ発話の棄却を行った場合は、ステップＳ２１１に進む。

ステップＳ２１１では、メモリに格納しているユーザ発話の棄却回数を更新する。なお、ユーザ発話に対して処理を実行しない、すなわち棄却する理由としては、例えば、音声区間の検出失敗や、ドメイン外発話である場合、あるいは音声解析結果が低信頼度であると判定した場合など、様々な要因がある。

次に、ステップＳ２１２では、過去数セッションの棄却回数と設定閾値を比較する。
次に、ステップＳ２１３において、棄却回数と閾値比較処理に基づいて、エラーレベルを、
（ａ）低（Ｌｏｗ）
（ｂ）中（Ｍｉｄ）
（ｃ）高（Ｈｉｇｈ）
これらのレベルにエラーレベルを分類する。

次に、図６に示すフローチャートを参照して、処理Ｃの前半（Ｃ−１）シーケンスについて説明する。処理Ｃは以下の処理である。
（処理Ｃ）システム（情報処理装置）からのユーザへの最後の応答からの経過時間に応じて、ユーザの困っている確率（困り度）を推定し，困っていると判定した時に最適なヘルプ情報の提示を行う処理。

図６に示す処理は、この処理Ｃの前半の処理（Ｃ−１）であり、システム（情報処理装置）からのユーザへの最後の応答からの経過時間を算出する処理である。

ステップＳ３０１において、システム（情報処理装置）がユーザからの応答を待機している状態であるか否かを判定する。
この処理は、ユーザインタラクション推定部３３２がシステム状態制御部３３３から入力するシステム処理情報に基づいて判定する。

ステップＳ３０１において、システム（情報処理装置）がユーザからの応答を待機している状態であると判定するとステップＳ３０２に進む。
ステップＳ３０２では、システムの実行したユーザに対する応答処理からの経過時間を更新する。
システム状態制御部３３３は、システムの実行したユーザに対する応答処理からの経過時間を記録しており、このデータを逐次更新する。

ステップＳ３０３では、システム応答からの経過時間を予め規定した閾値に従って、以下のように分類する。
（ａ）短時間（Ｓｈｏｒｔ）
（ｂ）中時間（Ｍｅｄｉｕｍ）
（ｃ）長時間（Ｌｏｎｇ）
これらのいずれかに分類する。

次に、ステップＳ３０４において、経過時間（ＲＴ）について、
（ａ）短時間（Ｓｈｏｒｔ）
（ｂ）中時間（Ｍｅｄｉｕｍ）
（ｃ）長時間（Ｌｏｎｇ）
のいずれかをメモリに保存する。

この図６に示すフローは、処理Ｃの前半の処理（Ｃ−１）である。
処理Ｃの後半の処理（Ｃ−２）は、上述した処理Ａ、処理Ｂ、処理Ｃ−１の結果を適用してユーザの困り度を算出し、算出した困り度に応じてユーザに対してヘルプ情報の提示を行うか否かを決定し、行うと判定した場合にヘルプ情報を提示する処理である。
この処理について図７に示すフローチャートを参照して説明する。

図７に示すフローチャート中、ステップＳ５０１〜Ｓ５４５までの処理は、上述した処理Ａ，Ｂ，Ｃ−１によって行われる処理に対応する。
ステップＳ５５１以下の処理が処理Ｃの後半の処理（Ｃ−２）に対応する。

ステップＳ５０１の画像イベント入力は、画像入力部（カメラ）２０１から入力する画像情報に基づいて、画像解析部２０２の実行する解析処理結果をデータ処理部２０５に入力する処理である。
具体的には、例えば画像中に顔が含まれるか否か、さらに含まれる場合は顔の属性（顔の角度，推定年齢，性別等）の推定、顔の方向の解析、顔認識結果等の情報等を画像解析部２０２の実行する解析処理結果として入力する。

ステップＳ５０２の音声イベント入力は、音声入力部（マイク）２０３から入力する音声情報に基づいて、音声解析部２０４の実行する解析処理結果をデータ処理部２０５に入力する処理である。具体的には、例えば発話内容についての情報等を音声解析部２０４の実行する解析処理結果として入力する。

ステップＳ５２１の処理Ａは、先に図４に示すフローチャートを参照して説明した処理である。
すなわち、ステップＳ５２１では、
（処理Ａ）現在から過去の規定時間中（＝所定のサンプリングタイム期間）におけるユーザの顔の向き、注視方向、顔の向きの持続時間等の解析処理が実行される。

このステップＳ５２１の処理Ａの実行結果の取得とメモリ格納処理が、
ステップＳ５３１と、ステップＳ５４１、
ステップＳ５３２と、ステップＳ５４２、
これらの処理ステップである。

ステップＳ５３１と、ステップＳ５４１の処理は以下の処理である。
ステップＳ５３１において、処理Ａの結果として、
各サンプル時間（ｔ，ｔ＋１，ｔ＋２・・・）の顔の向き情報（Ｆａｃｅ Ｄｉｒ）、すなわち、
（ａ）顔の向きがシステム（情報処理装置）方向にある（Ｆｏｒ Ｓｙｓｔｅｍ）
（ｂ）顔の向きがシステム（情報処理装置）方向にない（Ｆｏｒ Ｏｔｈｅｒｓ）
これらの顔の向き情報を取得する。
この取得情報がステップＳ５４１においてメモリに格納される。

ステップＳ５３２と、ステップＳ５４２の処理は以下の処理である。
ステップＳ５３２において、処理Ａの結果として、
各サンプル時間（ｔ，ｔ＋１，ｔ＋２・・・）の顔の向きの持続時間情報（Ｆａｃｅ Ｄｉｒ Ｄｕｒ）、すなわち、
（ａ）顔が１つの特定方向に向いている持続時間が短い（Ｓｈｏｒｔ）
（ｂ）顔が１つの特定方向に向いている持続時間が中程度（Ｍｅｄｉｕｍ）
（ｃ）顔が１つの特定方向に向いている持続時間が長い（Ｌｏｎｇ）

ステップＳ５０２の音声イベント入力の後のステップＳ５１１のシステム動作が実行され、その後、ステップＳ５２２の処理Ｂ、ステップＳ５２３の処理Ｃが実行される。

ステップＳ５０２の音声イベント入力とは、例えばユーザがシステム（情報処理装置）に対して実行する動作要求である。具体的には例えばチャンネル変更要求などである。

ステップＳ５０２の音声イベント入力の後のステップＳ５１１のシステム動作とは、ユーザ要求に対するシステム（情報処理装置）側の処理である。なお、このシステム動作は、ユーザ要求に対して正しく実行される場合もあり、正しく実行されない場合もある。また、例えば音声区間の検出失敗や、ドメイン外発話であるとの判定、あるいは音声解析結果が低信頼度であるとの判定などにより、ユーザ発話を棄却してしまう場合もある。ステップＳ５１１のシステム動作にはこれ等の動作のすべてが含まれる。

ステップＳ５１１のシステム動作の後に、ステップＳ５２２において、先に図５のフローチャートを参照して説明した処理Ｂ、さらに、ステップＳ５２３において、先に図６のフローチャートを参照して説明した処理Ｃ−１が実行される。

ステップＳ５２２の処理Ｂは、先に図５に示すフローチャートを参照して説明した処理である。
すなわち、ステップＳ５２２では、
（処理Ｂ）現在から過去の規定時間中（＝所定のサンプリングタイム期間）におけるシステム（情報処理装置）の動作履歴（音声区間検出失敗やドメイン外発話の有無）、ユーザの習熟度の解析処理が実行される。

このステップＳ５２２の処理Ｂの実行結果の取得とメモリ格納処理が、
ステップＳ５３３と、ステップＳ５４３、
ステップＳ５３４と、ステップＳ５４４、
これらの処理ステップである。

ステップＳ５３３と、ステップＳ５４３の処理は以下の処理である。
ステップＳ５３３において、処理Ｂの結果として、
ユーザレベル情報（Ｕｓｅｒ Ｌｅｖｅｌ）、すなわち、
（ａ）ビギナー（Ｂｅｇｉｎｎｅｒ）
（ｂ）経験者（Ｔｒａｉｎｅｄ）
（ｃ）エクスパート（Ｅｘｐｅｒｔ）
これらのユーザレベル情報を取得する。
この取得情報がステップＳ５４３においてメモリに格納される。なお、このユーザレベル情報についても各サンプル時間（ｔ，ｔ＋１，ｔ＋２・・・）対応の情報としてメモリに記録される。

ステップＳ５３４と、ステップＳ５４４の処理は以下の処理である。
ステップＳ５３４において、処理Ｂの結果として、エラーレベル情報（Ｅｒｒｏｒ）、すなわち、
（ａ）低（Ｌｏｗ）
（ｂ）中（Ｍｉｄ）
（ｃ）高（Ｈｉｇｈ）
これらエラーレベル情報が取得される。なお、先に図５のフローを参照して説明したようにエラーレベル情報はユーザ発話に対する棄却回数に基づいて取得される。

ステップＳ５４４では、このエラーレベル情報がメモリに格納される。なお、このエラーレベル情報についても各サンプル時間（ｔ，ｔ＋１，ｔ＋２・・・）対応の情報として取得されメモリに記録される。

さらに、ステップＳ５１１のシステム動作の後に、ステップＳ５２３において、先に図６のフローチャートを参照して説明した処理Ｃ−１が実行される。
すなわち、
（処理Ｃ）システム（情報処理装置）からのユーザへの最後の応答からの経過時間に応じて、ユーザの困っている確率（困り度）を推定し，困っていると判定した時に最適なヘルプ情報の提示を行う処理。
ステップＳ５２３において実行する処理は、この処理Ｃの前半の処理（処理Ｃ−１）であり、システム（情報処理装置）からのユーザへの最後の応答からの経過時間を算出する処理が行われる。

このステップＳ５２３の処理Ｃの実行結果の取得とメモリ格納処理が、
ステップＳ５３５と、ステップＳ５４５、
これらの処理ステップである。

ステップＳ５３５と、ステップＳ５４５の処理は以下の処理である。
ステップＳ５３５において、処理Ｃの結果として、システムの実行したユーザに対する応答処理からの経過時間を予め規定した閾値に従って分類した結果である経過時間（ＲＴ）情報として、以下の情報を取得する。
（ａ）経過時間（ＲＴ）＝短時間（Ｓｈｏｒｔ）
（ｂ）経過時間（ＲＴ）＝中時間（Ｍｅｄｉｕｍ）
（ｃ）経過時間（ＲＴ）＝長時間（Ｌｏｎｇ）
これらのいずれかの経過時間（ＲＴ）情報を取得する。
この取得情報がステップＳ５４５においてメモリに格納される。なお、この経過時間（ＲＴ）情報についても各サンプル時間（ｔ，ｔ＋１，ｔ＋２・・・）対応の情報としてメモリに記録される。

このように、ステップＳ５２１〜Ｓ５２３における処理Ａ〜Ｃの結果として取得される以下の情報がメモリに記録される。
メモリに記録されるデータの例を図８に示す。図８には３人のユーザ（Ｕ１〜Ｕ３）各々に対するサンプルタイム＝ｔ−１，ｔの２つの連続するサンプルタイム対応の取得データ例を示している。
例えば以下に示す（１）〜（５）の値がメモリに記録される。

（１）顔の向き情報（Ｆａｃｅ Ｄｉｒ）
（１ａ）顔の向きがシステム（情報処理装置）方向にある（Ｆｏｒ Ｓｙｓｔｅｍ）＝１
（１ｂ）顔の向きがシステム（情報処理装置）方向にない（Ｆｏｒ Ｏｔｈｅｒｓ）＝２

（２）顔の向きの持続時間情報（Ｆａｃｅ Ｄｉｒ Ｄｕｒ）
（２ａ）顔が１つの特定方向に向いている持続時間が短い（Ｓｈｏｒｔ）＝１
（２ｂ）顔が１つの特定方向に向いている持続時間が中程度（Ｍｅｄｉｕｍ）＝２
（２ｃ）顔が１つの特定方向に向いている持続時間が長い（Ｌｏｎｇ）＝３

（３）ユーザレベル情報（Ｕｓｅｒ Ｌｅｖｅｌ）
（３ａ）ビギナー（Ｂｅｇｉｎｎｅｒ）＝１
（３ｂ）経験者（Ｔｒａｉｎｅｄ）＝２
（３ｃ）エクスパート（Ｅｘｐｅｒｔ）＝３

（４）エラーレベル情報（Ｅｒｒｏｒ）
（４ａ）低（Ｌｏｗ）＝１
（４ｂ）中（Ｍｉｄ）＝２
（４ｃ）高（Ｈｉｇｈ）＝３

（５）システムの応答処理からの経過時間（ＲＴ）情報
（５ａ）経過時間（ＲＴ）＝短時間（Ｓｈｏｒｔ）＝１
（５ｂ）経過時間（ＲＴ）＝中時間（Ｍｅｄｉｕｍ）＝２
（５ｃ）経過時間（ＲＴ）＝長時間（Ｌｏｎｇ）＝３

このように、ステップＳ５２１〜Ｓ５２３における処理Ａ〜Ｃの結果として取得される上記の情報（１）〜（５）がステップＳ５４１〜５４５においてメモリに記録される。

ステップＳ５５１以降の処理が、処理Ｃの後半の処理（処理Ｃ−２）に対応する。
処理Ｃは、前述したように以下の処理である。
（処理Ｃ）システム（情報処理装置）からのユーザへの最後の応答からの経過時間に応じて、ユーザの困っている確率（困り度）を推定し，困っていると判定した時に最適なヘルプ情報の提示を行う処理。
ステップＳ５５１以下において実行する処理は、この処理Ｃの後半の処理（処理Ｃ−２）であり、ユーザの困っている確率（困り度）を推定し，困っていると判定した時に最適なヘルプ情報の提示を行う処理である。

ステップＳ５５１以下の処理の詳細について説明する。
ステップＳ５５１では、ステップＳ５４１〜Ｓ５４５においてメモリに格納された値の変化の有無を判定する。前述したようにステップＳ５２１〜Ｓ５２３における処理Ａ〜Ｃの結果として取得される上記の情報（１）〜（５）は規定のサンプルタイム（ｔ，ｔ＋１，ｔ＋２・・・）毎に取得され、時間対応のデータとしてメモリに格納される。具体的には、先に説明した図８に示す時間対応のデータがメモリに順次記録される。

ステップＳ５５１では、メモリに記録された最新のサンプルタイムの取得データと、直前のサンプルタイムの取得データとの差異の有無を判別する。
メモリに記録された最新のサンプルタイムのデータと、直前のサンプルタイムのデータ中、上記（１）〜（５）のいずれかのデータに変化があったと判定すると、ステップＳ５５２以下の処理を実行する。

ステップＳ５２２では、最新の取得データに基づいて評価値の算出処理を開始する。評価値とは、具体的にはユーザの困っている度合いを示す困り度（Ｈ）であり、この困り度（Ｈ）の算出処理が開始される。

困り度（Ｈ）は具体的には、メモリに格納された前述の
（１）顔の向き情報（Ｆａｃｅ Ｄｉｒ）＝１〜２
（２）顔の向きの持続時間情報（Ｆａｃｅ Ｄｉｒ Ｄｕｒ）＝１〜３
（３）ユーザレベル情報（Ｕｓｅｒ Ｌｅｖｅｌ）＝１〜３
（４）エラーレベル情報（Ｅｒｒｏｒ）＝１〜３
（５）システムの応答処理からの経過時間（ＲＴ）情報＝１〜３
これらの各値を適用して予め設定した関数を適用して算出する。

具体的には、例えば、以下のような関数を適用して困り度（Ｈ）を算出する。
Ｈ＝ｐ（（１）の値）＋ｑ（（２）の値）＋ｒ（（３）の値）＋ｓ（（４）の値）＋ｔ（（５）の値）
ただしｐ，ｑ，ｒ，ｓ，ｔは予め設定した係数、
例えば上述の式に従って、（１）〜（５）の情報を適用したユーザの困り度（Ｈ）を算出する。

ステップＳ５５２において算出した困り度はステップＳ５５３においてメモリ（データベース）に格納される。図８に示す右端のデータが算出された困り度（Ｈ）である。

困り度（Ｈ）は、例えば０〜１００の範囲で算出され、値が大きいほどユーザが困っている状態である確率が高いことを示している。

ステップＳ５５４では、新たに算出した最新の困り度（Ｈ）の更新値に基づく処理を開始する。
ステップＳ５５５において、更新した困り度（Ｈ）と予め設定した閾値（ＴＨ）とを比較する。
困り度（Ｈ）≧ＴＨ
ステップＳ５５５において、上記判定式が成立すると判定した場合は、ステップＳ５５６に進み、ヘルプ情報を音声出力部（スピーカ）２０５や画像出力部（表示部）２０７を介して出力する。なお、提示するヘルプ情報は、システム（情報処理装置１００）の状態に応じて変更される。

一方、ステップＳ５５５において、上記判定式が成立しないと判定した場合は、ステップＳ５５７に進み、ヘルプ情報の出力は行わない。

ステップＳ５５６においてユーザに提示されるヘルプ情報の例を図９に示す。
上述したように、提示するヘルプ情報は、システム（情報処理装置１００）の状態に応じて変更される。このシステム状態は、図３に示すシステム状態制御部３３３が監視している。
図９に示すように、例えば、
システム状態＝おすすめ番組の表示状態
である場合には、
「おすすめ番組から見たい番組を選ぶか、検索キーワードで検索してね」
このようなヘルプ情報が音声出力部（スピーカ）２０５や画像出力部（表示部）２０７を介してユーザに提示される。

また、
システム状態＝チャンネル，曜日指定の表示状態
である場合には、
「タイトル，あるいはドラマ，スポーツ，バラエティ，音楽，映画のジャンルで絞り込みもできます」
このようなヘルプ情報が音声出力部（スピーカ）２０５や画像出力部（表示部）２０７を介してユーザに提示される。

また、
システム状態＝ジャンル指定の表示状態
である場合には、
「タイトル，チャンネルなどで絞り込みもできます」
このようなヘルプ情報が音声出力部（スピーカ）２０５や画像出力部（表示部）２０７を介してユーザに提示される。

なお、ステップＳ５５２以下の処理は、ステップＳ５５１においてメモリに格納された値が変更された場合に逐次、実行される。従って情報処理装置１００は、時間経過に伴うユーザの最新の困り度（Ｈ）を把握することが可能であり、最新の困り度に応じて、最適なタイミングでユーザに対してヘルプ情報を提示することが可能となる。

本発明の情報処理装置は、このように、前述の処理Ａ〜Ｃにおいて取得され、メモリに格納された以下の情報、すなわち、
（１）顔の向き情報（Ｆａｃｅ Ｄｉｒ）＝１〜２
（２）顔の向きの持続時間情報（Ｆａｃｅ Ｄｉｒ Ｄｕｒ）＝１〜３
（３）ユーザレベル情報（Ｕｓｅｒ Ｌｅｖｅｌ）＝１〜３
（４）エラーレベル情報（Ｅｒｒｏｒ）＝１〜３
（５）システムの応答処理からの経過時間（ＲＴ）情報＝１〜３
これらの各値を適用して予め設定した関数を適用してユーザの困り度（Ｈ）を算出し、算出したする困り度とシステム状態に応じたヘルプ情報をユーザに提供する。

ユーザ状態の取得処理と、困り度（Ｈ）の算出処理、およびヘルプ情報の提示処理の具体例について説明する。

（具体例１）
例えば、ユーザが正面を向いており、システムに対して注意を向けているのにもかからず、ユーザからの応答がない場合にはユーザが発話するコマンドがわからず困っている、あるいは悩んでいると判定して、例えば以下のヘルプ情報（ヒント）を提示する。
「おすすめ番組から見たい番組を選ぶか，検索キーワードで検索してね」

なお、この場合のユーザ状態情報は、例えば以下の情報辞である。
（１）顔の向き情報（Ｆａｃｅ Ｄｉｒ）＝顔の向きがシステム（情報処理装置）方向にある（Ｆｏｒ Ｓｙｓｔｅｍ）＝１
（２）顔の向きの持続時間情報（Ｆａｃｅ Ｄｉｒ Ｄｕｒ）＝顔が１つの特定方向に向いている持続時間が長い（Ｌｏｎｇ）＝３
（３）ユーザレベル情報（Ｕｓｅｒ Ｌｅｖｅｌ）＝ビギナー（Ｂｅｇｉｎｎｅｒ）＝１
（４）エラーレベル情報（Ｅｒｒｏｒ）＝低（Ｌｏｗ）＝１
（５）システムの応答処理からの経過時間（ＲＴ）情報＝長時間（ｌｏｎｇ）＝３

これらの各値を適用して、以下の関数を適用して困り度（Ｈ）を算出する。
Ｈ＝ｐ（（１）の値）＋ｑ（（２）の値）＋ｒ（（３）の値）＋ｓ（（４）の値）＋ｔ（（５）の値）
例えば、上記困り度（Ｈ）算出式に従って、
困り度（Ｈ）＝８０
このような値が算出され、規定閾値＝２０とした場合、
困り度（Ｈ）＝８０≧２０
となり、上記のようなヘルプ情報がユーザに提示されることになる。

（具体例２）
ユーザがシステムに対して注意を向けておらずシステムがユーザからの応答を待っている場合、このような状況にある場合は、システムはユーザに対して利用可能なコマンドを提示、あるいは数分後にシステムを一時停止する、あるいは終了することを伝えるといったヘルプ出力を実行する。具体的には、
「見たい番組を探してみてください。あるいはジャンルで絞り込でください」
このようなヘルプ情報（ヒント）を提示する。

なお、この場合のユーザ状態情報は、例えば以下の情報辞である。
（１）顔の向き情報（Ｆａｃｅ Ｄｉｒ）＝顔の向きがシステム（情報処理装置）方向にない（Ｆｏｒ Ｏｔｈｅｒｓ）＝２
（２）顔の向きの持続時間情報（Ｆａｃｅ Ｄｉｒ Ｄｕｒ）＝顔が１つの特定方向に向いている持続時間が中程度（ｍｉｄ）＝２
（３）ユーザレベル情報（Ｕｓｅｒ Ｌｅｖｅｌ）＝経験者（Ｔｒａｉｎｅｄ）＝２
（４）エラーレベル情報（Ｅｒｒｏｒ）＝低（Ｌｏｗ）＝１
（５）システムの応答処理からの経過時間（ＲＴ）情報＝長時間（ｌｏｎｇ）＝３

これらの各値を適用して、以下の関数を適用して困り度（Ｈ）を算出する。
Ｈ＝ｐ（（１）の値）＋ｑ（（２）の値）＋ｒ（（３）の値）＋ｓ（（４）の値）＋ｔ（（５）の値）
例えば、上記困り度（Ｈ）算出式に従って、
困り度（Ｈ）＝２０
このような値が算出され、規定閾値＝２０とした場合、
困り度（Ｈ）＝２０≧２０
となり、上記のようなヘルプ情報がユーザに提示されることになる。

（具体例３）
ユーザがシステムに対して何度も発話を行っているのにもかからず、音声区間検出失敗や意味理解失敗（ドメイン外発話）等のシステムの行動生成に達しない状態の事象が何回か連続する場合には、ユーザに対して例えば以下のようなヘルプ情報（ヒント）を提示する。
「利用可能なコマンドをガイドウィンドウに表示します」

なお、この場合のユーザ状態情報は、例えば以下の情報辞である。
（１）顔の向き情報（Ｆａｃｅ Ｄｉｒ）＝顔の向きがシステム（情報処理装置）方向（Ｆｏｒ Ｓｙｓｔｅｍ）＝１
（２）顔の向きの持続時間情報（Ｆａｃｅ Ｄｉｒ Ｄｕｒ）＝顔が１つの特定方向に向いている持続時間が長時間（ｌｏｎｇ）＝３
（３）ユーザレベル情報（Ｕｓｅｒ Ｌｅｖｅｌ）＝ビギナー（Ｂｅｇｉｎｎｅｒ）＝１
（４）エラーレベル情報（Ｅｒｒｏｒ）＝高（Ｈｉｇｈ）＝３
（５）システムの応答処理からの経過時間（ＲＴ）情報＝短時間（ｓｈｏｒｔ）＝１

これらの各値を適用して、以下の関数を適用して困り度（Ｈ）を算出する。
Ｈ＝ｐ（（１）の値）＋ｑ（（２）の値）＋ｒ（（３）の値）＋ｓ（（４）の値）＋ｔ（（５）の値）
例えば、上記困り度（Ｈ）算出式に従って、
困り度（Ｈ）＝９０
このような値が算出され、規定閾値＝２０とした場合、
困り度（Ｈ）＝９０≧２０
となり、上記のようなヘルプ情報がユーザに提示されることになる。

［４．情報処理装置のハードウェア構成例について］
最後に、図１０を参照して、上述した処理を実行する情報処理装置のハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。
例えば、図２の情報処理装置の構成における音声解析部２０４、画像解析部２０２、データ処理部２０５の処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０３には、ＣＰＵ７０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。

ＣＰＵ７０１はバス７０４を介して入出力インタフェース７０５に接続され、入出力インタフェース７０５には、カメラ、マイク、リモコン、キーボード、マウスなどの入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。ＣＰＵ７０１は、入力部７０６から入力される情報に対応して各種の処理を実行し、処理結果を例えば出力部７０７に出力する。

入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスクからなり、ＣＰＵ７０１が実行するプログラムや各種のデータを記憶する。
さらに、音声認識処理に必用となる各種の音声情報や辞書データ、さらには、ユーザ認識処理に必用となるユーザ画像データ等が記録されている。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７０８に転送され記憶される。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、ユーザ状態を解析してユーザの困り度を判定して判定結果に応じてヘルプ情報を提供する装置および方法が実現される。具体的には、データ処理部が、カメラの撮影画像の解析処理を実行する画像解析部の解析結果と、マイクから入力する音声の解析処理を実行する音声解析部の解析結果を入力して、ユーザに対するヘルプ情報の出力制御を実行する。データ処理部は、画像解析結果として、例えばユーザの顔の向きが装置方向を向いているか否か等のユーザ情報を取得し、取得したユーザ情報に基づいて、ユーザの困り度を算出し、算出した困り度が規定の閾値以上である場合にユーザに対してヘルプ情報を出力する処理を行う。

１１〜１３ ユーザ
１００ 情報処理装置
１０１ カメラ
１０２ 音声入出力部
２０１ 画像入力部
２０２ 画像解析部
２０３ 音声入力部
２０４ 音声解析部
２０５ データ処理部
２０６ 音声出力部
２０７ 画像出力部
３１１ 顔・顔方向認識部
３１２ 人認識部
３２１ 音声検出部
３２２ 意味検出部
３３１ ユーザ情報管理部
３３２ ユーザインタラクション状態推定部
３３３ システム状態制御部
３３４ システム応答生成部
３３５ システム応答出力部
７０１ ＣＰＵ
７０２ ＲＯＭ
７０３ ＲＡＭ
７０４ バス
７０５ 入出力インタフェース
７０６ 入力部
７０７ 出力部
７０８ 記憶部
７０９ 通信部
７１０ ドライブ
７１１ リムーバブルメディア

Claims (9)

1. カメラの撮影画像の解析処理を実行する画像解析部と、
   マイクから入力する音声の解析処理を実行する音声解析部と、
   前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対するヘルプ情報の出力制御を実行するデータ処理部を有し、
   前記データ処理部は、
   画像解析結果または音声解析結果の少なくともいずれかの解析結果に基づいて、ユーザの困り度を算出し、算出した困り度が規定の閾値以上である場合にユーザに対してヘルプ情報を出力する処理を行う情報処理装置。
2. 前記データ処理部は、
   画像解析結果からユーザの顔の向きが情報処理装置の方向を向いているか否かを判定し、該判定情報を適用して前記困り度の算出を実行する請求項１に記載の情報処理装置。
3. 前記データ処理部は、
   画像解析結果からユーザの顔が一定の方向を向いている持続時間を判定し、該判定情報を適用して前記困り度の算出を実行する請求項１または２に記載の情報処理装置。
4. 前記データ処理部は、
   ユーザの要求に応じた処理が実行されたか否かの判定情報を適用して前記困り度の算出を実行する請求項１〜３いずれかに記載の情報処理装置。
5. 前記データ処理部は、
   ユーザ要求の棄却回数情報に基づいてユーザレベルを判定し、該判定情報を適用して前記困り度の算出を実行する請求項１〜４いずれかに記載の情報処理装置。
6. 前記データ処理部は、
   情報処理装置からのユーザに対する応答処理からの経過時間情報に基づいて前記困り度の算出を実行する請求項１〜５いずれかに記載の情報処理装置。
7. 前記情報処理装置は、
   情報処理装置の状態遷移を取得して保持するシステム状態制御部を有し、
   前記データ処理部は、
   前記システム状態制御部の保持したシステム状態に応じたヘルプ情報を出力する処理を行う請求項１〜６いずれかに記載の情報処理装置。
8. 情報処理装置において実行する情報処理方法であり、
   画像解析部が、カメラの撮影画像の解析処理を実行する画像解析ステップと、
   音声解析部が、マイクから入力する音声の解析処理を実行する音声解析ステップと、
   データ処理部が、前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対するヘルプ情報の出力制御を実行するデータ処理ステップを実行し、
   前記データ処理ステップは、
   画像解析結果または音声解析結果の少なくともいずれかの解析結果に基づいて、ユーザの困り度を算出し、算出した困り度が規定の閾値以上である場合にユーザに対してヘルプ情報を出力する処理を行うステップである情報処理方法。
9. 情報処理装置において情報処理を実行させるプログラムであり、
   画像解析部に、カメラの撮影画像の解析処理を実行させる画像解析ステップと、
   音声解析部に、マイクから入力する音声の解析処理を実行させる音声解析ステップと、
   データ処理部に、前記画像解析部の解析結果と、前記音声解析部の解析結果を入力して、ユーザに対するヘルプ情報の出力制御を実行させるデータ処理ステップを有し、
   前記データ処理ステップは、
   画像解析結果または音声解析結果の少なくともいずれかの解析結果に基づいて、ユーザの困り度を算出し、算出した困り度が規定の閾値以上である場合にユーザに対してヘルプ情報を出力する処理を行わせるステップであるプログラム。