JP2018120390A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】ユーザに提示される複数の提示情報をよりユーザが望むように制御することが可能な技術が提供されることが望まれる。
【解決手段】ユーザの姿勢情報を取得する姿勢情報取得部と、前記ユーザへの提示情報の提示を制御する提示制御部と、を備え、前記提示制御部は、前記姿勢情報に基づいて、異なる態様を有する複数の前記提示情報を制御する、情報処理装置が提供される。
【選択図】図２８

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

近年、ユーザとの間で対話を行うロボット装置に関する技術が知られている。例えば、ユーザの発話内容から判別されるユーザの感情とあらかじめ登録されたユーザとの親密度とに応じた提示情報をユーザに提示する技術が開示されている（例えば、特許文献１参照）。また、異なる態様を有する複数の提示情報をユーザに提示する技術も知られている。

特開２００４−０９０１０９号公報

しかし、ユーザに提示される複数の提示情報をよりユーザが望むように制御することが可能な技術が提供されることが望まれる。

本開示によれば、ユーザの姿勢情報を取得する姿勢情報取得部と、前記ユーザへの提示情報の提示を制御する提示制御部と、を備え、前記提示制御部は、前記姿勢情報に基づいて、異なる態様を有する複数の前記提示情報を制御する、情報処理装置が提供される。

本開示によれば、ユーザの姿勢情報を取得することと、前記ユーザへの提示情報の提示を制御することと、を備え、プロセッサにより、前記姿勢情報に基づいて、異なる態様を有する複数の前記提示情報を制御することを含む、情報処理方法が提供される。

本開示によれば、コンピュータを、ユーザの姿勢情報を取得する姿勢情報取得部と、前記ユーザへの提示情報の提示を制御する提示制御部と、を備え、前記提示制御部は、前記姿勢情報に基づいて、異なる態様を有する複数の前記提示情報を制御する、情報処理装置として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、ユーザに提示される複数の提示情報をよりユーザが望むように制御することが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

第１の実施形態に係る情報処理システムの構成例を示す図である。 エージェントの機能構成例を示す図である。 制御部の詳細構成例を示す図である。 第１の実施形態に係るサーバ装置の機能構成例を示すブロック図である。 コンテキスト一覧情報の例を示す図である。 コンテキストと属性情報と優先度とが関連付けられてなる関連情報の構成例を示す図である。 リクエストキューテーブルの例を示す図である。 、割り込みが発生した場合にユーザに提示される画面例を示す図である。 割り込みが発生した場合にユーザに提示される音声メッセージ例を示す図である。 複数のコンテキストが検出された場合、かつ、属性種別が単一である場合におけるリクエストの優先度算出の例を説明するための図である。 複数のコンテキストが検出された場合、かつ、属性種別が複数である場合におけるリクエストの優先度算出の例を説明するための図である。 他のユーザの関連情報を流用する例を説明するための図である。 ユーザによるフィードバックに基づく確信度がさらに関連付けられた関連情報の例を示す図である。 リクエストキューから順にリクエストを取り出し処理する動作の例を示すフローチャートである。 処理中のリクエストが存在する場合に新たなリクエストが入力された場合における動作の例を示すフローチャートである。 第２の実施形態に係る情報処理システムの構成例を示す図である。 制御部の詳細構成例を示す図である。 第２の実施形態に係るサーバ装置の機能構成例を示す図である。 タスクステータステーブルの例を示す図である。 エージェントにおいてリクエストを実行対象とするか否かを判断する動作例を示すフローチャートである。 エージェントにおいてリクエストを実行対象とするか否かを判断する動作例を示すフローチャートである。 サーバ装置においてリクエストを実行させるエージェントを選択する動作の他の例を示すフローチャートである。 第３の実施形態に係る情報処理システムの構成例を示す図である。 制御部の詳細構成例を示す図である。 エージェント（子機）においてリクエストを実行対象とするか否かを判断する動作例を示すフローチャートである。 、エージェント（親機）においてリクエストを実行させるエージェントを選択する動作例を示すフローチャートである。 エージェント（親機）においてリクエストを実行させるエージェントを選択する動作の他の例を示すフローチャートである。 第４の実施形態に係る情報処理システムの構成例を示す図である。 制御部の詳細構成例を示す図である。 各条件と提示モードとの対応関係の例を示す図である。 ユーザごとの各条件と提示モードとの対応関係の例を示す図である。 ユーザごとの各条件と提示モードとの対応関係の例を示す図である。 音声主体提示モードによる提示例を示す図である。 音声映像提示モードによる提示例を示す図である。 音声映像提示モードによる提示例を示す図である。 音声主体提示モードによる他の提示例を示す図である。 音声映像提示モードによる他の提示例を示す図である。 音声映像提示モードによる他の提示例を示す図である。 ユーザによって入力されたリクエストに対する応答として提示情報をユーザに提示する動作の例を示すフローチャートである。 表示部および画面の第１の変形例を示す図である。 表示部および画面の第２の変形例を示す図である。 表示部および画面の第３の変形例を示す図である。 表示部および画面の第４の変形例を示す図である。 表示部および画面の第５の変形例を示す図である。 複数のユーザの状況を考慮した提示情報の提示例を示す図である。 情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
０．概要（優先的に処理すべきリクエスト）
１．第１の実施形態
１．１．システム構成例
１．２．エージェントの機能構成例
１．３．サーバ装置の機能構成例
１．４．情報処理システムの機能詳細
１．５．動作例
２．第２の実施形態
２．１．システム構成例
２．２．エージェントの機能構成例
２．３．サーバ装置の機能構成例
２．４．情報処理システムの機能詳細
２．５．動作例
３．第３の実施形態
３．１．システム構成例
３．２．親機の機能構成例
３．３．動作例
４．概要（ユーザへの提示情報の制御）
５．第４の実施形態
５．１．システム構成例
５．２．エージェントの機能構成例
５．３．情報処理システムの機能詳細
５．４．動作例
５．５．エージェントからの主体的な提示
５．６．表示部および画面の変形例
５．７．複数のユーザに応じた提示例
６．ハードウェア構成例
７．むすび

＜０．概要（優先的に処理すべきリクエスト）＞
まず、優先的に処理すべきリクエストを判断する技術の概要を説明する。近年、ユーザからのリクエストを処理する技術として様々な技術が知られている。例えば、現在処理されているリクエストの他に、新たなリクエストが入力された場合に、割り込み許可がなされているか否かによって、新たなリクエストに対して割り込みを許可するか否かを判断する技術が開示されている。

その他、リクエストに関連付けられた優先度に基づいて、優先的に処理されるリクエストを判断する技術も知られている。かかる優先度は、事前にユーザによって初期設定などにおいて手動で登録される。しかし、事前に登録された優先度が変化しない場合には、優先的に処理されるリクエストをより適切に判断することが困難である。

具体的な例を挙げて説明すると、朝の出社前の時間帯に、子供とお母さんとがエージェントを利用していたとする。このとき、お父さんが交通情報をエージェントに問い合わせたとする。かかる状況においては、お父さんから入力されたリクエストの優先度を高くすべきであるが、お父さんの優先度が高く設定されていない場合には、お父さんからのリクエストが無視されたり後回しにされたりしてしまうといった事態が発生し得る。

そこで、本明細書においては、優先的に処理されるリクエストをより適切に判断することが可能な技術について主に説明する。

以上において、優先的に処理すべきリクエストを判断する技術の概要について説明した。

＜１．第１の実施形態＞
まず、第１の実施形態について説明する。
［１．１．システム構成例］
まず、図面を参照しながら第１の実施形態に係る情報処理システムの構成例について説明する。図１は、第１の実施形態に係る情報処理システムの構成例を示す図である。図１に示したように、第１の実施形態に係る情報処理システム１Ａは、情報処理装置１０Ａと、コントローラ２０−１〜２０−Ｎ（Ｎは自然数）と、サーバ装置３０Ａとを備える。情報処理装置１０Ａとサーバ装置３０Ａとは、通信ネットワーク９３１を介して通信を行うことが可能である。

また、本明細書においては、情報処理装置１０Ａが、ユーザＵ−１〜Ｕ−Ｎに代わってリクエスト（例えば、以下に登場する第１のリクエストおよび第２のリクエスト）の処理の実行を制御するエージェントである場合を主に説明する。そこで、以下の説明においては、情報処理装置１０Ａを主に「エージェント」と称する。情報処理装置１０Ａは、ユーザＵ−１〜Ｕ−Ｎから入力されるリクエストを処理し得る。しかし、情報処理装置１０Ａは、エージェントに限定されない。

本明細書においては、ユーザＵ−１〜Ｕ−Ｎそれぞれが１台ずつコントローラ２０を利用可能である場合を主に説明する。しかし、ユーザＵ−１〜Ｕ−Ｎの一部または全部は、複数台のコントローラ２０を利用可能であってもよいし、コントローラ２０を１台も利用できなくてもよい。コントローラ２０は、ユーザＵからの入力される操作を受け付けると、操作に対応するリクエストを、エージェント１０Ａに対して送信する。コントローラ２０は、リモートコントローラであってもよいし、スマートフォンであってもよい。

また、ユーザＵ−１〜Ｕ−Ｎそれぞれは、発話によってエージェント１０にリクエストを入力することも可能である。なお、以下の説明において、音声（ｖｏｉｃｅまたはｓｐｅｅｃｈ）と音（ｓｏｕｎｄ）とは区別して用いられる。例えば、音声（ｖｏｉｃｅまたはｓｐｅｅｃｈ）は、エージェント１０によって集音された音のうち、主にユーザの発話を示してよく、音（ｓｏｕｎｄ）は、ユーザの発話の他、物音などを含んでよい。

また、サーバ装置３０Ａは、サーバ装置などのコンピュータであることが想定される。サーバ装置３０Ａは、エージェント１０Ａを管理する。なお、第１の実施形態においては、エージェント１０Ａが１台である場合を主に想定する。しかし、第２の実施形態以降と同様に、第１の実施形態においても、エージェント１０Ａは、複数存在してよい。かかる場合には、サーバ装置３０Ａは、複数台のエージェント１０Ａを管理し得る。

以上、第１の実施形態に係る情報処理システム１Ａの構成例について説明した。

［１．２．エージェントの機能構成例］
続いて、エージェント１０Ａの機能構成例について説明する。図２は、エージェント１０Ａの機能構成例を示す図である。図２に示したように、エージェント１０Ａは、集音部１１３、撮像部１１４、距離検出部１１５、受信部１１６、制御部１２０Ａ、記憶部１３０、通信部１４０、表示部１５０および音出力部１６０を有している。エージェント１０Ａとコントローラ２０とは、ネットワーク（例えば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）など）を介して通信を行うことが可能である。また、エージェント１０Ａは、通信ネットワーク９３１を介してサーバ装置３０Ａと接続されている。通信ネットワーク９３１は、例えば、インターネットを含む。

集音部１１３は、集音によって音を得る機能を有する。例えば、集音部１１３は、マイクロフォンを含んでおり、マイクロフォンによって集音する。集音部１１３に含まれるマイクロフォンの数は１以上であれば特に限定されない。そして、集音部１１３に含まれる１以上のマイクロフォンそれぞれが設けられる位置も特に限定されない。なお、集音部１１３は、音情報を集音する機能を有すれば、マイクロフォン以外の形態の集音装置を含んでもよい。

撮像部１１４は、撮像により画像を入力する機能を有する。例えば、撮像部１１４は、カメラ（イメージセンサを含む）を含んでおり、カメラによって撮像された画像を入力する。カメラの種類は限定されない。例えば、カメラは広角カメラであってもよいし、デプスカメラであってもよいし、ユーザＵの視線を検出可能な画像を得るカメラであってもよい。撮像部１１４に含まれるカメラの数は１以上であれば特に限定されない。そして、撮像部１１４に含まれる１以上のカメラそれぞれが設けられる位置も特に限定されない。また、１以上のカメラには、単眼カメラが含まれてもよいし、ステレオカメラが含まれてもよい。

距離検出部１１５は、ユーザＵまでの距離を検出する機能を有する。例えば、距離検出部１１５は測距センサを含んでおり、測距センサによって検出されたユーザＵまでの距離を取得する。測距センサが設けられる位置は特に限定されない。また、測距センサの種類は特に限定されない。例えば、距離センサは、赤外線距離センサであってもよいし、超音波距離センサであってもよい。あるいは、距離検出部１１５は、集音部１１３によって集音されたユーザＵの音声の大きさに基づいて、距離を検出してもよいし、撮像部１１４によって撮像される画像に写るユーザＵの大きさに基づいて、距離を検出してもよい。

受信部１１６は、通信回路を含んで構成され、コントローラ２０から送信されたリクエストを受信する。なお、受信部１１６は、コントローラ２０から送信される無線信号の種類に対応している。すなわち、コントローラ２０から送信される無線信号の種類が電波である場合には、電波を受信し得る。あるいは、コントローラ２０から送信される無線信号の種類が赤外線である場合には、赤外線を受信し得る。

通信部１４０は、通信回路を含んで構成され、通信ネットワーク９３１を介して通信ネットワーク９３１に接続されたサーバ装置３０Ａからのデータの取得および当該サーバ装置３０Ａへのデータの提供を行う機能を有する。例えば、通信部１４０は、通信インターフェースにより構成される。なお、通信ネットワーク９３１に接続されるサーバ装置３０Ａは、１つであってもよいし、複数であってもよい。

記憶部１３０は、メモリを含んで構成され、制御部１２０Ａによって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部１３０は、制御部１２０Ａによる演算のためにデータを一時的に記憶する。記憶部１３０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスなどにより構成される。

表示部１５０は、各種の画面を表示する機能を有する。本明細書においては、表示部１５０がプロジェクタ（例えば、単焦点プロジェクタ）である場合を主に想定するが、表示部１５０の種類は限定されない。例えば、表示部１５０は、ユーザに視認可能な表示を行うことが可能なディスプレイであればよく、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよい。また、本明細書においては、表示部１５０が比較的高い位置（例えば、壁面など）に表示を行ったり、比較的低い位置（例えば、エージェントのお腹、ユーザの手元など）に表示を行ったりする場合を主に想定するが、表示部１５０が表示を行う位置も限定されない。

制御部１２０Ａは、エージェント１０Ａの各部の制御を実行する。図３は、制御部１２０Ａの詳細構成例を示す図である。図３に示したように、制御部１２０Ａは、検出部１２１、リクエスト処理部１２２Ａおよび実行制御部１２３を備える。これらの各機能ブロックについての詳細は、後に説明する。なお、制御部１２０Ａは、例えば、１または複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）などで構成されていてよい。制御部１２０ＡがＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。

図２に戻って説明を続ける。音出力部１６０は、音を出力する機能を有する。例えば、音出力部１６０は、スピーカを含んでおり、スピーカによって音を出力する。音出力部１６０に含まれるスピーカの数は１以上であれば特に限定されない。そして、音出力部１６０に含まれる１以上のスピーカそれぞれが設けられる位置も特に限定されない。なお、音出力部１６０は、音を出力する機能を有すれば、スピーカ以外の形態（例えば、イヤホン、ヘッドセットなど）の音出力装置を含んでもよい。

以上、第１の実施形態に係るエージェント１０Ａの機能構成例について説明した。

［１．３．サーバ装置の機能構成例］
続いて、第１の実施形態に係るサーバ装置３０Ａの機能構成例について説明する。図４は、第１の実施形態に係るサーバ装置３０Ａの機能構成例を示すブロック図である。図４に示したように、サーバ装置３０Ａは、制御部３１０Ａ、通信部３４０および記憶部３５０を備える。以下、サーバ装置３０Ａが備えるこれらの機能ブロックについて説明する。

制御部３１０Ａは、サーバ装置３０Ａの各部の制御を実行する。なお、制御部３１０Ａは、例えば、１または複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）などといった処理装置によって構成されてよい。制御部３１０ＡがＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は電子回路によって構成されてよい。

通信部３４０は、通信回路を含んで構成され、ネットワーク９３１（図１）を介して他の装置との間で通信を行う機能を有する。例えば、通信部３４０は、通信インターフェースにより構成される。例えば、通信部３４０は、ネットワーク９３１（図１）を介して、エージェント１０Ａとの間で通信を行うことが可能である。

記憶部３５０は、メモリを含んで構成され、制御部３１０Ａによって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録デバイスである。また、記憶部３５０は、制御部３１０Ａによる演算のためにデータを一時的に記憶する。なお、記憶部３５０は、磁気記憶部デバイスであってもよいし、半導体記憶デバイスであってもよいし、光記憶デバイスであってもよいし、光磁気記憶デバイスであってもよい。

以上、第１の実施形態に係るサーバ装置３０Ａの機能構成例について説明した。

［１．４．情報処理システムの機能詳細］
続いて、第１の実施形態に係る情報処理システム１Ａの機能詳細について説明する。第１の実施形態においては、検出部１２１が、ユーザに関するコンテキストを検出する。そして、リクエスト処理部１２２Ａが、検出部１２１によって検出されたコンテキストに基づいて、第１のリクエストおよび第２のリクエストのいずれを優先的に処理すべきかを判断する。かかる構成によれば、優先的に処理されるリクエストをより適切に判断することが可能となる。

ユーザに関するコンテキストは、特に限定されない。例えば、ユーザに関するコンテキストは、ユーザに関する時間情報、ユーザに関する天気情報、ユーザに関する環境情報およびユーザに関する発話内容の少なくともいずれか一つを含んでよい。図５は、コンテキスト一覧情報の例を示す図である。図５を参照すると、コンテキスト一覧情報１５１が示されており、ユーザに関するコンテキストの例が示されている。

ここで、ユーザに関する時間情報は、ユーザが存在する現在時刻が属する時間情報であってよい。時間情報は、時間帯を示す情報（例えば、午前６時から午前１１時、朝、昼など）であってもよいし、曜日を示す情報（例えば、平日、休日、月曜日、日曜日など）であってもよい。現在時刻は、エージェント１０Ａの内部またはエージェント１０Ａの外部の装置（例えば、サーバ装置３０Ａなど）に存在する時計から取得されてよい。また、ユーザに関する時間情報は、エージェント１０Ａの内部またはエージェント１０Ａの外部の装置（例えば、サーバ装置３０Ａなど）から適宜に取得されてよい。

ユーザに関する天気情報は、ユーザが存在する場所の天気情報であってよい。天気情報は、天気を示す情報（例えば、晴れ、曇り、雨など）であってよい。ユーザが存在する場所は、何らかの測位機能によって取得されてもよいし、事前にユーザによって設定されてもよい。また、ユーザに関する天気情報は、エージェント１０Ａの内部またはエージェント１０Ａの外部の装置（例えば、サーバ装置３０Ａなど）から適宜に取得されてよい。

ユーザに関する環境情報は、ユーザが存在する場所の周辺の環境を示す情報であってよい。環境情報は、明るさを示す情報（例えば、周囲の明るさ１０ｌｘ以下など）であってもよいし、音量を示す情報（例えば、周辺環境音６０ｄｂ以上など）であってもよい。明るさを示す情報は、エージェント１０Ａが光センサを有していれば、光センサによって検出され得る。また、音量を示す情報は、エージェント１０Ａが音センサを有していれば、音センサによって検出されてよい。

ユーザに関する発話内容は、集音部１１３によって検出された音情報に対する音声認識によって取得されてよい。音声認識は、エージェント１０Ａによってなされてもよいし、エージェント１０Ａの外部の装置（例えば、サーバ装置３０Ａなど）によってなされてもよい。また、ユーザに関する発話内容は、音声認識によって取得されたテキストデータそのものであってもよいし、音声認識によって取得されたテキストデータから認識されたキーワードであってもよい。

より具体的には、リクエスト処理部１２２Ａは、第１のリクエストの優先度と第２のリクエストの優先度との比較に基づいて、第１のリクエストおよび第２のリクエストのいずれを優先的に処理すべきかを判断してよい。例えば、リクエスト処理部１２２Ａは、第１のリクエストの優先度および第２のリクエストの優先度のうち、より優先度が高いリクエストを優先的に処理すべきであると判断してよい。

第１のリクエストの優先度および第２のリクエストそれぞれの優先度は、どのように決められてもよい。図６は、コンテキストと属性情報と優先度とが関連付けられてなる関連情報の構成例を示す図である。図６に示すように、関連情報１５２は、コンテキストと属性情報（図６に示した例では、属性種別「Ａｔｔｒｉｂｕｔｅ」と属性値「Ｖａｌｕｅ」との組み合わせ）と優先度（図６に示した例では、「Ｐｒｉｏｒｉｔｙ Ｓｃｏｒｅ」）とが関連付けられてなる。

このような関連情報１５２は、エージェント１０Ａの内部またはエージェント１０Ａの外部の装置（例えば、サーバ装置３０Ａなど）からリクエスト処理部１２２Ａによって適宜に取得されてよい。例えば、リクエスト処理部１２２Ａは、検出部１２１によって検出されたコンテキストと第１のリクエストの属性情報とに基づいて第１のリクエストの優先度を取得するとともに、コンテキストと第２のリクエストの属性情報とに基づいて第２のリクエストの優先度を取得してよい。

ここで、第１のリクエストおよび第２のリクエストそれぞれの属性情報は、属性種別と属性種別に対応する属性値とを有していてよい。このとき、例えば、リクエスト処理部１２２Ａは、第１のリクエストおよび第２のリクエストそれぞれの属性情報（属性種別と属性値との組み合わせ）を取得し、検出部１２１によって検出されたコンテキストと第１のリクエストおよび第２のリクエストそれぞれの属性情報（属性種別と属性値との組み合わせ）とに対応する優先度を、関連情報１５２から取得すればよい。

属性種別は、ユーザを示す情報（図６に示した例では、「Ｐｅｒｓｏｎ」）または機器を示す情報（図６に示した「モーダル」）を含んでよい。また、図６に示した例では、属性種別「Ｐｅｒｓｏｎ」に対応する属性値として「ユーザＡ（お父さん）」「ユーザＢ（発話者）」が示されている。また、属性種別「モーダル」に対応する属性値として「コントローラ」「音声」が示されている。

例として、コンテキストが「平日の朝」である場合には、出社前のお父さんのリクエストを優先すべきであると考えられる。そこで、関連情報１５２においては、コンテキスト「平日の朝」に対して、属性種別「Ｐｅｒｓｏｎ」および属性値「ユーザＡ（お父さん）」が関連付けられているとよい。

他の例として、コンテキストが「周囲の明るさ１０ｘｌ以下」である場合には、コントローラを誤操作しやすくなるといった事情により、モーダル「音声」によるリクエストを優先すべきであると考えられる。そこで、関連情報１５２においては、コンテキスト「周囲の明るさ１０ｘｌ以下」に対して、属性種別「モーダル」および属性値「音声」が関連付けられているとよい。

逆に、コンテキストが「周辺環境音６０ｄｂ以上」である場合には、音声を誤認識しやすくなるといった事情により、モーダル「コントローラ」によるリクエストを優先すべきであると考えられる。そこで、関連情報１５２においては、コンテキスト「周辺環境音６０ｄｂ以上」に対して、属性種別「モーダル」および属性値「コントローラ」が関連付けられているとよい。

他の例として、コンテキストが「音声認識によって得られたテキストデータにキーワード「助けて」が含まれる」である場合には、キーワードの発話者「ユーザＢ（発話者）」によるリクエストを優先すべきであると考えられる。そこで、関連情報１５２においては、コンテキスト「音声認識によって得られたテキストデータにキーワード「助けて」が含まれる」に対して、属性種別「Ｐｅｒｓｏｎ」および属性値「ユーザＢ（発話者）」が関連付けられているとよい。

他の例として、コンテキストが「天気が雨」である場合には、周囲が暗くなりやすいといった事情により、モーダル「音声」によるリクエストを優先すべきであると考えられる。そこで、関連情報１５２においては、コンテキスト「天気が雨」に対して、属性種別「モーダル」および属性値「音声」が関連付けられているとよい。

その他、コンテキストが「あるユーザの視線がエージェントに向いている」「あるユーザが目を（絶対的に、あるいは、そのユーザの基準の目の大きさに対して）大きく見開いている」「あるユーザの発する発話音量が大きくなっている」「あるユーザの発する音声が高音になっている」「あるユーザの表情が深刻である」である場合には、これらのユーザによるリクエストを優先すべきであると考えられる。そこで、関連情報１５２においては、これらのコンテキストに対して、属性種別「Ｐｅｒｓｏｎ」およびこれらのユーザが関連付けられているとよい。

なお、リクエストの属性種別が「Ｐｅｒｓｏｎ」を含む場合、リクエストの属性種別「Ｐｅｒｓｏｎ」に対応する属性値「ユーザＡ」などは、どのように認識されてもよい。例えば、リクエスト処理部１２２Ａは、属性種別が「Ｐｅｒｓｏｎ」を含む場合、音声認識結果に基づいて認識された属性値を取得してもよい。あるいは、リクエスト処理部１２２Ａは、顔認識結果に基づいて認識された属性値を取得してもよい。このとき、認識に利用される音声および顔画像は、あらかじめ登録されていてよい。また、登録されていないユーザの音声または顔が認識された場合は、そのユーザが新規に登録されてもよい。

以下では、第１のリクエストの例として処理中のリクエストを挙げ、第２のリクエストの例として新たに入力されたリクエストを挙げて説明する。しかし、第１のリクエストは、処理中のリクエストに限定されない。また、第２のリクエストは、新たに入力されたリクエストに限定されない。例えば、第１のリクエストおよび第２のリクエストの少なくともいずれか一方は、まだ処理されていないリクエストであってもよい（リクエストキューに存在するリクエストであってもよい）。

エージェント１０Ａに新たに入力されたリクエストは、処理中のリクエストに対して割り込みが発生しない限り、リクエストキューに追加される。また、リクエスト処理部１２２Ａによってリクエストキューから最も優先度が高いリクエストが順に取り出されて処理され得る。リクエストキューに存在するリクエストは、リクエストキューテーブルとして、エージェント１０Ａの内部において管理されている。

図７は、リクエストキューテーブルの例を示す図である。図７に示すように、リクエストキューテーブル１５３は、リクエストの処理順序、リクエストに対応するタスク、リクエストをしたユーザ、モーダルおよびステータスが関連付けられてなる。図７に示すように、ステータス「処理中」のリクエストは、最も優先度が高いリクエストであり、メッセージキューから取り出されて現在処理中のリクエストである。また、ステータス「処理待ち」のリクエストは、メッセージキューに存在するリクエストである。

ここで、リクエスト処理部１２２Ａは、処理中のリクエストおよび新たに入力されたリクエストそれぞれの優先度を比較して、処理中のリクエストを優先的に処理すべきであると判断した場合、処理中のリクエストの処理を継続する。

一方、実行制御部１２３は、処理中のリクエストおよび新たに入力されたリクエストそれぞれの優先度を比較して、新たに入力されたリクエストを優先的に処理すべきであると判断した場合、新たに入力されたリクエストを処理中のリクエストに対して割り込ませてもよい。実行制御部１２３は、このように割り込みが発生した場合、所定の出力情報の出力を制御してよい。出力情報は、処理中のリクエストをしたユーザに対して提示されてもよいし、新たに入力されたリクエストをしたユーザに対して提示されてもよい。

ここで、出力情報の種類は限定されない。例えば、出力情報は、視覚的に提示されてよい。視覚的な提示は、エージェント１０Ａに所定のジェスチャ（例えば、割り込みをされるリクエストをしたユーザに向かって手の平を向けるようなジェスチャなど）によって提示されてもよいし、ランプの発光（例えば、赤いランプの発光など）といったようにハードウェア的に提示されてもよい。あるいは、出力情報は、エージェント１０Ａにおいて管理されているリクエストキューテーブル１５３そのものの提示であってもよい。

図８は、割り込みが発生した場合にユーザに提示される画面例を示す図である。図８に示すように、実行制御部１２３は、リクエストキューテーブル１５３が表示部１５０によって提示されるように表示部１５０を制御してもよい。このとき、実行制御部１２３は、割り込みをしたリクエストと割り込みをされたリクエストとを識別しやすくするため、リクエストキューテーブル１５３のうち、割り込みをしたリクエストおよび割り込みをされたリクエストそれぞれの行に対して所定のアニメーション（例えば、点滅など）を付加してもよい。

あるいは、出力情報は、音声によって提示されてもよい。図９は、割り込みが発生した場合にユーザに提示される音声メッセージ例を示す図である。図９に示すように、実行制御部１２３は、所定の音声メッセージ１６１（図９に示した例では、「現在処理中のリクエストよりも優先度の高いリクエストが受け付けられたため、現在処理中のリクエストの処理を中断します」という音声メッセージ）の出力を制御してもよい。ただし、音声メッセージ１６１は、特に限定されない。

上記においては、検出部１２１によって一つのコンテキストが検出される場合を主に説明した。しかし、検出部１２１によって複数のコンテキストが検出される場合もあり得る。例えば、検出部１２１によって第１のコンテキストおよび第２のコンテキストが検出された場合、かつ、第１のコンテキストおよび第２のコンテキストに対応する属性種別が同一である場合が想定される。かかる場合、リクエスト処理部１２２Ａは、第１のコンテキストおよび第２のコンテキストそれぞれに対応する同一の属性情報に関連する優先度同士の演算に基づいて、第１のリクエストおよび第２のリクエストそれぞれの優先度を取得してよい。

図１０は、複数のコンテキストが検出された場合、かつ、属性種別が単一である場合におけるリクエストの優先度算出の例を説明するための図である。図１０に示した例では、コンテキスト「朝」およびコンテキスト「平日」が検出された場合が想定されている。

対応テーブル１５４−１は、コンテキスト「朝」に対応する各種情報（属性種別、属性値および優先度）と、コンテキスト「平日」に対応する各種情報とを含む。このとき、対応テーブル１５５−１に示すように、同一の属性情報（例えば、属性種別「Ｐｅｒｓｏｎ」および属性値「ユーザＡ」）に関連する優先度「０．９」「０．８」の乗算によって、この属性情報を有するリクエストの優先度を「０．７２」と算出してよい。なお、優先度同士の演算は、優先度同士の乗算に限定されず、優先度同士の加算であってもよいし、優先度同士の平均値であってもよい。

また、検出部１２１によって第１のコンテキストおよび第２のコンテキストが検出された場合、かつ、第１のコンテキストおよび第２のコンテキストに対応する属性種別が異なる場合も想定される。かかる場合、リクエスト処理部１２２Ａは、第１のコンテキストおよび第２のコンテキストそれぞれに対応する異なる属性情報に関連する優先度同士の演算に基づいて、第１のリクエストおよび第２のリクエストそれぞれの優先度を取得してよい。

図１１は、複数のコンテキストが検出された場合、かつ、属性種別が複数である場合におけるリクエストの優先度算出の例を説明するための図である。図１１に示した例では、コンテキスト「朝」およびコンテキスト「周辺の明るさ１０ｘｌ以下」が検出された場合が想定されている。

対応テーブル１５４−２は、コンテキスト「朝」に対応する各種情報（属性種別、属性値および優先度）と、コンテキスト「周辺の明るさ１０ｘｌ以下」に対応する各種情報とを含む。このとき、対応テーブル１５５−２に示すように、異なる属性情報（例えば、属性種別「Ｐｅｒｓｏｎ」および属性値「ユーザＡ」と、属性種別「モーダル」および属性値「音声ＵＩ」）に関連する優先度「０．９」「０．９」の乗算によって、これらの属性情報を有するリクエストの優先度を「０．８１」と算出してよい。なお、優先度同士の演算は、優先度同士の乗算に限定されず、優先度同士の加算であってもよいし、優先度同士の平均値であってもよい。

上記においては、コンテキストの例を説明した。コンテキストは、あるパラメータと閾値との関係を含む場合もある。例えば、コンテキスト「周辺環境音６０ｄｂ以上」は、パラメータ「周辺環境音」と閾値「６０ｄｂ」との関係を含んでいる。このような閾値は、あらかじめユーザによって設定されてもよいし、動的に変更されてもよい。例えば、周辺環境音などは、エージェント１０Ａが存在する場所によって最適な閾値は変化し得ると考えられるため、閾値は動的に変更されるのがよい。

具体的には、エージェント１０Ａが置かれた環境において、集音部１１３は、所定の期間周辺環境音を検出し続けてもよい。そして、リクエスト処理部１２２Ａは、その所定の期間に検出された周辺環境音の平均値を基準として、その基準からｘ％乖離した値を閾値（異常値）としてもよい。

上記においては、属性情報と優先度とが関連付けられてなる関連情報１５２の例を示した（図６）。かかる関連情報１５２は、どのように設定されてもよい。例えば、関連情報１５２は、エージェント１０Ａの製品（サービス）提供者によって、製品（サービス）の提供前に設定されてもよい。あるいは、関連情報１５２は、ユーザによって設定されてもよい。しかし、関連情報１５２が、エージェント１０Ａの置かれる環境、エージェント１０Ａのユーザにより適するように関連情報１５２を設定することも想定される。

具体的には、サーバ装置３０Ａにおいて、他のユーザの関連情報も管理されている場合も想定される。そこで、リクエスト処理部１２２Ａは、関連情報１５２として、エージェント１０Ａのユーザと所定の類似関係を有する他のユーザの関連情報を取得してもよい。所定の類似関係は、特に限定されない。

例えば、所定の類似関係は、エージェント１０Ａのユーザに関する情報と他のユーザに関する情報との類似度が閾値を超えるという関係であってもよいし、エージェント１０Ａのユーザに関する情報に対して、他のユーザに関する情報とが最も類似するという関係であってもよい。エージェント１０Ａのユーザに関する情報と他のユーザに関する情報との類似度は、特に限定されないが、コサイン類似度などであってよい。

図１２は、他のユーザの関連情報を流用する例を説明するための図である。図１２に示すように、サーバ装置３０Ａにおいて、記憶部３５０によって複数のユーザに関連する情報１５６が記憶されている。図１２に示した例において、他のユーザが「家族Ａ」であるとする。また、エージェント１０Ａのユーザが「家族Ｂ」であるとする。このとき、制御部３１０Ａは、複数のユーザに関する情報１５６を参照して、他のユーザ「家族Ａ」に関する情報とエージェント１０Ａのユーザ「家族Ｂ」に関する情報とが、所定の類似関係を有していると判断する。

そこで、図１２に示すように、通信部３４０は、エージェント１０Ａのユーザ「家族Ｂ」の関連情報として、他のユーザ「家族Ａ」の関連情報１５２−１をエージェント１０Ａに送信すればよい。このとき、エージェント１０Ａにおいては、通信部１４０が、他のユーザ「家族Ａ」の関連情報１５２−１を受信し、リクエスト処理部１２２Ａが、他のユーザ「家族Ａ」の関連情報１５２−１に基づいて、リクエストの優先度を判断すればよい。

また、エージェント１０Ａの関連情報（例えば、他のユーザ「家族Ａ」の関連情報１５２−１）には、ユーザからのフィードバックに基づく確信度が関連付けられ、この確信度に基づいて、採用されるか否かが判断されてもよい。より具体的には、リクエスト処理部１２２Ａは、ユーザによるフィードバックに基づく確信度をエージェント１０Ａの関連情報に関連付ける。そして、リクエスト処理部１２２Ａは、第１のリクエストおよび第２のリクエストそれぞれの属性情報の少なくともいずれか一方に関連する確信度が所定の閾値を下回る場合、第１のリクエストおよび第２のリクエストのいずれを優先的に処理すべきかを判断しなくてよい。

ここで、所定の閾値は、擬似乱数であってもよい。例えば、確信度は、０≦確信度≦１の範囲を取り得る。また、確信度の初期値は、０〜１の範囲の任意の値（例えば、０．５など）として設定されてよい。

そして、リクエスト処理部１２２Ａは、検出部１２１によって、ユーザからのポシティブフィードバックが検出された場合には、ｒｅｗａｒｄに「＋１」を設定してよい。また、リクエスト処理部１２２Ａは、検出部１２１によって、ユーザからのネガティブフィードバックが検出された場合には、ｒｅｗａｒｄに「０」を設定してよい。また、リクエスト処理部１２２Ａは、検出部１２１によって、複数のユーザからの異なるフィードバックが検出された場合、一人でもネガティブフィードバックをしたユーザがいれば、ネガティブフィードバックがなされたとして取り扱ってよい。

確信度は、リクエスト処理部１２２Ａによって、総ｒｅｗａｒｄ値／総試行回数によって算出されてよい。図１３は、ユーザによるフィードバックに基づく確信度がさらに関連付けられた関連情報１５２−２の例を示す図である。

例えば、ポジティブフィードバックは、ポジティブを示すＵＩ操作（例えば、ポジティブを示すボタンの押下など）であってもよいし、（割り込みをしたユーザから発せられた）感謝を示す所定の音声（例えば、「ありがとう」などといったメッセージ）であってもよいし、それに準ずるＩｍｐｌｉｃｉｔな行動（例えば、笑顔などの所定の表情を浮かべる行動など）であってもよい。

例えば、ネガティブフィードバックは、ネガティブを示すＵＩ操作（例えば、ネガティブを示すボタンの押下など）であってもよいし、（割りこまれたユーザから発せられた）嫌悪感を示す所定の音声（例えば、「割り込まないで」などといったメッセージ）であってもよいし、それに準ずるＩｍｐｌｉｃｉｔな行動（例えば、不機嫌な表情を浮かべる行動など）であってもよい。

さらに、新たなユーザ（例えば、まだ登録されていないユーザなど）がリクエストをする場合もあり得る。例えば、普段は、お父さん、お母さん、子供だけでしか、家庭内でエージェント１０Ａを使っていないが、遠くに住むおばあちゃんが家に来た場合などが想定される。かかる場合、リクエスト処理部１２２Ａは、新たなユーザの優先度として、新たなユーザと所定の類似関係を有する他のユーザの優先度を取得してもよい。所定の類似関係は、既に述べたように、特に限定されない。

以上、第１の実施形態に係る情報処理システム１Ａの機能詳細について説明した。

［１．５．動作例］
続いて、第１の実施形態に係る情報処理システム１Ａの動作例について説明する。図１４は、リクエストキューから順にリクエストを取り出し処理する動作の例を示すフローチャートである。図１４に示すように、リクエスト処理部１２２Ａは、リクエストキューサイズが「０」である場合には（Ｓ１１において「Ｎｏ」）、動作を終了する。

一方、リクエスト処理部１２２Ａは、リクエストキューサイズが「０」を超える場合には（Ｓ１１において「Ｙｅｓ」）、リクエストキューから優先度が最大のリクエストを取り出し、取り出したリクエストを処理する（Ｓ１２）。リクエスト処理部１２２Ａは、リクエストを処理すると、リクエストキューからリクエストを削除して（Ｓ１３）、Ｓ１１に戻る。

図１５は、処理中のリクエストが存在する場合に新たなリクエストが入力された場合における動作の例を示すフローチャートである。図１５に示すように、リクエスト処理部１２２Ａは、新たなリクエストが入力された場合、他のリクエストが処理中であるか否かを判断する（Ｓ２１）。リクエスト処理部１２２Ａは、他のリクエストが処理中でない場合（Ｓ２１において「Ｎｏ」）、Ｓ２６に進む。一方、リクエスト処理部１２２Ａは、他のリクエストが処理中である場合（Ｓ２１において「Ｙｅｓ」）、検出部１２１によって検出されたコンテキストを取得する（Ｓ２２）。

続いて、リクエスト処理部１２２Ａは、検出部１２１によって検出されたコンテキストが関連情報１５２に存在するか否かを判断する（Ｓ２３）。リクエスト処理部１２２Ａは、該当するリクエストが存在しない場合（Ｓ２３において「Ｎｏ」）、Ｓ２６に進む。一方、リクエスト処理部１２２Ａは、該当するリクエストが存在する場合（Ｓ２３において「Ｙｅｓ」）、関連情報１５２からコンテキストに関連するＡｔｔｒｉｂｕｔｅを取得する（Ｓ２４）。

続いて、リクエスト処理部１２２Ａは、関連情報１５２にＡｔｔｒｉｂｕｔｅに対応するＡｔｔｉｂｕｔｅ ｖａｌｕｅが存在するか否かを判断する（Ｓ２５）。リクエスト処理部１２２Ａは、該当するＡｔｔｉｂｕｔｅ ｖａｌｕｅが存在しない場合（Ｓ２５において「Ｎｏ」）、新たに入力されたリクエストをリクエストキューに追加する（Ｓ２６）。一方、リクエスト処理部１２２Ａは、該当するＡｔｔｉｂｕｔｅ ｖａｌｕｅが存在する場合（Ｓ２５において「Ｙｅｓ」）、該当するＡｔｔｉｂｕｔｅ ｖａｌｕｅに関連する確信度が擬似乱数（ｒａｎｄ）未満であれば（Ｓ２５１において「Ｎｏ」）、新たに入力されたリクエストをリクエストキューに追加する（Ｓ２６）。一方、リクエスト処理部１２２Ａは、該当するＡｔｔｉｂｕｔｅ ｖａｌｕｅが存在する場合（Ｓ２５において「Ｙｅｓ」）、該当するＡｔｔｉｂｕｔｅ ｖａｌｕｅに関連する確信度が擬似乱数（ｒａｎｄ）以上であれば（Ｓ２５１において「Ｙｅｓ」）、Ａｔｔｉｂｕｔｅ ｖａｌｕｅに関連する優先度を取得し、優先度同士の比較によって、新たに入力されたリクエストと処理中のリクエストとのいずれを優先すべきかを判断する（Ｓ２７）。

実行制御部１２３は、優先度同士の比較によって、新たに入力されたリクエストを優先すべきであると判断した場合（すなわち、処理中のタスクに対する割り込みが発生した場合）（Ｓ２８において「Ｙｅｓ」）、ユーザに割り込み発生を通知し（Ｓ２９）、Ｓ３０に進む。一方、リクエスト処理部１２２Ａは、優先度同士の比較によって、処理中のリクエストを優先すべきであると判断した場合（すなわち、処理中のタスクに対する割り込みが発生しない場合）（Ｓ２８において「Ｎｏ」）、リクエストキューテーブルを更新して（Ｓ３０）、動作を終了する。

以上、第１の実施形態に係る情報処理システム１Ａの動作例について説明した。

以上において、第１の実施形態について説明した。

＜２．第２の実施形態＞
続いて、第２の実施形態について説明する。第１の実施形態においては、エージェント１０が１台である場合を主に想定した。第２の実施形態においては、エージェント１０が複数台存在する場合を主に説明する。

［２．１．システム構成例］
まず、図面を参照しながら第２の実施形態に係る情報処理システムの構成例について説明する。図１６は、第２の実施形態に係る情報処理システムの構成例を示す図である。図１６に示したように、第２の実施形態に係る情報処理システム１Ｂは、エージェント１０Ｂ−１〜１０Ｂ−Ｎと、コントローラ２０−１〜２０−Ｎ（Ｎは自然数）と、サーバ装置３０Ｂとを備える。なお、図１６に示した例では、エージェント１０の数とコントローラ２０の数とが同数となっているが、エージェント１０の数とコントローラ２０の数とは、異なっていてもよい。

図１６に示したように、ユーザＵ−２からリクエスト「スケジュール教えて」がなされた場合、このリクエストをエージェント１０Ｂ−１〜１０Ｂ−Ｎのいずれが処理すべきかを特定する必要が生じる。なお、第２の実施形態においては、サーバ装置３０Ｂが、タスクステータステーブル１５７を記憶している。タスクステータステーブル１５７は、エージェント１０Ｂ−１〜１０Ｂ−Ｎそれぞれのタスクを管理する。タスクステータステーブル１５７については、後に説明する。

以上、第２の実施形態に係る情報処理システム１Ｂの構成例について説明した。

［２．２．エージェントの機能構成例］
続いて、第２の実施形態に係るエージェント１０Ｂの機能構成例について説明する。第２の実施形態に係るエージェント１０Ｂは、第１の実施形態に係るエージェント１０Ａと比較して、制御部１２０Ａの代わりに、制御部１２０Ｂを有する点において異なっている。以下、制御部１２０Ｂの機能構成例について主に説明する。図１７は、制御部１２０Ｂの詳細構成例を示す図である。図１７に示すように、制御部１２０Ｂは、検出部１２１、リクエスト処理部１２２Ｂおよび実行制御部１２３を有する。以下では、リクエスト処理部１２２Ｂについて主に説明する。

以上、第２の実施形態に係るエージェント１０Ｂの機能構成例について説明した。

［２．３．サーバ装置の機能構成例］
続いて、第２の実施形態に係るサーバ装置３０Ｂの機能構成例について説明する。図１８は、第２の実施形態に係るサーバ装置３０Ｂの機能構成例を示す図である。図１８に示すように、第２の実施形態に係るサーバ装置３０Ｂは、第１の実施形態に係るサーバ装置３０Ａと比較して、制御部３１０Ａの代わりに、制御部３１０Ｂを有する点において異なっている。具体的に、制御部３１０Ｂは、距離取得部３１１、選択部３１２および実行命令出力部３１３を有する。以下、制御部３１０Ｂの機能構成例について主に説明する。

以上、第２の実施形態に係るサーバ装置３０Ｂの機能構成例について説明した。

［２．４．情報処理システムの機能詳細］
続いて、第２の実施形態に係る情報処理システム１Ｂの機能詳細について説明する。図１９は、タスクステータステーブルの例を示す図である。図１９に示すように、タスクステータステーブル１５７は、エージェントＩＤと、ステータス（例えば、リクエストに対する応答処理中であるか、処理すべきリクエストを有していないか（空いているか）など）と、応答対象のユーザの識別情報と、処理中のリクエストに対応するタスクの種類とが関連付けられてなる。

このとき、例えば、エージェント１０Ｂ−１におけるリクエスト処理部１２２Ｂは、サーバ装置３０Ｂによって、エージェント１０Ｂ−１がエージェント１０Ｂ−１〜１０Ｂ−２の中で、ユーザＵ−２からのリクエストを処理すべきと判断された場合に、ユーザＵ−２からのリクエストを実行対象とすればよい（例えば、ユーザＵ−２からのリクエストをリクエストキューに追加すればよい）。

一方、エージェント１０Ｂ−１におけるリクエスト処理部１２２Ｂは、エージェント１０Ｂ−１がエージェント１０Ｂ−１〜１０Ｂ−２の中で、ユーザＵ−２からのリクエストを処理すべきと判断されない場合には、ユーザＵ−２からのリクエストを実行対象としなくてよい（例えば、ユーザＵ−２からのリクエストをリクエストキューに追加しなくてよい）。

例えば、サーバ装置３０Ｂによって、エージェント１０Ｂ−１は、エージェント１０Ｂ−１〜１０Ｂ−２の中で、ユーザＵ−２からの距離が最も近い場合に、ユーザＵ−２からのリクエストを処理すべきと判断されてよい。あるいは、サーバ装置３０Ｂによって、エージェント１０Ｂ−１は、エージェント１０Ｂ−１〜１０Ｂ−２の中で、処理すべきリクエスト（リクエストに対応するタスク）を有していない場合に、ユーザＵ−２からのリクエストを処理すべきと判断されてもよい。

このように、エージェント１０Ｂ−１が処理すべきリクエスト（リクエストに対応するタスク）を有していない場合には、エージェント１０Ｂ−１がユーザＵ−２からのリクエストを処理すべきと判断されてもよいが、エージェント１０Ｂ−１とユーザＵ−２との距離が遠い場合も想定される。したがって、かかる場合、エージェント１０Ｂ−１におけるリクエスト処理部１２２Ｂは、リクエストに対する応答を変えてもよい。例えば、リクエスト処理部１２２Ｂは、リクエストに対する応答を音声と画面表示との組み合わせにしてもよいし、リクエストに対する応答を音声とし、その音声を大きくしてもよいし、リクエストに対する応答を画面表示とし、その画面の表示文字を大きくしてもよい。

以上、第２の実施形態に係る情報処理システム１Ｂの機能詳細について説明した。

［２．５．動作例］
続いて、第２の実施形態に係る情報処理システム１Ｂの動作例について説明する。図２０は、エージェント１０Ｂ−１においてリクエストを実行対象とするか否かを判断する動作例を示すフローチャートである。なお、エージェント１０Ｂ−２〜１０Ｂ−Ｎにおいても、同様な動作がなされてよい。図２０に示すように、エージェント１０Ｂ−１において、リクエスト処理部１２２Ｂは、ユーザＵ−２からリクエストを受け付けると（Ｓ４１）、ユーザＵ−２からエージェント１０Ｂ−１までの距離をサーバ装置３０Ｂに送信させる（Ｓ４２）。

リクエスト処理部１２２Ｂは、通信部１４０が、サーバ装置３０からリクエストに対する応答実行命令を受信すると（Ｓ４３において「Ｙｅｓ」）、リクエストに対する応答を実行する（Ｓ４４）。一方、リクエスト処理部１２２Ｂは、通信部１４０が、サーバ装置３０Ｂからリクエストに対する応答実行命令を受信しないと（Ｓ４３において「Ｎｏ」）、リクエストに対する応答を実行せずに、動作を終了する。

図２１は、サーバ装置３０Ｂにおいてリクエストを実行させるエージェントを選択する動作例を示すフローチャートである。図２１に示すように、サーバ装置３０Ｂにおいて、通信部３４０は、エージェント１０Ｂ−１からユーザＵ−２までの距離をエージェント１０Ｂ−１から受信する（Ｓ５１）。エージェント１０Ｂ−２〜１０Ｂ−Ｎからも同様に距離を受信する。距離取得部３１１は、かかる距離を取得する。

続いて、選択部３１２は、エージェント１０Ｂ−１〜１０Ｂ−Ｎから、ユーザＵ−２に最も近いエージェントを選択する（Ｓ５２）。実行命令出力部３１３は、選択部３１２によって選択されたエージェントに応答実行命令を送信させる（Ｓ５３）。応答実行命令の送信が終わると、動作が終了される。

図２２は、サーバ装置３０Ｂにおいてリクエストを実行させるエージェントを選択する動作の他の例を示すフローチャートである。図２２に示すように、サーバ装置３０Ｂにおいて、通信部３４０は、エージェント１０Ｂ−１からユーザＵ−２までの距離をエージェント１０Ｂ−１から受信する（Ｓ５１）。エージェント１０Ｂ−２〜１０Ｂ−Ｎからも同様に距離を受信する。距離取得部３１１は、かかる距離を取得する。

続いて、選択部３１２は、空きエージェントが存在するか否かを判断する（Ｓ５４）。選択部３１２は、空きエージェントが存在しない場合（Ｓ５４において「Ｎｏ」）、ユーザＵ−２に最も近いエージェントを選択して（Ｓ５２）、Ｓ５３に進む。一方、選択部３１２は、空きエージェントが存在する場合（Ｓ５４において「Ｙｅｓ」）、空きエージェントの中からユーザＵ−２に最も近いエージェントを選択する（Ｓ５５）。実行命令出力部３１３は、選択部３１２によって選択されたエージェントに応答実行命令を送信させる（Ｓ５３）。応答実行命令の送信が終わると、動作が終了される。

以上、第２の実施形態に係る情報処理システム１Ｂの動作例について説明した。

以上において、第２の実施形態について説明した。

＜３．第３の実施形態＞
続いて、第３の実施形態について説明する。第３の実施形態においても、第２の実施形態と同様に、エージェント１０が複数台存在する。

［３．１．システム構成例］
まず、図面を参照しながら第３の実施形態に係る情報処理システムの構成例について説明する。図２３は、第３の実施形態に係る情報処理システムの構成例を示す図である。図２３に示したように、第３の実施形態に係る情報処理システム１Ｃは、エージェント１０Ｃ−１〜１０Ｃ−Ｎと、コントローラ２０−１〜２０−Ｎ（Ｎは自然数）と、サーバ装置３０Ａとを備える。なお、図２３に示した例では、エージェント１０の数とコントローラ２０の数とが同数となっているが、第２の実施形態と同様に、エージェント１０の数とコントローラ２０の数とは、異なっていてもよい。

図２３に示したように、第２の実施形態と同様に、ユーザＵ−２からリクエスト「スケジュール教えて」がなされた場合、このリクエストをエージェント１０Ｂ−１〜１０Ｂ−Ｎのいずれが処理すべきかを特定する必要が生じる。なお、第３の実施形態においては、エージェント１０Ｃ−Ｇ（親機）が、タスクステータステーブル１５７を記憶している。また、複数のエージェント１０のうち、エージェント１０Ｃ−Ｇ（親機）以外は、子機として機能する。

エージェント１０Ｃ−Ｇ（親機）は、どのように決定されてもよい。例えば、エージェント１０Ｃ−Ｇ（親機）は、ユーザの手動によって決定されてもよい。あるいは、エージェント１０Ｃ−Ｇ（親機）は、システム（例えば、サーバ装置３０Ａなど）によって、通信圏内に存在するエージェントから自動的に決定されてもよい。例えば、エージェント１０Ｃ−Ｇ（親機）は、ランダムに決定されてもよいし、ユーザとの接触頻度が最も高いエージェントに決定されてもよい。また、子機同士は、近距離無線通信などによって、互いに通信可能に構成されている。

以上、第３の実施形態に係る情報処理システム１Ｃの構成例について説明した。

［３．２．親機の機能構成例］
続いて、第３の実施形態に係るエージェント１０Ｃ−Ｇ（親機）の機能構成例について説明する。第３の実施形態に係るエージェント１０Ｃ−Ｇ（親機）は、第２の実施形態に係るエージェント１０Ｂと比較して、制御部１２０Ｂの代わりに、制御部１２０Ｃを有する点において異なっている。以下、制御部１２０Ｃの機能構成例について主に説明する。図２４は、制御部１２０Ｃの詳細構成例を示す図である。

図２４に示すように、エージェント１０Ｃ−Ｇ（親機）における制御部１２０Ｃは、検出部１２１、リクエスト処理部１２２Ｂおよび実行制御部１２３を有している。さらに、エージェント１０Ｃ−Ｇ（親機）における制御部１２０Ｃは、距離取得部３１１、選択部３１２および実行命令出力部３１３を有している。

以上、第３の実施形態に係るエージェント１０Ｃ−Ｇ（親機）の機能構成例について説明した。

［３．３．動作例］
続いて、第３の実施形態に係る情報処理システム１Ｃの動作例について説明する。図２５は、エージェント１０Ｃ−１（子機）においてリクエストを実行対象とするか否かを判断する動作例を示すフローチャートである。なお、他の子機においても、同様な動作がなされてよい。図２５に示すように、エージェント１０Ｃ−１（子機）において、リクエスト処理部１２２Ｂは、ユーザＵ−２からリクエストを受け付けると（Ｓ６１）、ユーザＵ−２からエージェント１０Ｃ−１（子機）までの距離をエージェント１０Ｃ−Ｇ（親機）に送信させる（Ｓ６２）。

リクエスト処理部１２２Ｂは、通信部１４０が、エージェント１０Ｃ−Ｇ（親機）からリクエストに対する応答実行命令を受信すると（Ｓ６３において「Ｙｅｓ」）、リクエストに対する応答を実行する（Ｓ６４）。一方、リクエスト処理部１２２Ｂは、通信部１４０が、エージェント１０Ｃ−Ｇ（親機）からリクエストに対する応答実行命令を受信しないと（Ｓ６３において「Ｎｏ」）、リクエストに対する応答を実行せずに、動作を終了する。

図２６は、エージェント１０Ｃ−Ｇ（親機）においてリクエストを実行させるエージェントを選択する動作例を示すフローチャートである。図２６に示すように、エージェント１０Ｃ−Ｇ（親機）において、通信部３４０は、エージェント１０Ｃ−１（子機）からユーザＵ−２までの距離をエージェント１０Ｂ−１から受信する（Ｓ７１）。他の子機からも同様に距離を受信する。距離取得部３１１は、かかる距離を取得する。

続いて、選択部３１２は、すべての子機から、ユーザＵ−２に最も近いエージェントを選択する（Ｓ７２）。実行命令出力部３１３は、選択部３１２によって選択されたエージェントに応答実行命令を送信させる（Ｓ７３）。応答実行命令の送信が終わると、動作が終了される。

図２７は、エージェント１０Ｃ−Ｇ（親機）においてリクエストを実行させるエージェントを選択する動作の他の例を示すフローチャートである。図２７に示すように、エージェント１０Ｃ−Ｇ（親機）において、通信部３４０は、エージェント１０Ｃ−１（子機）からユーザＵ−２までの距離をエージェント１０Ｃ−１（子機）から受信する（Ｓ７１）。他の子機からも同様に距離を受信する。距離取得部３１１は、かかる距離を取得する。

続いて、選択部３１２は、空きエージェントが存在するか否かを判断する（Ｓ７４）。選択部３１２は、空きエージェントが存在しない場合（Ｓ７４において「Ｎｏ」）、ユーザＵ−２に最も近いエージェントを選択して（Ｓ７２）、Ｓ７３に進む。一方、選択部３１２は、空きエージェントが存在する場合（Ｓ７４において「Ｙｅｓ」）、空きエージェントの中からユーザＵ−２に最も近いエージェントを選択する（Ｓ７５）。実行命令出力部３１３は、選択部３１２によって選択されたエージェントに応答実行命令を送信させる（Ｓ７３）。応答実行命令の送信が終わると、動作が終了される。

以上、第３の実施形態に係る情報処理システム１Ｃの動作例について説明した。

以上において、第３の実施形態について説明した。

＜４．概要（ユーザへの提示情報の制御）＞
上記においては、優先的に処理すべきリクエストを判断する技術について主に説明した。以下では、ユーザへの提示情報を制御する技術について主に説明する。近年、ユーザとの間で対話を行うロボット装置に関する技術が知られている。例えば、ユーザの発話内容から判別されるユーザの感情とあらかじめ登録されたユーザとの親密度とに応じた提示情報をユーザに提示する技術が開示されている。

また、音声情報を主体とした提示情報によってユーザとの対話を行うエージェントに関する技術が知られている。音声情報だけではなく映像情報も提示情報としてユーザに提示するエージェントに関する技術も知られている。このように、音声情報と映像情報との双方を提示情報としてユーザに提示することが可能な場合、音声情報と映像情報とを有効にユーザに提示することによって、ユーザによって望ましい対話がなされると考えられる。

ここで、具体例を二つ挙げる。一つ目の例として、ユーザがエージェントに対して天気に関する情報の提示をリクエストした場合を想定する。かかる場合、画面を視認不可能な状態のユーザに対しては、リクエストに対して音声情報（例えば、音声情報「明日の天気は晴れです」など）のみを提示することが考えられる。一方、画面を視認可能な状態のユーザは、音声情報だけではなく画面に映し出される映像情報も利用することができる。しかし、映像情報によって提示可能な内容と同内容の音声情報をユーザに提示してしまうと、ユーザへの提示が冗長になってしまう。

二つ目の例として、ユーザがエージェントに対して外出先のおすすめ情報の提示をリクエストした場合を想定する。かかる場合、画面を視認不可能な状態のユーザに対しては、音声情報「おすすめスポットは、Ａ，Ｂ，Ｃ・・・です」のように、おすすめスポットを最初から最後まで順番に音声情報によって提示することが考えられる。一方、画面を視認可能な状態のユーザに対して同様な音声情報のみを提示してしまうと、映像情報を利用できるにも関わらず、おすすめスポットを全て聞き終わるまでの時間だけユーザが待機しなければならない。

このような例を想定した場合、一例として、ユーザが画面を現在視認しているか否かに応じて、ユーザに提示される音声情報および映像情報を制御するのが望ましい。例えば、一つ目の例では、画面を現在視認しているユーザには、天気に関する情報を映像情報によって提示しつつ、付加的な情報（例えば、「今日は暑いので、水分補給をしましょう」などといった付加的な情報）を音声情報によって提示することによって、ユーザにとって望ましい提示を行うことができる。一方、画面を現在視認していないユーザに対しては、リクエストに対して音声情報のみを提示してよい。

二つ目の例では、画面を現在視認しているユーザには、おすすめ情報の一覧を映像情報によって提示しつつ、指示語（例えば、「これらの中で興味があるところはありますか？」などといった指示語）を音声情報によって簡潔に提示することによって、ユーザにとって望ましい提示を行うことができる。一方、画面を現在視認していないユーザに対しては、リクエストに対して音声情報のみを提示してよい。

上記したように一例として、ユーザが画面を現在視認しているか否かに応じて、ユーザに提示される映像情報および音声情報を制御するのが望ましいと考えられる。以下では、ユーザに提示される複数の提示情報をよりユーザが望むように制御することが可能な技術について主に説明する。なお、複数の提示情報それぞれの種類は限定されないが、上記において説明した例と同様に、複数の提示情報が映像情報および音声情報を含む場合を主に想定する。映像情報は、静止画であってもよいし、動画であってもよい。

以上において、ユーザへの提示情報を制御する技術の概要について説明した。

＜５．第４の実施形態＞
続いて、第４の実施形態について説明する。第１の実施形態においては、エージェント１０が１台である場合を主に想定した。第４の実施形態においても、エージェント１０が１台である場合を主に説明する。しかし、エージェント１０は１台ではなく、複数存在していてもよい。

［５．１．システム構成例］
まず、図面を参照しながら第４の実施形態に係る情報処理システムの構成例について説明する。図２８は、第４の実施形態に係る情報処理システムの構成例を示す図である。図２８に示したように、第４の実施形態に係る情報処理システム１Ｄは、エージェント１０Ｄを備える。なお、第４の実施形態においては、エージェント１０Ｄとの間で通信ネットワークを介して通信可能なサーバ装置を有していない場合を主に想定するが、情報処理システム１Ｄは、かかるサーバ装置を有していてもよい。

また、第４の実施形態においては、リクエストに対する応答として提示情報がユーザＵ−１に提示される場合を主に想定する。しかし、提示情報は、ユーザＵ−１からのリクエストがなされるか否かに関わらず、ユーザＵ−１に提示されてもよい。また、第４の実施形態においては、リクエストがユーザＵ−１からの発話に基づいてなされる場合を主に説明する。しかし、リクエストは、第１の実施形態から第３の実施形態までと同様に、コントローラに対する操作に基づいてなされてもよい。なお、ユーザＵ−２〜Ｕ−Ｎに対してもユーザＵ−１と同様に提示情報が提示されてよい。

以上、第４の実施形態に係る情報処理システム１Ｄの構成例について説明した。

［５．２．エージェントの機能構成例］
続いて、第４の実施形態に係るエージェント１０Ｄの機能構成例について説明する。第４の実施形態に係るエージェント１０Ｄは、第１の実施形態に係るエージェント１０Ａと比較して、制御部１２０Ａの代わりに、制御部１２０Ｄを有する点において異なっている。以下、制御部１２０Ｄの機能構成例について主に説明する。図２９は、制御部１２０Ｄの詳細構成例を示す図である。図２９に示すように、制御部１２０Ｄは、姿勢判断部１２４、姿勢情報取得部１２５、提示制御部１２６および学習処理部１２７を有する。

以上、第４の実施形態に係るエージェント１０Ｄの機能構成例について説明した。

［５．３．情報処理システムの機能詳細］
続いて、第４の実施形態に係る情報処理システム１Ｄの機能詳細について説明する。第４の実施形態において、姿勢判断部１２４は、センサデータを取得し、センサデータに基づいてユーザＵ−１の姿勢を判断することによって、ユーザＵ−１の姿勢情報を得る。第４の実施形態においては、センサデータが、撮像部１１４によって撮像された画像である場合を主に想定するが、センサデータは、撮像部１１４によって撮像された画像に限定されない。例えば、センサデータは、ユーザＵ−１にセンサ（例えば、加速度センサなど）が装着されている場合、ユーザＵ−１に装着されたセンサによって検出されてもよい。なお、姿勢判断部１２４は、エージェント１０Ｄの代わりに、サーバ装置に存在してもよい。

ユーザＵ−１の姿勢情報は、ユーザＵ−１の身体の一部または全部の向きに基づく情報であってよい。例えば、ユーザＵ−１の姿勢情報は、ユーザＵ−１の顔の向きまたはユーザＵ−１の視線を含んでもよい。また、ユーザＵ−１の姿勢情報は、ユーザＵ−１のポーズ情報を含んでもよい。ポーズ情報は、身体の形状データ（例えば、骨格情報など）そのものであってよいし、身体の形状データの分類結果（例えば、立っている状態、座っている状態など）であってもよい。また、ユーザＵ−１の姿勢情報は、ユーザＵ−１の行動情報（例えば、読書中、掃除中、食事中など）を含んでもよい。

姿勢情報取得部１２５は、姿勢判断部１２４によって判断されたユーザＵ−１の姿勢情報を取得する。そして、提示制御部１２６は、ユーザＵ−１への提示情報の提示を制御する。このとき、提示制御部１２６は、ユーザＵ−１の姿勢情報に基づいて、異なる態様を有する複数の提示情報を制御する。かかる構成によれば、ユーザＵ−１に提示される複数の提示情報をよりユーザＵ−１が望むように制御することが可能となる。なお、上記したように、第４の実施形態においては、複数の提示情報が映像情報および音声情報を含む場合を主に想定する。

具体的に、ユーザＵ−１の姿勢情報と映像情報および音声情報との対応関係の例を説明する。第４の実施形態においては、「音声映像提示モード」による提示と「音声主体提示モード」による提示とを想定する。すなわち、提示制御部１２６は、ユーザＵ−１の姿勢情報が第１の条件（以下、「画面視認条件」とも言う。）を満たす場合、画面視認条件に関連付けられた「音声映像提示モード」による提示を制御する。一方、提示制御部１２６は、ユーザＵ−１の姿勢情報が第２の条件（以下、「画面非視認条件」とも言う。）を満たす場合、画面非視認条件に関連付けられた「音声主体提示モード」による提示を制御する。

ここで、「音声映像提示モード」は、映像情報と音声情報との双方をユーザＵ−１に提示するモードである。すなわち、提示制御部１２６は、画面視認条件が満たされた場合、画面視認条件に関連付けられた映像情報と音声情報との双方のユーザＵ−１への提示を制御する。音声情報の提示はどのようになされてもよい。一例として、音声情報の提示は、ＴＴＳ（ＴｅｘｔＴｏＳｐｅｅｃｈ）によってなされてもよい。ただし、「音声映像提示モード」において、音声情報はユーザＵ−１に（提示されるのが望ましいが）提示されなくてもよい。

一方、「音声主体提示モード」は、音声情報をユーザＵ−１に提示するモードである。すなわち、提示制御部１２６は、画面非視認条件が満たされた場合、画面非視認条件に関連付けられた音声情報のユーザＵ−１への提示を制御する。ただし、「音声主体提示モード」において、音声情報の他に映像情報もユーザＵ−１に提示されてよい。すなわち、提示制御部１２６は、画面非視認条件が満たされた場合、画面非視認条件に関連付けられた映像情報のユーザＵ−１への提示をさらに制御してもよい。しかし、映像情報がユーザＵ−１に提示される場合であっても、音声情報のみによってユーザＵ−１が十分に応答内容を理解することが可能であるように音声情報が提示されることが望ましい。

図３０は、各条件と提示モードとの対応関係の例を示す図である。図３０に示すように、画面視認条件は、映像情報が映し出される画面（以下、単に「画面」とも言う。）をユーザＵ−１が現在視認しているという条件を含んでよい。また、画面視認条件は、画面をユーザＵ−１が視認可能な状態であるという条件を含んでよい。また、画面視認条件は、画面の視認がユーザＵ−１の行為を阻害しないという条件を含んでよい。

一方、図３０に示すように、画面非視認条件は、画面をユーザＵ−１が現在視認していないという条件を含んでよい。また、画面非視認条件は、画面をユーザＵ−１が視認不可能な状態であるという条件を含んでよい。また、画面非視認条件は、画面の視認がユーザＵ−１の行為を阻害するという条件を含んでよい。

例えば、図３０に示すように、ユーザＵ−１が画面を現在視認しているか否か（パターン１）は、提示制御部１２６によってユーザＵ−１の顔の向きまたはユーザＵ−１の視線に基づいて判断され得る。具体的には、提示制御部１２６は、ユーザＵ−１の顔の向きまたは視線が画面と所定の位置関係を有する場合に、ユーザＵ−１が画面を現在視認していると判断してよい。一方、提示制御部１２６は、ユーザＵ−１の顔の向きまたは視線が画面と所定の位置関係を有さない場合に、ユーザＵ−１が画面を現在視認していないと判断してよい。

ここで、画面の位置はどのように設定されてもよい。例えば、撮像部１１４によって撮像された画像に基づいて自動的に画面の位置が認識された場合、自動的に認識された画面の位置が設定されてもよい。あるいは、画面の位置は、あらかじめ手動によって設定されてもよい。

より具体的には、提示制御部１２６は、ユーザＵ−１の顔の向きまたは視線（または顔の向きを基準とした視錐台、または、視線を基準とした視錐台）が画面と交差する場合に、ユーザＵ−１が画面を現在視認していると判断してよい。一方、提示制御部１２６は、ユーザＵ−１の顔の向きまたは視線（または顔の向きを基準とした視錐台、または、視線を基準とした視錐台）が画面と交差しない場合に、ユーザＵ−１が画面を現在視認していないと判断してよい。

さらに、提示制御部１２６は、ユーザＵ−１の顔の向きまたは視線（または顔の向きを基準とした視錐台、または、視線を基準とした視錐台）が画面と交差する場合であっても、ユーザＵ−１が画面から最大視認可能距離以内に存在しない場合には、ユーザＵ−１が画面を現在視認していないと判断してもよい。一例として、提示制御部１２６は、現在画面に文字を画面に表示させている場合には、文字の表示サイズに基づいて最大視聴可能距離を算出してよい。

さらに、提示制御部１２６は、ユーザＵ−１の顔の向きまたは視線（または顔の向きを基準とした視錐台、または、視線を基準とした視錐台）が画面と交差する場合であっても、ユーザＵ−１と画面との間に遮蔽物が存在する場合には、ユーザＵ−１が画面を現在視認していないと判断してもよい。一例として、提示制御部１２６は、撮像部１１４によって撮像された画像に基づいて、ユーザＵ−１と画面との間に物体が検出された場合、ユーザＵ−１と画面との間に遮蔽物が存在すると判断してよい。

また、図３０に示すように、ユーザＵ−１が画面を視認可能な状態であるか否か（パターン２）は、提示制御部１２６によってユーザＵ−１のポーズ情報に基づいて判断され得る。具体的には、提示制御部１２６は、ユーザＵ−１のポーズ情報に応じたユーザＵ−１の視認可能範囲（例えば、顔向きの角度幅など）を算出し、視認可能範囲が画面と所定の位置関係を有する場合に、ユーザＵ−１が画面を視認可能な状態であると判断してよい。一方、提示制御部１２６は、かかる視認可能範囲が画面と所定の位置関係を有さない場合に、ユーザＵ−１が画面を視認不可能な状態であると判断してよい。

例えば、ユーザＵ−１のポーズ情報とユーザＵ−１の視認可能範囲との関係は、あらかじめ決められていてよい。例えば、ユーザＵ−１のポーズ情報が「立っている状態」を示す場合には、ユーザＵ−１のポーズ情報が「座っている状態」を示す場合と比較して、視認可能範囲が広くてもよい。

より具体的には、提示制御部１２６は、ユーザＵ−１のポーズ情報に応じたユーザＵ−１の視認可能範囲が画面と交差する場合に、ユーザＵ−１が画面を視認可能な状態であると判断してよい。一方、提示制御部１２６は、ユーザＵ−１のポーズ情報に応じたユーザＵ−１の視認可能範囲が画面と交差しない場合に、ユーザＵ−１が画面を視認不可能な状態であると判断してよい。

さらに、提示制御部１２６は、ユーザＵ−１のポーズ情報に応じたユーザＵ−１の視認可能範囲が画面と交差する場合であっても、ユーザＵ−１が画面から最大視認可能距離以内に存在しない場合には、ユーザＵ−１が画面を視認不可能な状態であると判断してもよい。あるいは、提示制御部１２６は、ユーザＵ−１のポーズ情報に応じたユーザＵ−１の視認可能範囲が画面と交差する場合であっても、ユーザＵ−１と画面との間に遮蔽物が存在する場合には、ユーザＵ−１が画面を視認不可能な状態であると判断してもよい。

また、図３０に示すように、画面の視認がユーザＵ−１の行為を阻害しないか否か（パターン３）は、提示制御部１２６によってユーザＵ−１の行動情報に基づいて判断され得る。具体的には、提示制御部１２６は、ユーザＵ−１の行動情報が第１の行動情報（例えば、ソファに座っている状態など）である場合に、画面の視認がユーザＵ−１の行為を阻害しないと判断してよい。一方、提示制御部１２６は、ユーザＵ−１の行動情報が第２の行動情報（例えば、読書中、掃除中、食事中など）である場合に、画面の視認がユーザＵ−１の行為を阻害すると判断してよい。

上記したように、画面視認条件と「音声映像提示モード」との関連付け、および、画面非視認条件と「音声主体提示モード」との関連付けは、ユーザに依らずに一律的になされていてよい。しかし、どの条件が満たされた場合に、どのモードによる提示がなされることをユーザが望むかは、ユーザによって異なる可能性もある。そこで、画面視認条件と「音声映像提示モード」との関連付け、画面非視認条件と「音声主体提示モード」との関連付けは、ユーザごとになされていてもよい。そして、これらの関連付けは、ユーザごとに変更可能であってもよい。

例えば、学習処理部１２７は、画面視認条件に関連付けられた音声映像提示モードによるユーザＵ−１への提示が制御された後、ユーザＵ−１の第１の状態が検出された場合、ユーザＵ−１に対応する画面視認条件と音声映像提示モードとの関連付けを変更してもよい。そして、学習処理部１２７は、ユーザＵ−１画面視認条件と音声主体提示モードとの関連付けを新たに行ってもよい。

ここで、第１の状態は、ユーザＵ−１による所定の変更操作であってもよい。例えば、変更操作は、変更を示す所定のジェスチャであってもよいし、変更を示す発話であってもよいし、他の操作であってもよい。あるいは、第１の状態は、ユーザＵ−１が画面を視認していないという状態（ユーザＵ−１の顔の向きまたは視線と画面とが所定の位置関係を有さないという状態）であってもよい。

一方、学習処理部１２７は、画面非視認条件に関連付けられた音声主体提示モードによるユーザＵ−１への提示が制御された後、ユーザＵ−１の第２の状態が検出された場合、ユーザＵ−１に対応する画面非視認条件と音声主体提示モードとの関連付けを変更してもよい。そして、学習処理部１２７は、ユーザＵ−１画面非視認条件と音声映像提示モードとの関連付けを新たに行ってもよい。

ここで、第２の状態は、ユーザＵ−１による所定の変更操作であってもよい。例えば、変更操作は、変更を示す所定のジェスチャであってもよいし、変更を示す発話であってもよいし、他の操作であってもよい。あるいは、第２の状態は、ユーザＵ−１が画面を視認している状態（ユーザＵ−１の顔の向きまたは視線と画面とが所定の位置関係を有するという状態）であってもよい。

図３１および図３２は、ユーザごとの各条件と提示モードとの対応関係の例を示す図である。図３１を参照すると、画面非視認条件の例として、ポーズ情報に応じた範囲（視認可能範囲）に画面が存在しないという条件が示されている。ユーザＵ−１〜ユーザＵ−Ｎそれぞれについて、ポーズ情報に応じた範囲（視認可能範囲）に画面が存在しないという条件に対して、音声主体提示モードが関連付けられている。その他、図３１を参照すると、遮蔽物が存在するという条件が示されている。ユーザＵ−１〜ユーザＵ−Ｎそれぞれについて、ユーザと画面との間に遮蔽物が存在するという条件に対して、音声主体提示モードが関連付けられている。

また、図３１を参照すると、画面が遠くに存在するという条件が示されている。ユーザＵ−１およびユーザＵ−Ｎについては、ユーザが画面から遠くに存在する（ユーザが画面から最大視認可能距離以内に存在しない）という条件に対して、音声映像提示モードが関連付けられるように変更がされている。他のユーザＵ−２〜Ｕ−（Ｎ−１）については、ユーザが画面から遠くに存在する（ユーザが画面から最大視認可能距離以内に存在しない）という条件に対して、音声主体提示モードが関連付けられている。

図３２を参照すると、画面非視認条件の例として、ユーザの行動情報が第２の行動情報（読書中、掃除中、食事中のいずれか）であるという条件が示されている。ユーザＵ−Ｎについては、ユーザの行動情報が「読書中」であるという条件に対して、音声映像提示モードが関連付けられるように変更がされている。ユーザＵ−１〜ユーザＵ−（Ｎ−１）それぞれについては、ユーザの行動情報が「読書中」であるという条件に対して、音声主体提示モードが関連付けられている。

また、ユーザＵ−１〜ユーザＵ−Ｎそれぞれについて、ユーザの行動情報が「掃除中」であるという条件に対して、音声主体提示モードが関連付けられている。また、ユーザＵ−１〜Ｕ−（Ｎ−１）については、ユーザの行動情報が「食事中」であるという条件に対して、音声映像提示モードが関連付けられるように変更がされている。ユーザＵ−Ｎについては、ユーザの行動情報が「食事中」であるという条件に対して、音声主体提示モードが関連付けられている。

以下、提示情報の具体的な例について説明する。図３３は、音声主体提示モードによる提示例を示す図である。ここでは、ユーザＵ−１が「今日の予定を教えて」という発話によって、リクエスト「今日の予定の提示」を入力した場合を想定する。図３３には、映像情報が提示される画面として壁面Ｗａが示されている。しかし、ユーザＵ−１は（例えば、掃除中であるため）画面を視認していない。そこで、提示制御部１２６は、ユーザＵ−１の姿勢情報が画面非視認条件を満たしていると判断し、音声主体提示モードによる提示を制御する。

上記したように、音声主体提示モードにおいては、提示制御部１２６は、音声情報のみをユーザＵ−１に提示してよい（映像情報は提示されなくてもよい）。このとき、音声情報のみによってユーザＵ−１が十分に応答内容を理解することが可能であるように音声情報が提示されることが望ましい。図３３に示した例では、音声情報１６８−１に今日の予定が含まれている。

図３４および図３５は、音声映像提示モードによる提示例を示す図である。ここでも、ユーザＵ−１が「今日の予定を教えて」という発話によって、リクエスト「今日の予定の提示」を入力した場合を想定する。図３４および図３５に示した例では、ユーザＵ−１は画面を視認している。そこで、提示制御部１２６は、ユーザＵ−１の姿勢情報が画面視認条件を満たしていると判断し、音声映像提示モードによる提示を制御する。

上記したように、音声映像提示モードにおいては、提示制御部１２６は、映像情報と音声情報との双方をユーザＵ−１に提示してよい。このとき、画面視認条件が満たされているため、音声映像提示モードによって提示される映像情報は、音声映像提示モードによって提示される映像情報と比較して、情報量が大きくてよい。その反面、音声映像提示モードによって提示される音声情報は、音声映像提示モードによって提示される音声情報と比較して、情報量が小さくてよい。

例えば、音声映像提示モードによって提示される映像情報は、グラフィックおよびテキストデータの少なくともいずれか一方を含んでよい。図３４に示した例では、提示制御部１２６が、映像情報１５８−１として、グラフィックおよびテキストデータの双方によって予定表（円グラフ）の提示を制御している。このとき、音声映像提示モードによって提示される音声情報は、端的な音声情報であってよい（指示語および省略語の少なくともいずれか一方を含んでよい）。図３４に示した例では、提示制御部１２６が、指示語「こちら」を含んだ端的な音声情報１６８−２の提示を制御している。

図３５に示した例では、提示制御部１２６が、映像情報１５８−２として、テキストデータによって予定表の提示を制御している。また、図３５に示した例では、図３４に示した例と同様に、提示制御部１２６が、指示語「こちら」を含んだ端的な音声情報１６８−２の提示を制御している。

その他、音声映像提示モードにおいては、提示制御部１２６は、言葉で説明しにくい内容が映像情報によって提示されるように制御してもよい。例えば、リクエストに対する候補が見つかった場合を想定する。かかる場合、提示制御部１２６は、「こんなものはいかがでしょうか？」といった端的な音声情報の提示を制御するとともに、グラフィックによって候補の画像が提示されるように制御してもよい。

また、提示制御部１２６は、「このくらいの大きさはいかがでしょうか？」といった端的な音声情報の提示を制御するとともに、グラフィックによって候補のサイズ感が把握されるような提示を制御してもよい。より具体的には、候補のサイズ感が把握されるような提示は、候補と同程度のサイズを有する物（例えば、東京ドーム３個分、Ａ４サイズのノートなど）の画像の提示であってもよい。候補と同程度のサイズを有する物の画像は、実寸大で提示されるのが望ましい。

また、提示制御部１２６は、「このような色味はいかがでしょうか？」といった端的な音声情報の提示を制御するとともに、グラフィックによって候補の色の提示を制御してもよい。また、提示制御部１２６は、「このくらいの重さはいかがでしょうか？」といった端的な音声情報の提示を制御するとともに、グラフィックによって候補の重さが把握されるような提示を制御してもよい。より具体的には、候補の重さが把握されるような提示は、候補と同程度の重さを有する物の画像の提示であってもよい。

続いて、提示情報の他の具体的な例について説明する。図３６は、音声主体提示モードによる他の提示例を示す図である。ここでは、ユーザＵ−１が「今日の天気を教えて」という発話によって、リクエスト「今日の天気予報の提示」を入力した場合を想定する。図３６には、映像情報が提示される画面として壁面Ｗａが示されている。しかし、ユーザＵ−１は（例えば、掃除中であるため）画面を視認していない。そこで、提示制御部１２６は、ユーザＵ−１の姿勢情報が画面非視認条件を満たしていると判断し、音声主体提示モードによる提示を制御する。

上記したように、音声主体提示モードにおいては、提示制御部１２６は、音声情報のみをユーザＵ−１に提示してよい（映像情報は提示されなくてもよい）。このとき、音声情報のみによってユーザＵ−１が十分に応答内容を理解することが可能であるように音声情報が提示されることが望ましい。図３６に示した例では、音声情報１６８−３に今日の天気予報が含まれている。

図３７および図３８は、音声映像提示モードによる他の提示例を示す図である。ここでも、ユーザＵ−１が「今日の天気を教えて」という発話によって、リクエスト「今日の天気予報の提示」を入力した場合を想定する。図３７および図３８に示した例では、ユーザＵ−１は画面を視認している。そこで、提示制御部１２６は、ユーザＵ−１の姿勢情報が画面視認条件を満たしていると判断し、音声映像提示モードによる提示を制御する。

上記したように、音声映像提示モードにおいては、提示制御部１２６は、映像情報と音声情報との双方をユーザＵ−１に提示してよい。例えば、音声映像提示モードによって提示される映像情報は、グラフィックおよびテキストデータの少なくともいずれか一方を含んでよい。図３７に示した例では、提示制御部１２６が、映像情報１５８−３として、グラフィックによって天気予報の提示を制御している。このとき、音声映像提示モードによって提示される音声情報は、付加的な音声情報を含んでよい。図３７に示した例では、提示制御部１２６が、付加的な音声情報「お洗濯には気をつけましょう」を含んだ音声情報１６８−４の提示を制御している。

図３８に示した例では、提示制御部１２６が、映像情報１５８−４として、テキストデータによって天気予報の提示を制御している。また、図３８に示した例では、図３７に示した例と同様に、提示制御部１２６が、付加的な音声情報「お洗濯には気をつけましょう」を含んだ音声情報１６８−４の提示を制御している。

以上、第４の実施形態に係る情報処理システム１Ｄの機能詳細について説明した。

［５．４．動作例］
続いて、第４の実施形態に係る情報処理システム１Ｄの動作例について説明する。図３９は、ユーザＵ−１によって入力されたリクエストに対する応答として提示情報をユーザＵ−１に提示する動作の例を示すフローチャートである。なお、ここでは、ユーザＵ−１によってリクエストが入力された場合に、そのリクエストに対する応答として提示情報がユーザＵ−１に提示される例を主に説明するが、上記したように、提示情報は、リクエストが入力されたか否かに関わらず、ユーザＵ−１に提示されてもよい。

図３９に示すように、姿勢判断部１２４は、センサデータを取得し、センサデータに基づいてユーザＵ−１の姿勢を判断する（Ｓ１０１）。これによって、姿勢判断部１２４は、ユーザＵ−１の姿勢情報を得る。上記したように、姿勢情報は、顔の向きまたは視線を含んでもよいし、ポーズ情報を含んでもよいし、行動情報を含んでもよい。姿勢情報取得部１２５は、姿勢判断部１２４によって判断されたユーザＵ−１の姿勢情報を取得する。

そして、提示制御部１２６は、ユーザＵ−１からリクエストが入力されない場合（Ｓ１０３において「Ｎｏ」）、動作を終了する。一方、提示制御部１２６は、ユーザＵ−１からリクエストが入力された場合（Ｓ１０３において「Ｙｅｓ」）、ユーザＵ−１の姿勢に応じた提示モードを特定する（Ｓ１０４）。具体的に、提示制御部１２６は、姿勢情報が画面視認条件を満たす場合には、画面視認条件に関連付けられた音声映像提示モードを特定する。一方、提示制御部１２６は、姿勢情報が画面非視認条件を満たす場合には、画面非視認条件に関連付けられた音声主体提示モードを特定する。

提示制御部１２６は、特定した提示モードに従って、リクエストに対する応答（提示情報の提示）を制御する（Ｓ１０５）。そして、学習処理部１２７は、特定した提示モードに従ったリクエストに対する応答が行われた後、ユーザＵ−１の状態を取得する。そして、学習処理部１２７は、ユーザＵ−１の状態が所定の状態である場合には、条件と提示モードとの関連付けを変更する学習処理を行って（Ｓ１０６）、動作を終了する。

例えば、学習処理部１２７は、画面視認条件に関連付けられた音声映像提示モードに従って応答が行われた後、ユーザＵ−１による所定の変更操作またはユーザＵ−１が画面を視認していないという状態が検出された場合、画面視認条件に音声主体提示モードが関連付けられるように変更を行う。一方、学習処理部１２７は、画面非視認条件に関連付けられた音声主体提示モードに従って応答が行われた後、ユーザＵ−１による所定の変更操作またはユーザＵ−１が画面を視認しているという状態が検出された場合、画面非視認条件に音声映像提示モードが関連付けられるように変更を行う。

以上、第４の実施形態に係る情報処理システム１Ｄの動作例について説明した。

［５．５．エージェントからの主体的な提示］
上記したように、ユーザＵ−１への提示情報は、ユーザＵ−１からのリクエストの入力があるか否かに関わらず提示されてもよい。すなわち、エージェント１０Ｄは、ユーザＵ−１からのリクエストの入力がなくても、主体的にユーザＵ−１に対して提示情報を提示してもよい。この場合であっても、提示制御部１２６は、ユーザＵ−１の姿勢情報に応じた提示モードに従ってユーザＵ−１への提示情報の提示を制御してよい。

ただし、エージェント１０Ｄが前触れもなくユーザＵ−１に提示情報を提示する場合、提示情報を提示するタイミングにおいては、ユーザＵ−１は画面を視認していないと考えられる。そこで、提示制御部１２６は、所定の音声出力（例えば、ＳＥ（ＳｏｕｎｄＥｆｆｅｃｔ）、ＴＴＳなど）によって、ユーザＵ−１に対して画面の視認を誘導し、その後にユーザＵ−１の姿勢情報に基づいて、提示モードを特定するとよい。

［５．６．表示部および画面の変形例］
上記においては、表示部１５０が据え置き型のプロジェクタ（例えば、単焦点プロジェクタ）である場合を主に想定した。しかし、表示部１５０が設置される位置は限定されない。また、表示部１５０によって映像情報が映し出される画面の位置が壁面である場合を主に想定した。しかし、表示部１５０は、また、表示部１５０によって映像情報が映し出される画面の位置は、壁面に限定されない。以下においては、表示部１５０および画面の変形例を説明する。

図４０は、表示部１５０および画面の第１の変形例を示す図である。図４０に示すように、表示部１５０は、テレビジョン装置であってもよい。図４０を参照すると、表示部１５０の例としてのテレビジョン装置によって映像情報１５８が表示されている。このとき、表示部１５０によって映像情報１５８が映し出される画面は、テレビジョン装置の前面である。

図４１は、表示部１５０および画面の第２の変形例を示す図である。図４１に示すように、表示部１５０は、天井に設置されるプロジェクタであってもよい。このとき、天井に設置されるプロジェクタは、単焦点プロジェクタであってもよいし、全方位に映像を投影可能な全方位プロジェクタであってもよいし、表示位置（投影方向）を制御可能な駆動型プロジェクタであってもよい。このとき、図４１に示すように、表示部１５０によって映像情報が映し出される画面の位置は、壁面Ｗａであってよい。

図４２は、表示部１５０および画面の第３の変形例を示す図である。図４２に示すように、表示部１５０は、テーブルＴａの上に設置される据え置き型のプロジェクタ（例えば、単焦点プロジェクタ）であってもよい。このとき、図４２に示すように、表示部１５０によって映像情報が映し出される画面の位置は、テーブルＴａの上面であってよい。

図４３は、表示部１５０および画面の第４の変形例を示す図である。図４３に示すように、表示部１５０は、テーブルＴａの上方の天井に設置されるプロジェクタであってもよい。このとき、天井に設置されるプロジェクタは、単焦点プロジェクタであってもよいし、表示位置（投影方向）を制御可能な駆動型プロジェクタであってもよい。このとき、図４３に示すように、表示部１５０によって映像情報が映し出される画面の位置は、テーブルＴａの上面であってよい。

図４４は、表示部１５０および画面の第５の変形例を示す図である。図４４に示すように、表示部１５０は、テーブルＴａの上方から下方に向けて映像が投射されるようにテーブルＴａに備え付けられたプロジェクタ（例えば、単焦点プロジェクタ）であってもよい。このとき、図４４に示すように、表示部１５０によって映像情報が映し出される画面の位置は、テーブルＴａの上面であってよい。

［５．７．複数のユーザに応じた提示例］
上記においては、１人のユーザ（ユーザＵ−１）を考慮した提示情報の提示例について説明した。以下では、複数のユーザ（ユーザＵ−１〜Ｕ−Ｎ）を考慮した提示情報の提示例について説明する。より具体的には、複数のユーザの状況を考慮した提示情報の提示例について説明する。

ユーザの状況は限定されない。例えば、ユーザの状況は、ユーザの姿勢（例えば、姿勢情報が画面視認条件および画面非視認条件のいずれを満たすかなど）を含んでもよい。あるいは、ユーザの状況は、ユーザの位置（例えば、画面からの距離など）を含んでもよい。あるいは、ユーザの状況は、ユーザの属性（例えば、性別、年齢（例えば、大人であるか子供であるか）、エージェントに設定された家族構成員に属するか否か、使用言語など）を含んでもよい。あるいは、ユーザの状況は、リクエストを入力した者（発話者）であるか否か、エージェントから提示情報の提示を受ける者であるか否かなどを含んでもよい。

例えば、ユーザの姿勢および位置（例えば、画面からの距離など）は、上記したようにして検出され得る。また、ユーザの属性には、あらかじめユーザの識別情報が関連付けられており、撮像部１１４によって撮像された画像から顔認識技術によってユーザが認識された場合、そのユーザの識別情報に関連する属性が検出されてよい。発話者であるか否かは、検出される発話音声の到来方向に基づいて検出されてよい。提示情報の提示を受ける者であるか否かは、提示情報の内容に基づいて検出されてよい。

図４５は、複数のユーザの状況を考慮した提示情報の提示例を示す図である。例えば、提示制御部１２６は、複数のユーザそれぞれの状況に応じた提示情報が提示されるように制御してよい。図４５を参照すると、複数のユーザの例として、ユーザＵ−１およびユーザＵ−２が存在している。このとき、提示制御部１２６は、ユーザＵ−１の状況に応じた第１の提示情報の提示と、ユーザＵ−２の状況に応じた第２の提示情報の提示とを制御してもよい。

具体的に、図４５に示した例では、ユーザＵ−１が大人であり、ユーザＵ−２が子供である。そして、大人であるユーザＵ−２が「今日の天気を教えて」という発話によって、リクエスト「今日の天気予報の提示」を入力した場合を想定する。かかる場合、提示制御部１２６は、提示制御部１２６は、大人であるユーザＵ−１に対しては、大人向けの提示情報（例えば、天気を詳細に示す映像情報１５８−４など）の提示を制御してもよい。大人向けの提示情報は、音声情報であってもよい。一方、子供であるユーザＵ−２に対しては、子供向けの提示情報（例えば、天気マークが大きく描かれた映像情報１５８−３）の提示を制御してよい。

このとき、大人向けの提示情報（例えば、天気を詳細に示す映像情報１５８−４など）は、大人であるユーザＵ−１の近傍（図４５に示した例では、大人であるユーザＵ−１の近傍に置かれたテーブルＴａの上面）に提示されてよい。一方、子供向けの提示情報（例えば、天気マークが大きく描かれた映像情報１５８−３）は、子供であるユーザＵ−２の近傍（図４５に示した例では、子供であるユーザＵ−２の近傍に位置する壁面Ｗａ）に提示されてよい。

あるいは、提示制御部１２６は、複数のユーザから優先すべきユーザを選択し、選択したユーザの姿勢情報に基づいて複数の提示情報を制御してもよい。ユーザの姿勢情報に応じた複数の提示情報の制御は、既に述べた通りになされてよい。すなわち、提示制御部１２６は、ユーザの姿勢情報が画面視認条件を満たす場合には、音声映像提示モードに従った提示を制御すればよい。また、提示制御部１２６は、ユーザの姿勢情報が画面非視認条件を満たす場合には、音声主体提示モードに従った提示を制御すればよい。

優先すべきユーザはどのように選択されてもよい。例えば、提示制御部１２６は、複数のユーザから優先すべきユーザとして発話者を選択してもよい。あるいは、提示制御部１２６は、複数のユーザから優先すべきユーザとして提示情報の提示を受ける者を選択してもよい。

あるいは、提示制御部１２６は、複数のユーザから優先すべきユーザとして画面に最も近い者を選択してもよい。

また、提示制御部１２６は、複数のユーザから優先すべきユーザとして大人を選択してもよい。あるいは、提示制御部１２６は、複数のユーザから優先すべきユーザとして子供を選択してもよい。例えば、大人を選択すべきか子供を選択すべきかについては、提示情報の内容に基づいて決められてもよい。

また、提示制御部１２６は、複数のユーザから優先すべきユーザとして画面を最も見づらい者を選択してもよい。すなわち、提示制御部１２６は、一人でも画面非視認条件を満たす者が存在すれば、音声主体提示モードを選択してもよい。一方、提示制御部１２６は、全員が画面視認条件を満たせば、音声映像提示モードを選択してもよい。

また、提示制御部１２６は、複数のユーザから優先すべきユーザとして、エージェントに設定された家族構成員に属する者を選択してもよい。すなわち、提示制御部１２６は、エージェントに設定された家族構成員に属さない者（例えば、家庭に訪問したお客さんなど）を選択しなくてよい。

また、提示制御部１２６は、複数のユーザから優先すべきユーザとして、エージェントに設定された言語（エージェントが提示情報に使用する言語）と同じ言語を使用する者を選択してもよい。例えば、提示制御部１２６は、エージェントが提示情報に日本語を使用する場合、複数のユーザから優先すべきユーザとして、日本語を使用する者を選択してよい。

以上において、第４の実施形態について説明した。

＜６．ハードウェア構成例＞
次に、図４６を参照して、本開示の実施形態に係る情報処理装置（エージェント）１０のハードウェア構成例について説明する。図４６は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。なお、本開示の実施形態に係るサーバ装置３０のハードウェア構成も、図４６に示した情報処理装置１０のハードウェア構成例と同様にして実現され得る。

図４６に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。

ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換され得る。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

＜７．むすび＞
以上説明したように、本開示の実施形態によれば、ユーザに関するコンテキストを検出する検出部と、前記コンテキストに基づいて、第１のリクエストおよび第２のリクエストのいずれを優先的に処理すべきかを判断するリクエスト処理部と、を備える、情報処理装置が提供される。かかる構成によれば、優先的に処理されるリクエストをより適切に判断することが可能な技術が提供される。

また、本開示の実施形態によれば、ユーザの姿勢情報を取得する姿勢情報取得部と、前記ユーザへの提示情報の提示を制御する提示制御部と、を備え、前記提示制御部は、前記姿勢情報に基づいて、異なる態様を有する複数の前記提示情報を制御する、情報処理装置が提供される。かかる構成によれば、ユーザに提示される複数の提示情報をよりユーザが望むように制御することが可能な技術が提供される。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記した各実施形態は適宜に組み合わされてよい。より具体的には、第１の実施形態から第３の実施形態までのいずれかと第４の実施形態とは組み合わされてもよい。より具体的には、第１の実施形態から第３の実施形態までのいずれかにおいて、どのリクエストを優先的に処理すべきかが判断され、どのリクエストを優先的に処理すべきかの判断結果に基づいて、第４の実施形態において、リクエストに対する応答が提示情報としてユーザに提示されてよい。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した制御部１２０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

例えば、上記した情報処理装置１０およびサーバ装置３０の動作が実現されれば、各構成の位置は特に限定されない。情報処理装置１０における各部の処理の一部はサーバ装置３０によって行われてもよい。具体的な一例として、情報処理装置１０における制御部１１０が有する各ブロックの一部または全部は、サーバ装置３０などに存在していてもよい。また、サーバ装置３０における各部の処理の一部は情報処理装置１０によって行われてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの姿勢情報を取得する姿勢情報取得部と、
前記ユーザへの提示情報の提示を制御する提示制御部と、を備え、
前記提示制御部は、前記姿勢情報に基づいて、異なる態様を有する複数の前記提示情報を制御する、
情報処理装置。
（２）
前記複数の提示情報は、映像情報および音声情報を含む、
前記（１）に記載の情報処理装置。
（３）
前記提示制御部は、前記ユーザの姿勢情報が第１の条件を満たす場合には、前記第１の条件に関連付けられた映像情報の提示を制御し、前記ユーザの姿勢情報が第２の条件を満たす場合には、前記第２の条件に関連付けられた音声情報の提示を制御する、
前記（２）に記載の情報処理装置。
（４）
前記ユーザの姿勢情報は、前記ユーザの顔の向きまたは前記ユーザの視線を含む、
前記（３）に記載の情報処理装置。
（５）
前記第１の条件は、前記顔の向きまたは前記視線が画面と所定の位置関係を有するという条件を含み、前記第２の条件は、前記顔の向きまたは前記視線が前記画面と前記所定の位置関係を有さないという条件を含む、
前記（４）に記載の情報処理装置。
（６）
前記ユーザの姿勢情報は、前記ユーザのポーズ情報を含む、
前記（３）に記載の情報処理装置。
（７）
前記第１の条件は、前記ポーズ情報に応じた前記ユーザの視認可能範囲が画面と所定の位置関係を有するという条件を含み、前記第２の条件は、前記視認可能範囲が前記画面と前記所定の位置関係を有さないという条件を含む、
前記（６）に記載の情報処理装置。
（８）
前記ユーザの姿勢情報は、前記ユーザの行動情報を含む、
前記（３）に記載の情報処理装置。
（９）
前記第１の条件は、前記行動情報が第１の行動情報であるという条件を含み、前記第２の条件は、前記行動情報が前記第１の行動情報とは異なる第２の行動情報であるという条件を含む、
前記（８）に記載の情報処理装置。
（１０）
前記第１の条件と前記映像情報との関連付け、および、前記第２の条件と前記音声情報との関連付けは、前記ユーザごとになされる、
前記（３）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記情報処理装置は、
前記第１の条件に関連付けられた前記映像情報の提示が制御された後、前記ユーザの第１の状態が検出された場合、前記ユーザに対応する前記第１の条件と前記映像情報との関連付けを変更する学習処理部を備える、
前記（１０）に記載の情報処理装置。
（１２）
前記第１の状態は、前記ユーザによる所定の変更操作および前記ユーザの顔の向きまたは視線と画面とが所定の位置関係を有さないという状態の少なくともいずれか一つを含む、
前記（１１）に記載の情報処理装置。
（１３）
前記情報処理装置は、
前記第２の条件に関連付けられた前記音声情報の提示が制御された後、前記ユーザの第２の状態が検出された場合、前記ユーザに対応する前記第２の条件と前記音声情報との関連付けを変更する学習処理部を備える、
前記（１０）に記載の情報処理装置。
（１４）
前記第２の状態は、前記ユーザによる所定の変更操作および前記ユーザの顔の向きまたは視線と画面とが所定の位置関係を有するという状態の少なくともいずれか一つを含む、
前記（１３）に記載の情報処理装置。
（１５）
前記提示制御部は、前記ユーザの姿勢情報が前記第１の条件を満たす場合には、前記第１の条件に関連付けられた音声情報の提示をさらに制御する、
前記（３）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記第１の条件に関連付けられた音声情報は、前記第２の条件に関連付けられた音声情報と比較して、情報量が小さい、
前記（１５）に記載の情報処理装置。
（１７）
前記提示制御部は、前記ユーザの姿勢情報が前記第２の条件を満たす場合には、前記第２の条件に関連付けられた映像情報の提示をさらに制御する、
前記（３）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記第１の条件に関連付けられた映像情報は、前記第２の条件に関連付けられた映像情報と比較して、情報量が大きい、
前記（１７）に記載の情報処理装置。
（１９）
ユーザの姿勢情報を取得することと、
前記ユーザへの提示情報の提示を制御することと、を備え、
プロセッサにより、前記姿勢情報に基づいて、異なる態様を有する複数の前記提示情報を制御することを含む、
情報処理方法。
（２０）
コンピュータを、
ユーザの姿勢情報を取得する姿勢情報取得部と、
前記ユーザへの提示情報の提示を制御する提示制御部と、を備え、
前記提示制御部は、前記姿勢情報に基づいて、異なる態様を有する複数の前記提示情報を制御する、
情報処理装置として機能させるためのプログラム。

１（１Ａ〜１Ｄ） 情報処理システム
１０（１０Ａ〜１０Ｄ） エージェント（情報処理装置）
２０ コントローラ
３０（３０Ａ〜３０Ｂ） サーバ装置
１１０ 制御部
１１３ 集音部
１１４ 撮像部
１１５ 距離検出部
１１６ 受信部
１２０ 制御部
１２０ 制御部
１２１ 検出部
１２２ リクエスト処理部
１２３ 実行制御部
１２４ 姿勢判断部
１２５ 姿勢情報取得部
１２６ 提示制御部
１２７ 学習処理部
１３０ 記憶部
１４０ 通信部
１５０ 表示部
１６０ 音出力部
３１０ 制御部
３１１ 距離取得部
３１２ 選択部
３１３ 実行命令出力部
３４０ 通信部
３５０ 記憶部

Claims (20)

1. ユーザの姿勢情報を取得する姿勢情報取得部と、
   前記ユーザへの提示情報の提示を制御する提示制御部と、を備え、
   前記提示制御部は、前記姿勢情報に基づいて、異なる態様を有する複数の前記提示情報を制御する、
   情報処理装置。
2. 前記複数の提示情報は、映像情報および音声情報を含む、
   請求項１に記載の情報処理装置。
3. 前記提示制御部は、前記ユーザの姿勢情報が第１の条件を満たす場合には、前記第１の条件に関連付けられた映像情報の提示を制御し、前記ユーザの姿勢情報が第２の条件を満たす場合には、前記第２の条件に関連付けられた音声情報の提示を制御する、
   請求項２に記載の情報処理装置。
4. 前記ユーザの姿勢情報は、前記ユーザの顔の向きまたは前記ユーザの視線を含む、
   請求項３に記載の情報処理装置。
5. 前記第１の条件は、前記顔の向きまたは前記視線が画面と所定の位置関係を有するという条件を含み、前記第２の条件は、前記顔の向きまたは前記視線が前記画面と前記所定の位置関係を有さないという条件を含む、
   請求項４に記載の情報処理装置。
6. 前記ユーザの姿勢情報は、前記ユーザのポーズ情報を含む、
   請求項３に記載の情報処理装置。
7. 前記第１の条件は、前記ポーズ情報に応じた前記ユーザの視認可能範囲が画面と所定の位置関係を有するという条件を含み、前記第２の条件は、前記視認可能範囲が前記画面と前記所定の位置関係を有さないという条件を含む、
   請求項６に記載の情報処理装置。
8. 前記ユーザの姿勢情報は、前記ユーザの行動情報を含む、
   請求項３に記載の情報処理装置。
9. 前記第１の条件は、前記行動情報が第１の行動情報であるという条件を含み、前記第２の条件は、前記行動情報が前記第１の行動情報とは異なる第２の行動情報であるという条件を含む、
   請求項８に記載の情報処理装置。
10. 前記第１の条件と前記映像情報との関連付け、および、前記第２の条件と前記音声情報との関連付けは、前記ユーザごとになされる、
    請求項３に記載の情報処理装置。
11. 前記情報処理装置は、
    前記第１の条件に関連付けられた前記映像情報の提示が制御された後、前記ユーザの第１の状態が検出された場合、前記ユーザに対応する前記第１の条件と前記映像情報との関連付けを変更する学習処理部を備える、
    請求項１０に記載の情報処理装置。
12. 前記第１の状態は、前記ユーザによる所定の変更操作および前記ユーザの顔の向きまたは視線と画面とが所定の位置関係を有さないという状態の少なくともいずれか一つを含む、
    請求項１１に記載の情報処理装置。
13. 前記情報処理装置は、
    前記第２の条件に関連付けられた前記音声情報の提示が制御された後、前記ユーザの第２の状態が検出された場合、前記ユーザに対応する前記第２の条件と前記音声情報との関連付けを変更する学習処理部を備える、
    請求項１０に記載の情報処理装置。
14. 前記第２の状態は、前記ユーザによる所定の変更操作および前記ユーザの顔の向きまたは視線と画面とが所定の位置関係を有するという状態の少なくともいずれか一つを含む、
    請求項１３に記載の情報処理装置。
15. 前記提示制御部は、前記ユーザの姿勢情報が前記第１の条件を満たす場合には、前記第１の条件に関連付けられた音声情報の提示をさらに制御する、
    請求項３に記載の情報処理装置。
16. 前記第１の条件に関連付けられた音声情報は、前記第２の条件に関連付けられた音声情報と比較して、情報量が小さい、
    請求項１５に記載の情報処理装置。
17. 前記提示制御部は、前記ユーザの姿勢情報が前記第２の条件を満たす場合には、前記第２の条件に関連付けられた映像情報の提示をさらに制御する、
    請求項３に記載の情報処理装置。
18. 前記第１の条件に関連付けられた映像情報は、前記第２の条件に関連付けられた映像情報と比較して、情報量が大きい、
    請求項１７に記載の情報処理装置。
19. ユーザの姿勢情報を取得することと、
    前記ユーザへの提示情報の提示を制御することと、を備え、
    プロセッサにより、前記姿勢情報に基づいて、異なる態様を有する複数の前記提示情報を制御することを含む、
    情報処理方法。
20. コンピュータを、
    ユーザの姿勢情報を取得する姿勢情報取得部と、
    前記ユーザへの提示情報の提示を制御する提示制御部と、を備え、
    前記提示制御部は、前記姿勢情報に基づいて、異なる態様を有する複数の前記提示情報を制御する、
    情報処理装置として機能させるためのプログラム。
    
    

Images