JP7703181B2 - 情報提供システム、方法、及びプログラム - Google Patents

Description

本開示は、情報提供システム、方法、及びプログラムに関する。

商品を説明するための音声を装置が出力することにより、陳列した商品について顧客に説明が行われることがある。

特許文献１には、ＣＤプレーヤとスピーカとを備える商品陳列棚について記載されている。この商品陳列棚においては、陳列された複数の商品それぞれの説明が録音されたＣＤがＣＤプレーヤにより再生され、再生された音声がスピーカから出力される。

特許文献２には、商品の近傍に、商品の説明内容のデータを保存した記憶媒体装置を配置する技術が記載されている。この記憶媒体装置は、所定時間毎に説明内容のデータを音声信号に変換して、変換した音声信号を、記憶媒体装置が備えるスピーカから出力する。

特開平８－１６０８９７号公報 特開平８－２２１０２４号公報

特許文献１に記載されている陳列棚においては、複数の商品の説明が予め定められた順番で再生される。この場合、複数の商品のうち顧客が興味を持っている商品の説明を、顧客がすぐ聞くことができない場合がある。特許文献２に記載されている記憶媒体装置は、所定期間毎に商品を説明する音声を出力する。この技術においては、多くの場合、顧客が、商品の近くに移動してきたときに、すでに音声の出力が開始されている商品の説明を途中から聞くことになる。このように、特許文献１、特許文献２に係る構成においては、顧客を考慮して、音声による情報を提供できないという問題があった。

本開示は、以下の形態として実現することが可能である。
本開示の一形態によれば、情報提供システムが提供される。この情報提供システムは、複数のユーザがそれぞれ携帯する携帯端末と、少なくとも１つのサーバと、を含み、音声により情報を提供する。前記携帯端末はそれぞれ、ユーザがいる位置を示す位置情報と、前記ユーザの顔が向いている方向である視線方向を示す視線方向情報と、を取得する位置方向取得部と、前記ユーザの視認対象となり得る複数の対象それぞれの位置を表す対象位置情報と、それぞれの前記対象を説明する説明情報と、を予め記憶する記憶部と、前記ユーザの前記位置情報及び前記視線方向情報と、前記対象位置情報と、から、前記ユーザが視認している前記対象を推定し、前記ユーザが視認していると推定した前記対象を識別する情報と、推定した日付及び時刻を示す情報と、前記ユーザを識別する情報と、を含む視認データを前記サーバに供給する推定部と、推定された前記対象についての前記説明情報を前記音声により出力する情報出力部と、を備える。前記サーバは、前記推定部から供給された前記視認データを蓄積するデータ蓄積部と、前記ユーザの属性を表す属性データと前記視認データとから、前記ユーザの属性の分布を示す統計データを前記対象毎に生成し、前記統計データを出力する統計データ生成部と、を備える。
本開示の形態は、情報提供システム以外の種々の形態で実現することも可能である。例えば、ユーザにより携帯されるコンピュータが音声により情報を提供する方法、その方法を実現するコンピュータプログラムで実現することができる。

（１）本開示の一形態によれば、情報提供システムが提供される。この情報提供システムは、音声により情報を提供する。この情報提供システムは、ユーザがいる位置を示す位置情報と、ユーザの顔が向いている方向である視線方向を示す視線方向情報と、を取得する位置方向取得部と、ユーザの視認対象となり得る複数の対象それぞれの位置を表す対象位置情報と、それぞれの対象を説明する説明情報と、を予め記憶する記憶部と、ユーザの位置情報及び視線方向情報と、対象位置情報と、から、ユーザが視認している対象を推定する推定部と、推定された対象についての説明情報を音声により出力する情報出力部と、を備える。
この形態によれば、ユーザが視認している対象を推定してから、対象の説明情報をユーザに提供する。よって、ユーザが興味を持っていると考えられる対象について、音声による情報を提供することができる。
（２）上記形態の情報提供システムにおいて、音声は、ユーザの頭部に装着される音声出力装置から出力されてもよい。記憶部は、対象それぞれに対応付けられた音源の仮想的な位置を表す情報を予め記憶していてもよい。情報出力部は、ユーザの現在位置から見た音源の仮想的な位置に応じて、説明情報を表す音声に立体音響処理を施した音声を出力してもよい。
この形態によれば、ユーザに臨場感を感じさせながら、視認している対象についての情報をユーザに提供することができる。
（３）上記形態の情報提供システムにおいて、記憶部は、ユーザの眼が見ることができる範囲を予め設定した視野の設定情報を記憶していてもよい。推定部は、予め設定された視野の範囲内において、ユーザが視認している対象を推定してもよい。
このような形態によれば、ユーザが顔の真正面を注視している場合でなくても、ユーザが視認している対象を推定できる。ユーザは、視認対象と必ずしも正対している必要はない。ユーザは、視認対象と正対していない場合であっても、ユーザは、視認対象について音声による情報提供を受けることができる。
（４）上記形態の情報提供システムにおいて、ユーザが視認している対象が変わってから予め定められた時間が経過したことを推定部が検出すると、情報出力部は、ユーザが直前に視認していた対象の説明情報についての音声による出力を停止してもよい。
このような形態によれば、ユーザにとって不要な情報を、ユーザに提供しない。よって、効率的にユーザに情報を提供できる。
（５）上記形態の情報提供システムは、複数のユーザがそれぞれ携帯する携帯端末と、少なくとも１つのサーバと、を含んでいてもよい。携帯端末はそれぞれ、位置方向取得部と、記憶部と、推定部と、情報出力部と、を備える。推定部は、ユーザが視認していると推定した対象を識別する情報と、推定した日付及び時刻を示す情報と、ユーザを識別する情報と、を含む視認データをサーバに供給してもよい。サーバは、推定部から供給された視認データを蓄積するデータ蓄積部と、ユーザの属性を表す属性データと視認データとから、ユーザの属性の分布を示す統計データを対象毎に生成し、統計データを出力する統計データ生成部と、を備えていてもよい。
このような形態によれば、情報の提供者側は、視認の対象毎の統計データを使用して、ユーザに対する物品及びサービスの販売を促進する企画を考えることができる。
本開示の形態は、情報提供システム以外の種々の形態で実現することも可能である。例えば、ユーザにより携帯されるコンピュータが音声により情報を提供する方法、その方法を実現するコンピュータプログラムで実現することができる。

実施形態に係る情報提供システムの構成を示す図である。 ユーザと、仮想的に配置された音源との位置関係を表した図である。 実施形態に係るデータ蓄積部に蓄積されるデータの一例を示す図である。 実施形態に係る情報提供処理のフローチャートである。 データ蓄積部に蓄積されるデータの他の例を示す図である。

Ａ．実施形態
図１は、実施形態に係る情報提供システム１０００の構成を示す図である。本実施形態において、情報提供システム１０００が、観光地を回るユーザに、史跡、寺社等の観光資源、観光地における商品等に関する情報を提供する例を説明する。情報提供システム１０００は、携帯端末１００と、音声出力装置２００と、サーバ３００と、を含む。

携帯端末１００は、ユーザが携帯する通信端末である。本実施形態においては、携帯端末１００は、ユーザが保有するスマートフォンである。携帯端末１００には、ユーザに観光地に関する情報を提供するためのアプリケーションソフトウェアがインストールされているものとする。以下、このアプリケーションソフトウェアを案内アプリケーションと呼ぶ。ユーザは、案内アプリケーションを実行することにより、情報提供システム１０００から観光地に関する情報の提供を受けることができる。ユーザは、携帯端末１００を持ち歩いて、観光地を回るものとする。案内アプリケーションは、ユーザの現在位置及びユーザが視認している対象を推定し、ユーザに、史跡、寺社等の観光資源、観光地における商品に関する情報を提供する機能を備える。

音声出力装置２００は、ユーザが頭部に装着し、携帯端末１００から受信した音声信号を出力する装置である。本実施形態においては、音声出力装置２００は、ユーザが保有するワイヤレスのイヤホンである。ユーザは、観光地を回る際に、イヤホンを耳に装着しているものとする。

図１においては、説明の簡略化のため、携帯端末１００及び音声出力装置２００を１つずつ図示しているが、情報提供システム１０００は、複数の携帯端末１００及び音声出力装置２００を含む。情報提供システム１０００を利用するユーザはそれぞれ、携帯端末１００及び音声出力装置２００を携帯するためである。サーバ３００は、複数の携帯端末１００から収集したデータを蓄積し、蓄積したデータから統計データを生成する情報処理装置である。

携帯端末１００は、ハードウェア構成として、プロセッサ１０１と、メモリ１０２と、通信部１０３と、を備える。メモリ１０２と、通信部１０３と、は、内部バス１０９を介してプロセッサ１０１に接続されている。

プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）である。プロセッサ１０１が、メモリ１０２に格納されている各種プログラムを実行することにより、携帯端末１００の各機能が実現される。

メモリ１０２は、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）を含む。メモリ１０２は、プロセッサ１０１が実行するプログラム、プログラムの実行に使用される種々のデータを記憶する。また、メモリ１０２は、プロセッサ１０１のワークメモリとして使用される。

通信部１０３は、ネットワークインタフェース回路を含み、プロセッサ１０１の制御に従って、外部の装置と通信する。本実施形態においては、通信部１０３は、Ｗｉ－Ｆｉ（登録商標）の通信規格に則って、外部の装置と通信できるものとする。さらに、通信部１０３は、ＧＰＳ（Global Positioning System）受信機を備え、プロセッサ１０１の制御に従って、ＧＰＳ衛星から信号を受信する。

音声出力装置２００は、プロセッサ２０１と、通信部２０２と、センサ２０３と、ドライバユニット２０４と、を備える。通信部２０２と、センサ２０３と、ドライバユニット２０４と、は、内部バス２０９を介して、プロセッサ２０１に接続されている。

プロセッサ２０１は、例えば、ＤＳＰ（Digital Signal Processor）である。プロセッサ２０１は、通信部２０２と、センサ２０３と、ドライバユニット２０４と、を制御する。

通信部２０２は、ネットワークインタフェース回路を含み、プロセッサ２０１の制御に従って、外部の装置と通信する。通信部２０２は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に則って、携帯端末１００と無線通信する。

センサ２０３は、加速度センサ、ジャイロセンサ、地磁気センサを含む。例えば、加速度センサとして、３軸加速度センサを使用することができる。また、角速度センサとして、３軸角速度センサを使用することができる。センサ２０３は、プロセッサ２０１の制御に従って、加速度センサにより音声出力装置２００の加速度を測定する。センサ２０３は、プロセッサ２０１の制御に従って、ジャイロセンサにより音声出力装置２００の角速度を測定する。センサ２０３は、プロセッサ２０１の制御に従って、地磁気センサにより地磁気強度を測定する。

ドライバユニット２０４は、プロセッサ２０１の制御に従って、供給された音声信号を音波に変換して出力する。ドライバユニット２０４には、携帯端末１００が出力した音声信号が供給される。

サーバ３００は、ハードウェア構成として、プロセッサ３０１と、メモリ３０２と、通信部３０３と、を備える。メモリ３０２と、通信部３０３と、は、内部バス３０９を介してプロセッサ３０１に接続されている。

プロセッサ３０１は、例えば、ＣＰＵである。プロセッサ３０１が、メモリ３０２に格納されている各種プログラムを実行することにより、携帯端末１００の各機能が実現される。

メモリ３０２は、ＲＡＭ、ＥＥＰＲＯＭ、ＨＤＤ（Hard Disk Drive）を含む。メモリ３０２は、プロセッサ３０１が実行するプログラム及びプログラムの実行に使用される種々のデータを記憶する。また、メモリ３０２は、プロセッサ３０１のワークメモリとして使用される。

通信部３０３は、ネットワークインタフェース回路を含み、プロセッサ３０１の制御に従って、外部の装置と通信する。

携帯端末１００は、機能的には、位置方向取得部１１０と、記憶部１２０と、推定部１３０と、情報出力部１４０と、を備える。

位置方向取得部１１０は、ユーザの現在位置を示す情報を取得する。ユーザは、携帯端末１００を持ち歩いているため、携帯端末１００の現在位置はユーザの現在位置と一致する。よって、位置方向取得部１１０は、携帯端末１００の現在位置を示す情報を取得することにより、ユーザの現在位置を示す情報を取得する。屋外においては、位置方向取得部１１０は、ＧＰＳ衛星から受信した信号に基づいて、携帯端末１００の現在位置を示す情報を取得する。屋内においては、位置方向取得部１１０は、複数のＷｉ－Ｆｉ（登録商標）基地局から受信した電波強度に基づいて、携帯端末１００の現在位置を示す情報を取得する。

さらに、位置方向取得部１１０は、ユーザの視線方向を示す情報を取得する。この情報を視線方向情報とも呼ぶ。本実施形態においては、ユーザの顔が向いている方向を、ユーザの視線方向とする。位置方向取得部１１０は、音声出力装置２００から受信した加速度の測定値、角速度の測定値、及び地磁気強度の測定値に基づいて、ユーザの顔が向いている方向を特定する。位置方向取得部１１０の機能は、プロセッサ１０１が、メモリ１０２に格納されているプログラムを実行することにより実現される。

記憶部１２０は、ユーザが訪れる可能性がある場所の位置情報を記憶する。例えば、記憶部１２０は、史跡、寺社等の位置座標を記憶する。また、記憶部１２０は、土産店、飲食店等の位置座標を記憶する。

また、記憶部１２０は、ユーザの視認対象となり得る対象の位置を示す情報を記憶する。この情報を対象位置情報とも呼ぶ。例えば、記憶部１２０は、史跡における建物の位置の情報を記憶する。また、例えば、記憶部１２０は、土産店の店内において陳列されている商品それぞれの位置の情報を記憶する。さらに、記憶部１２０は、ユーザの視認対象となり得る対象を説明する説明情報を記憶する。説明情報は、例えば、史跡、寺社等を説明する情報である。また、説明情報は、飲食店、土産店を宣伝する情報、土産店において販売されている商品を説明する情報である。

さらに、記憶部１２０には、後述する音源が仮想的に配置される位置を表す情報が、視認対象となり得る対象毎に格納されている。

記憶部１２０の機能は、上記の位置情報、説明情報、音源の位置の情報のデータが格納されたメモリ１０２により実現される。位置情報、説明情報、音源の位置の情報のデータは、携帯端末１００に案内アプリケーションがインストールされる際に、メモリ１０２に格納される案内アプリケーションの実行のためのデータの一部である。

さらに、推定部１３０は、位置方向取得部１１０により取得されたユーザの現在位置を示す情報及びユーザの視線方向を示す情報と、記憶部１２０に格納されているユーザが視認する可能性のある対象の位置情報と、から、ユーザが視認している対象を推定する。

推定部１３０は、推定した対象を識別する情報と、ユーザの現在位置を示す情報と、ユーザを識別する情報と、日付及び時刻を示す情報と、を含むデータを、サーバ３００に送信する。このデータを視認データとも呼ぶ。実施形態において、対象を識別する情報は、対象に予め対応付けられた対象ＩＤである。位置情報は、位置方向取得部１１０により取得されたユーザの位置を示す情報である。ユーザを識別する情報は、ユーザに予め対応付けられたユーザＩＤである。日付及び時刻は、推定を実行した日付及び時刻を示すものである。

また、ユーザが、対象ＩＤが付されたいずれの対象も視認していない場合もある。この場合、推定部１３０は、ユーザの位置情報と、ユーザを識別する情報と、日付及び時刻を示す情報と、を含むデータを、サーバ３００に送信する。このデータを位置データとも呼ぶ。推定部１３０の機能は、プロセッサ１０１が、メモリ１０２に格納されているプログラムを実行することにより実現される。

情報出力部１４０は、推定部１３０がユーザの視認対象を推定すると、推定された対象を説明する説明情報を記憶部１２０から読み出す。情報出力部１４０は、説明情報を音声信号として音声出力装置２００に送信する。

本実施形態においては、情報出力部１４０は、音声出力装置２００を介して、立体音響により音声を出力する。よって、ユーザは、広がりと奥行きを持った音を音声出力装置２００から聞くことができる。また、情報出力部１４０は、仮想的に設定された位置に音源があるかのように、音声出力装置２００を介して、音声を出力する。音源が仮想的に配置される位置は、視認されている対象毎に設定されている。音源が仮想的に配置される位置は、例えば、店内において陳列されている商品の位置、史跡における建物の内外の予め決められた位置である。よって、ユーザは、例えば、視認している対象の近傍から説明情報の音声が出力されているに感じることができる。このように本実施形態においては、ユーザに臨場感を感じさせながら、視認している対象についての情報をユーザに提供することができる。

図２は、ユーザＰと仮想的に配置された音源ＳＳとの位置関係を表した図である。図２においては、ユーザＰと音源ＳＳとを上から見た様子を表している。情報出力部１４０は、立体音響による音声の出力のため、以下のような処理を行う。情報出力部１４０は、記憶部１２０から、推定された視認対象について、音源ＳＳが仮想的に配置される位置の情報を読み出す。情報出力部１４０は、ユーザＰの視線方向に対する、ユーザＰからみた音源ＳＳの方向の相対的な角度を求める。以下、この角度を相対角度とも呼ぶ。

図２において、ユーザＰは、視線方向Ｄを向いているとする。水平面内において、視線方向Ｄが、基準方位Ｎに対してなす角の大きさは、角度ｒ１であるとする。基準方位Ｎは、例えば、北を向く方向である。ユーザＰからみた音源ＳＳの方向が、基準方位Ｎに対してなす角の大きさは、角度ｒ２であるとする。情報出力部１４０は、視線方向Ｄと、基準方位Ｎとから、角度ｒ１を求める。情報出力部１４０は、記憶部１２０に格納されている音源ＳＳの位置と、ユーザＰの位置と、基準方位Ｎとから、角度ｒ２を求める。情報出力部１４０は、角度ｒ１と、角度ｒ２との差である角度ｒ３を、相対角度として求める。次に、情報出力部１４０は、ユーザＰの位置と、音源ＳＳの位置とから、ユーザＰと音源ＳＳとの間の距離を求める。情報出力部１４０は、求めた相対角度及び距離に基づいて、立体音響処理を施した音声を出力する。立体音響処理には、例えば、既存の立体音響の生成のためのアルゴリズムを使用して、立体音響処理を施した音声を出力する。

基準方位Ｎの設定のため、携帯端末１００の地磁気センサを利用してキャリブレーションを行ってもよい。なお、携帯端末１００は地磁気センサを備えているものとする。例えば、案内アプリケーションの起動直後に、ユーザに、頭部に音声出力装置２００を装着した状態で、ユーザの向く方向と、ユーザが手に持った携帯端末１００の向きとを揃えるように通知する。音声出力装置２００の向きと、携帯端末１００の向きと、が揃えられた状態で、携帯端末１００の地磁気センサから取得した方角から、イヤホンの地磁気センサをキャリブレーションする。

また、ユーザの位置情報の変化をユーザの視線方向の推定のため用いることができる。例えば、携帯端末１００の位置を示す座標の一定期間における変化の履歴から、ユーザが継続して同じ方向に向かって移動していることを検出した場合、ユーザの視線がその方向を向いていると推定してもよい。例えば、携帯端末１００の位置座標の変化から、ユーザが地図上において東に向かって移動していると判定される場合、ユーザの視線方向Ｄは東であると推定することができる。

実施形態において、ユーザの頭の高さ方向における位置と、音源ＳＳの高さ方向における位置とは、ほぼ同じであるとする。このため、情報出力部１４０は、水平面内における相対角度及び距離のみを考慮した。しかし、ユーザの頭の高さ方向における位置と、音源ＳＳの高さ方向における位置とが異なる場合には、センサ２３０の加速度センサにより、仰角また俯角を検出する。情報出力部１４０は検出された仰角又は俯角から、垂直面内における相対角度と距離とを求め、求めた相対角度と距離とに基づいて、立体音響処理を施した音声を出力すればよい。

情報出力部１４０の機能は、プロセッサ１０１が、メモリ１０２に格納されているプログラムを実行することにより実現される。

サーバ３００は、機能的には、データ蓄積部３１０と、統計データ生成部３２０と、を備える。

図３は、データ蓄積部３１０に蓄積された視認データの一例を示す図である。データ蓄積部３１０は、携帯端末１００の推定部１３０から供給された視認データを蓄積する。図３に示す例では、データ蓄積部３１０には、推定された対象を識別する対象ＩＤと、ユーザの位置を示す位置情報と、ユーザを識別するユーザＩＤと、日付及び時刻を示す情報と、が蓄積されている。

さらに、図示していないが、データ蓄積部３１０は、推定部１３０から供給された、ユーザの位置を表す位置データを蓄積する。また、データ蓄積部３１０には、情報提供システム１０００を利用するユーザの属性を表すデータが予め格納されている。このデータを属性データとも呼ぶ。ユーザの属性は、例えば、ユーザの年齢、性別、職業である。データ蓄積部３１０の機能は、メモリ３０２により実現される。例えば、案内アプリケーションの初回の起動時に、ユーザが携帯端末１００を使用して、自身の属性を示す情報を入力する。入力されたデータは、データ蓄積部３１０に格納される。

統計データ生成部３２０は、データ蓄積部３１０に格納されている視認データと属性データと、から、統計データを生成する。例えば、視認される対象が商品Ａであるとする。統計データ生成部３２０は、商品Ａを視認したユーザの属性による分布を示す統計データを生成してもよい。例えば、商品Ａを視認したユーザの年齢層別の分布を示す統計データを生成する。また、商品Ａを視認したユーザの性別の分布を示す統計データを生成する。

さらに、統計データ生成部３２０は、データ蓄積部３１０に格納された視認データから、特定の対象の視認を継続していた期間をユーザ毎に求めてもよい。統計データ生成部３２０は、データ蓄積部３１０に蓄積されたデータが、ユーザが特定の対象を予め設定された期間より長い間視認していることを示す場合、ユーザが特定の対象の視認を継続していたと判定する。

例えば、視認対象が史跡にある石碑Ｂであるとする。統計データ生成部３２０は、石碑Ｂの視認を継続したユーザの年齢分布を示す統計データを生成してもよい。また、統計データ生成部３２０は、石碑Ｂの視認を継続したユーザの性別分布を示す統計データを生成してもよい。また、統計データ生成部３２０は、石碑Ｂが視認された時間帯の分布を示す統計データを生成してもよい。

例えば、情報提供システム１０００の管理者は、視認の対象毎の統計データを使用して、ユーザに対する物品及びサービスの販売を促進する企画を考えることができる。

さらに、統計データ生成部３２０は、データ蓄積部３１０に蓄積された位置データから、設定された期間内における、複数のユーザそれぞれの移動の履歴を示すデータを生成する。よって、情報提供システム１０００の管理者は、ユーザに対する物品及びサービスの販売を促進する企画を考える際に、ユーザの移動の履歴に関する統計データを使用することができる。

統計データ生成部３２０の機能は、プロセッサ３０１が、メモリ３０２に格納されているプログラムを実行することにより実現される。

図４は、情報提供システム１０００が、携帯端末１００を介して、ユーザに情報を提供する情報提供処理のフローチャートである。携帯端末１００は、決められた時間間隔で、情報提供処理を開始するものとする。例えば、携帯端末１００は、１０秒ごとに、情報提供処理を開始する。

ステップＳ１１において、位置方向取得部１１０は、携帯端末１００の位置情報を取得する。具体的には、まず、位置方向取得部１１０は、ＧＰＳ衛星から受信したＧＰＳ信号に基づいて、携帯端末１００の現在位置を示す位置座標を取得する。位置方向取得部１１０は、ＧＰＳ信号を受信できなかった場合、複数のＷｉ－Ｆｉ（登録商標）基地局から受信した電波強度に基づいて、携帯端末１００の現在位置を示す位置座標を取得する。

ステップＳ１２において、位置方向取得部１１０は、ユーザの動き情報を取得する。具体的には、位置方向取得部１１０は、音声出力装置２００に対して、加速度、角速度、及び、地磁気強度の測定を指示する。これに応答して、音声出力装置２００のプロセッサ２０１は、センサ２０３に、加速度、角速度、及び、地磁気強度を測定させる。音声出力装置２００のプロセッサ２０１は、センサ２０３から取得した加速度、角速度、及び、地磁気強度の測定値を、携帯端末１００の位置方向取得部１１０に送信する。

位置方向取得部１１０は、音声出力装置２００から受信した加速度及び角速度の測定値から、ユーザが何かを注視しているか否かを判定する。例えば、位置方向取得部１１０は、加速度の測定値が予め決められた条件を満たし、かつ、角速度の測定値が予め決められた条件を満たしたときに、ユーザが何かを注視していると判定する。

ユーザが何かを注視していると判定すると、位置方向取得部１１０は、加速度、角速度、及び、地磁気強度の測定値からユーザの視線方向を特定する。位置方向取得部１１０は、特定したユーザの視線方向を示す情報を推定部１３０に供給する。一方、位置方向取得部１１０は、ユーザが何かを注視していないと判定すると、その旨を推定部１３０に通知する。

ステップＳ１３において、推定部１３０は、ユーザが視認している対象を推定する。推定部１３０は、位置方向取得部１１０により取得されたユーザの現在位置を示す情報と、位置方向取得部１１０により特定されたユーザの視線方向と、記憶部１２０に格納されているユーザが視認する可能性のある対象の位置情報と、から、ユーザが視認している対象を推定する。

また、ユーザの視線方向に、記憶部１２０に登録された対象のデータがない場合、推定部１３０は、視認対象を推定できないと判定する。

一方、位置方向取得部１１０から、ユーザが注視していない旨が通知された場合、ステップＳ１３において、推定部１３０は視認対象を推定できないと判定する。

ステップＳ１４において、視認対象を推定できた場合（ステップＳ１４；ＹＥＳ）、推定部１３０は、推定した対象を示す情報を情報出力部１４０に供給する。さらに、推定部１３０は、視認データをサーバ３００に送信する。

一方、視認対象を推定できなかった場合（ステップＳ１４；ＮＯ）、推定部１３０は、位置データをサーバ３００に送信する。その後、情報提供処理は終了される。

ステップＳ１５において、情報出力部１４０は、推定部１３０により推定された対象の説明情報を音声により出力する。まず、情報出力部１４０は、推定された対象の説明情報と、推定された対象に設定された仮想的な音源の位置の情報と、を記憶部１２０から読み出す。情報出力部１４０は、ユーザの視線方向に対する、ユーザからみた音源の方向の相対的な角度である相対角度と、ユーザと推定された視認対象について仮想的に音源が配置される位置との間の距離と、を求める。情報出力部１４０は、求めた相対角度及び距離に基づいて、説明情報を表す音声信号を立体音響として出力するため、音声の出力値を演算する。情報出力部１４０は、演算した出力値の音声信号を、音声出力装置２００に供給する。従って、音声出力装置２００は、説明情報の音声を出力する。以上が、情報提供システム１０００による情報提供処理の一連の流れである。

以上説明したように、実施形態に係る態様によれば、情報提供システム１０００は、ユーザが視認している対象を推定してから、対象の説明情報をユーザに提供する。よって、ユーザは、注目している対象についての情報を即座に得ることができる。このように、ユーザが興味を持っていると考えられる対象について、音声による情報を提供することができる。

Ｂ．他の実施形態
Ｂ１．他の実施形態１
実施形態においては、ユーザの視線方向にある対象を、ユーザが視認している対象であると推定した。あるいは、ユーザの視認対象の推定を下記のように行ってもよい。視野の設定情報を記憶部１２０に予め格納しておく。視野の設定情報は、有効視野を予め設定した情報である。説明の簡便化のため、両眼視における視野の範囲が設定されているとする。設定された視野は、例えば、中心視野だけを含んでもよい。あるいは、設定された視野は、中心視野と、有効視野とを含んでもよい。また、あるいは、設定された視野は、中心視野と、有効視野と、周辺視野の一部の範囲とを含んでもよい。この場合、例えば、水平方向における視野を、固視点を中心として両側にそれぞれ３０度の範囲と設定してもよい。垂直方向における視野を、固視点を中心から上下にそれぞれ３０度の範囲と設定してもよい。

推定部１３０は、位置方向取得部１１０により取得されたユーザの現在位置を示す情報と、視野の設定情報と、記憶部１２０に格納されているユーザが視認する可能性のある対象の位置情報と、から、ユーザが視認している対象を推定する。

このような形態によれば、ユーザが顔の真正面を注視している場合でなくても、推定部１３０は、設定された視野の範囲でユーザが視認している対象を推定する。ユーザは、視認対象と必ずしも正対している必要はない。よって、ユーザは、自然な体勢でリラックスして、視認対象について音声による情報提供を受けることができる。

Ｂ２．他の実施形態２
実施形態においては、ユーザが視認している対象を推定すると説明情報の音声の出力を開始した。音声の出力している間に、ユーザの視認対象が変わることがある。このため、携帯端末１００は下記のような構成を備えていてもよい。

位置方向取得部１１０は、音声の出力を開始した後も、決められた時間毎に、ユーザの位置とユーザの視線方向とを取得し、取得した位置情報と視線方向情報とを推定部１３０に供給する。推定部１３０は、情報出力部１４０に音声の出力を開始させた時刻を記憶しておく。推定部１３０は、ユーザの位置が変化した、あるいは、ユーザの視線方向が変化した場合に、ユーザの視認対象が変化したと判定する。推定部１３０は、ユーザの視認対象が変化してから予め定められた時間が経過したことを検出すると、情報出力部１４０に音声の出力を停止させる。

このように、ユーザが視認をやめた対象の説明情報の音声出力を停止することで、ユーザにとって不要な情報を、ユーザに提供しない。よって、効率的にユーザに情報を提供できる。

さらに、推定部１３０は、音声出力を途中で停止させたことを表す情報と、直前に視認されていた対象を識別する情報と、ユーザを識別する情報と、を含むデータをサーバ３００に送信してもよい。また、推定部１３０は、音声出力を途中で停止させなかった場合であっても、そのことを、サーバ３００に通知してもよい。この場合、推定部１３０は、音声出力を最後まで完了したことを表す情報と、直前に視認されていた対象を識別する情報と、ユーザを識別する情報と、を含むデータをサーバ３００に送信してもよい。このデータを出力履歴データとも呼ぶ。

推定部１３０は、音声を途中で停止させた場合、サーバ３００に次のようなデータを供給してもよい。推定部１３０は、情報出力部１４０が直前の視認対象について説明情報の音声出力を開始した時刻から、情報出力部１４０が音声出力を停止した時刻までの時間を求める。記憶部１２０には、説明情報を最後まで音声出力するのに要する時間を表す情報を視認対象毎に記憶されているものとする。推定部１３０は、直前の視認対象の説明情報について、最後まで音声出力するのに要する時間に対して、実際に音声出力された時間の割合を求める。推定部１３０は、音声出力を途中で停止させたことを表す情報と、求めた割合と、直前に視認されていた対象を識別する情報と、ユーザを識別する情報と、を含む蓄積された出力履歴データをサーバ３００に送信する。

サーバ３００のデータ蓄積部３１０は、推定部１３０から供給された出力履歴データを蓄積する。統計データ生成部３２０は、蓄積された出力履歴データから、例えば、特定の商品を視認し、その商品の説明情報の音声を最後まで聞いたユーザの属性による分布を示す統計データを生成してもよい。また、統計データ生成部３２０は、蓄積された出力履歴データから、特定の商品を視認したが、その商品の説明情報の音声を最後まで聞かなかったユーザの属性による分布を示す統計データを生成してもよい。

また、推定部１３０は、音声を途中で停止させた場合、新たな視認対象を推定し、推定した新たな視認対象を示す情報を情報出力部１４０に供給する。これに応答して、情報出力部１４０は、新たな視認対象の説明情報についての音声の出力を開始する。

Ｂ３．他の実施形態３
実施形態では、屋内において、位置方向取得部１１０が、複数のＷｉ－Ｆｉ（登録商標）基地局から受信した電波強度に基づいて、携帯端末１００の現在位置を示す情報を取得する例を説明した。あるいは、屋内における携帯端末１００の位置情報の取得を次のように行ってもよい。携帯端末１００は、地磁気センサを備えているものとする。この場合、位置方向取得部１１０は、地磁気センサを使用して、携帯端末１００の位置情報を取得してもよい。

また、あるいは、位置方向取得部１１０は、まず、Ｗｉ－Ｆｉ（登録商標）基地局から受信した電波強度に基づいて、携帯端末１００の位置情報を取得する。位置方向取得部１１０は、位置情報を取得できなかった場合に、地磁気センサを使用して、携帯端末１００の位置情報を取得するようにしてもよい。

実施形態では、屋外において、位置方向取得部１１０が、携帯端末１００の現在位置を取得するため、ＧＰＳを利用する例を説明した。あるいは、位置方向取得部１１０は、準天頂衛星システムといった他の衛星測位システムを利用してもよい。また、あるいは、位置方向取得部１１０は、ＧＰＳ及び準天頂衛星システムを利用して、携帯端末１００の現在位置を取得してもよい。

Ｂ４．他の実施形態４
実施形態においては、ユーザが視認していると推定した対象の説明情報を音声により出力する例を説明した。さらに、携帯端末１００は、次のような機能を備えていてもよい。推定部１３０は、位置方向取得部１１０が取得した携帯端末１００の位置情報から、ユーザが予め設定された領域にいるか否かを判定する。情報出力部１４０は、ユーザがいる場所について予め設定された説明情報を音声により出力する。

例えば、推定部１３０は、ユーザが土産店あるいは飲食店の近傍の、予め設定された領域にいると判定する。情報出力部１４０は、土産店あるいは飲食店を宣伝する情報を音声により出力する。音源が仮想的に配置される位置が、土産店あるいは飲食店の入り口となるよう設定されているとする。この場合、推定部１３０は、位置方向取得部１１０を介して取得したユーザの視線方向を示す情報から、ユーザが、音源が仮想的に配置された土産店あるいは飲食店の入り口を向いたか否かを判定してもよい。さらに、推定部１３０は、ユーザの位置情報と、ユーザを識別する情報と、日付及び時刻を示す情報と、ユーザが音声による説明の提供に反応したかを示す情報と、をサーバ３００に送信する。

サーバ３００のデータ蓄積部３１０は、携帯端末１００から供給されたデータを蓄積する。統計データ生成部３２０は、例えば、音声に反応したユーザの属性による分布を示す統計データを生成してもよい。あるいは、統計データ生成部３２０は、音声に反応したユーザの時間帯毎の比率を示す統計データを生成してもよい。

Ｂ５．他の実施形態５
推定部１３０は、さらに、ユーザの購入履歴を示す情報を取得するように構成を備えてもよい。例えば、ユーザが、商品又はサービスの対価を、携帯端末１００を使用して、電子マネーにより支払ったとする。あるいは、ユーザが、商品又はサービスの対価を、携帯端末１００を使用して、クレジットカードにより支払ったとする。この場合、携帯端末１００の推定部１３０は、ユーザを識別する情報、ユーザが購入した商品を識別する情報、商品が購入された日付及び時刻、購入された個数、購入金額を含む購入履歴データを、サーバ３００に送信してもよい。サーバ３００のデータ蓄積部３１０は、携帯端末１００から供給されたデータを蓄積する。

図５は、データ蓄積部３１０に蓄積された購入履歴データの一例を示す図である。図５に示す例では、データ蓄積部３１０には、ユーザを識別するユーザＩＤと、購入された商品を識別する対象ＩＤと、商品が購入された日付及び時刻を示す情報と、商品の購入個数と、購入金額を示す情報と、が格納されている。統計データ生成部３２０は、データ蓄積部３１０に蓄積された購入履歴データと視認データと、から、例えば、視認された対象の説明情報について実際に音声出力された時間の割合に応じた商品又はサービスの購入の有無を示す統計データを出力してもよい。また、視認された対象の説明情報について実際に音声出力された時間の割合に応じた購入金額を示す統計データを出力してもよい。視認した対象を購入したユーザの属性による分布を示す統計データを出力してもよい。よって、例えば、情報提供システム１０００の管理者は、ユーザ行動履歴と購入履歴とから、ユーザの消費動向を分析することができる。

サーバ３００の統計データ生成部３２０は、さらに、生成した統計データを解析する機能を備えてもよい。また、統計データ生成部３２０は、例えば、機械学習モデルを使用して、データを分析してもよい。

Ｂ６．他の実施形態６
推定部１３０は、ユーザが視認している対象を２つ以上推定してもよい。例えば、ユーザが並べて陳列されている２つの商品を視認していることがある。この場合、情報出力部１４０は、一方の商品の説明情報を音声出力した後、他方の商品の説明情報を音声出力するようにしてもよい。

Ｂ７．他の実施形態７
実施形態においては、携帯端末１００がスマートフォンである例を説明した。しかしながら、携帯端末１００は、タブレット端末、あるいは、スマートウォッチであってもよい。

実施形態においては、音声出力装置２００が、ワイヤレスのイヤホンである例を説明した。しかしながら、音声出力装置２００は、有線で携帯端末１００に接続されるイヤホンであってもよい。あるいは、音声出力装置２００は、有線又は無線で携帯端末１００と通信可能なヘッドフォンであってもよい。また、音声出力装置２００は、立体音響で音声を出力しなくてもよい。

また、実施形態においては、音声出力装置２００が、ユーザの保有するイヤホンである例を説明した。あるいは、音声出力装置２００が、ユーザに貸し出されたイヤホンあるいはヘッドフォンであってもよい。この場合、ユーザは、例えば、観光案内所でイヤホンあるいはヘッドフォンを借りることができる。

また、説明情報を音声により出力する装置は、ユーザの頭部に装着される音声出力装置２００でなくてもよい。例えば、携帯端末１００が、携帯端末１００に内蔵されているスピーカから、音声を出力してもよい。この場合、携帯端末１００は、立体音響で音声を出力しなくてもよい。

実施形態においては、情報提供システム１０００が１つのサーバ３００を含む例を説明したが、情報提供システム１０００は、２以上のサーバを含んでいてもよい。

実施形態においては、携帯端末１００が、記憶部１２０を備える例を説明した。しかし、携帯端末１００ではなく、サーバ３００が記憶部１２０を備えてもよい。この場合、携帯端末１００は、必要なタイミングで、サーバ３００にデータを要求する。サーバ３００は、これに応答してデータを携帯端末１００に提供する。

上記の携帯端末１００及びサーバ３００の機能を実現するプログラムを記録する記録媒体としては、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ、半導体メモリ、磁気テープを含むコンピュータ読取可能な記録媒体を使用することができる。

また、携帯端末１００及びサーバ３００の機能を実現する手段は、ソフトウェアに限られず、その一部又は全部を、専用のハードウェアによって実現してもよい。例えば、専用のハードウェアとして、ＦＰＧＡ（Field Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）に代表される回路を使用してもよい。

実施形態においては、通信部１０３が、Ｗｉ－Ｆｉ（登録商標）の通信規格に則って、外部の装置と通信する例を説明した。しかし、通信部１０３は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）といった他の通信規格に則って外部の装置と通信してもよい。通信部１０３は、複数の通信規格に対応していてもよい。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１００…携帯端末、１０１…プロセッサ、１０２…メモリ、１０３…通信部、１０９…内部バス、１１０…位置方向取得部、１２０…記憶部、１３０…推定部、１４０…情報出力部、２００…音声出力装置、２０１…プロセッサ、２０２…通信部、２０３…センサ、２０４…ドライバユニット、２０９…内部バス、３００…サーバ、３０１…プロセッサ、３０２…メモリ、３０３…通信部、３０９…内部バス、３１０…データ蓄積部、３２０…統計データ生成部、１０００…情報提供システム、Ｄ…視線方向、Ｐ…ユーザ、ＳＳ…音源、ｒ１，ｒ２，ｒ３…角度

Claims (6)

1. 複数のユーザがそれぞれ携帯する携帯端末と、少なくとも１つのサーバと、を含み、音声により情報を提供する情報提供システムであって、
   前記携帯端末はそれぞれ、
   ユーザがいる位置を示す位置情報と、前記ユーザの顔が向いている方向である視線方向を示す視線方向情報と、を取得する位置方向取得部と、
   前記ユーザの視認対象となり得る複数の対象それぞれの位置を表す対象位置情報と、それぞれの前記対象を説明する説明情報と、を予め記憶する記憶部と、
   前記ユーザの前記位置情報及び前記視線方向情報と、前記対象位置情報と、から、前記ユーザが視認している前記対象を推定し、前記ユーザが視認していると推定した前記対象を識別する情報と、推定した日付及び時刻を示す情報と、前記ユーザを識別する情報と、を含む視認データを前記サーバに供給する推定部と、
   推定された前記対象についての前記説明情報を前記音声により出力する情報出力部と、
   を備え、
   前記サーバは、
   前記推定部から供給された前記視認データを蓄積するデータ蓄積部と、
   前記ユーザの属性を表す属性データと前記視認データとから、前記ユーザの属性の分布を示す統計データを前記対象毎に生成し、前記統計データを出力する統計データ生成部と、
   を備える情報提供システム。
2. 請求項１に記載の情報提供システムであって、
   前記音声は、前記ユーザの頭部に装着される音声出力装置から出力され、
   前記記憶部は、前記対象それぞれに対応付けられた音源の仮想的な位置を表す情報を予め記憶しており、
   前記情報出力部は、前記ユーザの現在位置から見た前記音源の前記仮想的な位置に応じて、前記説明情報を表す前記音声に立体音響処理を施した音声を出力する、
   情報提供システム。
3. 請求項１または２に記載の情報提供システムであって、
   前記記憶部は、前記ユーザの眼が見ることができる範囲を予め設定した視野の設定情報を記憶しており、
   前記推定部は、
   予め設定された前記視野の範囲内において、前記ユーザが視認している前記対象を推定する、
   情報提供システム。
4. 請求項１から３のいずれか１項に記載の情報提供システムであって、
   前記ユーザが視認している前記対象が変わってから予め定められた時間が経過したことを前記推定部が検出すると、前記情報出力部は、前記ユーザが直前に視認していた前記対象の前記説明情報についての前記音声による出力を停止する、
   情報提供システム。
5. 音声により情報を提供する方法であって、
   ユーザにより携帯されるコンピュータが、前記ユーザがいる位置を示す位置情報と、前記ユーザの顔が向いている方向である視線方向を示す視線方向情報と、を取得するステップと、
   前記コンピュータが、前記ユーザの前記位置情報及び前記視線方向情報と、前記ユーザの視認対象となり得る複数の対象それぞれについて予め設定された対象位置情報と、から、前記ユーザが視認している前記対象を推定するステップと、
   前記コンピュータが、推定した前記対象についての説明情報を前記音声により出力するステップと、
   前記コンピュータが、前記ユーザが視認していると推定した前記対象を識別する情報と、推定した日付及び時刻を示す情報と、前記ユーザを識別する情報と、を含む視認データをサーバに供給するステップと、
   前記サーバが、前記視認データを蓄積するステップと、
   前記サーバが、前記ユーザの属性を表す属性データと前記視認データとから、前記ユーザの属性の分布を示す統計データを前記対象毎に生成し、前記統計データを出力するステップと、
   を含む方法。
6. 複数のユーザがそれぞれ携帯する携帯端末と、少なくとも１つのサーバを含み、音声により情報を提供する情報提供システムにおいて実行されるプログラムであって、
   前記携帯端末が、前記ユーザがいる位置を示す位置情報と、前記ユーザの顔が向いている方向である視線方向を示す視線方向情報と、を取得する機能と、
   前記携帯端末が、前記ユーザの前記位置情報及び前記視線方向情報と、前記ユーザの視認対象となり得る複数の対象それぞれについて予め設定された対象位置情報と、から、前記ユーザが視認している前記対象を推定する機能と、
   前記携帯端末が、推定した前記対象についての説明情報を音声により出力する機能と、
   前記携帯端末が、前記ユーザが視認していると推定した前記対象を識別する情報と、推定した日付及び時刻を示す情報と、前記ユーザを識別する情報と、を含む視認データを前記サーバに送信する機能と、
   前記サーバが、前記視認データを蓄積する機能と、
   前記サーバが、前記ユーザの属性を表す属性データと前記視認データとから、前記ユーザの属性の分布を示す統計データを前記対象毎に生成し、前記統計データを出力する機能と、
   を実現させるプログラム。

Images