JP6948325B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、視覚を用いずに行動する者が正しい方向に安全に歩行することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。

視覚を用いずに行動する視覚障害者は、白杖を用いて、歩道に敷設された点字ブロックなどを頼りに目的地まで歩行する。視覚障害者の目的地までの移動を補助する誘導システムは、これまでにも開発されている（例えば、特許文献１参照）。

特開平８−６６４４１号公報

しかしながら、視覚障害者にとって、例えば、音響信号やエスコートゾーンのない４車線以上の広い横断歩道や、点字ブロックがなく、広く平坦な路面を歩行する際に、正しい方向が把握しづらいため、正しい方向に向かって歩いているかわからないという不安があり、このような不安を解決できるものがなかった。

本技術は、このような状況に鑑みてなされたものであり、視覚を用いずに行動する者が正しい方向に安全に歩行することができるようにするものである。

本技術の一側面の情報処理装置は、視覚を用いずに行動する者が歩く方向を決定する方向決定部と、決定された方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成する第１のガイド情報生成部とを備える。

本技術の一側面の情報処理方法は、情報処理装置が、視覚を用いずに行動する者が歩く方向を決定し、決定した方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成するステップを含む。

本技術の一側面のプログラムは、コンピュータを、視覚を用いずに行動する者が歩く方向を決定する方向決定部と、決定した方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成するガイド情報生成部として機能させるためのものである。

本技術の一側面においては、視覚を用いずに行動する者が歩く方向が決定され、決定された方向へ前記視覚を用いずに行動する者が歩くためのガイド情報が生成される。

なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術の一側面によれば、視覚を用いずに行動する者が正しい方向に安全に歩行することができるようになる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の第１の視覚障害者歩行支援システムの概要を説明する図である。 第１の視覚障害者歩行支援システムを実現する情報処理装置の構成例を示すブロック図である。 情報処理装置が行う横断方向決定処理の基本原理を説明する図である。 視覚障害者による第１の視覚障害者歩行支援システムの使用例を示す図である。 第１の視覚障害者歩行支援システムにおける処理部の機能ブロック図である。 Ref画像登録処理を説明するフローチャートである。 図６のステップＳ５とＳ６の処理例を示す図である。 横断歩道ガイド処理を説明するフローチャートである。 図８のステップＳ２６の方向検出処理の詳細なフローチャートである。 ステップＳ６０の処理例を示す図である。 PDR演算部の出力を説明する図である。 Ref画像の変形例を示す図である。 探索領域の変形例を示す図である。 マッチング処理の変形例を示す図である。 方向検出処理の変形例を示す図である。 方向検出処理の変形例を示す図である。 方向検出処理の変形例を示す図である。 横断歩道ガイド処理の変形例を示す図である。 全経路ガイド機能の概要を説明する図である。 ガイド情報として障害物情報を録音する例を示す図である。 ガイド情報として横断歩道の手がかりを録音する例を示す図である。 全経路ガイド機能を実行する場合の情報処理装置の構成例を示すブロック図である。 全経路ガイド機能を実行する場合の処理部の機能ブロック図である。 全経路ガイド機能の音声登録処理を説明するフローチャートである。 全経路ガイド機能の通過点ガイド再生処理を説明するフローチャートである。 追加の全経路ガイド機能を説明する図である。 第２の視覚障害者歩行支援システムの概要を説明する図である。 第２の視覚障害者歩行支援システムの構成例を示すブロック図である。 第２の視覚障害者歩行支援システムにおける処理部の機能ブロック図である。 登録モード時のドローンの画像送信処理を説明するフローチャートである。 登録モード時の情報処理装置の画像受信処理を説明するフローチャートである。 ガイドモード時のドローンの画像送信処理を説明するフローチャートである。 ガイドモード時の情報処理装置の画像受信処理を説明するフローチャートである。 第２の視覚障害者歩行支援システムの変形例を示す図である。 マーカの他の例を示す図である。 スマートフォンカバーの外観例を説明する図である。 スマートフォンカバーと連携する情報処理装置のUI操作に関するブロック図である。 カバークローズ検出処理を説明するフローチャートである。 カバーオープン検出処理を説明するフローチャートである。 図３８のステップＳ２０５の登録アプリ実行操作検出処理を説明するフローチャートである。 グリッドモードの他の表示例を示す図である。 図４１のグリッドモード時の登録アプリ実行操作検出処理を説明するフローチャートである。 スマートフォンカバーの小窓に貼り付けられるシールの他の例を示す図である。 グリッドモードの他の表示例を示す図である。 情報処理装置のハードウェア構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。１．第１の視覚障害者歩行支援システム
１．１ 第１の視覚障害者歩行支援システムの概要
１．２ 情報処理装置の構成例
１．３ 横断方向決定処理の基本原理
１．４ スマートフォンを用いた使用例
１．５ 処理部の機能ブロック図
１．６ Ref画像登録処理
１．７ 横断歩道ガイド処理
１．８ Ref画像登録処理及び横断歩道ガイド処理の変形例２．全経路ガイド機能
２．１ 全経路ガイド機能の概要
２．２ 情報処理装置の構成例
２．３ 処理部の機能ブロック図
２．４ 音声登録処理
２．５ 通過点ガイド再生処理３．第２の視覚障害者歩行支援システム
３．１ 第２の視覚障害者歩行支援システムの概要
３．２ 第２の視覚障害者歩行支援システムの構成例
３．３ 処理部の機能ブロック図
３．４ 登録モード時のドローンの画像送信処理
３．５ 登録モード時の情報処理装置の画像受信処理
３．６ ガイドモード時のドローンの画像送信処理
３．７ ガイドモード時の情報処理装置の画像受信処理
３．８ 第２の視覚障害者歩行支援システムの変形例４．スマートフォンカバー
４．１ スマートフォンカバーの外観例
４．２ ブロック図
４．３ カバークローズ検出処理
４．４ カバーオープン検出処理
４．５ 登録アプリ実行操作検出処理

４．６ 登録アプリ実行操作検出処理の他の例
４．７ 小窓に貼り付けられるシールの他の例
４．８ 小窓に割り当てられるUIアプリ配置の他の例５．情報処理装置のハードウェア構成例

＜１．第１の視覚障害者歩行支援システム＞
＜１．１ 第１の視覚障害者歩行支援システムの概要＞
初めに、図１を参照して、本開示の第１の視覚障害者歩行支援システムの概要について説明する。

本開示の第１の視覚障害者歩行支援システムは、視覚障害者（視覚を用いずに行動する者）の横断歩道の歩行を支援する２種類の歩行支援処理を少なくとも備える。

１つの歩行支援処理は、図１の左に示されるように、視覚障害者が横断歩道を渡る際に、正しい横断方向を視覚障害者が向くように、歩く方向を決定する横断方向決定処理である。横断方向決定処理は、渡るべき横断歩道の手前の位置（以下、横断ポイントという。）で、例えば、「右」、「左」のように視覚障害者に知らせることによって、正しい横断方向を視覚障害者が向くように支援する。

もう１つの歩行支援処理は、図１の右に示されるように、上述の横断方向決定処理によって視覚障害者が正しい横断方向を向いた後、視覚障害者が横断歩道を歩いている最中に、正しい横断方向へ歩くためのガイド情報を生成するガイド情報生成処理である。ガイド情報生成処理は、例えば、「右」、「左」のように視覚障害者に知らせることによって、視覚障害者が正しい横断方向から逸れずに、横断歩道を渡るように支援する。

以下、本開示の第１の視覚障害者歩行支援システムの詳細について説明する。

＜１．２ 情報処理装置の構成例＞
図２は、本開示の第１の視覚障害者歩行支援システムを実現する情報処理装置の構成例を示すブロック図である。

図２の情報処理装置１は、例えば、スマートフォンなどの携帯端末で構成することができ、カメラ１１、方向センサ１２、GPS(Global Positioning System)センサ１３、操作部１４、記憶部１５、処理部１６、及び出力部１７を有する。

カメラ１１は、例えば、CMOS（Complementary Metal Oxide Semiconductor）センサまたはCCD（Charge Coupled Device）などの撮像素子で構成され、横断歩道などの被写体を撮影し、その結果得られる画像を処理部１６に供給する。

方向センサ１２は、情報処理装置１が向いている方向及び動いた方向を検出するセンサであり、検出結果を処理部１６に供給する。方向センサ１２は、例えば、ジャイロセンサ（角速度センサ）、加速度センサ、慣性センサ、地磁気センサなどのうち、１つまたは２つ以上を有する。方向センサ１２が検出できる方向は、地磁気センサのように絶対的な方向でもよいし、所定の方向を基準とした相対的な方向でもよい。

GPSセンサ１３は、自身の位置を示す緯度経度のデータを、一定時間間隔（たとえば、１５秒間隔）で順次取得し、処理部１６に供給する。

操作部１４は、例えば、操作ボタン、タッチセンサなどで構成され、ユーザの操作を検出し、検出した操作に対応する操作信号を処理部１６に供給する。なお、操作部１４は、
例えば、Bluetooth（登録商標）などの近距離無線通信機能と操作ボタンを備えるリストバンド型のリモートコントローラなどで構成される外部の入力装置１４Aと、近距離無線通信により連携して動作することも可能である。

記憶部１５は、例えば、ＨＤＤ（Hard Disk Drive）や半導体メモリなどで構成され、処理部１６で実行されるプログラムや、カメラ１１や方向センサ１２などの各部が動作するために必要な各種のデータを記憶する。また、記憶部１５は、カメラ１１で撮影した画像なども記憶する。

処理部１６は、例えば、CPU（Central Processing Unit）やMPU（Micro Processing Unit）などで構成され、記憶部１５から読み出された所定のプログラムを実行することによって、上述した横断方向決定処理及びガイド情報生成処理を実行する。

出力部１７は、処理部１６からの制御に基づき、映像、音、力（振動、動き）などを出力する。出力部１７は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの映像出力部、スピーカなどの音声出力部、力、振動、動きなどを出力するハプティクス出力部などで構成される。

なお、出力部１７は、Bluetooth（登録商標）などの近距離無線通信機能と操作ボタンとを備えるイヤホンやヘッドセットなどで構成される外部の出力装置１７Aと、近距離無線通信により連携して動作することも可能である。

＜１．３ 横断方向決定処理の基本原理＞
図３を参照して、情報処理装置１が行う横断方向決定処理の基本原理について説明する。

視覚障害者は、出発地から所定の目的地までの移動経路を歩行する際に、最初に同行援護者とともに歩行し、移動経路に存在する各横断歩道において、渡りたい正しい方向の静止画像を撮影し、情報処理装置１に登録する。情報処理装置１は、撮影された静止画像とともに、GPSセンサ１３で取得された撮影地点の位置情報を記憶する。情報処理装置１に登録された静止画像は、２回目以降の移動時に参照されるリファレンス画像（以下、Ref画像という。）となる。同行援護者は晴眼者であるため、Ref画像が、横断歩道の正しい方向が撮影されている画像であるかを確認することができる。

そして、視覚障害者が、２回目以降、出発地から所定の目的地まで単独で歩行する際、移動経路に存在する各横断歩道において、情報処理装置１は、Ref画像を基に、横断方向の渡るべき正しい方向をガイドする。具体的には、情報処理装置１は、歩行中に撮影した静止画像（以下、現画像という。）とRef画像とのマッチング処理を行うことにより、横断方向の渡るべき正しい方向を決定し、視覚障害者にガイドする。

以上の横断方向決定処理によって横断方向の渡るべき正しい方向が決定された後、次のガイド情報生成処理では、その正しい横断方向を基準方向として、横断歩道を歩いている最中のガイド情報が生成され、視覚障害者に通知される。

＜１．４ スマートフォンを用いた使用例＞
図４は、情報処理装置１としてスマートフォンを用いた場合の、視覚障害者による第１の視覚障害者歩行支援システムの使用例を示している。

情報処理装置１としてのスマートフォン３１が、ネックストラップ３２とチェストストラップ３３とによって、視覚障害者に装着されている。スマートフォン３１は、カメラ３
４の撮影方向が進行方向を向くように配置されている。

視覚障害者の耳には、入力装置１４A及び出力装置１７Aとしてのワイヤレスイヤホン４１が装着されている。ワイヤレスイヤホン４１は、例えばBluetooth（登録商標）などの近距離無線通信によってスマートフォン３１からの音声信号を受信し、音として出力する。本実施の形態では、「右」、「左」のような音声アナウンスが出力される。

また、ワイヤレスイヤホン４１は、操作ボタン４２を備え、視覚障害者による操作ボタン４２の押下を検出し、押下の操作信号をスマートフォン３１に供給する。視覚障害者は、右手で白杖４３を持ち、左手でワイヤレスイヤホン４１の操作ボタン４２を操作することができる。

＜１．５ 処理部の機能ブロック図＞
図５は、情報処理装置１の処理部１６の機能ブロック図である。

処理部１６は、横断方向決定処理とガイド情報生成処理を実行するために、登録モードとガイドモードの２つの動作モードを備える。

登録モードは、初回歩行時にRef画像を登録する際に実行される動作モードである。処理部１６は、登録モード時に実行する実行モジュールとして、Ref画像登録部５１を有する。Ref画像登録部５１は、同行援護者の操作によってカメラ１１で撮影されたRef画像を取得し、記憶部１５に登録する。

一方、ガイドモードは、２回目以降の歩行時に実行される動作モードである。処理部１６は、ガイドモード時に実行する実行モジュールとして、方向決定部６１とガイド情報生成部６２を有する。

方向決定部６１は、視覚障害者が横断歩道を渡る前に、初回歩行時に登録されたRef画像に基づいて、正しい横断方向を決定する。

ガイド情報生成部６２は、横断歩道を横断中に正しい方向から逸れないように視覚障害者にガイド情報を生成して出力する。より具体的には、ガイド情報生成部６２は、方向決定部６１によって決定された横断方向を基準方向に設定し、視覚障害者が横断歩道を横断している際の基準方向からのずれ量を算出し、算出したずれ量に基づいてガイド情報を生成し、視覚障害者に通知する。ガイド情報生成部６２は、方向センサ１２が出力するセンサ信号を用いて、歩行者自律航法（PDR: pedestrian dead reckoning）に基づいて横断歩道前の基準位置（横断ポイント）からの相対位置を計算するPDR演算部６３を有する。

処理部１６が、CPU等の演算処理装置が所定のプログラムを実行することによって実現される場合、処理部１６全体が１つのアプリケーションプログラム（以下、単にアプリという。）で構成されてもよいし、登録モードとガイドモードがそれぞれ別のアプリで構成されてもよい。あるいはまた、Ref画像登録部５１、方向決定部６１、及び、ガイド情報生成部６２のそれぞれが、別のアプリで構成されてもよい。

本実施の形態では、登録モードとガイドモードがそれぞれ別のアプリで構成されているとして説明する。例えば、操作部１４としてのタッチパネルディスプレイを操作して、登録アプリを実行する操作が行われると、Ref画像登録部５１が起動され、ガイドアプリを実行する操作が行われると、方向決定部６１及びガイド情報生成部６２が起動される。

＜１．６ Ref画像登録処理＞
次に、図６のフローチャートを参照して、登録モードにおいてRef画像登録部５１により実行されるRef画像登録処理について説明する。この処理は、例えば、視覚障害者が同行援護者を伴って出発地から所定の目的地までの移動を開始するタイミングにおいて登録アプリを実行したときに開始される。

初めに、ステップＳ１において、Ref画像登録部５１は、出発地からの経過時間（所要時間）を計測するための時計カウントを開始する。

視覚障害者は、同行援護者とともに所定の目的地までの移動経路を歩行する。同行援護者は、移動経路に存在する横断歩道に到着したとき、情報処理装置１において、渡りたい正しい方向の静止画像を撮影する操作を行う。

ステップＳ２において、Ref画像登録部５１は、同行援護者による撮影操作を検出したかを判定し、撮影操作を検出したと判定されるまで、ステップＳ２の処理を繰り返す。

そして、ステップＳ２で、撮影操作を検出したと判定された場合、処理はステップＳ３に進み、Ref画像登録部５１は、カメラ１１を制御して撮影させる。カメラ１１は、Ref画像登録部５１の制御に従い、渡りたい方向の静止画像を撮影する。撮影により得られた静止画像は、Ref画像として、Ref画像登録部５１に供給される。

続いて、ステップＳ４において、Ref画像登録部５１は、現在の位置情報と時刻情報を取得する。即ち、Ref画像登録部５１は、GPSセンサ１３から供給される現在の緯度経度を示す位置情報と、ステップＳ１においてカウントを開始してからの経過時間を、現在の位置情報及び時刻情報として取得する。

ステップＳ５において、Ref画像登録部５１は、カメラ１１から供給されたRef画像に対して、ガイドモード時に撮影される現画像とマッチング処理を行う領域であるマッチング領域を設定する。

ステップＳ６において、Ref画像登録部５１は、Ref画像に設定されたマッチング領域の画像の特徴点を抽出する。

図７は、ステップＳ５とＳ６の処理例を示す図である。

図７では、カメラ１１から供給されたRef画像８１に対してマッチング領域８２が設定されている。また、マッチング領域８２の画像に対して抽出された５個の特徴点PA１乃至PA５が示されている。

マッチング領域８２は、Ref画像登録部５１が所定の条件に基づいて自動で設定してもよいし、同行援護者の操作に基づいて設定してもよい。

例えば、Ref画像登録部５１が自動でマッチング領域８２を設定する場合、例えば、下側半分は横断歩道が映り込むことが多いので、上側半分で、かつ、左右方向については中央部分の全体の1/2幅の領域、などのように、Ref画像８１の全体における所定位置がマッチング領域８２に決定される。あるいはまた、Ref画像８１に含まれる信号機や横断歩道の位置を基準に所定の領域をマッチング領域８２に決定してもよい。

一方、同行援護者の操作に基づいてマッチング領域８２を設定する場合には、例えば、Ref画像登録部５１は、マッチング領域８２を規定するウインドウをRef画像８１に重畳させて、同行援護者にウインドウを操作してもらい、決定することができる。

また、マッチング領域８２の画像に対する特徴点の抽出には、例えば、AKAZEやORBなどの局所特徴量を用いた抽出アルゴリズムを採用することができる。特徴点抽出処理は、OpenCV(Open Source Computer Vision Library)で提供されている。実際の特徴点抽出処理では、特徴点が多数検出されるが、図７の例では、図が煩雑になるのを防ぐため、５個の特徴点PA１乃至PA５だけが示されている。

図６に戻り、ステップＳ７において、Ref画像登録部５１は、カメラ１１から供給されたRef画像と、マッチング領域情報、特徴点情報、位置情報、及び、時刻情報とを対応付けて記憶部１５に記憶させる。マッチング領域情報は、Ref画像内のマッチング領域を示す情報であり、例えば、マッチング領域の四隅の座標である。特徴点情報は、マッチング領域で検出された各特徴点の位置を示す情報である。位置情報と時刻情報は、ステップＳ４で取得されたRef画像が撮影された位置と時刻を示す情報である。

ステップＳ８において、Ref画像登録部５１は、登録モードを終了するかを判定する。例えば、視覚障害者と同行援護者が目的地へ到着した場合、同行援護者が登録アプリを終了する操作を行うと、登録モードを終了すると判定される。

ステップＳ８で、登録モードをまだ終了しないと判定された場合、処理はステップＳ２に戻り、上述したステップＳ２乃至Ｓ８の処理が繰り返される。これにより、移動経路に存在する横断歩道（横断ポイント）に到着したとき、同行援護者の操作によって撮影されたRef画像が記憶部１５に記憶されるとともに、Ref画像が撮影されたときの位置や時刻、及び、Ref画像のマッチング領域と特徴点に関する情報が、記憶部１５に記憶される。

ステップＳ８で、登録モードを終了すると判定された場合、Ref画像登録処理が終了する。

以上のRef画像登録処理によれば、出発地から目的地までの移動経路に存在する横断歩道の横断ポイントごとに、Ref画像が、そのRef画像のマッチング領域情報及び特徴点情報と、位置情報及び時刻情報とともに、記憶部１５に記憶される。

＜１．７ 横断歩道ガイド処理＞
次に、図８のフローチャートを参照して、ガイドモードにおいて方向決定部６１とガイド情報生成部６２によって実行される横断歩道ガイド処理について説明する。この処理は、例えば、登録モードで登録した移動経路を視覚障害者が単独で歩行する場合に、出発地において移動を開始するタイミングでガイドアプリを実行したときに開始される。方向決定部６１とガイド情報生成部６２は、必要な情報を必要なタイミングで互いにやりとりして実行することができる。

初めに、ステップＳ２１において、方向決定部６１は、出発地からの経過時間（所要時間）を計測するための時計カウントを開始する。

ステップＳ２２において、方向決定部６１は、GPSセンサ１３から現在の位置情報を取得し、取得された現在の位置情報と出発地からの経過時間とに基づいて、記憶部１５にRef画像が登録されている横断ポイントに近づいたかを判定する。より具体的には、方向決定部６１は、記憶部１５に記憶されているRef画像に対応づけて記憶されている位置情報及び時刻情報と、現在の位置情報と経過時間とを比較して、現在の位置情報から所定範囲内の位置が対応付けられたRef画像が記憶部１５に登録されているかを判定する。GPSセンサ１３の位置精度にもよるが、例えば、横断ポイントの５０乃至１００ｍ以内に視覚障害者が到着すると、横断ポイントに近づいたと判定される。横断ポイントは、基本的には位
置情報によって検索され、時刻情報は参考とされる。

ステップＳ２２で、横断ポイントに近づいたと判定されるまで、ステップＳ２２の処理が繰り返される。

そして、ステップＳ２２で、横断ポイントが近づいたと判定された場合、処理はステップＳ２３に進み、方向決定部６１は、例えば、「この付近で登録した横断歩道があります」の音声メッセージを出力部１７に出力させ、登録した横断ポイントが近いことを視覚障害者に通知する。

ステップＳ２４において、方向決定部６１は、横断ポイントに対応するRef画像を記憶部１５から読み出す。

視覚障害者は、横断歩道の手前まで移動したとき、操作部１４の操作ボタン、または、ワイヤレスイヤホン４１の操作ボタン４２を押下する。

ステップＳ２５において、方向決定部６１は、視覚障害者によるボタン操作を検出したかを判定し、ボタン操作を検出したと判定するまで、待機する。

そして、ステップＳ２５で、ボタン操作を検出したと判定された場合、処理はステップＳ２６に進み、方向決定部６１は、方向検出処理を実行する。方向決定処理は、現在位置で静止画像（現画像）を撮影し、撮影された現画像から、Ref画像の特徴点と対応する特徴点を抽出し、対応する特徴点どうしをマッチングしたマッチング結果に基づいて方向を検出する処理である。

図９は、図８のステップＳ２６の方向検出処理の詳細なフローチャートである。

方向検出処理では、初めに、ステップＳ５１において、方向決定部６１は、カメラ１１を制御して、静止画像を撮影させる。カメラ１１は、方向決定部６１の制御に従い、静止画像を撮影する。ステップＳ５１で撮影された静止画像が、移動中の現画像となる。

ステップＳ５２において、方向決定部６１は、撮影により得られた現画像に対して、Ref画像登録処理で実行したときと同じ特徴抽出アルゴリズムを用いて、特徴点を抽出する。

ステップＳ５３において、方向決定部６１は、現画像に対して抽出された特徴点と、横断ポイントに対応するRef画像の特徴点情報とを用いて、対応する特徴点を検出する特徴点マッチングを行う。例えば、Ref画像の特徴点に対して、ハミング距離などの特徴点距離が最も近い特徴点が、現画像の対応する特徴点として検出される。

ステップＳ５４において、方向決定部６１は、現画像でマッチングされた特徴点の個数が所定数以上であるかを判定する。

ステップＳ５４で、マッチングされた特徴点の個数が所定数以上ではないと判定された場合、正確な方向判定ができないと判定され、処理は後述するステップＳ５９のエラー通知処理に進む。

一方、ステップＳ５４で、マッチングされた特徴点の個数が所定数以上であると判定された場合、処理はステップＳ５５に進み、方向決定部６１は、検出された特徴点のなかから、誤対応点を除去する。例えば、Ref画像の特徴点と、対応する現画像の特徴点を結ぶ 移動ベクトルを、現画像の全ての特徴点について平均した平均ベクトルと一定以上離れた移動ベクトルを有する特徴点が、誤対応点として除去される。

ステップＳ５６において、方向決定部６１は、誤対応点が除去された後の特徴点を用いて、Ref画像を現画像に射影変換する射影変換行列を演算する。４つ以上の特徴点があれば、射影変換行列は計算することができる。射影変換行列の計算に用いる特徴点には、交通信号（歩行者用、車両用）の画像部分を優先して使用することができる。交通信号（歩行者用、車両用）は輝度情報をもとに昼夜問わず検知ができるため、ロバストな射影推定が可能となる。１枚の画像の中に、交通信号が４つ以上映っていれば、局所特徴量によって検出された特徴点を用いずに、交通信号の移動ベクトルのみで射影変換行列を計算することができる。交通信号に限らず、例えば、看板や交通標識等を使ってもよい。

ステップＳ５７において、方向決定部６１は、Ref画像のマッチング領域情報を、求められた射影変換行列を用いて変換し、Ref画像のマッチング領域を現画像に射影した射影枠の四隅の頂点座標を演算する。

ステップＳ５８において、方向決定部６１は、射影枠の各辺の内積を計算することにより、求められた射影枠が四角形に近い形状であるかを判定する。

ステップＳ５８で、射影枠が四角形に近い形状ではないと判定された場合、処理はステップＳ５９に進み、方向決定部６１は、正確な方向判定ができないと判断し、例えば「方向が検知できません」などの音声メッセージを出力部１７に出力させ、方向検知エラーであることを視覚障害者に通知する。

ステップＳ５９の後、処理はステップＳ５１に戻り、上述したステップＳ５１乃至Ｓ５８の処理が繰り返される。したがって、方向検出ができない場合には、再度、静止画像の撮影がやり直される。

一方、ステップＳ５８で、射影枠が四角形に近い形状であると判定された場合、処理はステップＳ６０に進み、方向決定部６１は、撮影された現画像を用いて、視覚障害者の向いている方向を推定する。

図１０は、ステップＳ６０で実行される、視覚障害者の向いている方向を推定する処理の例を示している。

現画像１０１が撮影されて特徴点が抽出され、抽出された特徴点が、現在位置に対応するRef画像８１の特徴点とマッチングされて、現画像１０１に対して射影枠１０２が算出されている。

射影枠１０２の中心方向１０４が、視覚障害者の渡るべき方向として推定される。渡るべき方向は、カメラ１１の視野範囲と画素数との関係から１画素あたりの角度が計算できるため、視覚障害者が装着しているカメラ１１の撮影中心１０３と射影枠１０２の中心方向１０４との水平方向の画素数に基づく角度として算出することができる。より正確に角度を算出するためには、カメラのレンズ歪みなどのキャリブレーション情報も考慮して、渡るべき方向を推定してもよい。

ステップＳ６０の視覚障害者の向いている方向を推定する処理が終了すると、図９のステップＳ２６における方向検出処理は終了となり、図８に戻って、処理がステップＳ２７に進む。

図８のステップＳ２７において、方向決定部６１は、方向検出処理で推定された結果に基づいて、視覚障害者が正しい方向を向いているかを判定する。例えば、方向検出処理で推定された角度が所定の範囲内である場合に、正しい方向を向いていると判定される。

ステップＳ２７で、視覚障害者が正しい方向を向いていないと判定された場合、処理はステップＳ２８に進み、方向決定部６１は、例えば、「右、右、ちょっと右、・・・」や「左、左、ちょっと左、・・・」の音声メッセージを出力部１７に出力させ、修正方向を音声で視覚障害者に通知する。

ステップＳ２８の後、処理はステップＳ２６に戻り、再度、方向検出処理が実行される。従って、音声メッセージにしたがって視覚障害者が体の向きを変えた方向に対して、再度、新しい現画像が撮影されて、視覚障害者の向いている方向が検出される。

現画像の撮影は例えば１秒に１枚程度の間隔で行うことができるが、その都度、「左、左、・・・」の音声メッセージを出力するのは難しい。そのため、方向決定部６１は、「左」や「右」の音声メッセージは複数枚ごとに１回の割合で出力させ、音声メッセージと同時に、正しい方向を向いている場合には「ピッ、ピッ、ピッ、」と高音の電子音を出力させ、違う方向を向いている場合は、「ポッ、ポッ、ポッ、」と低音の電子音を出力させることができる。

ステップＳ２７で、視覚障害者が正しい方向を向いていると判定された場合、処理はステップＳ２９に進み、方向決定部６１は、例えば、「ピンポーン」の電子音とともに、「正しい方向です」の音声メッセージを出力部１７に出力させ、正しい方向であることを視覚障害者に通知する。また、ステップＳ２９において、方向決定部６１は、出力部１７を介して、正しい横断方向を決定する処理は終了し、横断歩道の歩行中のずれをガイドする横断モードが開始されることを音声で通知する。

ステップＳ３０において、ガイド情報生成部６２は、１回以上繰り返し実行されたステップＳ２６の方向検出処理のうち、正しい方向を向いていると判定された最後の現画像の射影枠１０２の中心方向１０４を、視覚障害者の進行方向であるとして、PDR演算部６３に対して横断方向の進行方向を設定する。即ち、視覚障害者が実際に向いている体の向きは、Ref画像の正しい横断方向とは、厳密には異なるので、ガイド情報生成部６２は、視覚障害者が実際に向いている方向ではなく、Ref画像に基づいて、正しい進行方向を設定する。PDR演算部６３では、方向センサ１２が出力するセンサ信号を用いて横断ポイントからの相対位置を計算する際の位置及び方向が、初期化される。

ステップＳ３１において、ガイド情報生成部６２は、カメラ１１に撮影を行わせ、撮影された画像に基づいて、歩行者用信号の色を認識する信号認識処理を実行する。

ステップＳ３２において、ガイド情報生成部６２は、信号認識処理の結果から、歩行者用信号の色が赤から青へ変化したかを判定する。ステップＳ３２で、赤から青へ変化したと判定されない場合、処理はステップＳ３１に戻り、ステップＳ３１及びＳ３２の処理が繰り返される。正しい横断方向を決定した時点で歩行者用信号が既に青になっている場合も想定されるが、赤になるまでの時間が短い場合もあり得る。そこで、ステップＳ３２の処理は、歩行者用信号が赤から青へ変化したタイミングを検出し、横断時間を最大限に確保できるようにしている。

ステップＳ３２で、歩行者用信号の色が赤から青へ変化したと判定された場合、ステップＳ３３において、ガイド情報生成部６２は、「青になりました。渡れる状態です。」の音声メッセージを出力部１７に出力させ、横断してよい旨を視覚障害者に通知する。

ステップＳ３４において、PDR演算部６３は、横断ポイントからの位置及び方位を算出し、ガイド情報生成部６２は、PDR演算部６３によって算出された位置及び方位を取得する。

PDR演算部６３は、図１１に示されるように、横断ポイントOを基準として横断方向への移動距離Y、横断方向に対して垂直な方向への移動距離X、横断方向からの角度ずれ量Dを算出して、ガイド情報生成部６２に出力する。垂直な方向への移動距離Xは、いわば横方向の位置ずれであり、横断方向からの角度ずれ量Dは、いわば体の向きのずれであるので、以下、横方向の位置ずれX、体の向きのずれDと称する。

ステップＳ３５において、ガイド情報生成部６２は、位置または方位が所定以上ずれているかを判定する。

具体的には、ガイド情報生成部６２は、PDR演算部６３から供給された、横方向の位置ずれXと、体の向きのずれDを用いて、パラメータP＝aX+kD（a,kは所定の定数）を算出し、算出されたパラメータPが所定の閾値以上であるか否かに基づいて、位置または方位が所定以上ずれているかを判定する。

ステップＳ３５で、位置または方位が所定以上ずれていないと判定された場合、処理はステップＳ３４に戻り、上述したステップＳ３４及びＳ３５の処理が繰り返される。

一方、ステップＳ３５で、位置または方位が所定以上ずれていると判定された場合、処理はステップＳ３６に進み、ガイド情報生成部６２は、「右」や「左」の音声メッセージを出力部１７に出力させ、修正方向を視覚障害者に通知する。

ステップＳ３７で、ガイド情報生成部６２は、視覚障害者が横断歩道を渡り終わったときのボタン操作を検出したかを判定する。視覚障害者が横断歩道を渡り終わったとき、操作部１４の操作ボタン、または、ワイヤレスイヤホン４１の操作ボタン４２を押下する。

ステップＳ３７で、横断歩道を渡り終わったときのボタン操作をまだ検出していないと判定された場合、処理はステップＳ３４に戻り、上述したステップＳ３４乃至Ｓ３７の処理が繰り返される。

したがって、ステップＳ３４乃至Ｓ３７の処理によれば、視覚障害者が横断歩道を歩行中に、正しい方向を歩いている場合には、音声メッセージは出力されず、進行方向が一定以上に逸れた場合には、「右」や「左」の音声メッセージが出力される。なお、正しい方向を歩いている場合にも、方向を検出中であることを視覚障害者に通知して安心感を与えるために、「ピッ、ピッ、」と一定間隔で電子音を出力してもよい。

ステップＳ３７で、視覚障害者が横断歩道を渡り終わったときのボタン操作を検出したと判定された場合、ステップＳ３８において、ガイド情報生成部６２は、出力部１７を介して、横断モードが終了されることを音声で通知する。

ステップＳ３９において、ガイド情報生成部６２は、ガイドモードを終了するかを判定する。例えば、視覚障害者が目的地へ到着した場合、視覚障害者がガイドアプリを終了する操作を行うと、ガイドモードを終了すると判定される。

ステップＳ３９で、ガイドモードを終了しないと判定された場合、処理はステップＳ２２に戻り、上述した処理が繰り返される。即ち、Ref画像が登録されている次の横断ポイ ントが近くにあるか否かが監視され、検出された次の横断ポイントに対して、ステップＳ２３以降の処理が実行される。

一方、ステップＳ３９で、ガイドモードを終了すると判定された場合、横断歩道ガイド処理が終了する。

以上の横断歩道ガイド処理によれば、Ref画像が登録されている各横断歩道（横断ポイント）において、予め記憶されているRef画像と、現時点で撮影された静止画像（現画像）とをマッチングしたマッチング結果に基づいて、正しい横断方向を決定する方向検出処理が、Ref画像登録部５１によって行われる。また、横断歩道を歩行中に、進行方向が横断方向と一定以上ずれた場合に修正方向を視覚障害者に通知する処理が、ガイド情報生成部６２によって実行される。その結果、正しい方向に安全に横断歩道を歩行することができる。

＜１．８ Ref画像登録処理及び横断歩道ガイド処理の変形例＞
上述したRef画像登録処理及び横断歩道ガイド処理の変形例について説明する。

横断ポイントにおいて視覚障害者が正しい方向を向いているか否かを判定する際に、方向センサ１２で検出される視覚障害者の姿勢情報を参考にしてもよい。この場合、Ref画像の登録時にも、Ref画像を撮影したときの方向センサ１２で検出された方位情報が、姿勢情報として、Ref画像とともに記憶部１５に記憶される。

上述したRef画像登録処理において、Ref画像とともに記憶する時刻情報は、出発地点からの経過時間としたが、毎日同じ時刻に出発するような場合には、経過時間ではなく、２４時間制の絶対時刻としてもよい。

上述した横断歩道ガイド処理では、横断歩道を歩行中の視覚障害者のずれ量を、パラメータP＝aX+kDを算出することで、横方向の位置ずれXと体の向きのずれDを区別せずに判定したが、横方向の位置ずれXと体の向きのずれDのそれぞれに対して閾値を設け、別々に判定してもよい。この場合、ガイド情報生成部６２は、修正方向を視覚障害者に通知する電子音は、横方向の位置ずれXと体の向きのずれDそれぞれで異なるようにすることができる。例えば、横方向の位置ずれXについては、位置ずれXが大きければ電子音が遅いピッチで鳴り、位置ずれXが小さければ電子音が速いピッチで鳴る。体の向きのずれDについては、正しい方向を向くと電子音が低音で鳴り、外れた方向を向くと電子音が高音で鳴る。

上述したRef画像登録処理において、記憶部１５に登録するRef画像として、左右方向に撮影範囲の広いパノラマ画像を撮影し、登録してもよい。これにより、図１２に示されるように、横断歩道に対して大きく斜めの方向を向いた場合であっても、マッチングが取りやすくなる。また、この場合も、パノラマ画像を撮影時の方位情報を姿勢情報として付加して記憶してもよい。さらに、パノラマ画像に代えて、パンさせながら撮影した動画像を、Ref画像としてもよい。

上述した横断歩道ガイド処理において、Ref画像の特徴点に対応する特徴点を検出する特徴点マッチングを行う場合の現画像の探索領域は、現画像の全範囲としたが、探索領域を現画像の一部の領域とし、さらに、図１３に示されるように、歩行者用信号の色が青のときと赤のときとで変化させてもよい。

歩行者用信号が青のときには、現画像には横断する歩行者が映りやすい。一方、歩行車用信号が赤のときには、横断歩道を横切る車両が映りやすい。そのため、これらの歩行者や車両を排除するために、方向決定部６１は、図１３に示されるように、道路が占める部
分が多い現画像の下側の領域を探索領域から除外するとともに、歩行者用信号の色が青のときと赤のときとで異なる領域を設定することができる。歩行者用信号の色が赤のときの現画像については、特徴点抽出やマッチング処理自体を停止してもよい。

登録モードでRef画像を登録したときの時刻と、ガイドモードで現画像を撮影するときの時刻が異なると、太陽光による影に違いが出てしまい、局所特徴量のマッチングが取れない場合もあり得る。そのような場合には、図１４に示されるように、画像を二値化することで影を除外してから、マッチング処理を行うことも可能である。図１４の例では、破線で示される道路に大きく映る影が除外され、影の位置による影響を排除することができる。

上述した方向検出処理では、撮影された現画像の水平方向の画素数から、視覚障害者が向いている方向が検出された。この方向は、現画像を中心としたいわば相対的な方位による方向の検出であるが、基準座標（例えば、磁方位基準）での絶対的な方位による方向で、視覚障害者が向いている方向を検出することも可能である。

基準座標での推定方位は、図１５に示されるように、カメラ座標基準の方位（画像中心を基準とした方位）と、撮影時のカメラ方位（静止画像を撮影したときのカメラ１１の方位）との加算で算出することができる。

また、上述した方向検出処理では、１枚の現画像を撮影するごとに、特徴点を抽出し、視覚障害者が向いている方向を推定し、ガイド情報として音声出力するようにしたが、図１６に示されるように、複数枚の現画像それぞれで検出された結果から、視覚障害者が向いている方向を総合的に判定し、最終的な方向を推定してもよい。

換言すれば、方向決定部６１は、図９の方向検出処理を複数回（複数枚）繰り返し、それぞれで検出された複数の方向情報を統合することで、視覚障害者が向いている方向の１回の検出結果とする。

例えば、方向決定部６１は、複数の現画像それぞれで検出された複数の方向情報の平均値を算出し、その結果得られた方向を、視覚障害者が向いている方向とすることができる。

あるいはまた、複数の現画像それぞれで検出された複数の方向に対して所定の重み付け平均化処理を行って最終的な方向を検出してもよい。

例えば、現画像の射影枠が画像中心に近いほど精度が高いので、複数の現画像のうち、射影枠の位置が画像中心に近い現画像ほど重みを大きくして、複数の現画像それぞれで検出された複数の方向を統合した方向を決定することができる。

例えば、インライア（Inlier）マッチ量に基づいて複数の現画像の重み付けをしてもよい。即ち、複数の現画像のうち、射影変換行列の計算に使用された特徴点の個数が多い現画像ほど重みを大きくして、複数の現画像それぞれで検出された複数の方向を統合した方向を決定することができる。

あるいはまた、射影枠の幾何情報に応じて複数の現画像の重み付けをしてもよい。複数の現画像のうち、射影枠の形状が四角形状に近い現画像ほど重みを大きくして、複数の現画像それぞれで検出された複数の方向を統合した方向を決定することができる。

あるいはまた、歩行者用信号の色が青の現画像が、車両の映り込みが少なく正確な方位
が検出できると考えられるので、現画像に映る歩行者用信号の色が青である現画像の重みを大きくし、歩行者用信号の色が赤である現画像の重みを小さくして、複数の現画像それぞれで検出された複数の方向を統合した方向を決定することができる。

また、図１７に示されるように、複数の現画像それぞれで検出された複数の方向を統合して最終的に方向を決定する場合には、検出された複数の方向の偏差を計算し、偏差が所定の閾値以上である場合には、検出エラーとして、修正方向をアナウンスする音声メッセージを出力しないようにしてもよい。また、検出エラーと判断した場合には、「静止してください」の音声メッセージを出力して、偏差が所定の閾値以下となるまで待機してもらったり、統合する現画像の枚数を増やしてもよい。これにより、推定精度を向上させるとともに、精度の低い場合には、修正方向のアナウンスを出力しないので、危険を防止することができる。

上述した横断歩道ガイド処理において、図１８に示されるように、横断歩道を歩行中に、ガイド情報生成部６２が、視覚障害者が横断ポイントから歩いた歩数をカウントし、例えば、「あと２０歩です」や「あと１ｍです」のように、横断歩道を渡りきるまでの残りの距離情報を、音声メッセージで出力させるようにしてもよい。横断歩道全体の距離についての情報は、登録モードで横断歩道を渡るときに自動で歩数をカウントしたり、横断歩道を渡った後に、同行援護者に歩数を入力してもらうようにすればよい。あるいはまた、Ref画像を横断歩道全体が映るように撮影して、Ref画像に含まれる横断歩道の縞模様の数から、横断歩道全体の距離を推定して記憶しておくことも可能である。

＜２．全経路ガイド機能＞
＜２．１ 全経路ガイド機能の概要＞
次に、情報処理装置１が、上述した横断歩道の歩行ガイド機能の他にさらに備える全経路ガイド機能について説明する。

上述した横断歩道の歩行ガイド機能は、出発地から所定の目的地までの移動経路のうち、横断歩道のみに着目したガイド機能であるが、横断歩道以外の移動経路については、情報処理装置１は、以下で説明する全経路ガイド機能を提供することができる。

図１９は、全経路ガイド機能の概要を説明する図である。

視覚障害者は、１回目に目的地までの移動を行う際、出発地から所定の目的地までの移動経路のうち、主要な通過点で、歩行の参考になるような通過点に関するガイド情報を、自分自身の音声で通過点ごとに録音しておく。

情報処理装置１は、通過点ごとに、視覚障害者が発した音声と、その録音が行われた場所（緯度経度）を示す位置情報と時刻情報を記憶部１５に記憶する。そして、情報処理装置１は、２回目以降の目的地までの移動において、通過点ごとに、ガイド情報としての録音された音声を再生（出力）する。１回目の移動時のガイド情報の録音は、登録モードで実行される。２回目以降の録音された音声の再生はガイドモードで実行される。

図１９には、出発地及び目的地と、５個の通過点に対して、ガイド情報が登録されている例が示されている。

まず、出発地Startにおいて、視覚障害者は、全経路ガイド機能のガイドモードの実行を開始すると、情報処理装置１は、視覚障害者によって出発地Startで予め録音された「ここは出発地点です。」の音声メッセージを出力する。

次に、視覚障害者が、次に音声を録音した通過点AP1の近くまで移動すると、情報処理装置１は、視覚障害者によって通過点AP1で予め録音された「ここはコンビニです。」の音声メッセージを出力する。

次に、視覚障害者が、次に音声を録音した通過点AP2の近くまで移動すると、情報処理装置１は、視覚障害者によって通過点AP2で予め録音された「横断歩道手前。」の音声メッセージを出力する。

次に、視覚障害者が、次に音声を録音した通過点AP3の近くまで移動すると、情報処理装置１は、視覚障害者によって通過点AP3で予め録音された「横断歩道終了。」の音声メッセージを出力する。

次に、視覚障害者が、次に音声を録音した通過点AP4の近くまで移動すると、情報処理装置１は、視覚障害者によって通過点AP4で予め録音された「大通りから右折。」の音声メッセージを出力する。

次に、視覚障害者が、次に音声を録音した通過点AP5の近くまで移動すると、情報処理装置１は、視覚障害者によって通過点AP5で予め録音された「左折し真っ直ぐ。」の音声メッセージを出力する。

次に、視覚障害者が、次に音声を録音した目的地Goalの近くまで移動すると、情報処理装置１は、視覚障害者によって目的地Goalで予め録音された「目的地です。」の音声メッセージを出力する。

また、情報処理装置１は、各通過点において、音声メッセージに対応付けて記憶された位置情報に基づいて、次の通過点の概略の方向を、録音音声とともに音声出力してもよい。

例えば、出発地Startにおいて、次の通過点AP1までの方角は４５°の方向となるので、「ここは出発地点です。」の音声メッセージとともに、「次は、４５°の方向です。」の音声メッセージを出力してもよい。その他の通過点においても同様である。

視覚障害者は、初回歩行時に、例えば、移動経路の各地点における音や匂いの特徴、歩道の混雑状況、路面の特徴、分岐点で道に迷わないための手掛かりとなる情報（左折、直進、右折など）、曜日ごとの状況の違いなど、自分で気づいた情報を、音声メッセージとして録音する。

図２０は、ガイド情報として障害物情報を録音する例を示している。

視覚障害者は、初回歩行時に、例えば、通過点AP1に対して、「ドラッグストアの商品が歩道にはみ出しているので、歩道右側の障害物に注意、できるだけ歩道左端を歩行する。」の音声を情報処理装置１に録音する。視覚障害者は、２回目以降の歩行において、この音声メッセージが再生されることにより、右側の障害物を注意して、歩道左端を歩くことができる。

図２１は、ガイド情報として横断歩道の手がかりを録音する例を示している。

視覚障害者は、初回歩行時に、例えば、通過点AP2に対して、「５０ｍ範囲内に横断歩道があります。歩道右側を進むとマンホールの蓋があるので、その先の点字ブロックの５歩先が、横断歩道です。」の音声を情報処理装置１に録音する。視覚障害者は、２回目以
降の歩行において、この音声メッセージが再生されることにより、マンホールの蓋と点字ブロックを基準にして横断歩道に容易に到達することができる。

なお、本実施の形態では、視覚障害者自身が、各通過点での音声メッセージの録音（吹き込み）を行うものとして説明するが、同行援護者が行ってもよい。

＜２．２ 情報処理装置の構成例＞
図２２は、上述した全経路ガイド機能を実行する場合の情報処理装置の構成例を示すブロック図である。

なお、図２２において、図２と対応する部分については同一の符号を付してあり、その説明は適宜省略する。図２３以降についても同様である。

情報処理装置１は、図２に示した構成に、マイクロホン１２１をさらに追加することで、全経路ガイド機能を実行することができる。

マイクロホン１２１は、視覚障害者が発した声を集音して、音声信号として処理部１６に供給する。

＜２．３ 処理部の機能ブロック図＞
図２３は、上述した全経路ガイド機能を実行する場合の処理部１６の機能ブロック図である。

処理部１６は、登録モードとして、上述したRef画像登録部５１に加えて、音声登録部１４１を備える。

また、処理部１６は、ガイドモードとして、上述した方向決定部６１とガイド情報生成部６２に加えて、通過点通知部１４２を備える。

音声登録部１４１は、１回目に目的地までの移動を行う際に、通過点ごとに視覚障害者によって行われる録音操作に従って、マイクロホン１２１から供給される音声信号を、所定のファイルフォーマットに変換し、記憶部１５に記憶させる。また、音声登録部１４１は、視覚障害者が発した音声（のデータ）を記憶部１５に記憶する際、その通過点の位置情報及び時刻情報を、音声に対応付けて記憶部１５に記憶させる。

通過点通知部１４２は、２回目以降の目的地までの移動の際に、通過点に近づいたか否かを判定し、通過点に近づいたと判定された場合、通過点に対応して記憶されている音声（のデータ）を記憶部１５から取得し、出力部１７に出力させる。

なお、全経路ガイド機能では、出発地と目的地に対する処理も、通過点に対する処理と変わらないため、出発地と目的地も通過点の１つとして認識して処理を行うものとする。

登録モードとガイドモードがそれぞれ１個のアプリで構成されてもよいし、音声登録部１４１と通過点通知部１４２が、それぞれ１個のアプリで構成されてもよい。換言すれば、上述した横断歩道の歩行ガイド機能のアプリと全経路ガイド機能のアプリは、１つのアプリで構成されてもよいし、異なるアプリでも良い。個々のアプリをどのような機能単位で構成するかは任意である。

＜２．４ 音声登録処理＞
図２４のフローチャートを参照して、登録モードにおいて音声登録部１４１によって実
行される音声登録処理について説明する。この処理は、例えば、視覚障害者が同行援護者を伴って出発地から所定の目的地までの移動を開始するタイミングにおいて登録アプリを実行したときに開始される。

初めに、ステップＳ７１において、音声登録部１４１は、出発地からの経過時間（所要時間）を計測するための時計カウントを開始する。

視覚障害者は、歩行の参考になるようなガイド情報を録音しておきたい場合に、通過点に関するガイド情報の録音を行うための操作（以下、通過点登録操作という。）を行う。通過点登録操作は、例えば、ワイヤレスイヤホン４１の操作ボタン４２の押下である。

ステップＳ７２において、音声登録部１４１は、操作部１４からの操作信号に基づいて、通過点登録操作を検出したかを判定し、通過点登録操作を検出したと判定されるまで待機する。

ステップＳ７２で、通過点登録操作を検出したと判定された場合、処理はステップＳ７３に進み、音声登録部１４１は、通過点の位置情報及び時刻情報として、現在の位置情報と時刻情報を取得する。即ち、音声登録部１４１は、GPSセンサ１３から供給される現在の緯度経度を示す位置情報と、ステップＳ７１においてカウントを開始してからの経過時間を、通過点の位置情報及び時刻情報として取得する。

ステップＳ７４において、音声登録部１４１は、マイクロホン１２１から供給される、視覚障害者が発した音声を録音する（記憶部１５に記憶させる）。

ステップＳ７５において、音声登録部１４１は、録音した音声に対応付けて、ステップＳ７３で取得した通過点の位置情報及び時刻情報を記憶部１５に記憶させる。

ステップＳ７６において、音声登録部１４１は、視覚障害者に録音した内容を確認させるため、録音した音声を再生する。即ち、音声登録部１４１は、記憶部１５に記憶した音声のデータに対応する音声信号を出力部１７としてのスピーカまたはイヤホンに出力する。

ステップＳ７７において、音声登録部１４１は、登録モードを終了するかを判定する。例えば、視覚障害者と同行援護者が目的地へ到着した場合、視覚障害者が登録アプリを終了する操作を行うと、登録モードを終了すると判定される。

ステップＳ７７で、登録モードをまだ終了しないと判定された場合、処理はステップＳ７２に戻り、上述したステップＳ７２乃至Ｓ７７の処理が繰り返される。これにより、通過点登録操作が行われるごとに、通過点の位置情報及び時刻情報と音声が、記憶部１５に記憶される。

一方、ステップＳ７７で、登録モードを終了すると判定された場合、音声登録処理が終了する。

＜２．５ 通過点ガイド再生処理＞
次に、図２５のフローチャートを参照して、ガイドモードにおいて通過点通知部１４２によって実行される通過点ガイド再生処理について説明する。この処理は、例えば、登録モードで登録した移動経路を単独で歩行する場合に、出発地において移動を開始するタイミングでガイドアプリを実行したときに開始される。

初めに、ステップＳ８１において、通過点通知部１４２は、出発地からの経過時間（所要時間）を計測するための時計カウントを開始する。

ステップＳ８２において、通過点通知部１４２は、GPSセンサ１３から現在の位置情報を取得し、取得された現在の位置情報と出発地からの経過時間とに基づいて、記憶部１５に音声が登録されている通過点に近づいたかを判定する。より具体的には、通過点通知部１４２は、記憶部１５に記憶されている音声に対応づけて記憶されている通過点の位置情報及び時刻情報と、現在の位置情報と経過時間とを比較して、現在の位置情報から所定範囲内の位置に対応付けられた音声が記憶部１５に登録されているかを判定する。GPSセンサ１３の位置精度にもよるが、例えば、通過点の５０乃至１００ｍ以内に視覚障害者が到着すると、通過点に近づいたと判定される。通過点は、基本的には位置情報によって検索され、時刻情報は参考とされる。

ステップＳ８２で、通過点に近づいたと判定されるまで、ステップＳ８２の処理が繰り返される。

そして、ステップＳ８２で、通過点に近づいたと判定された場合、処理はステップＳ８３に進み、通過点通知部１４２は、現在値に近い通過点（位置情報）に対応付けて記憶されている音声を再生する。即ち、通過点通知部１４２は、現在値に近い通過点（位置情報）に対応付けて記憶されている音声のデータを記憶部１５から取得し、出力部１７に出力させる。

ステップＳ８４において、音声登録部１４１は、ガイドモードを終了するかを判定する。例えば、視覚障害者が目的地へ到着した場合、視覚障害者がガイドアプリを終了する操作を行うと、ガイドモードを終了すると判定される。

ステップＳ８４で、ガイドモードをまだ終了しないと判定された場合、処理はステップＳ８２に戻り、上述したステップＳ８２乃至Ｓ８４の処理が繰り返される。これにより、視覚障害者が通過点を通るごとに、通過点に対応するガイド情報としての音声メッセージが出力される。

一方、ステップＳ８４で、ガイドモードを終了すると判定された場合、通過点ガイド再生処理が終了する。

以上のように、情報処理装置１の全経路ガイド機能によれば、移動経路の主要な通過点について、視覚障害者自身が自分の声で録音したガイド情報を実際に歩行した際に再生することで、安全な歩行を支援することができる。

なお、情報処理装置１は、上述した全経路ガイド機能（第１の全経路ガイド機能）に加えて、図２６に示す全経路ガイド機能（第２の全経路ガイド機能）をさらに備えることができる。

図２６に示される全経路ガイド機能は、視覚障害者自身が設定した通過点ではなく、GPSセンサ１３からの位置情報を基に、目的地までの方角と距離を、一定時間間隔で、音声で出力する機能である。

図２６の例では、３０分ごとに、その時点における目的地の方角（「３時の方向」、「１２時の方向」など）と、目的地までの距離（「１０ｋｍです」、「８ｋｍです」など）の音声が情報処理装置１から出力されている。

＜３．第２の視覚障害者歩行支援システム＞
＜３．１ 第２の視覚障害者歩行支援システムの概要＞
次に、本開示の第２の視覚障害者歩行支援システムについて説明する。

上述した第１の視覚障害者歩行支援システムは、情報処理装置１の単体で実現できるシステムであったが、第２の視覚障害者歩行支援システムは、いわゆるドローンと呼ばれる無人航空機を用いた視覚障害者歩行支援システムである。

図２７を参照して、第２の視覚障害者歩行支援システムの概要について説明する。

視覚障害者は、誤認識低減のためのマーカ１６１として２次元コードが記された帽子（不図示）等を着用して、移動経路を歩行する。ドローン１７１は、マーカ１６１を検出して、視覚障害者の真上に移動し、真下を撮影する。

ドローン１７１が撮影した画像は、情報処理装置１へ転送され、情報処理装置１は、事前に撮影されたRef画像と、ドローン１７１から転送されてきた画像とを比較して、正しい位置とのずれを検出して、視覚障害者に正しい位置を音声で知らせる。

このドローンを用いた第２の視覚障害者歩行支援システムは、例えば、視覚障害者が横断歩道を歩行する際の正確な横断ポイントへの誘導に利用することができる。

＜３．２ 第２の視覚障害者歩行支援システムの構成例＞
図２８は、第２の視覚障害者歩行支援システムの構成例を示すブロック図である。

第２の視覚障害者歩行支援システムは、ドローン１７１と情報処理装置１とで構成される。

ドローン１７１は、カメラ１８１、記憶部１８２、移動部１８３、制御部１８４、及び近距離無線通信部１８５を備え、視覚障害者を追尾する。

カメラ１８１は、例えば、CMOSセンサまたはCCDなどの撮像素子で構成され、横断歩道などの被写体を撮影し、その結果得られる画像を制御部１８４に供給する。

記憶部１８２は、例えば、ＨＤＤや半導体メモリなどで構成され、制御部１８４で実行されるプログラムや、カメラ１８１や移動部１８３などの各部が動作するために必要な各種のデータを記憶する。また、記憶部１８２は、視覚障害者が装着するマーカ１６１を認識するためのマーカ情報なども記憶する。

移動部１８３は、ドローン１７１自身を上下左右に移動させるための移動手段であり、例えば、４つの回転翼で構成される。移動部１８３は、制御部１８４の制御に従い、ドローン１７１自身を移動させる。

制御部１８４は、例えば、CPUやMPUなどで構成され、記憶部１８２から読み出された所定のプログラムを実行することによって、上述したカメラ１８１による撮影や自身の移動を制御する。

近距離無線通信部１８５は、例えばBluetooth（登録商標）や無線LAN（Local Area Network）などの通信デバイスで構成され、制御部１８４の制御に従い、撮影画像などのデータを情報処理装置１に送信する。

情報処理装置１は、上述したカメラ１１、操作部１４、記憶部１５、処理部１６、及び出力部１７に加え、さらに近距離無線通信部１９１を備える。

近距離無線通信部１９１は、ドローン１７１の近距離無線通信部１８５と対応する通信デバイスであって、例えばBluetooth（登録商標）や無線LANなどの通信デバイスで構成される。近距離無線通信部１９１は、処理部１６の制御に従い、撮影画像などのデータを受信し、処理部１６に供給する。

＜３．３ 処理部の機能ブロック図＞
図２９は、第２の視覚障害者歩行支援システムにおける情報処理装置１の処理部１６の機能ブロック図である。

処理部１６は、登録モードとして、Ref画像登録部２１１を備える。

Ref画像登録部２１１は、登録モードにおいて、正しい場所から撮影した登録地点（例えば、横断ポイント）の画像を、ドローン１７１から近距離無線通信部１９１を介して取得する。そして、Ref画像登録部２１１は、ドローン１７１から取得した登録地点の撮影画像を、Ref画像として記憶部１５に登録する（記憶させる）。

Ref画像登録部２１１は、上述したRef画像登録部５１と一体に組み込まれてもよいし、別々であってもよい。

また、処理部１６は、ガイドモードとして、ガイド情報生成部２１２を備える。ガイド情報生成部２１２は、視覚障害者とドローン１７１との位置関係を認識し、視覚障害者を正しい位置へガイドするガイド情報を生成する。

より具体的には、ガイド情報生成部２１２は、ガイドモードにおいてドローン１７１から送信されてくる現在地の画像（以下、現在地画像という。）を、近距離無線通信部１９１を介して取得する。そして、ガイド情報生成部２１２は、ドローン１７１から取得した現在地画像を、記憶部１５に記憶しているRef画像と比較して、正しい位置に対するユーザの位置ずれを検出する。さらに、ガイド情報生成部２１２は、検出した位置ずれに基づいて、視覚障害者を正しい位置へガイドするガイド情報としての修正方向を生成し、出力部１７から音声で出力させる。

ガイド情報生成部２１２は、上述した方向決定部６１またはガイド情報生成部６２の一方または両方と一体に組み込まれてもよいし、別々であってもよい。

＜３．４ 登録モード時のドローンの画像送信処理＞
次に、図３０のフローチャートを参照して、登録モードにおいてドローン１７１によって実行される画像送信処理について説明する。

初めに、ステップＳ１０１において、制御部１８４は、移動部１８３を制御して、所定の登録地点へ移動する。登録地点としてどの場所へ移動するかは、例えば、近距離無線通信部１８５を介して遠隔操作により指示されてもよいし、予め複数の登録地点を登録しておいて、その地点の一つを選択して自律的に移動してもよい。

登録地点へ移動した後、ステップＳ１０２において、制御部１８４は、カメラ１８１を制御して、登録地点を撮影させる。カメラ１８１は、制御部１８４の制御に従い、登録地点を撮影する。

ステップＳ１０３において、制御部１８４は、撮影した画像を、近距離無線通信部１８５を介してRef画像として情報処理装置１に送信する。

ステップＳ１０４において、制御部１８４は、登録モードを終了するかを判定する。例えば、予め登録された全ての登録地点の撮影が終了したと判定された場合、登録モードを終了すると判定される。

ステップＳ１０４で、登録モードをまだ終了しないと判定された場合、処理はステップＳ１０１に戻り、上述したステップＳ１０１乃至Ｓ１０４の処理が繰り返される。これにより、複数の登録地点について、Ref画像が撮影され、情報処理装置１に送信される。

＜３．５ 登録モード時の情報処理装置の画像受信処理＞
次に、図３１のフローチャートを参照して、登録モードにおいて情報処理装置１よって実行される画像受信処理について説明する。この処理は、例えば、登録モードにおいてRef画像登録部２１１のアプリが実行されたときに開始される。

初めに、ステップＳ１２１において、Ref画像登録部２１１は、ドローン１７１から近距離無線通信部１９１を介してRef画像が送信されてきたかを判定し、Ref画像が送信されてきたと判定されるまで待機する。

そして、ステップＳ１２１で、Ref画像が送信されてきたと判定された場合、処理はステップＳ１２２に進み、Ref画像登録部２１１は、送信されてきたRef画像を取得し、記憶部１５に記憶させる。

ステップＳ１２３において、Ref画像登録部２１１は、登録モードを終了するかを判定する。例えば、Ref画像登録部２１１のアプリを終了する操作が行われた場合、登録モードを終了すると判定される。

ステップＳ１２３で、登録モードをまだ終了しないと判定された場合、処理はステップＳ１２１に戻り、上述したステップＳ１２１乃至Ｓ１２３の処理が繰り返される。これにより、複数の登録地点に関するRef画像が取得され、記憶部１５に記憶される。

＜３．６ ガイドモード時のドローンの画像送信処理＞
次に、図３２のフローチャートを参照して、ガイドモードにおいてドローン１７１によって実行される画像送信処理について説明する。

初めに、ステップＳ１４１において、制御部１８４は、カメラ１８１によって撮影された画像から視覚障害者が付けているマーカ１６１を検出し、検出されたマーカ１６１が自分自身の真下の位置になるように移動部１８３に移動させる。

マーカ１６１の真下に移動した後、ステップＳ１４２において、制御部１８４は、カメラ１８１を制御して、真下を撮影させる。カメラ１８１は、制御部１８４の制御に従い、真下を撮影する。

ステップＳ１４３において、制御部１８４は、撮影した画像を、近距離無線通信部１８５を介して、視覚障害者の現在地を示す現在地画像として情報処理装置１に送信する。

ステップＳ１４４において、制御部１８４は、ガイドモードを終了するかを判定する。例えば、近距離無線通信により、情報処理装置１からガイドモードの終了が通知されたとき、登録モードを終了すると判定される。

ステップＳ１４４で、ガイドモードをまだ終了しないと判定された場合、処理はステップＳ１４１に戻り、上述したステップＳ１４１乃至Ｓ１４４の処理が繰り返される。これにより、移動する視覚障害者を追尾して、視覚障害者の真上から撮影した画像が、現在地画像として、定期的に情報処理装置１に送信される。

＜３．７ ガイドモード時の情報処理装置の画像受信処理＞
次に、図３３のフローチャートを参照して、ガイドモードにおいて情報処理装置１よって実行される画像受信処理について説明する。この処理は、例えば、ガイドモードにおいてガイド情報生成部２１２のアプリが実行されたときに開始される。

初めに、ステップＳ１６１において、ガイド情報生成部２１２は、ドローン１７１から近距離無線通信部１９１を介して現在地画像が送信されてきたかを判定し、現在地画像が送信されてきたと判定されるまで待機する。

そして、ステップＳ１６１で、現在地画像が送信されてきたと判定された場合、処理はステップＳ１６２に進み、ガイド情報生成部２１２は、送信されてきた現在地画像を取得する。

ステップＳ１６３において、ガイド情報生成部２１２は、取得した現在地画像と、記憶部１５に記憶されているRef画像とを比較して、視覚障害者の登録地点からの位置のずれを検出する。例えば、ガイド情報生成部２１２は、Ref画像の中心部の領域を、現在地画像のなかからパターンマッチングにより検出し、検出された位置と画像中心との位置のずれを検出する。

ステップＳ１６４において、ガイド情報生成部２１２は、検出された位置のずれが予め定めた所定の範囲内であるかを判定し、所定の範囲内であると判定した場合、処理はステップＳ１６１に戻される。

一方、ステップＳ１６４で、検出された位置のずれが予め定めた所定の範囲内ではないと判定された場合、処理はステップＳ１６５に進み、ガイド情報生成部２１２は、ガイド情報である「右」や「左」の音声メッセージを出力部１７に出力させ、修正方向を視覚障害者に通知する。

ステップＳ１６６において、ガイド情報生成部２１２は、ガイドモードを終了するかを判定する。例えば、ガイド情報生成部２１２のアプリを終了する操作が行われた場合、ガイドモードを終了すると判定される。

ステップＳ１６６で、ガイドモードをまだ終了しないと判定された場合、処理はステップＳ１６１に戻り、上述したステップＳ１６１乃至Ｓ１６６の処理が繰り返される。これにより、複数の登録地点それぞれに関する現在地画像が取得され、Ref画像と比較されて、ガイド情報が視覚障害者に通知される。

以上説明した第２の視覚障害者歩行支援システムによれば、ドローン１７１が撮影した画像に基づいて、視覚障害者の現在の位置を検出するとともに、正しい位置のずれを算出して、視覚障害者にガイド情報として通知することができる。

＜３．８ 第２の視覚障害者歩行支援システムの変形例＞
なお、上述した第２の視覚障害者歩行支援システムの実施の形態では、図３４の上段に示されるように、ドローン１７１が視覚障害者の真上に移動して、カメラ１８１が真下の
視覚障害者を撮影するようにした。

しかしながら、図３４の下段に示されるように、ドローン１７１が正しい位置を移動しながら、視覚障害者をカメラ１８１の視野内に捉えて、撮像された現在地画像の画像中心からのずれとして、視覚障害者の位置のずれを検出してもよい。

また、ドローン１７１が正しい位置を移動している場合、視覚障害者が装着している情報処理装置１のカメラ１１がドローン１７１を撮影して検出し、ドローン１７１の検出位置に基づいて、視覚障害者の位置のずれを検出してもよい。

図３５は、誤認識低減のためのマーカ１６１の他の例を示している。

上述した例では、マーカ１６１として２次元コードを採用したが、図３５上段に示されるように、マーカ１６１を、赤外光を発する赤外線LEDとして、ドローン１７１のカメラ１８１を赤外線カメラとしてもよい。

また、図３５中段に示されるように、ドローン１７１が赤外線LEDを備えて赤外光を発し、ドローン１７１のカメラ１８１を赤外線カメラとして、視覚障害者が装着するマーカ１６１を、赤外線反射板としてもよい。

あるいはまた、図３５下段に示されるように、ドローン１７１が赤外線LEDを備えて赤外光を発し、ドローン１７１のカメラ１８１を赤外線カメラとして、視覚障害者の位置を画像認識によって検出してもよい。

また、ドローン１７１が備えるカメラ１８１は、ストラクチャライトカメラ（structured light camera）、ToF(Time-of-Flight)カメラ、ステレオカメラなどの奥行き方向が検出できるカメラであってもよい。

上述した例では、登録モードで事前に撮影したRef画像を基に、視覚障害者の現在地の位置ずれを検出するようにしたが、地図情報と現在地画像を比較することによって、現在地の位置ずれを検出してもよい。

上述した例では、ドローン１７１が撮影した画像を全て情報処理装置１に転送し、情報処理装置１側で、視覚障害者の現在地の位置ずれを検出するようにしたが、ドローン１７１が撮影した画像を記憶部１８２に記憶しておき、ガイドモードでは、ドローン１７１が、現在地画像との比較によって位置ずれを検出し、検出結果を表すずれ情報のみを情報処理装置１に送信するようにしてもよい。

＜４．スマートフォンカバーの外観例＞
＜４．１ スマートフォンカバーの外観例＞
次に、スマートフォンカバーの実施の形態について説明する。

タッチパネルを搭載したスマートフォンは、画面の視覚情報を前提に設計されており、操作画面もフラットであることから、視覚障害者にとっては、画面上のどこに操作ボタン等が配置されているかを認識することが難しく、操作に困難を強いるものであった。

そこで、以下では、視覚障害者に好適なスマートフォンに変化させるスマートフォンカバーの実施の形態について説明する。

図３６は、スマートフォンカバーの外観例を説明する図である。

図３６に示されるスマートフォンカバー２３１は、スマートフォン３１のディスプレイ３５を保護する前面カバー２４１と、ディスプレイ３５側と反対側の面を保護する背面カバー２４２を有する。

前面カバー２４１には、ディスプレイ３５の所定の領域を視覚障害者がタッチ操作できるようにした、プラスチック等の透過素材で形成された小窓２５１が配置されている。小窓２５１には、その開口領域を３ｘ３に９分割した９個の分割領域のうちの中央の分割領域に、基準位置を表す突起２５２が形成されたシール２５３が貼り付けられている。

また、小窓２５１が配置された領域と異なる前面カバー２４１の所定の領域には、磁石２５４がカバー内に埋設されている。

一方、背面カバー２４２には、NFC(Near Field Communication)通信を行うICチップとアンテナで構成されるNFCタグ２５５がカバー内に埋設されている。

スマートフォンカバー２３１がスマートフォン３１に装着されると、スマートフォン３１が、前面カバー２４１に埋設された磁石２５４を検出することにより、スマートフォンカバー２３１の装着を検出する。

スマートフォン３１は、スマートフォンカバー２３１の装着を検出した場合、前面カバー２４１の小窓２５１の開口領域のみを操作領域とした視覚障害者専用のユーザインターフェース（以下、グリッドモードと称する。）に操作モードを切り替える。

グリッドモードでは、前面カバー２４１の小窓２５１の９個の各分割領域に対応するディスプレイ３５の領域に、３ｘ３の配置で９個のUIボタンが配置される。UIボタンは、スマートフォン３１の各種機能を実行するアプリに対応する。視覚障害者は、９個のUIボタンそれぞれにどのようなアプリが割り当てられているかを認識しており、小窓２５１に張り付けられたシール２５３の突起２５２を基準位置として９個の分割領域を容易に認識して、所望のUIボタンを選択して、アプリを起動させることができる。

また、グリッドモードでは、所定のUIボタンがタッチされたときに、タッチされたアプリまたは機能を音声で読み上げる音声読み上げ機能が有効となる。

なお、本実施の形態では、突起２５２が形成されたシール２５３を小窓２５１に貼り付けることによって突起２５２を形成しているが、突起２５２は、小窓２５１に直接成形されていてもよい。

＜４．２ ブロック図＞
図３７は、スマートフォンカバー２３１と、スマートフォン３１としての情報処理装置１のUI操作に関するブロック図である。

なお、図３７の情報処理装置１の構成では、スマートフォンカバー２３１に連携した処理を行うために最低限必要な構成についてのみ示している。従って、スマートフォン３１としての情報処理装置１が、上述した横断歩道の歩行ガイド機能やその他の機能も備える場合には、情報処理装置１は、その機能を実行するために必要な構成も併せて備えている。

スマートフォンカバー２３１は、磁石２５４とNFCタグ２５５を備える。

情報処理装置１は、操作部１４、記憶部１５、処理部１６、及び、出力部１７に加えて、磁力検出部２７１とNFC通信部２７２を備える。

NFCタグ２５５は、ISO/IEC 18092またはISO/IEC 14443による近接通信を行う通信デバイスである。NFCタグ２５５は、UIボタンの配置（座標位置）を示すUIボタン座標情報と、３ｘ３の９個の分割領域に配置されるUIボタンを規定するUIボタン規定情報とを含むUI配置情報を内部メモリに記憶する。また、NFCタグ２５５は、自身（リーダライタにとっての各NFCタグ）を識別するNFCタグ識別情報も内部メモリに記憶する。

NFCタグ２５５は、情報処理装置１のNFC通信部２７２が近接された場合、UI配置情報を近接通信によりNFC通信部２７２に送信する。

磁力検出部２７１は、磁石２５４を検出することにより、スマートフォンカバー２３１の前面カバー２４１が閉じられたかどうかを検出し、検出結果を処理部１６に供給する。

NFC通信部２７２は、NFCタグ２５５と、ISO/IEC 18092またはISO/IEC 14443による近接通信を行うリーダライタとなるNFCデバイスであり、NFCタグ２５５に対して電磁波を供給することにより電源を供給するとともに、NFCタグ２５５に記憶されているUI配置情報を取得（受信）し、処理部１６に供給する。

NFC通信部２７２は、近接されたNFCタグ２５５を検出した場合、NFCタグ識別情報を取得する。この取得されたNFCタグ識別情報により、スマートフォンカバー２３１の種類を識別することができる。

処理部１６は、磁力検出部２７１からスマートフォンカバー２３１の前面カバー２４１が閉じられたことが供給された場合、NFC通信部２７２に対して、スマートフォンカバー２３１のNFCタグ２５５から、UI配置情報を取得させる。そして、処理部１６は、NFC通信部２７２が取得したUI配置情報に従って、出力部１７の一部であるディスプレイの表示を、スマートフォンカバー２３１の小窓２５１の開口領域に対応したグリッドモードに切り替える。従って、処理部１６は、前面カバー２４１が閉じられたかどうかに応じてディスプレイの表示を切り替える表示制御部として機能する。

また、出力部１７のディスプレイがLCDである場合、処理部１６は、視覚障害者専用のグリッドモードにしたとき、消費電力低減のために、バックライトを消灯させるように設定することもできる。

＜４．３ カバークローズ検出処理＞
次に、図３８のフローチャートを参照して、スマートフォン３１としての情報処理装置１が、前面カバー２４１が閉じられたことを検出して所定の処理を実行する処理であるカバークローズ検出処理について説明する。この処理は、例えば、情報処理装置１が電源オンされたときに開始される。

初めに、ステップＳ２０１において、処理部１６は、磁力検出部２７１の検出結果に基づいて、前面カバー２４１が閉じられたかどうかを判定し、前面カバー２４１が閉じられたと判定されるまで待機する。

そして、ステップＳ２０１で、前面カバー２４１が閉じられたと判定された場合、処理はステップＳ２０２に進み、処理部１６は、NFC通信部２７２に対して、装着されているスマートフォンカバー２３１のNFCタグ２５５を検出させる。

ステップＳ２０３において、NFC通信部２７２は、処理部１６の制御に従い、NFCタグ２５５を検出して、NFCタグ２５５から、UI配置情報を取得する。取得されたUI配置情報は、処理部１６に供給される。

ステップＳ２０４において、処理部１６は、取得したUI配置情報に従って、出力部１７の一部であるディスプレイの表示を、スマートフォンカバー２３１の小窓２５１の開口領域に対応したグリッドモードに切り替える。グリッドモードでは、スマートフォンカバー２３１から取得したUI配置情報に従って、前面カバー２４１の小窓２５１の開口領域に対応するディスプレイ３５の領域に、UIボタン規定情報で定義された９個のUIボタンが配置される。

ステップＳ２０５において、処理部１６は、グリッドモードで配置したUIボタンに割り当てられたアプリ（以下、登録アプリと称する。）のいずれかを実行させる操作がされたか否かを検出する登録アプリ実行操作検出処理を実行する。この処理の詳細は、図４０等を参照して後述するが、この処理により、登録アプリの実行操作の有無が判定される。

ステップＳ２０６において、処理部１６は、登録アプリ実行操作検出処理の結果、登録アプリの実行操作が検出されたかを判定する。

ステップＳ２０６で、登録アプリの実行操作が検出されていないと判定された場合、処理はステップＳ２０５に戻され、再度、登録アプリ実行操作検出処理が実行される。即ち、処理部１６は、登録アプリの実行操作が検出されたと判定されるまで、待機する。

そして、ステップＳ２０６で、登録アプリの実行操作が検出されたと判定された場合、処理はステップＳ２０７に進み、処理部１６は、実行操作が検出された登録アプリを起動する。起動された登録アプリは、カバークローズ検出処理と並列に実行される。

ステップＳ２０７で、登録アプリが起動された後、処理はステップＳ２０５に戻され、再度、登録アプリ実行操作検出処理が実行される。従って、処理部１６は、再び、登録アプリの実行操作が検出されたと判定されるまで、待機する。

＜４．４ カバーオープン検出処理＞
次に、図３９のフローチャートを参照して、スマートフォン３１としての情報処理装置１が、前面カバー２４１が開けられたことを検出して所定の処理を実行する処理であるカバーオープン検出処理について説明する。この処理は、例えば、図３８のカバークローズ検出処理が実行されたときに開始され、カバークローズ検出処理と並行して実行される。

初めに、ステップＳ２２１において、処理部１６は、磁力検出部２７１の検出結果に基づいて、前面カバー２４１が開けられたかどうかを判定し、前面カバー２４１が開けられたと判定されるまで待機する。

そして、ステップＳ２２１で、前面カバー２４１が開けられたと判定された場合、処理はステップＳ２２２に進み、処理部１６は、ディスプレイのグリッドモードを終了し、カバーオープン検出処理を終了する。

以上のカバークローズ検出処理及びカバーオープン検出処理によれば、情報処理装置１は、スマートフォンカバー２３１の前面カバー２４１が閉じられたことを検出して、視覚障害者が操作しやすいグリッドモードを自動で開始し、前面カバー２４１の開放を検出すると、グリッドモードを自動で終了する。これにより、必要なUIボタンを、ユーザが設定することなく自動で割り当て、視覚障害者が簡単にアプリを起動したり、操作することが できるようになる。また、前面カバー２４１が閉じられたことを検出した場合に、横断歩道ガイド処理や通過点ガイド再生処理を実行するガイドアプリを起動させてもよい。

＜４．５ 登録アプリ実行操作検出処理＞
次に、図４０のフローチャートを参照して、図３８のステップＳ２０５で実行される登録アプリ実行操作検出処理の詳細について説明する。

初めに、ステップＳ２４１において、処理部１６は、グリッドモードで配置した所定のUIボタンがタッチされたかを判定し、所定のUIボタンがタッチされたと判定されるまで待機する。

ステップＳ２４１で、所定のUIボタンがタッチされたと判定された場合、処理はステップＳ２４２に進み、処理部１６は、出力部１７の一部であるスピーカを制御して、タッチされたUIボタンに割り当てられた登録アプリを読み上げる。

ステップＳ２４３において、処理部１６は、UIボタンがタッチされてからの時間をカウントするためのタイマーを起動する。

ステップＳ２４４において、処理部１６は、ステップＳ２４１でタッチが検出されたUIボタンがタッチされたままであるかを判定する。

ステップＳ２４４で、UIボタンがタッチされたままであると判定された場合、処理はステップＳ２４５に進み、所定の時間が経過したかが判定される。そして、ステップＳ２４５で、所定の時間がまだ経過していないと判定された場合、処理はステップＳ２４４に戻される。従って、ステップＳ２４４では、予め定められた所定時間の間、ステップＳ２４１でタッチが検出されたUIボタンがタッチされたままであるかが判定される。

ステップＳ２４４で、所定時間を待たずに、タッチされたUIボタンがタッチされなくなったと判定された場合、処理はステップＳ２４６に進み、処理部１６は、ステップＳ２４３で起動したタイマーを終了する。

そして、ステップＳ２４７において、処理部１６は、登録アプリの実行操作無し、と判定して、登録アプリ実行操作検出処理を終了し、処理を図３８のカバークローズ検出処理に戻す。

一方、ステップＳ２４５で、ステップＳ２４１でタッチが検出されたUIボタンがタッチされたまま、所定の時間が経過したと判定された場合、処理はステップＳ２４８に進み、処理部１６は、登録アプリの実行操作有り、と判定して、登録アプリ実行操作検出処理を終了し、処理を図３８のカバークローズ検出処理に戻す。

以上の登録アプリ実行操作検出処理によれば、所定のUIボタンが単にタッチされるだけでなく、タッチされた状態が所定の時間継続した場合に、視覚障害者によって視覚登録アプリの実行操作が行われたと判定される。これにより、視覚障害者によるタッチ操作の誤操作を防止することができる。

なお、上述したような、いわゆる長押し操作の代わりに、ダブルタップ操作が検出された場合に、視覚登録アプリの実行操作が行われたと判定してもよい。この場合でも、視覚障害者によるタッチ操作の誤操作を防止することができる。

＜４．６ 登録アプリ実行操作検出処理の他の例＞

視覚障害者によるタッチ操作の誤操作を防止する登録アプリ実行操作検出処理の他の例について説明する。

図４１は、グリッドモード時の他の表示例を示す図である。

上述した例では、グリッドモードが開始されたとき、前面カバー２４１の小窓２５１の開口領域に表示される３ｘ３の９個の分割領域それぞれに登録アプリが割り当てられていた。次の例では、図４１に示されるように、小窓２５１の開口領域に対応して３ｘ４の１２個の分割領域が形成され、１０個の分割領域には登録アプリが割り当てられているが、残りの２個（例えば、図４１の例では左下隅と右下隅の位置）の分割領域には、「戻る」ボタンと「決定」ボタンが割り当てられている。このように、小窓２５１の開口領域に対して、３ｘ３の９個の分割領域を配置してもよいし、３ｘ４の１２個の分割領域を配置してもよい。

図４２は、グリッドモードのときに図４１に示した表示となる場合の登録アプリ実行操作検出処理のフローチャートを示している。

初めに、ステップＳ２６１において、処理部１６は、グリッドモードで配置した所定のUIボタンがタッチされたかを判定し、所定のUIボタンがタッチされたと判定されるまで待機する。

ステップＳ２６１で、所定のUIボタンがタッチされたと判定された場合、処理はステップＳ２６２に進み、処理部１６は、タッチされたUIボタンが「決定」ボタンであるかを判定する。

ステップＳ２６２で、タッチされたUIボタンが「決定」ボタンではないと判定された場合、処理はステップＳ２６３に進み、処理部１６は、出力部１７の一部であるスピーカを制御して、タッチされたUIボタンに割り当てられた登録アプリを読み上げる。

さらに、ステップＳ２６４において、処理部１６は、タッチされたUIボタンの登録アプリを、起動アプリ候補に登録する。仮に、登録アプリが割り当てられたUIボタンが繰り返しタッチされた場合には、登録された起動アプリ候補が上書きされ、最後にタッチされた登録アプリの情報のみが起動アプリ候補として記憶される。ステップＳ２６４の後、処理はステップＳ２６１に戻される。

一方、ステップＳ２６２で、タッチされたUIボタンが「決定」ボタンであると判定された場合、処理はステップＳ２６５に進み、処理部１６は、起動アプリ候補が登録されているかを判定する。

ステップＳ２６５で、起動アプリ候補が登録されていないと判定された場合、処理はステップＳ２６６に進み、処理部１６は、登録アプリの実行操作無し、と判定して、登録アプリ実行操作検出処理を終了し、処理を図３８のカバークローズ検出処理に戻す。

一方、ステップＳ２６５で、起動アプリ候補が登録されていると判定された場合、処理はステップＳ２６７に進み、処理部１６は、登録アプリの実行操作有り、と判定して、登録アプリ実行操作検出処理を終了し、処理を図３８のカバークローズ検出処理に戻す。図３８のステップＳ２０７では、登録された起動アプリ候補が起動される。

情報処理装置１において、グリッドモードの分割領域の一つに決定ボタンを配置するようにした場合には、以上の登録アプリ実行操作検出処理を実行することによって、視覚障
害者によるタッチ操作の誤操作を防止して、所望の登録アプリを起動させることができる。

＜４．７ 小窓に貼り付けられるシールの他の例＞
図３６に示したスマートフォンカバー２３１では、３ｘ３の９個のUIボタンの配置を視覚障害者が認識するために、前面カバー２４１の小窓２５１の中央部分に、突起２５２を有するシール２５３が貼り付けられていた。

その他に、例えば、図４３に示されるように、小窓２５１の９個の分割領域それぞれに点字シール２８１を貼り付けてもよい。点字シール２８１の点字は、９個の分割領域の位置を表してもよいし、登録アプリの内容を表してもよい。また、透過素材で形成された小窓２５１に直接凹凸の升目を形成して９個の分割領域が認識できるようにしてもよい。

＜４．８ 小窓に割り当てられるUIアプリ配置の他の例＞
図３６に示したスマートフォンカバー２３１では、情報処理装置１は、スマートフォンカバー２３１の小窓２５１の開口領域に対して、３ｘ３の９個のUIアプリを割り当てるようにしたが、図４４に示されるように、２ｘ２の４個のUIアプリを割り当てるようにしてもよい。あるいはまた、その他の任意の個数のUIアプリを割り当ててもよい。

また、スマートフォンカバー２３１ごとに、NFCタグ２５５に記憶されるUI配置情報は異なるようにすることができる。これによって、スマートフォンカバー２３１を付け替えることによって、登録アプリを変えることができる。例えば、仕事用のスマートフォンカバー２３１と、旅行用のスマートフォンカバー２３１とを付け替えることによって、利用頻度の異なるアプリを変えることができる。スマートフォンカバー２３１の識別は、NFCタグ識別情報で行うことができる。

情報処理装置１の処理部１６は、スマートフォンカバー２３１のNFCタグ２５５から取得したUI配置情報に含まれるUIボタン座標情報とUIボタン規定情報のうち、UIボタン規定情報については採用せず、視覚障害者自身が情報処理装置１において設定したUIボタン規定情報を採用してもよい。

即ち、情報処理装置１のユーザである視覚障害者自身が、例えば、９個の各分割領域にどのようなアプリを割り当てるかを情報処理装置１で設定し、処理部１６は、その設定に従って、UIボタンを配置してもよい。換言すれば、スマートフォンカバー２３１のNFCタグ２５５から取得されたUIボタン規定情報は、デフォルトのUIボタン規定情報として取得されるが、ユーザ自身によって設定されたUIボタン規定情報が存在する場合には、そちらが優先的に利用される。

また、処理部１６は、NFC通信部２７２を制御して、情報処理装置１のユーザが設定したUIボタン規定情報を、近接通信によってNFCタグ２５５に送信し、NFCタグ２５５に記憶されているUIボタン規定情報を上書きできるようにしてもよい。

＜５．情報処理装置のハードウェア構成例＞
次に、図４５を参照して、情報処理装置１のハードウェア構成について説明する。

図４５は、情報処理装置１のハードウェア構成例を示すブロック図である。

情報処理装置１は、ＣＰＵ（Central Processing unit）３０１、ＲＯＭ（Read Only Memory）３０３、およびＲＡＭ（Random Access Memory）３０５を含む。また、情報処理装置１は、ホストバス３０７、ブリッジ３０９、外部バス３１１、インターフェー
ス３１３、入力装置３１５、出力装置３１７、ストレージ装置３１９、ドライブ３２１、接続ポート３２３、通信装置３２５を含んでもよい。さらに、情報処理装置１は、撮像装置３３３、およびセンサ３３５を含んでもよい。情報処理装置１は、ＣＰＵ３０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などの処理回路を有してもよい。

ＣＰＵ３０１は、演算処理装置および制御装置として機能し、ＲＯＭ３０３、ＲＡＭ３０５、ストレージ装置３１９、またはリムーバブル記録媒体３２７に記録された各種プログラムに従って、情報処理装置１内の動作全般またはその一部を制御する。ＲＯＭ３０３は、ＣＰＵ３０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ３０５は、ＣＰＵ３０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ３０１、ＲＯＭ３０３、およびＲＡＭ３０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス３０７により相互に接続されている。さらに、ホストバス３０７は、ブリッジ３０９を介して、PCI（Peripheral Component Interconnect/Interface）バスなどの外部バス３１１に接続されている。

入力装置３１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置３１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１の操作に対応した携帯電話などの外部接続機器３２９であってもよい。入力装置３１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ３０１に出力する入力制御回路を含む。ユーザは、この入力装置３１５を操作することによって、情報処理装置１に対して各種のデータを入力したり処理動作を指示したりする。

出力装置３１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置３１７は、例えば、ＬＣＤ（Liquid
Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置３１７は、情報処理装置１の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、または振動などとして出力する。

ストレージ装置３１９は、情報処理装置１の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置３１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置３１９は、例えばＣＰＵ３０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ３２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体３２７のためのリーダライタであり、情報処理装置１に内蔵、あるいは外付けされる。ドライブ３２１は、装着されているリムーバブル記録媒体３２７に記録されている情報を読み出して、ＲＡＭ３０５に出力する。また、ドライブ３２１は、装着されているリムーバブル記録媒体３２７に記録を書き込む。

接続ポート３２３は、機器を情報処理装置１に接続するためのポートである。接続ポート３２３は、例えば、USB（Universal Serial Bus）ポート、IEEE1394ポート、SCSI（Small Computer System Interface）ポートなどでありうる。また、接続ポート３２３は、RS-232Cポート、光オーディオ端子、HDMI（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート３２３に外部接続機器３２９を接続することで、情報処理装置１と外部接続機器３２９との間で各種のデータが交換され
うる。

通信装置３２５は、例えば、通信ネットワーク３３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置３２５は、例えば、LAN（Local Area Network）、Bluetooth（登録商標）、Wi-Fi、またはWUSB（Wireless USB）用の通信カードなどでありうる。また、通信装置３２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置３２５は、例えば、インターネットや他の通信機器との間で、TCP／IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置３２５に接続される通信ネットワーク３３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などを含みうる。

撮像装置３３３は、例えば、CMOS（Complementary Metal Oxide Semiconductor）センサまたはCCD（Charge Coupled Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置３３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ３３５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ（マイクロホン）などの各種のセンサである。センサ３３５は、例えば情報処理装置１の筐体の姿勢など、情報処理装置１自体の状態に関する情報や、情報処理装置１の周辺の明るさや騒音など、情報処理装置１の周辺環境に関する情報を取得する。また、センサ３３５は、GPS（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するGPS受信機を含んでもよい。

以上、情報処理装置１のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

本開示の実施形態は、例えば、上記で説明したような情報処理装置、システム（視覚障害者歩行支援システム）、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用するこ
とができる。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
視覚を用いずに行動する者が歩く方向を決定する方向決定部と、
決定された方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成する第１のガイド情報生成部と
を備える情報処理装置。
（２）
前記方向決定部は、予め記憶されているリファレンス画像と、現時点で撮影された静止画像とをマッチングしたマッチング結果に基づいて、前記視覚を用いずに行動する者が歩く方向を決定する
前記（１）に記載の情報処理装置。
（３）
前記方向決定部は、前記リファレンス画像の特徴点と対応する特徴点を前記静止画像から抽出し、対応する特徴点どうしをマッチングしたマッチング結果に基づいて、前記視覚を用いずに行動する者が歩く方向を決定する
前記（２）に記載の情報処理装置。
（４）
前記方向決定部は、対応する特徴点どうしをマッチングする前記静止画像の領域を、前記静止画像に映る信号の色で変化させる
前記（３）に記載の情報処理装置。
（５）
前記方向決定部は、前記静止画像を二値化してから、前記リファレンス画像と前記静止画像とをマッチングする
前記（２）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記方向決定部は、前記静止画像内の方位と、前記静止画像を撮影したときの撮影部の方位との演算により、前記視覚を用いずに行動する者が向いている方向を推定して、前記視覚を用いずに行動する者が歩く方向を決定する
前記（２）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記方向決定部は、複数の前記静止画像それぞれで推定された方向情報を統合して、前記視覚を用いずに行動する者が向いている方向を推定して、前記視覚を用いずに行動する者が歩く方向を決定する
前記（２）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記方向決定部は、複数の前記静止画像それぞれで推定された方向を重み付け平均化して、前記視覚を用いずに行動する者が向いている方向を推定して、前記視覚を用いずに行動する者が歩く方向を決定する
前記（７）に記載の情報処理装置。
（９）
前記リファレンス画像を登録する登録部をさらに備える
前記（２）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記第１のガイド情報生成部は、歩行者自律航法に基づいて、前記決定された方向からのずれ量を演算する演算部を有し、
前記演算部は、前記決定された方向からの横方向のずれ量と、前記決定された方向に対する体の向きのずれを算出する
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記方向決定部は、横断歩道の手前で、前記視覚を用いずに行動する者が歩く方向を決定し、
前記第１のガイド情報生成部は、横断歩道を歩行中に、決定された方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成する
前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
生成した前記ガイド情報を出力する出力部をさらに備え、
前記ガイド情報は、音声メッセージまたは電子音である
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記視覚を用いずに行動する者が歩く通過点に関するガイド情報を生成する第２のガイド情報生成部をさらに備える
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記第２のガイド情報生成部は、現在地に近い通過点に対応づけて記憶されている音声を、前記通過点に関するガイド情報として生成する
前記（１３）に記載の情報処理装置。
（１５）
前記視覚を用いずに行動する者と、その者を追尾する無人航空機との位置関係を認識し、前記視覚を用いずに行動する者を正しい位置へガイドするガイド情報を生成する第３のガイド情報生成部をさらに備える
前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
無人航空機が撮影した画像と、前記視覚を用いずに行動する者の現在地を撮影した現在地画像とを比較して、前記視覚を用いずに行動する者を正しい位置へガイドするガイド情報を生成する第３のガイド情報生成部をさらに備える
前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１７）
前記情報処理装置は、スマートフォンであり、
スマートフォンカバーが閉じられたかどうかを検出する検出部と、
前記スマートフォンカバーが閉じられた場合に、ディスプレイの表示を切り替える表示制御部と
をさらに備える
前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記スマートフォンカバーと近接通信を行う近接通信部をさらに備え、

前記表示制御部は、前記スマートフォンカバーが閉じられた場合に、近接通信により取得した情報に基づいて、ディスプレイの表示を切り替える
前記（１７）に記載の情報処理装置。
（１９）
情報処理装置が、
視覚を用いずに行動する者が歩く方向を決定し、
決定した方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成する
ステップを含む情報処理方法。
（２０）
コンピュータを、
視覚を用いずに行動する者が歩く方向を決定する方向決定部と、
決定した方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成するガイド情報生成部
として機能させるためのプログラム。

１ 情報処理装置， １１ カメラ， １２ 方向センサ， １３ GPSセンサ， １４ 操作部， １５ 記憶部， １６ 処理部， １７ 出力部， ５１ Ref画像登録部， ６１ 方向決定部， ６２ ガイド情報生成部， ６３ PDR演算部， １２１
マイクロホン， １４１ 音声登録部， １４２ 通過点通知部， １９１ 近距離無線通信部， ２１１ Ref画像登録部， ２１２ ガイド情報生成部， ２３１ スマートフォンカバー， ２４１ 前面カバー， ２５４ 磁石， ２５５ NFCタグ， ２７１ 磁力検出部， ２７２ NFC通信部， ３０１ CPU， ３０３ ROM， ３０５ RAM， ３１５ 入力装置， ３１７ 出力装置， ３１９ ストレージ装置， ３３３ 撮像装置， ３３５ センサ

Claims (17)

1. 現時点で撮影された静止画像における、対応する特徴点どうしをマッチングする領域を、前記静止画像に映る信号の色に基づいて変化させ、
   予め記憶されているリファレンス画像の特徴点と対応する特徴点を前記静止画像から抽出し、対応する特徴点どうしをマッチングしたマッチング結果に基づいて、視覚を用いずに行動する者が歩く方向を決定する方向決定部と、
   決定された方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成する第１のガイド情報生成部と
   を備える情報処理装置。
2. 前記方向決定部は、前記静止画像を二値化してから、前記リファレンス画像と前記静止画像とをマッチングする
   請求項１に記載の情報処理装置。
3. 前記方向決定部は、前記静止画像内の方位と、前記静止画像を撮影したときの撮影部の方位との演算により、前記視覚を用いずに行動する者が向いている方向を推定して、前記視覚を用いずに行動する者が歩く方向を決定する
   請求項１に記載の情報処理装置。
4. 前記方向決定部は、複数の前記静止画像それぞれで推定された方向情報を統合して、前記視覚を用いずに行動する者が向いている方向を推定して、前記視覚を用いずに行動する者が歩く方向を決定する
   請求項１に記載の情報処理装置。
5. 前記方向決定部は、複数の前記静止画像それぞれで推定された方向を重み付け平均化して、前記視覚を用いずに行動する者が向いている方向を推定して、前記視覚を用いずに行動する者が歩く方向を決定する
   請求項４に記載の情報処理装置。
6. 前記リファレンス画像を登録する登録部をさらに備える
   請求項１に記載の情報処理装置。
7. 前記第１のガイド情報生成部は、歩行者自律航法に基づいて、前記決定された方向からのずれ量を演算する演算部を有し、
   前記演算部は、前記決定された方向からの横方向のずれ量と、前記決定された方向に対する体の向きのずれを算出する
   請求項１に記載の情報処理装置。
8. 前記方向決定部は、横断歩道の手前で、前記視覚を用いずに行動する者が歩く方向を決定し、
   前記第１のガイド情報生成部は、横断歩道を歩行中に、決定された方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成する
   請求項１に記載の情報処理装置。
9. 生成した前記ガイド情報を出力する出力部をさらに備え、
   前記ガイド情報は、音声メッセージまたは電子音である
   請求項１に記載の情報処理装置。
10. 前記視覚を用いずに行動する者が歩く通過点に関するガイド情報を生成する第２のガイド情報生成部をさらに備える
    請求項１に記載の情報処理装置。
11. 前記第２のガイド情報生成部は、現在地に近い通過点に対応づけて記憶されている音声を、前記通過点に関するガイド情報として生成する
    請求項１０に記載の情報処理装置。
12. 前記視覚を用いずに行動する者と、その者を追尾する無人航空機との位置関係を認識し、前記視覚を用いずに行動する者を正しい位置へガイドするガイド情報を生成する第３のガイド情報生成部をさらに備える
    請求項１に記載の情報処理装置。
13. 無人航空機が撮影した画像と、前記視覚を用いずに行動する者の現在地を撮影した現在地画像とを比較して、前記視覚を用いずに行動する者を正しい位置へガイドするガイド情報を生成する第３のガイド情報生成部をさらに備える
    請求項１に記載の情報処理装置。
14. 前記情報処理装置は、スマートフォンであり、
    スマートフォンカバーが閉じられたかどうかを検出する検出部と、
    前記スマートフォンカバーが閉じられた場合に、ディスプレイの表示を切り替える表示制御部と
    をさらに備える
    請求項１に記載の情報処理装置。
15. 前記スマートフォンカバーと近接通信を行う近接通信部をさらに備え、
    前記表示制御部は、前記スマートフォンカバーが閉じられた場合に、近接通信により取得した情報に基づいて、ディスプレイの表示を切り替える
    請求項１４に記載の情報処理装置。
16. 情報処理装置が、
    現時点で撮影された静止画像における、対応する特徴点どうしをマッチングする領域を、前記静止画像に映る信号の色に基づいて変化させ、
    予め記憶されているリファレンス画像の特徴点と対応する特徴点を前記静止画像から抽出し、対応する特徴点どうしをマッチングしたマッチング結果に基づいて、視覚を用いずに行動する者が歩く方向を決定し、
    決定した方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成する
    ステップを含む情報処理方法。
17. コンピュータを、
    現時点で撮影された静止画像における、対応する特徴点どうしをマッチングする領域を、前記静止画像に映る信号の色に基づいて変化させ、
    予め記憶されているリファレンス画像の特徴点と対応する特徴点を前記静止画像から抽出し、対応する特徴点どうしをマッチングしたマッチング結果に基づいて、視覚を用いずに行動する者が歩く方向を決定する方向決定部と、
    決定した方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成するガイド情報生成部
    として機能させるためのプログラム。

Images