JP2006105640A - ナビゲーション装置 - Google Patents

Abstract

【課題】
従来のカーナビゲーション技術では、カメラ付き端末で撮影した実写画像とＣＧ画像とが一致しなかった。
【解決手段】
ＧＰＳ等による位置検知手段に加え、加速度センサや磁気センサなどの姿勢検知手段と、地理情報データベースを備え、更にカメラとカメラの姿勢検知手段を備える。位置検知手段及び姿勢検知手段からの信号に基づき地理情報データベースの情報から、利用者がカメラを向けている現実世界に即した経路案内のＣＧ画像を作成するＣＧ生成手段を備え、カメラで撮影している入力画像と作成したＣＧ画像との正確な重ね合わせを実現する。
【効果】
携帯型のカメラ付き情報機器端末において、カメラで撮影した実写画像とＣＧ画像とを組み合わせた、直感的に分かり易いナビゲーションシステムの実現を可能とする。
【選択図】図１２

Description

本発明は、ナビゲーションシステムに係り、特に携帯端末を用いて歩行者の経路誘導を行うシステムに関する。

直感的に分かり易いナビゲーションシステムを実現するため、任意の視点から３次元地図を眺めたときに得られる投影図を表示画面に表示する３次元地図表示のナビゲーション技術がある。そのような技術は、たとえば、特開２００３−２３２６３９号公報で開示されている。３次元地図表示のナビゲーション装置を実現した場合、視点位置によっては、注目すべき地図構成物が他の地図構成物に隠れて表示されなくなることがある。このため、現在地や目的地、あるいは現在地と目的地とを結ぶ経路等、ユーザが知りたい情報が表示画面に表示されなくなることがあるという問題がある。前記公報では、公報で開示の技術により、地図構成物に隠れる位置にある情報を表示画面に表示することができる３次元地図表示を実現した地図表示装置及びナビゲーション装置を提供することを目的としている。

また、直感的に分かり易いナビゲーションシステムを実現する別の方法として、実写画像とナビゲーションのためのＣＧ画像とを重ね合わせ表示する複合現実感(Mixed Reality）と呼ばれる技術がある。

さらに、特開平１１−１０８６８４号公報で開示された技術は、自動車のノーズ等に取り付けた撮像カメラで進行方向の景色を撮像し、この背景画像に対して画像合成部によりナビゲーション情報要素を重ね合せて表示するというものである。これにより、グラフィックの表示だけに頼るより、運転者等は自動車の現在位置や進行経路等をより感覚的に把握できるようになることを狙っている。

特開２００３−２３２６３９号公報 特開平１１−１０８６８４号公報

本発明は、直感的に分かり易いナビゲーションシステムを提供することを目的としている。ナビゲーションの例として歩行者について考えると、歩行者に直感的に分かり易いナビゲーションを提供するためには、歩行者が見るであろう現実世界の画像とナビゲーション画像との対応が直感的に取りやすければよいと考えられる。このため、本発明では、単に地理情報データベースにアクセスできるだけでなく、端末（スクリーン）の姿勢を検知し、端末がどのような姿勢にあろうとも、端末のスクリーンには歩行者が見るであろう現実世界に即したナビゲーション画像を表示することが必要である。

また、より直感的な案内を行うために、現実世界に即したＣＧを生成だけではなく、現実世界そのものの映像（実写画像）をカメラにより得て、この実写画像上に経路などのナビゲーションのためのＣＧ画像を重ね合わせて表示する。この場合、カメラ付きの携帯端末は、歩行者の手に持って操作されることから、実写画像とＣＧ画像とを正確に重ね合わせるためには、カメラ姿勢やスクリーンの姿勢の検知が重要となる。しかしながら、特開２００３−２３２６３９号公報で開示の技術では、表示画面をすべてＣＧ画像で表現しており、カメラ姿勢の検知が不要であった。また特開平１１−１０８６８４号公報の技術を携帯型のナビゲーション端末に適用した場合、位置検知は行っているがカメラの姿勢検知を行っていないため、携帯型のカメラ付き端末で撮影した実写画像とＣＧ画像とがずれてしまうという問題がある。

一方、従来知られている拡張現実感技術によっては、地理情報データベースへの利用は必ずしも十分ではなく、ナビゲーションという領域においては、拡張現実感技術が十分応用されてきたとはいい難い。

本発明では、携帯情報端末を用いたナビゲーションシステムにおいて、地理情報データベースにアクセスし、携帯情報端末の姿勢を検知し、それらの情報を利用して端末利用者が実際に目にしている風景に即した案内のためのＣＧ画像を生成することを目的とする。また、カメラ付きの携帯情報端末において、地理情報データベースにアクセスし、携帯情報端末及びカメラの姿勢を検知し、実写画像と案内のためのＣＧ画像とを正確に重ね合わせ表示することにより、直感的に分かり易いナビゲーションを実現することを目的とする。

本発明では、課題を解決するため、従来の位置検知手段に加え、姿勢検知手段と、地理情報データベースアクセス手段を備えており、利用者が見ている現実世界に即した経路案内のＣＧ生成手段を備えている。更にカメラとカメラの姿勢検知手段を備えており、利用者が向けている現実世界とカメラで撮影している入力画像とＣＧ画像との正確な重ね合わせを実現している。

本発明の技術により、携帯型のカメラ付き情報機器端末であっても、カメラで撮影した実写画像とＣＧ画像との自然な重ね合わせを実現するとともに、地理情報データベースを活用することにより、直感的に分かり易いナビゲーションシステムの実現を可能とする。

本発明を用いたナビゲーションシステムの実施の形態を、図面を参照して説明する。

図１は本発明を用いたナビゲーション装置の全体構成を表す図である。本ナビゲーション装置は、姿勢検知手段１０２０４により端末の姿勢を検知し、その検知量をもとにナビゲーション装置に設けられたスクリーンに垂直な視線ベクトルを算出する視線ベクトル算出手段１０２０５と、表示対象量の検出手段１０２０１及びその検出量を表示するための表示対象の提示用形状及び姿勢を求める提示用形状姿勢生成手段１０２０２，提示用形状姿勢生成手段１０２０２により生成された形状を１０２０５で算出した視線ベクトルを用いて表示画像を表示する表示画像生成手段１０２０３により構成される。

次に、図１の動きを、図２の本発明を用いたナビゲーション装置として用いる端末の外観図、図３の端末の姿勢検知手段の動作例、及び、図４の視線と表示対象量の関係を示す図を用いて説明する。表示対象量として本実施形態では磁北を示すベクトル（水平面に平行な磁北を示すベクトル、例えば１０００７のように方位磁石が指し示すベクトルである）を、端末の姿勢を様々に変化させた場合に、端末１０００５に取り付けられた表示用の画面（スクリーン）１０００３を覗き窓として方位磁石１０００７を可視化したような表示を行う例を説明する。

本実施例における端末１０００５はアプリケーションプログラムが動作する携帯電話の外観を示しているが、ＰＤＡや表示画面が付いた腕時計など、形状を表示可能なスクリーン１０００３とアプリケーションプログラムが動作する端末であればどのような形態でもかまわない。

端末１０００５には姿勢を検知する姿勢検知手段１０２０４が内蔵されている。この姿勢検知手段１０２０４を使いスクリーンの姿勢を検知する。姿勢検知の一例を図３を用いて説明する。姿勢検知手段１０２０４は、加速度センサと磁気センサを備えており、スクリーン１０００３に取り付けられているものとする。重力ベクトル１０３０４は例えば３軸の加速度センサを用いて求める。重力加速度は静止状態であれば１Ｇであり、水平面
１０３０３に垂直な成分となっている。スクリーン１０００３が傾斜することにより、各加速度センサからは、重力ベクトル１０３０４と各々の加速度センサのなす角に比例した出力量が出力される。従って、各センサの成分量からスクリーン１０００３が受けている重力ベクトル１０３０４を求める事が出来る。つまり、この重力ベクトルの成分は、スクリーン１０００３の傾きを示している。

次に、スクリーン１０００３の向いている方向を決定するために地磁気ベクトルを利用する。地磁気ベクトル１０３０２は、磁北ベクトル（１０３０６）方向に向かって伏角
（１０３０５）で水平面１０３０３に向いている。地磁気ベクトル１０３０２は３軸の磁気センサを用いて観測することが出来る。

従って、先ほどの重力ベクトル１０３０４と地磁気ベクトル１０３０２を用いることにより、スクリーン１０００３の傾きと向いている絶対方位を検知する事が出来るので、スクリーン１０００３の絶対姿勢（傾きと方位）を検知することが出来る。スクリーン
１０００３の姿勢が検知できればこのスクリーンに垂直な視線ベクトル１０００２を求める事ができる。この演算はスクリーンに垂直な視線ベクトル算出手段１０２０５を用いて行う。

次に、表示対象量の検出手段１０２０１について説明する。本実施例では表示対象量として磁北ベクトルを例に取っているため、表示対象量の検出手段１０２０１では磁気センサの出力を用いる。この磁気センサの出力はスクリーン１０００３の姿勢を検知した磁気センサの出力をそのまま利用する事ができる。図３で磁北ベクトル１０３０６は、水平面１０３０３に地磁気ベクトル１０３０２を投影することにより求める事が出来る。この投影計算は表示対象の提示用形状とその姿勢を求める提示用形状姿勢生成手段１０２０２で行う。ここで言う提示用形状とは、磁北ベクトルの指し示す方向を分かり易く表示する形状の事であり、図２では三角錐１０００８をその形状としている。また提示用形状の姿勢とは磁北ベクトルの方向であり、上記投影手法により求める事ができる。無論、提示用形状として三角錐以外の例えば矢印や人の指し示す指などを用いてもかまわない。これらの提示用形状を地磁気ベクトル１０３０２と同じ方向にスクリーン上で座標変換する。

視線ベクトル１０００２と表示対象量１０００８の姿勢をもとにスクリーン１０００３に表示させる手法については、図４を用いて説明する。表示対象量１０００８などを配置する際のワールド座標系１０４０１と、表示対象量１０００８などを表示する際のスクリーン座標系１０００４がある。視点位置は、スクリーン座標系１０００４でスクリーンに垂直で原点を通る視線ベクトル１０００２上にあり、注視点はワールド座標系１０４０１における表示対象量１０００８の位置とする。従って、表示対象量１０００８の位置をスクリーン座標系１０００４に対する視点位置からの透視変換する事により、表示対象量
１０００８のスクリーン１０００３における提示用形状が求まり、スクリーン１０００３の姿勢を変化させることにより、表示対象量１０００８の提示用形状の表示が変化する。

図５にその表示の一例と視点の位置を示す。視線１０５０６はスクリーン１０００３に対して垂直方向が東を向いた状態である。この場合、表示対象量１０００８は左を指しているように表示され、北がスクリーン１０００３に対して左側である事を示す。視線
１０５０５は、スクリーン１０００３を垂直に立て、ほぼ北北東の方向を向けた状態である。この場合、表示対象量１０００８は僅かに左側を向いており、北がスクリーン10003に対して僅かに左の方向であることを示している。視線１０５０４は、スクリーン10003を地面に並行（真上から見る）にして覗いている状態である。この場合は真上から見た時の北の方向表示される。このように、様々な姿勢でも表示対象量１０００８（地磁気ベクトル１０３０２）を直接可視化することが出来るので、直感的に表示対象量１０００８の指し示す方向を理解する事が出来る。

なお、本実施形態では表示対象量１０００８として地磁気ベクトル１０３０２を描画する例を説明したが、表示対象量１０００８として水平面１０３０３の傾きを表す事も可能であるし、地磁気ベクトル１０３０２を表す事も可能である。その他、その位置における場の状態を表現する手段として本実施形態は適用できる。

次に、地理情報データベース１７００１と端末の位置検知手段１７００３を用いて、現在位置を基準として地理情報及び表示対象量１０００８を表示する方法について説明する。図１の端末の位置検知手段１７００３は、例えばＧＰＳや無線ＬＡＮの基地局情報，携帯電話の基地局情報，地面や壁・物などに取り付けられたＲＦＩＤの情報などを用いて位置を検知する。ここで検知する位置情報は、経度・緯度・高さで表す地理座標の値やＸ，Ｙ，Ｚで表す３次元直交座標系でもかまわない。高さに関しては、楕円体高・標高・フロアーの階数などの値でもかまわない。高さの観測には位置検出手段と併用して高度計などを利用してもかまわない。図１に示す構成だけでは表示対象量１０００８の場の状態だけを検知していたが、位置検知手段１７００３で位置情報を検知することにより、端末が地理上の何処の位置に存在するかが判るようになる。

地理情報データベース１７００１には、道路データや建物データ、店舗の位置や営業時間など地理情報に関する様々なデータが格納されている。このデータを可視化出来るように形状データに変換するのが描画用地理データ生成手段１７００２である。位置検知手段１７００３の情報をもとに描画用地理データ生成手段１７００２で周囲の地理情報を形状データに変換しで描画すると、図６に示すように端末の位置１０７０３を中心にスクリーン１０００３の上端を北にして周囲の地理情報１０７０２を描画することが出来る。また、図２で説明した手法により、表示対象量（この例では磁北ベクトル）を３次元的に可視化した形状１０７０１を重ねて表示することが出来る。この磁北ベクトルを示す形状
１０７０１は、スクリーン１０００３の傾斜に応じて覗き窓から見るように可視化した画像であり、端末の位置１０７０３の情報と磁北ベクトル１０７０１の状況を３次元的に可視化することにより直感的に端末の位置と磁北ベクトルの状況を理解出来る特徴がある。

また、地理情報１０７０２の画面に対する表示方向は固定（北が上）であったが、視線ベクトル算出手段１０２０５によりスクリーン１０００３に垂直な視線方向を検知することにより、スクリーン１０００３に垂直な視線方向が向いている方位が上になるように地図を端末の位置１０７０３を中心に回転して表示する事も可能である。この場合、自分の向いている方向を上とした地理情報を描画することが出来るために更に直感的に理解出来る地理情報を提示する事が可能になる。

図７（ａ）は、図１３における水平面１０３０３と同じ位置に地理情報の画像を配置して描画した例である。水平面の状態は視線ベクトル算出手段１０２０５で視線ベクトル
１０００２を演算する際に算出されるスクリーン１０００３に対する水平面の位置関係を利用して検知する。この水平面に描画用地理データ生成手段１７００２で生成した描画用地理データを重ね合わせることにより、スクリーン１０００３から覗いた時に見える地理情報（実世界と等価）を画面上に生成することが出来る。図７（ａ）はスクリーン10003を垂直にして覗いた状態を現す画面である。地理情報１０８０１が遠近法で描かれて奥行きとして知覚することができる。図７（ｂ）は図７（ａ）のスクリーン１０００３を右方向に回転した例である。回転に応じて水平面の位置も変化し、現実世界の水平面と平行になるように地理情報１０８０１は描かれる。図７（ｃ）はさらにスクリーン１０００３を回転して真横にした状態である。この状態でも地理情報１０８０１は現実世界の水平面と同じ位置関係に描画される。

また、視点方向を回転した場合(例えば、北から西に見る方角を買えた場合)には水平面も１１００３の回転軸で回転するので方角を変えても現実世界との対応関係は崩れない。さらに、スクリーンを地面と平行にして地面方向を覗くような動作を行った場合であっても水平面は追従するので真上から覗いた映像、例えば図６の描画画像１０７０２のように真上から覗いた地理情報の映像を生成することが出来る。従って、スクリーン１０００３をいかなる方向に回転しても現実世界と対応が取れた地理情報を提供できるために直感的に理解し易い地理情報の提供が可能になる。

また、姿勢検知手段によって、スクリーンに垂直なベクトルと重力ベクトルとが成す角が、ある一定角度以下（例えば１０度以下）であることを検出した場合に、図６の様な２次元的な地図を表示し、そうでない場合には図７のような３次元的な地図を表示するということも可能である。この場合、図６のような地図を描画するためには、端末の位置検出手段において視点の高さを実際よりも高くし（例えば高度１００ｍなど）、スクリーンに垂直な視線ベクトルの算出手段において、視線ベクトルを重力ベクトルに一致するとすればよい。

情報提供手段として画像情報以外に音声を併用したり、あるいは単独で音声を利用して提示するために、発話文生成手段１１３０１，発話音声生成手段１１３０２を用いる。発話文生成手段１１３０１は、提示用形状姿勢生成手段１０２０２及び視線ベクトル算出手段１０２０５より導かれるスクリーンと表示対象量の関係（図６における表示対象量を３次元的に可視化した形状１０７０１）を発話文に変換する。例えば、スクリーンが図６のような姿勢で表示対象量が１０７０１のように向いている場合には「画面の左上の奥行き方向が北を指しています」などと発話文を生成する。作られた発話文は発話音声生成手段１１３０２を用いて音声信号に変換され、スピーカやイヤフォンを介して音として出力される。

また、表示対象量ではなくスクリーン１０００３の姿勢に応じて、そこに表示されている地理情報を地理情報データベース１７００１と視線ベクトルの関係により、発話文生成手段１１３０１で発話文を生成することも可能である。例えば、図６に表示されているような画像が表示された場合、「右にあるビルは○△ビルです。左のビルは□×ビルです。」のような発話文が１１３０１で生成され１１３０２を用いて音声として出力される。なお、前記実施例では、スクリーンに垂直な視線ベクトルを基準にしたが、端末の特定の方向を指すベクトル、例えば携帯電話であればアンテナの指し示す方向を基準にして音声を発話させてもかまわない。この場合、アンテナの指し示す方向のビルの名前や山の名前などを画面を見ないで音声だけで案内することが可能になる。

これまで姿勢検知手段１０２０４及び表示対象の検出手段１０２０１は端末に内蔵する事を前提に説明したが、外部にアタッチメント形式で取り付けられるようにしてもかまわない。この場合、スクリーンの姿勢とアタッチメントの姿勢や取り付け位置関係を定義することによって同様の構成で実現可能である。

次に、表示対象（目標対象物）が端末自体では検出できず通信回線を利用して表示目標対象の情報を取得して表示する実施形態を図８を用いて説明する。この実施例の変形では、目標対象物の位置姿勢検知手段１１４０４，通信手段１１４０２，１１４０３，目標対象物の位置姿勢検知手段１１４０４は検出手段１０２０１と同様に目標物の位置や姿勢・状態を検知するセンサである。このセンサを用いて目標物の位置情報（高さも含む）や姿勢などを検知した情報を、通信手段１１４０２，１１４０３を介して目標対象物の形状姿勢生成手段１１４０１へ送る。目標対象物の形状姿勢生成手段１１４０１では、目標対象物の位置姿勢検知手段１１４０４で検知した量を図形表示するための変換を行い、端末
（スクリーン１０００３）の姿勢を考慮して１０２０３の表示画像の生成方法で描画される。

例えば目標対象物として路線バスを採用した場合、目標対象物の位置姿勢検知手段
１１４０４ではバスの現在位置を検知する。バスの現在位置は例えばＧＰＳなどを用いて検出可能である。この現在位置情報を通信手段１１４０３，１１４０２を介して端末
１０００５へ送信する。端末１０００５の位置は端末の位置検知手段１７００３で検知し、スクリーンの姿勢は１０２０５で検知できるので、端末のスクリーン１０００３をバスが走行している方向に向ければ、図９に示すようにバスの現在位置１１５０１が３次元的に把握できる。１１５０２はバスのＩＤ情報などをもとに行き先を表示している。スクリーン１０００３の姿勢を検知しているので端末をどのような姿勢にしても、そのスクリーンの視界に入っていればバスの位置と方向を把握できる。図９では目標対象物としてバスを表示したが、目標対象物として待ち合わせをしている人を描画する場合でも同様の手法で実現できる。これにより待ち合わせの人が今どちらの方向に居て、どの程度離れているかを直感的に把握できる。

実施例１では、ナビゲーション端末の利用者が目にしている現実世界をＣＧにより生成して経路の案内を行っていた。本実施例では、ナビゲーション端末の利用者が目にしている現実世界を、端末に付属するカメラにより撮影し、それと経路案内のＣＧを重ね合わせて経路誘導を行う。

図１０はカメラ付きの携帯端末の例として携帯電話を示した図である。携帯電話20105にはカメラ２０００９が内蔵または接続されており、撮影された画像はスクリーン10003に表示される。カメラの撮影する方向のベクトル（視線ベクトル）２００１０とスクリーンに垂直なベクトル２００１１の関係は予め判っているものとする。携帯電話２０１０５には姿勢を検知する姿勢検知手段１０２０４が内蔵されている。この姿勢検知手段10204を使いスクリーンの姿勢を検知する。図１０では、カメラがスクリーンの上部に取り付けられているものとしているが、カメラの撮影方向はスクリーンを覗き込む端末利用者の視線と同じ方向を向いている。

カメラの取り付け方の別な例として、カメラの向きを変更できるものが考えられる。そのような構成例を図１１に示す。図１１は、カメラが回転可能な取り付けをされている例である。この図では、カメラ２０００９は、端末の折りたたみ蝶番部分に取り付けられており、折りたたみ部を軸として回転角変更できるようになっている。ここでカメラの回転角２００１４は、図１１におけるスクリーンに垂直なベクトル２００１１を基準としてみたカメラの視線ベクトル２００１２の回転角θであると定義する。ここで、カメラの視線ベクトルとはカメラのレンズの光軸方向に平行で、レンズの全面に向いたベクトルを意味する。本端末はこのθを計測することが可能となっており、端末利用者が手でカメラを回した場合においても、スクリーンとカメラの視線ベクトルの関係が計測できるようになっている。

次に図１２を用いてナビゲーションシステムの動作について説明する。図１２のシステムでは、実施例１の図１のシステムに加えて、カメラ視線ベクトル算出手段２７００４，カメラ画像入力手段２７００５，表示画像合成手段２７００６，カメラ回転角取得手段
２７００７，経路探索手段２７００８、を備えている。また図１の描画用地理データ生成手段１７００２に代わって、描画用地理・経路データ生成手段２７００９を備えている。

カメラ回転角取得手段２７００７は、携帯端末上のカメラの回転角を得て、その情報をカメラの視線ベクトル算出手段２７００４に伝える。ここでカメラの回転角とは、図１１におけるベクトル２００１１を基準としてみたカメラの視線ベクトル２００１２の回転角θ２００１４である。図１０のようにカメラと携帯端末の姿勢との関係が一定の場合には、カメラ回転角取得手段２７００７は回転角０度を出力し続けるものとする。カメラ視線ベクトル算出手段２７００４は、カメラの回転角の情報を受け取るとともに、カメラの画角及びレンズの歪みの情報を視線ベクトル算出手段２７００４内にデータベースとして保持しており、ＣＧを投影する時に必要な画角，レンズの歪み等のカメラパラメータを表示画像生成手段１０２０３に出力する。

カメラ画像入力手段２７００５は、携帯端末に付属するカメラからの画像を連続して取得し、また、表示画像合成手段２７００６に連続的に（ストリーミングで）出力する。表示画像合成手段２７００６は、表示画像生成手段１０２０３からナビゲーションのためのＣＧ画像を受け取り、カメラ画像入力手段２７００５から受け取ったカメラからの入力画像にＣＧの画像を重ね合わせ処理して、携帯端末のスクリーン上に表示する。

経路探索手段２７００８には、歩行者が予め設定する出発地点，目的地，経由地，交通手段(バス，電車，飛行機，船等)の情報が保持されており、また、それらの情報をもとに、地理情報データベース１７００１にアクセスを行うことで歩行者の誘導経路の探索を行い、探索した結果は経路探索手段２７００８内に保持する。また経路探索手段２７００８は、描画用地理・経路データ生成手段２７００９の要求に応じて、予め探索してある案内経路を三次元座標のデータ列として出力する。

描画用地理・経路データ生成手段２７００９は、地理情報データベース１７００１に格納されている道路データや建物データ，店舗の位置データなどの地理情報を可視化するとともに、経路探索手段２７００８が出力する３次元座標のデータ列をもとに案内経路を３次元的なＣＧとして表現する。またその際、カメラ視線ベクトル算出手段２７００４からカメラの画角やレンズの歪みなどカメラパラメータの情報を受け取り、そのパラメータ情報をもとにカメラ画像に一致するＣＧ画像を生成する。また表示対象の提示用形状姿勢生成手段２７０１０でも、カメラ視線ベクトル算出手段２７００４からカメラの画角やレンズの歪みなどカメラパラメータの情報を受け取り、そのパラメータ情報をもとに、カメラ画像に一致するような表示対象量のＣＧ画像を生成する。

図１３は、本発明を用いたナビゲーションシステムによる経路案内の例を示すための地図である。地理情報データベース１７００１には、道路(車道)２０４１２，２０４２６や、歩道２０４０５，２０４１３，２０４２４といった道路データの他、歩道橋２０４０７，横断歩道２０４１１，陸橋２０４１８，線路２０４０１，駅２０４０２，ランドマークとなるような建物２０４１４，２０４２１等の施設情報や地形の三次元形状情報（緯度経度に沿って等間隔のメッシュに分割された領域の高度情報または路側の高度情報など）および交通標識の設置情報（設置位置と標識種別または表示内容）が格納されている。案内経路２０４２３は経路探索手段２７００８より探索された歩行者の誘導経路を表している。また、視点２０４２５，２０４９４，２０４９５はそれぞれ図１４，図１５，図１６の視点位置と端末の方向（視線の方向）を表している。そして視点２０４２５における視野は、見える範囲の左端２０４０８，見える範囲の右端２０４１７，視野の最も遠方の位置を示す円弧２０４２０で表されている。

図１４は本実施例における経路誘導のための経路表示画面である。図１３における視点２０４２５で示された経路誘導が開始される地点において、歩行者は現在歩道に立っており、携帯電話２０１０５を手に持っているものとする。携帯電話の表示装置には、カメラ画像入力手段２７００５から入力される携帯電話のカメラで撮影されている風景画像が映っており、歩行者が手を動かすとその動きに従って表示装置に写っている風景画像も動く。本実施例では画面の更新周期は１００ミリ秒とする。図１０に示すカメラ付き携帯電話２０１０５を使うと、ディスプレイに対して反対方向を向いたカメラを使うことにより、ディスプレイ上に今利用者が見ている現実世界と同じ映像をディスプレイ上に写し出すことが出来る。

図１４に示す経路表示画面では、本発明を用いたナビゲーションシステムの経路表示が行われており、携帯電話２０１０５のメインディスプレイ２０５１１には、歩道20107，車道２０４２６の他、交通標識２０１０２，陸橋２０４１８等の施設情報や、山20104や土手２０１１０，林２０１０１といった携帯電話２０１０５のカメラにより撮影された画像が表示され、表示画像合成手段２７００６により、写っているカメラからの映像の上部には日付及び時刻表示２０３０１，目的地までの到達予想時間２０５０１，経由ポイントまでの到達予想時間２０５０２が合成されて表示されている。また表示画像合成手段
２７００６によりカメラにより撮影されている画像に重ねて、案内経路（誘導経路）
２０４２３を表す矢印，視野に無い建物２０４１４の輪郭を表す表示，交差点２０５０８を示す表示，横断歩道２０４１１を示す点線２０５１２が描画される。また案内経路
２０４２３についても、視野の範囲外となる部分、および地形の三次元形状情報に基づき視点位置から見て陰面となる範囲を通過する部分については点線で描画される。

案内経路２０４２３を表す矢印の描画においては、矢印の先端の間隔が一定の歩行距離を表していて、本実施例では１分とする。視野に入っている案内経路２０４２３の一部は実線３本で表現されている。案内経路２０４２３は、歩行者の位置に近い部分から遠方にいくにつれて、その３本の間隔を狭く表示して奥行きを表現している。これは表示画像生成手段１０２０３における表示変換処理（透視変換処理）により行われる。交差点を示す表示２０５０８は視野外にあるＴ字路の案内経路２０４２３における誘導交差点の輪郭を線画で表している。また点線２０５１２は視野外にある誘導交差点に設けられた横断歩道２０４１１の存在を示していて、案内経路２０４２３によりＴ字路で左折することが表されている。なお、案内経路２０４２３上のどの交差点が誘導交差点となるかは、経路探索手段２７００８により案内経路が探索された時に決定される。図１４で表示されている視野よりも、歩行者から見て携帯電話を左方向に向けた場合、ディスプレイに表示されているカメラの画像は携帯電話の向きの変化に連動して変化し、これと共にカメラ画像に重ねて描画される経路のＣＧ画像も変化する。

図１４に示した画面の誘導に従い、歩行者が更に遠方の地点まで経路上を前進した場合のナビゲーションシステムの表示を図１５，図１６に示す。図１５は、図１３の視点
２０４９４の位置における視野で見える経路のＣＧ画像を表示した画面であり、図１６は視点２０４９５の位置に居て、図１５よりも歩行者から見て携帯を左方向に向けた視野で見える経路のＣＧ画像を表示した画面である。図１５においては、視点２０４２５の視野では周囲の地形により隠されていて波線で描画されていた案内経路２０４２３が実線で描画されている。視点２０４２５の視野外にあった横断歩道２０４１１や建物２０４１４の点線表示は消え、カメラの映像だけになっている。

また図１６においては、視点２０４９５において周囲の地形により隠される歩道橋
２０４０７の一部がＣＧ画像により点線２０８０３で補われている。同様にして、案内経路２０４２３が周囲の地形により隠されている部分についても点線により描画されている。但し、木立や林などの植生２０８０６によって隠れる部分については、地形の三次元形状情報からは案内経路が陰面に存在することが判定できないため、実線で描画されてしまう。さらに、誘導交差点ではない路地などとの交差点については、その存在を示す簡単な線画２０８０のみが描画される。そして、案内経路の目的地である駅２０４０２については、その存在を強調するためにマーク２０８０２を重ねて描画される。

図１７は、本発明を用いたナビゲーションシステム（携帯電話）のハードウェア構成を示す図である。携帯電話２０１０５は、システムバス２０９０２で互いに接続された、リードオンリーメモリ(ＲＯＭ)２０９０１，ランダムアクセスメモリ（ＲＡＭ）２０９０３，中央演算処理回路（ＣＰＵ）２０９０４，画像入力回路２０９０５，圧力センサ
２０９１８がつながったアナログディジタル変換回路（Ａ／Ｄ）２０９１２とディジタルアナログ変換回路（Ｄ／Ａ）２０９１３、及び加速度センサ２０９１４，方位センサ
２０９１５，角速度センサ２０９１６，グローバルポジショニングシステム信号受信器
（ＧＰＳ）２０９１７等のセンサが接続されたシリアルインタフェース(ＳＣＩ１) 20910と外部の機器と通信するためのシリアルインタフェース（ＳＣＩ２）２０９１１，通信モジュール２０９１９とこれに接続されたアンテナ２０９２０から構成される。

ＣＰＵ２０９０４はナビゲーションシステム全体の動作を司り、ＲＯＭ２０９０１にはナビゲーションシステムの動作に必要な基本的なプログラムが納められている。さらに追加で必要なプログラムは、通信モジュール２０９１９を通じ、ＲＡＭ２０９０３に必要に応じてダウンロードする。またＲＡＭ２０９０３には、実行時に必要な一時データも格納される。加速度センサ２０９１４，方位センサ２０９１５，角速度センサ２０９１６，
ＧＰＳ２０９１７からの情報は、シリアルインタフェース２０９１０を経由してＣＰＵ
２０９０４で処理される。圧力センサ２０９１８の情報は、アナログディジタル変換回路２０９１２を経由してＣＰＵ２０９０４で処理される。またディジタルアナログ変換回路２０９１３から圧力センサ２０９１８に出力されるアナログ信号により、圧力センサのオフセット値及び増幅率が決定される。これにより、少ない量子化数で広いレンジを高精度にサンプリングすることができる。

加速度センサ２０９１４によって、携帯端末静止時には、重力加速度を検出することにより、携帯端末の傾きに関する情報を得ることができる。この加速度センサは３軸のセンサであるとする。また、加速度センサ２０９１４によって携帯電話の上下動の周波数を計測することで、この携帯電話を持っている人の歩行速度を概算することができる。方位センサ２０９１５から得られる情報と加速度センサ２０９１４から得られる情報を組み合わせることにより、端末のカメラが向いている方位の情報を得ることができる。角速度センサと方位センサの情報を組み合わせることにより、方位の乱れを補整することができる。ＧＰＳ２０９１７により、絶対的な緯度経度の情報を得ることができる。

以上、本実施例の説明では、実写画像と主として経路ＣＧ画像の重ね合わせについて説明した。しかしながら、実写画像の代わりに風景ＣＧ画像を用いることも可能である。その場合、実施例１に経路案内機能が付加されたことになり、フルＣＧでの経路案内も可能である。

図１８に、経路ＣＧ画像を風景ＣＧ画像に重ね合わせる場合のシステムの構成例を示す。風景ＣＧ生成処理２２９０１は、ＧＩＳ情報２１００１，位置検知処理２１００３，姿勢検知処理２１００４から情報を受け取り、実際にカメラから見える風景の３次元ＣＧを生成する。３次元ＣＧの視点位置および視線方向は、上記の説明と同様にして求められる。

また、セレクタ２３００１により、風景の映像を実写画像と３次元ＣＧとの間で切り替えられるようにして、画像入力処理２１００６からの実写画像と風景ＣＧ生成処理22901からのＣＧとを切り替えて、画像重ね合わせ処理２１００８に画像データを渡す構成とする。風景画像として実写画像とＣＧとを容易に切り替えられるようにすることで、計算機やネットワーク負荷を減らしたい場合には実写画像を用い、また、夜間や雨，霧のときなど、実写画像がよく見えない場合にはＣＧを用いる、といった使い分けが可能となる。

本発明を、携帯端末に用いることにより、実写画像とＣＧ画像を組み合わせた直感的に分かり易い案内表示を行うことにより、使い易い経路案内システムを実現することができる。

本発明を用いたナビゲーション装置のブロック図である。 本発明を用いたナビゲーション装置の外観図である。 端末の姿勢検知手段の一例である。 姿勢と表示対象量の関係を示す図である。 姿勢変化による表示変化の例である。 表示対象量を地図に重ねて表示する場合の表示画面の例である。 画面を動かした場合の表示例である。 通信回線を利用して表示対象の情報を取得する場合のブロック図である。 バスの位置を三次元的に取得して表示した場合の表示例である。 カメラ付き携帯端末を示す図である。 カメラの向きが変更可能なカメラ付き携帯端末を示す図である。 本発明を用いたナビゲーションシステムのブロック図である。 ナビゲーションを行う経路を示す地図である。 ナビゲーションの経路表示例である。 歩行者が前進した場合の表示例である。 歩行者がさらに前進し、端末を左に向けた場合の表示例である。 本発明を用いた携帯端末のハードウェアの構成例である。 ナビゲーションシステムで風景ＣＧ画像を用いる場合のブロック図である。

符号の説明

１０２０１…表示対象量の検出手段、１０２０２…提示用形状姿勢生成手段、10203…表示画像生成手段、１０２０４…姿勢検知手段、１０２０５…視線ベクトル算出手段、
１１３０１…発話文生成手段、１１３０２…発話音声生成手段、１７００１…地理情報データベース、１７００３…位置検知手段、２７００４…カメラ視線ベクトル算出手段、
２７００５…カメラ画像入力手段、２７００６…表示画像合成手段、２７００７…カメラ回転角取得手段、２７００８…経路探索手段、２７００９…描画用地理・経路データ生成手段。

Claims (6)

1. 位置検知手段と表示手段とを備えた端末装置において、
   地形の三次元形状情報を格納した地理情報記憶手段と、
   端末装置の姿勢を検出する姿勢検知手段と、
   該姿勢検知手段により求められた姿勢情報に基づいて、端末に備わった前記表示手段に垂直方向のベクトル情報を求め、前記位置検出手段により求められる現在位置と該ベクトル情報により定められる視線の情報と前記地理情報記憶手段の三次元形状情報から該視点における三次元地形画像を作成する画像生成手段を備え、
   端末の姿勢を変化させた場合には、その姿勢変化に追従して前記表示手段上の三次元地形画像を更新すること
   を特徴とする端末装置。
2. 画像入力のためのカメラと位置検知手段と表示手段とを備える端末装置において、
   地形の三次元形状情報を格納した地理情報記憶手段と、
   端末装置の姿勢を検出する姿勢検知手段と、
   該姿勢検知手段により求められた姿勢情報に基づいて、端末に備わった前記表示手段に垂直方向のベクトル情報を求め、前記位置検出手段により求められる現在位置と該ベクトル情報により定められる視線の情報と前記地理情報記憶手段の三次元形状情報から該視点における三次元地形画像を作成する画像生成手段と、
   前記カメラからの画像に前記三次元地形画像を重ね合わせる画像合成手段を備え、
   端末装置の姿勢を変化させた場合には、その姿勢変化に追従して前記カメラからの画像に重ね合わせる三次元地形画像を更新すること
   を特徴とする端末装置。
3. 請求項２の端末装置において、
   前記表示手段に垂直方向のベクトルに対するカメラの光軸方向の変更量を検出する手段を備え、
   前記画像生成手段において三次元地形画像を作成する際には、前記視線の情報を前記検出した変化量で補正し、
   前記カメラの取り付け方向または位置を変更した場合にでも、前記表示手段の表示における前記カメラからの画像と該画像に重ね合わせる三次元地形画像とが一致するようにしたことを特徴とする端末装置。
4. 画像入力のためのカメラと位置検知手段と経路探索手段と表示手段とを備えるナビゲーション装置において、
   地形の三次元形状情報を格納した地理情報記憶手段と、
   ナビゲーション装置の姿勢を検出する姿勢検知手段と、
   該姿勢検知手段により求められた姿勢情報に基づいて、端末に備わった前記表示手段に垂直方向のベクトル情報を求め、前記位置検出手段により求められる現在位置と該ベクトル情報により定められる視線の情報と前記地理情報記憶手段の三次元形状情報から、該視点における前記経路探索手段により求められた誘導経路および誘導情報の三次元形状画像を作成する画像生成手段と、
   前記カメラからの画像に前記誘導経路および誘導情報の三次元形状画像を重ね合わせる画像合成手段を備え、
   ナビゲーション装置の姿勢または現在位置を変化させた場合には、その変化に追従して前記カメラからの画像に重ね合わせる三次元形状画像を更新すること
   を特徴とするナビゲーション装置。
5. 請求項４のナビゲーション装置において、
   前記表示手段に垂直方向のベクトルに対するカメラの光軸方向の変更量を検出する手段を備え、
   前記画像生成手段において三次元形状画像を作成する際には、前記視線の情報を前記検出した変化量で補正し、
   前記カメラの取り付け方向または位置を変更した場合にでも、前記表示手段の表示における前記カメラからの画像と該画像に重ね合わせる三次元形状画像とが一致するようにしたことを特徴とするナビゲーション装置。
6. 請求項４のナビゲーション装置において、前記カメラによる画像の撮影範囲内に、地理情報データベースに情報が登録されている建物が存在した場合、その建物を強調表示することを特徴とするナビゲーション装置。
   

Images