JP6586849B2 - 情報表示装置及び情報表示方法 - Google Patents

Description

本発明は、情報表示装置及び情報表示方法に関する。

従来より、自車後方の状況を運転者に提示する技術として、左右のドアミラーに設置したカメラとリアカメラが撮影した画像を合成し、合成した画像をディスプレイに表示する技術が知られている（特許文献１）。

特開２００７−１５８４２７号公報

しかしながら、特許文献１では、確かに自車後方の状況は確認できるものの、ディスプレイ上で自車前方の状況を確認することができない。このため、運転者はディスプレイから目を離さないと前方を確認できないという問題があった。

本発明は、上記問題に鑑みて成されたものであり、その目的は、ディスプレイ上で自車前方及び後方の状況を確認できる情報表示装置及び情報表示方法を提供することである。

本発明の一態様に係る情報表示装置は、車両に設置された複数の撮影手段で撮影された画像を上空の仮想視点から見下ろした俯瞰画像に変換し、車両の左後方及び右後方を撮影し、車両の左後方を撮影した第１画像及び車両の右後方を撮影した第２画像におけるそれぞれの消失点を演算し、第１画像と俯瞰画像と第２画像を水平方向に並べる。このとき、情報表示装置は、第１画像の消失点と、俯瞰画像に表示した自車アイコンの左右のドアミラーと、第２画像の消失点とがほぼ水平一直線状に並ぶように第１画像と俯瞰画像と第２画像とを並べて表示手段に表示する。

本発明によれば、ディスプレイ上で自車前方及び後方の状況を確認できる。

図１は、本発明の実施形態に係る情報表示装置の構成図である。 図２は、本発明の実施形態に係る情報表示装置が表示する画像を説明する図である。 図３は、本発明の実施形態に係る情報表示装置が演算する仮想視点位置を説明する図である。 図４は、本発明の実施形態に係る情報表示装置が表示する他の画像を説明する図である。 図５は、本発明の実施形態に係る情報表示装置の動作例を説明するフローチャートである。 図６は、本発明の実施形態に係る情報表示装置が表示するさらに他の画像を説明する図である。

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

図１を参照して本実施形態に係る情報表示装置１について説明する。図１に示すように、情報表示装置１は、ライトカメラ１０と、レフトカメラ１１と、フロントカメラ１２と、ライトサイドカメラ１３と、レフトサイドカメラ１４と、リアカメラ１５と、レーザレンジファインダー１７と、車速センサ１８と、コントローラ３０と、ディスプレイ５０を備える。

ライトカメラ１０（第２撮影手段）は、ＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）やＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有したカメラであり、右側ドアミラーに設置される。より詳しくは、ライトカメラ１０は、右側ドアミラーに映る景色を撮影できる位置に設置される。ライトカメラ１０は、撮影した画像をコントローラ３０に出力する。

レフトカメラ１１（第１撮影手段）もライトカメラ１０と同様の撮像素子を有したカメラであり、左側ドアミラーに設置される。より詳しくは、レフトカメラ１１は、左側ドアミラーに映る景色を撮影できる位置に設置される。レフトカメラ１１は、撮影した画像をコントローラ３０に出力する。

フロントカメラ１２、ライトサイドカメラ１３、レフトサイドカメラ１４、リアカメラ１５（撮影手段）もライトカメラ１０と同様の撮像素子を有したカメラであり、それぞれ自車両の前方、右側方、左側方、後方を撮影できる位置に設置される。これらのカメラも、撮影した画像をコントローラ３０に出力する。
なお、以下の説明において、フロントカメラ１２、ライトサイドカメラ１３、レフトサイドカメラ１４、リアカメラ１５の４つカメラのことを「フロントカメラ１２など」と記載する。

レーザレンジファインダー１７（検出手段）は、自車周辺に存在する障害物を検出する。より詳しくは、レーザレンジファインダー１７は、レーザ光をある角度範囲内で走査し、その時の反射光を受光して、レーザ発射時点と反射光の受光時点との時間差を検知することにより、自車両と障害物との距離や角度などを検知する。

車速センサ１８は、車輪の回転数から自車両の速度を検出し、検出した速度をコントローラ３０に出力する。

コントローラ３０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭおよびそれらを接続するデータバスと入出力インターフェースから構成されるコンピュータであり、ＲＯＭに格納されたプログラムに従い、ＣＰＵが所定の処理を行う。

コントローラ３０は、これを機能的に捉えた場合、消失点演算部３１と、車線検出部３２と、仮想視点位置演算部３３と、視点変換部３４と、記憶部３５と、合成部３６に分類することができる。

消失点演算部３１（演算手段）は、ライトカメラ１０及びレフトカメラ１１が撮影した画像を取得し、取得した画像における道路の消失点を演算する。

車線検出部３２は、フロントカメラ１２などが撮影した画像を取得し、取得した画像から自車両が走行している車線を含む道路上の車線を検出する。また、車線検出部３２は、車線境界線や車道外側線などの区画線も検出する。

仮想視点位置演算部３３（変更手段）は、自車両の走行車線上で自車両を上空から見下ろす仮想視点位置を演算する。

視点変換部３４は、記憶部３５に記憶されている変換マップを用いてフロントカメラ１２などが撮影した画像を、仮想視点から見下ろした俯瞰画像に変換する。

記憶部３５には、視点変換部３４が使用する変換マップや合成部３６が使用するアイコンなどが記憶されている。

合成部３６（合成手段）は、ライトカメラ１０及びレフトカメラ１１の画像や視点変換部３４によって変換された俯瞰画像に対し、記憶部３５に記憶されているアイコンなどを重畳してディスプレイ５０に出力する。

ディスプレイ５０（表示手段）は、例えばインストルメントパネルに搭載される液晶ディスプレイやカーナビゲーション装置に用いられる液晶ディスプレイであり、乗員に各種情報を表示する。

以上の構成を備える情報表示装置１がディスプレイ５０に表示する画像の一例を図２を参照して説明する。

図２に示す画像Ｓ１，Ｓ２，Ｓ３は、それぞれレフトカメラ１１の画像、俯瞰画像、ライトカメラ１０の画像である。画像Ｓ２に示す自車アイコンＣ１は自車両を示すアイコンであり、後続車両Ｃ２は後続車両を示すアイコンである。合成部３６は、図２に示すように画像Ｓ１，Ｓ２，Ｓ３をこの順にディスプレイ５０の左側から水平方向に並べる。このとき、合成部３６は、画像Ｓ１（第１画像）の消失点と、画像Ｓ２に示す自車アイコンＣ１の左側ドアミラーと、自車アイコンＣ１の右側ドアミラーと、画像Ｓ３（第２画像）の消失点とがほぼ水平一直線状に並ぶように画像Ｓ１，Ｓ２，Ｓ３を並べる。これにより、運転者はディスプレイ５０上で自車前方及び後方の状況を確認できる。また、後続車両の表示位置によって運転者が混乱するおそれが小さくなる。すなわち、運転者は消失点より下の画像は自車後方の画像として捉えることができるので、後続車両が複数の画像（例えば画像Ｓ１と画像Ｓ２）に表示されても、後続車両の方角を間違えるおそれが小さくなる。

また、図２に示すように、合成部３６は、自車アイコンＣ１の左右のドアミラーと画像Ｓ１及び画像Ｓ３の消失点とを結ぶ直線Ｌ１を重畳してもよい。これにより、画像Ｓ２において直線Ｌ１より上側の画面は自車前方を示し、直線Ｌ１より下側の画面は自車後方を示すことになる。これにより、運転者は、画像Ｓ２上で自車前方及び後方の状況を確認することができる。

次に図３を参照して、仮想視点位置演算部３３が演算する仮想視点位置について説明する。
まず、図３に示す仮想視点位置Ｐ１、Ｐ２、Ｐ３について説明する。
仮想視点位置Ｐ１は、自車両から垂直方向上側に伸ばした軸近傍の位置であり、自車両を後方から見下ろす位置である。また、図３に示す俯角θ１は、仮想視点位置Ｐ１が自車両を見下ろす俯角である。

仮想視点位置Ｐ２は、仮想視点位置Ｐ１より自車両後方に離れた位置であり、仮想視点位置Ｐ１より垂直方向に対し低い位置である。また、俯角θ２は、仮想視点位置Ｐ２が自車両を見下ろす俯角であり、俯角θ２は俯角θ１より小さい。

仮想視点位置Ｐ３は、仮想視点位置Ｐ２より自車両後方に離れた位置であり、仮想視点位置Ｐ２より垂直方向に対し低い位置である。また、俯角θ３は、仮想視点位置Ｐ３が自車両を見下ろす俯角であり、俯角θ３は俯角θ２より小さい。

自車両と後続車両との車間距離が短い場合は車間距離の変化が確認しやすい画面が好ましい。一方、自車両と後続車両との車間距離が長い場合は、できるだけ自車両の後方を確認できる画面が好ましい。後続車両の存在を運転者に通知するためである。

そこで、仮想視点位置演算部３３は、図３に示すように後続車両との車間距離が短いほど仮想視点位置Ｐ１に近づくように仮想視点位置を演算する。また、仮想視点位置演算部３３は、後続車両との車間距離が長いほど、仮想視点位置Ｐ３に近づくように仮想視点位置を演算する。

このように後続車両との車間距離に基づいて仮想視点位置を演算することにより、図４に示すように画像Ｓ２に後続車両Ｃ２，Ｃ３（後続車両Ｍ２，Ｍ３を示すアイコン）が映りやすくなる。なお、後続車両の位置によっては、仮想視点位置を変更しても画像Ｓ２に映らない場合がある。この場合でも、ライトカメラ１０またはレフトカメラ１１が撮影する画像に消失点が存在すれば、画像Ｓ３の消失点近傍には後続車両Ｍ３が映るため、画像Ｓ２では確認できない後続車両Ｍ３をディスプレイ５０上で運転者は確認することができる。なお、仮想視点位置演算部３３は、車間距離の他に後続車両との相対速度を用いて仮想視点位置を演算してもよい。具体的には、図３に示すように、仮想視点位置演算部３３は、後続車両との相対速度が大きいほど仮想視点位置Ｐ１に近づくように仮想視点位置を演算してもよい。また、仮想視点位置演算部３３は、後続車両との相対速度が小さいほど仮想視点位置Ｐ３に近づくように仮想視点位置を演算してもよい。

このように後続車両との車間距離または相対速度に基づいて仮想視点位置を演算することにより、図４に示す画像Ｓ２において運転者が右車線に車線変更する場合、車線変更先に存在する後続車両Ｃ３との車間距離または相対速度をおおよその範囲で確認できるため、車線変更を行いやすくなる。

次に、図５のフローチャートを参照して、情報表示装置１の一動作例について説明する。このフローチャートは、イグニッションスイッチがオンされたときに開始する。

ステップＳ１０１において、消失点演算部３１は、ライトカメラ１０及びレフトカメラ１１が撮影した画像の消失点を演算する。

ステップＳ１０２において、コントローラ３０は、レーザレンジファインダー１７を用いて自車両と後続車両との車間距離を取得する。

ステップＳ１０３において、仮想視点位置演算部３３は、車間距離に基づいて仮想視点位置を演算する。

ステップＳ１０４において、視点変換部３４は、変換マップを用いてフロントカメラ１２などが撮影した画像を仮想視点から見下ろした俯瞰画像に変換する。

ステップＳ１０５において、合成部３６は、レフトカメラ１１が撮影した画像、俯瞰画像、ライトカメラ１０が撮影した画像をディスプレイ５０の水平方向に並べて表示する。

以上説明したように、本実施形態に係る情報表示装置１によれば、以下の作用効果が得られる。

情報表示装置１は、図２に示すように自車アイコンＣ１のドアミラー位置と画像Ｓ１及び画像Ｓ３の消失点とをディスプレイ５０の垂直方向に一致するように並べる。これにより、運転者はディスプレイ５０上で自車前方及び後方の状況を確認できる。また、運転者は、消失点より下の画像は自車後方の画像として捉えることができるので、後続車両が複数の画像に表示されても、後続車両の方角を間違えるおそれが小さくなる。

また、情報表示装置１は、図２に示すように自車アイコンＣ１の左右のドアミラーと画像Ｓ１及び画像Ｓ３の消失点とを結ぶ直線Ｌ１を表示する。これにより、運転者は、直線Ｌ１より下側の画面は自車後方を示し、直線Ｌ２より上側の画面は自車前方を示していることを一目で把握できる。

また、情報表示装置１は、自車アイコンＣ１を画像Ｓ２の中央より上に表示することができる。これにより、運転者は、後続車両の存在を確認しやすくなり、かつ、先行車両の存在も確認しやすくなる。

また、情報表示装置１は、自車両と後続車両との車間距離に基づいて仮想視点を変更する。これにより、後続車両がディスプレイ５０に映りやすくなり、運転者は後続車両を確認しやすくなる。

また、情報表示装置１は、車間距離が所定距離より短いほど仮想視点位置を高くし、車間距離が所定距離より長いほど仮想視点の位置を低くする。これにより、後続車両がディスプレイ５０に映りやすくなり、運転者は後続車両を確認しやすくなる。運転者は、後続車両との車間距離及び相対速度をおおよその範囲で確認できるため、車線変更や合流を行いやすくなる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

例えば、ライトカメラ１０及びレフトカメラ１１はそれぞれ右側ドアミラー及び左側ドアミラーに設置されたカメラとして説明したが、これに限定されない。ライトカメラ１０及びレフトカメラ１１は車両の右後方及び左後方を撮影できる位置に設置してもよい。

また、図６に示すように、情報表示装置１は、画像Ｓ２の自車アイコンＣ１の左側ドアミラーから画像Ｓ１の上端と下端に向けて２本の直線Ｌ２を重畳し、自車アイコンＣ１の右側ドアミラーから画像Ｓ３の上端と下端に向けて２本の直線Ｌ３を重畳してもよい。これにより運転者は、画像Ｓ１が左側ドアミラーの画像であり、画像Ｓ３が右側ドアミラーの画像であることを一目で確認できる。

また、本発明は、自動運転車両に適用することができる。

１０ ライトカメラ
１１ レフトカメラ
１２ フロントカメラ
１３ ライトサイドカメラ
１４ レフトサイドカメラ
１５ リアカメラ
１７ レーザレンジファインダー
１８ 車速センサ
３０ コントローラ
３１ 消失点演算部
３２ 車線検出部
３３ 仮想視点位置演算部
３４ 視点変換部
３５ 記憶部
３６ 合成部
５０ ディスプレイ

Claims (7)

1. 車両に設置された複数の撮影手段で撮影された画像を上空の仮想視点から見下ろした俯瞰画像に変換し、前記俯瞰画像に前記車両の位置を示す自車アイコンを重畳して表示手段に表示する情報表示装置において、
   前記車両の左後方を撮影する第１撮影手段と、
   前記車両の右後方を撮影する第２撮影手段と、
   前記第１撮影手段によって撮影された第１画像及び前記第２撮影手段によって撮影された第２画像におけるそれぞれの消失点を演算する演算手段と、
   前記第１画像と前記俯瞰画像と前記第２画像とを水平方向に並べて前記表示手段に表示する合成手段とを備え、
   前記合成手段は、前記自車アイコンの左右のドアミラーと前記演算手段によって演算された前記消失点とを垂直方向に一致させることを特徴とする情報表示装置。
2. 前記合成手段は、前記左右のドアミラーを結ぶ直線を前記第１画像と前記俯瞰画像と前記第２画像に重畳することを特徴とする請求項１に記載の情報表示装置。
3. 前記合成手段は、前記自車アイコンの左側ドアミラーから前記第１画像に向けて２本の直線を重畳し、かつ前記自車アイコンに表示される右側ドアミラーから前記第２画像に向けて２本の直線を重畳することを特徴とする請求項１または２に記載の情報表示装置。
4. 前記合成手段は、前記自車アイコンを前記俯瞰画像の中央より上に重畳することを特徴とする請求項１〜３のいずれか１項に記載の情報表示装置。
5. 前記車両の後方に存在する後続車両を検出する検出手段と、
   前記仮想視点の位置を変更する変更手段とをさらに備え、
   前記変更手段は、前記検出手段によって検出された前記後続車両との車間距離に基づいて前記仮想視点の位置を変更することを特徴とする請求項１〜４のいずれか１項に記載の情報表示装置。
6. 前記変更手段は、前記車間距離が短いほど前記仮想視点の位置を高くし、前記車間距離が長いほど前記仮想視点の位置を低くすることを特徴とする請求項５に記載の情報表示装置。
7. 車両に設置された複数の撮影手段で撮影された画像を上空の仮想視点から見下ろした俯瞰画像に変換し、前記俯瞰画像に前記車両の位置を示す自車アイコンを重畳して表示手段に表示する情報表示方法において、
   第１撮影手段で前記車両の左後方を撮影し、
   第２撮影手段で前記車両の右後方を撮影し、
   前記第１撮影手段が撮影した第１画像及び前記第２撮影手段が撮影した第２画像におけるそれぞれの消失点を演算し、
   前記第１画像と前記俯瞰画像と前記第２画像を水平方向に並べ、かつ、前記自車アイコンのドアミラー位置と演算した前記消失点とが垂直方向に一致するように並べて前記表示手段に表示することを特徴とする情報表示方法。
   

Images