JP2005311868A - 車両周辺視認装置 - Google Patents

Abstract

【課題】幾何学補正により平面視座標に座標変換を行った際の遠距離部の違和感を緩和する。
【解決手段】カメラで撮像された元映像のうち、近距離映像１１と遠距離映像１３とに映像分割を行い、近距離映像１１については幾何学補正により平面視座標に座標変換を行う一方、遠距離映像１３については、斜めに見下ろす視点のままとして、近距離映像１１と遠距離映像１３とを上下に並べるように映像合成を行って表示装置に表示する。映像の全画面について平面視座標に視点変換を行う従来の例のように、遠距離映像について何が映り込んでいるのか判別できないほど画像が歪んで表示されてしまう事態を防止できる。
【選択図】図２

Description

本発明は、車両の周辺の映像を所定の撮像手段で撮像して車内の表示手段に表示する車両周辺視認装置及びそれに関連する技術に関するものである。

自動車の分野においては、例えば車両の後方を運転者が確認しやすくするために、車両の後部に設置されたバックカメラで後方を撮像し、車内に設置された液晶パネル等の表示装置に表示することが行われている。

このようなバックカメラに要求される事項として、次の二点が挙げられる。

（１）車両周辺の歩行者や障害物等をカメラ映像によって確認できること。

（２）後退時に、他の車両や壁等の障害物等までの距離感を、例えば１０ｃｍ単位程度で把握できること。

このうち、上記（１）に関しては、通常のバックカメラの元映像を用いることで可能である。図８に、バックカメラで撮像された元映像を示す。この元映像では、図９のように、バックカメラ１の設置位置が地面から一定の高さＨを有して設定されるため、バックカメラ１の視野範囲３に入る元映像は斜めに見下ろす視点で撮像されたものとなっている。

また、（２）に関しては、画像に対して幾何学的補正をかけるなどの視点変換の技術を用いて、斜めに見下ろす視点の映像を平面視座標の映像に変換することで、例えば図１０のように、距離感を分かりやすくすることが可能である。

図８に示した斜めに見下ろす視点の元映像は、バックカメラ１の設置位置が一般に視認者の視認高さと異なって設定されるなどの理由から、必ずしも周囲の映像を感覚的に把握しやすいものとならないことが多い。

この点、図１０のように、視点変換による平面視座標の映像は、周囲の障害物と車両との間の距離を把握しやすい利点がある。

しかしながら、幾何学補正による視点変換は、地面に対して平行な平面を元に行うものであり、高さのあるものは正しく表現できない。例えば、図１１において、符号５が地面であるとし、その地面５上に一定の高さを有する物体７が存在している場合、この物体７の平面視における実際の存在範囲Ａｒ１が狭くても、バックカメラ１が斜めに見下ろす視点で斜めに物体７の像を撮像することから、この物体７を含む映像を幾何学補正により視点変換すると、平面視座標においてその物体７の存在範囲が図中の符号Ｌ１の領域に拡大されてしまう。そうすると、平面視座標に変換された映像を表示装置に表示した場合、実際の物体７の高さよりも高くなったように表示されてしまう。

例えば、図８中の物体７ａの高さがＡ１である場合、図１１においてはあたかもＡ１より高いＡ２（図１２参照）を有した映像として表示される。さらに、幾何学補正により平面視座標に視点変換する場合、遠くに存在する像ほど距離変換の度合いが大きくなることと、遠くになるほど地面が写らず高さのある物体７ａが映り込む可能性が高いことから、例えば図８中の物体７ａよりも後方に存在している木々類７ｂは、撮像範囲の全ての映像をそのまま幾何学補正により平面視座標に視点変換すると、図１２及び図１３中の符号７ｂのようになり、何が映り込んでいるのか判別できないほど画像が歪んで表示されてしまう。

即ち、幾何学補正により平面視座標に視点変換された映像は、バックカメラ１に比較的近距離の範囲内においては有効であるが、一定距離以上後ろの映像に関しては、歪みが大きくなって見難くなる傾向がある。しかも、図１２及び図１３のように、座標変換後の映像において近距離部が小さくなってしまうことと、元々の画素の解像度が不足している遠距離の部分が拡大表示されることになるため、視認性の劣化が激しくなる。

このように、幾何学補正による視点変換を行う場合、高さのある障害物は歪が出てしまい、ドライバーが安全を確認するのに適していると言えない。

そこで、撮像された全範囲の映像を表示装置に表示するのではなく、図１０のように、近距離部分のみを抽出して表示装置に表示することも考えられる。

しかしながら、この場合は、バックカメラ１で撮像された映像のうち、一部分しか表示されないため、バックカメラ１を有効に利用しているとは言えない。しかも、図１０のように比較的近距離部分のみを表示装置に表示させても、物体７ａの画像の歪みを避けることができず、視認性の劣化が避けられなかった。

そこで、本発明の課題は、幾何学補正により平面視座標に座標変換を行った際の遠距離部の違和感を緩和しながら、障害物までの直線的な位置関係を感覚的に把握することが可能な車両周辺視認装置を提供することにある。

上記課題を解決すべく、請求項１に記載の発明は、車両の周辺の映像を所定の撮像手段で撮像して車内の表示手段に表示する車両周辺視認装置であって、所定の設置位置から斜めに見下ろす視点で元映像を撮像する前記撮像手段と、前記表示手段と、前記元映像のうち、近距離映像と遠距離映像とに映像分割を行い、前記近距離映像については幾何学補正により平面視座標に座標変換を行う一方、前記遠距離映像については、斜めに見下ろす視点のままとして、前記近距離映像と前記遠距離映像とを上下に並べるように映像合成を行って、前記表示手段に表示する画像処理手段とを備えるものである。

請求項２に記載の発明は、請求項１に記載の車両周辺視認装置であって、前記画像処理手段が、上下に画像合成される前記近距離映像及び前記遠距離映像の間で、境界線において違和感がないように、前記近距離映像及び／または前記遠距離映像について座標変換及び／または縮尺変更を行うものである。

請求項３に記載の発明は、請求項１または請求項２に記載の車両周辺視認装置であって、前記画像処理手段が、前記近距離映像の視点変換映像を拡大し、且つ前記遠距離映像において、前記近距離映像で拡大されて画角範囲内に入らなくなった映像範囲を含ませるよう、画像処理を行うものである。

請求項４に記載の発明は、請求項１から請求項３のいずれかに記載の車両周辺視認装置であって、前記近距離映像が、車両を停車直前の所定距離の位置から目標の停車位置に近付けるため必要な範囲に設定されたものである。

請求項５に記載の発明は、請求項１から請求項４のいずれかに記載の車両周辺視認装置であって、前記画像処理手段が、前記近距離映像と前記遠距離映像の間に映像を表示しない領域を配置して画像合成するものである。

請求項６に記載の発明は、請求項１から請求項５のいずれかに記載の車両周辺視認装置であって、前記画像処理手段が、前記近距離映像に対して前記遠距離映像との境界線における縮尺レンジを同等とする第１のモードと、前記近距離映像を拡大表示する第２のモードに切り換え可能とされたものである。

請求項７に記載の発明は、請求項６に記載の車両周辺視認装置であって、前記画像処理手段が、所定の車内通信網を通じて得られた車両の状況及び／または所定の操作入力装置での操作に応じて、前記第１のモードと前記第２のモードとを切り換えるものである。

請求項８に記載の発明は、請求項６または請求項７に記載の車両周辺視認装置であって、前記画像処理手段が、予め用意された複数の変換テーブルの中から選択した変換テーブルを用いて座標変換を行い、前記第１のモードと前記第２のモードとを切り換えるものである。

請求項９に記載の発明は、請求項８に記載の車両周辺視認装置であって、前記画像処理手段が、所定の不揮発性メモリ内に予め格納された複数の変換テーブルの全てを所定の変換テーブル用メモリ内に格納し、当該変換テーブル用メモリから選択した変換テーブルを用いて座標変換を行い、前記第１のモードと前記第２のモードとを切り換えるものである。

請求項１０に記載の発明は、請求項１から請求項９のいずれかに記載の車両周辺視認装置であって、前記画像処理手段が、前記遠距離映像について、元映像の遠距離映像をそのまま、拡大または縮小して映像合成するものである。

請求項１に記載の発明の車両周辺視認装置は、撮像手段に例えば広視野角カメラを用いる場合に、遠距離映像に地面ではなく高さのある物体が映り込むと、この物体の撮像映像を幾何学補正により平面視座標に座標変換を行う場合、画像が歪んで表示されることで物体が変形して違和感が大きくなってしまうのに対して、撮像手段で撮像された元映像のうち、近距離映像と遠距離映像とに映像分割を行い、近距離映像については幾何学補正により平面視座標に座標変換を行う一方、遠距離映像については、斜めに見下ろす視点のままとして、近距離映像と遠距離映像とを上下に並べるように映像合成を行って、表示手段に表示するので、映像の全画面について平面視座標に視点変換を行う従来の例のように、遠距離映像について何が映り込んでいるのか判別できないほど画像が歪んで表示されてしまう事態を防止できる。したがって、遠距離映像に映し込まれた物体の変形を抑制して違和感をなくすことができる。

請求項２に記載の発明の車両周辺視認装置は、上下に画像合成される近距離映像及び遠距離映像の間で、境界線において違和感がないように、近距離映像及び／または遠距離映像について座標変換及び／または縮尺変更を行うので、境界線の両側に表示される映像の繋ぎ目が自然に表示され、視認しやすい映像を表示手段に表示できる。

請求項３に記載の発明の車両周辺視認装置は、近距離映像の視点変換映像を拡大し、且つ遠距離映像において、近距離映像で拡大されて画角範囲内に入らなくなった映像範囲を含ませるよう、画像処理を行うので、近距離映像の拡大表示により減少された画角範囲の映像を、遠距離映像側に追加で表示することができ、視認しやすい映像を表示手段に表示できる。

請求項４に記載の発明の車両周辺視認装置は、近距離映像が、車両を停車直前の所定距離の位置から目標の停車位置に近付けるため必要な範囲に設定されているので、ユーザーが安全確認を容易に行うことができる。

請求項５に記載の発明の車両周辺視認装置は、画像処理手段が、近距離映像と遠距離映像の間に映像を表示しない領域を配置して画像合成するので、両映像で画像処理の方法及び見え方が異なっていることを、ユーザーが直感的に理解することができるようになる。

請求項６に記載の発明の車両周辺視認装置は、近距離映像に対して遠距離映像との境界線における縮尺レンジを同等とする第１のモードと、近距離映像を拡大表示する第２のモードに切り換え可能とされているので、第１のモードにおいては違和感のない映像を表示手段に表示する一方、第２のモードにおいては、拡大された近距離映像に映り込んだ他の車両や壁等の障害物等までの距離感が感覚的に把握し安くなり便利である。

請求項７及び請求項８に記載の発明の車両周辺視認装置は、所定の車内通信網を通じて得られた車両の状況及び／または所定の操作入力装置での操作に応じて、第１のモードと第２のモードとを切り換えるので、自動的にまたはユーザーの希望により第１のモードと第２のモードとが切り替わるため便利である。

請求項９に記載の発明の車両周辺視認装置は、画像処理手段が、所定の不揮発性メモリ内に予め格納された複数の変換テーブルの全てを所定の変換テーブル用メモリ内に格納し、当該変換テーブル用メモリから選択した変換テーブルを用いて座標変換を行い、第１のモードと第２のモードとを切り換えるので、車両の状況の変化に素早く対応して最適な変換テーブルを容易に適用することができる。

請求項１０に記載の発明の車両周辺視認装置は、画像処理手段が、遠距離映像について、元映像の遠距離映像をそのまま、拡大または縮小して映像合成するので、遠距離映像に対する画像処理が容易となり、画像処理手段の内部の構成やソフトウェアプログラムを簡素化できるとともに、素早い画像処理を行うことができる。

＜構成＞
図１は本発明の一の実施形態に係る車両周辺視認装置のカメラで撮像された元映像の一例、図２及び図３は本発明の一の実施形態に係る車両周辺視認装置の画面の一例をそれぞれ示す図である。尚、この実施形態では、図９に示した従来の車両周辺視認装置と同一機能を有する要素については同一符号を付している。

この車両周辺視認装置は、自動車内の運転者（ユーザ）等の乗員が周辺の安全確認を行うために、自動車の後方等周辺について、図９のように斜めに見下ろす視点で図１に示したような元映像１０を撮像し、この元映像１０のうちの相対的に下側の領域に相当する所定の近距離範囲の映像（以下「近距離映像」と称す）１１と、相対的に上側の領域に相当する所定の遠距離範囲の映像（以下「遠距離映像」と称す）１３とをそれぞれ設定し、さらに図２及び図３の如く、近距離映像１１については視点変換を行って幾何学補正により平面視座標に視点変換を行う一方、遠距離映像１３については、斜めに見下ろす視点のまま、幾何学補正された近距離映像１１との境界部分を対応させる座標変換のみを行って、これらを表示装置（ディスプレイ：表示手段）１５（図４）の所定の領域１１Ａ，１３Ａに繋ぎ合わせて表示するようになっている。

具体的に、この車両周辺視認装置は、図４の如く、バックカメラ２１、フロントカメラ２３、サイドカメラ２５及びその他車載カメラ２７が映像伝送路としての車載ＬＡＮ２９に接続されており、これらの各カメラ（撮像手段）２１，２３，２５，２７で撮像された映像が車載ＬＡＮ２９を通じて画像処理ＥＣＵ（画像処理手段）３１で受信され、この画像処理ＥＣＵ３１で画像処理されて表示装置（ディスプレイ）１５に表示されるようになっている。

尚、図４においては、車載ＬＡＮ２９がゲートウェイ３３を介して他の車載ＬＡＮ（車内通信網）３５に接続され、この車載ＬＡＮ３５に、バック信号３６ａやライト信号３６ｂ等を送受信する各種ボディーＥＣＵ３７や、カメラ２１，２３，２５，２７の取り付け等の車両情報出力ユニット３９や、車速センサー、ステアリングセンサー、ソナー及び車両情報等の各種センサー４１等が接続された構成となっている。

ここで、各カメラ２１，２３，２５，２７は、例えばＣＣＤ等の所定の撮像素子を備えた一般的なものであり、そのうちの例えばバックカメラ２１は、上述のように、図９の如く斜めに見下ろす視点で図１に示したような元映像１０を撮像するようになっている。このバックカメラ２１で撮像された元映像１０は、車載ＬＡＮ２９を通じて画像処理ＥＣＵ３１に伝送される。

画像処理ＥＣＵ３１は、図５の如く、車載ＬＡＮ２９で通信を行うための通信インターフェースである通信Ｉ／Ｆ部４３と、表示装置（ディスプレイ）１５に接続されるモニターＩ／Ｆ部４５と、画像処理を司る画像処理ＡＳＩＣ４７と、この画像処理ＡＳＩＣ４７において座標変換を行うための変換テーブルを格納する変換テーブル用メモリ４９と、画像処理ＡＳＩＣ４７が画像処理に際して一時的に映像を格納するＳＤＲＡＭ等のフレームメモリ５１と、画像処理ＡＳＩＣ４７を制御するＣＰＵ５３と、画像処理ＡＳＩＣ４７での画像処理において各種パラメータ等を提供するための書き換え可能な不揮発性メモリ５５とを備えて構成される。

ここで、フレームメモリ５１は、元映像１０の１フレーム当たりのデータよりも大きな容量のデータを格納できるようになっている。

そして、この画像処理ＡＳＩＣ４７は、図２に示したような第１のモードと、図３に示したような第２のモードとによって異なった画像処理を行うようになっている。

図２に示した第１のモードにおいては、まず、図１に示す近距離映像１１と遠距離映像１３とをそれぞれフレームメモリ５１内に格納する。

ここで、近距離映像１１とは、車両を停車直前の数メートル程度の所定距離の位置から目標の停車位置に近付けるため必要な範囲に設定された映像であり、運転者（ユーザ）の経験則に基づいて予め設定される映像範囲である。

また、遠距離映像１３とは、バックカメラ２１で撮像される映像のうち、近距離映像１１よりも遠距離側に延びる一定の映像範囲である。尚、図１の例では、近距離映像１１と遠距離映像１３とが一部重なるようにそれぞれの境界線６１，６３が設定されているが、近距離映像１１と遠距離映像１３とが繋がるように範囲設定し、映像範囲の一部が重ならないように設定しても差し支えない。

そして、近距離映像１１については、視点変換を行って幾何学補正により平面視座標に視点変換を行う。また遠距離映像１３については、近距離映像１１に対して上下に並べて表示装置１５に表示する際に、その近距離映像１１と遠距離映像１３との相対的な位置関係が対応するように、予め定められた座標変換を行う。

具体的には、レンズの収差により元映像１０の近距離映像１１の上端線６１がその中央部ほど上方に湾曲しており、この上端線６１が画像処理ＡＳＩＣ４７により座標変換されて平面視座標に視点変換される際には直線６２（図２）に変換されることから、この近距離映像１１の上端線６１の曲線から直線への画面高さ方向の座標変換に対応して、遠距離映像１３の下端線６３（図１）が曲線から直線６２に変換されるよう、座標変換が行われる。ただし、この遠距離映像１３における座標変換は、近距離映像１１に対する平面視座標への座標変換とは異なり、高さ方向に一律に画像拡大（縮尺変更）を行うことはなく、例えば縦方向（即ち、後ろ方向及び高さ方向）についての平均画像拡大率と、横方向（車幅方向）の平均画像拡大率とは、互いにほぼ均等になるように設定されている。即ち、近距離映像１１においては、相対的に遠距離に映り込んだ部分の上下方向についての画像拡大率が、相対的に近距離に映り込んだ部分の上下方向についての画像拡大率よりも高くなるのに対し、遠距離映像１３では、相対的に遠距離に映り込んだ部分の上下方向についての画像拡大率と、相対的に近距離に映り込んだ部分の上下方向についての画像拡大率とがほぼ同等であり、近距離映像１１との横方向のレンジ調整を行うことで、境界線６２の上下両側に表示される映像の繋ぎ目を自然に表示するとともに、上述のように近距離映像１１との境界線を曲線６３（図１）から直線６２（図２）に変換されることから、座標変換後の遠距離映像１３内の各部分については、元映像１０と比べて歪が少なく可及的にその相似形が維持されるように座標変換される。

これらの近距離映像１１及び遠距離映像１３に対する座標変換は、画像処理ＡＳＩＣ４７が変換テーブル用メモリ４９内に格納されたデータ（変換テーブル等）を読み出し、フレームメモリ５１内に一時的に格納された近距離映像１１と遠距離映像１３のそれぞれに対して個別に実行される。そして、画像処理ＡＳＩＣ４７は、図２の如く、座標変換後の近距離映像１１を映像の各フレームの相対的に下側の領域１１Ａに位置させるとともに、座標変換後の遠距離映像１３を映像の各フレームの相対的に上側の領域１３Ａに位置させるようにして、画像の合成を行った後、この画像をフレーム単位で表示装置１５に出力する。

一方、図３に示した第２のモードにおいては、座標変換された近距離映像１１を拡大（縮尺変更）して、映像の各フレームの下側の領域１１Ａに位置させて表示装置１５に出力する点でのみ第１のモードと異なるが、それ以外は第１のモードと同様である。この第２のモードにおける近距離映像１１の拡大率は、例えば運転者（ユーザ）等が表示装置１５の画面を視認しながら自動車を後進させる際に、近距離映像１１に映り込んだ他の車両や壁等の障害物等までの距離感を、感覚的に例えば１０ｃｍ単位程度の距離感で把握できる程度に予め設定されている。尚、この第２のモードにおける遠距離映像１３は、第１のモードで表示される映像と同じであり、拡大（縮尺変更）された近距離映像１１に対応して遠距離映像１３を拡大（縮尺変更）表示することは行われない。したがって、遠距離映像１３が、斜めに見下ろす視点のまま表示される点で第１のモードと同じであるが、遠距離映像１３と近距離映像１１との境界線６２において、両映像１１，１３の画像拡大率が異なるため、繋がって表示されるようには映らないことになる。これにより、近距離映像１１が拡大（縮尺変更）表示されていることが明確になるものである。

この第２のモードにおいて、望ましくは、近距離映像１１の拡大（縮尺変更）表示により、近距離映像１１として表示装置１５の所定の領域１１Ａに表示される画角範囲が減少するため、この減少した分の映像を、遠距離映像１３側に追加で表示する。この場合、遠距離映像１３は上下方向に縮小（縮尺変更）されて表示される（図３の符号１３Ａ）。この場合は、遠距離映像１３において、縦方向（即ち、後ろ方向及び高さ方向）についての平均画像拡大率と、横方向（車幅方向）の平均画像拡大率とは、互いにほぼ均等にならなくても差し支えない。

また、例えばカーナビゲーション装置等の所定の電子ユニットの操作入力装置を用いて、各モード（第１のモード及び第２のモード）毎に、上下の映像の境界線６２を上下移動させることが可能となっている。これにより、ユーザーが実際に図２または図３に示した映像を視認した際に、ユーザーが感覚的に把握しやすいように、その境界線６２の位置を自由に調整できる。このように変更された境界線６２の位置は、書き換え可能な不揮発性メモリ５５に書き込まれ、次回に車両周辺視認装置を起動した際に、初期的に前回調整された境界線６２の位置が再現されるようになっている。

ここで、画像処理ＥＣＵ３１は、不揮発性メモリ５５内に予め格納された複数の変換テーブルの全てを読み出し、その全てを変換テーブル用メモリ４９内に格納する機能と、カメラ２１，２３，２５，２７から与えられる映像信号のほかに、車載ＬＡＮ３５を通じて与えられる各種の情報、即ち、各種センサー４１から与えられる車速センサー、ステアリングセンサー、ソナー及び車両情報等の種々の情報を受信する機能と、これらの情報に基づいて、車両が所定の条件に合致している旨、例えば、車速センサーが一定速度以下の後進車速を検出し、且つソナーセンサーが車両後方の障害物を検出した旨をＣＰＵ５３で判断する機能と、その判断結果に基づいて、そのときの条件に予め対応づけられた座標変換のための変換テーブルを、近距離映像１１と遠距離映像１３のそれぞれについて変換テーブル用メモリ（ＳＤＲＡＭ等）４９から読み出す機能と、この読み出された変換テーブルを参照することで、バックカメラ２１から読み込んだ映像の移動先のアドレスを知り、そのアドレスにバックカメラ２１からの近距離映像１１及び遠距離映像１３のそれぞれを移動させる機能とを備え、かかる種々の機能により、画面分割を行いながら近距離映像１１と遠距離映像１３のそれぞれについて座標変換等の画像処理を行うようになっている。

そして、画像処理ＥＣＵ３１での第１のモードと第２のモードとの切り換えは、例えばタッチセンサーや押しボタンスイッチ等の図示しない何らかの操作入力装置で操作が行われたことを契機に実行されてもよいが、例えば車載ＬＡＮ３５に接続されたソナー等の各種センサー４１からなんらかの検出信号が与えられたときに、自動的に切り替えるようにすることが望ましい。例えば、初期的に第１のモードが選択されている場合に、各種センサー４１として、上述のように、車速センサーとソナーセンサーを利用し、車速センサーが一定速度以下の後進車速を検出し、且つソナーセンサーが車両後方の障害物を検出したときに、第１のモードから第２のモードに切り替わるなどの自動的な切り換えが行われる。

また、各モードにおいて座標変換の際に使用される変換テーブルは、それぞれのモードについて複数用意されており、所定の操作入力装置（図示省略）によりユーザが操作を行ったときに、その操作入力装置からの信号に基づいて選択的に使用される。

尚、表示装置１５としては、カーナビゲーションシステム等のモニタ装置が兼用される。

＜動作＞
上記構成の車両周辺視認装置の動作例を、図６のフローチャートに沿って説明する。まず、図６中のステップＳ１の如く、エンジンスタートと同時に車両周辺視認装置の電源をオンにしてこれを起動する。

次に、ステップＳ２において、各種センサー４１から所定の情報が与えられると、この情報に基づいて車両の状況を判断する。例えば、車速センサーが一定速度以下の後進車速を検出し、且つソナーセンサーが車両後方の障害物を検出したか否かによって、近距離映像１１として拡大（縮尺変更）映像が必要か否か（即ち、第１のモードか第２のモードか）を判断する。あるいは、ユーザーにより図示しない操作入力装置が操作されることをもって、第１のモードか第２のモードかを選択してもよい。

これと並行して、複数の変換テーブルの全てを不揮発性メモリ５５から読み出し、ステップＳ３において、これらの全てを変換テーブル用メモリ４９（ＳＤＲＡＭ等）に一時的に格納する。

次に、ステップＳ４において、ステップＳ２で判断した車両の状況に応じて、バックカメラ２１からの映像が選択され、さらにステップＳ５において、画像処理ＥＣＵ３１により、変換テーブル用メモリ４９内のデータ（変換テーブル等）のうち、車両の状況に適したものを参照して、バックカメラ２１から読み込んだ映像の移動先のアドレスを知り、そのアドレスにバックカメラ２１からの近距離映像１１及び遠距離映像１３のそれぞれを移動させる。このようにして、画面分割を行いながら近距離映像１１と遠距離映像１３のそれぞれについて座標変換等の画像処理が行われる。

しかる後、画像処理ＥＣＵ３１からのフレーム毎の映像信号がモニターＩ／Ｆ部４５に出力され、ステップＳ６のように、このモニターＩ／Ｆ部４５を通じて表示装置（ディスプレイ）１５に映像の表示が行われる。

この際、図２及び図３の如く、近距離映像１１について視点変換を行って幾何学補正により平面視座標に視点変換を行う一方、遠距離映像１３については、斜めに見下ろす視点のまま表示されるので、映像の全画面について平面視座標に視点変換を行う従来の例（図１０〜図１２）のように、遠距離映像１３について何が映り込んでいるのか判別できないほど画像が歪んで表示されてしまう事態を防止できる。特に、バックカメラ２１等の撮像手段に例えば広視野角カメラを用いる場合には、遠距離映像に地面ではなく高さのある物体が映り込むと、この物体の撮像映像を幾何学補正により平面視座標に座標変換を行う場合、画像が歪んで表示されることで物体が変形して違和感が大きくなってしまう傾向にあるのに対して、この実施形態では、遠距離映像に映し込まれた物体の変形を抑制して違和感をなくすことができる。

また、第１のモードにおいては、遠距離映像１３の横方向のレンジ調整等を、境界線６２を隔てた近距離映像１１に整合するように行うことで、境界線６２の上下両側に表示される映像の繋ぎ目が自然に表示される。

さらに、各種センサー４１から得られた情報に基づいて判断された車両の状況に応じて、またはユーザーの操作に基づいて、特に近距離映像１１の拡大（縮尺変更）表示を行うか否かについてモード（第１のモード及び第２のモード）の変換を行うことができるので、運転者（ユーザー）にとって視認しやすい車両周辺の映像を表示装置１５に表示できる。

特に、第２のモードにおいては、近距離映像１１の拡大（縮尺変更）表示が行われるので、この近距離映像１１に映り込んだ他の車両や壁等の障害物等までの距離感を、感覚的に例えば１０ｃｍ単位程度の距離感で把握できる。

また、この第２のモードにおいて、遠距離映像１３を上下方向に縮小（縮尺変更）して表示することで、近距離映像１１の拡大（縮尺変更）表示により減少された画角範囲の映像を、遠距離映像１３側に追加で表示することができ、視認しやすい映像を表示装置１５に表示できる。

さらに、不揮発性メモリ５５内に予め格納された複数の変換テーブルの全てを読み出して変換テーブル用メモリ４９内に格納し、車両の状況に応じて変換テーブル用メモリ４９内の複数の変換テーブルを参照するようにしているので、車両の状況の変化に素早く対応して最適な変換テーブルを容易に適用することができる。

さらにまた、例えばカーナビゲーション装置等の所定の電子ユニットの操作入力装置を用いて、各モード（第１のモード及び第２のモード）毎に、上下の映像の境界線６２を上下移動させることが可能であるので、ユーザーが実際に図２または図３に示した映像を視認した際に、ユーザーが感覚的に把握しやすいように、その境界線６２の位置を自由に調整できる。また、このように変更された境界線６２の位置が、書き換え可能な不揮発性メモリ５５に書き込まれ、次回に車両周辺視認装置を起動した際に、初期的に前回調整された境界線６２の位置が再現されるようになっているので便利である。

尚、上記実施形態では、表示装置１５の下側に表示される近距離映像１１と、上側に表示される遠距離映像１３とが連続するように配置されていたが、例えば図７の如く、上下の画面の間に映像を表示しない領域６５を配置してもよい。これにより、上下の画面で画像処理の方法及び見え方が異なっていることを、ユーザーが直感的に理解することができるようになる。

また、上記実施形態では、遠距離映像１３について、近距離映像１１との境界線６２の両側で違和感の無いように座標変換を行っていたが、一切の座標変換を行わずに、図１に示した元映像の一部１３をそのまま表示するようにしてもよい。これにより、遠距離映像１３に対する画像処理が容易となり、画像処理ＥＣＵ３１の画像処理ＡＳＩＣ４７の構成やＣＰＵ５３で扱うソフトウェアプログラムを簡素化できるとともに、素早い画像処理を行うことができる。

さらに、上記実施形態では、バックカメラ２１を例に挙げて説明したが、同様の画像処理を、フロントカメラ２３、サイドカメラ２５及びその他車載カメラ２７に適用しても差し支えない。

本発明の一の実施形態に係る車両周辺視認装置のカメラで撮像された元映像を示す図である。 本発明の一の実施形態に係る車両周辺視認装置において第１のモードで表示された表示例を示す図である。 本発明の一の実施形態に係る車両周辺視認装置において第２のモードで表示された表示例を示す図である。 本発明の一の実施形態に係る車両周辺視認装置を示すブロック図である。 本発明の一の実施形態に係る車両周辺視認装置の画像処理ＥＣＵの内部構成を示すブロック図である。 本発明の一の実施形態に係る車両周辺視認装置の動作を示すフローチャートである。 本発明の一の実施形態に係る車両周辺視認装置の変形例の表示例を示す図である。 カメラで撮像された元映像を示す図である。 車両におけるカメラの設置位置の例を示す図である。 従来の車両周辺視認装置において幾何学補正により平面視座標に座標変換を行った映像例を示す図である。 幾何学補正により平面視座標に座標変換を行う場合の問題点を説明するための原理図である。 従来の車両周辺視認装置において幾何学補正により平面視座標に座標変換を行った映像例を示す図である。 従来の車両周辺視認装置において幾何学補正により平面視座標に座標変換を行った映像例を示す図である。

符号の説明

１１ 近距離映像
１３ 遠距離映像
１５ 表示装置
２１ バックカメラ
２９，３５ 車載ＬＡＮ
３１ 画像処理ＥＣＵ
４１ 各種センサー
４９ 変換テーブル用メモリ
５５ 不揮発性メモリ

Claims (10)

1. 車両の周辺の映像を所定の撮像手段で撮像して車内の表示手段に表示する車両周辺視認装置であって、
   所定の設置位置から斜めに見下ろす視点で元映像を撮像する前記撮像手段と、
   前記表示手段と、
   前記元映像のうち、近距離映像と遠距離映像とに映像分割を行い、前記近距離映像については幾何学補正により平面視座標に座標変換を行う一方、前記遠距離映像については、斜めに見下ろす視点のままとして、前記近距離映像と前記遠距離映像とを上下に並べるように映像合成を行って、前記表示手段に表示する画像処理手段と
   を備える車両周辺視認装置。
2. 請求項１に記載の車両周辺視認装置であって、
   前記画像処理手段が、上下に画像合成される前記近距離映像及び前記遠距離映像の間で、境界線において違和感がないように、前記近距離映像及び／または前記遠距離映像について座標変換及び／または縮尺変更を行うことを特徴とする車両周辺視認装置。
3. 請求項１または請求項２に記載の車両周辺視認装置であって、
   前記画像処理手段が、前記近距離映像の視点変換映像を拡大し、且つ前記遠距離映像において、前記近距離映像で拡大されて画角範囲内に入らなくなった映像範囲を含ませるよう、画像処理を行うことを特徴とする車両周辺視認装置。
4. 請求項１から請求項３のいずれかに記載の車両周辺視認装置であって、
   前記近距離映像が、車両を停車直前の所定距離の位置から目標の停車位置に近付けるため必要な範囲に設定された車両周辺視認装置。
5. 請求項１から請求項４のいずれかに記載の車両周辺視認装置であって、
   前記画像処理手段が、前記近距離映像と前記遠距離映像の間に映像を表示しない領域を配置して画像合成することを特徴とする車両周辺視認装置。
6. 請求項１から請求項５のいずれかに記載の車両周辺視認装置であって、
   前記画像処理手段が、前記近距離映像に対して前記遠距離映像との境界線における縮尺レンジを同等とする第１のモードと、前記近距離映像を拡大表示する第２のモードに切り換え可能とされたことを特徴とする車両周辺視認装置。
7. 請求項６に記載の車両周辺視認装置であって、
   前記画像処理手段が、所定の車内通信網を通じて得られた車両の状況及び／または所定の操作入力装置での操作に応じて、前記第１のモードと前記第２のモードとを切り換えることを特徴とする車両周辺視認装置。
8. 請求項６または請求項７に記載の車両周辺視認装置であって、
   前記画像処理手段が、予め用意された複数の変換テーブルの中から選択した変換テーブルを用いて座標変換を行い、前記第１のモードと前記第２のモードとを切り換えることを特徴とする車両周辺視認装置。
9. 請求項８に記載の車両周辺視認装置であって、
   前記画像処理手段が、所定の不揮発性メモリ内に予め格納された複数の変換テーブルの全てを所定の変換テーブル用メモリ内に格納し、当該変換テーブル用メモリから選択した変換テーブルを用いて座標変換を行い、前記第１のモードと前記第２のモードとを切り換えることを特徴とする車両周辺視認装置。
10. 請求項１から請求項９のいずれかに記載の車両周辺視認装置であって、
    前記画像処理手段が、前記遠距離映像について、元映像の遠距離映像をそのまま、拡大または縮小して映像合成することを特徴とする車両周辺視認装置。