JP5223811B2 - 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法 - Google Patents

Description

本発明は、例えば車両に搭載され、車両の周囲を撮影する撮像装置からの画像を補正するのに好適な画像補正装置、画像補正方法及びそれらに用いられる変換マップ作成方法に関する。

例えば、特許文献１には、左右及び後方の画像を同時に液晶パネル上に表示する車両周辺状況表示装置が開示されている。この車両周辺状況表示装置では、左右ドアミラー近傍に取り付けられたＣＣＤカメラにより車両の左右側方画像を撮影し、車両後部に取り付けられたＣＣＤカメラにより車両後部画像を撮影する。そして、左右側方及び後方の３つの画像の無限遠点を合わせて１つの無限遠点を設定し、１つの仮想視点からみたように左右側方及び後部画像を画像合成する。

特開平１０−２５７４８２号公報

上述した車両周辺状況表示装置のように、３つの画像の無限遠点を一致させるように、画像合成すると、路面に描かれた白線などは、左右側方画像と後部画像間で連続して表示されるようになる。

しかしながら、通常、左右側方画像を撮影するＣＣＤカメラと後部画像を撮影するＣＣＤカメラの光軸の向きが路面と平行な方向よりも下向きに設定されるので、左右側方画像と後部画像に表示される立体物の傾きが不連続となり、分かりにくい表示となってしまう。

この点について、図面に基づいて、詳しく説明する。まず、図４に示すように、車両の後部にＣＣＤカメラを設置し、そのＣＣＤカメラにより車両の後方を撮影する状況を想定する。車両の後方には、車道の左右両側に、高さ１．５ｍのポールが２ｍ間隔で設定されている。なお、ＣＣＤカメラとポールとの車幅方向の間隔は、２．６ｍである。また、ＣＣＤカメラの車幅方向の画角は１３０度である。

このような状況において、ＣＣＤカメラの光軸が路面と平行である場合には、図１４（ａ），（ｂ）に示すように、車道の左右両側に設置された各ポールは、カメラ画像において垂直方向に伸びるように表示される。すなわち、図１４（ａ），（ｂ）のように、ＣＣＤカメラの設置高さが変化しても、ＣＣＤカメラの光軸が路面と平行である限り、垂直方向に表示されるべき表示物が、垂直方向から傾いて表示されることはない。

しかしながら、車両に搭載されるＣＣＤカメラは、通常、車両の近傍の状況を監視するための役割も担っている。このため、ＣＣＤカメラは、その光軸が、路面と平行ではなく、路面と平行な方向よりも下向きとなるように、車両に搭載される。例えば、ＣＣＤカメラの光軸が車両と平行な方向から２５度だけ下向きに設定された場合、車道の左右両側のポールは、図１５（ａ）、（ｂ）に示すように、垂直方向から傾いて表示されるようになる。そして、傾き角度は、画像の中心から離れるほど大きくなる。

このように、カメラ画像の周辺に存在する表示物ほど傾き角度が大きくなり、歪んだように表示されるので、カメラ画像からその表示物を識別しにくくなってしまう。さらに、周辺ほど表示物の傾きが大きくなる画像同士をつなぎ合わせて表示する場合、つなぎ合わせる画像の周辺部同士で、表示物の傾く方向が異なるため、画像間の境界部分に表示された表示物が、特に認識困難となる。

本発明は、上述した点に鑑みてなされたものであり、撮像装置の光軸が地面と平行な方向よりも下向きもしくは上向きに設定された場合であっても、認識が容易な画像表示を行ないえる画像補正装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の画像補正装置は、
光軸が地面と平行な方向よりも下向きもしくは上向きに設定され、画像を撮影する撮像手段と、
撮像手段によって撮影された画像において、地面から垂直方向に表示されるべきであるにも係らず、垂直方向から傾いて表示される表示物について、その傾きを是正した補正画像を得るために、撮像手段によって撮影された画像と補正画像との画素位置の関係を示す変換マップを記憶した記憶手段と、
記憶手段に記憶された変換マップに従い、撮像手段によって撮影された画像の画素位置を変換して、補正画像を生成する補正画像生成手段と、
補正画像生成手段によって生成された補正画像を表示する表示手段と、を備えることを特徴とする。

上述したように、請求項１に記載の画像補正装置によれば、光軸が下向きもしくは上向きに設定された撮像手段によって撮影された画像をそのまま表示するのではなく、変換マップに従って、撮影された画像の画素位置を変換した補正画像を生成し、その補正画像を表示する。ここで、変換マップは、撮影された画像において、地面から垂直方向に表示されるべきであるにも係らず、垂直方向から傾いて表示される表示物について、その傾きを是正した補正画像を得るために、撮影された画像と補正画像との画素位置の関係を示すものである。従って、変換マップを用いて生成された補正画像では、表示物の垂直方向からの傾きが是正されているので、その補正画像から、表示物を容易に認識することが可能になる。また、変換マップを用いることにより、補正画像の生成処理を素早く行なうことができるので、例えば撮像手段によって連続的に画像が撮影された場合であっても、過度な時間遅れを生じることなく、補正画像を連続的に生成して表示することができる。

請求項２に記載したように、撮像手段は車両に搭載され、車両周囲の画像を撮影するものであることが好ましい。車両に搭載される撮像手段は、車両近傍の状況を確認する役割があるので、通常、その光軸は路面と平行な方向よりも下向きに設定されるためである。

請求項３に記載したように、車両には、撮影される画像の範囲が少なくとも隣接するように、当該車両の異なる位置に複数の撮像手段が搭載され、
記憶手段は、複数の撮像手段の画像の画素位置を変換するための変換マップを個別に記憶しており、
さらに、補正画像生成手段により、複数の撮像手段によって撮影された画像から変換マップを用いて生成された複数の補正画像を組み合わせた組合せ画像を生成する組合せ画像生成手段を備え、
表示手段は、組合せ画像生成手段によって生成された組合せ画像を表示することが好ましい。

変換マップを用いて生成される補正画像では、上述したように、表示物の垂直方向からの傾きが是正されている。従って、複数の画像を組み合わせて（つなぎ合せて）表示する場合であっても、それら複数の画像として複数の補正画像を用いることにより、組み合わされる画像間の境界部分において、表示物の傾きが不連続となることが抑制される。従って、その境界部分に表示される表示物の認識も容易になる。

請求項４に記載したように、組合せ画像生成手段は、複数の補正画像の境界部分であって、車両から所定距離離れた位置に存在する物体が、複数の補正画像の境界部分において連続的に表示されるように、少なくとも一方の補正画像の大きさを調整して複数の補正画像を組み合わせることが好ましい。

複数の撮像手段によって同じ物体が同時に撮影される場合、複数の撮像手段は、車両の異なる位置に搭載されるため、物体までの距離が異なる場合がある。例えば、複数の撮像手段が、左右ドアミラー近傍と車両の後部とに設置され、車両の後方を撮影する場合、左右ドアミラー近傍に設置された撮像手段と、車両後部に設置された撮像手段とでは、車両の後方に存在する物体までの距離が相違する。このため、複数の撮像手段によって撮影された画像の画素位置を変換して生成された補正画像では、同一物体であるにもかかわらず、その物体の大きさが異なることになる。そこで、請求項４では、少なくとも一方の補正画像の大きさを調整する。これにより、車両から所定距離離れた物体が複数の補正画像の境界部分において連続的に表示されるようになる。

ただし、上述したように、車両から所定距離離れた物体が、複数の補正画像の境界部分において連続的に表示されるように、少なくとも一方の補正画像の大きさを調整して、複数の補正画像を組み合わせる場合、その所定距離以外の距離に存在する物体に関しては、複数の補正画像間の境界部分において大きさのずれが生じる。このずれは、物体までの距離と所定距離との差が大きくなるほど大きくなるが、一方で、車両からの距離が長くなるほど小さくなる。このように、所定距離以外の距離に存在する表示物に関して大きさのずれが生じるので、特に、最も物体を検知したい距離（例えば２０ｍなど）を、所定距離として定めることが好ましい。なお、この所定距離は、ユーザが設定可能としても良い。

請求項５に記載したように、車両の周囲の物体までの距離を検出する物体検出手段を備え、組合せ画像生成手段は、物体検出手段によって検出された物体までの距離に応じて、その距離の物体が複数の補正画像において連続的に表示されるように、少なくとも一方の補正画像の大きさを調整して複数の補正画像を組み合わせるようにしても良い。このように、物体までの距離を検出する物体検出手段を用いることにより、検出された物体までの距離に応じて、補正画像の大きさを調整することができるので、物体までの距離によらず、補正画像間の境界部分における表示像の大きさがずれることを抑制することができる。

ただし、物体検出手段により、車両から距離が異なる複数の物体が検出されたときには、請求項６に記載したように、組合せ画像生成手段は、車両に最も近い物体までの距離に応じて、少なくとも一方の補正画像の大きさを調整することが好ましい。これにより、自車両の運転に及ぼす影響度合がより大きい、車両までの距離が近い物体を優先して、その物体が認識しやすい表示を行なうことができる。

また、物体検出手段により、車両の周囲に物体が検出されないときには、請求項７に記載したように、組合せ画像生成手段は、複数の補正画像において車線を示す区画線が連続するように複数の補正画像を組み合わせることが好ましい。これにより、複数の補正画像の連続感を高めることができる。

請求項８〜請求項１３に記載の画像補正方法は、請求項１〜請求項７に記載の画像補正装置において実行される処理方法を記載したものであり、それらの作用効果は、請求項１〜請求項７と同様であるため、説明を省略する。

請求項１４は、上述した請求項１乃至請求項１３に用いられる変換マップの作成方法に関するものであり、
撮像手段によって撮影される画像のなかで、補正画像として出力される画像範囲において、水平方向に渡って、所定数の画素毎に仮想視点を設定する仮想視点設定ステップと、
仮想視点設定ステップによって設定された仮想視点毎に、撮像手段によって撮影された画像から、仮想視点を中心とする、当該仮想視点位置における表示物の垂直方向の傾きが是正された仮想視点画像を生成する仮想視点画像生成ステップと、
仮想視点画像生成ステップによって仮想視点毎に生成される各仮想視点画像の中心部分の垂直方向に並んだ画素位置に基づいて、撮像手段によって撮影された画像と補正画像との画素位置の関係を決定して、変換マップを作成する作成ステップと、からなる。

仮想視点画像は、仮想視点が中心となる画像であるため、その仮想視点位置においては、表示物の垂直方向の傾きが是正されている。従って、仮想視点画像の中心部分の垂直方向に並んだ画素は、補正画像を生成する際に利用すべき画素となる。全ての仮想視点画像において、垂直方向に並んだ画素が、撮影された画像におけるいずれの画素位置に対応するかを調べることにより、撮影された画像と補正画像との画素位置の関係を決定することができる。そして、このようにして決定された画素位置の関係を全て集めたものが変換マップとなる。

請求項１５に記載したように、前記仮想視点画像生成ステップは、
前記撮像手段によって撮影された画像を鳥瞰変換して鳥瞰画像を作成する鳥瞰変換ステップと、
前記撮像手段が画像を撮影するときの視点と、前記仮想視点設定ステップによって設定された仮想視点との角度差に応じて、当該仮想視点が中心となるように、前記鳥瞰変換ステップにより作成された鳥瞰画像を前記撮像手段の位置を基準に回転させる鳥瞰画像回転ステップと、
前記鳥瞰画像回転ステップにより回転された鳥瞰画像に対して、前記鳥瞰変換ステップにおける鳥瞰変換とは逆の鳥瞰逆変換を行なうことにより、前記仮想視点画像を生成する鳥瞰逆変換ステップとからなることが好ましい。このように、一旦、鳥瞰画像に変換して、仮想視点を中心とする鳥瞰画像を逆変換することにより、仮想視点における垂直物の傾きが適切に是正された仮想視点画像を得ることができる。

請求項１６に記載したように、仮想視点設定ステップでは、１画素毎に仮想視点を設定することが好ましい。これにより、最大限、補正画像における傾きを是正することが可能な変換マップを作成することができる。

本発明の第１実施形態による画像補正装置の構成を示す構成図である。 図１の画像補正装置における画像補正のための処理を示すフローチャートである。 変換マップ作成方法を示すフローチャートである。 変換マップ作成のための、仮想視点を説明するための説明図である。 （ａ）〜（ｃ）及び（ｅ）〜（ｇ）は仮想視点画像を示し、（ｄ）及び（ｈ）は、それぞれの仮想視点画像の中心部分の垂直方向に並んだ画素を抽出して合成したときに得られる補正画像を示す説明図である。 本発明の第２実施形態による画像補正装置の構成を示す構成図である。 図６の画像補正装置における画像補正のための処理を示すフローチャートである。 左側のドアミラー近傍に搭載したカメラによって撮影された画像の一例である。 左側ドアミラー近傍に搭載したカメラに対して設定される仮想視点を示す図である。 仮想視点Ｎによる仮想視点画像である。 左側のドアミラー近傍に搭載したカメラによって撮影された画像の補正画像である。 左右側方画像と後部画像とを組み合わせた組合せ画像であり、（ａ）が従来技術による画像、（ｂ）が実施形態による画像である。 左右側方画像と後部画像とを組み合わせた組合せ画像であり、（ａ）が従来技術による画像、（ｂ）が実施形態による画像である。 （ａ），（ｂ）は、車両後部に設置されたカメラの光軸が路面と平行である場合に、カメラ画像において、垂直なポールがどのように表示されるかを説明するための図である。 （ａ），（ｂ）は、車両後部に設置されたカメラの光軸が下向きである場合に、カメラ画像において、垂直なポールがどのように表示されるかを説明するための図である。 鳥瞰画像の生成方法を説明するための説明図である。

（第１実施形態）
まず、本発明の第１実施形態について、図面に基づいて詳細に説明する。図１は、本発明の第１実施形態による画像補正装置の構成を示す構成図である。本実施形態においては、撮像手段としてのＣＣＤカメラが車両後部に搭載されて車両後方の様子を撮影する場合に、その撮影した画像を補正する例について説明する。

図１に示すように、画像補正装置は、ＣＣＤカメラ１０、画像処理ＥＣＵ２０、及び表示装置３０とから構成される。

ＣＣＤカメラ１０は、車両の後部、具体的には、車両の後部ドアやトランクに、光軸が路面と平行な方向よりも下向きとなるように設置される。このＣＣＤカメラ１０による車両後方の撮影範囲は、予め定められている。従って、ＣＣＤカメラ１０を車両の後部に設置する際には、実際の撮影範囲が予め定められた撮影範囲に一致するように、ＣＣＤカメラ１０の光軸の向きが調整される。

なお、ＣＣＤカメラ１０を車両に設置した後、ソフト処理によるキャリブレーション（較正）を実施しても良い。このソフト処理によるキャリブレーションでは、例えば、車両からの設置場所までの距離、高さ、方位が予め定められた所定の大きさのボードを用いることができる。すなわち、予め設置場所が定められたボードは、ＣＣＤカメラ１０の光軸が狙いとする光軸に一致していれば、ボードが映し出される位置は、ＣＣＤカメラ１０によって撮影された画像中において、ボードの設置場所や大きさに応じて定まる予定位置となる。換言すれば、ボードが映し出される位置が予定位置と異なっている場合には、ＣＣＤカメラ１０の光軸が、狙いとする光軸からずれていることを意味する。このような場合には、ボードが映し出された位置が予定位置となるように、画像のＸ軸及びＹ軸方向における差異を解消するための変換パラメータを定める。そして、ＣＣＤカメラ１０によって撮影された画像を変換パラメータを用いて補正する。これにより、ＣＣＤカメラ１０から、予め定められた撮影範囲の画像が得られるようになる。このようなソフト処理によるキャリブレーションは、画像処理ＥＣＵ２０によって実施することができる。なお、ソフト処理によるキャリブレーションを実施する場合、予め定められた撮影範囲は、ＣＣＤカメラ１０が撮影可能な最大範囲よりも小さく設定される。

画像処理ＥＣＵ２０は、ＣＣＤカメラ１０から出力された画像に対して、変換マップ２１を用いて補正処理を行ない、補正処理した補正画像を表示装置３０に出力して表示させるものである。すなわち、画像処理ＥＣＵ２０は、図２のフローチャートに示すように、まず、ＣＣＤカメラ１０によって撮影された画像を取り込む（ステップＳ１１０）。この画像の取り込みは、例えば車両が後退方向に向かって走行する際に、所定時間間隔で実行される。次に、画像処理ＥＣＵ２０は、内部メモリに記憶されている変換マップ２１を用いて、カメラ画像の画素位置を変換することにより補正画像を生成する（ステップＳ１２０）。そして、生成した補正画像を、車両のインストルメントパネルに設置された液晶ディスプレイなどの表示装置に出力することにより、補正画像を表示させる（ステップＳ１３０）。

ここで、変換マップ２１について説明する。この変換マップ２１は、カメラ画像において、本来、路面から垂直方向に表示されるべきであるにも係らず、垂直方向から傾いて表示される表示物について、その傾きを是正した補正画像を得るために、カメラ画像と補正画像との画素位置の関係を示すものである。この変換マップ２１の作成方法について、図３のフローチャート、及び図４，５の説明図に基づいて詳しく説明する。

まず、図３のフローチャートのステップＳ２１０において、撮影範囲が予め定められた撮影範囲に一致するように車両に搭載されたＣＣＤカメラ１０から、カメラ画像を取り込む。

ここで、ＣＣＤカメラ１０の搭載された車両が、図４に示すように、車道の左右両側に、高さ１．５ｍのポールが２ｍ間隔で設置された道路を走行した状況を想定する。この場合、ＣＣＤカメラ１０の光軸は、路面と平行な方向よりも下向きに設定されているので、得られるカメラ画像では、図１５（ａ）、（ｂ）に示すように、垂直方向に伸びるポールが、垂直方向から傾いて表示される。この傾き角度は、画像の中心から離れるほど大きくなる。

続くステップＳ２２０では、取り込まれたカメラ画像に対して仮想視点を設定するとともに、設定される仮想視点のうち、１つの仮想視点を選択する。この仮想視点は、カメラ画像において、補正画像として出力される画像範囲において、水平方向に渡って、所定数の画素毎に設定される。例えば、図４に示される、仮想視点Ａ，Ｂ，Ｃは、設定される仮想視点の一部を示すものである。なお、本実施形態では、仮想視点が、カメラ画像の水平方向に渡って、１画素毎に設定される。これにより、詳しくは後述するが、最大限、補正画像における傾きを是正することが可能な変換マップを作成することができる。

ステップＳ２３０では、ステップＳ２２０で選択された仮想視点が中心となる仮想視点画像を、取り込んだカメラ画像を画像処理することにより生成する。具体的に説明すると、まず、ＣＣＤカメラ１０によって撮影されたカメラ画像を、鳥瞰変換して鳥瞰画像を生成する。この鳥瞰変換は、公知であり、例えば特開平１０−２１１８４９号公報に詳しく説明されているが、簡単に説明すると、図１６に示すように、地上面座標系（ｘ、ｙ、ｚ）の画像データを、地上からの高さＨにあるカメラ位置Ｒから焦点距離ｆにあるスクリーン平面Ｔに投影する透視変換を行なうものである。なお、図１６では、カメラ１０は、見下ろし角τで下向きに設置されている。

ここで、ＣＣＤカメラ１０によって撮影される画像は、図４に示すように、車両の真後ろを向く視点Ｘにより車両後方を撮影したものである。鳥瞰画像を生成した後、ステップＳ２３０の処理では、生成された鳥瞰画像を、視点Ｘと選択した仮想視点との角度差に応じ、カメラ位置Ｒを基準（中心）として、仮想視点が元の視点Ｘの位置、すなわち、生成された元の鳥瞰画像の水平方向における中心位置となるまで回転させる。

さらに、回転させた鳥瞰画像に対して、上述した鳥瞰変換とは逆の鳥瞰逆変換を行なうことにより、仮想視点画像として、図１６に示す地上面座標系（ｘ、ｙ、ｚ）における画像データを生成する。

取り込んだカメラ画像に対して、このような画像処理を行なうことにより、あたかも選択した仮想視点から見たかのような仮想視点画像を生成することができる。

例えば、図５（ａ）、（ｂ）、（ｃ）は、ＣＣＤカメラ１０の路面からの設置高さが０．７５ｍである場合の、カメラ画像を仮想視点Ａからみた仮想視点画像、仮想視点Ｂから見た仮想視点画像、及び仮想視点Ｃから見た仮想視点画像を示している。また、図５（ｅ）、（ｆ）、（ｇ）は、ＣＣＤカメラ１０の路面からの設置高さが１．５ｍである場合の、カメラ画像を仮想視点Ａからみた仮想視点画像、仮想視点Ｂから見た仮想視点画像、及び仮想視点Ｃから見た仮想視点画像を示している。

これらの仮想視点画像から分かるように、各仮想視点画像は、仮想視点が水平方向の中心位置となる画像であるため、その仮想視点位置においては、表示物の垂直方向の傾きが是正されている。従って、仮想視点画像の中心部分の垂直方向に並んだ画素を、各仮想視点画像から抽出して組み合わせることにより、図５（ｄ）又は図５（ｈ）に示すように、表示物の垂直方向の傾きが是正された補正画像を得ることができる。

ここで、本実施形態では、カメラ画像の水平方向の１画素毎に仮想視点を設定している。このため、各仮想視点に対して生成される仮想視点画像においては、仮想視点位置において垂直方向に並んだ１列の画素列のみが抽出される。１つの仮想視点画像において複数の画素列を抽出する場合には、画像中心から離れるほど、表示物の傾きが大きくなるが、本実施形態では、カメラ画像の１画素毎に仮想視点を設定しているので、１つの仮想視点画像において複数の画素列を抽出する必要がない。従って、本実施形態によれば、最大限、補正画像における傾きを是正することが可能となる。ただし、表示物の多少の傾きを許容する場合には、カメラ画像において、複数画素毎に仮想視点を設定しても良い。

ステップＳ２４０では、ステップＳ２３０にて生成した仮想視点画像において、中心部分の垂直方向に１列に並んだ画素に対応する、カメラ画像の画素位置を仮想視点に関連付けて記憶する。そして、ステップＳ２５０では、設定した全ての仮想視点による仮想視点画像が生成されたかを判定し、生成されていない場合には、ステップＳ２２０の処理に戻る。この場合、ステップＳ２２０では、設定された仮想視点の中で、まだ仮想視点画像を生成していない仮想視点を選択し、ステップＳ２３０以降の処理を実行する。

このようにして、ステップＳ２２０〜Ｓ２５０の処理が繰り返されることにより、ステップＳ２５０において、全ての仮想視点画像が生成されたと判定した場合には、ステップＳ２６０の処理に進む。ステップＳ２６０では、記憶したカメラ画像の画素位置を、仮想視点の順序に従って組み合わせることにより、カメラ画像を補正画像に変換するための変換マップを作成する。

このようにして作成された変換マップに従って、取り込んだカメラ画像の画素位置を補正画像の画素位置に変換することにより、図５（ｄ）、（ｈ）に示すような、表示物の垂直方向からの傾きが是正された補正画像を生成することができる。従って、その補正画像が表示されることにより、表示物を容易に認識することが可能になる。また、本実施形態では、カメラ画像が取り込まれたときに、補正画像として組み合わせるべき仮想視点毎の画素の抽出や合成を行なうのではなく、予め、カメラ画像と補正画像との画素位置の関係を変換マップとして記憶しているので、補正画像の生成処理を素早く行なうことができる。従って、例えばＣＣＤカメラ１０によって連続的に画像が撮影される場合であっても、過度な時間遅れを生じることなく、補正画像を連続的に生成して表示することができる。

（第２実施形態）
次に、本発明の第２実施形態について、説明する。図６は、第２実施形態による画像補正装置の構成を示す構成図である。

図６に示すように、本実施形態では、いずれも光軸が下向きに設定された複数の（３台の）ＣＣＤカメラ１１〜１３が車両に搭載され、これら複数のＣＣＤカメラ１１〜１３によって撮影された画像を組み合わせて表示する点が、第１実施形態と異なる。

第１のＣＣＤカメラ１１は、第１実施形態のＣＣＤカメラ１０と同様に、車両後部に搭載されて車両後方の様子を撮影する。第２のＣＣＤカメラ１２は、車両の左側のドアミラー近傍に設置され、車両の左側方から左後方にかけての様子を撮影する。また、第３のＣＣＤカメラ１３は、車両の右側のドアミラー近傍に設置され、車両の右側方から右後方にかけての様子を撮影する。第１のＣＣＤカメラ１１によって撮影される画像に含まれる範囲が、第２及び第３のＣＣＤカメラ１２，１３によって撮影される画像に含まれる範囲と隣接するか、もしくは一部オーバーラップするように、各々のＣＣＤカメラ１１〜１３の撮影画像範囲が設定されている。

また、画像処理ＥＣＵ２０は、第１〜第３のＣＣＤカメラ１１〜１３によって撮影された画像を、補正画像に変換するための個別の変換マップ２２〜２４を内部メモリに記憶している。ＣＣＤカメラの設置高さや、路面と平行な方向から下向きとする角度が異なる場合、補正画像を生成するためのカメラ画像の画素位置が変化する。従って、本実施形態では、複数のＣＣＤカメラ１１〜１３に対応して、それぞれ専用の変換マップが作成され、画像処理ＥＣＵ２０の内部メモリに記憶されているのである。

ここで、左側のドアミラー近傍に設置された第２のＣＣＤカメラ１２を例に取り、第２のＣＣＤカメラ１２に対応する変換マップの作成方法について簡単に説明する。

車両の左側のドアミラーに設置されるＣＣＤカメラ１２も、その光軸が路面と平行な方向よりも下向きに設定されている。このため、図７に示すように、ＣＣＤカメラ１２によって撮影される画像においても、垂直である表示物が垂直方向から傾いて表示される。そのため、図８に示すように、ＣＣＤカメラ１２のカメラ画像において、水平方向に渡って、所定の画素数毎に仮想視点を設定する。そして、カメラ画像に対して、第１実施形態と同様な画像処理を施すことにより、各仮想視点に対応した仮想視点画像を生成して、その水平方向の中心部分において垂直方向に並んだ画素に対応する、カメラ画像の画素位置を記録していく。なお、図９は、仮想視点Ｎから見た仮想視点画像を示している。

このように記録されたカメラ画像の画素位置を仮想視点の順序に従って組み合わせることにより、第２のＣＣＤカメラ１２の撮影画像に対応した変換マップを作成することができる。そして、この変換マップに従って、第２のＣＣＤカメラ１２によって撮影された画像の画素位置を変換することにより、図１０に示すような、垂直方向の傾きが是正された補正画像を生成することができる。

その他の構成は、第１実施形態と同様であるため、説明を省略する。

次に、本実施形態における画像補正処理の内容について、図１１のフローチャートに基づいて説明する。まず、ステップＳ３１０では、複数のＣＣＤカメラ１１〜１３によって撮影された画像をそれぞれ取り込む。次に、ステップＳ３２０において、画像処理ＥＣＵ２０は、複数のＣＣＤカメラ１１〜１３によって撮影された画像から、対応する変換マップを用いて画素位置を変換することにより、補正画像をそれぞれ生成する。

続くステップＳ３３０では、ステップＳ３２０にて生成された複数の補正画像を組み合わせる補正画像合成処理を実行し、複数の補正画像を組み合わせた組合せ画像を生成する。そして、ステップＳ３４０において、組合せ画像を表示装置３０に出力することにより、組合せ画像を表示させる。

変換マップを用いて生成される補正画像では、上述したように、表示物の垂直方向からの傾きが是正される。従って、複数の補正画像を組み合わせて表示する場合、組み合わされる画像間の境界部分において、表示物の傾きが不連続となることが抑制される。この結果、その境界部分に表示される表示物の認識も容易になる。

例えば、図１２（ａ）に示す従来例のように、取得された複数のカメラ画像をそのまま用いて、それらの無限遠点が一致するように組み合わせた場合には、カメラ画像の周辺の表示物ほど傾きが大きくなり、歪んだように表示される。このため、車両の周辺の状況が認識しにくくなる。それに対して、図１２（ｂ）に示すように、本実施形態では、表示物の垂直方向からの傾きが是正された補正画像を組み合わせているので、車両の周辺の状況が認識しやすい表示を行なうことができる。さらに、図１３（ａ）では、自車両の左後方に他車両が存在する場合の、従来例による車両周辺画像を示しているが、遠方に存在する車両が非常に認識しにくいことが分かる。それに対して、図１３（ｂ）に示す本実施形態による表示では、遠方の車両も問題なく認識することができる。

ここで、ステップＳ３３０にて実行される補正画像合成処理について説明する。

例えば、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２とによって、車両後方に存在する同一物体が同時に撮影される場合、第１及び第２のＣＣＤカメラ１１，１２と物体までの距離が相違することになる。そのため、第１及び第２のＣＣＤカメラ１１，１２によって撮影された画像の画素位置を変換して補正画像を生成した場合、両方の補正画像において、同一物体であるにもかかわらず、その物体の大きさが異なることになる。

そこで、ステップＳ３３０の補正画像合成処理では、少なくとも一方の補正画像の大きさを調整する。すなわち、第１のＣＣＤカメラ１１によって撮影される画像は、第２のＣＣＤカメラ１２によって撮影される画像に比較して、物体の大きさが大きく表示されるので、第１のＣＣＤカメラ１１の撮影画像から生成した補正画像の大きさを縮小する。あるいは、第２のＣＣＤカメラ１２の撮影画像から生成した補正画像の大きさを拡大する。さらに、第１のＣＣＤカメラ１１の撮影画像から生成した補正画像の大きさを縮小しつつ、第２のＣＣＤカメラ１２の撮影画像から生成した補正画像の大きさを拡大しても良い。

このようにして、補正画像の大きさを調整した後に、両方の補正画像による表示領域が隣接しつつ、極力、奥行き方向に存在する表示物が両方の撮影画像におけるずれが小さくなるように予め設定した位置にて、両方の補正画像をつなぎ合わせて、組合せ画像とする。

奥行き方向に存在する表示物の、両方の撮影画像におけるずれを小さくするための一手法として、両方の補正画像の境界部分であって、車両から所定距離離れた位置に存在する物体を基準として、大きさの調整及びつなぎ合わせ位置を決定することができる。すなわち、車両から所定距離離れた位置に存在する物体が、補正画像の境界部分において連続的に表示されるように、少なくとも一方の補正画像の大きさを調整しつつ、つなぎ合わせ位置を決定する。これにより、車両から所定距離離れた物体が両方の補正画像の境界部分において連続的に表示されるようになる。

ただし、この場合、車両から所定距離以外の距離に存在する物体に関しては、複数の補正画像間の境界部分において大きさが異なるので、表示のずれが生じる。この表示ずれは、物体までの距離と所定距離との差が大きくなるほど大きくなるが、一方で、車両からの距離が長くなるほど小さくなる。このように、所定距離以外の距離に存在する表示物に関して表示のずれが生じるので、特に、最も物体を検知したい距離（例えば２０ｍなど）を、所定距離として定めることが好ましい。このようにすれば、最も検知した距離に存在する物体に関して大きさが同一となり、表示ずれが生じないので、認識しやすい表示を行なうことが可能になる。

なお、この所定距離はユーザが設定可能とし、ユーザが設定した所定距離に応じて、少なくとも一方の補正画像の大きさと、両方の補正画像のつなぎ合わせ位置を変更するようにしても良い。この場合、距離に応じて、調整される補正画像の大きさと、つなぎ合わせの位置が予め設定され、画像合成マップとして、画像処理ＥＣＵ２０の内部メモリに保存される。

また、例えばレーザセンサやミリ波センサなど、車両の周囲の物体までの距離を検出する物体検出装置を車両に搭載し、この物体検出装置によって検出された物体までの距離に応じて、その距離の物体が両方の補正画像において連続的に表示されるように、少なくとも一方の補正画像の大きさと、両方の補正画像のつなぎ合わせ位置を変更するようにしても良い。

このように、物体までの距離を検出する物体検出装置を用いることにより、検出された物体までの距離に応じて、補正画像の大きさを調整し、かつつなぎ合わせ位置を変更すれば、物体までの距離によらず、補正画像間の境界部分における表示像の大きさが異なったり、表示がずれたりすることを抑制できる。

ただし、物体検出装置により、車両から距離が異なる複数の物体が検出されたときには、車両に最も近い物体までの距離に応じて、少なくとも一方の補正画像の大きさを調整しつつ、つなぎ合わせ位置を変更することが好ましい。これにより、自車両の運転に及ぼす影響度合がより大きい、車両までの距離が近い物体を優先して、その物体が認識しやすい組合せ画像を表示することができる。

また、物体検出装置により、車両の周囲に物体が検出されないときには、両方の補正画像において車線を示す区画線が連続するように、予め定めた補正画像の大きさ及びつなぎ合わせ位置にて、両方の補正画像を組み合わせることが好ましい。これにより、車両の周囲に物体が検出されない場合に、両方の補正画像の連続感を高めることができる。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々の変形が可能である。

例えば、上述した各実施形態では、撮像手段としてのＣＣＤカメラを車両に搭載し、車両周辺の様子を撮影する例について説明したが、本発明による画像補正装置は、例えば、建物内や敷地内への侵入者等の監視のために、建物内や敷地内の様子を撮影するカメラの画像を補正するために用いても良い。

また、上述した各実施形態では、カメラが路面と平行な方向よりも下向きに設置された場合について説明したが、カメラが路面と平行な方向よりも上向きに設置された場合も、垂直に表示されるべき表示物が垂直方向から傾いて表示される。従って、カメラが路面と平行な方向よりも上向きに設置された場合にも本願発明を適用することが好ましい。

１０ ＣＣＤカメラ
２０ 画像処理ＥＣＵ
２１ 変換マップ
３０ 表示装置

Claims (16)

1. 光軸が地面と平行な方向よりも下向きもしくは上向きに設定され、画像を撮影する撮像手段と、
   前記撮像手段によって撮影された画像において、地面から垂直方向に表示されるべきであるにも係らず、垂直方向から傾いて表示される表示物について、その傾きを是正した補正画像を得るために、前記撮像手段によって撮影された画像と前記補正画像との画素位置の関係を示す変換マップを記憶した記憶手段と、
   前記記憶手段に記憶された変換マップに従い、前記撮像手段によって撮影された画像の画素位置を変換して、前記補正画像を生成する補正画像生成手段と、
   前記補正画像生成手段によって生成された補正画像を表示する表示手段と、を備えることを特徴とする画像補正装置。
2. 前記撮像手段は車両に搭載され、車両周囲の画像を撮影することを特徴とする請求項１に記載の画像補正装置。
3. 前記車両には、撮影される画像の範囲が少なくとも隣接するように、当該車両の異なる位置に複数の撮像手段が搭載され、
   前記記憶手段は、前記複数の撮像手段の画像の画素位置を変換するための変換マップを個別に記憶しており、
   さらに、前記補正画像生成手段により、前記複数の撮像手段によって撮影された画像から前記変換マップを用いて生成された複数の補正画像を組み合わせた組合せ画像を生成する組合せ画像生成手段を備え、
   前記表示手段は、前記組合せ画像生成手段によって生成された組合せ画像を表示することを特徴とする請求項２に記載の画像補正装置。
4. 前記組合せ画像生成手段は、前記複数の補正画像の境界部分であって、前記車両から所定距離離れた位置に存在する物体が、前記複数の補正画像の境界部分において連続的に表示されるように、少なくとも一方の補正画像の大きさを調整して前記複数の補正画像を組み合わせることを特徴とする請求項３に記載の画像補正装置。
5. 前記車両の周囲の物体までの距離を検出する物体検出手段を備え、
   前記組合せ画像生成手段は、前記物体検出手段によって検出された物体までの距離に応じて、その距離の物体が複数の補正画像において連続的に表示されるように、少なくとも一方の補正画像の大きさを調整して前記複数の補正画像を組み合わせることを特徴とする請求項３に記載の画像補正装置。
6. 前記物体検出手段により、前記車両から距離が異なる複数の物体が検出されたとき、前記組合せ画像生成手段は、前記車両に最も近い物体までの距離に応じて、少なくとも一方の補正画像の大きさを調整することを特徴とする請求項５に記載の画像補正装置。
7. 前記物体検出手段により、前記車両の周囲に物体が検出されないとき、前記組合せ画像生成手段は、前記複数の補正画像において車線を示す区画線が連続するように前記複数の補正画像を組み合わせることを特徴とする請求項５又は請求項６に記載の画像補正装置。
8. 光軸が地面と平行な方向よりも下向きに設定された撮像手段からの画像を取得する画像取得ステップと、
   前記取得ステップにより取得された画像において、地面から垂直方向に表示されるべきであるにも係らず、垂直方向から傾いて表示される表示物について、その傾きを是正した補正画像を得るための、前記撮像手段からの画像と前記補正画像との画素位置の関係を示す変換マップに従い、前記取得ステップにより取得した画像の画素位置を変換して、前記補正画像を生成する補正画像生成ステップと、
   前記生成ステップにより生成された補正画像を表示する補正画像表示ステップと、を備えることを特徴とする画像補正方法。
9. 前記撮像手段は、撮影される画像の範囲が少なくとも隣接するように、車両の異なる位置に搭載された複数の撮像手段からなり、
   前記変換マップとして、前記複数の撮像手段の画像の画素位置を変換するための変換マップが個別に設定され、
   さらに、前記補正画像生成ステップにより、前記複数の撮像手段の画像から前記変換マップを用いて生成された複数の補正画像を組み合わせた組合せ画像を生成する組合せ画像生成ステップを備え、
   前記表示ステップでは、前記組合せ画像生成ステップによって生成された組合せ画像を表示することを特徴とする請求項８に記載の画像補正方法。
10. 前記組合せ画像生成ステップでは、前記複数の補正画像の境界部分であって、前記車両から所定距離離れた位置に存在する物体が、前記複数の補正画像において連続的に表示されるように、少なくとも一方の補正画像の大きさを調整して前記複数の補正画像を組み合わせることを特徴とする請求項９に記載の画像補正方法。
11. 前記車両の周囲の物体までの距離を検出する物体検出ステップを備え、
    前記組合せ画像生成ステップは、前記物体検出ステップによって検出された物体までの距離に応じて、その距離の物体が複数の補正画像の境界部分において連続的に表示されるように、少なくとも一方の補正画像の大きさを調整して前記複数の補正画像を組み合わせることを特徴とする請求項９に記載の画像補正方法。
12. 前記物体検出ステップにおいて、前記車両から距離が異なる複数の物体が検出されたとき、前記組合せ画像生成ステップでは、前記車両に最も近い物体までの距離に応じて、少なくとも一方の補正画像の大きさを調整することを特徴とする請求項１１に記載の画像補正方法。
13. 前記物体検出ステップにおいて、前記車両の周囲に物体が検出されないとき、前記組合せ画像生成ステップは、前記複数の補正画像において車線を示す区画線が連続するように前記複数の補正画像を組み合わせることを特徴とする請求項１１又は請求項１２に記載の画像補正方法。
14. 請求項１乃至請求項１３のいずれかに記載の変換マップを作成するための方法であって、
    前記撮像手段によって撮影される画像のなかで、前記補正画像として出力される画像範囲において、水平方向に渡って、所定数の画素毎に仮想視点を設定する仮想視点設定ステップと、
    前記仮想視点設定ステップによって設定された仮想視点毎に、前記撮像手段によって撮影された画像から、仮想視点を中心とする、当該仮想視点位置における表示物の垂直方向の傾きが是正された仮想視点画像を生成する仮想視点画像生成ステップと、
    前記仮想視点画像生成ステップによって仮想視点毎に生成される各仮想視点画像の中心部分の垂直方向に並んだ画素位置に基づいて、前記撮像手段によって撮影された画像と前記補正画像との画素位置の関係を決定して、前記変換マップを作成する作成ステップと、を備えることを特徴とする変換マップ作成方法。
15. 前記仮想視点画像生成ステップは、
    前記撮像手段によって撮影された画像を鳥瞰変換して鳥瞰画像を作成する鳥瞰変換ステップと、
    前記撮像手段が画像を撮影するときの視点と、前記仮想視点設定ステップによって設定された仮想視点との角度差に応じて、当該仮想視点が中心となるように、前記鳥瞰変換ステップにより作成された鳥瞰画像を前記撮像手段の位置を基準として回転させる鳥瞰画像回転ステップと、
    前記鳥瞰画像回転ステップにより回転された鳥瞰画像に対して、前記鳥瞰変換ステップにおける鳥瞰変換とは逆の鳥瞰逆変換を行なうことにより、前記仮想視点画像を生成する鳥瞰逆変換ステップとからなることを特徴とする請求項１４に記載の変換マップ作成方法。
16. 前記仮想視点設定ステップでは、１画素毎に仮想視点を設定することを特徴とする請求項１４又は請求項１５に記載の変換マップ作成方法。