JP4976685B2

JP4976685B2 - 画像処理装置

Info

Publication number: JP4976685B2
Application number: JP2005336300A
Authority: JP
Inventors: 和彦酒井
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2005-11-21
Filing date: 2005-11-21
Publication date: 2012-07-18
Anticipated expiration: 2025-11-21
Also published as: JP2007141098A

Description

本発明は、複数のカメラで撮影された撮影画像を合成して１つの連続した表示画像を作成する画像処理装置に関する。

従来、車両の死角領域の視界を確保して運転者の運転操作を支援する目的で、車両に搭載された複数の車載カメラで車両周囲の画像を撮影し、これら複数の車載カメラの撮影画像を合成して、１つの表示画像としてナビゲーション用の表示画面などに表示させる技術が提案されている。複数の車載カメラによる撮影画像を１つの表示画像に合成する場合、各撮影画像は車載カメラの取付け位置や向き、特性などに応じて平均的な輝度値にばらつきが見られるため、これら複数の撮影画像を単純に繋ぎ合わせただけでは、表示画像が非常に見づらいものとなることが懸念される。そこで、各撮影画像の画素データに補正を加え、隣り合う撮影画像間で画像に連続性を持たせるようにする試みもなされている（例えば、特許文献１参照。）。

特許文献１には、複数の車載カメラで撮影された撮影画像を合成して１つの表示画像を作成するに際し、隣り合う車載カメラで撮影された２つの撮影画像同士で撮影対象とする領域（被撮影領域）が重複する部分について、それぞれの撮影画像の平均輝度を比較して、両者が一致するように制御もしくは輝度補正をかけることにより、２つの撮影画像間の輝度値のばらつきを補正して、画像に連続性を持たせるようにする技術が開示されている。
特開２００２−３２４２３５号公報

ところで、カメラで撮影された撮影画像は、カメラのレンズ特性によってレンズ端部での光量が少なくなるために、レンズ端部に対応する画像部分の輝度値がレンズ中央部に対応する画像部分の輝度値に比べて低くなる特性があることが知られている。しかしながら、上述した特許文献１にて開示される技術では、このようなカメラのレンズ特性による撮影画像の輝度値の分布については考慮されていないため、上述した２つの撮影画像同士で被撮影領域が重複する重複部分が、双方の撮影画像を撮影するカメラで対称となる位置となっていれば見やすい表示画像を作成することが可能であるが、双方の撮影画像を撮影するカメラで非対称の位置が重複部分となる場合には、作成された表示画像が却って見づらいものとなってしまうという問題がある。すなわち、２つの撮影画像のうちの一方はカメラのレンズ端部に対応する画像部分が上述した重複部分となり、他方はカメラのレンズ中央部に対応する画像部分が重複部分となるような場合、特許文献１にて開示される技術では、一方の撮影画像の輝度補正量が他方の撮影画像の補正量に比べて著しく大きくなり、一方の撮影画像における重複部分以外の画像部分が明るくなりすぎて、表示画像を非常に見づらいものとしてしまう場合がある。

本発明は、以上のような従来技術の有する問題点を解消すべく創案されたものであって、複数のカメラで撮影された撮影画像を適切に合成して、画像全体として違和感のない、見やすい表示画像を作成できる画像処理装置を提供することを目的としている。

本発明は、複数のカメラで撮影された複数の被撮影領域の画像を合成して、１つの連続した表示画像を作成するにあたり、前記目的を達成するために、複数のカメラで撮影された各撮影画像の画素データを各カメラのレンズ特性に応じて補正するとともに、隣り合うカメラで撮影された２つの撮影画像同士で被撮影領域が重複する重複部分について、当該重複部分の画素データであってカメラのレンズ特性に応じて補正した画素データの平均輝度、彩度ならびに色相が２つの撮影画像同士で略等しくなるように、２つの撮影画像のうちの少なくとも一方の撮影画像の画素データを補正し、３つ以上のカメラで撮影された３つ以上の撮影画像を２以上の重複領域を挟んで繋ぎ合わせて１つの連続した表示画像を作成する場合に、２つの重複部分の間の画像部分の画素データを、一方の重複部分から他方の重複部分にかけて滑らかに変化するように補正するようにした。

本発明によれば、複数の撮影画像それぞれの画素データをカメラのレンズ特性に応じて補正した後、２つの撮影画像同士の重複部分の画素データを近づけるように補正するので、例えば、これら２つの撮影画像を撮影するカメラで非対称の位置が重複部分となる場合であっても、これらの撮影画像を適切に合成して、画像全体として違和感のない、見やすい表示画像を作成することができる。

以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。なお、以下では、車両前方、後方、左右両側方の各領域の画像を４つの車載カメラでそれぞれ撮影し、これら４つの車載カメラで撮影された撮影画像を車両上方の仮想視点からみた俯瞰画像に視点変換すると共にこれらを合成して、車両周囲全域を表す１つの連続した俯瞰表示画像として表示する俯瞰画像表示システムを例に挙げて、このような俯瞰画像表示システムを構成する画像処理装置に本発明を適用した例について説明するが、本発明は、ここで挙げる例に限らず、複数のカメラで撮影した画像を合成し、１つの連続した表示画像を作成して表示する各種の画像表示システムで用いられる画像処理装置に対して広く適用可能である。

本実施形態の俯瞰画像表示システムは、４つの車載カメラで撮影された撮影画像を俯瞰画像に変換すると共に繋ぎ合わせることで、車両周囲全域を表す１つの連続した俯瞰表示画像を作成して表示するものであり、特に、撮影画像間の画素データのばらつきを吸収するように各撮影画像の画素データを補正することで、画像全体として違和感のない、見やすい俯瞰表示画像を作成して表示できるようにしたものである。

本実施形態の俯瞰画像表示システムの概略構成を図１に示す。この俯瞰画像表示システムは、図１に示すように、本発明を適用した画像処理装置１０を主要な構成要素として備えており、この画像処理装置１０の入力側に、フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラがそれぞれ接続されている。また、この画像処理装置１０の出力側には、車室内に設置された液晶表示器などのディスプレイ５が接続されている。また、画像処理装置１０には、ディスプレイ５の表示画面を切り替えるための画面切替スイッチ６も接続されている。なお、本実施形態の俯瞰画像表示システムで用いるディスプレイ５は、ナビゲーションシステム２０などの他のシステムのディスプレイが流用され、画像処理装置２０は、ナビゲーションシステム２０の制御装置との間で連携した制御を行い、画面切替スイッチ６の操作等で要求があった場合に、上述した俯瞰表示画像をディスプレイ５に表示させる。

フロントカメラ１は、図２に示すように、車両前方の例えばフロントバンパーなどに設置され、車両前方の所定の被撮影領域Ａ１の画像を地面に対して斜めに見下ろす方向で撮影する。また、リアカメラ２は、車両後方の例えばリアバンパーなどに設置され、車両後方の所定の被撮影領域Ａ２の画像を地面に対して斜めに見下ろす方向で撮影する。また、右サイドカメラ３は、車両右側のサイドミラーなどに設置され、車両右側方の所定の被撮影領域Ａ３の画像を地面に対して斜めに見下ろす方向で撮影する。さらに、左サイドカメラ４は、車両左側のサイドミラーなどに設置され、車両左側方の所定の被撮影領域Ａ４の画像を地面に対して斜めに見下ろす方向で撮影する。

これら４つの車載カメラ１，２，３，４が撮影する領域Ａ１，Ａ２，Ａ３，Ａ４は、それぞれ隣り合う他の車載カメラが撮影する領域と一部が互いに重複している。すなわち、フロントカメラ１が撮影する領域Ａ１と右サイドカメラ３が撮影する領域Ａ３とは車両右前方のオーバーラップエリアＯＡ１において重複し、フロントカメラ１が撮影する領域Ａ１と左サイドカメラ４が撮影する領域Ａ４とは車両左前方のオーバーラップエリアＯＡ２において重複する。また、リアカメラ２が撮影する領域Ａ２と右サイドカメラ３が撮影する領域Ａ３とは車両右後方のオーバーラップエリアＯＡ３において重複し、リアカメラ２が撮影する領域Ａ２と左サイドカメラ４が撮影する領域Ａ４とは車両左後方のオーバーラップエリアＯＡ４において重複する。言い換えると、オーバーラップエリアＯＡ１の画像はフロントカメラ１と右サイドカメラ３の何れでも撮影可能であり、オーバーラップエリアＯＡ２の画像はフロントカメラ１と左サイドカメラ４の何れでも撮影可能である。また、オーバーラップエリアＯＡ３の画像はリアカメラ２と右サイドカメラ３の何れでも撮影可能であり、オーバーラップエリアＯＡ４の画像はリアカメラ２と左サイドカメラ４の何れでも撮影可能である。

本実施形態の俯瞰画像表示システムでは、以上の４つの車載カメラ１，２，３，４で撮影した被撮影領域Ａ１，Ａ２，Ａ３，Ａ４の画像をそれぞれ画像処理装置１０に取り込み、画像処理装置１０においてこれらの撮影画像を俯瞰画像に変換すると共に繋ぎ合わせることで、車両周囲全域を表す１つの連続した俯瞰表示画像を作成する。このとき、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の画像は、隣り合う２つの車載カメラでそれぞれ撮影されているので、これら２つの車載カメラのどちらのカメラで撮影された画像を用いるかは、画像処理装置１０が、予め作成し保持しておいた画素配置テーブルにしたがって選択する。なお、このオーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４における画像選択の仕方は任意であり、例えば、予め決めておいた一方の車載カメラの撮影画像のみを用いるようにしてもよいし、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４内をそれぞれ２つの領域に分け、各領域で別々の車載カメラの撮影画像を用いるようにしてもよい。また、一方のカメラで撮影した撮影画像の画素と他方のカメラで撮影した撮影画像の画素とを一定の規則に従って交互に配置して、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の画像としてもよい。

画像処理装置１０は、図３に示すように、４つの車載カメラ１，２，３，４にそれぞれ対応させて、Ａ／Ｄ変換部１１ａ，１１ｂ，１１ｃ，１１ｄと、デコード部１２ａ，１２ｂ，１２ｃ，１２ｄと、フレームメモリ１３ａ，１３ｂ，１３ｃ，１３ｄとを有している。また、画像処理装置１０は、４つの車載カメラ１，２，３，４で撮影された撮影画像を用いて俯瞰表示画像を作成する変換処理部１４と、この変換処理部１４での変換に用いる画素配置テーブルや各撮影画像の画素データを補正するための各種補正用テーブルが格納されたＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の記憶部１５と、出力用フレームメモリ１６と、エンコード部１７と、Ｄ／Ａ変換部１８とを有している。

この画像処理装置１０では、フロントカメラ１により被撮影領域Ａ１の画像が撮影されて当該フロントカメラ１からコンポジット信号（アナログ形式の映像信号）が入力されると、このコンポジット信号がＡ／Ｄ変換部１１ａにてＡ／Ｄ変換され、デコード部１２ａでＲＧＢ信号にデコードされて、フロントカメラ１の撮影画像のフレームを構成するデータとしてフレームメモリ１３ａに蓄積される。同様に、リアカメラ２により被撮影領域Ａ２の画像が撮影されて当該リアカメラ２からコンポジット信号が入力されると、このコンポジット信号がＡ／Ｄ変換部１１ｂにてＡ／Ｄ変換され、デコード部１２ｂでＲＧＢ信号にデコードされて、リアカメラ２の撮影画像のフレームを構成するデータとしてフレームメモリ１３ｂに蓄積される。

また、右サイドカメラ３により被撮影領域Ａ３の画像が撮影されて当該右サイドカメラ３からコンポジット信号が入力されると、このコンポジット信号がＡ／Ｄ変換部１１ｃにてＡ／Ｄ変換され、デコード部１２ｃでＲＧＢ信号にデコードされて、右サイドカメラ３の撮影画像のフレームを構成するデータとしてフレームメモリ１３ｃに蓄積される。また、左サイドカメラ４により被撮影領域Ａ４の画像が撮影されて当該左サイドカメラ４からコンポジット信号が入力されると、このコンポジット信号がＡ／Ｄ変換部１１ｄにてＡ／Ｄ変換され、デコード部１２ｄでＲＧＢ信号にデコードされて、左サイドカメラ４の撮影画像のフレームを構成するデータとしてフレームメモリ１３ｄに蓄積される。

そして、画像処理装置１０では、これら４つの車載カメラ１，２，３，４の撮影画像のデータがフレームメモリ１３ａ，１３ｂ，１３ｃ，１３ｄにそれぞれ蓄積されると、変換処理部１４が、記憶部１５に格納されている画素配置テーブルにしたがって、各車載カメラ１，２，３，４の撮影画像の画素を再配置し、車両周囲全域を表す１つの連続した俯瞰表示画像を作成する。このとき、変換処理部１４は、記憶部１５に格納されている各種補正用テーブルを用いて、各車載カメラ１，２，３，４の撮影画像の画素データに対して詳細を後述する補正処理を行ない、画像全体として違和感のない、見やすい俯瞰表示画像を作成する。そして、画像処理装置１４は、作成した俯瞰表示画像のデータを出力用フレームメモリ１６に格納する。

出力用フレームメモリ１６に格納された俯瞰表示画像のデータ（ＲＧＢ信号）は、エンコード部１７でコンポジット信号にエンコードされ、Ｄ／Ａ変換部１８にてＤ／Ａ変換されてディスプレイ５に出力される。これにより、例えば図４に示すように、車両周囲全域を地面に対して垂直な方向で見下ろした様子を表す俯瞰表示画像が、ディスプレイ５に表示されることになる。なお、図４に例示した俯瞰表示画像において、中央部に表示される車両を表す画像はコンピュータグラフィックス等で作成された画像であり、変換処理部１４で俯瞰表示画像を作成する際に実画像に合成されるものである。

ここで、本実施形態の俯瞰画像表示システムにおいて、画像処理装置１０の変換処理部１４において行われる補正処理について、詳しく説明する。

本実施形態の俯瞰画像表示システムでディスプレイ５に表示する俯瞰表示画像は、それぞれ取付け位置や向きが異なる４つの車載カメラ１，２，３，４で撮影された撮影画像を視点変換して繋ぎ合わせたものである。したがって、日射条件や車両の走行環境などによっては、各車載カメラ１，２，３，４の撮影画像の明るさや色合いなどに大きな差が生じ、これらを単純に繋ぎ合わせただけでは、１つの画像としては非常に見づらいものとなってしまう場合がある。そこで、本実施形態の俯瞰画像表示システムでは、画像処理装置１０の変換処理部１４が、以下に示す第１補正処理、第２補正処理、第３補正処理の３段階の補正処理を行って、画像全体として違和感のない、見やすい俯瞰表示画像を作成するようにしている。

（第１補正処理）
第１補正処理は、各車載カメラ１，２，３，４の撮影画像毎に行う補正処理であり、各撮影画像の画素データを車載カメラのレンズ特性に応じて補正するものである。すなわち、各車載カメラ１，２，３，４で撮影された撮影画像は、それぞれの画像を撮影するカメラのレンズ特性によりレンズ端部での光量が少なくなるため、レンズ端部に対応する画像部分の輝度値がレンズ中央部に対応する画像部分の輝度値に比べて低くなる特性がある。第１補正処理では、このような各撮影画像毎のレンズ特性に応じた輝度値のばらつきを、例えば、車載カメラのレンズの輝度カーブなどに合わせて補正する。なお、車載カメラのレンズ特性に応じた撮影画像の輝度値のばらつきは、予め実験などを行うことで測定できる。本実施形態の俯瞰画像表示システムでは、各撮影画像のレンズ特性に応じた画素毎の補正量を予め求めてマップ化し、第１補正用テーブルとして画像処理装置１０の記憶部１５に格納している。そして、画像処理装置１０の変換処理部１４は、各車載カメラ１，２，３，４で撮影された撮影画像を繋ぎ合わせて１つの俯瞰表示画像を作成する際に、この記憶部１５に格納された第１補正用テーブルを用いて、車載カメラのレンズ特性に応じた画素データの補正を行う。

（第２補正処理）
第２補正処理は、隣り合う車載カメラの撮影画像間における画像の見え方の差を減少させるための補正処理である。具体的には、この第２補正処理では、隣り合う車載カメラで撮影された２つの撮影画像同士で被撮影領域が重複する部分であるオーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４について、これら各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の画素データの平均値（例えば平均輝度）が、隣り合う車載カメラで撮影された２つの撮影画像同士で略等しくなるように、２つの撮影画像のうちの少なくとも一方の撮影画像の画素データを補正する。このとき、比較対象となる各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の画素データは、上述した第１補正処理によって各車載カメラ１，２，３，４のレンズ特性に応じて補正した画素データである。

すなわち、フロントカメラ１で撮影された被撮影領域Ａ１の撮影画像と右サイドカメラ３で撮影された被撮影領域Ａ３の撮影画像との間では、フロントカメラ１で撮影された撮影画像におけるオーバーラップエリアＯＡ１の画素データであって、第１補正処理によってフロントカメラ１のレンズ特性に応じて補正された画素データの平均値と、右サイドカメラ３で撮影された撮影画像におけるオーバーラップエリアＯＡ１の画素データであって、第１補正処理によって右サイドカメラ３のレンズ特性に応じて補正された画素データの平均値とを比較し、両者が略等しくなるように、フロントカメラ１で撮影された撮影画像と右サイドカメラ３で撮影された撮影画像との少なくとも一方の撮影画像の画素データを補正する。

また、フロントカメラ１で撮影された被撮影領域Ａ１の撮影画像と左サイドカメラ４で撮影された被撮影領域Ａ４の撮影画像との間では、フロントカメラ１で撮影された撮影画像におけるオーバーラップエリアＯＡ２の画素データであって、第１補正処理によってフロントカメラ１のレンズ特性に応じて補正された画素データの平均値と、左サイドカメラ３で撮影された撮影画像におけるオーバーラップエリアＯＡ２の画素データであって、第１補正処理によって左サイドカメラ４のレンズ特性に応じて補正された画素データの平均値とを比較し、両者が略等しくなるように、フロントカメラ１で撮影された撮影画像と左サイドカメラ４で撮影された撮影画像との少なくとも一方の撮影画像の画素データを補正する。

また、リアカメラ２で撮影された被撮影領域Ａ２の撮影画像と右サイドカメラ３で撮影された被撮影領域Ａ３の撮影画像との間では、リアカメラ２で撮影された撮影画像におけるオーバーラップエリアＯＡ３の画素データであって、第１補正処理によってリアカメラ２のレンズ特性に応じて補正された画素データの平均値と、右サイドカメラ３で撮影された撮影画像におけるオーバーラップエリアＯＡ３の画素データであって、第１補正処理によって右サイドカメラ３のレンズ特性に応じて補正された画素データの平均値とを比較し、両者が略等しくなるように、リアカメラ２で撮影された撮影画像と右サイドカメラ３で撮影された撮影画像との少なくとも一方の撮影画像の画素データを補正する。

また、リアカメラ２で撮影された被撮影領域Ａ２の撮影画像と左サイドカメラ４で撮影された被撮影領域Ａ４の撮影画像との間では、リアカメラ２で撮影された撮影画像におけるオーバーラップエリアＯＡ４の画素データであって、第１補正処理によってリアカメラ２のレンズ特性に応じて補正された画素データの平均値と、左サイドカメラ３で撮影された撮影画像におけるオーバーラップエリアＯＡ４の画素データであって、第１補正処理によって左サイドカメラ４のレンズ特性に応じて補正された画素データの平均値とを比較し、両者略等しくなるように、リアカメラ２で撮影された撮影画像と左サイドカメラ４で撮影された撮影画像との少なくとも一方の撮影画像の画素データを補正する。

なお、本実施形態の俯瞰画像表示システムでは、この第２補正処理により各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４毎に求められる各撮影画像の画素データの補正量を、第２補正用テーブルとして記憶部１５に格納するようにしている。そして、画像処理装置１０の変換処理部１４は、各車載カメラ１，２，３，４で撮影された撮影画像を繋ぎ合わせて１つの俯瞰表示画像を作成する際に、隣り合う車載カメラの撮影画像が連続性を持つように、記憶部１５に格納された第２補正用テーブルを用いて、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の画素データを補正する。

なお、ここでは、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の画素データの平均値（例えば平均輝度）が、隣り合う車載カメラで撮影された２つの撮影画像同士で略等しくなるように補正するようにしているが、予め定めた規則に従って各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４毎に一部の代表となる領域を抜き出し、この代表領域を第２補正処理の処理対象として、各代表領域の画素データの平均値が２つの撮影画像同士で略等しくなるように、画素データの補正を行うようにしてもよい。このように、第２補正処理の処理対象とする領域を限定することによって、画像処理装置１０の変換処理部１４における処理負担を軽減し、処理の高速化を図ることが可能となる。

（第３補正処理）
第３補正処理は、俯瞰表示画像における上述した各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４以外の画像部分を対象として行う補正処理であり、俯瞰表示画像全体のバランスを調整するためのものである。すなわち、この第３補正処理では、第２補正処理によって画素データが補正される２つのオーバーラップエリアの間の画像部分について、当該画像部分の画素データを、その両側にある一方のオーバーラップエリアから他方のオーバーラップエリアにかけて滑らかに変化するように補正する。具体的には、この第３補正処理では、第２補正処理により算出された一方のオーバーラップエリアの画素データ補正量と、第２補正処理により算出された他方のオーバーラップエリアの画素データ補正量とを基準に、例えば、線形補間またはスプライン曲線を用いた補間により、これら２つのオーバーラップエリアの間に位置する画像部分の画素データの補正量分布を求め、その補正量分布にしたがって、２つのオーバーラップエリアの間に位置する画像部分の画素データを補正する。

例えば、線形補間により補正する場合、２つのオーバーラップエリアの間に位置する画像部分の画素データの補正量分布Ｆ（ｘ，ｙ）は、以下のように求められる。すなわち、例えば図５に示すように、車両の前後方向をｘ軸方向、車両の幅方向をｙ軸方向とするｘ−ｙ座標系を前提とし、右サイドカメラ３で撮影された撮影画像におけるオーバーラップエリアＯＡ１とオーバーラップエリアＯＡ３との間の画像部分の画素データの補正量Ｆ（ｙ）を求める場合、第２補正処理で求められる右サイドカメラ３の撮影画像におけるオーバーラップエリアＯＡ１の画素データの補正量をＨ_ＯＡ１、オーバーラップエリアＯＡ３の画素データの補正量をＨ_ＯＡ３とし、オーバーラップエリアＯＡ１に隣接する境界部分の画素のｙ座標をＹ_ＯＡ１、オーバーラップエリアＯＡ３に隣接する境界部分の画素のｙ座標をＹ_ＯＡ３とすると、オーバーラップエリアＯＡ１とオーバーラップエリアＯＡ３との間の画像部分の画素データの補正量Ｆ（ｙ）は、下記式（１）によって求められる。

Ｆ（ｙ）＝（Ｈ_ＯＡ１−Ｈ_ＯＡ３）／（Ｙ_ＯＡ１−Ｙ_ＯＡ３）×ｙ＋Ｈ_ＯＡ３−（Ｈ_ＯＡ１−Ｈ_ＯＡ３）／（Ｙ_ＯＡ１−Ｙ_ＯＡ３）×Ｙ_ＯＡ３・・・（１）
なお、本実施形態の俯瞰画像表示システムでは、この第３補正処理により求めた２つのオーバーラップエリア間の画像部分の画素データ補正量分布を、第３補正用テーブルとして記憶部１５に格納するようにしている。そして、画像処理装置１０の変換処理部１４は、各車載カメラ１，２，３，４で撮影された撮影画像を繋ぎ合わせて１つの俯瞰表示画像を作成する際に、２つのオーバーラップエリアの間の画像部分が、一方のオーバーラップエリアから他方のオーバーラップエリアにかけて滑らかに変化するように、記憶部１５に格納された第２補正用テーブルを用いて、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４間に位置する画像部分の画素データを補正する。

本実施形態の俯瞰画像表示システムでは、画像処理装置１０の変換処理部１４が、以上の第１〜第３の補正処理により各車載カメラ１，２，３，４の撮影画像の画素データに対する補正量を求め、ディスプレイ５に表示させる俯瞰表示画像を作成する際に、俯瞰表示画像の各画素の画素データを補正するようにしている。したがって、ディスプレイ５に表示される俯瞰表示画像は、日射条件や車両の走行環境などに起因する撮影画像間の画素データのばらつきが補正された、画像全体として違和感のない、見やすい画像となる。

図６は、本実施形態の俯瞰画像表示システムにおいて、４つの車載カメラ１，２，３，４の撮影画像のデータが画像処理装置１０のフレームメモリ１３ａ，１３ｂ，１３ｃ，１３ｄにそれぞれ蓄積されるたびに、画像処理装置１０の変換処理部１４で実行される画素データ補正に関する一連の処理の流れを示すフローチャートである。なお、この図６のフローチャートで示す処理は、画像処理装置１０の変換処理部１４で実行される処理の具体的な一例であり、種々の変更が可能である。例えば、この図６のフローチャートで示す例では、各画素の輝度値のみを対象として補正を行うようにしているが、輝度に加えて彩度や色相についても補正するようにしてもよい。この場合には、各車載カメラ１，２，３，４の撮影画像間における彩度や色相のばらつきも吸収して、より見やすい俯瞰表示画像をディスプレイ５に表示させることができる。また、輝度に代えて彩度や色相を補正するようにしてもよい。

本実施形態の俯瞰画像表示システムにおいて、画像処理装置１０の変換処理部１４は、４つの車載カメラ１，２，３，４の撮影画像のデータがフレームメモリ１３ａ，１３ｂ，１３ｃ，１３ｄにそれぞれ蓄積されると、まず、ステップＳ１において、記憶部１５に格納されている第１補正用テーブルを参照して、各車載カメラ１，２，３，４の撮影画像のうちで、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に再配置される画素について、各車載カメラ１，２，３，４のレンズ特性に応じた輝度補正量を求める。

次に、画像処理装置１０の変換処理部１４は、ステップＳ２において、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に再配置される画素の輝度値であって、ステップＳ１で求めた輝度補正量を用いて補正した輝度値の平均値を各車載カメラ１，２，３，４毎に算出する。すなわち、オーバーラップエリアＯＡ１については、フロントカメラ１の撮影画像の画素のうちでオーバーラップエリアＯＡ１に再配置される画素の平均輝度（ステップＳ１で求めた輝度補正量を用いて補正した輝度値の平均値）Ａｖｅ_{ＯＡ１＿Ｆ}と、右サイドカメラ３の撮影画像の画素のうちでオーバーラップエリアＯＡ１に再配置される画素の平均輝度（ステップＳ１で求めた輝度補正量を用いて補正した輝度値の平均値）Ａｖｅ_{ＯＡ１＿Ｒ}とを算出する。また、オーバーラップエリアＯＡ２については、フロントカメラ１の撮影画像の画素のうちでオーバーラップエリアＯＡ２に再配置される画素の平均輝度Ａｖｅ_{ＯＡ２＿Ｆ}と、左サイドカメラ４の撮影画像の画素のうちでオーバーラップエリアＯＡ２に再配置される画素の平均輝度Ａｖｅ_{ＯＡ２＿Ｌ}とを算出する。また、オーバーラップエリアＯＡ３については、リアカメラ２の撮影画像の画素のうちでオーバーラップエリアＯＡ３に再配置される画素の平均輝度Ａｖｅ_{ＯＡ３＿Ｒｅ}と、右サイドカメラ３の撮影画像の画素のうちでオーバーラップエリアＯＡ３に再配置される画素の平均輝度Ａｖｅ_{ＯＡ３＿Ｒ}とを算出する。また、また、オーバーラップエリアＯＡ４については、リアカメラ２の撮影画像の画素のうちでオーバーラップエリアＯＡ４に再配置される画素の平均輝度Ａｖｅ_{ＯＡ４＿Ｒｅ}と、左サイドカメラ４の撮影画像の画素のうちでオーバーラップエリアＯＡ４に再配置される画素の平均輝度Ａｖｅ_{ＯＡ４＿Ｌ}とを算出する。

次に、画像処理装置１０の変換処理部１４は、ステップＳ３において、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４毎に、ステップＳ２で算出した２つの撮影画像のオーバーラップエリアに再配置される画素の平均輝度の平均値を求め、これを各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４毎の輝度補正ターゲット値として算出する。具体的には、オーバーラップエリアＯＡ１に再配置される画素の輝度補正ターゲット値Ｔａｒ_ＯＡ１は、１／２×（Ａｖｅ_{ＯＡ１＿Ｆ}＋Ａｖｅ_{ＯＡ１＿Ｒ}）で算出され、オーバーラップエリアＯＡ２に再配置される画素の輝度補正ターゲット値Ｔａｒ_ＯＡ２は、１／２×（Ａｖｅ_{ＯＡ２＿Ｆ}＋Ａｖｅ_{ＯＡ２＿Ｌ}）で算出され、オーバーラップエリアＯＡ３に再配置される画素の輝度補正ターゲット値Ｔａｒ_ＯＡ３は、１／２×（Ａｖｅ_{ＯＡ２＿Ｒｅ}＋Ａｖｅ_{ＯＡ３＿Ｒ}）で算出され、オーバーラップエリアＯＡ４に再配置される画素の輝度補正ターゲット値Ｔａｒ_ＯＡ４は、１／２×（Ａｖｅ_{ＯＡ４＿Ｒｅ}＋Ａｖｅ_{ＯＡ４＿Ｌ}）で算出される。

次に、画像処理装置１０の変換処理部１４は、ステップＳ４において、ステップＳ３で求めた各オーバーラップエリアの輝度補正ターゲット値から、ステップＳ２で求めた各オーバーラップエリアに再配置される画素の平均輝度を減算して、各車載カメラ１，２，３，４の撮影画像のうちで、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に再配置される画素の輝度補正量を算出する。具体的には、フロントカメラ１の撮影画像のうちでオーバーラップエリアＯＡ１に再配置される画素の補正量Ｈ_{ＯＡ１＿Ｆ}は、Ｔａｒ_ＯＡ１−Ａｖｅ_{ＯＡ１＿Ｆ}で算出され、右サイドカメラ３の撮影画像のうちでオーバーラップエリアＯＡ１に再配置される画素の補正量Ｈ_{ＯＡ１＿Ｒ}は、Ｔａｒ_ＯＡ１−Ａｖｅ_{ＯＡ１＿Ｒ}で算出される。また、フロントカメラ１の撮影画像のうちでオーバーラップエリアＯＡ２に再配置される画素の補正量Ｈ_{ＯＡ２＿Ｆ}は、Ｔａｒ_ＯＡ２−Ａｖｅ_{ＯＡ２＿Ｆ}で算出され、左サイドカメラ４の撮影画像のうちでオーバーラップエリアＯＡ２に再配置される画素の補正量Ｈ_{ＯＡ２＿Ｌ}は、Ｔａｒ_ＯＡ２−Ａｖｅ_{ＯＡ２＿Ｌ}で算出される。また、リアカメラ２の撮影画像のうちでオーバーラップエリアＯＡ３に再配置される画素の補正量Ｈ_{ＯＡ３＿Ｒｅ}は、Ｔａｒ_ＯＡ３−Ａｖｅ_{ＯＡ３＿Ｒｅ}で算出され、右サイドカメラ３の撮影画像のうちでオーバーラップエリアＯＡ３に再配置される画素の補正量Ｈ_{ＯＡ３＿Ｒ}は、Ｔａｒ_ＯＡ３−Ａｖｅ_{ＯＡ３＿Ｒ}で算出される。また、リアカメラ２の撮影画像のうちでオーバーラップエリアＯＡ４に再配置される画素の補正量Ｈ_{ＯＡ４＿Ｒｅ}は、Ｔａｒ_ＯＡ４−Ａｖｅ_{ＯＡ４＿Ｒｅ}で算出され、左サイドカメラ４の撮影画像のうちでオーバーラップエリアＯＡ４に再配置される画素の補正量Ｈ_{ＯＡ４＿Ｌ}は、Ｔａｒ_ＯＡ４−Ａｖｅ_{ＯＡ４＿Ｌ}で算出される。なお、以上のように算出された各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の画素の輝度補正量は、第２補正用テーブルとして記憶部１５に格納される。

次に、画像処理装置１０の変換処理部１４は、ステップＳ５において、記憶部１５に格納した第２補正用テーブルを参照しながら、２つのオーバーラップエリアの画素の輝度補正量を基準として、これら２つのオーバーラップエリアの間に位置する画像部分の各画素について、輝度補正量が滑らかに変化するように、例えば線形補間等の手法により各画素の輝度補正量を算出し、算出した各画素の輝度補正量の分布を、第３補正用テーブルとして記憶部１５に格納する。なお、このステップＳ５における輝度補正量の算出は、線形補間以外にも、例えば、スプライン曲線を用いた補間などでも実現できる。

次に、画像処理装置１０の変換処理部１４は、ステップＳ６において、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に再配置される画素については、記憶部１５に格納されている第１補正用テーブル及び第２補正用テーブルを用いて各画素の輝度値を補正するとともに、２つのオーバーラップエリアの間に位置する画像部分に再配置される画素については、記憶部１５に格納されている第１補正用テーブルと第３補正用テーブルを用いて各画素の輝度値を補正し、ディスプレイ５に表示させる俯瞰表示画像を作成する。

本実施形態の俯瞰画像表示システムにおいて、画像処理装置１０の変換処理部１４は、４つの車載カメラ１，２，３，４の撮影画像のデータがフレームメモリ１３ａ，１３ｂ，１３ｃ，１３ｄにそれぞれ蓄積される毎に、以上のステップＳ１〜ステップＳ６の処理を繰り返し、画像全体として違和感のない、見やすい俯瞰表示画像を作成する。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の俯瞰画像表示システムにおいては、画像処理装置１０の変換処理部１４が、第１補正処理によって、複数の車載カメラ１，２，３，４により撮影された撮影画像毎に、それぞれの撮影画像の画素データを車載カメラ１，２，３，４のレンズ特性に応じて補正するようにしている。そして、第２補正処理によって、隣接する車載カメラで撮影された２つの撮影画像同士で被撮影領域が重複するオーバーラップエリアについて、オーバーラップエリアの画素データであって第１補正処理で補正した画素データの平均値が２つの撮影画像同士で略等しくなるように、２つの撮影画像のうちの少なくとも一方の撮影画像の画素データを補正するようにしている。したがって、例えば、これら２つの撮影画像を撮影するカメラで非対称の位置がオーバーラップエリアとなる場合であっても、これらの撮影画像を適切に合成して、画像全体として違和感のない、見やすい俯瞰表示画像を作成することができる。

また、本実施形態の俯瞰画像表示システムにおいては、画像処理装置１０の変換処理部１４が、第３補正処理によって、第２補正処理によって画素データが補正される２つのオーバーラップエリアの間の画像部分について、当該画像部分の画素データを、その両側にある一方のオーバーラップエリアから他方のオーバーラップエリアにかけて滑らかに変化するように補正するので、２つのオーバーラップエリア同士で画素データの値が大きく異なる場合であっても、見え方の違いを２つのオーバーラップエリアの間の画像部分で吸収して、画像全体として違和感のない、見やすい俯瞰表示画像を作成することができる。

なお、以上説明した俯瞰画像表示システムは、本発明の一適用例を例示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。

本発明を適用した俯瞰画像表示システムの概略構成を示すブロック図である。４つの車載カメラの取り付け位置と、各車載カメラの被撮影領域とを説明する図である。画像処理装置の詳細な構成を示すブロック図である。ディスプレイに表示される俯瞰表示画像の一例を示す図である。第３補正処理を説明する図であり、２つのオーバーラップエリア間の画像領域における各画素の画像データ補正量を線形補間により求める例を説明する図である。本発明を適用した俯瞰画像表示システムにおいて、画像処理装置の変換処理部で実行される画素データ補正に関する一連の処理の流れを示すフローチャートである。

符号の説明

１フロントカメラ
２リアカメラ
３右サイドカメラ
４左サイドカメラ
５ディスプレイ
１０画像処理装置
１４変換処理部

Claims

複数のカメラで撮影された複数の被撮影領域の画像を合成して、１つの連続した表示画像を作成する画像処理装置において、
前記複数のカメラで撮影された各撮影画像毎に、各撮影画像の画素データを当該撮影画像を撮影したカメラのレンズ特性に応じて補正する第１補正手段と、
隣り合うカメラで撮影された２つの撮影画像同士で被撮影領域が重複する重複部分について、当該重複部分の画素データであって前記第１補正手段で補正した画素データの平均値が２つの撮影画像同士で略等しくなるように、２つの撮影画像のうちの少なくとも一方の撮影画像の画素データを補正する第２補正手段と、
３つ以上のカメラで撮影された３つ以上の撮影画像を２以上の重複領域を挟んで繋ぎ合わせて１つの連続した表示画像を作成する場合に、２つの重複部分の間の画像部分の画素データを、一方の重複部分から他方の重複部分にかけて滑らかに変化するように補正する第３補正手段とを備え、
前記第１補正手段は、前記カメラのレンズの輝度カーブに合わせて、前記撮影画像のレンズ端部に対応する画像部分の輝度とレンズ中央部に対応する画像部分の輝度との差を減少させるように前記撮影画像の画素データを補正し、
前記第２補正手段は、前記重複部分の平均輝度、彩度ならびに色相が２つの撮影画像同士で略等しくなるように、２つの撮影画像のうちの少なくとも一方の撮影画像の画素データを補正し、
前記第３補正手段は、２つの重複部分の間の画像部分の画素データを、線形補間またはスプライン曲線を用いた補間により、一方の重複部分から他方の重複部分にかけて滑らかに変化するように補正することを特徴とする画像処理装置。
前記第２補正手段は、前記重複部分のうちの一部の画素データの平均値が２つの撮影画像同士で略等しくなるように、２つの撮影画像のうちの少なくとも一方の撮影画像の画素データを補正することを特徴とする請求項１に記載の画像処理装置。
前記複数のカメラが車両周囲の画像を撮影する車載カメラであり、各車載カメラの撮影画像を俯瞰画像に変換するとともに合成して、１つの連続した俯瞰表示画像を作成することを特徴とする請求項１乃至２の何れか１項に記載の画像処理装置。