WO2018088016A1

WO2018088016A1 - 画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラム

Info

Publication number: WO2018088016A1
Application number: PCT/JP2017/032496
Authority: WO
Inventors: 宜邦野村
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2016-11-08
Filing date: 2017-09-08
Publication date: 2018-05-17
Anticipated expiration: 2019-05-08
Also published as: JP2018078404A

Abstract

画像処理装置は、同じ被写体を撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理部、及び、基準画像に基づく情報と画像変形処理部によって生成された画像に基づく情報とを用いて画像合成を行う合成部を備える。

Description

画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラム

　本開示は、画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラムに関する。

　近年、多眼カメラ等によって得られる複数の画像を用いて画像を合成するといったことが提案されている。複数の画像を用いて画像合成などの処理を行うといった場合、画像間での位置合わせが重要になる。画像の位置合わせについては、通常、画像間でのブロックマッチングが用いられることが多い（例えば、特許文献１参照）。

　画像の位置合わせの容易性からは、撮像される複数の画像間のずれが１次元方向の並進ずれのみとなることが好ましい。しかしながら、カメラを完全に平行に配置したとしても、レンズ等の光学系の要因よって画像は歪む。従って、画像間のずれを並進ずれのみにすることは困難である。このため、位置合わせの処理を行う前に、レンズ歪補正処理や平行化処理（Rectification）といった処理を施して画像を補正し、画像間のずれを並進ずれのみに補正するといったことが行われる。画像が１次元方向の並進ずれのみになっていれば、１次元の位置合わせを行うだけで済むので、高速な位置合わせを行うことができる。

特開２０１３－６１８５０号公報

　レンズ歪補正処理や平行化処理においては、画素の補間といった処理を伴う。従って、レンズ歪補正処理や平行化処理が施され補正された画像の解像度は低下し、結果として、画像合成によって得られる画像の解像度も低下する。解像度の低下を避けるため、レンズ歪補正処理や平行化処理を行わず、２次元のブロックマッチングを行い位置合わせを行うといったことも考えられる。しかしながら、２次元のブロックマッチングの計算量は、ランダウ記法で表せばＯ（ｎ⁴）といったオーダーであり、位置合わせに必要となる計算コストが過大となる。撮像素子などの高解像度化が進んでいる状況において、動作上支障のない時間内で２次元のブロックマッチングを行うといったことは難しい。

　そこで、本開示は、複数の画像を用いた画像合成などの処理において、解像度の低下を軽減することができ、動作上支障のない時間内で処理することができる、画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラムを提供することを目的とする。

　上記の目的を達成するための本開示に係る画像処理装置は、
　同じ被写体を撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理部、及び、
　基準画像に基づく情報と画像変形処理部によって生成された画像に基づく情報とを用いて画像合成を行う合成部、
を備えている画像処理装置である。

　上記の目的を達成するための本開示に係る画像処理方法は、
　同じ被写体を撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理を行い、
　基準画像に基づく情報と画像変形処理によって生成された画像に基づく情報とを用いて画像合成を行う、
画像処理方法である。

　上記の目的を達成するための本開示に係る撮像システムは、
　同じ被写体について複数の画像を撮像する撮像部、
　撮像部が撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理部、及び、
　基準画像に基づく情報と画像変形処理部によって生成された画像に基づく情報とを用いて画像合成を行う合成部、
を備えている撮像システムである。

　上記の目的を達成するための本開示に係る画像処理プログラムは、
　同じ被写体を撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理ステップ、及び、
　基準画像に基づく情報と画像変形処理によって生成された画像に基づく情報とを用いて画像合成を行うステップ、
を含む処理をコンピュータに実行させるための画像処理プログラムである。

　本開示によれば、基準画像に基づく情報と画像変形処理によって生成された画像に基づく情報とを用いて画像合成を行う。基準画像は位置合わせに伴う解像度劣化を受けていないので、画像合成によって得られる画像の解像度劣化は軽減される。また、１次元位置合わせが可能な画像を生成したのちに変形させて基準画像に対して位置合わせがされた画像を生成するので、動作上支障のない時間内で処理することができる。

　尚、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。また、本明細書に記載された効果はあくまで例示であって、これに限定されるものではなく、また付加的な効果があってもよい。

図１は、本開示の第１の実施形態に係る画像処理装置を備えた撮像システムの構成を説明するための模式図である。図２は、参考例の画像処理装置を備えた撮像システムの構成を説明するための模式図である。図３は、参考例の画像処理装置における画像処理を説明するための模式図である。図４は、参考例の画像処理装置における動作を説明するためのブロック図である。図５は、第１の実施形態に係る画像処理装置における動作を説明するためのブロック図である。図６Ａ、図６Ｂ、図６Ｃは、第１の実施形態に係る画像処理装置における位置合わせの実行結果例を説明するための図面代用写真である。図７は、第１の実施形態に係る画像処理装置における画像処理を説明するための模式図である。図８は、本開示の第２の実施形態に係る画像処理装置における動作を説明するためのブロック図である。図９は、図８において位置合わせに関与する部分の詳細を説明するための図である。図１０は、図８において合成処理に関与する部分の詳細を説明するための図である。図１１は、第２の実施形態に係る画像処理装置における画像処理を説明するための模式図である。図１２は、本開示の第３の実施形態に係る画像処理装置における動作を説明するためのブロック図である。図１３は、図１２において位置合わせに関与する部分を抜き出して記載した図である。図１４は、図１２において合成処理に関与する部分の詳細を説明するための図である。図１５は、第３の実施形態に係る画像処理装置における画像処理を説明するための模式図である。図１６は、本開示の第４の実施形態に係る画像処理装置における動作を説明するためのブロック図である。図１７は、図１６において合成処理に関与する部分の詳細を説明するための図である。図１８は、第４の実施形態に係る画像処理装置における画像処理を説明するための模式図である。図１９は、車両制御システムの概略的な構成の一例を示すブロック図である。図２０は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

　以下、図面を参照して、実施形態に基づいて本開示を説明する。本開示は実施形態に限定されるものではなく、実施形態における種々の数値や材料などは例示である。以下の説明において、同一要素または同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は、以下の順序で行う。
１．本開示に係る、画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラム、全般に関する説明
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．第４の実施形態
６．第１の応用例
７．本開示の構成

［本開示に係る、画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラム、全般に関する説明］
　本開示の画像処理装置や撮像システムにおいて、画像変形処理部は、
　同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する第１画像補正部、
　第１画像補正部によって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせ部、及び、
　位置合わせ部によって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正部における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正部、
を含む、
構成とすることができる。

　また、本開示の画像処理方法において、
　画像変形処理は、
　同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する第１画像補正工程、
　第１画像補正工程によって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせ工程、及び、
　位置合わせ工程によって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正工程における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正工程、
を含む、
構成とすることができる。

　また、本開示の画像処理方法プログラムにおいて、
　画像変形処理ステップは、
　同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する第１画像補正ステップ、
　第１画像補正ステップによって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせステップ、及び、
　位置合わせステップによって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正ステップにおける演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正ステップ、
を含む、
構成とすることができる。

　上述した好ましい構成を含む本開示の画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラム（以下、これらを単に、本開示と呼ぶ場合がある）において、
　第１画像補正工程は、
　レンズ歪補正工程と平行化処理工程とを含み、
　第２画像補正工程は、
　逆平行化処理工程と逆レンズ歪補正工程とを含む、
構成とすることができる。

　この場合において、
　レンズ歪補正工程は、所定のレンズ係数を用いた演算処理から成り、
　逆レンズ歪補正工程は、前記所定のレンズ係数とは異なる係数を用いた演算処理から成る、
構成とすることができる。

　あるいは又、この場合において、
　平行化処理工程は、所定の行列を用いた演算処理から成り、
　逆平行化処理工程は、前記所定の行列とは異なる行列を用いた演算処理から成る、
構成とすることができる。そして、平行化処理工程に用いられる行列と逆平行化処理工程に用いられる行列とは、一方が他方の逆行列の関係にある構成とすることができる。

　上述した好ましい構成を含む本開示において、
　同じ被写体を撮像した複数の画像のうち、基準画像はモノクロ画像、他の画像はカラー画像である、
構成とすることができる。この場合において、
　基準画像の輝度情報と、第２画像補正工程によって生成された画像のカラー情報に基づいて、画像合成を行う、
構成とすることができる。

　あるいは又、
　画像変形処理は、更に、
　位置合わせ工程で生成された画像に基づいて、基準画像に基づいて生成された画像を基準とする視差情報を格納した視差マップを生成する工程、及び、
　生成された視差マップについて第１画像補正工程における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた視差マップを生成する工程、
を含む、
構成とすることができる。

　この場合において、
　基準画像に対して位置合わせがされた視差マップに基づいて、画像合成において被写界深度を制御する、
構成とすることができる。更には、
　同じ被写体を撮像した複数の画像のうち、基準画像はモノクロ画像、他の画像はカラー画像であり、
　基準画像の輝度情報と、第２画像補正工程によって生成された画像のカラー情報に基づいて、画像合成を行う、
構成とすることができる。

　上述した各種の好ましい構成を含む本開示において、画像変形処理部や合成部は、ハードウェアによる物理的な結線に基づいて動作するといった構成であってもよいし、プログラムに基づいて動作するといった構成であってもよい。プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介した配信により提供されてもよい。

　撮像システムに用いられる撮像部は、例えば、光電変換素子や種々の画素トランジスタを含む画素が、行方向及び列方向に２次元マトリクス状に配列されて成るＣＭＯＳセンサやＣＣＤセンサといった撮像素子を、複数、離間して配置することによって構成することができる。撮像部の搭載対象となる電子機器にもよるが、基本的には、離間の間隔はできるだけ狭くすることが好ましい。

　撮像素子によって構成されるカメラの数は、２台に限定されるものでなはく、３台以上であってもよい。各カメラが複数の色を持っている場合でも、各カメラが持つ色が異なっている場合でも、各カメラが異なる画素数を持つ場合でも、各カメラのレンズの画角が異なる場合でも、本開示は適用可能である。

　基準画像として、同じ被写体を撮像した複数の画像のうち最も解像度の高い画像を選択することが好ましい。カラー撮影用の撮像素子は、通常、複数の画素群で１つの画素が構成されるので、白黒撮像用の撮像素子よりも解像度が低くなる。従って、カラー画像と白黒画像とが混在する場合、白黒画像を基準画像として選択することが好ましい。

　また、画像間で画角が異なっていても、同じ被写体が写っている範囲内においては本開示を適用することができる。更には、画像間で画素数が異なっている場合にも、例えば、画像のリサイズ処理などによって画素数を揃えることによって、本開示を適用することができる。

　画像を合成する合成部の構成は、本開示の動作に支障が生じない限り、特に限定するものではない。例えば、複数の画像を合成してＳ／Ｎを向上させるといった構成、白黒画像に色情報を加えてカラー画像を合成するといった構成、画像間の視差情報を利用して被写界深度を調整するといった構成、更には、所定の奥行き箇所に対応するように別画像を挟むといった構成、を挙げることができる。

［第１の実施形態］
　第１の実施形態は、本開示に係る、画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラムに関する。

　図１は、本開示の第１の実施形態に係る撮像システムの構成を説明するための模式図である。

　撮像システム１は、
　同じ被写体について複数の画像を撮像する撮像部１０、
　撮像部１０が撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理部１１０、及び、
　基準画像に基づく情報と画像変形処理部１１０によって生成された画像に基づく情報とを用いて画像合成を行う合成部１２０、
を備えている。

　撮像部１０は、所定の間隔を空けて配されたカメラＡとカメラＢを備えている。これらは、レンズ等の光学系とＣＭＯＳセンサなどによって構成されている。説明の都合上、第１の実施形態において、これらは共に白黒撮像用であるとする。カメラＡが撮像した画像を符号１０Ａ、カメラＢが撮像した画像を符号１０Ｂで表す。

　画像変形処理部１１０と合成部１２０とは、例えば、シリコンから成る半導体基板上に形成されている。画像変形処理部１１０と合成部１２０によって、画像処理装置１００が構成される。

　撮像システム１全体の動作は、図示せぬ制御回路などによって制御される。撮像システム１は、例えば機器組込用途に向くように一体のユニットとして構成されていてもよいし、別体として構成されていてもよい。例えば、携帯用の電子機器の制御基板に画像変形処理部１１０と合成部１２０が設けられている構成とすることもできる。

　画像変形処理部１１０は、
　同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する第１画像補正部１１１、
　第１画像補正部１１１によって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせ部１１２、及び、
　位置合わせ部１１２によって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正部１１１における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正部１１３、
を含む。

　そして、撮像システム１にあっては、
　同じ被写体を撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、
基準画像に対して位置合わせがされた画像を生成する画像変形処理を行い、
　基準画像に基づく情報と画像変形処理によって生成された画像に基づく情報とを用いて画像合成を行う。

　画像変形処理は、
　同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する第１画像補正工程、
　第１画像補正工程によって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせ工程、及び、
　位置合わせ工程によって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正工程における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正工程、
を含む。

　図１に示す画像処理装置１００は、図示せぬ記憶装置に格納された画像処理プログラムを実行することによって動作するように構成されている。画像処理プログラムは、
　同じ被写体を撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理ステップ、及び、
　基準画像に基づく情報と画像変形処理によって生成された画像に基づく情報とを用いて画像合成を行うステップ、
を含む処理を行う。

　そして、画像変形処理ステップは、
　同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する第１画像補正ステップ、
　第１画像補正ステップによって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせステップ、及び、
　位置合わせステップによって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正ステップにおける演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正ステップ、
を含む。

　上述した撮像システム１の動作については、後述する図５ないし図７を参照して、後で詳しく説明する。

　以上、撮像システム１の基本的な構成について説明した。次いで、本開示の理解を助けるため、第２画像補正部を省略した構成の参考例とその問題点について説明する。

　図２は、参考例の画像処理装置を備えた撮像システムの構成を説明するための模式図である。

　参考例の撮像システム９に用いられる画像処理装置９００は、図１に示す画像処理装置１００から第２画像補正部１１３を省略した構成である。画像処理装置９００における画像変形処理部を符号９１０で表す。画像変形処理部９１０は、第１画像補正部１１１と位置合わせ部１１２から構成されている。

　図３は、参考例の画像処理装置における画像処理を説明するための模式図である。図４は、参考例の画像処理装置における動作を説明するためのブロック図である。

　カメラＡの画像とカメラＢの画像とが１次元方向の並進ずれのみとなっていれば、高速な位置合わせを行うことができる。しかしながら、レンズ等の光学系の要因よって画像は歪む。

　このため、位置合わせの処理を行う前に、レンズ歪補正処理や平行化処理（Rectification）といった処理を施して画像を補正し、画像間のずれを並進ずれのみに補正する。カメラＡとカメラＢの画像の処理方法は、レンズ歪補正係数や平行化行列が異なる以外は基本的に同様である。以下、カメラＡの画像処理について、図４を参照して説明する。

　第１画像補正部１１１は、同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する。具体的には、レンズ歪補正工程と平行化処理工程とを含むステップを実行する。レンズ歪補正工程は、所定のレンズ係数を用いた演算処理から成り、平行化処理工程は、所定の行列を用いた演算処理から成る。

　先ず、カメラＡの画像１０Ａについて、レンズ歪補正（ステップＳ１１Ａ）を施す。レンズ歪補正の際には、カメラＡについてのレンズ歪補正係数１１Ａを参照して所定の演算処理を行う。次いで、ステップＳ１１Ａを経た画像について、平行化処理（ステップＳ１２Ａ）を施す。平行化処理の際には、カメラＡについての平行化行列１２Ａを参照して所定の演算処理を行う。これによって、レンズ歪補正と平行化処理がされたカメラＡの補正後画像１０Ａ_md1を得る。

　上述のステップで行う演算処理は、例えば、符号（u，ｖ）をレンズ歪補正と平行化処理後の画像座標、符号（ｃ_x’，ｃ_y’）をレンズ歪補正と平行化処理後の画像中心、符号（ｆ_x’，ｆ_y’）をレンズ歪補正と平行化処理後のｆ値、符号Ｒを平行化行列、符号（ｋ₁，ｋ₂・・・，ｋ₆、ｐ₁，ｐ₂）をレンズ歪補正係数、符号（ｘ'''，ｙ'''）をレンズ歪補正と平行化処理前の画像座標、符号（ｃ_x，ｃ_y）をレンズ歪補正と平行化処理前の画像中心、符号（ｆ_x，ｆ_y）をレンズ歪補正と平行化処理前のｆ値、とすれば、以下の式（１－１）ないし（１－６）のように表される。この処理は、画像の変形前後での画素数変化を考慮して、変形後の画像を基準として変形後の画像の整数座標位置から変形前の画像の小数座標位置を計算し、その小数座標位置における画素値を補間によって求めるというBackward Mappingによる例である。

　カメラＢの画像１０Ｂについても、同様に、レンズ歪補正（ステップＳ１１Ｂ）、平行化処理（ステップＳ１２Ａ）を施す。これによって、レンズ歪補正と平行化処理がされたカメラＢの補正後画像１０Ｂ_md1を得る。

　上述した補正処理に伴う計算量は、ランダウ記法で表せば、Ｏ（ｎ²）といったオーダーである。

　位置合わせ部１１２は、第１画像補正部１１１によって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせ工程を含むステップを実行する。

　即ち、画像１０Ａ_md1と画像１０Ｂ_md1とを用いて、位置合わせ処理（ステップＳ１３Ｂ）を行う。ここでは、画像１０Ａ_md1を基準として位置合わせをするとして説明する。ステップＳ１３Ｂを経ることで、カメラＡ視点に補正されたカメラＢの補正後画像１０Ｂ_md2が得られる。

　上述した位置合わせ処理に伴う計算量は、Ｏ（ｎ³）といったオーダーである。参考例のシステム９についての計算量は、位置合わせにおけるＯ（ｎ³）といったオーダーが支配的である。尚、仮に、レンズ歪補正と平行化処理とを省略して２次元位置合わせをするとすれば、位置合わせ処理に伴う計算量は、Ｏ（ｎ⁴）といったオーダーとなり、位置合わせに必要となる計算コストが過大となる。

　図４に示すように、カメラＡの画像１０Ａ_md1とカメラＢの画像１０Ｂ_md2は、位置合わせによって画像が略一致する関係にある。

　参考例の撮像システム９に用いられる画像処理装置９００において、合成部１２０は、カメラＡの画像１０Ａ_md1とカメラＢの画像１０Ｂ_md2とを用いて合成処理を行う。

　上述の動作において、カメラＡの画像１０Ａ_md1はレンズ歪補正によって解像度が劣化し、更に、平行化処理において解像度が劣化している。カメラＢの画像１０Ｂ_md1においても同様である。即ち、合成処理の材料となる画像自体が共にオリジナルな画像よりも解像度の劣化した画像であり、合成される画像においても解像度の劣化を免れないといった問題がある。

　以上、参考例とその問題点について説明した。

　次いで、図を参照して、第１の実施形態に撮像システム１の構成と動作について詳しく説明する。

　撮像システム１にあっては、カメラＡ画像とカメラＢ画像の共に解像度劣化を生じる補正処理を行った後、１次元位置合わせにより高速な位置合わせを実行する。そして、補正処理されたカメラＢの画像を、カメラＡのオリジナル画像に合わせて変形させる。同じ被写体を撮像したカメラＡとカメラＢの画像のうちの１つであるカメラＡの画像が基準画像である。他の実施形態においても同様である。

　図５は、第１の実施形態に係る画像処理装置における動作を説明するためのブロック図である。

　第１の実施形態における画像処理装置１００における画像変形処理部１１０は、参考例において説明した画像変形処理部９１０の後段に第２画像補正部１１３を加えたといった構成である。図５において符号９１０を付した部分は、図４と同様である。尚、図示の都合上、図５においては、符号９１０の部分における処理過程を一部省略して記載した。

　第２画像補正部１１３は、位置合わせ工程によって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正工程における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正工程を含むステップを実行する。具体的には、逆平行化処理工程と逆レンズ歪補正工程とを含むステップを実行する。以下説明するように、逆平行化処理工程は、平行化処理に用いた行列とは異なる行列を用いた演算処理から成り、逆レンズ歪補正工程は、レンズ歪補正に用いたレンズ係数とは異なる係数を用いた演算処理から成る。

　第２画像補正部１１３は、カメラＡのオリジナル画像１０Ａに対して位置合わせがされた画像を生成する。具体的には、参考例で説明したカメラＢの画像１０Ｂ_md2について、逆平行化処理（ステップＳ２１Ｂ）を施す。逆平行化処理の際には、カメラＡについての平行化行列２１Ａを参照して所定の演算処理を行う。尚、上述した（ステップＳ１１Ａ）と（ステップＳ２１Ｂ）とでは、演算に用いられる行列は、一方が他方の逆行列の関係にある。

　次いで、ステップＳ２１Ｂを経た画像について、逆レンズ歪補正（ステップＳ２２Ｂ）を施す。逆レンズ歪補正の際には、カメラＡについての逆レンズ歪補正係数２２Ａを参照して所定の演算処理を行う。これによって、カメラＢの画像１０Ｂ_md2について逆平行化処理と逆レンズ歪補正とがされたカメラＢの補正後画像１０Ｂ_md3を得る。

　逆レンズ歪補正係数は、カメラＡで生ずるレンズ歪を発生させるような係数が予め選定されている。逆レンズ歪補正係数については後述する式（２－３）の説明において詳しく説明する。

　上述のステップで行う演算処理は、例えば、符号（ｋ₁’，ｋ₂’・・・，ｋ₆’、ｐ₁’，ｐ₂’）を逆レンズ歪補正係数とすれば、以下の式（２－１）ないし（２－６）のように表される。

　上述した処理に伴う計算量は、ランダウ記法で表せば、Ｏ（ｎ²）といったオーダーである。従って、撮像システム１における計算量も、位置合わせにおけるＯ（ｎ³）といったオーダーが支配的となる。換言すれば、撮像システム１の計算量は、参考例の撮像システム９と略同程度に収まる。

　式（２－３）は上述した式（１－５）と似た形をしており、レンズ歪の主要因である半径方向歪と円周方向歪を表現している。この形式の式は、一般的にはレンズ歪補正処理のために用いられる式である。しかしながら、レンズ歪のある画像をレンズ歪がないように補正（変形）することも、レンズ歪がない画像をレンズ歪があるように補正（変形）するのも、半径方向と円周方向の画像変形で説明ができる。従って、いずれの用途であっても、この形式の式を用いることができる。

　式（１－５）で用いられる係数（ｋ₁，ｋ₂・・・，ｋ₆、ｐ₁，ｐ₂）は、一般的なレンズキャリブレーション手法を用いて算出することができる。カメラＡレンズ歪補正係数１１Ａとして、このように算出された係数が用いられる。

　そして、式（１－５）において係数が与えられると、レンズ補正処理前後の座標位置を計算することができる。従って、レンズ補正処理前後の座標位置のペアを充分用意しておき、非線形最小二乗法を用いることによって、式（２－３）で用いられる係数（ｋ₁’，ｋ₂’・・・，ｋ₆’、ｐ₁’，ｐ₂’）を求めることができる。カメラＡ逆レンズ歪補正係数２２Ａとして、このようにして求められた係数が用いられる。

　尚、レンズ歪に関する式は、上記の式（１－５）や式（２－３）に限るものではなく、他の同種の式を用いることができる。例えば、下記の式（３－１）ないし式（３－８）を挙げることができる。式（３－１）は放射方向３次多項式、式（３－２）は放射方向５次多項式、式（３－３）は放射方向７次多項式、式（３－４）は放射方向３次多項式・接線方向歪み、式（３－５）は接線方向歪み（Conrady,1919）、式（３－６）は接線方向歪み（Brown,1966）、式（３－７）は放射方向７次多項式・接線方向歪み（Brown,1971）、式（３－８）は放射方向７次多項式・接線方向歪み（Murai,1971）である。

　上述した一連の処理における位置合わせの実行結果例を、図面代用写真を参照して説明する。

　図６Ａ、図６Ｂ、図６Ｃは、第１の実施形態に係る画像処理装置における位置合わせの実行結果例を説明するための図面代用写真である。

　図６Ａは、カメラＡで撮像された画像１０Ａの例であり、図６Ｂは、カメラＢで撮像された画像１０Ｂの例である。カメラＡとカメラＢとは異なる位置にあるため、撮像された画像の位置にもズレがある。図６Ｃは、カメラＡの視点に変形されたカメラＢの画像であって、図５に示す画像１０Ｂ_md3に対応する例である。

　図６Ａと図６Ｃとを比べると、ほぼ完全に位置が合っていることが分かる。画像が一致しない部分は、主に、視差によってカメラＢからは見えない領域である。

　次いで、画像合成について説明する。図７は、第１の実施形態に係る画像処理装置における画像処理を説明するための模式図である。

　撮像システム１に用いられる画像処理装置１００において、合成部１２０は、カメラＡのオリジナル画像１０ＡとカメラＢの画像１０Ｂ_md3とを用いて合成処理を行う。

　撮像システム１にあっては、カメラＡ画像とカメラＢ画像の共に解像度劣化を生じる補正処理を行った後、１次元位置合わせにより高速な位置合わせを実行する。そして、補正処理されたカメラＢの画像を、カメラＡのオリジナル画像に合わせて変形させる。

　これによって、カメラＡのオリジナル画像に合わせてカメラＢの画像を変形させるために必要な計算コストを、Ｏ（ｎ³）といったオーダーに収めることができる。そして、画像合成については、カメラＡの画像についてオリジナル画像を用いることができる。従って、カメラＡ、カメラＢともに解像度が低下した状態で合成を行う参考例に比べて、解像度の低下を軽減することができる。

　以上説明したように、撮像システム１にあっては、合成画像の解像度の低下を軽減することができ、また、動作上支障のない時間内で処理することができる。

　また、撮像部１０が、更にカメラＣ，カメラＤなどを備えている場合には、カメラＣやカメラＤの画像にカメラＢの画像と同様の処理を行えばよい。従って、撮像部１０が備えるカメラが３台以上であっても、第１の実施形態が適用できる。後述する他の実施形態においても同様である。

［第２の実施形態］
　第２の実施形態も、本開示に係る、画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラムに関する。

　第２の実施形態は、第１の実施形態に対して、カメラＢはＢａｙｅｒ配列のカラー画像を撮像すること、及び、これに起因して画像処理装置の動作が一部相違することが主に相違する。同じ被写体を撮像した複数の画像のうち、基準画像はモノクロ画像、他の画像はカラー画像である。

　Ｂａｙｅｒ配列のカメラは、［Ｒ，Ｇ，Ｇ，Ｂ］に対応する光電変換素子の群を用いてカラー撮像を行う。従って、白黒撮像に比べて、原理的に解像度は低くなる。

　人の目は、輝度変化に対する感度は高いが、色の変化への感度は低いといった特性を持つ。そこで、第２の実施形態では、カメラＡの白黒画像から輝度情報を得、カメラＢの画像から色情報を得、画像を合成して高解像度のカラー画像を合成する。

　第２の実施形態に係る撮像システムは、図１において、撮像システム１を撮像システム２と、画像処理装置１００を画像処理装置２００と、第１画像補正部１１１を第１画像補正部２１１と、位置合わせ部１１２を位置合わせ部２１２と、第２画像補正部１１３を第２画像補正部２１３と、合成部１２０を合成部２２０と、読み替えればよい。

　カメラＡが撮像した画像を符号１０Ａ_BW、カメラＢが撮像した画像を符号１０Ｂ_Bayerで表す。

　図８は、本開示の第２の実施形態に係る画像処理装置における動作を説明するためのブロック図である。図９は、図８において位置合わせに関与する部分の詳細を説明するための図である。

　尚、説明の都合上、図２、図４、図５との関係を考慮して、第１画像補正部２１１と位置合わせ部２１２から成る部分を、符号９１０Ａとして表した。

　図８を参照して、位置合わせまでの動作について説明する。画像１０Ａ_BWについて、第１の実施形態において画像１０Ａについて説明した処理と同様の処理（ステップＳ１１Ａ、ステップＳ１２Ａ）を行い、平行化された画像１０Ａ_BW_md1を得る。

　画像１０Ｂ_bayerについては、先ず、補完処理を行い（ステップＳ２０１Ｂ）、１画素にＲＧＢ全色が揃っているＲＧＢ画像に変換する。変換された画像を符号１０Ｂ_RGBと現す。

　そして、画像１０Ｂ_RGBについて、第１の実施形態において画像１０Ｂについて説明した処理と同様の処理（ステップＳ１１Ｂ、ステップＳ１２Ｂ）を行い、平行化された画像１０Ｂ_RGB_md1を得る。

　白黒画像と対比して画像の位置合わせを行う関係上、カラー画像１０Ｂ_RGB_md1から輝度情報（換言すれば、白黒画像）を生成する必要がある。そこで、カラー画像１０Ｂ_RGB_md1に基づいて輝度情報を生成する（ステップＳ２０２Ｂ）。

　次いで、画像１０Ａ_BW_md1と画像１０Ｂ_RGB_md1、更には、画像１０Ｂ_RGB_md1に基づいて生成された輝度情報を用いて、位置合わせ処理（ステップＳ２１３Ｂ）を行う。ここでは、画像１０Ａ_md1を基準として位置合わせをするとして説明する。ステップＳ２１３Ｂを経ることで、カメラＡ視点に補正されたカメラＢの補正後画像１０Ｂ_RGB_md2が得られる。

　図１０は、図８において合成処理に関与する部分の詳細を説明するための図である。

　図１０を参照して、合成処理に至る動作について説明する。第２画像補正部２１３は、カメラＡのオリジナル画像１０Ａ_BWに対して位置合わせがされた画像を生成する。具体的には、画像１０Ｂ_RGB_md2について、逆平行化処理（ステップＳ２１Ｂ）を施す。次いで、ステップＳ２１Ｂを経た画像について、逆レンズ歪補正（ステップＳ２２Ｂ）を施す。これによって、カメラＢの画像１０Ｂ_RGB_md2について逆平行化処理と逆レンズ歪補正とがされたカメラＢの補正後画像１０Ｂ_RGB_md3を得る。この処理は、第１の実施形態において説明した処理と同様であるので、説明を省略する。

　次いで、画像合成について説明する。図１１は、第２の実施形態に係る画像処理装置における画像処理を説明するための模式図である。

　第２の実施形態においては、基準画像の輝度情報と、第２画像補正工程によって生成された画像のカラー情報に基づいて、画像合成を行う。

　撮像システム２に用いられる画像処理装置２００において、合成部２２０は、カメラＡのオリジナル画像１０Ａ_BWとカメラＢの画像１０Ｂ_RGB_md3とを用いて合成処理を行う（図１０に示すステップＳ２４１Ａ）。具体的には、カメラＡのオリジナル画像１０Ａ_BWの輝度情報と、カメラＢの補正後画像１０Ｂ_RGB_md3の色情報を用いて、画像１０Ａ_BWをカラー化した画像を生成する。

　この処理は、カメラＡのオリジナル画像１０Ａ_BWの輝度情報に、カメラＢの色情報を重畳するといった処理となる。上述したように、人の目は、輝度変化に対する感度は高いが、色の変化への感度は低い。従って、合成画像される画像は、解像度に優れたカラー画像となる。

　以上、第２の実施形態について説明した。

　第２の実施形態ではＢａｙｅｒ配列の場合について説明したが、他の配列についても、輝度情報を生成するなどして１次元位置合わせをすることができる。従って、撮像部を構成するカメラがどのような色情報を持つものであっても、本開示を適用することができる。

［第３の実施形態］
　第３の実施形態も、本開示に係る、画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラムに関する。

　第３の実施形態では、位置合わせ工程で生成された画像に基づいて、基準画像に基づいて生成された画像を基準とする視差情報を格納した視差マップを生成し、次いで、生成された視差マップについて第１画像補正工程における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた視差マップを生成する。そして、基準画像に対して位置合わせがされた視差マップに基づいて、画像合成において被写界深度を制御する。以上の点が、第１の実施形態に対して主に相違する。

　第３の実施形態に係る撮像システムは、図１において、撮像システム１を撮像システム３と、画像処理装置１００を画像処理装置３００と、位置合わせ部１１２を位置合わせ部３１２と、第２画像補正部１１３を第２画像補正部３１３と、合成部１２０を合成部３２０と、読み替えればよい。

　撮像部１０を構成するカメラＡとカメラＢとは、第１の実施形態と同様に、共に白黒撮像用であるとする。カメラＡが撮像した画像を符号１０Ａ、カメラＢが撮像した画像を符号１０Ｂで表す。

　図１２は、本開示の第３の実施形態に係る画像処理装置における動作を説明するためのブロック図である。図１３は、図１２において位置合わせに関与する部分の詳細を説明するための図である。

　尚、説明の都合上、図２、図４、図５との関係を考慮して、第１画像補正部１１１と位置合わせ部３１２から成る部分を、符号９１０Ｂとして表した。

　図１３を参照して、位置合わせまでの動作について説明する。位置合わせ直前までの動作、換言すれば、画像１０Ａから画像１０Ａ_md1を生成するまでの処理と、画像１０Ｂから画像１０Ｂ_md1を生成するまでの処理とは、第１の実施形態において説明した処理と同様であるので、説明を省略する。

　引き続き、位置合わせについて説明する。第１の実施形態と同様に、１０Ａ_md1を基準として画像１０Ｂ_md1に位置合わせ処理を行う（ステップＳＢ３１３）。但し、第３の実施形態にあっては、併せて、画素毎の視差量を格納した視差マップＤＰ_MAPを生成する。１次元位置合わせを行った上での視差量であるので、視差マップＤＰ_MAPは、水平方向の画素のズレ量を格納したマップ（ディスパリティマップ）である。

　図１４は、図１２において合成処理に関与する部分の詳細を説明するための図である。

　図１４を参照して、合成処理に至る動作について説明する。第２画像補正部３１３は、カメラＡのオリジナル画像１０Ａに対して位置合わせがされた視差マップを生成する。具体的には、視差マップＤＰ_MAPについて、逆平行化処理（ステップＳ３３１Ｂ）を施す。次いで、ステップＳ３３１Ｂを経た画像について、逆レンズ歪補正（ステップＳ３３２Ｂ）を施す。これによって、カメラＢの視差マップＤＰ_MAPについて逆平行化処理と逆レンズ歪補正とがされたカメラＢの補正後視差マップＤＰ_MAP_md1を得る。この処理は、第１の実施形態において、カメラＢの画像１０Ｂ_md2から画像１０Ｂ_md3にする処理を、視差マップＤＰ_MAPについて適用したのと同様の処理であるので、説明を省略する。

　次いで、画像合成について説明する。図１５は、第３の実施形態に係る画像処理装置における画像処理を説明するための模式図である。

　撮像システム３に用いられる画像処理装置３００において、合成部３２０は、カメラＡのオリジナル画像１０ＡとカメラＢの補正後視差マップＤＰ_MAP_md1とを用いて合成処理を行う（図１４に示すステップＳ３４１Ａ）。具体的には、カメラＡのオリジナル画像１０Ａの輝度情報と、カメラＢの補正後視差マップＤＰ_MAP_md1の情報を用いて、画像１０Ａの被写界深度を制御した画像（図１４に示す画像１０Ａ_fmd）を生成する。

　この処理は、カメラＡのオリジナル画像１０Ａにおけるフォーカスを、視差マップの値に基づいて調整するといった処理となる。視差マップＤＰ_MAP_md1は、画像１０Ａの奥行き情報であるので、例えばポートレート風に仕上げる場合には、背景をぼかすといった処理を行えばよい。

　尚、画像に奥行きに応じたボケを付加するアプリケーションや、前景と背景を切り分けるアプリケーションなどにも用いることができる。このようなアプリケーションにおいて、解像度劣化を避けたいカメラの画像については画像を変形させず、ディスパリティマップを算出できる点が本開示の利点である。

　尚、ディスパリティマップ自体には画像変形による解像度劣化が生じるが、例えば、解像度劣化を避けたカメラの画像を用いてクロスバイラテラルフィルタなどの解像度復元処理を適用し、ディスパリティマップの解像度劣化を補償してもよい。

［第４の実施形態］
　第４の実施形態も、本開示に係る、画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラムに関する。

　第４の実施形態は、第２の実施形態に更に第３の実施形態を適用したといった構成である。

　第４の実施形態に係る撮像システムは、図１において、撮像システム１を撮像システム４と、画像処理装置１００を画像処理装置４００と、第１画像補正部１１１を第１画像補正部４１１と、位置合わせ部１１２を位置合わせ部４１２と、第２画像補正部１１３を第２画像補正部４１３と、合成部１２０を合成部４２０と、読み替えればよい。

　撮像部１０を構成するカメラＡとカメラＢは、第２の実施形態と同様である。カメラＡは白黒画像を撮像し、カメラＢはＢａｙｅｒ配列のカラー画像を撮像する。

　図１６は、本開示の第４の実施形態に係る画像処理装置における動作を説明するためのブロック図である。

　尚、説明の都合上、図２、図４、図５との関係を考慮して、第１画像補正部４１１と位置合わせ部４１２から成る部分を、符号９１０Ｃとして表した。

　第２の実施形態では、図９に示すステップＳ２１３Ｂにおいて、画像１０Ｂ_RGB_md2を生成した。第４の実施形態では、併せて、視差マップＤＰ_MAPを生成する。
画像１０Ｂ_RGB_md2の生成処理は第２の実施形態において説明した処理と同様である。また、視差マップＤＰ_MAPの生成処理は第３の実施形態において説明した処理と同様である。よって、詳しい説明は省略する。

　次いで、画像合成について説明する。図１７は、図１６において合成処理に関与する部分の詳細を説明するための図である。図１８は、第４の実施形態に係る画像処理装置における画像処理を説明するための模式図である。

　第４の実施形態にあっては、基準画像に対して位置合わせがされた視差マップに基づいて、画像合成において被写界深度を制御する。更に、基準画像の輝度情報と、第２画像補正工程によって生成された画像のカラー情報に基づいて、画像合成を行う。

　撮像システム４に用いられる画像処理装置４００において、合成部４２０は、カメラＡのオリジナル画像１０Ａ_BWとカメラＢの補正後画像１０Ｂ_RGB_md2に加え、更に、補正後視差マップＤＰ_MAP_md1とを用いて合成処理を行う（図１４に示すステップＳ４４１Ａ）。具体的には、カメラＡのオリジナル画像１０Ａ_BWの輝度情報と、画像１０Ｂ_RGB_md2の色情報と、視差マップＤＰ_MAP_md1との情報を用いて、画像１０Ａ_BWをカラー化し更に被写界深度を制御した画像１０Ａ_RGB_fmdを生成する。

［第１の応用例］
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

　図１９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１９に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１９では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。

　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

　ここで、図２０は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図２０には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

　図１９に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。

　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１９の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

　なお、図１９に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

　本開示に係る技術は、以上説明した構成のうち、例えば、車外情報検出ユニットの撮像部に適用され得る。即ち、解像度の高い画像が取得でき、また、視差マップによる視差情報も得ることができるため、より詳細な情報を得ることが可能になる。

［本開示の構成］
　尚、本開示は、以下のような構成をとることもできる。

［Ａ１］
　同じ被写体を撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理部、及び、
　基準画像に基づく情報と画像変形処理部によって生成された画像に基づく情報とを用いて画像合成を行う合成部、
を備えている画像処理装置。
［Ａ２］
　画像変形処理部は、
　同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する第１画像補正部、
　第１画像補正部によって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせ部、及び、
　位置合わせ部によって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正部における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正部、
を含む、
上記［Ａ１］に記載の画像処理装置。
［Ａ３］
　第１画像補正部は、
　レンズ歪補正工程と平行化処理工程とを含む処理を行い、
　第２画像補正工程は、
　逆平行化処理工程と逆レンズ歪補正工程とを含む処理を行う、
上記［Ａ２］に記載の画像処理装置。
［Ａ４］
　レンズ歪補正工程は、所定のレンズ係数を用いた演算処理から成り、
　逆レンズ歪補正工程は、前記所定のレンズ係数とは異なる係数を用いた演算処理から成る、
上記［Ａ３］に記載の画像処理装置。
［Ａ５］
　平行化処理工程は、所定の行列を用いた演算処理から成り、
　逆平行化処理工程は、前記所定の行列とは異なる行列を用いた演算処理から成る、
上記［Ａ３］または［Ａ４］に記載の画像処理装置。
［Ａ６］
　平行化処理工程に用いられる行列と逆平行化処理工程に用いられる行列とは、一方が他方の逆行列の関係にある、
上記［Ａ５］に記載の画像処理装置。
［Ａ７］
　同じ被写体を撮像した複数の画像のうち、基準画像はモノクロ画像、他の画像はカラー画像である、
上記［Ａ１］ないし［Ａ６］のいずれかに記載の画像処理装置。
［Ａ８］
　基準画像の輝度情報と、第２画像補正工程によって生成された画像のカラー情報に基づいて、画像合成を行う、
上記［Ａ７］に記載の画像処理装置。
［Ａ９］
　画像変形処理部は、更に、
　位置合わせ部で生成された画像に基づいて、基準画像に基づいて生成された画像を基準とする視差情報を格納した視差マップを生成する工程、及び、
　生成された視差マップについて第１画像補正部における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた視差マップを生成する工程、
を行う、
上記［Ａ２］ないし［Ａ８］のいずれかに記載の画像処理装置。
［Ａ１０］
　基準画像に対して位置合わせがされた視差マップに基づいて、画像合成において被写界深度を制御する、
上記［Ａ９］に記載の画像処理装置。
［Ａ１１］
　同じ被写体を撮像した複数の画像のうち、基準画像はモノクロ画像、他の画像はカラー画像であり、
　基準画像の輝度情報と、第２画像補正工程によって生成された画像のカラー情報に基づいて、画像合成を行う、
上記［Ａ１０］に記載の画像処理装置。

［Ｂ１］
　同じ被写体を撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理を行い、
　基準画像に基づく情報と画像変形処理によって生成された画像に基づく情報とを用いて画像合成を行う、
画像処理方法。
［Ｂ２］
　画像変形処理は、
　同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する第１画像補正工程、
　第１画像補正工程によって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせ工程、及び、
　位置合わせ工程によって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正工程における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正工程、
を含む、
上記［Ｂ１］に記載の画像処理方法。
［Ｂ３］
　第１画像補正工程は、
　レンズ歪補正工程と平行化処理工程とを含み、
　第２画像補正工程は、
　逆平行化処理工程と逆レンズ歪補正工程とを含む、
上記［Ｂ２］に記載の画像処理方法。
［Ｂ４］
　レンズ歪補正工程は、所定のレンズ係数を用いた演算処理から成り、
　逆レンズ歪補正工程は、前記所定のレンズ係数とは異なる係数を用いた演算処理から成る、
上記［Ｂ３］に記載の画像処理方法。
［Ｂ５］
　平行化処理工程は、所定の行列を用いた演算処理から成り、
　逆平行化処理工程は、前記所定の行列とは異なる行列を用いた演算処理から成る、
上記［Ｂ３］または［Ｂ４］に記載の画像処理方法。
［Ｂ６］
　平行化処理工程に用いられる行列と逆平行化処理工程に用いられる行列とは、一方が他方の逆行列の関係にある、
上記［Ｂ５］に記載の画像処理方法。
［Ｂ７］
　同じ被写体を撮像した複数の画像のうち、基準画像はモノクロ画像、他の画像はカラー画像である、
上記［Ｂ１］ないし［Ｂ６］のいずれかに記載の画像処理方法。
［Ｂ８］
　基準画像の輝度情報と、第２画像補正工程によって生成された画像のカラー情報に基づいて、画像合成を行う、
上記［Ｂ７］のいずれかに記載の画像処理方法。
［Ｂ９］
　画像変形処理は、更に、
　位置合わせ工程で生成された画像に基づいて、基準画像に基づいて生成された画像を基準とする視差情報を格納した視差マップを生成する工程、及び、
　生成された視差マップについて第１画像補正工程における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた視差マップを生成する工程、
を含む、
上記［Ｂ２］ないし［Ｂ８］のいずれかに記載の画像処理方法。
［Ｂ１０］
　基準画像に対して位置合わせがされた視差マップに基づいて、画像合成において被写界深度を制御する、
上記［Ｂ９］に記載の画像処理方法。
［Ｂ１１］
　同じ被写体を撮像した複数の画像のうち、基準画像はモノクロ画像、他の画像はカラー画像であり、
　基準画像の輝度情報と、第２画像補正工程によって生成された画像のカラー情報に基づいて、画像合成を行う、
上記［Ｂ１０］に記載の画像処理方法。

［Ｃ１］
　同じ被写体について複数の画像を撮像する撮像部、
　撮像部が撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理部、及び、
　基準画像に基づく情報と画像変形処理部によって生成された画像に基づく情報とを用いて画像合成を行う合成部、
を備えている撮像システム。
［Ｃ２］
　画像変形処理部は、
　同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する第１画像補正部、
　第１画像補正部によって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせ部、及び、
　位置合わせ部によって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正部における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正部、
を含む、
上記［Ｃ１］に記載の撮像システム。
［Ｃ３］
　第１画像補正部は、
　レンズ歪補正工程と平行化処理工程とを含む処理を行い、
　第２画像補正工程は、
　逆平行化処理工程と逆レンズ歪補正工程とを含む処理を行う、
上記［Ｃ２］に記載の撮像システム。
［Ｃ４］
　レンズ歪補正工程は、所定のレンズ係数を用いた演算処理から成り、
　逆レンズ歪補正工程は、前記所定のレンズ係数とは異なる係数を用いた演算処理から成る、
上記［Ｃ３］に記載の撮像システム。
［Ｃ５］
　平行化処理工程は、所定の行列を用いた演算処理から成り、
　逆平行化処理工程は、前記所定の行列とは異なる行列を用いた演算処理から成る、
上記［Ｃ３］または［Ｃ４］に記載の撮像システム。
［Ｃ６］
　平行化処理工程に用いられる行列と逆平行化処理工程に用いられる行列とは、一方が他方の逆行列の関係にある、
上記［Ｃ５］に記載の撮像システム。
［Ｃ７］
　同じ被写体を撮像した複数の画像のうち、基準画像はモノクロ画像、他の画像はカラー画像である、
上記［Ｃ１］ないし［Ｃ６］のいずれかに記載の撮像システム。
［Ｃ８］
　基準画像の輝度情報と、第２画像補正工程によって生成された画像のカラー情報に基づいて、画像合成を行う、
上記［Ｃ７］に記載の撮像システム。
［Ｃ９］
　画像変形処理部は、更に、
　位置合わせ部で生成された画像に基づいて、基準画像に基づいて生成された画像を基準とする視差情報を格納した視差マップを生成する工程、及び、
　生成された視差マップについて第１画像補正部における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた視差マップを生成する工程、
を行う、
上記［Ｃ２］ないし［Ｃ８］のいずれかに記載の撮像システム。
［Ｃ１０］
　基準画像に対して位置合わせがされた視差マップに基づいて、画像合成において被写界深度を制御する、
上記［Ｃ９］に記載の撮像システム。
［Ｃ１１］
　同じ被写体を撮像した複数の画像のうち、基準画像はモノクロ画像、他の画像はカラー画像であり、
　基準画像の輝度情報と、第２画像補正工程によって生成された画像のカラー情報に基づいて、画像合成を行う、
上記［Ｃ１０］に記載の撮像システム。

［Ｄ１］
　同じ被写体を撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理ステップ、及び、
　基準画像に基づく情報と画像変形処理によって生成された画像に基づく情報とを用いて画像合成を行うステップ、
を含む処理をコンピュータに実行させるための画像処理プログラム。
［Ｄ２］
　画像変形処理ステップは、
　同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する第１画像補正ステップ、
　第１画像補正ステップによって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせステップ、及び、
　位置合わせステップによって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正ステップにおける演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正ステップ、
を含む、
上記［Ｄ１］に記載の画像処理プログラム。
［Ｄ３］
　第１画像補正ステップは、
　レンズ歪補正ステップと平行化処理ステップとを含み、
　第２画像補正ステップは、
　逆平行化処理ステップと逆レンズ歪補正ステップとを含む、
上記［Ｄ２］に記載の画像処理プログラム。
［Ｄ４］
　レンズ歪補正ステップは、所定のレンズ係数を用いた演算処理から成り、
　逆レンズ歪補正ステップは、前記所定のレンズ係数とは異なる係数を用いた演算処理から成る、
上記［Ｄ３］に記載の画像処理プログラム。
［Ｄ５］
　平行化処理ステップは、所定の行列を用いた演算処理から成り、
　逆平行化処理ステップは、前記所定の行列とは異なる行列を用いた演算処理から成る、
上記［Ｄ３］または［Ｄ４］に記載の画像処理プログラム。
［Ｄ６］
　平行化処理ステップに用いられる行列と逆平行化処理ステップに用いられる行列とは、一方が他方の逆行列の関係にある、
上記［Ｄ５］に記載の画像処理プログラム。
［Ｄ７］
　同じ被写体を撮像した複数の画像のうち、基準画像はモノクロ画像、他の画像はカラー画像である、
上記［Ｄ１］ないし［Ｄ６］のいずれかに記載の画像処理プログラム。
［Ｄ８］
　基準画像の輝度情報と、第２画像補正ステップによって生成された画像のカラー情報に基づいて、画像合成を行う、
上記［Ｄ７］のいずれかに記載の画像処理プログラム。
［Ｄ９］
　画像変形処理は、更に、
　位置合わせステップで生成された画像に基づいて、基準画像に基づいて生成された画像を基準とする視差情報を格納した視差マップを生成するステップ、及び、
　生成された視差マップについて第１画像補正ステップにおける演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた視差マップを生成するステップ、
を含む、
上記［Ｄ２］ないし［Ｄ８］のいずれかに記載の画像処理プログラム。
［Ｄ１０］
　基準画像に対して位置合わせがされた視差マップに基づいて、画像合成において被写界深度を制御する、
上記［Ｄ９］に記載の画像処理プログラム。
［Ｄ１１］
　同じ被写体を撮像した複数の画像のうち、基準画像はモノクロ画像、他の画像はカラー画像であり、
　基準画像の輝度情報と、第２画像補正ステップによって生成された画像のカラー情報に基づいて、画像合成を行う、
上記［Ｄ１０］に記載の画像処理プログラム。

１，２，３，４，９・・・撮像システム、１０・・・撮像部、１０Ａ・・・カメラＡ画像、１０Ｂ・・・カメラＢ画像、１１Ａ・・・カメラＡレンズ歪補正係数、１１Ｂ・・・カメラＢレンズ歪補正係数、１２Ａ・・・カメラＡ平行化行列(逆行列）、１２Ｂ・・・カメラＢ平行化行列、２１Ａ・・・カメラＡ平行化行列、２２Ａ・・・カメラＡ逆レンズ歪補正係数、１００，２００，３００，４００，９００・・・画像処理装置、１１０，９１０，９１０Ａ，９１０Ｂ，９１０Ｃ・・・画像変形処理部、１１１，２１１，４１１・・・第１画像補正部、１１２，２１２，３１２，４１２・・・位置合わせ部、１１３，３１３，４１３・・・第２画像補正部、１２０，２２０，３２０，４２０・・・合成部

Claims

　同じ被写体を撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理部、及び、
　基準画像に基づく情報と画像変形処理部によって生成された画像に基づく情報とを用いて画像合成を行う合成部、
を備えている画像処理装置。
　画像変形処理部は、
　同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する第１画像補正部、
　第１画像補正部によって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせ部、及び、
　位置合わせ部によって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正部における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正部、
を含む、
請求項１に記載の画像処理装置。
　同じ被写体を撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理を行い、
　基準画像に基づく情報と画像変形処理によって生成された画像に基づく情報とを用いて画像合成を行う、
画像処理方法。
　画像変形処理は、
　同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する第１画像補正工程、
　第１画像補正工程によって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせ工程、及び、
　位置合わせ工程によって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正工程における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正工程、
を含む、
請求項３に記載の画像処理方法。
　第１画像補正工程は、
　レンズ歪補正工程と平行化処理工程とを含み、
　第２画像補正工程は、
　逆平行化処理工程と逆レンズ歪補正工程とを含む、
請求項４に記載の画像処理方法。
　レンズ歪補正工程は、所定のレンズ係数を用いた演算処理から成り、
　逆レンズ歪補正工程は、前記所定のレンズ係数とは異なる係数を用いた演算処理から成る、
請求項５に記載の画像処理方法。
　平行化処理工程は、所定の行列を用いた演算処理から成り、
　逆平行化処理工程は、前記所定の行列とは異なる行列を用いた演算処理から成る、
請求項５に記載の画像処理方法。
　平行化処理工程に用いられる行列と逆平行化処理工程に用いられる行列とは、一方が他方の逆行列の関係にある、
請求項７に記載の画像処理方法。
　同じ被写体を撮像した複数の画像のうち、基準画像はモノクロ画像、他の画像はカラー画像である、
請求項３に記載の画像処理方法。
　基準画像の輝度情報と、第２画像補正工程によって生成された画像のカラー情報に基づいて、画像合成を行う、
請求項９に記載の画像処理方法。
　画像変形処理は、更に、
　位置合わせ工程で生成された画像に基づいて、基準画像に基づいて生成された画像を基準とする視差情報を格納した視差マップを生成する工程、及び、
　生成された視差マップについて第１画像補正工程における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた視差マップを生成する工程、
を含む、
請求項４に記載の画像処理方法。
　基準画像に対して位置合わせがされた視差マップに基づいて、画像合成において被写界深度を制御する、
　請求項１１に記載の画像処理方法。
　同じ被写体を撮像した複数の画像のうち、基準画像はモノクロ画像、他の画像はカラー画像であり、
　基準画像の輝度情報と、第２画像補正工程によって生成された画像のカラー情報に基づいて、画像合成を行う、
請求項１２に記載の画像処理方法。
　同じ被写体について複数の画像を撮像する撮像部、
　撮像部が撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理部、及び、
　基準画像に基づく情報と画像変形処理部によって生成された画像に基づく情報とを用いて画像合成を行う合成部、
を備えている撮像システム。
　画像変形処理部は、
　同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する第１画像補正部、
　第１画像補正部によって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせ部、及び、
　位置合わせ部によって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正部における演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正部、
を含む、
請求項１４に記載の撮像システム。
　同じ被写体を撮像した複数の画像のうちの１つを基準画像とし、複数の画像のそれぞれに基づいて１次元位置合わせが可能な画像を生成したのちに変形させ、基準画像に対して位置合わせがされた画像を生成する画像変形処理ステップ、及び、
　基準画像に基づく情報と画像変形処理によって生成された画像に基づく情報とを用いて画像合成を行うステップ、
を含む処理をコンピュータに実行させるための画像処理プログラム。
　画像変形処理ステップは、
　同じ被写体を撮像した複数の画像のそれぞれに基づいて、１次元位置合わせが可能な画像を生成する第１画像補正ステップ、
　第１画像補正ステップによって生成された画像について、基準画像に基づいて生成された画像を基準として１次元位置合わせがされた画像を生成する位置合わせステップ、及び、
　位置合わせステップによって生成された画像のうち、基準画像に基づいて生成された画像を除く画像について第１画像補正ステップにおける演算処理と逆の演算処理を施すことによって、基準画像に対して位置合わせがされた画像を生成する第２画像補正ステップ、
を含む、
請求項１６に記載の画像処理プログラム。