JP6660751B2

JP6660751B2 - 撮像装置

Info

Publication number: JP6660751B2
Application number: JP2016019401A
Authority: JP
Inventors: 佐々本　学; 学佐々本; 健志磨; 野中　進一; 進一野中
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2016-02-04
Filing date: 2016-02-04
Publication date: 2020-03-11
Anticipated expiration: 2036-02-04
Also published as: EP3413015A1; US11650052B2; WO2017134982A1; EP3413015A4; EP3413015B1; CN108496056B; CN108496056A; JP2017139631A; US20200284580A1

Description

本発明は、撮像装置に関する。

本技術分野の背景技術として、例えば特許文献１には、ステレオカメラによる距離検出及び単眼カメラによる距離検出の両方を用いる手法が提案されている。

具体的には、特許文献１では、先ずは単眼カメラによる距離検出により車両と対象物との距離を検出することで、演算量を抑制して対象物の位置を追跡し、車両と対象物との距離が予め設定された切替距離以下になった時に、ステレオカメラによる距離検出に切替えて、車両に接近した対象物の位置をより精度よく認識することが述べられている。

また、特許文献１では、演算量は単眼カメラによる方が少なくなる一方で、検出精度はステレオカメラによる方が高くなることが述べられている。

特開２０１３−０５８８２９号公報

ところで、特許文献１に記載の技術は、検知対象となる物体が一つである場合には演算負荷を低減することができる。しかし、通常、検知対象となる物体は、遠方にも近傍にも存在するため、複数の物体毎に単眼処理とステレオ処理とをそれぞれ行わなければならない場合が生じ、演算負荷を効率的に低減することができないおそれがある。

そこで、本発明は、検知対象となる物体が複数存在する場合でも、検知精度の向上と演算負荷の低減を両立させることができる撮像装置を提供することを目的とする。

本発明は、複数の撮像部を有する撮像装置であって、前記複数の撮像部で撮影されるそれぞれの撮影画像に共通する共通撮像領域のうちの一部分である第１領域では、該第１領域の全体に亘って該一部領域内の画像要素についての距離を前記複数の撮影画像間の視差に基づいて算出し、前記撮影画像のうち前記第１領域とは別の他部領域を含む第２領域では、該第２領域のうちの一部分である部分領域に対して該部分領域内の画像要素についての距離を前記複数の画像間の視差に基づいて算出する。

本発明は、検知対象となる物体が複数存在する場合でも、検知精度の向上と演算負荷の低減を両立させることができる。

本発明の実施例における撮像装置の構成を示す図である。本発明の実施例で撮像される撮像画像の一例を示す図である。本発明の実施例で撮像される撮像画像と領域制御の一例を示す図である。本発明の実施例における撮像装置の処理タイミングを示す図である。本発明の実施例における撮像装置の処理フローを示す図である。本発明の実施例における撮影画像と認識結果の一例を示す図である。本発明の実施例における領域制御の例を示す図である。本発明の実施例における距離検出部の消費電流の一例を示す図である。本発明の実施例における領域制御の他の例を示す図である。本発明の別の実施例における撮像装置の構成を示す図である。本発明のさらに別の実施例における撮像装置の構成を示す図である。

以下、図面を用いて本発明の実施形態を説明する。

図１は、本発明の撮像装置の一実施例の構成を示す図である。１は本実施例の撮像装置であり、例えば車両の前方に搭載され、信号や標識、障害物などを認識して運転者を支援する安全システムの一部として構成するものである。

１０１、１０２は撮像部であり、画像センサに光学レンズが装着されている。これらの撮像部は、所定のタイミングで１枚の画像の撮像を繰り返し、撮像した画像を出力する。
撮像部１０１と撮像部１０２は、所定の距離で左右に離れて設置され、撮像部１０１と撮像部１０２で撮影した画像のずれ、いわゆる視差から、被写体までの距離を算出できる。

なお、図１では撮像装置１の構成要素が同一の筐体に収められる例を示したが、例えば撮像部１０１、１０２を、他の構成要素とは別の筐体にまとめて収めてもよいし（同図点線枠）、撮像部１０１、１０２をそれぞれ別の筐体に収めて車両に取り付けてもよい。その場合、画像信号は図示しない接続ケーブルで接続すればよい。接続ケーブルを用いて画像を伝送する方法としては、ＬＶＤＳ（ＬｏｗＶｏｌｔａｇｅＤｉｆｆｅｒｅｎｔｉａｌＳｉｇｎａｌｉｎｇ）方式の差動伝送路を用いた伝送方法などがある。

また、撮像部１０１と撮像部１０２の画像センサをカラー画像センサとすることで、撮像した画像の色情報を取得することが可能になる。

１０３は画像補正部であり、撮像部１０１、１０２からの画像を取り込み、それぞれの画像の輝度を合わせるように予め計測されている補正値で補正し、さらにレンズによる画像の歪の補正と、撮像部１０１、１０２の画像の水平位置を合わせるようにこれも予め計測されている補正値で補正し、画像メモリに格納する。補正値の計測は、撮像装置の製造工程で行われる。補正値適用前の装置毎で、特定の被写体を撮像し、取得した画像の輝度が均一になるような画素毎の輝度補正値、およびレンズ歪を打ち消し、画像が水平になるような画素毎の幾何補正値を求め、それぞれ補正テーブルとして、装置毎に例えば図示しない不揮発性メモリに保存しておく。

１０４は、領域制御部であり、後述の距離検出部１０５において距離を検出する画像の領域を指定し、距離検出部１０５に出力し、また、後述の物体検出部１０７において物体を検出する画像の領域を指定し、物体検出部１０７に出力し、その物体検出部１０７で検出した結果を受け取る。すなわち、距離検出部１０５に距離検出すべき画像の領域を指定し、物体検出部１０７に物体検出すべき画像の領域を指定する。

１０５は距離検出部であり、画像補正部１０３からの画像を入力して被写体の距離を検出する。距離を検出する方法として例えば次のような方法がある。距離検出部１０５は、画像補正部１０３からの画像を取り込み、視差の算出を行う。前述のように、撮像部１０１と撮像部１０２は所定の距離で左右に離れて設置されているので、撮像した画像は視差を持つ。この視差を算出するいわゆるステレオ処理を行う。視差の算出手法としては、例えば、ブロックマッチング方式がある。距離検出部１０５は、例えば画像補正選択部１０３からの画像のうち、領域制御部１０４により指定された画像の領域について距離検知を行う。具体的には、まず、撮像部１０１の画像上から小さく切出した所定のサイズのブロック領域に対応する、撮像部１０２の画像上の同じ被写体が映っている領域を水平方向に探索する。そして撮像部１０１と撮像部１０２における一致したブロック領域の位置の差が視差となる。この視差を用いてブロック領域に映っている対象物の実環境での距離を求めることができる。なお、この例は、距離を求める対象となる画像要素として、ブロック領域を採用したものである。一致比較の手法としては、例えば、ブロック領域内の画素の輝度の差分の総和が小さくなった位置を視差とする。距離は、撮像部１０１、撮像部１０２のレンズ焦点距離、撮像部１０１と撮像部１０２の距離、上記で求めた視差、および撮像センサの画素ピッチから求められることは公知である。ただし、距離の算出方法はこれに限定するものではない。また、距離を求める対象となる画像要素として、上述のブロック領域に限られず、撮像センサを構成する個々の画素を採用してもよい。

１０６は距離情報に基づく物体検出部であり、距離検出部１０５で求めた、領域制御部１０４で指定された領域の距離情報に基づいて物体を検出する。物体を検出する方法は、例えば、ほぼ同一の距離を示す距離情報が近くに存在する場合、それらを一つの集合としてグループ化し、そのグループの大きさが一定以上のときにそのグループを物体とみなす。そして、検出したグループの大きさと形状に基づき、例えば車両や歩行者であることを検出する。物体の大きさや形状は、参照データとしてあらかじめ保持しているパタンデータとの比較から検出する方法がある。この処理方式によれば、自車両から前方の歩行者や車両の距離が精度よく得られるので、自車両の減速や停止などの衝突回避のための情報として用いられる。

１０７はもう一つの物体検出部であり、撮像部１０１または撮像部１０２のどちらの画像を入力して物体を検出する。物体を検出する方法としては、例えば次のような方法がある。物体検出部１０６は、撮像部１０１または撮像部１０２のどちらかの画像を取り込み、取り込んだ画像の中で、想定している交通信号や道路標識などを検出する。この検出方法としては、例えば、画像の中で輝度分布やエッジの形状情報と、参照データとして保持しているパタンデータとの類似量から交通信号や道路標識などの物体を検出する方法などがある。これにより、画像中の物体とその画面上の位置が把握できる。

物体検出部１０７は、この検出結果を領域制御部１０４に出力し、領域制御部１０４はこの結果に基づいて距離検出部１０５に対し、距離検出すべき領域を指定する。距離検出部１０５は、補正部１０３からの画像の内、指定された領域について、前述の距離検出を行い、その結果を後述の認識部１０８に出力する。これにより、距離検出部１０５による距離検出の領域を限定することが可能となり、処理負荷の増大を回避できる。

１０８は認識部であり、物体検出部１０６、物体検出部１０７と距離検出部１０５の検出結果を受け取り、画像上物体の認識を行い、認識結果の情報を撮像装置１の外部へ出力する。

なお、撮像装置１は、例えば点線枠１１内の撮像部１０１、１０２、画像補正部１０３、距離検出部１０５は電子回路で構成され、それ以外の構成要素は図示しないマイコンなどによるソフトウェア処理で実現される。

図２は、本発明の撮像装置の一実施例で撮像される撮像画像の一例を示す図である。同図中、１００１は撮像部１０１で撮像され、補正部１０３で補正された撮像画像を、１００２は、撮像部１０２で撮像され、補正部１０３で補正された撮像画像を示す。２０２、２０３、２０４は被写体である。

また、２０１、２０８は、撮像画像１００１および撮像画像１００２のうち共通して撮像されている領域である共通撮像領域を示す。前述のように撮像画像１００１と撮像画像１００２の間には、共通して撮像されている領域のずれがあり、このずれ量すなわち視差により、被写体の距離を算出する。

図３は、本発明の撮像装置の一実施例で撮像される撮像画像と領域制御の一例を示す図である。同図中２０１は、例えば撮像部１０１で撮像され、補正部１０３で補正された撮像画像のうち、前述のように撮像部１０２で撮像された画像と共通して撮像されている領域を示す。

２０５、および２０６は撮像画像２０１のうち、領域制御部１０４で指定された処理領域であり、処理領域２０５は、距離検出部１０５にて距離検出処理が行われた後、物体検出部１０６にて物体検出が行われる処理領域である。即ち、処理領域２０５は、共通撮像領域のうちの一部分の領域（便宜上、第１領域とする）であり、この第１領域では、該第１領域の全体に亘って該一部領域内の画像要素についての距離が前記複数の撮影画像間の視差に基づいて算出される。また、処理領域２０６は、物体検出１０７において物体検出処理が行われた後、その結果からさらに領域を指定して距離検出部１０５にて距離検出処理が行われる画像領域である。即ち、処理領域２０５は、第１領域とは別の他部領域を含む領域（便宜上、第２領域とする）であり、この第２領域では、該第２領域のうちの一部分である部分領域に対して該部分領域内の画像要素についての距離が前記複数の画像間の視差に基づいて算出される。なお、上記の第１領域、他部領域、第２領域、部分領域に関しては、図６、７を用いて後述する。

２０７は、処理領域２０６のうち、物体検出１０７において物体が検出された結果に基づいて領域制御部１０４で指定された処理領域である。この場合、処理領域２０６から物体検出部１０７によって交通信号２０４が検出され、領域制御部１０４により、その交通信号を含む処理領域２０７を指定し、この処理領域２０７について距離検出部１０５において距離検出処理が行われる。

図４は、本発明の撮像装置の一実施例の処理タイミングを示す図である。同図中、（３−１）は処理領域２０５の処理タイミングを、（３−２）は処理領域２０６の処理タイミングを、（３−３）は処理領域２０６中の処理領域２０７の処理タイミングを示す。

（３−１）では、処理領域２０５について、距離検出部１０５にて距離検出処理が行われた後、物体検出部１０６にて物体検出が行われる。また、（３−２）では、処理領域２０６について、物体検出１０７において物体検出が行われる。さらに（３−３）では、（３−２）にて物体検出部１０７で検出された結果に基づいて領域制御部１０４で指定された処理領域である処理領域２０７について距離検出部１０５にて距離検出処理が行われる。

このように、距離検出部１０５における距離検出処理は、指定された必要な処理領域についてのみ行われるので、撮像した画像の全領域について処理することはなく、処理の負荷が低減できる。また、距離検出部１０５の動作は、（３−１）の処理と（３−３）の処理とで時分割処理が可能であるので、例えば距離検出部１０５を実現する一つのハードウェアでの処理が可能となるので回路規模が低減できる。また、（３−１）の処理と、（３−２）から（３−３）の処理は並行して処理することが可能である。さらにこれらの処理を撮像部１０１、１０２の撮像間隔である１フレームの期間（即ち、処理周期）に処理を行い、フレーム毎に指定する処理領域を切り替えることで、様々な物体に適した検出処理が可能となる。

図５は、本発明の撮像装置の一実施例の処理フローを示す図である。まず、撮像部１０１および１０２により画像を撮影する（Ｓ４０１：Ｓはステップを表す）。撮影したそれぞれの画像は、画像補正部１０３により前述した通り輝度補正、レンズ歪補正や水平位置合わせが行われる（Ｓ４０２）。次に、領域制御部１０４により、後続で処理すべき画像の処理領域が指定される（Ｓ４０３）。

まず、図３で示した処理領域２０５については、撮像部１０１、１０２で撮像された画像を用いて距離検出部１０５により距離を検出する（Ｓ４０４）。そして得られた距離情報に基づいて物体検出部１０６により物体の検出が行われる（Ｓ４０５）。

また、図３で示した処理領域２０６については、撮像部１０１、１０２のどちらかの画像を用いて物体検出部１０７により処理領域２０６中の物体を検出する（Ｓ４０６）。この処理は単眼処理とも称される。この単眼処理では、パターンマッチング等の手法により物体を検出する。

次に、得られた検出結果に基づいて領域制御部１０４により、距離検出すべき処理領域が指定される（Ｓ４０７）。そして、その領域２０７について、撮像部１０１、１０２で撮像された画像を用いて距離検出部１０５により距離が検出される（Ｓ４０８）。

最後に認識部１０８により、各処理領域の物体の検出結果に基づいて、物体の認識処理を行い、認識結果を出力する（Ｓ４０９）。これらの処理を例えば１フレーム毎に繰り返し行う。

図６は、本発明の撮像装置の一実施例における撮影画像と認識結果の一例を示す図である。５０１はある時点で撮像部１０１により撮像された画像であり、撮像部１０２もほぼ同様の画像を撮影し取得している。また、５０２、５０３、５０４は物体の認識結果であり、画像内の枠は撮像した画像にはなく、認識した動体を明示的に示したものである。

前述の処理領域２０５から検出した歩行者２０２と歩行者２０３と、処理領域２０６から検出した処理領域２０７の交通信号２０４を検出している。このように撮影した画像全体に亘って物体の認識を実現できる。

なお、処理領域２０５は上述の第１領域に相当する。また、処理領域２０６は上述の第２領域に相当するとともに、上述の他部領域にも相当し、この例では、第２領域と他部領域とは同一の領域である。また、処理領域２０７は、上述の部分領域に相当する。

本実施例によれば、撮像画像の処理領域を区切って、処理領域２０５については、２つの撮像部で被写体の距離を検出し、その結果に基づいて物体を検出し、処理領域２０６については、１つの撮像部で撮像した画像から物体を検出し、検出した結果に基づいてさらに処理領域を指定して２つの撮像部でその処理領域の物体の距離を検出する。これにより、撮像画像全体についての物体認識が、処理負荷の増大なく可能になる。

図７は、本発明の撮像装置の一実施例における領域設定の一例を示す図である。２０１は前述の通り、撮像部１０１および１０２により撮像される画像の共通撮像領域である。６０２は、前述のように撮像部１０１、１０２で撮像された画像を用いて距離検出部１０５により距離を検出し、得られた距離情報に基づいて物体検出部１０６により物体の検出を行う処理領域であり、６０３は、撮像部１０１、１０２のどちらかの画像を用いて物体検出部１０７により処理領域６０３中の物体を検出し、得られた検出結果に基づいて領域制御部１０４により、距離検出すべき処理領域が指定された処理領域について、撮像部１０１、１０２で撮像された画像を用いて距離検出部１０５により距離を検出する処理領域である。これらの処理領域は領域制御部１０４により、処理領域の位置や大きさが制御される。

図７（Ａ）では、処理領域６０２が共通撮像領域２０１中の下方に指定され、処理領域６０３が上方に設定される。このように処理領域を指定すると、前述のように処理領域６０２において、車両前方の歩行者や車両を検出する場合、精度よく検出でき、さらに処理領域６０３において、交通信号や道路標識を検出できる。なお、図７（Ａ）の例では、処理領域６０２は上述の第１領域に相当する。また、処理領域６０３は上述の他部領域に相当するとともに、上述の第２領域にも相当し、この例では、他部領域と第２領域とは同一の領域である。

また、図７（Ｂ）では、処理領域６０３が共通撮像領域２０１中の下方に指定され、処理領域６０２が上方に設定される。例えば路側帯の白線を検出する場合は、物体認識部１０７による認識に処理領域を指定することで処理負荷の増加なく白線が検出できる。なお、図７（Ｂ）の例では、処理領域６０２は上述の第１領域に相当する。また、処理領域６０３は上述の他部領域に相当するとともに、上述の第２領域にも相当し、この例では、他部領域と第２領域とは同一の領域である。

図７（３）および（４）のように、処理領域６０２と処理領域６０３を一部重なるように指定することも可能である。なお、図７（Ｃ）、（Ｄ）の例では、処理領域６０２は上述の第１領域に相当する。また、処理領域６０３ａは上述の他部領域に相当し、処理領域６０３は、上述の第２領域に相当する。この例では、他部領域は、第２領域のうち第１領域との重複領域を除いた領域である。

領域選択は、撮像単位であるフレームの単位で切り替えることが可能である。その他、図示しないが、車両の操舵方向に処理領域を移動して指定することや、上下左右の振動に合わせて指定することで処理領域を細かく制限しさらに負荷を低減することも可能である。また、撮像部１０１または撮像部１０２のどちらかが故障して撮像できなくなった場合、処理領域６０３を画像領域２０１全体に亘って指定するようにすることで、物体の検出処理は継続することが可能になる。

このように、検出する対象物により、処理領域の指定を変えることで、様々な検出対象物について適切な処理方法を選択し、画像の全領域に亘って処理負荷の増大なく処理することが可能になる。

図８は、本発明の撮像装置の一実施例における距離検出動作時の距離検出部１０５の消費電流波形の模式図である。

図８（Ａ）は、本発明に拠らず、撮像画像全領域に亘って、ステレオ処理による距離検出を行った場合の動作電流波形であり、フレーム全体に亘って電力が消費される。図８（Ｂ）は、本発明の撮像装置の一実施例における距離検出動作時の電流波形であり、図８（Ａ）に対し、フレーム内の限られたタイミングで電力が消費されるので、消費電力の削減を実現できる。

図９は、本発明の撮像装置における領域制御の他の実施例を示す図である。図９（Ａ）〜（Ｄ）は１フレーム毎の領域指定を示しており、この例では処理領域６０３の大きさと位置を領域制御部１０４により指定し、その位置をフレーム毎にずらしながら指定している。

本実施例によれば、物体認識部１０７による物体認識処理の処理領域が狭くなるのでさらに処理負荷が低減できる。処理領域６０３はフレーム毎に移動していくので全領域を網羅でき、交通信号などの移動しない物体を検出する場合に適している。

図１０は、本発明の撮像装置の別の実施例の構成を示す図である。撮像装置１は、自動車などの車両に搭載されており、図１０中８０１は車両制御部である。認識部１０８の出力が車両制御部８０１に入力されている。

車両制御部８０１は、認識部１０８による認識結果を受け、車両の他の図示しない装置に対し制御を行う。車両の制御としては、歩行者の接近や、赤信号や道路標識を検出したことによる、運転者への警告ランプの点灯、警告音の発生、ブレーキ制動による減速、停止制御、先行車追従時のスロットル、ブレーキ制御、その他の衝突回避や車線維持のための舵角制御などである。これらの車両制御情報は撮像装置１から図示しない他の装置に対して、車内ネットワークを介して出力する。

なお、図１０では車両制御部８０１は撮像装置１とは同一筐体に収められる例を示したが、それに限るものではなく、前述のように、撮像部１０１、１０２を別筐体としてもよい。

図１１は、本発明の撮像装置のさらに別の実施例の構成を示す図である。９０１はネットワーク撮像部、９０３はＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）であり、９０４は制御部である。ネットワーク撮像部９０１は、ＬＡＮ９０３を介して制御部９０４と接続されている。また、９０２は画像圧縮・インタフェース部、９０５はネットワークインタフェース部、９０６は画像伸張部である。

撮像部１０１、撮像部１０２で撮影した画像は、画像補正部１０３において、輝度補正、レンズ歪補正や水平位置合わせが行われる。次に画像圧縮・インタフェース部９０２は、画像補正部１０３からの画像を圧縮してＬＡＮ９０３に送信する。画像圧縮の方式としては処理時間を少なくするため、複数の画像の時間的相関関係を使わず、一枚の画像内で圧縮を行う画面内圧縮方式を用いる方式がある。また、映像圧縮符号化方式を選択して切り換えてもよい。

画像圧縮・インタフェース部９０２は、圧縮符号化データを生成し、所定のネットワークプロトコルに従ってデータを送信する。なお、画像補正部１０３は、画像圧縮・インタフェース部９０２の前段で処理することにより、レンズ歪などを補正した後に画像圧縮することで、画像圧縮の高効率化と高画質化が見込まれるが、制御部９０４の画像伸張部９０６の後段に設けてもよい。

制御部９０４においては、ネットワークインタフェース部９０５において、圧縮画像データの受信を、ＬＡＮ９０３を介して行う。制御部９０４のネットワークインタフェース部９０５で受信した圧縮画像データは、画像伸張部９０６において元の画像に伸張され、領域制御部１０４により指定された処理領域の画像を距離検出部１０４、および物体検出部１０７が前述の処理を行う。これ以降の処理は前述の通りである。

本実施例によれば、ＬＡＮ９０６を介して画像や撮像タイミング情報をやり取りするので、撮像部側の処理量を減らすことができ、撮像部側の軽量化、低消費電力化、筐体が小さくなることによる、車両設置への寸法制限を低減することが可能になる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…撮像装置、１０１〜１０２…撮像部、１０３…画像補正部、１０４…領域制御部、１０５…距離検出部、１０６…動体検出部、１０７…物体検出部、１０８…認識部、２０１…共通撮像領域、２０２〜２０４…被写体、２０５〜２０７…処理領域、６０２〜６０３…処理領域、８０１…車両制御部、９０１…ネットワーク撮像部、９０２…画像圧縮・インタフェース部、９０３…ＬＡＮ、９０４…制御部、９０５…ネットワークインタフェース部、９０６…画像伸張部。

Claims

複数の撮像部を有する撮像装置であって、
前記複数の撮像部で撮影されるそれぞれの撮影画像に共通する共通撮像領域のうちの一部分である第１領域では、該第１領域の全体に亘って該一部領域内の画像要素についての距離を前記複数の撮影画像間の視差に基づいて算出し、
前記撮影画像のうち前記第１領域とは別の他部領域を含む第２領域では、該第２領域のうちの一部分である部分領域に対して該部分領域内の画像要素についての距離を前記複数の撮像画像間の視差に基づいて算出する、撮像装置。
請求項１に記載の撮像装置において、
前記第１領域に対して、視差により距離を算出するステレオ処理によって前記第１領域内の複数の画像要素ごとに距離を検知した後、検知された距離に基づいて前記画像要素のグループを抽出して物体を検出する第１の物体検出処理を行う第１の物体検出処理部と、
前記部分領域に対して、前記ステレオ処理によって物体の距離を検出する第２の物体検出処理を行う第２の物体検出処理部と、を備える撮像装置。
請求項２に記載の撮像装置において、
前記第２の物体検出処理部は、前記第２領域に対して単眼処理によって物体を検出し、
前記物体を含む前記部分領域に対して視差により距離を算出するステレオ処理を行って、前記物体の距離を検知する、撮像装置。
請求項３に記載の撮像装置において、
前記第１の物体検出処理及び第２の物体検出処理のいずれによって物体検知を行うかが検出対象物の種類に応じて設定される、撮像装置。
請求項３に記載の撮像装置において、
前記第１の物体検出処理及び第２の物体検出処理を一つの処理周期内で並行して行う、撮像装置。
請求項５に記載の撮像装置において、
前記第１の物体検出処理及び第２の物体検出処理で行う前記ステレオ処理を時分割で処理する、撮像装置。
請求項２に記載の撮像装置において、
前記第１の物体検出処理部は、歩行者、又は、車両を検出する、撮像装置。
請求項２に記載の撮像装置において、
前記第２の物体検出処理部は、信号、標識、又は、区画線を検出する、撮像装置。
請求項２に記載の撮像装置において、
車両の運動を制御する車両制御部を備え、
前記車両制御部は、認識部の認識結果に基づいて前記車両を制御し、
前記認識部は、第１の物体検出処理部の検出結果、及び第２の物体検出処理部の検出結果、及び前記視差から得られた距離に基づき物体の認識を行う、撮像装置。