JP4763351B2

JP4763351B2 - 多重センサパノラマネットワークカメラ

Info

Publication number: JP4763351B2
Application number: JP2005169533A
Authority: JP
Inventors: カプリンスキーマイケル
Original assignee: アレコントビジョン，リミティドライアビリティカンパニー
Priority date: 2004-07-14
Filing date: 2005-06-09
Publication date: 2011-08-31
Anticipated expiration: 2025-06-09
Also published as: JP2006033810A

Description

本発明の主題は、３６０度までの視野角を提供する多重センサネットワークカメラである。本発明で開示されたカメラは、単一の筐体に取り付けられた、個別の光学系を有する多重イメージセンサと、１個以上の画像プロセッサと、圧縮ユニットと、ネットワークインターフェースとを備える。好適な実施例では、イメージセンサが非平行な面に配置され、累積してパノラマ的な視野を提供する。好適な実施例では、すべてのセンサから発生されたイメージストリームは同一の画像圧縮及びネットワークハードウエアを共有し、低コストの構成を提供する。好適な実施例では、すべてのセンサからの画像は、画像間引きにより実現される適当な帯域低減を伴って、パケット挟み込み（インターリーブ）を介して同時にネットワーク上に送信される。本発明の実施例の１つでは、すべてのセンサからの間引かれた画像の同時送信、全解像度ウインドウ又は１個以上のセンサの全画像も送信され、内容の選択は動きの検出又はユーザ設定のいずれかに基づいて行われる。

本発明の好適な実施例は、ネットワークインターフェースの受信側に、コンピュータモニタに接続されたコンピュータを有する。このコンピュータは、画像の綴じ(stitching)を実行することにより複合パノラマ画像を生成するように構成された画像処理及び捕捉(acquisition)ソフトウエアを動作させる。この綴じは、パノラマカメラの異なるセンサにより撮影された画像から重なる画像を除去し及び複合パノラマ画像を合成するように構成されている。

図１は、多重センサパノラマネットワークカメラの主要素を示すブロック図である。本発明の主題は、個別の光学系を有する２個以上のイメージセンサ（１０１）と、１個以上の画像プロセッサと、画像をカメラ外に送信するネットワークインターフェース（１０４）とを備える多重センサネットワークカメラであり、そして多重センサネットワークカメラは、一時的画像記憶のための１つ以上のメモリを備えてもよい。イメージセンサは、カメラの累積視野を増加させるように非平行な面に配置される。画像プロセッサは、イメージセンサの制御、カラー処理及び画像圧縮を提供し、すべてのイメージセンサに共通の少なくとも１つの画像処理モジュール（１０３）を含む。このすべてのイメージセンサに共通の画像処理モジュールは、カメラから出力されるデータストリームの選択／多重化(multiplexing)を提供し、画像圧縮エンジンも備える。

図２及び図３は、多重センサパノラマネットワークカメラ内のイメージセンサの配置の例を示す。本発明の好適な実施例では、３個以上のイメージセンサ（２０５）が、カメラ位置を中心とする少なくとも１つの円周に沿って、累積して３６０度の視野を提供するように配置されている（２０１及び２０２）。本発明の他の実施例では、２個以上のイメージセンサ（２０４）が、カメラ位置を中心とする少なくとも円周に沿って、累積して１８０度の視野を提供するように配置されている（２０３）。本発明の更に他の実施例では、カメラを中心とする少なくとも１８０度の半円を完全にカバーする視野を累積して提供するように、センサはカメラの内側に取り付けられている（３０１から３０４）。図示の各場合においては、イメージセンサはそれぞれ横に隣接しており、異なる角度において所望の視野を合わせてカバーする。

本発明の好適な実施例では、カメラは１つの画像処理／多重化モジュールを含み、このモジュールは、多重センサからの画像を時間挟み込み（インターリーブ）で間引き又は圧縮して、ネットワークインターフェース又はボード上の画像メモリバッファ内のバッファに画像を提供する。本発明の好適な実施例では、カメラはいくつかのセンサからの間引いた画像と他のセンサからの全解像度画像の画像をネットワークインターフェースに送信し、画像処理モジュールは、圧縮する前に１個以上のイメージセンサからの画像を間引き、他の１個以上のイメージセンサからの全解像度の画像又は画像の部分／ウインドウを圧縮する。

本発明の好適な実施例では、イメージセンサは高解像度のＣＭＯＳイメージセンサである。本発明の他の例では、多重画像処理ユニットが画像圧縮を実行し、各画像圧縮ユニットはカメラにおいて１個のイメージセンサからの画像を圧縮するように構成される。後者の例では、すべてのイメージセンサに共通の画像プロセッサが、圧縮された画像ストリームのカメラのネットワークインターフェースへの選択／多重化の機能を実行するように設けられる。

本発明の１つの実施例では、画像処理ユニットは動き検出と追跡(tracking)機能を備えており、画像処理ユニットは１個のイメージセンサの視野内に存在し、他のイメージセンサの視野内に入る移動目標を特定できる。この実施例では、カメラは、間引いていない選択された移動目標を中心とする画像ウインドウをネットワークインターフェースに送信し、カメラ内のいくつかの又はすべてのセンサからの間引かれた又は間引かれていない画像を時間挟み込みの方法で送信する。時間挟み込みは、フレームごと又はパケットごとに行われる。本発明の更に別の実施例では、ネットワークインターフェースを介してカメラ外に送信される画像ストリームの選択は、ユーザにより実行され、この選択はネットワークインターフェースを介してカメラに通信される。

本発明の好適な実施例のブロック図が図４に示される。本発明の好適な実施例では、多重センサパノラマネットワークカメラは、多重イメージセンサ（４０３）、画像バッファメモリ（４２０及び４２１）、ネットワークインターフェース（４２２及び４０７）及び低コストのマイクロプロセッサの制御の下で動作するＡＳＩＣ又はフィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）（４０４）とを備える。ＡＳＩＣ又はＦＰＧＡｓは、まとまって並列である画像処理パイプラインの形で、画像プリプロセッサ（４０１）及びポストプロセッサ（４０２）を実現する。パイプラインは、画像の画素における時間律速動作を実行する。画像の画素の流れはパイプラインのステージの順番に動作され、各パイプラインステージは、他のパイプラインステージのすべて又は大部分と並列に動作する。マイクロプロセッサは、画像処理パイプラインの動作を制御し、ネットワーク初期化動作を実行し、自動露光、ホワイトバランス、画像ストリーム多重化及びプロトコルレベルのネットワークインターフェース演算に関係する（フレームごとに１回実行される）相対的に遅い動作を制御すると共にカメラに対するユーザインターフェースを構成するレジスタ空間を維持する。

本発明の好適な実施例では、各イメージセンサの出力は、イメージセンサに関係する画像プリプロセッサで処理される。本発明の好適な実施例では、画像プリプロセッサは、二次元処理のための多重ラインメモリバッファ（４０８）と、画素あたり１色のBayer（バイエル）画素アレイを画素あたり３色のストリームにする画像補間ブロック（４０９）と、ハイパスフィルタ及びローパスフィルタを画像に適用することにより画像鮮鋭化及び低照明の信号対雑音（Ｓ／Ｎ）比の改善を行うブロック（４１０）と、３×３のカラー補正マトリクスによりＲＧＢ画素成分の乗算を行うカラー補正ブロック（４１１）と、ＲＧＢからＹＵＶへの変換ブロック（４１２及び４１４）と、ルックアップテーブルとして実現されるガンマ補正ブロック（４１６）と、自動露光（ＡＥ）及び自動ホワイトバランス（ＡＷＢ）アルゴリズムに必要な画像の明るさ統計及びカラー統計を収集する自動露光（ＡＥ）測定エンジン（４１８）及び自動ホワイトバランス（ＡＷＢ）測定エンジン（４１９）と、少なくとも２個のフレームバッファ（４２０及び４２１）と、処理済み及び到来するフレームのピンポンバッファリングの組み立てのための関係するメモリアクセスコントローラ（４１７）とを備える画像処理パイプラインとして実現される。

本発明の好適な実施例では、画像プリプロセッサの出力を記憶する画像バッファは、単一の画像多重化器（マルチプレクサ:multiplexer)及び間引きブロック（４２９）に接続される。このブロックは交互に画像ポストプロセッサ（４０２）に接続される。

本発明の他の例では、すべてのイメージセンサは、単一の画像プリプロセッサに交互に接続される単一の画像ストリームマルチプレクサ及び間引き器に接続され、そして画像プリプロセッサは単一のポストプロセッサに接続される。この実施例は、資源の共有により、本発明を低コストで構成するのを可能にするが、一般的に前述の好適な実施例より全体の画像処理及び送信帯域を低下させる。

本発明の好適な実施例では、ポストプロセッサ（４０２）は、パイプライン化されたＪＰＥＧ画像圧縮及びネットワークパケット発生モジュールを備える。

本発明の好適な実施例では、パイプライン化されたＪＰＥＧ画像圧縮及びネットワークパケット発生モジュールを備える。

本発明の好適な実施例では、ＪＰＥＧ圧縮のパイプライン化した構成は、ＭＣＵフォーメーション及びバッファリングを実行するブロック（４２８）と、ファワードディスクリート余弦（コサイン）変換(Forward Discrete Cosine Transform :FDCT)（４２７）と、ジグザグ走査及び量子化（４２６）と、エントロピィコード化（４２５）とを実行するブロックを含む。本発明の好適な実施例では、二次元ＦＤＣＴは、ＦＤＣＴは分離した変換が可能であるということを利用して、一次元のＦＤＣＴ変換を通過する２つの経路として実現される。

本発明の更に別の例では、ＪＰＥＧ２０００又はＭＰＥＧのようなより効果的な画像圧縮で、基本となるＪＰＥＧ構成を置き換えることができる。

本発明の好適な実施例では、（ＲＦＣ７８３に記載されているTrivial File Transfer Protocol）ＴＦＴＰの変形バージョンが画像送信の主モードとして構成されており、ＴＦＴＰプロトコルヘッダは、マイクロプロセッサ（４０５）により送信パケットバッファ（４２２）に形成及び記録され、ＴＦＴＰのデータフィールド、すなわち画像データは対応するチェックサムと一緒に画像処理パイプライン（４２３）の出力ステージにより形成される。

本発明の好適な実施例では、画像圧縮に引き続いて、画像ストリームが３つのネットワークパケットバッファの１つに記憶される。これらのバッファは、１つのバッファがＭＡＣ(Media Access Control)イーサネット（登録商標）インターフェース（４０７）に現在送られているパケットを含み、１つのバッファは次に送られるパッケトを含み、１つのバッファは画像圧縮モジュールからの圧縮されたデータの記憶ができる。この三重にバッファされた配置は、送信可能なパッケトが常時存在することを保証し、これにより利用可能なネットワークの帯域幅を最大限に利用することを可能にし、ネットワークエラーの発生における再送信を容易にする。

本発明の好適な実施例では、画像処理パイプライン及びイーサネット（登録商標）ＭＡＣ及びＰＨＹハードウエアとインターフェースされたマイクロプロセッサは、所定数のネットワークプロトコルをサポートするのにも使用される。好適な実施例では、構成の全体的な複雑さを低減するため、ＵＤＰ、ＴＦＴＰ、ＡＲＰ、ＩＰ、及びＩＣＭＰプロトコルを構成する最小のプロトコルの組がサポートされている。

本発明の他の実施例では、ＴＣＰ／ＩＰ及びＤＨＣＰプロトコルもサポートされている。

好適な実施例では、本発明は、ネットワークインターフェースの受信側に、コンピュータモニタに接続されたコンピュータ（１０６）を有する。このコンピュータは、画像の綴じ(stitching)を実行することにより複合パノラマ画像を生成するように構成された画像処理及び捕捉(acquisition)ソフトウエアを動作させる。この綴じは、パノラマカメラの異なるセンサにより撮影された画像から重なる画像を除去し及び複合パノラマ画像を合成するように構成されている。本発明の好適な実施例では、パノラマカメラの個別のセンサからの画像は、間引き（解像度低下）モードで、ネットワーク上に送信される。多重センサパノラマカメラから得られた多重画像のコンピュータ又は他のモニター上に表示される単一の複合画像としての可視化は図５に示される。

本発明の好適な実施例では、パノラマネットワークカメラは、間引き画像及び全解像度画像の両方及び画像の一部（ウインドウ）を出力するように構成されている。好適な実施例では、コンピュータソフトウエアは、全解像度画像又は部分画像をモニタに表示するようにも構成され、これによりパノラマ画像の瞬時の電子的なズーム及び検査が可能になる。

図６は、完全に領域をカバーする多重カメラ監視システムにおけるパノラマカメラの可能な取り付け配置を示す。この実施例では、カメラに取り付けられるすべてのイメージセンサは、高解像度のＣＭＯＳイメージセンサである。

図１は、パノラマネットワークカメラシステムのブロック図を示す。図２は、多重センサパノラマネットワークカメラシステムのヘッド設計を示す。図３は、パノラマネットワークカメラの断面を示す。図４は、多重センサパノラマネットワークカメラのブロック図を示す。図５は、多重センサパノラマネットワークカメラからの画像の送信及び可視化を示す。図６は、監視下の領域を完全にカバーする多重センサカメラ監視システムにおけるパノラマカメラの取り付け配置を示す。

Claims

焦点面が互いにある角度で配置された複数のイメージセンサと、
前記複数のイメージセンサの１つにそれぞれ電気的に接続された複数の画像プリプロセッサであって、前記複数の画像プリプロセッサの個数は前記複数のイメージセンサの個数と同じであり、各画像プリプロセッサは複数の第１パイプラインハードウエアステージを備え、各第１パイプラインハードウエアステージは、バイエル補間ハードウエアモジュール、カラー補正マトリクス変換ハードウエアモジュール、ホワイトバランスカラー測定ハードウエアモジュール、自動露光輝度測定ハードウエアモジュール、および複数のハードウエアバッファ、を備え、ビデオストリーム画素のフローは、前記第１パイプラインハードウエアステージにより続けて操作される、複数の画像プリプロセッサと、
前記イメージセンサからの光景の高解像度ビデオストリームを間引いて前記光景の低解像度ビデオストリームを発生し、前記光景の前記高解像度ビデオストリームおよび前記間引いた低解像度ビデオストリームを重畳するマルチプレクサおよび間引きモジュールと、
前記イメージセンサにより発生された前記高解像度ビデオストリームおよび前記マルチプレクサおよび間引きモジュールからの前記低解像度ビデオストリームを圧縮する圧縮ハードウエアモジュールおよび間引きモジュールを含む複数の第２パイプラインハードウエアステージを備え、重畳されたビデオストリーム画素のフローは、前記第２パイプラインハードウエアステージにより続けて操作される、画像ポストプロセッサと、
前記複数のセンサ、前記複数の画像プリプロセッサおよび前記画像ポストプロセッサに接続され、前記第１および第２パイプラインハードウエアステージを制御し、前記バランスカラー測定ハードウエアモジュールおよび前記自動露光輝度測定ハードウエアモジュールからのデータを使用してホワイトバランスおよび自動露光処理を実行するマイクロプロセッサと、
前記圧縮ハードウエアモジュールにより圧縮された前記圧縮された高解像度ビデオストリームおよび前記圧縮された低解像度ビデオストリームを、コンピュータネットワークを介して送信するためのネットワークインターフェースと、を備える多重センサネットワークカメラ。
前記イメージセンサのそれぞれは、前記イメージセンサの前に配置された個別の光学系又はレンズを有する請求項１に記載の多重センサネットワークカメラ。
前記イメージセンサは、前記カメラの位置を中心とした少なくとも１つの円周に沿って累積して３６０度の視野を提供するように非平行の平面内に配置されている請求項１に記載の多重センサネットワークカメラ。
前記ネットワークインターフェースは、ＴＣＰ、ＵＤＰ、ＴＦＴＰ、およびＩＰのネットワークプロトコルからなるグループにおける少なくとも１つ以上をサポートしている請求項１に記載の多重センサネットワークカメラ。
前記マルチプレクサおよび間引きモジュールは、時間挟み込み多重化手段であり、前記イメージセンサの１つからのデータストリームのある部分の送信は、他のイメージセンサからのデータストリームのある部分の送信に続いて行われる請求項１に記載の多重センサネットワークカメラ。
前記マルチプレクサおよび間引きモジュールは、カメラ外に送信される前記画像データストリームの選択が外部入力から制御可能であるように構成されている請求項１に記載の多重センサネットワークカメラ。
前記マルチプレクサおよび間引きモジュールは、前記光景の一部のビデオストリームの高解像度ウインドウをさらに生成し、前記ネットワークインターフェースは、前記圧縮された高解像度ビデオストリーム、前記圧縮された低解像度ビデオストリームおよび前記ビデオストリームの高解像度ウインドウを、前記コンピュータネットワークを介して実質的にビデオレートで送信する請求項１に記載の多重センサネットワークカメラ。
前記マルチプレクサおよび間引きモジュールは、もし前記イメージセンサの視野内に移動物体が検出されるならば全解像度のビデオストリームを、もし前記イメージセンサの視野内に移動物体が検出されないならば前記低解像度のビデオストリームを、前記ネットワークインターフェースに供給するように構成されている請求項１に記載の多重センサネットワークカメラ。
前記画像を受信するように前記コンピュータネットワークに接続され、受信したビデオストリームを１つの複合ビデオストリームに組み合わせて前記複合ビデオストリームを表示するように構成されたコンピュータをさらに備え、前記コンピュータは、さらに前記受信した高解像度ビデオストリームにズームするように構成されている請求項１に記載の多重センサネットワークカメラシステム。