以下に示す一実施の形態は、本発明に係る監視システムを、街中の治安を警察署や消防署などの当局にて集中監視する監視システム1に具体化したものである。すなわち、複数の移動体のそれぞれの位置情報と、当該移動体の周囲の画像情報と、時刻情報とを所定のタイミングで取得し、これら位置情報と画像情報と時刻情報とを、無線通信を介して、当局に設置された中央監視装置へ送信し、これら位置情報を地図情報上に表示するとともに必要に応じて画像情報と時刻情報とをディスプレイに表示するものである。そのため、本例の監視システム1は、図1に示すように位置情報及び画像情報などの監視情報を取得する監視端末装置10と、電気通信回線網30を介して監視情報を入力して処理する中央監視装置20とを備える。図2は、監視端末装置10及び中央監視装置20の具体的構成を示すブロック図である。特に本例の監視システム1は、無線通信回線の通信速度などで代表される混雑状況に応じて監視端末装置10から中央監視装置20へ送信するデータ量を調整し、これによりリアルタイムで現場の画像情報を監視できるものである。
監視端末装置10は、複数の移動体Vに搭載される端末装置であって、これら複数の移動体Vのそれぞれの位置情報を検出する位置検出機能と、複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成機能と、時刻検出機能と、所定のタイミングで位置情報、画像情報及び時刻情報を取得する情報取得制御機能と、これら位置情報、画像情報及び時刻情報を中央監視装置20へ出力するとともに中央監視装置20からの指令を受け付ける通信機能と、異常の発生を通報する機能とを有する。そのため、複数の車載カメラ11a〜11e、画像処理装置12、通信装置13、車載制御装置14、位置検出装置15及び通報ボタン16を備える。なお、時刻情報は通信速度の検出と事象の事後解析に供される情報である。
監視端末装置10が搭載される移動体Vは、目的とする監視領域を走行するものであれば特に限定されず、自動車、二輪車、産業車両、路面電車などの移動体を含み、自動車には自家用自動車V2や緊急自動車V3が含まれるが、なかでも特に予め決められた領域をランダム且つ常時走行するタクシーや路線バスV1などが好適に含まれる。図1には、タクシーV1、自家用自動車V2、パトカー、消防車又は救急車などの緊急自動車V3を例示するが、これらを総称する場合は移動体Vまたは乗用車Vという。
それぞれの移動体Vには、複数の車載カメラ11a〜11e(以下、総称する場合はカメラ11という。)、画像処理装置12、通信装置13、車載制御装置14、位置検出装置15及び通報ボタン16が搭載されている。カメラ11は、CCDカメラなどで構成され、移動体Vの周囲を撮像し、その撮像信号を画像処理装置12へ出力する。画像処理装置12は、カメラ11からの撮像信号を読み出し、画像情報に画像処理する。この画像処理の詳細は後述する。
位置検出装置15は、GPS装置及びその補正装置などで構成され、当該移動体Vの現在位置を検出し、車載制御装置14へ出力する。通報ボタン16は、車室内に設置された入力ボタンであって、運転手や同乗者がインシデント(事故、火事、犯罪など治安に関する出来事)を発見した際に入力する手動ボタンである。
車載制御装置14は、CPU,ROM,RAMにより構成され、通報ボタン16が押されたときに、画像処理装置12、通信装置13及び位置検出装置15を制御し、画像処理装置12で生成された画像情報と、位置検出装置15で検出された移動体Vの位置情報と、CPUが内蔵する時計からの時刻情報とを通信装置13及び電気通信回線網30を介して中央監視装置20へ出力する。また、電気通信回線網30及び通信装置13を介して受信された中央監視装置20からの情報取得指令を受け付け、画像処理装置12、通信装置13及び位置検出装置15を制御し、画像処理装置12で生成された画像情報と、位置検出装置15で検出された移動体Vの位置情報と、CPUが内蔵する時計からの時刻情報とを通信装置13及び電気通信回線網30を介して中央監視装置20へ出力する。これらの制御の詳細も後述する。
通信装置13は、無線通信が可能な通信手段であり、電気通信回線網30を介して中央監視装置20の通信装置23と情報の授受を実行する。電気通信回線網30が商用電話回線網である場合は携帯電話通信装置を汎用することができ、電気通信回線網30が本例の監視システム1の専用電気通信回線網である場合は、それ専用の通信装置13,23を用いることができる。なお、電気通信回線網30に代えて、無線LAN、WiFi(登録商標)、WiMAX(登録商標)、Bluetooth(登録商標)、専用無線回線などを用いることもできる。
中央監視装置20は、上述した監視端末装置10から出力された位置情報及び画像情報を入力する情報入力機能と、地図データベースからの地図情報を表示するとともに、受信した位置情報を地図情報上に表示制御する表示制御機能と、受信した画像情報をディスプレイ24に表示する表示制御機能と、を有する。そのため、中央制御装置21、画像処理装置22、通信装置23、ディスプレイ24及び入力装置25を備える。
中央制御装置21は、CPU,ROM,RAMにより構成され、画像処理装置22、通信装置23及びディスプレイ24を制御して、監視端末装置10から送信された位置情報、画像情報及び時刻情報を受信し、必要に応じて画像処理を施したうえでディスプレイ24に表示する。
画像処理装置24は、地図データベースを有し、当該地図データベースからの地図情報をディスプレイ24に表示するとともに、監視端末装置10の位置検出装置15により検出された位置情報を当該地図情報上に表示する。また、監視端末装置10の車載カメラ11で撮像され、画像処理装置12で処理された画像情報をディスプレイ24に表示するための画像処理を施す。
ディスプレイ24は、たとえば一つの画面上に2つのウィンド画面が表示できる大きさの液晶表示装置又は2つのウィンド画面をそれぞれ表示する2つの液晶表示装置により構成することができる。そして、一方のウィンド画面には、地図情報上に各移動体Vの位置情報を重ね合わせた画面を表示し(図1参照)、他方のウィンド画面には、車載カメラ11で撮像された映像に係る画像情報を表示する。
入力装置25は、キーボード又はマウスで構成され、所望の移動体Vに対して情報取得指令を出力したり、ディスプレイ24に表示される各種情報の処理指令を入力したりする場合に用いられる。
通信装置23は、無線通信が可能な通信手段であり、電気通信回線網30を介して監視端末装置10の通信装置13と情報の授受を実行する。電気通信回線網30が商用電話回線網である場合は携帯電話通信装置を汎用することができ、電気通信回線網30が本例の監視システム1の専用電気通信回線網である場合は、それ専用の通信装置13,23を用いることができる。
通信速度検出装置17は、電気通信回線網30の通信速度を検出するものであって、監視端末装置10に備えてもよく、中央監視装置20に備えてもよい。また、監視端末装置10と中央監視装置20が協働して通信速度検出装置17を構成してもよい。各装置10,20に備えた場合の動作は後述するが、電気通信回線網30の通信速度は、たとえば監視端末装置10で画像情報を撮像した時刻とこれを中央監視装置20で受信した時刻とから求めることができる。あるいは、所定のダミーデータを監視端末装置10又は中央監視装置20の一方から送信し、他方で受信した時間から求めることができる。
本例では、通信速度検出装置17にて検出した電気通信回線網30の通信速度に応じて、監視端末装置10から中央監視装置20へ送信する画像情報のデータ量を調整する。すなわち、電気通信回線網30が混雑した状態で通信速度が遅い場合は、画像情報のデータ量を相対的に小さく設定する。画像情報のデータ量を調整する方法として、画像情報の送信フレームレートfpsを調整する方法、送信する画像情報のサイズを調整する方法、あるいは送信する画像情報の圧縮率を調整する方法が例示できる。画像情報を圧縮する場合に、画像情報全部を圧縮するほか、後述するように複数の画像情報を同時に送信する場合は、そのうちの一部を圧縮してもよい。
電気通信回線網30が混雑して通信速度が遅い場合は、画像情報の送信フレームレートfpsを相対的に小さくするか、送信する画像情報のサイズを相対的に小さくするか、あるいは送信する画像情報の圧縮率を相対的に大きくする。なお、送信する画像情報のフレームレートを小さくした場合に、間引きされた画像情報は破棄してもよいが、一時的に監視端末装置10のメモリRAMに保存しておき、電気通信回線網30の混雑が解消された際に送信することもできる。
次に車載カメラ11a〜11eの装着位置と撮像範囲について説明する。ここでは移動体Vとして乗用車Vを例に挙げて説明する。
カメラ11a〜11eはCCD等の撮像素子を用いて構成され、4つの車載カメラ11a〜11dは乗用車Vの外部の異なる位置にそれぞれ設置され、車両周囲の4方向をそれぞれ撮影する。
例えば、図5に示すように、フロントグリル部分などの乗用車Vの前方の所定位置に設置された車載カメラ11aは、乗用車Vの前方のエリアSP1内及びその前方の空間に存在する物体又は路面(フロントビュー)を撮影する。また、左サイドミラー部分などの乗用車Vの左側方の所定位置に設置された車載カメラ11bは、乗用車Vの左側方のエリアSP2内及びその周囲の空間に存在する物体又は路面(左サイドビュー)を撮影する。また、リアフィニッシャー部分やルーフスポイラー部分などの乗用車Vの後方部分の所定位置に設置された車載カメラ11cは、乗用車Vの後方のエリアSP3内及びその後方の空間に存在する物体又は路面(リアビュー)を撮影する。また、右サイドミラー部分などの乗用車Vの右側方の所定位置に設置された車載カメラ11dは、乗用車Vの右側方のエリアSP4内及びその周囲の空間に存在する物体又は路面(右サイドビュー)を撮影する。なお、図5には図示を省略したが、1つの車載カメラ11eは、乗用車の室内の例えば天井部に設置され、図6に示すように室内のエリアSP5を撮像し、タクシーの無賃乗車や強盗などの犯罪防止又は犯罪通報に供される。
図6は、各車載カメラ11a〜11eの配置を乗用車Vの上空から見た図である。同図に示すように、エリアSP1を撮像する車載カメラ11a、エリアSP2を撮像する車載カメラ11b、エリアSP3を撮像する車載カメラ11c、エリアSP4を撮像する車載カメラ11dの4つは、乗用車Vのボディの外周VEに沿って左回り(反時計回り)又は右回り(時計回り)に沿って設置されている。つまり、同図に矢印Cで示す左回り(反時計回り)に乗用車Vのボディの外周VEに沿って見ると、車載カメラ11aの左隣りに車載カメラ11bが設置され、車載カメラ11bの左隣りに車載カメラ11cが設置され、車載カメラ11cの左隣りに車載カメラ11dが設置され、車載カメラ11dの左隣りに車載カメラ11aが設置されている。逆に同図に示す矢印Cの方向とは反対に(時計回り)に乗用車Vのボディの外周VEに沿って見ると、車載カメラ11aの右隣りに車載カメラ11dが設置され、車載カメラ11dの右隣りに車載カメラ11cが設置され、車載カメラ11cの右隣りに車載カメラ11bが設置され、車載カメラ11bの右隣りに車載カメラ11aが設置されている。
図7Aは、フロントの車載カメラ11aがエリアSP1を撮像した画像GSP1の一例を示し、図7Bは、左サイドの車載カメラ11bがエリアSP2を撮像した画像GSP2の一例を示し、図7Cは、リアの車載カメラ11cがエリアSP3を撮像した画像GSP3の一例を示し、図7Dは、右サイドの車載カメラ11dがエリアSP4を撮像した画像GSP4の一例を示し、図7Eは、室内の車載カメラ11eが室内エリアSP5を撮像した画像GSP5の一例を示す画像図である。ちなみに、各画像のサイズは、縦480ピクセル×横640ピクセルである。画像サイズは特に限定されず、一般的な端末装置で動画再生が可能なサイズであればよい。
なお、車載カメラ11の配置数及び配置位置は、乗用車Vの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数の車載カメラ11は、それぞれの配置に応じた識別子が付されており、車載制御装置14は、各識別子に基づいて各車載カメラ11のそれぞれを識別することができる。また、車載制御装置14は、指令信号に識別子を付することにより、特定の車載カメラ11に撮像命令その他の命令を送出することができる。
車載制御装置14は、画像処理装置12を制御して車載カメラ11によって撮像された撮像信号をそれぞれ取得し、画像処理装置12は、各車載カメラ11からの撮像信号を処理して図7A〜図7Eに示す画像情報に変換する。そして、車載制御装置14は、図7A〜図7Dに示す4つの画像情報に基づいて監視画像情報を生成するとともに(監視画像生成機能)、この監視画像情報を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を監視画像情報に対応づけ(マッピング情報付加機能)、中央監視装置20へ出力する。以下、監視画像生成機能とマッピング情報付加機能について詳述する。
なお、乗用車Vの周囲を撮像した4つの画像情報に基づいて監視画像情報を生成し、これにマッピング情報を関連付ける処理は、本例のように監視端末装置10で実行するほか、中央監視装置20で実行することもできる。この場合には、乗用車Vの周囲を撮像した4つの画像情報を監視端末装置10から中央監視装置20へそのまま送信し、これを中央監視装置20の画像処理装置22及び中央制御装置21にて監視画像情報を生成するとともにマッピング情報を関連付け、投影変換すればよい。
まず、監視画像生成機能について説明する。本実施形態の監視端末装置10の車載制御装置14は、画像処理装置12を制御して各車載カメラ11a〜11eの撮像信号をそれぞれ取得し、さらに乗用車Vのボディの外周に沿って右回り又は左回りの方向に設置された車載カメラ11a〜11dの画像情報がこれらの車載カメラ11a〜11dの設置順に配置されるように、一枚の監視画像を生成する。
上述したように、本実施形態において、4つの車載カメラ11a〜11dは乗用車Vのボディの外周VEに沿って左回り(反時計回り)にカメラ11a、11b、11c、11dの順に設置されているので、車載制御装置14は、これらの車載カメラ11a〜11dの設置の順序(車載カメラ11a→11b→11c→11d)に従って、各車載カメラ11a〜11dが撮像した4枚の画像が一体となるように水平方向に繋げ、一枚の監視画像を生成する。本実施形態の監視画像において、各画像は乗用車Vの接地面(路面)が下辺となるように配置され、各画像は路面に対して高さ方向(垂直方向)の辺で互いに接続される。
図8は、監視画像Kの一例を示す図である。同図に示すように、本実施形態の監視画像Kは、図面左側から図面右側へ向かう方向Pに沿って、フロントの車載カメラ11aがエリアSP1を撮像した撮像画像GSP1、左サイドの車載カメラ11bがエリアSP2を撮像した撮像画像GSP2、リアの車載カメラ11cがエリアSP3を撮像した撮像画像GSP3、及び右サイドの車載カメラ11dがエリアSP4を撮像した撮像画像GSP4が、水平方向にこの順序で並べて配置され、これら4つの画像が一連の画像とされている。このように生成された監視画像Kを、路面(車両の接地面)に対応する画像を下にして左端から右側へ順番に表示することにより、監視者は、車両Vの周囲を反時計回りに見回したのと同様にディスプレイ24上で視認することができる。
なお、一つの監視画像Kを生成する際には、各車載カメラ11a〜11dの撮影タイミングを略同時にして取得した4つの画像が用いられる。これにより、監視画像Kに含まれる情報を同期させることができるので、所定タイミングにおける車両周囲の状況を正確に表現することができる。
また、カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像Kを経時的に記憶し、所定の単位時間あたりに複数の監視画像Kが含まれる動画の監視画像Kを生成するようにしてもよい。撮像タイミングが同時の画像に基づいて動画の監視画像Kを生成することにより、車両周囲の状況の変化を正確に表現することができる。
ところで、各撮像領域の画像をそれぞれ経時的に記憶し、各撮像領域ごとに生成した動画の監視画像Kを中央監視装置20へ送信した場合には、中央監視装置20の機能によっては、複数の動画を同時に再生できない場合がある。このような従来の中央監視装置20においては、複数の動画を同時に再生表示することができないため、各動画を再生する際には画面を切り替えて動画を一つずつ再生しなければならない。つまり、従来の中央監視装置20では、複数方向の映像(動画)を同時に見ることができず、車両周囲の全体を一画面で監視することができないという不都合がある。
これに対して本実施形態の車載制御装置14は、複数の画像から一つの監視画像Kを生成するので、中央監視装置20の機能にかかわらず、異なる撮像方向の画像を同時に動画再生することができる。つまり、監視画像Kを連続して再生(動画再生)することにより、監視画像Kに含まれる4枚の画像を同時に連続して再生(動画再生)し、方向の異なる領域の状態変化を一画面で監視することができる。
また、本実施形態の監視端末装置10は、監視画像Kの画素数が各車載カメラ11a〜11dの画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Kを生成することもできる。図7A〜図7Dに示す各画像のサイズは480×640ピクセルであるのに対し、本実施形態では、図8に示すように監視画像Kのサイズが1280×240ピクセルとなるように圧縮処理を行う。これにより、監視画像Kのサイズ(1280×240=307,200ピクセル)が、各画像のサイズ(480×640×4枚=307,200ピクセル)と等しくなるので、監視画像Kを受信した中央監視装置20側の機能にかかわらず、画像処理及び画像再生を行うことができる。
さらに、本実施形態の車載制御装置14は、配置された各画像の境界を示す線図形を、監視画像Kに付することもできる。図8に示す監視画像Kを例にすると、車載制御装置14は、配置された各画像の境界を示す線図形として、各画像の間に矩形の仕切り画像Bb,Bc,Bd,Ba,Ba´を監視画像Kに付することができる。このように、4つの画像の境界に仕切り画像を配置することにより、一連にされた監視画像Kの中で、撮像方向が異なる各画像をそれぞれ別個に認識させることができる。つまり、仕切り画像は各撮像画像の額縁として機能する。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。
また、本実施形態の車載制御装置14は、後述する投影モデルの側面に設定された投影面に4つの画像を投影させた場合の歪みを補正してから、監視画像Kを生成することもできる。撮影された画像の周辺領域は画像の歪みが生じやすく、特に広角レンズを用いた車載カメラ11である場合には撮像画像の歪みが大きくなる傾向があるため、画像の歪みを補正するために予め定義された画像変換アルゴリズムと補正量とを用いて、撮像画像の歪みを補正することが望ましい。
特に限定されないが、車載制御装置14は、図9に示すように、中央監視装置20において監視画像Kを投影させる投影モデルと同じ投影モデルの情報をROMから読み出し、この投影モデルの投影面に撮像画像を投影し、投影面において生じた歪みを予め補正することもできる。なお、画像変換アルゴリズムと補正量は車載カメラ11の特性、投影モデルの形状に応じて適宜定義することができる。このように、投影モデルの投影面に関し画像Kを投影した場合の歪みを予め補正しておくことにより、歪みの少ない視認性の良い監視画像Kを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各画像同士の位置ズレを低減させることができる。
次に、マッピング情報付加機能について説明する。本実施形態の監視端末装置10において、車載制御装置14は、乗用車Vの接地面を底面とする柱体の投影モデルMの側面に設定された投影面に、生成された監視画像Kを投影するためのマッピング情報を監視画像Kに対応づける処理を実行する。マッピング情報は、監視画像Kを受信した中央監視装置20に、容易に投影基準位置を認識させるための情報である。図10は本実施形態の投影モデルMの一例を示す図、図11は図10に示す投影モデルMのxy面に沿う断面模式図である。
図10,11に示すように、本実施形態の投影モデルMは、底面が正八角形で、鉛直方向(図中z軸方向)に沿って高さを有する正八角柱体である。なお、投影モデルMの形状は、底面の境界に沿って隣接する側面を有する柱体であれば特に限定されず、円柱体、若しくは三角柱体、四角柱体、六角柱体などの角柱体、又は底面が多角形で側面が三角形の反角柱体とすることもできる。
また、同図に示すように、本実施形態の投影モデルMの底面は乗用車Vの接地面と平行である。また、投影モデルMの側面の内側面には、投影モデルMの底面に接地する乗用車Vの周囲の映像を映し出す投影面Sa,Sb,Sc,Sd(以下、投影面Sと総称する。)が設定されている。投影面Sは、投影面Saの一部と投影面Sbの一部、投影面Sbの一部と投影面Scの一部、投影面Scの一部と投影面Sdの一部、投影面Sdの一部と投影面Saの一部により構成することもできる。監視画像Kは、乗用車Vを取り囲む投影モデルMの上方の視点R(R1〜R8、以下、視点Rと総称する。)から乗用車Vを俯瞰した映像として投影面Sに投影される。
本実施形態の車載制御装置14は、右端又は左端に配置された撮像画像の基準座標を、マッピング情報として監視画像Kに対応づける。図8に示す監視画像Kを例にすると、車載制御装置14は、投影モデルMに投影される際の、監視画像Kの始端位置又は終端位置を示すマッピング情報(基準座標)として、右端に配置された撮像画像GSP1の左上頂点の座標A(x、y)と、左端に配置された撮像画像GSP2の右上頂点の座標B(x、y)とを監視画像Kに付する。なお、始端位置又は終端位置を示す撮像画像の基準座標は特に限定されず、左端に配置された監視画像Kの左下頂点、又は右端に配置された監視画像Kの右下頂点としてもよい。またマッピング情報は、監視画像Kの画像データの各画素に付してもよいし、監視画像Kとは別のファイルとして管理してもよい。
このように、監視画像Kの始端位置又は終端位置を示す情報、つまり投影処理において基準とする基準座標をマッピング情報として監視画像Kに対応づけることにより、監視画像Kを受信した中央監視装置20が、容易に投影処理時における基準位置を認識することができるので、車載カメラ11a〜11dの配置順に並べられた監視画像Kを、投影モデルMの側面の投影面Sに容易且つ迅速に順次投影することができる。すなわち、図11に示すように車載カメラ11aの撮像方向に位置する投影面Saに車両前方の撮像画像GSP1を投影し、車載カメラ11bの撮像方向に位置する投影面Sbに車両右側方の撮像画像GSP2を投影し、車載カメラ11cの撮像方向に位置する投影面Scに車両後方の撮像画像GSP3を投影し、車載カメラ11dの撮像方向に位置する投影面Sdに車両左側方の撮像画像GSP4を投影することができる。
これにより、投影モデルMに投影された監視画像Kは、あたかも乗用車Vの周囲を見回したときに見える映像を示すことができる。つまり、車載カメラ11a〜11dの設置順序に応じて水平方向一列に配置された4つの画像を含む監視画像Kは、投影モデルMの柱体において、同じく水平方向に並ぶ側面に投影されるので、柱体の投影モデルMの投影面Sに投影された監視画像Kに、乗用車Vの周囲の映像をその位置関係を維持したまま再現することができる。
なお、本実施形態の車載制御装置14は、監視画像Kの各座標値と投影モデルMの各投影面Sの座標値との対応関係をマッピング情報として記憶し、監視画像Kに付することができるが、中央監視装置20に予め記憶させてもよい。
また、図10,11に示す視点R、投影面Sの位置は例示であり、任意に設定することができる。特に、視点Rは、操作者の操作によって変更可能である。視点Rと監視画像Kの投影位置との関係は予め定義されており、視点Rの位置が変更された場合には所定の座標変換を実行することにより、新たに設定された視点Rから見た監視画像Kを投影面S(Sa〜Sd)に投影することができる。この視点変換処理には公知の手法を用いることができる。
以上のように、本実施形態の車載制御装置14は、所定タイミングで撮影された画像情報に基づいて監視画像Kを生成し、この監視画像Kにマッピング情報、基準座標、境界を示す線図形(仕切り画像)の情報を対応づけ、撮像タイミングに従って経時的に記憶する。特に限定されないが、車載制御装置14は、所定の単位時間あたりに複数の監視画像Kを含む一つの動画ファイルとして監視画像Kを記憶してもよいし、ストリーミング方式で転送・再生が可能な形態で監視画像Kを記憶してもよい。
一方、中央監視装置20の通信装置23は、監視端末装置10から送信された監視画像Kとこの監視画像Kに対応づけられたマッピング情報を受信する。なお、室内の車載カメラ11eにて撮影された画像情報は別途受信する。この監視画像Kは、上述したとおり乗用車Vのボディの異なる位置に設置された4つの車載カメラ11の画像が、乗用車Vのボディの外周に沿って右回り又は左回りの方向に沿って設置された車載カメラ11a〜11dの設置順序(車両Vのボディの外周に沿う右回り又は左回りの順序)に従って配置されたものである。また、この監視画像Kには、監視画像Kを八角柱体の投影モデルMの投影面Sに投影させるためのマッピング情報が対応づけられている。通信装置23は取得した監視画像K及びマッピング情報を画像処理装置22へ送出する。
画像処理装置22は、予め記憶している投影モデルMを読み出し、マッピング情報に基づいて、図10及び図11に示す乗用車Vの接地面を底面とする八角柱体の投影モデルMの側面に設定された投影面Sa〜Sdに監視画像Kを投影させた表示画像を生成する。具体的には、マッピング情報に従い、受信した監視画像Kの各画素を、投影面Sa〜Sdの各画素に投影する。また、画像処理装置22は、監視画像Kを投影モデルMに投影する際に、監視画像Kと共に受信した基準座標に基づいて、監視画像Kの開始点(監視画像Kの右端又は左端)を認識し、この開始点が予め投影モデルM上に定義された開始点(投影面Sの右端又は左端)と合致するように投影処理を行う。また、画像処理装置22は、監視画像Kを投影モデルMに投影する際に、各画像の境界を示す線図形(仕切り画像)を投影モデルM上に配置する。仕切り画像は、予め投影モデルMに付しておくこともでき、投影処理後に監視画像Kに付すこともできる。
ディスプレイ24は、投影モデルMの投影面Sに投影した監視画像Kを表示する。図12は、監視画像Kの表示画像の一例を示す。なお、マウスやキーボードなどの入力装置25又はディスプレイ24をタッチパネル式の入力装置25とすることで、監視者の操作により視点を自在に設定・変更することができる。視点位置と投影面Sとの対応関係は上述の画像処理装置22又はディスプレイ24において予め定義されているので、この対応関係に基づいて、変更後の視点に応じた監視画像Kをディスプレイ24に表示することができる。
次に本実施形態に係る監視システム1の動作について説明する。図3は監視端末装置10側の動作を示すフローチャート、図4A,4Bは中央監視装置20側の動作を示すフローチャートである。同図に示す例は、通信速度検出装置17を監視端末装置10に設けた例であり、監視端末装置10にて電気通信回線網30の通信速度を検出し、検出された通信速度に応じて画像情報のデータ量を調整する一例である。
図3に示すように、監視端末装置10においては、所定の時間間隔(同図に示す1ルーチン)で車載カメラ11から周囲の映像と室内の映像を取得し、画像処理装置12によって画像情報に変換する(ステップST1)。また、位置検出装置15から当該監視端末装置10が搭載された乗用車Vの現在位置情報を検出する(ステップST2)。
ステップST3では、電気通信回線網30の混雑状況、すなわち通信速度を検出する。たとえば、公知の技術によりダミーデータを送信して上り速度や下り速度を検出することで電気通信回線網30の混雑状況を把握する。ステップST4では、検出された通信速度に基づいて電気通信回線網30が混雑しているか否か、たとえば通信速度が所定の閾値以下である場合は電気通信回線網30が混雑していると判断しステップST5へ進む。
ステップST5では、送信すべき画像情報のフレームレート、画像サイズ、画像圧縮率(全部または一部)のいずれかを通信速度に応じて設定する。すなわち、通信速度が遅いほど画像情報のデータ量が小さくなるように設定する。
ステップST6では、通報ボタン16が押されたか否かを判断し、通報ボタン16が押された場合はステップST7へ進み、ステップST5にてデータ量を調整する前の画像情報を車載制御装置14のメモリRAMに一時的に保存する。そして、ステップST8へ進み、ステップST1にて取得してステップST5で調整した画像情報と、ステップST2で取得した位置情報と、CPUの時刻情報とを関連付け、これらを、異常が発生した旨の異常情報とともに、通信装置13及び電気通信回線網30を介して中央監視装置20へ送信する。これにより、事故、犯罪などの治安に関する異常が発生したことを、乗用車Vの位置情報と、乗用車Vの周囲の画像情報と共に中央監視装置20へ自動送信されるので、街中の監視がより一層強化されることになる。また、電気通信回線網30が混雑している場合にはデータ量が小さく設定された画像情報を送信するので、中央監視装置20においてリアルタイムの画像情報を監視することができる。
ステップST6に戻り、通報ボタン16が押されていない場合はステップST9へ進み、中央監視装置20から画像送信指令を入力する。そして、ステップST10にて中央監視装置20から画像送信指令がある場合はステップST11へ進んで、ステップST1にて取得してステップST5にてデータ量を調整した画像情報と、ステップST2で取得した位置情報と、CPUの時刻情報とを関連付け、これらを通信装置13及び電気通信回線網30を介して中央監視装置20へ送信する。これにより、乗用車Vの搭乗者が通報ボタン16を押さなくとも、中央監視装置20を操作する監視者が要求した場合に、必要とされる画像情報を適宜送信することができる。なお、この場合の画像情報も電気通信回線網30が混雑状況に応じたデータ量とされているので、中央監視装置20においてリアルタイムで画像情報を監視することができる。
ステップST10において、中央監視装置20から画像送信指令がない場合にはステップST12へ進み、自車両Vが所定の重点監視領域に存在するか否かを位置情報により判断する。重点監視領域とは、銀行、官公庁その他の公的機関など、他の箇所より監視強化が必要とされる区域である。そして、自車両Vが所定の重点監視領域に存在する場合はステップST13へ進み、ステップST1にて取得してステップST5でデータ量を調整した画像情報と、ステップST2で取得した位置情報と、CPUの時刻情報とを関連付け、これらを通信装置13及び電気通信回線網30を介して中央監視装置20へ送信する。これにより、中央監視装置20から画像送信指令がなくても、監視端末装置10から必要とされる画像情報を適宜送信することができる。なお、この場合の画像情報も電気通信回線網30が混雑状況に応じたデータ量とされているので、中央監視装置20においてリアルタイムで画像情報を監視することができる。また、このステップST8は、図4BのステップST23と重複するのでいずれか一方を省略してもよい。
ステップST12において、自車両Vが所定の重点監視領域にない場合はステップST11へ進み、ステップST2で取得した位置情報のみを通信装置13及び電気通信回線網30を介して中央監視装置20へ送信する。そして、中央監視装置20側では、各乗用車Vの現在位置を地図情報上に表示するので(図4AのステップST12)、各乗用車Vの現在位置をタイムリーに把握することができる。
ステップST4へ戻り、電気通信回線網30が混雑していない場合はステップST14へ進み、以前のルーチン(ステップST7)で車載制御装置14のメモリRAMに画像情報が保存されているか否かを検出する。そして、メモリRAMに画像情報が保存されている場合は、その画像情報を取得した位置情報や時刻情報と共に中央監視装置20へ送信する。この画像情報は過去の情報ではあるが、電気通信回線網30が混雑していない場合に送信しておけば、事故や犯罪の事後分析等に供することができる。
一方、中央監視装置20においては、図4Aに示すように監視端末装置10を搭載した乗用車全てから、位置情報と異常情報を取得する(ステップST111)。なお、通信負荷が高くなければこのタイミングで画像情報を取得してもよい。
ステップST112では、ステップST111で取得した位置情報に基づいて乗用車Vを、ディスプレイ24に表示された地図データベースの地図情報上に図1の左上に示すように表示する。乗用車Vの位置情報は、図3の1ルーチン毎の所定のタイミングにて取得され送信されるので、監視者は乗用車Vの現在位置をタイムリーに把握することができる。
ステップST113では、乗用車Vの監視端末装置10から通報される異常情報、すなわち事故、犯罪などの治安に関する異常が発生した旨の通報を受信したか否かを判断する。この異常情報は、乗用車Vの搭乗者が監視端末装置10の通報ボタン16を押すことで出力される。異常情報がある場合は、ステップST114にて異常情報が出力された乗用車Vを特定し、その乗用車の監視端末装置10から画像情報および時刻情報を受信し、画像情報をディスプレイ24に表示する。また、図1左上に示すように、地図情報上に表示されたその乗用車を他の乗用車と識別できるように色彩を変更するなど、強調表示を行う。これにより、異常が発生した位置を地図情報上で視認することができるとともに、異常内容をディスプレイ24にて把握することができる。
次のステップST115では、異常情報を出力した乗用車Vの近傍(所定距離内)を走行する乗用車Vを検出し、その乗用車Vに対して画像情報および時刻情報の送信指令を出力する。これにより異常情報を出力した乗用車Vの近傍を走行する乗用車Vから画像情報を取得することができるので、異常情報を出力した乗用車Vからの画像情報に加えた複数の画像情報により、異常情報の内容を詳細に把握することができる。
ステップST116では、異常情報を出力した乗用車Vの位置情報をパトカー、救急車、消防車等の緊急自動車へ送信する。この場合に、異常内容を報知するために画像情報を添付して送信してもよい。これにより、現場からの通報が入る前に緊急自動車を出動させることができ、事故や犯罪に対する迅速な対処が可能となる。
ステップST117では、監視端末装置10から受信した全ての位置情報、画像情報および時刻情報を記録媒体へ記録する。この記録は、事故や犯罪の発生後においてこれらを解決する際に用いられる。なお、ステップST113にて異常情報がない場合はステップST114〜ST117の処理を行うことなくステップST118へ進む。
ステップST118では、パトカー、救急車又は消防車などの緊急自動車から画像情報の送信指令があるか否かを判断し、送信指令が入力された場合にはステップST119へ進む。ステップST119では、画像情報の送信指令で特定された地域に乗用車Vが存在するか否かを判断し、乗用車Vが存在する場合はステップST120へ進む。そして、ステップST120において、画像情報の送信指令で特定された地域に存在する乗用車Vに対して画像情報の送信指令を出力する。これにより、次のルーチンのステップST111にてその乗用車Vからの画像情報を取得することができ、これを緊急自動車に転送したり、緊急自動車からの送信指令の意味を把握したりすることができる。なお、ステップST118及びST119に該当しない場合はステップST118〜ST120の処理を行うことなくステップST121へ進む。
ステップST121では、予め設定された犯罪多発地帯などの不審箇所の近傍領域に乗用車Vが存在するか否かを判断し、存在する場合はステップST122へ進んでその乗用車Vに対して画像情報の送信指令を出力する。これにより、不審箇所の監視を強化することができ、犯罪の未然防止が期待できる。なお、不審箇所の近傍領域に乗用車Vが存在しない場合はステップST122の処理を行うことなくステップST123へ進む。
ステップST123では、予め設定された重点監視領域の近傍領域に乗用車Vが存在するか否かを判断し、存在する場合はステップST124へ進んでその乗用車Vに対して画像情報の送信指令を出力する。これにより、重点監視領域の監視を強化することができ、犯罪の未然防止が期待できる。なお、重点監視領域の近傍領域に乗用車Vが存在しない場合はステップST124の処理を行うことなくステップST125へ進む。
ステップST125では、各乗用車Vから受信した位置情報に基づいて、監視が必要とされる所定領域(不審箇所及び重点監視領域には限定されない)内に、一定時間内に乗用車Vが走行していない路線があるか否かを判断し、そのような路線があった場合において、その路線を走行する乗用車Vがあるか否かを監視する。そして、直近にその路線を走行する乗用車Vが存在すれば、ステップST126へ進み、その乗用車Vに対して画像情報の送信指令を出力する。これにより、不審箇所や重点監視領域以外の区域であって乗用車Vの通行量が少ない路線の画像情報を自動的に取得することができる。なお、ステップST125の条件を満足する路線がない場合はステップST126の処理を行うことなくステップST111へ戻る。
次に他の実施形態に係る監視システム1の動作について説明する。図13は監視端末装置10側の動作を示すフローチャート、図14は中央監視装置20側の動作を示すフローチャートであり、図4Aに相当するステップである。同図に示す例は、通信速度検出装置17を監視端末装置10に設けた例であり、中央監視装置20にて電気通信回線網30の通信速度を検出し、検出された通信速度に応じて画像情報のデータ量を調整する一例である。
本例は、図3及び図4A,4Bの例に比べて、図14のステップST112A〜112Cと、図13のステップST4が相違する。すなわち、図14のステップST112A〜ST112Cに示すように、中央監視装置20側で電気通信回線網30の混雑状況、すなわち通信速度と、それに応じたフレームレート、画像サイズ、画像の圧縮率の設定指令値を求め、これを監視端末装置10へ出力する。監視端末装置10では、この設定指令値が送信されたか否かをステップST4にて判断し、受信した場合には当該設定指令値に従って画像情報のデータ量を調整する。
図15及び図16はさらに他の実施形態に係る監視システム1の動作を示すフローチャートである。同図に示す例は、通信速度検出装置17の機能を監視端末装置10及び中央監視装置20の両方で分担する例であり、中央監視装置20にて電気通信回線網30の通信速度を検出し、監視端末装置10にて検出された通信速度に応じて混雑状況を判断し、画像情報のデータ量を調整する一例である。本例は、図3及び図4A,4Bの例に比べて、図15のステップST3A〜3Bと、図16のステップST112A,112Bが相違する。すなわち、図16のステップST112A〜ST112Bに示すように、中央監視装置20側で電気通信回線網30の混雑状況、すなわち通信時間を求め、これを監視端末装置10へ出力する。監視端末装置10では、通信時間から通信速度を算出し、それに応じたフレームレート、画像サイズ、画像の圧縮率の設定値を求め、当該設定値に従って画像情報のデータ量を調整する。
以上のとおり、本実施形態の監視システムは以下の効果を奏する。
(1)本例の監視システム1は、複数の乗用車Vに車載カメラ11を装着し、当該車載カメラで周囲を撮像するとともに、乗用車Vの位置情報を位置検出装置15で検出するので、固定カメラに比べて少数の車載カメラで広い範囲を監視することができる。また、複数の乗用車Vはランダムに走行するので、固定カメラに比べて少数の車載カメラで死角を少なくすることができる。また、乗用車Vに搭載されたカメラであるため、固定カメラに比べて、監視阻止を目的に破壊される可能性が少ない。また、広い範囲を監視できるので監視者の巡回作業を低減することができる。
(2)本例の監視システム1は、電気通信回線網30が混雑している場合にはデータ量が小さく設定された画像情報を送信するので、中央監視装置20においてリアルタイムの画像情報を監視することができる。
(3)本例の監視システム1は、位置情報及び画像情報に加えて時刻情報も取得するので、事故や犯罪の事後解析を行う際に、時刻情報に沿って位置情報と画像情報を整理することができ、事件解決への寄与が期待できる。
(4)本例の監視システム1は、位置情報は常時取得して送信する一方で、画像情報は異常状態の場合や中央監視装置20から要求があった場合に取得して送信するので、通信容量を必要最少とすることができ、通信速度の低下を抑制することができる。また、情報の記録容量も必要最少とすることができ、廉価かつ小型のシステムとすることができる。
(5)本例の監視端末装置10に通報ボタン16を設けているので、乗用車Vの搭乗者が異常を発見した場合に、位置情報及び画像情報とともに中央監視装置20へ即座にその旨を通報することができる。その結果、電話等による説明に比べて、異常内容の把握を正確、迅速且つ容易に行うことができ、事件の初動捜査等への貢献が期待できる。
(6)本例の監視システム1は、乗用車Vが、犯罪多発地帯などの不審領域、銀行や官公庁などの重点監視領域その他の所定領域に入ったら位置情報とともに画像情報を送信するので、異常が発生する前に特定地域を詳細に監視することができ、異常発生を未然に防止することができる。
(7)本例の監視端末装置10は、中央監視装置20からの画像送信指令を受け付けたら画像情報を位置情報とともに送信するので、監視者は、現場に出動することなく、希望する位置の映像を中央監視装置20が設置された場所で確認することができる。
(8)本例の中央監視装置20は、監視端末装置から受信した位置情報をディスプレイ24の地図情報上に表示するので、情報検出可能な乗用車Vの配置を中央監視装置20にて把握することができる。その結果、画像情報が取得できる領域の分布が把握でき、監視者の配備計画への寄与が期待できる。また、必要に応じて監視端末装置10から受信した画像情報をディスプレイ24に表示するので、監視者は、現場に出動することなく、希望する位置の映像を中央監視装置20が設置された場所で確認することができる。
(9)本例の中央監視装置20は、監視端末装置10から異常情報を受信したら、ディスプレイ24において通報した乗用車Vの表示を強調表示するとともに、その乗用車Vから受信した画像情報をディスプレイ24に表示するので、位置と映像とを即座に確認することができ、迅速な事件対応が期待できる。
(10)本例の中央監視装置20は、監視端末装置10から異常情報を受信したら、異常情報を発信した乗用車Vの近傍領域を走行する乗用車Vに画像送信指令を送信するので、1台の乗用車Vからの画像情報だけでなく複数の乗用車Vからの画像情報が即座に取得でき、異常内容の把握が容易になる。
(11)本例の中央監視装置20は、監視端末装置10から異常情報を受信したら、パトカー、救急車及び消防車などの緊急自動車に異常情報を送信するので、事件への対応を迅速に行うことができる。また、異常情報とともに位置情報及び画像情報を緊急自動車へ送信することで、緊急自動車側において異常内容を迅速且つ正確に把握することができる。
(12)本例の中央監視装置20は、乗用車Vが犯罪多発地帯などの不審領域、銀行や官公庁などの重点監視領域その他の所定領域に入ったら、位置情報とともに画像情報を取得するので、異常が発生する前に特定地域を詳細に監視することができ、異常発生を未然に防止することができる。
(13)本例の中央監視装置20は、乗用車Vからの位置情報に基づいて交通量の激頻領域を判別し、この激頻領域に乗用車Vが入ったら画像情報を取得するので、不審箇所や重点監視領域以外の区域であっても交通量の少ない領域を効率的に監視することができ、監視者による巡回作業を低減することができる。
なお、上述した実施形態では、乗用車Vの位置情報と車載カメラ11a〜11eからの画像情報を取得するようにしたが、図1に示す、街中に設置された固定カメラ11fからの画像情報と組み合わせて取得してもよい。また、位置情報と画像情報を取得する乗用車Vは、図1に示すように予め決められた領域を走行するタクシーV1やバスを用いることが望ましいが、自家用自動車V2や緊急自動車V3を用いてもよい。
また、上述した実施形態では、乗用車Vに5つのカメラを搭載し、このうち4つの車載カメラ11a〜11dを用いて360°周囲の映像を画像情報として取得したが、室内の車載カメラ11eを省略してもよい。また、交通量が多い監視領域のように多くの乗用車Vから画像情報が取得できる環境等であれば特に、4つの車載カメラ11a〜11dを3つ以下にしてもよい。
上記乗用車Vは本発明に係る移動体に相当し、上記位置検出装置15は本発明に係る位置検出手段に相当し、上記車載カメラ11及び画像処理装置12は本発明に係る画像生成手段に相当し、上記車載制御装置14は本発明に係る制御手段に相当し、上記車載制御装置14のCPUは本発明に係る時刻検出手段に相当し、上記通信速度検出装置17は本発明に係る通信速度検出手段に相当し、上記通信装置13は本発明に係る指令受付手段及び情報出力手段に相当し、上記通信装置23は本発明に係る情報入力手段、異常情報受付手段及び指令出力手段に相当し、上記ディスプレイ24は本発明に係る第1表示制御手段及び第2表示制御手段に相当する。