JP4301051B2 - 港湾監視システム - Google Patents

Description

この発明は、港湾内および港湾周辺の水域を航行中の船舶を監視する港湾監視システムに関する。

近年、港湾を舞台とする不正輸出や、コンテナを利用した密航事件が多発、増加する傾向にあり、港湾セキュリティの充実が求められている。
従来、所定領域の海上保安管理および船舶に関する安全管理を行うことを目的として、所定領域内を航行および停泊する船舶の船名を読取り、この読取った船名から船舶の情報を入手する港湾監視システムが知られている。

従来の港湾監視システムは、広角カメラおよびレーダにより認識した船舶の位置情報に基づいて、赤外照明装置、赤外線カメラ、を作動させ、赤外線カメラで船舶の船名を含む情景画像を撮像し、制御・表示装置において、この情景画像から船名を読取るようになっていた（例えば、特許文献１参照）。

特開平１１−３６８８４５号公報（第１−第２頁、第１、第２図参照）

しかしながら、従来の港湾監視システムは、屋外の港湾、海峡を含む所定海域の海上を一望できる所定の場所の１箇所に配置されたレーダとカメラを用いて、船舶の位置情報を認識していた。
このため、複数の船舶が接近して航行している場合、カメラ視野の手前側に位置する船舶に対してカメラ視野の奥行き方向に在る他の船舶が、当該カメラの死角領域に位置することがある。この際、他の船舶は手前側の船舶に遮蔽されており、カメラの画像からはその存在認識ができず、その位置情報を得られないという問題があった。
従って、不審船が大型船の陰に隠れて港湾内へ入港した場合に、従来の港湾監視システムでは、不審船の存在を検出することができなかった。

この発明は係る課題を解決するために為されたものであり、隣接して航行中の複数の船舶から個々の船舶を特定して、隣接する船舶の陰に隠れた船舶の存在を検出することを目的とする。

この発明による港湾監視システムは、港湾内及び周辺海域を航行中の目標を検出する水上レーダと、前記水上レーダに隣接して配置され、前記水上レーダで検出された目標を、視野内に含むように撮影するズーム付きの主カメラと、前記主カメラと異なる視向方向を有して離隔配置され、前記水上レーダで検出された目標より以遠の水域を航行中の船舶を、視野内に含むように撮影する複数のズーム付きの副カメラと、前記各カメラの撮影画像と視野角に基づいて、前記各カメラの撮影画像を画面表示するとともに、当該撮影画像に夫々対応した前記各カメラの視野角範囲を、地図画像に重ね合わせて表示する表示部とを備えたものである。

この発明によれば、複数の船舶が隣接して航行している場合であっても、水上レーダと指向方向の異なる少なくとも２つ以上の監視カメラを用いて港湾内を監視することによって、隣接する船舶の陰に隠れて航行する船舶の存在を、確実に検出することができる。

実施の形態１．
図１はこの発明の実施の形態１による港湾監視システムを構成する各センサ配置を示す斜視図である。
図において、港湾１は、周辺及び湾内の水域に船舶が出入りする。港湾１の湾内には突堤２ａ、２ｂが設けられている。図１は突堤２ａ、２ｂの間を通過して、図の下方から港湾１の湾内に、船舶１０、１１が入港している状態を示している。船舶１０は大型〜中型の船であり、船舶１１は船舶１０よりも小型の船である。船舶１０、１１は互いに接近して航行している。突堤２ａ、２ｂには、港湾監視システムのセンサ系として、レーダ装置３００、主カメラ４、副カメラ６、及び副カメラ８を含む監視用の各センサが設けられている。各センサは、港湾１の周辺及び湾内の水域を出入りする船舶を監視目標として捉えて、目標画像や目標検出情報を取得する。
なお、他に複数の監視用のセンサを設けても良いが、ここでは説明の都合上割愛する。

レーダ装置３００は、突堤２ａの先端部に配置された支持塔２２の上に設置され、アンテナ装置３を備えており、目標の距離・方位を検出する水上レーダ（センサ）として用いられる。大型船舶が複数入港しても、各船舶の存在を識別できるように、支持塔２２の高さは３０ｍ〜５０ｍ程度であることが望ましい。
レーダ装置３の周辺には監視カメラとして主カメラ４が配置されている。主カメラ４は支持塔５００上に配置されている。主カメラ４とレーダ装置３の水平方向の距離差は概ね３０ｍ以内程度にするのが好ましく、差が小さい程良い。
突堤２ａの根元部には監視カメラとして副カメラ６が配置されている。副カメラ６は支持塔７００上に配置されている。
突堤２ｂの根元部には監視カメラとして他の副カメラ８が配置されている。副カメラ８は支持塔９００上に配置されている。
支持塔５００、７００、９００の高さは、夫々３０ｍ程度であることが望ましい。
突堤２ｂには無線装置４４が配置されており、無線装置４４は離隔配置された信号処理器と配線ケーブルやネットワーク回線で接続されている。各センサの夫々の周辺には図示しないミリ波無線伝送装置が設けられている（図２で後述する）。

船舶１０は主カメラ４の視野内で手前側に位置する。船舶１１は、船舶１０よりも主カメラ４の視野の奥行き方向に存在する。すなわち、船舶１１は、船舶１０に遮蔽されて主カメラ４視野内の死角領域に位置しており、主カメラ４からは存在確認ができない。

図２はこの発明の実施の形態１による港湾監視システムの構成を示す図である。
アンテナ装置３はレーダ信号処理器２０に接続され、レーダ信号処理器２０はレーダ制御器２１に接続されている。アンテナ装置３は所定の利得特性を有したビームを形成し、ビームのメインローブの方位角は一定となっている。レーダ信号処理器２０は、アンテナ装置３から送信され目標で反射されたアンテナ装置３の受信信号に基いて、目標の距離・方位を検出する。レーダ制御器２１は、回転台３ｂを回転駆動する。レーダ制御器２１は回転台３ｂによって駆動されるアンテナ装置３の回転角を検出する。レーダ制御器２１は、検出した回転角に基づいてレーダ信号処理器２０で検出された目標の距離・方位・移動速度を、レーダ装置３００に固定されたレーダ基準座標系に座標変換して、目標の距離・方位・移動速度を目標情報として出力する。

レーダ制御器２１にはミリ波無線伝送装置３０が接続されている。アンテナ装置３は回転台３ｂ上に回転自在に支持されており、垂直軸周りにアンテナ装置３を旋回駆動する。回転台３ｂは図１の支持塔２２上に配置されている（図１では図示せず）。ミリ波無線伝送装置３０はレーダ制御器２１に接続され、レーダ制御器２１からの目標情報を無線装置４４に送信する。

主カメラ４はカメラ制御器２５に接続され、カメラ制御器２５はミリ波無線伝送装置３１に接続されている。主カメラ４で撮影された撮影画像は、カメラ制御器２５を介してミリ波無線伝送装置３１に送出される。主カメラ４はカメラ台５上の直交二軸に回転自在に支持されて、水平軸周りの回転角度である俯角（チルト）／垂直軸周りの回転角度である旋回角（パン）の２つの回転角を成して回転する。カメラ台５は図１の支持塔５００上に配置されている（図１では図示せず）。
カメラ台５はカメラ制御器２５によって駆動制御される。カメラ制御器２５はカメラ台５の駆動に伴なう主カメラ４の姿勢角（俯角／旋回角）を検出して、主カメラ４の指向方向の角度（カメラ台５の設置位置を基準としたカメラ基準座標系に対するカメラ視軸の角度。基準座標系を主カメラ４の姿勢角に一致させている場合は俯角／旋回角）を計測する。ミリ波無線伝送装置３１は、カメラ制御器２５の撮影画像と、主カメラ４のズーム比とカメラ制御器２５で検出される主カメラ４の指向方向の角度とを含むカメラ制御情報を、無線装置４４に伝送する。

副カメラ６はカメラ制御器２６に接続され、カメラ制御器２６はミリ波無線伝送装置３２に接続されている。副カメラ６で撮影された撮影画像は、カメラ制御器２６を介してミリ波無線伝送装置３２に送出される。副カメラ６はカメラ台７上の直交二軸に回転自在に支持されて、水平軸周りの回転角度である俯角（チルト）／垂直軸周りの回転角度である旋回角（パン）の２つの回転角を成して回転する。カメラ台７は図１の支持塔７００上に配置されている（図１では図示せず）。
副カメラ６はカメラ制御器２６によって駆動制御され、カメラ制御器２６はカメラ台７の駆動に伴なう副カメラ６の姿勢角（俯角／旋回角）を検出して副カメラ６の指向方向の角度（カメラ台７の設置位置を基準としたカメラ基準座標系に対するカメラ視軸の角度。基準座標系を副カメラ６の姿勢角に一致させている場合は俯角／旋回角）を計測する。ミリ波無線伝送装置３２は、カメラ制御器２６の撮影画像と、副カメラ６のズーム比とカメラ制御器２６で検出される副カメラ６の指向方向の角度とを含むカメラ制御情報を、無線装置４４に伝送する。

副カメラ８はカメラ制御器２７に接続され、カメラ制御器２７はミリ波無線伝送装置３３に接続されている。副カメラ８で撮影された撮影画像は、カメラ制御器２７を介してミリ波無線伝送装置３３に送出する。副カメラ８はカメラ台９上の直交二軸に回転自在に支持されて、水平軸周りの回転角度である俯角（チルト）／垂直軸周りの回転角度である旋回角（パン）の２つの回転角を成して回転する。カメラ台９は図１の支持塔９００上に配置されている（図１では図示せず）。
副カメラ８はカメラ制御器２７によって駆動制御され、カメラ制御器２７はカメラ台９の駆動に伴なう副カメラ８の姿勢角（俯角／旋回角）を検出して副カメラ８の指向方向の角度（カメラ台９の設置位置を基準としたカメラ基準座標系に対するカメラ視軸の角度。基準座標系を副カメラ８の姿勢角に一致させている場合は俯角／旋回角）を計測する。ミリ波無線伝送装置３３は、カメラ制御器２７の撮影画像と、副カメラ８のズーム比とカメラ制御器２７で検出される副カメラ８の指向方向の角度とを含むカメラ制御情報を、無線装置４４に伝送する。

無線装置４４は、センサ系の各ミリ波無線伝送装置と無線通信で接続される。無線装置４４は、ミリ波伝送装置４０、４１、４２、４３を備えており、夫々ミリ波伝送装置３０、３１、３２、３３に無線通信で接続されて伝送情報の送受信が行われる。無線装置４４は信号処理器５５０に接続され、信号処理器５５０は表示装置６２に接続される。ミリ波無線伝送装置は、例えば５０ＧＨｚ帯のミリ波を用いて無線通信を行うものであって、単位時間当たりの信号伝送量が多く、数ｋｍ以内の短距離間での画像信号の伝送に適している。
ミリ波無線伝送装置は、音声信号と画像信号の２チャンネルで無線通信することができ、音声信号を利用して目標情報や各カメラの指向方向の角度などの制御情報を伝送することができる。

入力部６１はマウスやボタンやキーボードなどの入力部品で構成され、信号処理器５５０に入力情報を入力する。また、入力部６１は表示装置６２に、カーソル位置やボタンの選択有無などの表示用の情報を入力する。また、各カメラの指向方向を所望の方向に移動させて、ズーム比を所望の大きさとするように、各カメラとカメラ台をマニュアル操作するための指定情報を入力することができる。
地図データベース６０は港湾１の地図データが格納されており、突堤の位置、領域、各センサ位置などの情報が事前に格納されている。
表示装置６２は、複数の画面表示ディスプレイを有しており、地図情報や入力部６１の入力情報、船舶の位置、各センサのセンシング領域（レーダの方位角やカメラの視野角範囲など）の表示や、各カメラの撮影画像の表示を行う。

図３は信号処理器、および表示装置の構成を示す図である。
図において、信号処理器５５０は、画像処理器５２ａ、５２ｂ、５２ｃを備えている。各画像処理器５２ａ、５２ｂ、５２ｃは、夫々ミリ波無線伝送装置４１、４２、４３で受信した撮影画像に基づいて、画像処理を行う。この撮影画像は、所定のフレームレート（１／３０秒）を有したビデオ信号を構成している。画像処理器５２ａ、５２ｂ、５２ｃで画像処理されて得られた目標画像情報は、追尾処理器５３ａ、５３ｂ、５３ｃに伝送される。また、ミリ波無線伝送装置４１、４２、４３で受信した撮影画像は、表示処理器５４ａ、５４ｂ、５４ｃに直接送出される。

制御器５０は、画像処理器５２ａ、５２ｂ、５２ｃからの目標画像情報を演算器５１に送出する。また、制御器５０は、ミリ波無線伝送装置４１、４２、４３で受信した各カメラの指向方向の角度、ズーム比を含むカメラ制御情報を、演算器５１に送出する。
制御器５０は、ミリ波無線伝送装置４０で受信した目標情報を受信し、演算器５１に送出する。
演算器５１には、予めレーダ装置３００の設置位置とその基準座標系、主カメラ４の設置位置とその基準座標系、副カメラ６の設置位置とその基準座標系、副カメラ８の設置位置とその基準座標系等の座標情報が設定されている。

この座標情報に基づいて、演算器５１では所定の演算処理が行われて、各種情報をシステム座標系の座標値で表現する。例えば、目標方向・目標までの距離・目標移動方向等の目標情報と、各カメラで計測されたカメラの指向方向の角度・ズーム比などのカメラ制御情報を、システム座標系に座標変換する。また、演算器５１は、カメラのズーム比に基づいてカメラの視野角範囲を演算する。例えば、ズーム比が１倍のときにカメラの視野角範囲φ_０＝３０°（指向方向基準の視野角は±１５°）であるので、ミリ波無線伝送装置４１、４２、４３で受信したカメラ制御情報中のズーム比ｗで除算することによって、視野角範囲をφ＝φ_０／ｗとして求めることができる。

演算器５１は、目標情報をシステム座標系から各カメラのカメラ基準座標に座標変換して、座標変換したカメラ基準座標での目標情報を、制御器５０に送出する。
演算器５１は、演算処理したシステム座標系基準の目標情報及びカメラ情報を、制御器５０経由で追尾処理器５３ａ、５３ｂ、５３ｃと、地図表示部７１に伝送する。
制御器５０は、各カメラのカメラ基準座標での目標情報を、無線装置４４を経由して各ミリ波無線伝送装置３１、３２、３３に送出する。
また、制御器５０は、各カメラの指向方向とズーム比を設定するためのカメラ制御目標情報を生成する。生成したカメラ制御目標情報の指向方向を各カメラのカメラ基準座標で座標変換して、座標変換した指向方向を含むカメラ制御目標情報を、無線装置４４を経由して、各ミリ波無線伝送装置３１、３２、３３に送出する。

追尾処理器５３ａ、５３ｂ、５３ｃは、画像処理器５２ａ、５２ｂ、５２ｃで取得された目標画像情報に基づいて、目標の追尾処理を行う。追尾対象は、入力部６１の入力情報に基づいて、選択回路５５によって適宜設定される。
追尾処理では、現在の目標画像のマッチングパターンを形成し記憶する。同時に、目標画像の重心位置を計算する。そして、次のフレーム時間での画像信号中の目標画像と、記憶されたマッチングパターンとの間で、相関性を加味したパターンマッチング処理を行う。これによって、目標画像を追尾する。同時に、次のフレーム時間での目標画像の重心位置を計算して、漸次重心位置を演算する。演算された重心位置情報は制御器５０に出力される。なお、追尾処理に際して各種追尾フィルターを用いても良いことは言うまでもない。
制御器５０は、重心位置情報に基づいて各カメラ基準座標での指向方向を設定し、設定された指向方向を、各カメラ制御器に対してカメラ制御目標情報として伝送する。各カメラ制御器は当該カメラ制御目標情報中の指向方向を向くように、指向方向を制御する。
追尾処理器５３ａ、５３ｂ、５３ｃは、過去のフレーム時間と現在のフレーム時間との重心位置の移動量が、所定範囲内であった場合は、追尾が外れていないと判断して、そのまま追尾を続行する。また、過去のフレーム時間と現在のフレーム時間との重心位置の移動量が、所定範囲（所定の許容追尾誤差範囲）外であった場合は、追尾外れが生じていると判断する。
また、追尾処理器５３ａ、５３ｂ、５３ｃで演算された重心位置は、追尾目標位置情報として、地図表示部７１に送出される。

地図表示部７１は、制御器５０を介して地図データベース６０に格納された地図情報が表示される。地図データベース６０には、各センサ位置と、突堤の位置と形状図、及び突堤の面する港湾内の水域とが、色分けされて表示される。また、地図データベース６０には、実際の港湾内の水域の位置と、地図上の対応位置との縮尺比率が格納されている。地図表示部７１は、システム座標系での目標の座標値を入力することによって、地図上の対応する縮尺された位置が表示されるように成されている。地図表示部７１は、制御器５０から送られた目標情報及びカメラ情報に基づいて、画面表示用の表示情報を生成して、生成画面を画面表示する。
表示装置７２は表示部７２ａ、７２ｂ、７２ｃで構成される。表示処理器５４ａ、５４ｂ、５４ｃは、夫々ミリ波無線伝送装置４１、４２、４３から送出された撮影画像を表示処理し、表示部７２ａ、７２ｂ、７２ｃに画面表示する。

なお、画像処理器を１台の構成として、ミリ波無線伝送装置４０、４１、４２、４３から受信する画像情報を時分割で処理し、制御器５０や画像処理器５２ａ、５２ｂ、５２ｃ、及び表示処理器５４ａ、５４ｂ、５４ｃに伝送しても良い。

次に、図２、図３について各構成の動作について説明する。
アンテナ装置３は、回転台３ｂのアクチュエータに回転駆動されて一定の回転速度で正転／反転し、目標を捜索する。アンテナ装置３から送信電波が出力され、港湾内及び周辺の水域を航行中の船舶で送信電波が反射して、反射波がアンテナ装置３に再入射し受信される。レーダ信号処理器２０は、アンテナ装置３の受信信号についてモノパルス測角処理を行って目標方向（方位）を計測し、送信パルスの送信から受信までの時間に基づいて目標までの距離を計測する。また、受信信号中のドップラー周波数を検波することによって、目標の速度を計測する。

これによって、目標までの距離、目標の存在方向、目標の移動速度を計測することができる。レーダ制御器２１は、回転台３ｂのアクチュエータを駆動して回転角度を検出する。また、レーダ制御器２１は、レーダ装置３００に固定された座標系を基底として回転台３ｂの回転角度を用いることによって方向余弦行列を生成し、レーダ信号処理器２０で計測された目標の方位・移動速度の方向ベクトルを座標変換するとともに、距離と方位に基づいて位置座標を生成することによって、レーダ装置３００の固定座標系を基準とした目標方向・目標までの距離・移動速度の目標情報を得る。ミリ波無線伝送装置３０は、レーダ制御器２１で得られた目標情報を無線装置４４に送信し、送信情報が信号処理器５５０に入力される。
なお、アンテナ装置３の距離分解能は、５０ｍ以下であることが望ましい。これによって、異なる船舶が隣接して航行していても、５０ｍ以上離れている船舶同士を識別することができる。また、副カメラ６、副カメラ８の視野角が倍率１倍で３０度であるとした場合、５００ｍ先の船舶を５倍の倍率で見ても、５０ｍ以内に隣接する船舶を視野角内に納めることができる。

信号処理器５５０では、レーダ制御器２１で得られた目標情報が制御器５０に入力されると、制御器５０は演算器５１に入力情報を送出する。演算器５１は、予め設定されたレーダ装置３００のレーダ基準座標系（直交座標系）の情報と、システム座標系（直交座標系）の情報に基づいて、座標変換行列（レーダ基準座標系とシステム座標系との方向余弦行列）を生成する。生成された座標変換行列とレーダ装置３００の設置位置情報に基づいて、目標情報中の目標方向をシステム座標系で表現する。

次に、演算器５１は、予め設定された主カメラ４のカメラ座標系（直交座標系）の情報と、システム座標系（直交座標系）の情報に基づいて、座標変換行列（カメラ座標系とシステム座標系との方向余弦行列）を生成する。生成された座標変換行列に基づいて、システム座標系を基底とする目標方向ｐを、主カメラ４のカメラ座標系で表現する。主カメラ４はレーダ装置３００に近接配置されているので、レーダ装置３００の目標方向と主カメラ４の目標方向がほぼ一致していると見なす。また、演算器５１は、無線装置４４の受信したカメラ制御情報中の主カメラ４のズーム比と目標情報中の目標までの距離とに基づいて、画像内に目標を捉えるようにカメラに設定すべきズーム比ｇを演算する。例えば、船舶の大きさを最大で１００ｍとしたときには、ズーム比ｇをｇ＝１５°／ｔａｎ^−１（５０ｍ／目標までの距離Ｌｍ）の倍率に設定する。これによって、主カメラ４は画面内に目標画像を捉える。図１に示す例では、主カメラ４は船舶１０を目標画像として捉える。同時に、ズーム比ｇによって、主カメラ４の視野角範囲をφ１＝φ_０／ｇとして求める。

制御器５０は、演算器５１で演算された、主カメラ４のカメラ座標系で表現された目標方向ｐとズーム比ｇとを、カメラ制御目標情報として、無線装置４４およびミリ波無線伝送装置３１を介してカメラ制御器２５に送出する。カメラ制御器２５は、カメラ台５を駆動制御して主カメラ４の指向方向を目標方向に向けるように制御する。
操作者は、入力部６１に主カメラ４とカメラ台５とをマニュアル操作するための指定情報を入力することができる。この指定情報の入力によって、主カメラ４のズーム比を適宜調整し、主カメラ４をズーミングして目標画像を表示部７２ａの画面内に捉えるようにする。

主カメラ４で捉えた船舶１０の画像は、カメラ制御器２５、ミリ波無線伝送装置３１、及びミリ波無線伝送装置４１を介して、画像処理器５２ａに入力される。画像処理器５２ａでは、主カメラ４の撮影画像について、二値化処理、エッジ抽出処理、鮮鋭化処理などの各種画像フィルタリング処理を行うことによって、目標画像を抽出する。抽出された目標画像の重心を算出することによって、カメラ基準座標系での目標方向を算定する。算定された目標方向は制御器５０に送出される。先にレーダ装置３００から得られた目標までの距離が所定値（例えば１０００ｍ）以下の近距離である場合、画像処理器５２ａからの目標方向に基づいて、演算器５１でシステム座標基準における目標位置が演算される。
また、主カメラ４で捉えた船舶１０の画像は、表示処理器５４ａに入力される。表示処理器５４ａでは、船舶１０の画像を表示する。
更に、制御器５０は、演算された目標位置を地図表示部７１上に表示する。このとき、制御器５０は目標位置を地図表示部７１に入力することによって、地図表示部７１は、表示する地図上で対応する目標の位置を、船舶を示す記号を用いて地図表示部７１上に表示する。

図４を用いて目標の位置演算の計算例を示す。図４（ａ）は主カメラ４による目標方向を示した斜視図、図４（ｂ）は上面図である。カメラ座標系での目標方向が俯角Ｅ、旋回角Ｂとして表現される場合、海面高さが０ｍ、主カメラ４の設置高さがＨｍとすると、主カメラ４のカメラ基準座標系での目標位置座標（図の例では船舶１０の位置座標）は、図４（ａ）、（ｂ）に示したＸ、Ｙ座標を用いて、
Ｘ＝ｔａｎ（９０°−Ｅ）×ｃｏｓＢ （１）
Ｙ＝ｔａｎ（９０°−Ｅ）×ｓｉｎＢ （２）
式（１）、（２）によって演算される。

また、図５はシステム座標系で見たカメラ座標系の位置を示す図である。ここで、システム座標系とカメラ座標系の座標変換行列をＣとし、主カメラ４のカメラ座標系での目標位置Ｒ＝（Ｘ、Ｙ）とすると、システム座標系での目標位置ベクトルｒは、
ｒ２＝Ｃ^ｔＲ
ｒ＝ｒ１＋ｒ２
で演算される。但し、ｒ１はシステム座標系での主カメラ４の位置ベクトル、ｒ２は主カメラ４に対する目標位置ベクトル、^ｔＲは目標位置座標Ｒの転置行列である。

次に、制御器５０は主カメラ４の目標方向と指向方向とが直交するカメラを選択する。
ここでは、次のように演算処理が成される。
演算器５１は、予め設定された副カメラ６のカメラ座標系（直交座標系）の情報と、システム座標系（直交座標系）の情報に基づいて、座標変換行列（カメラ座標系とシステム座標系との方向余弦行列）を生成する。また、目標（船舶１０）位置と副カメラ６との位置差と、システム座標系と副カメラ６のカメラ座標系との座標変換行列に基づいて、システム座標系を基底とする目標方向を、副カメラ６のカメラ座標系で表現する。すなわち、目標位置を視野に捉えるための副カメラ６の指向方向を設定する。

例えば、演算器５１は図５で図示するベクトル演算処理を行う。
ここでは、目標位置ベクトル（座標）ｒと副カメラ６の位置ベクトル（座標）ｒ３から、副カメラ６に対する目標位置ベクトル（座標）ｒ４を、ｒ４＝ｒ−ｒ３として算出する。
このとき、副カメラ６に対する目標位置ベクトルｒ４と、主カメラ４に対する目標位置ベクトルｒ２の成す角度を求めると、例えば成す角θ１＝６０°となる。

次に、同様にして、演算器５１は、予め設定された副カメラ６のカメラ座標系（直交座標系）の情報と、システム座標系（直交座標系）の情報に基づいて、座標変換行列（カメラ座標系とシステム座標系との方向余弦行列）を生成する。また、目標位置と副カメラ６との位置差と、上述の生成した座標変換行列に基づいて、システム座標系を基底とする目標方向を、副カメラ６のカメラ座標系で表現する。

例えば、図５に示すように演算器５１が演算を行う。
ここでは、目標位置ベクトル（座標）ｒと副カメラ８の位置ベクトル（座標）ｒ６から、副カメラ８に対する目標位置ベクトル（座標）ｒ５を、ｒ５＝ｒ−ｒ６として算出する。
このとき、副カメラ８に対する目標位置ベクトルｒ５と主カメラ４に対する目標位置ベクトルｒ２の成す角度を求めると、例えば成す角θ２＝１００°となる。

制御器５０は、演算器５１の演算結果に基づいて、主カメラ４から見た目標の方向と副カメラ６から見た目標の方向との成す角θ１よりも、主カメラ４から見た目標の方向と副カメラ８から見た目標の方向との成す角θ２の方が、直交（９０°）に近いことを判定する。
これによって、制御器５１は副カメラ８を選択して、副カメラ８の視野内に目標を捉える。このとき、システム座標系と副カメラ８のカメラ基準座標系との座標変換行列Ｃ_２を用いて、得られたｒ５から、副カメラ６から見た目標方向をＣ_２ｒ５として算定する。
なお、所定のカメラを選択した場合、画像枠に色を付ける、画像を点滅させる、画像を大きくするなどの画像表示処理を行って、選択した副カメラの画像を、他の副カメラの画像と識別のできる情報を、画像中もしくは専用表示器に表示すると良い。

制御器５０は、演算器５１で演算された、副カメラ８のカメラ座標系で表現された目標方向を、ミリ波無線伝送装置４３およびミリ波無線伝送装置３３を介して、カメラ制御器２７に送出する。カメラ制御器２７は、カメラ台７を駆動制御して副カメラ８の指向方向を目標方向に向けるように制御する。これによって、副カメラ８は目標画像を取得する。副カメラ８の取得画像は、ミリ波無線伝送装置３３およびミリ波無線伝送装置４３を介して、画像処理器５２ｃに送出される。画像処理器５２ｃでは目標画像から目標の位置、目標の重心位置、目標の大きさなどの画像情報を取得する。
ここで、目標の位置を算定するときは、図４（ａ）、図４（ｂ）で説明した内容と同様に、カメラ座標系での目標位置を算定する。この場合、副カメラ８に対応したカメラ制御情報から副カメラ８の指向方向を得て、目標方向を俯角Ｅ、旋回角Ｂとする。この目標方向について、上述の式（１）、（２）を用いて、目標位置座標（すなわち、船舶１１の位置座標）を算定すれば良い。
なお、副カメラ８から船舶１１までの距離が所定値（例えば１０００ｍ）を超える場合は、副カメラ６で船舶１１を捉え、副カメラ６と副カメラ８の指向方向の交点から船舶１１の位置を算定して、位置算定精度を向上させることができる（これについては、図９の説明で後述する）。

図１に示す例では、副カメラ８は船舶１０を目標画像として捉える。このとき、副カメラ８は船舶１０の方向から、主カメラ４の視野の奥行へ向かう水平方向へ、所定の角度分（例えば３０°）だけ指向方向を移動させる。この際、主カメラ４の奥行き方向は、副カメラ８に対する目標位置ベクトル（ｒ５）が主カメラ４に対して目標位置ベクトル（ｒ２）の方向へ移動するように、回転角度を設定すれば良い。例えば、ベクトルｒ２×ベクトルｒ５＝絶対値（ｒ２）×絶対値（ｒ５）×ｓｉｎθ２とした場合に、θ２を小さくする方向に回転させる。

これによって、船舶１０に遮蔽されて主カメラ４の視野内に入らずに、船舶１０から所定距離（例えば３００ｍ）だけ離れた位置で航行中の船舶１１を、目標として捉えることができる。この際、表示部７２ｃに表示される副カメラ８の画像情報に基づいて、操作者が船舶１０の後ろに存在する船舶１１の存在を見つける。
また、操作者は副カメラ８のズーム比を適宜調整して、船舶１１を画面内一杯に捉えるようにする。この調整は、入力部６１に副カメラ８のズーム比を入力することによって、適宜成される。この調整が成された後、操作者は入力部６１に適宜設けられた指定完了指示キーを押下することによって、船舶１０の死角に存在する船舶を捕捉する操作が完了したことを示す、副カメラの指定完了通知を制御器５０に対して伝達する。
また、演算器５１は、無線装置４４の受信したカメラ制御情報中の副カメラ８のズーム比と目標情報中の目標までの距離とに基づいて、画像内に目標を捉えるようにカメラに設定すべきズーム比ｇを演算しても良い。例えば、船舶の大きさを最大で１００ｍとしたときには、ズーム比ｇをｇ＝１５°／ｔａｎ^−１（５０ｍ／目標までの距離Ｌｍ）の倍率に設定する。これによって、副カメラ８は画面内に目標画像を捉える。
ズーム比が設定されると、ズーム比ｇによって副カメラ８の視野角範囲をφ２＝φ_０／ｇとして求める。

次に、制御器５０は、演算器５１で先に演算された、副カメラ６のカメラ座標系で表現された目標方向を、ミリ波無線伝送装置４２およびミリ波無線伝送装置３２を介して、カメラ制御器２６に送出する。ここでは、目標方向として、副カメラ８で算定された船舶１１までの目標方向が与えられる。カメラ制御器２６は、カメラ台７を駆動制御して副カメラ６の指向方向を目標方向に向けるように制御する。これによって、副カメラ６は目標画像を取得する。
副カメラ６の取得画像は、ミリ波無線伝送装置３２およびミリ波無線伝送装置４２を介して、画像処理器５２ｂに送出される。画像処理器５２ｂでは目標画像から目標の位置、目標の重心位置、目標の大きさなどの画像情報を取得する。
ここで、目標の位置を算定するときは、図４（ａ）、図４（ｂ）で説明した内容と同様に、カメラ座標系での目標位置を算定する。この場合、副カメラ６に対応したカメラ制御情報から副カメラ６の指向方向を得て、目標方向を俯角Ｅ、旋回角Ｂとする。この目標方向について、上述の式（１）、（２）を用いて、目標位置座標（すなわち、船舶１１の位置座標）を算定すれば良い。
なお、副カメラ６から船舶１１までの距離が所定値（例えば１０００ｍ）を超える場合は、副カメラ６と副カメラ８の指向方向の交点から船舶１１の位置を算定して、位置算定精度を向上させることができる（これについては、図９の説明で後述する）。
副カメラ６の指向方向が設定されると、操作者は副カメラ６のズーム比を適宜調整して、船舶１１を画面内一杯に捉えるようにする。この調整は、入力部６１に副カメラ６のズーム比を入力することによって、適宜成される。この調整が成された後、操作者は入力部６１に適宜設けられた指定完了指示キーを押下することによって、船舶を捕捉する操作が完了したことを示す、副カメラの指定完了通知を制御器５０に対して伝達する。
また、演算器５１は、無線装置４４の受信したカメラ制御情報中の副カメラ６のズーム比と目標情報中の目標までの距離とに基づいて、画像内に目標を捉えるようにカメラに設定すべきズーム比ｇを演算しても良い。例えば、船舶の大きさを最大で１００ｍとしたときには、ズーム比ｇをｇ＝１５°／ｔａｎ^−１（５０ｍ／目標までの距離Ｌｍ）の倍率に設定する。これによって、副カメラ６は画面内に目標画像として船舶１１を捉える。
ズーム比が設定されると、ズーム比ｇによって副カメラ６の視野角範囲をφ３＝φ_０／ｇとして求める。

次に、図６、図７に基づいて画像表示例について説明する。
図６は地図表示部７１の表示画像を示す図である。図において、レーダ装置３００が突堤２ａの下方に位置し、主カメラ４が突堤２ａの下方でレーダ装置３００の周辺に位置し、副カメラ６が突堤２ａの上方に位置し、副カメラ８が突堤２ｂの上方に位置している点が図示されている。
主カメラ４の視野角範囲９０、副カメラ６の視野角範囲９１、及び副カメラ８の視野角範囲９２は夫々線で表示されている。視野角範囲９０は、視野角線９０ａ、９０ｂの間を示す。視野角範囲９１は、視野角線９１ａ、９１ｂの間を示す。視野角範囲９２は、視野角線９２ａ、９２ｂの間を示す。これらの視野角範囲は、上述したように演算器５１で事前に算定されている。図示の例では、視野角範囲９０と視野角範囲９１の交差領域には、船舶１０、１１が存在している。視野角範囲９１と視野角範囲９２の交差領域には、船舶１１のみが存在している。ここで、各船舶１０、１１は、レーダ装置３００もしくは主カメラ４で検出され、演算器５１で演算された船舶１０の位置と、副カメラ８で検出され演算器５１で演算された船舶１１の位置に基づいて、夫々地図上の対応位置が丸印で表示されている。船舶１０と主カメラ４との距離が所定距離以内であるときには、船舶１０の位置は主カメラ４の検出情報で得られる。また、船舶１０と主カメラ４との距離が所定距離を超えるときには、船舶１０の位置はレーダ装置３００の検出情報で得られる。船舶１１と副カメラ８との距離が所定距離以内であるときには、船舶１１の位置は副カメラ８の検出情報で得られる。船舶１１と副カメラ８との距離が所定距離を超えるときには、副カメラ８の検出情報で得られる船舶１１の位置座標を仮位置としておく。正確な位置算定方法については、後述する図９で説明する。
なお、図中の２ａ、２ｂは突堤に対応する地図を示すものであり、各センサについても図１と対応する符号を便宜的に用いて、地図上の表示情報を図示している。
また、図７（ａ）は表示部７２ａによる主カメラ４の画像を示し、図７（ｂ）は表示部７２ｃによる副カメラ８の画像を示し、図７（ｃ）は表示部７２ｂによる副カメラ６の画像を示す。また、図に示す十字カーソル１１０、１１１、１１２、１１３は、入力部６１でマウスなどによって入力されるものである。

入力部６１の入力情報は選択回路５５に送出され、選択回路５５は入力情報を制御器５０及び追尾処理器５３ａ、５３ｂ、５３ｃに送出する。制御器５０は、演算器５１で各カーソル（１１０、１１１、１１２、１１３）のカーソル位置に対応して、カメラ指向方向の座標を演算する。演算されたカメラ指向方向は、各ミリ波無線伝送装置を介して各カメラ制御器に送出される。各カメラ制御器は、各カメラが所望のカメラ指向方向を向くように、各カメラを制御する。
これによって、カーソル位置を所望の船舶位置に移動させてカーソルを選択することによって、対応するカメラの視野中心に所望の船舶を配置し、視野中心をカーソル位置に移動させることができる。また、所望の船舶をズームして表示することができる。
また、選択回路５５で選択されたカメラ指向方向は追尾処理器５３ａ、５３ｂ、５３ｃに出力されて、追尾対象目標の設定に利用することができる。
このように、撮影画像中の特定部位を指定入力可能な入力部と、入力部で指定された特定部位を視野中心に据えるように副カメラの指向方向を設定し、設定情報を制御器が無線装置に伝送することによって、操作者は所望の水域や船舶を遠隔監視することができる。
さらに、各カメラの視野角範囲を地図表示部７１に表示し、地図画像と重ねて表示することによって、各カメラの視野角範囲の交差領域が、港湾の水域内のどこに存在しているのかが、明確に把握できるようになる。
同時に、この視野角範囲に対応する各カメラの撮影画像を、表示部７２ａ、７２ｂ、７２ｃに表示することによって、視野角範囲と撮影画像との関係を明確に把握することができるようになり、例えば表示装置を見ている操作者が、船舶１０に隣接する船舶１１の存在を容易に検出できるようになる。
なお、表示部７２ａ、７２ｂ、７２ｃと地図表示部７１とは、表示装置６２の同一面、もしくは同一画面上で画面分割して表示することによって、各カメラの視野角範囲と各カメラの撮影画像との対応関係が、より明確に把握できるようになる。

次に、図８に基づいて、副カメラの選択例について説明する。
図８は、主カメラ４の指向方向と、副カメラ６の指向方向と、副カメラ８の指向方向を図示している。
この例では、操作者がマニュアルで副カメラを選択する場合のマニュアル選択モードを示している。マニュアル選択モードでは、地図表示部７１に、現在の主カメラ４の指向方向１５、副カメラ６の指向方向１６、副カメラ８の指向方向１７が表示される。また、各カメラの位置と、各カメラの周辺にカメラ番号が表示される（図中の白抜きの数字）。
選択操作前の段階では、地図表示部７１の表示画面上には船舶１０のみが表示されているものとする。なお、船舶１０の位置は事前にレーダ装置３００の目標情報、または主カメラ４で得られたカメラ基準座標系での目標位置座標に基づいて図示されている。

次に、操作者は、地図表示部７１の表示画像を見て、主カメラ４から死角になっているもので、かつ、指向方向が主カメラ４の指向方向１５と直交する方向に近いカメラを、副カメラとして選択することができる。図では、操作者は入力部６１に選択すべきカメラ番号を入力することによって、副カメラ８を優先的に選択することができる。この段階では、副カメラ８の指向方向は船舶１０を捕捉する方向に位置する。

更に、副カメラ８を選択した後、船舶１１を捕捉するように、図の白抜き矢印方向へカメラの指向方向を移動させ、図の矢印１７の位置に配置させることによって、図７（ｂ）に示すような船舶１１の画像を得ることができる。
副カメラ８を選択した後、副カメラ８のズーム比を適宜設定して、副カメラ８を画像内に捕捉するようにすれば良い。これによって、図７（ｂ）のような画像を得る。すなわち、副カメラ６、副カメラ８に夫々対応した表示部７２ｂ、７２ｃ共、表示画面内には１台の船舶のみが表示されるように、カメラの指向方向とズーム比を設定する。
なお、上述したように、副カメラ８の選択は、主カメラ４との交差角に基づいてある程度自動的に、優先選択されても良いことは言うまでもない。
このマニュアル選択モードを用いることによって、主カメラ４、副カメラ６、副カメラ８に対応したカメラ制御器から出力されるカメラ制御情報に基づいて、各カメラで各船舶を捕捉したときの各船舶の指向方向を、操作者の操作によって、より正確に取得することができる。

次に、図９に基づいて、副カメラ６と他の副カメラ８の交点位置での演算処理について説明する。ここでは、図８の設定によって各カメラの指向方向が設定された段階以後の動作について説明する。すなわち、副カメラ６、副カメラ８の撮影画像中に、夫々１台の船舶のみが存在している場合について説明する。
図９に示すように、副カメラ６と副カメラ８の交差領域１００を、図に示すような船舶の存在領域として、例えば副カメラ６の視線と副カメラ８の視線の交線領域を○印で図示する。
次いで、演算器５１はこの交差領域１００の位置を演算することによって、交差領域内に存在する船舶の位置を特定することができる。例えば、副カメラ６の設置位置と指向方向、副カメラ８の設置位置と指向方向に基づき、三角測量の原理を用いて副カメラ６の視線と副カメラ８の視線との交線位置（交点）を演算することができる。
演算された交線位置は、追尾処理器５３ｂ、５３ｃに伝送されて、夫々捕捉中の船舶の画像追尾を行うための追尾情報として利用する。例えば、この交点位置によって船舶位置が正確に特定されるので、フレーム時間間隔毎の船舶位置の移動量を演算し、移動量が所定の追尾許容誤差範囲内であるかどうかを判断することによって、船舶の追尾処理が追尾エラー（追尾が外れて別の目標を追尾している状態）を生じているかどうかを判断することができる。また、例えば、移動量が所定の追尾許容誤差範囲内であれば追尾が正常に実行され、移動量が所定の追尾許容誤差範囲外であれば追尾処理が異常であると判断する。
さらに、演算された交線位置は制御器５０に送出される。制御器５０では、交線位置に基づいて、その交線領域に存在する船舶の位置を正確に特定することができる。この算定位置は、上述した式（１）、（２）を用いた演算よりも高い精度で算定できる。

次に、図１０に基づいて、画像追尾の表示例について説明する。
図に示すように、追尾中の船舶１１を丸印１８０で囲む。丸印１８０の範囲は、追尾エラーを生じないための、フレームレート毎の所定の追尾許容誤差の大きさを示している。丸印１８０の中心は、各追尾処理器５３ａ、５３ｂ、５３ｃで演算される追尾位置情報に対応付けられた、追尾対象とする船舶の、地図表示部７１で表示される追尾位置を表している。この追尾位置は、各カメラの指向方向と海面との交点にほぼ合致している。
また、図中の矢印１９０は、追尾目標の重心位置の移動方向を示す。この移動方向は、各追尾処理器５３ａ、５３ｂ、５３ｃで演算される、フレーム時間間隔毎の重心位置の移動方向から求めることができる。
または、副カメラ６の視線と副カメラ８の視線との交線位置の移動方向から、追尾中の船舶１１の移動方向を特定しても良い。

次に、図１１に基づいて、港湾監視システムの処理フローについて説明する。
ステップＳ１０１では、水上レーダ３で目標検出し、目標までの距離、方向、速度を計測する。
ステップＳ１０２では、水上レーダ３で得られた目標方向に基づいて、主カメラ４の指向方向を目標に向ける。目標まで近距離の場合、主カメラ４の指向角度と設置高さと海面高さから、目標位置Ａを算定する。
ステップＳ１０３では、水上レーダ３で得られた目標方向、又は目標位置Ａに基づいて、主カメラ４の指向方向と直交する方向に最も近い角度で、目標を捉える副カメラ６を選択する。
ステップＳ１０４では、主カメラ４の視野内に存在せず、副カメラ６の視野内に存在する他の船舶を表示画面上で指定する。また、指定した他の船舶のみを視野内に捉えるように、副カメラ６をズーミングする。目標まで近距離の場合、主カメラ４の指向角度と設置高さと海面高さから、目標位置Ｂを算定する。
ステップＳ１０５では、他の副カメラ８を選択し、副カメラ８の捉えた船舶と同じ船舶のみを他の副カメラ８の視野内に捉えるように、他の副カメラをズーミングする。目標まで近距離の場合、他の副カメラ８の指向角度と設置高さと海面高さから目標位置Ｃを算定する。
ステップＳ１０６では、副カメラ６と他の副カメラ８の、両視野内に存在する船舶の位置Ｄを、副カメラ６と他の副カメラ８の指向方向の交差点によって算出する。この交差点位置Ｄに存在する船舶を自動追尾する。
これによって、監視水域内の船舶の位置を正確に算定することができる。

以上説明したように、この実施の形態によれば、複数の船舶が隣接して航行している場合であっても、水上レーダと指向方向の異なる少なくとも２つ以上の監視カメラを用いて港湾内を監視することによって、隣接する船舶の陰に隠れて航行する船舶の存在を、確実に検出することができる。また、検出した各船舶の位置を特定することができる。

この発明の実施の形態１による港湾監視システムを構成する各センサ配置を示す斜視図である。 この発明の実施の形態１による港湾監視システムの構成を示す図である。 この発明の実施の形態１による信号処理器、および表示装置の構成を示す図である。 目標の位置演算の計算例を示す図である。 カメラからの目標方向を演算する演算処理を説明する図である。 地図表示部の表示画像を示す図である。 表示部による各カメラの画像を示す図である。 副カメラの選択例について説明する図である。 副カメラと他の副カメラの交点位置での演算処理について説明する図である。 画像追尾の表示例について説明する図である。 港湾監視システムの処理フローについて説明する図である。

符号の説明

１ 港湾、２ 突堤、４ 主カメラ、６ 副カメラ、８ 副カメラ、１０ 船舶、１１ 船舶、３１、３２、３３ ミリ波無線伝送装置、４０、４１、４２、４３ ミリ波無線伝送装置、５０ 制御器、５１ 演算器、５５ 選択回路、６０ 地図データベース、６１ 入力部、６２ 表示装置、５３ａ、５３ｂ、５３ｃ 追尾処理器、７１ 地図表示部、７２ａ、７２ｂ、７２ｃ 表示部、３００ レーダ装置、５５０ 信号処理器。

Claims (7)

1. 港湾内及び周辺海域を航行中の目標を検出する水上レーダと、
   前記水上レーダに隣接して配置され、前記水上レーダで検出された目標を、視野内に含むように撮影するズーム付きの主カメラと、
   前記主カメラと異なる視向方向を有して離隔配置され、前記水上レーダで検出された目標より以遠の水域を航行中の船舶を、視野内に含むように撮影する複数のズーム付きの副カメラと、
   前記各カメラの撮影画像と視野角に基づいて、前記各カメラの撮影画像を画面表示するとともに、当該撮影画像に夫々対応した前記各カメラの視野角範囲を、地図画像に重ね合わせて表示する表示部と、
   を備えた港湾監視システム。
2. 前記主カメラの視線の方位方向と直交する方向に対して、視線の角度差が小さい前記副カメラを優先的に選択し、選択した副カメラの撮影画像を前記表示部に表示する制御器を備えたことを特徴とする請求項１記載の港湾監視システム。
3. 前記各カメラの指向方向を夫々変更する複数のカメラ台と、
   前記各カメラの撮影画像と、前記各カメラのズーム比及び指向方向とを、夫々無線伝送する複数の無線伝送装置と、
   前記無線伝送装置の伝送情報を受信する無線装置と、
   前記無線装置で受信されたズーム比及び指向方向と、事前設定された前記各カメラの設置位置に基づいて、前記各カメラの視野角を演算する演算器と、
   を備えたことを特徴とする請求項１記載の港湾監視システム。
4. 撮影画像中の特定部位を指定入力可能な入力部と、
   前記入力部で指定された特定部位を視野中心に据えるように副カメラの指向方向を設定し、設定情報を前記無線装置に送出する制御器とを備え、
   前記副カメラは、前記無線装置から前記無線伝送装置に伝送される指向方向に基づいて指向方向を夫々変更することを特徴とした請求項３記載の港湾監視システム。
5. 前記副カメラと他の副カメラの指向方向の交線位置を演算する演算器と、
   前記演算器で演算された交線位置を表示部に表示させる制御器とを備えたことを特徴とした請求項３記載の港湾監視システム。
6. 前記各カメラの指向方向と設置高さ及び海面高さに基づいて、前記船舶の位置を演算する演算器と、
   前記演算器で演算された船舶の位置を示す情報を、前記表示部に表示させる制御器とを備えたことを特徴とした請求項１記載の港湾監視システム。
7. 前記各カメラの撮影画像中の船舶を画像追尾し、画像追尾中の船舶の移動方向を、前記表示部に表示することを特徴とした請求項１記載の港湾監視システム。

Images