JP5187275B2 - 撮影方法及び撮影装置 - Google Patents

Description

本発明は撮影方法及び撮影装置に係り、特に赤外線カメラと可視光カメラとを用いて所望の被写体を監視する撮影方法及び撮影装置に関する。

赤外線カメラは、例えば遠赤外線に相当する８μｍ〜１４μｍ程度の波長をモニタリングするため、近赤外線と異なり、物体の発する放射熱を直接検知するので光源が不要という特徴を持つ。従って、赤外線カメラは、夜間走行が多い車両向けの障害物認識システムや夜間の監視用途にも広く使われている。

しかしながら、赤外線カメラにより得られる映像は可視光で得られる映像と大きく異なり、認識できるのは目標物の大まかな形程度である。その結果、赤外線カメラにより得られる映像を見ているだけでは、赤外線カメラがどの部分を写しているのかよく分からないという不具合が発生する。そこで、赤外線カメラと可視光カメラで得られる映像とを組み合わせるという手法が発達してきた。

例えば、特許文献１は、撮影領域をそろえた可視光カメラの画像と赤外線カメラの画像とを使い、指定したエリアの画像を他方の画像に置き換えるという発明を開示している。また、特許文献２は、ハーフミラーを使って可視光カメラと赤外線カメラの光軸を合わせる発明を開示している。

更に、特許文献３は、同一の被写体を異なる光軸上で撮像する赤外線カメラとズームレンズ付き可視光カメラとを備え、予め可視光カメラの撮影範囲を赤外線カメラのそれよりも大きく設定しておき、その後で可視光カメラのズームレンズの倍率などを調整することにより、可視光カメラの撮像面上のサイズと赤外線カメラの撮像面上の被写体のサイズとを一致させる発明を開示している。

特許第３１９６１２２号公報 特開平２−０５８４８０号公報 特開平１−２８９３９０号公報

従来、可視光カメラに用いるＣＣＤ（Charge Coupled Devise;電荷結合素子）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサなどの撮像素子の解像度は、ＶＧＡ(Video Graphic Array)規格の水平方向６４０画素、垂直方向４８０画素程度であり、それほど大きくはなかった。ところが、近年は画素数が大幅に増えて、可視光カメラに用いる撮像素子の解像度は、ＸＧＡ(eXtended Graphics Array)規格の水平方向１０２４画素、垂直方向７６８画素や、ＨＤＴＶ(High Definition Television)規格の水平方向１９２０画素、垂直方向１１２５画素程度のものが増えてきた。

一方、遠赤外線を扱う赤外線カメラの撮像素子の解像度はあまり増えていない。例えば一般的なＭＥＭＳ(Micro Mechanical Systems)技術を使ったマイクロ・ボロメーターアレイのセンサの解像度は水平方向１８０画素、垂直方向１２０画素の２万画素クラスが普及品である。すると、赤外線カメラの撮像素子の解像度は、可視光カメラのＨＤＴＶ用撮像素子の２００万画素に比べて、１００倍の差がある。従って、単純に画素数のみで比較すると、赤外線カメラと可視光カメラが同じ領域を撮影している場合、赤外線カメラの１つの画素は、可視光カメラの１００画素に相当することになる。これでは画素数ギャップが大きすぎて、問題が生じる。

例えば、可視光カメラで１画素分の領域に高熱の物体があっても、赤外線カメラでは１００分の１に平均化されてしまい、目立たなくなってしまう。また、例えば人間を撮像した場合、可視光カメラでは確認できても、赤外線カメラでは画素数が粗すぎて、その画像を見てもそれが何か確認できないことが起こる。これでは可視光が少ない夜間の監視に不都合が生じる。また、可視光カメラと赤外線カメラの撮像領域が同じである特許文献１記載の発明は、上記のような可視光カメラと赤外線カメラの画素数のギャップが大きな撮影装置には適用することができない。

また、特許文献２記載の発明のような、夜間の車両の障害物回避を目的とした可視・遠赤外線切換えシステムも画素数の少ない赤外線カメラでは画像が粗く、人体・人工物の識別精度の低さから事故を招く危険性さえ生じる恐れがある。

上記の課題の最も簡単な解決策は、赤外線カメラの撮像素子の解像度を可視光カメラの解像度程度に上げることである。しかしながら、赤外線カメラの撮像素子の値段は高価であり、単純に画素数を増やして解像度を上げるのはコストアップになり難しい。更に、特許文献３記載の発明では、可視光カメラの撮像面上のサイズと赤外線カメラの撮像面上の被写体のサイズとを一致させる必要がある。

本発明は以上の点に鑑みなされたもので、高価な高解像度の赤外線カメラを使うことなく、低コストで、かつ、高機能な監視のための撮影方法及び撮影装置を提供することを目的とする。

上記の目的を達成するため、本発明の撮影方法は、可視光カメラの第１の撮影範囲内の任意の位置を、可視光カメラより低解像度で、かつ、撮影可能範囲が第１の撮影範囲よりも小である赤外線カメラの第２の撮影範囲の位置として指定する指定ステップと、指定ステップにより指定された可視光カメラの第１の撮影範囲内の任意の位置に、撮影方向が移動自在な赤外線カメラの第２の撮影範囲を移動させる移動ステップと、赤外線カメラにより撮影して得られた第２の撮影範囲の赤外線画像を、可視光カメラにより撮影して得られた第１の撮影範囲の可視光画像中の任意の指定位置の第２の撮影範囲に相当する領域の可視光画像部分と置き換える合成、又は、可視光画像部分に重畳する合成を行う画像合成ステップとを含むことを特徴とする。

また、上記の目的を達成するため、本発明の撮影装置は、可視光カメラの第１の撮影範囲内の任意の位置を、可視光カメラより低解像度で、かつ、撮影可能範囲が第１の撮影範囲よりも小である赤外線カメラの第２の撮影範囲の位置として指定する指定入力手段と、指定入力手段により指定された可視光カメラの第１の撮影範囲内の任意の位置に、撮影方向が移動自在な赤外線カメラの第２の撮影範囲を移動させる移動手段と、赤外線カメラにより撮影して得られた第２の撮影範囲の赤外線画像を、可視光カメラにより撮影して得られた第１の撮影範囲の可視光画像中の任意の指定位置の第２の撮影範囲に相当する領域の可視光画像部分と置き換える合成、又は、可視光画像部分に重畳する合成を行う画像合成手段とを有することを特徴とする。

また、上記の目的を達成するため、本発明の撮影装置は、可視光カメラの第１の撮影範囲内で、可視光カメラより低解像度で、かつ、撮影可能範囲が第１の撮影範囲よりも小であり、かつ、撮影方向が移動自在な赤外線カメラの第２の撮影範囲を巡回的に移動させる移動手段と、異常判定用のしきい値を設定するしきい値設定手段と、赤外線カメラにより撮影して得られた第２の撮影範囲の赤外線画像に基づいて、その赤外線画像の異常の度合いを示す異常値を算出し、その異常値がしきい値を越えるか否かで第２の撮影範囲の赤外線画像に異常があるか否かを判定する異常判定手段と、異常判定手段により異常があると判定された時の位置にある赤外線カメラにより撮影して得られた第２の撮影範囲の赤外線画像を、可視光カメラにより撮影して得られた第１の撮影範囲の可視光画像中の位置に対応した第２の撮影範囲の可視光画像部分と置き換える合成、又は、可視光画像部分に重畳する合成を行う画像合成手段とを有することを特徴とする。

また、上記の目的を達成するため、本発明の撮影装置は、上記の移動手段が、赤外線カメラの第２の撮影範囲の巡回的な移動を、第１の撮影範囲内における予め設定された複数の撮影領域に対し、指定された経路又は巡回時間が最短となる経路で行うようにしてもよい。

また、上記の目的を達成するため、本発明の撮影装置は、撮影中の可視光カメラの第１の撮影範囲を、可視光カメラより低解像度で、かつ、撮影可能範囲が第１の撮影範囲よりも小である赤外線カメラの第２の撮影範囲とほぼ同じ大きさの複数の撮影領域に分割したとき、複数の撮影領域を赤外線カメラにより巡回的に移動させて撮影させる移動手段と、移動手段により複数の撮影領域を巡回的に移動させる赤外線カメラにより得られる各撮影領域毎の赤外線画像を、対応する撮影領域の過去に撮影した赤外線画像に比較して変化があるか否かにより異常判定を行う異常判定手段と、異常判定手段により異常と判定されたときの赤外線カメラが撮影している撮影領域を、異常と判定されない他の撮影領域よりも長時間撮影する撮影時間制御手段と、異常判定手段により異常と判定された撮影領域を赤外線カメラにより撮影して得られた赤外線画像を、可視光カメラにより撮影して得られた第１の撮影範囲の可視光画像中の異常と判定された撮影領域に対応した可視光画像部分と置き換える合成、又は、可視光画像部分に重畳する合成を行う画像合成手段とを有することを特徴とする。

また、上記の目的を達成するため、本発明の撮影装置は、上記の撮影時間制御手段が、異常判定手段により異常と判定されたときの赤外線カメラが撮影している撮影領域を、赤外線カメラを固定して連続撮影するようにしてもよい。

更に、上記の目的を達成するため、本発明の撮影装置は、上記の赤外線カメラが、異常判定手段により異常と判定されたときの赤外線カメラが撮影している撮影領域を、拡大して撮影するズーム手段を有する構成であってもよい。

本発明によれば、高価な高解像度の赤外線カメラを使うことなく、低コストで、かつ、高機能な監視のための撮影方法及び撮影装置を得ることができる。

本発明の撮影装置の一実施の形態のブロック図である。 本発明における可視光カメラと赤外線カメラとの位置関係の一例を示す斜視図である。 可視光カメラと赤外線カメラの撮影範囲の一例の比較説明図である。 本発明の撮影装置の可視光カメラの撮影範囲の複数領域分割、選択領域の赤外線カメラ画像への置き換え／重ね合わせの第１の実施の形態の説明図である。 本発明の撮影装置の第２の実施の形態の動作説明用フローチャートである。 本発明装置の通常表示が異常時表示に切り替わる表示例を示す図である。 本発明の撮影装置の第３の実施の形態における可視光カメラ撮影範囲内の複数の監視対象領域指定説明図である。 本発明の撮影装置の第３の実施の形態における可視光カメラ撮影範囲内の複数領域を指定した順序での赤外線画像への置き換え／重ね合わせを説明する図である。 本発明の撮影装置の第３の実施の形態における可視光カメラ撮影範囲内の複数領域を領域間移動の最短距離を考慮した赤外線カメラ画像への置き換え／重ね合わせを説明する図である。 本発明の撮影装置の第３の実施の形態における可視光カメラ撮影範囲内で連続的に赤外線カメラ画像への置き換え／重ね合わせを説明する図である。 本発明の撮影装置の第４の実施の形態における可視光カメラの撮影範囲内の赤外線カメラの撮影領域の一例の説明図である。 本発明の撮影装置の第４の実施の形態における赤外線カメラの動作の一例のフローチャートである。 撮影領域の赤外線画像の一例である。 図１３の赤外線画像中のゴミ箱内でゴミが燃えている場合の赤外線画像である。 本発明の撮影装置の第４の実施の形態における赤外線カメラの動作の他の例のフローチャートである。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明になる撮影装置の一実施の形態のブロック図を示す。同図において、撮影装置１０は、可視光カメラ１１とズームレンズ１３を備えた赤外線カメラ１２とを有する。また、撮影装置１０は、図１に示すように、Ａ／Ｄ変換器１４及び１６と、フレームメモリ１５及び１７と、画像合成部１８と、モニタ１９と、記録再生部２０と、画像分析部２１と、警報発令部２２と、通信部２３と、操作部２４と、赤外線カメラ撮影領域制御部２５とを有する。

可視光カメラ１１と赤外線カメラ１２とは、図２に斜視図を示すように、互いに光軸がｄだけ離れた位置に配置されている。可視光カメラ１１は、例えば、ＸＧＡ規格やＨＤＴＶ規格の画素数程度の高解像度の撮像素子を用いて可視光を光電変換するカメラである。一方、赤外線カメラ１２は、例えば２万画素クラスの低解像度の撮像素子を用いて、波長８μｍ〜１４μｍの遠赤外線を光電変換するカメラである。従って、図３に示すように、可視光カメラ１１の撮影範囲３０に対して、赤外線カメラ１２の撮影可能範囲は４１や４２に示すように、狭い範囲となっている。

また、赤外線カメラ１２は、図１の赤外線カメラ撮影領域制御部２５により、所定位置を支点として図２に示すように、撮影方向（光軸方向）が垂直方向Iと、水平方向IIに回動可能な構成とされている。これにより、赤外線カメラ１２の撮影範囲は、可視光カメラ１１の撮影範囲内の任意の位置に移動可能とされ、可視光カメラ１１の撮影範囲３０内において、例えば、図３に４１で示す位置から４２で示す位置に移動可能とされている。

また、可視光カメラ１１と赤外線カメラ１２は光軸が合っていないが、図２に示したように、それらの光軸間の距離はｄであり、ｄよりも１０倍以上の遠い範囲を写すことでほぼ光軸が合っているときと同等な撮影状況を得ることができるようになる。例えばｄが１０ｃｍであれば、１ｍ以上先を撮影するようにする。

図１に戻って説明する。Ａ／Ｄ変換器１４は、可視光カメラ１１が被写体からの可視光を光電変換して得たアナログ映像信号を第１のディジタル映像データに変換して、フレームメモリ１５に格納する。フレームメモリ１５は、例えば、ダイナミック・ランダム・アクセ・ス・メモリ（ＤＲＡＭ）から構成されている。一方、Ａ／Ｄ変換器１６は、赤外線カメラ１２が被写体からの赤外線を光電変換して得たアナログ映像信号を第２のディジタル映像データに変換して、フレームメモリ１７に格納する。フレームメモリ１７は、例えばＤＲＡＭから構成されている。

赤外線カメラ撮影領域制御部２５は、操作部２４で使用者が操作した設定に従って、赤外線カメラ１２の撮影領域（撮影範囲）を、図３に示したように、可視光カメラ１１の撮影範囲３０内において制御する。その制御方法としては、モータにより直接赤外線カメラ１２の胴体の方向を制御する方法や、ミラー、レンズ等の光学部品を振ることにより赤外線カメラ１２の入射光線の方向を制御する方法がある。この中には、赤外線カメラ１２のズームレンズ１３によるズーム倍率を制御する方法も含む。なお、赤外線カメラ撮影領域制御部２５は、制御後の赤外線カメラの撮影領域の位置などを示す撮影領域情報をフレームメモリ１７に供給して記憶させる。

操作部２４は、ペン入力デバイス、マウスなどの領域指定可能なデバイスであるが、モニタ１９上のタッチパネルを入力デバイスとして用いる場合がある。操作部２４は、画像分析部２１の分析条件の設定も行う。

画像合成部１８は、フレームメモリ１５に格納された第１のディジタル映像データと、フレームメモリ１７に格納された第２のディジタル映像データとを合成する。この画像合成方法には、可視光カメラ１１の撮影画像の一部の撮影領域の画像に、赤外線カメラ１２の撮影画像を置き換えて又は重複して合成する方法がある。モニタ１９は、操作部２４の設定作業時の設定状況や、可視光画像及び赤外線画像の一方又はそれらの合成画像を表示する。

記録再生部２０は、フレームメモリ１５に格納された第１のディジタル映像データと、フレームメモリ１７に格納された第２のディジタル映像データとを記録媒体に記録し、又記録媒体に記録された上記の第１及び第２のディジタル映像データを再生する。また、記録再生部２０は、画像合成部１８が合成した上記の第１及び第２のディジタル映像データの合成映像データを記録媒体に記録することも可能である。一方、画像合成部１８は、記録再生部２０に対して記録媒体から合成映像データを再生させ、その合成映像データをモニタ１９に表示させることも可能である。

画像分析部２１は、記録再生部２０によりディジタル映像データが記録された記録媒体からディジタル映像データを読み出して、画像分析を行って何らかの特徴を抽出し、判断を行う。その特徴とは、例えば温度情報であったり、一定時間前との温度変化だったり、あるいは動きの検出であったりする。画像分析部２１の検出内容、判断基準は監視対象に応じて個々に操作部２４を用いて設定される。

警報発令部２２は、画像分析部２１が画像分析して所定の判断基準で警報が必要と判断された時に、画像分析部２１から供給される警報情報に基づいて、警報を発生する。警報は、アラーム音あるいはパイロットランプの点灯又は点滅により行われる。また、警報発令部２２は、モニタ１９に警報内容を表示させる。

通信部２３は、モニタ１９からの画像情報や警報発令部２２からの警報情報を撮影装置１０の外部（例えば、遠隔地のセキュリティ関係者、あるいはセキュリティシステム）に伝達する。

以下、上記の撮影装置１０の動作の各実施の形態について図面を参照して説明する。

（第１の実施の形態）
撮影装置１０は、まず、モニタ１９の画面全体に可視光カメラ１１で撮影した被写体である監視対象の画像を表示する。これにより、監視者は、モニタ１９の画像から赤外線カメラ１２だけでは得られない監視対象全体の様子が確認できる。ここで、図４（Ａ）に示すように、モニタ１９の画面全体に表示される可視光カメラ１１の撮影範囲３０の画像は、例えば横方向４つ、縦方向３つの１２個の分割領域３１に分割されている。この１２個の分割領域３１の各々は、図３と共に説明した赤外線カメラ１２の一つの撮影範囲４１又は４２と等しい。

監視者は、モニタ１９の画面全体に表示されている可視光カメラ１１からの画像中、ライトが当たっていない領域、あるいは暗がりになっている領域を操作部２４を操作して指定する。この操作部２４を操作して指定された選択領域が、例えば図４（Ａ）に３２で示す一つの分割領域であるものとすると、赤外線カメラ撮影領域制御部２５が、上記の操作部２４からの選択領域３２の指定入力により、赤外線カメラ１２を選択領域３２を撮影するように回動する。

続いて、画像合成手段１８は、フレームメモリ１５からの可視光カメラ１１のディジタル映像データ中の選択領域３２の映像データの替りに、フレームメモリ１７からの赤外線カメラ１２のディジタル映像データに置き換える画像合成を行い、その画像合成後の映像データをモニタ１９へ出力する。これにより、モニタ１９は、図４（Ｂ）に模式的に示すように、可視光カメラ１１からの画像中の、同図（Ａ）に示した選択領域３２に対応する領域４３の画像を、赤外線カメラ１２からの画像と置き換えて表示する。

このように、本実施の形態によれば、高価な高解像度の赤外線カメラを使うことなく、かつ、可視光カメラの撮像面上のサイズと赤外線カメラの撮像面上の被写体のサイズとを一致させることなく、視認性に優れた可視光カメラ１１の画像と、暗部の監視に優れた赤外線カメラ１２の画像とを組み合わせ、高機能な監視を行うことができる。

なお、選択領域の３２の可視光カメラ１１からの可視光画像と、赤外線カメラ１２からの赤外線画像とを重複して表示するようにしてもよい。また、選択領域は予め分割した複数の分割領域の中から一つ以上の分割領域を選択するのではなく、任意に入力した位置を中心とする赤外線カメラ１２の撮影範囲の大きさの領域を選択領域とすることも可能である。

（第２の実施の形態）
本発明の第２の実施の形態は、撮影装置１０が、異常検出時のみ、赤外線カメラ１２で撮影して得た異常検出した領域の赤外線画像を可視光カメラ１１からの可視光画像に置き換えて、又は重複して表示するようにしたものである。

本実施の形態では、撮影装置１０は、異常が検出されないときには、モニタ１９の画面全体に可視光カメラ１１で撮影して得た被写体の可視光画像を表示する。図６（Ａ）は、モニタ１９の画面全体に表示される可視光カメラ１１の撮影範囲３０の画像が、例えば１２個の分割領域３１に分割されていることを示す。

一方、赤外線カメラ１２は、図６（Ｂ）に示す撮影範囲４４にある監視対象の画像を撮影し、フレームメモリ１７に格納している。撮影範囲４４は、例えば、図６（Ａ）に示した撮影範囲３０内の一つの分割領域３３に対応した位置であるものとする。なお、赤外線カメラ１２は、被写体の熱輻射による赤外線に感知する。物体の熱輻射による赤外線強度は物体の温度で決まるために、被写体からの赤外線を感知することで被写体の温度を知ることができる。可視光カメラ１１が撮影して得た可視光画像は同じであっても、温度変化が起こった部分では赤外線カメラ１２が撮影して得た赤外線画像が異なる。

この状態において、画像分析部２１は、図５のフローチャートに従い、操作部２４からしきい値温度（例えば、２８℃）が設定される（ステップＳ１）。次に、画像分析部２１は、操作部２４から指定された監視対象の撮影範囲（図６（Ｂ）の４４）の赤外線画像に基づいて温度を計測する（ステップＳ２）。続いて、画像分析部２１は、ステップＳ２で計測した温度が、ステップＳ１で設定したしきい値温度以上になったかを監視する（ステップＳ３）。

そして、画像分析部２１は、計測した温度がしきい値温度以上になったと判定した時に、画像合成部１８を制御して、図６（Ａ）に示す監視対象の撮像領域３３の可視光画像に置き換えて、図６（Ｂ）に示す赤外線カメラ１２の撮像範囲４４の監視対象の画像を合成させる（ステップＳ４）。これにより、モニタ１９は、上記の画像合成部１８よりの合成画像を表示する（ステップＳ５）。この合成画像は、図６（Ｃ）に示すように、可視光カメラ１１の撮影範囲３０の可視光画像中の監視対象の撮像領域３３のみ、可視光画像に置き換えてしきい値以上の高温の監視対象の赤外線画像４５が置き換えられた画像である。

なお、上記の説明では、監視対象の撮像領域３３のみ、可視光画像に置き換えてしきい値以上の高温の監視対象の赤外線画像４５を置き換えて表示するものとして説明したが、可視光画像に重畳して赤外線画像を表示するようにしてもよい。

このように、本実施の形態によれば、監視対象を赤外線カメラ１２で撮影し、その監視対象が所定のしきい値温度以上になった時に異常と検出して、その監視対象の撮影領域の可視光画像に置き換えて、あるいは可視光画像に重畳して赤外線画像を自動切替表示する。従って、本実施の形態によれば、高価な高解像度の赤外線カメラを使うことなく、かつ、可視光カメラの撮像面上のサイズと赤外線カメラの撮像面上の被写体のサイズとを一致させることなく、監視対象の異常検出時にのみ、暗部の監視に優れた赤外線カメラ１２の画像を表示させ、効率的な監視を行うことができる。

なお、異常検出は後述するように温度以外も設定できる。

（第３の実施の形態）
本発明の第３の実施の形態は、撮影装置１０が、可視光カメラ１１の撮影範囲中の、予め設定した複数の監視対象領域を赤外線カメラ１２で巡回撮影するようにしたものである。

図７は、モニタ１９の画面全体に表示される可視光カメラ１１の撮影範囲３０の画像が、例えば１２個の分割領域３１に分割されており、このうち、４つの分割領域３４−１、３４−２、３４−３、３４−４が、赤外線カメラ１２が撮影する監視対象が存在する分割領域（監視対象領域）であることを示す。画像分析部２１は、操作部２４から上記の監視対象領域が設定される。なお、監視対象領域は、図７のように、互いに別個の領域である必要はなく、特に注目したい領域など同じ領域を複数回指定することかできることは勿論である。

次に、赤外線カメラ撮影領域制御手段２５は、図７に示す監視対象領域３４−１、３４−２、３４−３、３４−４を順次に撮影するように赤外線カメラ１２の撮影方向（光軸）を巡回的に移動制御する。これにより、画像合成部１８は、図７に示す監視対象領域３４−１、３４−２、３４−３、３４−４の可視光画像に置き換えて、又はそれらの監視対象領域の可視光画像に重畳させて、赤外線カメラ１２からの当該監視対象領域３４−１、３４−２、３４−３、３４−４の赤外線画像４６−１、４６−２、４６−３、４６−４を、図８に示すように矢印の順番で巡回的に切替表示する。

なお、赤外線カメラ撮影領域制御手段２５による赤外線カメラ１２の撮影方向の巡回的な移動制御は、上記の例に限定されるものではない。例えば、図７に示す監視対象領域３４−１、３４−２、３４−３、３４−４に対して赤外線カメラ１２の一周期あたりの巡回時間が最短となるように、撮影装置１０は、赤外線カメラ１２からの当該監視対象領域３４−１、３４−２、３４−３、３４−４の赤外線画像４６−１、４６−２、４６−３、４６−４を、図９に示すように矢印の経路で移動し、監視対象領域３４−１、３４−２、３４−３、３４−４の可視光画像に置き換えて、又はそれらの監視対象領域の可視光画像に重複してモニタ１９に表示するようにしてもよい。

また、以上は非連続的に、赤外線カメラ１２の撮影赤外線画像を指定監視対象領域毎に可視光画像に置き換え、又は重ね合わせて表示する方法であるが、これに限らず、撮影装置１０は、図１０に４７で示すように、赤外線カメラ１２の撮影方向（光軸）を指定監視対象領域から隣接する指定対象領域に移動する途中の撮影赤外線画像を連続的に可視光画像に置き換え、又は重ね合わせて表示することもできる。

このように、本実施の形態によれば、撮影装置１０が、可視光カメラ１１の撮影範囲中の、予め設定した複数の監視対象領域を赤外線カメラ１２で巡回撮影して、赤外線画像を可視光画像に置き換え、又は重ね合わせて表示する。従って、本実施の形態によれば、高価な高解像度の赤外線カメラを使うことなく、かつ、可視光カメラの撮像面上のサイズと赤外線カメラの撮像面上の被写体のサイズとを一致させることなく、複数の監視対象領域の監視に優れた効率的な監視を行うことができる。

（第４の実施の形態）
本発明の第４の実施の形態は、撮影装置１０が異常検出時に、異常検出した領域を他の領域よりも長時間赤外線カメラ１２で撮影した赤外線画像を可視光カメラ１１からの画像に置き換えて、又は重複して表示するようにしたものである。

本実施の形態では、撮影装置１０は、モニタ１９の画面全体に可視光カメラ１１で撮影した被写体の画像を表示する。図１１は、モニタ１９の画面全体に表示される可視光カメラ１１の撮影範囲３０が、１２個の撮影領域＃１〜＃１２に分割されていることを示す。それら１２個の撮影領域＃１〜＃１２の各々は、赤外線カメラ１２の撮影範囲とほぼ同じ大きさである。

次に、本実施の形態の撮影装置１０の動作について図１２のフローチャートと共に説明する。まず、撮影装置１０は、平常時（異常検出されない時）の可視光カメラ１１の可視光撮影範囲３０内全体を赤外線カメラ１２で撮影する（ステップＳ１１）。このステップＳ１１では、赤外線カメラ１２は、赤外線カメラ撮影領域制御部２５により撮影方向を上下左右に向きを変えて図１１の撮影領域＃１、＃２、＃３、・・・＃１１、＃１２の順で順次に撮影する。

続いて、赤外線カメラ１２により順次に撮影して得られた各撮影領域毎の赤外線画像のディジタル変換後のディジタル映像データが、記録再生部２０により記録媒体に記録される（ステップＳ１２）。次に、撮影装置１０は、上記の１２個の撮影領域＃１〜＃１２のうち、最初の撮影領域＃１を再び赤外線カメラ１２により撮影し、画像分析部２１において撮影領域＃１の赤外線画像と記録媒体から読み出した先に記録しておいた平常状態時の撮影領域＃１の赤外線画像とを比較して、予め設定されたしきい値以上の変化があるかどうかを判定する（ステップＳ１４）。前述したように、赤外線カメラ１２は、被写体からの赤外線を感知することで被写体の温度を知ることができる。そこで、上記のしきい値以上の変化は、所定値以上の温度変化があったものと判定でき、撮影装置１０はそれを異常と判定する。

変化がないときには、撮影装置１０は、赤外線カメラ１２の撮影方向を次の撮影領域＃２に移動させる（ステップＳ１５）。続いて、画像分析部２１は、得られた撮影領域＃２の赤外線画像と記録媒体から読み出した先に記録しておいた平常状態時の撮影領域＃２の赤外線画像とを比較して変化があるかどうか判定する（ステップＳ１４）。変化が検出されるまで、上記のステップＳ１３〜Ｓ１５が繰り返され、赤外線カメラ１２は図１１の撮影領域＃１〜＃１２を順次巡回的に撮影する。

一方、ステップＳ１４で変化があると判定されたときは、赤外線カメラ撮影領域制御部２５は、赤外線カメラ１２を変化があると判定された撮影領域に固定し、撮影する（ステップＳ１６）。そして、画像合成部１８は、可視光カメラ１１により撮影された撮影範囲３０の可視光画像中に、ステップＳ１６で固定された赤外線カメラ１２により撮影された赤外線画像を重畳する（ステップＳ１７）。モニタ１９は、ステップＳ１７で重畳された可視光画像と赤外線画像とを表示する。また、警報発令部２２は、画像分析部２１により検出された異常検出結果に基づき警報を発令する。

図１３及び図１４は、赤外線カメラ１２の赤外線画像の各例を示す。いま、図１３に示すように、赤外線カメラ１２の撮影領域４８（図１１の撮影領域＃１〜＃１２のうちのいずれか一の撮影領域）の赤外線画像が、家５１とゴミ箱５２からなるものとする。もし、ゴミ箱５２の中のゴミが、消し忘れのたばこなどで、発火した場合、ゴミ箱５２は温度が上がる。

すると、赤外線カメラ１２の撮影領域４８の赤外線画像は、図１４に示すように、家５１の画像は変化しないが、温度が上がっているゴミ箱５３の画像は、図１３のゴミ箱５２とは異なる画像を示す。可視光カメラ１１による可視光画像ではゴミ箱は同じ画像であるが、赤外線画像では、温度が上がっているゴミ箱５３は赤外線が増えるので、図１３のゴミ箱５２に比較して明るく写り、ゴミ箱で異常があったことが判断できる。

本実施の形態の撮像装置１０は、このような状況が発生した場合、異常と判断し、その異常が発生した画像の撮影領域に赤外線カメラ１２を固定し、連続で撮影し、詳細な画像を撮影し、可視光カメラの可視光画像に置き換え、或いは重畳し、異常の状況を詳しく知らせることができる。

図１５は、本実施の形態の他の動作例のフローチャートを示す。同図中、図１２と同一ステップには同一符号を付し、その説明を省略する。図１５において、ステップＳ１４で変化があると判定されたときは、赤外線カメラ撮影領域制御部２５は、変化があると判定された撮影領域を、変化が無いと判定された撮影領域より長時間である所定時間（例えば、３０秒間）赤外線カメラ１２を固定して撮影する（ステップＳ２１）。

そして、画像合成部１８は、可視光カメラ１１の可視光画像中に、ステップＳ２１で赤外線カメラ１２により所定時間撮影された赤外線画像を重畳する（ステップＳ２２）。すなわち、ステップＳ２２において、可視光カメラ１１により撮影された撮影範囲３０の可視光画像中の、上記赤外線画像に変化があると判定された撮影領域に対応する可視光画像領域の可視光画像部分に、ステップＳ２１で赤外線カメラ１２により所定時間撮影された赤外線画像が重畳される。モニタ１９は、このようにして重畳された可視光画像と赤外線画像とを表示する。

その後、赤外線カメラ撮影領域制御部２５は、巡回撮影を終了するか否かを確認する（ステップＳ２３）。終了する場合は（ステップＳ２３のＹｅｓ）、そのまま処理を終了する。終了しない場合は（ステップＳ２３のＮｏ）、巡回撮影を繰り返すために処理をステップＳ１５へ戻す。

このように、本実施の形態によれば、可視光カメラ１１の可視光撮影範囲３０内全体を赤外線カメラ１２で巡回撮影し、赤外線カメラ１２の各撮影範囲毎の赤外線画像を平常状態時の対応する撮影範囲の赤外線画像と変化があるか否かを検出し、変化があるときは異常と判定する。そして、本実施の形態によれば、異常と判定した赤外線カメラ１２の当該撮影範囲を固定して、又は他の撮影範囲よりも長時間撮影して得られた赤外線画像を、当該撮影範囲の可視光画像に置き換え、又は重ね合わせてモニタ１９に表示する。

従って、本実施の形態によれば、高価な高解像度の赤外線カメラを使うことなく、かつ、可視光カメラの撮像面上のサイズと赤外線カメラの撮像面上の被写体のサイズとを一致させることなく、モニタ１９の画面に所定時間撮影して得られた赤外線画像により、異常の状況を詳しく知らせることができ、また、可視光カメラ１１の撮影範囲３０内において複数の異常を見つけることができる。

なお、上記の第４の実施の形態の説明では、赤外線カメラ１２の撮影方向の巡回方法は図１１に示した撮影領域を左右上下順番に巡回するように説明したが、巡回方法はこれに限定されるものではなく、例えば、撮影領域＃５、撮影領域＃７、撮影領域＃１１、撮影領域＃９といったように、指定した順番で、巡回することもでき、あるいは全撮影領域内で、異常が起こり易い撮影領域を優先的に巡回することもできる。また、巡回撮影時の赤外線カメラ１２の１撮影領域当たりの撮影時間は一定でなくてもよく、例えば異常が頻繁に起こる撮影領域とめったに異常が起こらない撮影領域の各撮影時間を、異常の起こり易さに合わせてそれぞれ変えて巡回することもできる。

また、赤外線カメラ１２のズームレンズ１３により、異常のあった撮影領域を更に拡大し、より詳しく異常があった領域を撮影することも可能である。

また、本発明は、以上の実施の形態に限定されるものではなく、例えば、異常検出手段は、第２又は第４の実施の形態のようなしきい値以上の温度を異常と検出する場合だけでなく、適用する用途によっては、しきい値以下の温度を異常と検出する場合も含む。更に、本発明における異常検出手段は、上記のような正常な状態ではあり得ない温度を赤外線画像から検出する手段に限定されるものではなく、例えば、差分検出手段、置き去り検出手段、動物検出手段、変装・異常扮装検出手段なども含まれる。

上記の差分検出手段は、所定の時間差の複数の画像を比較し、被写体が動いたとか、何かが撮影範囲に現れたなどの、画像に変化があったかどうかを検出する手段である。また、上記の置き去り検出手段は、人間などが何かを置いていかなかったかどうかを検出する手段である。この置き去り検出手段では、例えば、爆弾テロなどを想定し、鞄を持っていた人間がそれをどこかに置かなかったかどうかを検出する。原理としては、画像に写っている人間の面積が急激に変化した場合に警報を出す。

また、上記の動物検出手段は、赤外線画像から被写体の体温を検出し、その体温から被写体が動物であるかどうかを検出する手段である。更に動物検出手段では、画像認識を併用して、人間かそれ以外の動物であるかを検出する。この動物検出手段は、野生動物から農場を監視する用途などに用いられる。更に、上記の変装・異常扮装検出手段は、目出し帽やマスクなどを装着している人間の顔からの赤外線の出方が、そのようなものを装着していない人間の顔からの赤外線の出方と異なることを利用して異常を検出する手段である。逆に裸の人間も赤外線画像から検出することができる。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、各実施の形態の動作をコンピュータにより実現する撮影プログラムも包含するものである。この撮影プログラムは、記録媒体に記録されてコンピュータに取り込まれたり、あるいはネットワークを介して配布されてコンピュータにロードされたりしてもよい。

１０ 撮影装置
１１ 可視光カメラ
１２ 赤外線カメラ
１３ ズームレンズ
１４、１６ Ａ／Ｄ変換器
１５、１７ フレームメモリ
１８ 画像合成部
１９ モニタ
２０ 記録再生部
２１ 画像分析部
２２ 警報発令部
２３ 通信部
２４ 操作部
２５ 赤外線カメラ撮影領域制御部
３０ 可視光カメラの撮影範囲
３１ 可視光カメラの分割撮影領域
３２ 選択された分割撮影領域
３４−１〜３４−４ 監視対象領域
４１、４２ 赤外線カメラの撮影範囲
４３、４５ 可視光画像に置き換え、又は重畳された赤外線画像
４４ 赤外線カメラの撮影領域
４６−１〜４６−４ 赤外線画像
４７ 連続的赤外線画像

Claims (7)

1. 可視光カメラの第１の撮影範囲内の任意の位置を、前記可視光カメラより低解像度で、かつ、撮影可能範囲が前記第１の撮影範囲よりも小である赤外線カメラの第２の撮影範囲の位置として指定する指定ステップと、
   前記指定ステップにより指定された前記可視光カメラの前記第１の撮影範囲内の前記任意の位置に、撮影方向が移動自在な前記赤外線カメラの前記第２の撮影範囲を移動させる移動ステップと、
   前記赤外線カメラにより撮影して得られた前記第２の撮影範囲の赤外線画像を、前記可視光カメラにより撮影して得られた前記第１の撮影範囲の可視光画像中の前記任意の指定位置の前記第２の撮影範囲に相当する領域の可視光画像部分と置き換える合成、又は、前記可視光画像部分に重畳する合成を行う画像合成ステップと
   を含むことを特徴とする撮影方法。
2. 可視光カメラの第１の撮影範囲内の任意の位置を、前記可視光カメラより低解像度で、かつ、撮影可能範囲が前記第１の撮影範囲よりも小である赤外線カメラの第２の撮影範囲の位置として指定する指定入力手段と、
   前記指定入力手段により指定された前記可視光カメラの前記第１の撮影範囲内の前記任意の位置に、撮影方向が移動自在な前記赤外線カメラの前記第２の撮影範囲を移動させる移動手段と、
   前記赤外線カメラにより撮影して得られた前記第２の撮影範囲の赤外線画像を、前記可視光カメラにより撮影して得られた前記第１の撮影範囲の可視光画像中の前記任意の指定位置の前記第２の撮影範囲に相当する領域の可視光画像部分と置き換える合成、又は、前記可視光画像部分に重畳する合成を行う画像合成手段と
   を有することを特徴とする撮影装置。
3. 可視光カメラの第１の撮影範囲内で、前記可視光カメラより低解像度で、かつ、撮影可能範囲が前記第１の撮影範囲よりも小であり、かつ、撮影方向が移動自在な赤外線カメラの第２の撮影範囲を巡回的に移動させる移動手段と、
   異常判定用のしきい値を設定するしきい値設定手段と、
   前記赤外線カメラにより撮影して得られた前記第２の撮影範囲の赤外線画像に基づいて、その赤外線画像の異常の度合いを示す異常値を算出し、その異常値が前記しきい値を越えるか否かで前記第２の撮影範囲の赤外線画像に異常があるか否かを判定する異常判定手段と、
   前記異常判定手段により異常があると判定された時の位置にある前記赤外線カメラにより撮影して得られた前記第２の撮影範囲の赤外線画像を、前記可視光カメラにより撮影して得られた前記第１の撮影範囲の可視光画像中の前記位置に対応した前記第２の撮影範囲の可視光画像部分と置き換える合成、又は、前記可視光画像部分に重畳する合成を行う画像合成手段と
   を有することを特徴とする撮影装置。
4. 前記移動手段は、
   前記赤外線カメラの前記第２の撮影範囲の巡回的な移動を、前記第１の撮影範囲内における予め設定された複数の撮影領域に対し、指定された経路又は巡回時間が最短となる経路で行うことを特徴とする請求項３記載の撮影装置。
5. 撮影中の可視光カメラの第１の撮影範囲を、前記可視光カメラより低解像度で、かつ、撮影可能範囲が前記第１の撮影範囲よりも小である赤外線カメラの第２の撮影範囲とほぼ同じ大きさの複数の撮影領域に分割したとき、前記複数の撮影領域を前記赤外線カメラにより巡回的に移動させて撮影させる移動手段と、
   前記移動手段により前記複数の撮影領域を巡回的に移動させる前記赤外線カメラにより得られる各撮影領域毎の赤外線画像を、対応する撮影領域の過去に撮影した赤外線画像に比較して変化があるか否かにより異常判定を行う異常判定手段と、
   前記異常判定手段により異常と判定されたときの前記赤外線カメラが撮影している前記撮影領域を、異常と判定されない他の撮影領域よりも長時間撮影する撮影時間制御手段と、
   前記異常判定手段により異常と判定された前記撮影領域を前記赤外線カメラにより撮影して得られた赤外線画像を、前記可視光カメラにより撮影して得られた前記第１の撮影範囲の可視光画像中の前記異常と判定された撮影領域に対応した可視光画像部分と置き換える合成、又は、前記可視光画像部分に重畳する合成を行う画像合成手段と
   を有することを特徴とする撮影装置。
6. 前記撮影時間制御手段は、
   前記異常判定手段により異常と判定されたときの前記赤外線カメラが撮影している前記撮影領域を、前記赤外線カメラを固定して連続撮影することを特徴とする請求項５記載の撮影装置。
7. 前記赤外線カメラは、
   前記異常判定手段により異常と判定されたときの前記赤外線カメラが撮影している前記撮影領域を、拡大して撮影するズーム手段を有することを特徴とする請求項５又は６記載の撮影装置。