JP3428166B2 - クラスタリング方法およびその装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、カメラで撮像した画像
から移動物体などの対象物の画像だけを抽出して画像中
の各画素がどの対象物を表すのかを調べ、同一対象物を
表す画素を統合するクラスタリング方法およびその装置
に関する。

【０００２】

【従来の技術】カメラで撮像した画像内の対象物の計数
や位置の認識、移動経路の認識を行う場合は、その前処
理として、一定の画素の塊がどの対象物を表すものであ
るかという意味付けを行う処理、即ち、画像中の各画素
がどの対象物を表すのかを調べ、同一対象物を表す画素
を統合する処理であるクラスタリング処理を行う必要が
ある。また、対象物の位置の認識などクラスタリング処
理の後に続く処理においては、対象物を表す全ての画素
を扱って処理を行ってもよいが、対象物の形状や位置な
どの対象物を表す特徴量を代表値として該代表値に対し
て処理を行う方が扱いやすい。そこで、一般的にクラス
タリング装置においては、対象物を表す画素を統合して
対象物を長方形や多角形などに置き換えて、画像から抽
出した対象物の特徴量を出力する。

【０００３】従来の技術を図１１〜図１６を用いて説明
する。図１１は、クラスタリング装置を示すブロック図
である。図１２は、前記クラスタリング装置のクラスタ
リング処理を説明するイメージ図であり、図１２（ａ）
は実際の対象物の輪郭と二値画像上の対象物を示す画素
とを表すイメージ図であり、図１２（ｂ）は対象物を示
す画素の塊の周囲に画素を追加した場合の二値画像のイ
メージ図であり、図１２（ｃ）は前記画素の塊の周囲に
画素を追加した後、周囲の画素を取り除いた場合の二値
画像のイメージ図である。図１３は、他のクラスタリン
グ装置を示すブロック図である。図１４は、前記他のク
ラスタリング装置のクラスタリング処理を説明するイメ
ージ図であり、図１４（ａ）は二値画像上の対象物を示
す画素を表すイメージ図であり、図１４（ｂ）は二値画
像内においてモデルを移動させていることを示すイメー
ジ図であり、図１４（ｃ）は二値画像上の画素の塊とモ
デルとの類似度が一定以上である場合を示すイメージ図
である。図１５は従来のクラスタリング装置の問題点を
説明するイメージ図であり、図１５（ａ）は画素の塊が
２つ存在する二値画像を示すイメージ図であり、図１５
（ｂ）は２つの画素の塊が併合され１つの画素の塊とな
った二値画像を示すイメージ図である。図１６も従来の
クラスタリング装置の問題点を説明するイメージ図であ
り、図１６（ａ）は現在の撮像画像を示すイメージ図で
あり、図１６（ｂ）は所定時間後の撮像画像を示すイメ
ージ図であり、図１６（ｃ）は現在の撮像画像を二値化
した二値画像を示すイメージ図であり、図１６（ｄ）は
所定時間後の撮像画像を二値化した二値画像を示すイメ
ージ図であり、図１６（ｅ）は現在の二値画像とモデル
とのマッチングを示すイメージ図であり、図１６（ｆ）
は所定時間後の二値画像とモデルとのマッチングを示す
イメージ図である。

【０００４】図１１において、１はカメラ、２はＡ／Ｄ
変換手段、３は背景画像生成手段、４は背景画像記憶用
ＲＡＭ、５は前景抽出手段、６は画素併合手段、７はラ
ベリング手段を表す。前景抽出手段５は、差分部５ａと
二値化部５ｂとを含んで構成されている。

【０００５】カメラ１は対象領域を撮像し、撮像画像を
アナログ映像信号として出力し、Ａ／Ｄ変換手段２は該
アナログ映像信号をデジタル画像に変換する。背景画像
生成手段３はあらかじめ対象物の存在しない対象領域を
撮像し、撮像画像を背景画像として背景画像記憶用ＲＡ
Ｍ４に格納する。

【０００６】差分部５ａは、前記背景画像とＡ／Ｄ変換
手段２が出力する現在のデジタル画像とについて、画像
を構成する各画素毎に輝度の差の絶対値演算を行い、演
算結果である差分画像を出力する。

【０００７】次に二値化部５ｂは、差分画像を構成する
各画素毎に先程演算して求めた輝度差の絶対値と所定の
しきい値とを比較し、しきい値より大きい場合にはその
画素を「１」とし、しきい値より小さい場合にはその画
素を「０」とする。これを差分画像全体に対して施し二
値画像を得る。前景抽出手段５は前景画像として最終的
に対象物を表す画素だけの二値画像を出力する。

【０００８】該二値画像の写り具合が良好な場合は、１
つの対象物は画素の１つの塊で示される領域に対応する
が、二値画像の状態が悪いと、１つの対象物が複数の画
像の塊に分かれる場合がある。つまり、図１２（ａ）に
示すように、本来は一つの物体である対象物Ｂ１が画素
の塊Ａ１と画素の塊Ａ２との二つに分かれた二値画像と
なる場合がある。この状態でラベリング処理を行うと、
画素の塊が２つあるために各々にラベリング番号が付け
られ、本来１つの対象物であるものが２つの対象物であ
るかのごとくにラベリングされる。

【０００９】そこで従来のクラスタリング装置では、画
像併合手段６が、本来１つの対象物を表すが二値画像上
では分かれている画素の塊Ａ１，Ａ２を以下の方法で併
合する。まず図１２（ｂ）に示すように、画素の塊Ａ
１，Ａ２の全周囲に画素Ｄ１を追加すると、画素の塊Ａ
１と画素の塊Ａ２との間に存在する隙間は画素Ｄ１によ
り埋められて、画素の塊Ａ１，Ａ２は１つの画素の塊Ａ
３となる。次に、新たに生成された画素の塊Ａ３の全周
囲から画素Ｄ１を取り除くと、先ほど隙間に埋められた
画素Ｄ１は画素の塊Ａ３の周囲ではないので取り除かれ
ることなく、図１２（ｃ）に示すように、最初の状態か
ら隙間が取り除かれた状態になり、単一の塊Ａ４が生成
される。

【００１０】ラベリング手段７は、画像併合手段６が出
力する画素の塊が併合された二値画像について、画素が
「１」であり隣接しているもの同士は同一の対象物を表
す画素であるとして、画素に同一のラベリング番号を付
与し、ラベリング画像を得る。そして、該ラベリング画
像内のラベル付けされた画素の塊の位置、面積、形状を
表す特徴値等の情報を記述した対象物情報テーブルを作
成し、該対象物情報テーブルに記述されている全てのデ
ータを出力する。

【００１１】以上の処理によりクラスタリング処理は完
了する。クラスタリング処理の後に続く処理では、該対
象物情報テーブルのデータをもとに処理を行う。例え
ば、対象物を人間であるとする場合では、対象物情報テ
ーブル内の画素の塊の大きさや形から人間であるか否か
を判断し、また対象物情報テーブルに記述された対象物
の数から人数を数えるといった処理を行う。

【００１２】図１３に示す他のクラスタリング装置で
は、上記した画素の塊の併合を、モデルを用いて行って
いる。図１３において、カメラ１、Ａ／Ｄ変換手段２、
背景画像生成手段３、背景画像記憶用ＲＡＭ４、前景抽
出手段５は前述のクラスタリング装置と同様であるので
説明を省略する。

【００１３】図１３において、８はマッチング手段、９
はモデル記憶手段を示す。マッチング手段８は、図１４
（ａ）に示すように画素の塊Ａ５と画素の塊Ａ６とが存
在する二値画像があると、図１４（ｂ）に示すように所
定の順序にてあらかじめモデル記憶手段９に記憶してい
るモデルＴ１を二値画像内において移動させ、モデルと
重なる画像の部分パターンとモデルとの類似度を測定す
る。

【００１４】類似度が一定以上であれば（図１４（ｃ）
に示す）、その位置にモデルに対応する対象物が存在す
るものとし、対象物情報テーブルに位置および対応する
モデルの情報等を記述して、該対象物情報テーブルの全
てのデータを出力する。

【００１５】クラスタリング処理の後に続く処理では、
前述のクラスタリング装置同様に該対象物情報テーブル
に記述されたデータをもとに処理を行う。

【００１６】

【発明が解決しようとする課題】しかしながら、上述の
図１１に示すクラスタリング装置にあっては、対象物の
知識を利用していないので、図１５（ａ）に示す二値画
像において画素の塊Ａ７とＡ８とが存在し各々の画素の
塊が別の対象物を示すものである場合に、クラスタリン
グ処理を行うと図１５（ｂ）に示すように画素の塊Ａ
７，Ａ８は併合されて画素の塊Ａ９一つになることがあ
る。つまり、近傍にある画素の塊を全て併合するため、
本来２つの物体であるものが接近しており２つの物体を
表す２つの画素の塊の隙間が小さいために２つの画素の
塊は併合されて一つの物体とみなされ、正確にクラスタ
リングできない場合がある。

【００１７】また、図１３に示すようなクラスタリング
装置にあっては、対象物の知識としてモデルを利用して
いるので前述した図１１に示すクラスタリング装置にお
ける問題はないが、対象物のカメラからの見え方が変化
し二値画像での形状も変化すると、変化前に用いていた
モデルによりマッチングを行っても対象物を見つけるこ
とができず、反対に全く別の対象物として認識される可
能性がある。

【００１８】例えば、カメラで撮像した図１６（ａ）に
示す撮像画像において、対象物である人間Ｂ２が一定時
間後に再びカメラで撮像したところ図１６（ｂ）に示す
撮像画像で示される位置と大きさで人間Ｂ３のように見
えるとすると、図１６（ａ）に示す撮像画像は前景画像
抽出手段により図１６（ｃ）に示す二値画像になり、図
１６（ｂ）に示す撮像画像は前景画像抽出手段により図
１６（ｄ）に示す二値画像となる。ここで、図１６
（ｃ）に示す二値画像内の画素の塊Ａ１０を発見するた
めにモデルＴ２を用いてマッチングしたとすると、同様
にモデルＴ２を用いて図１６（ｄ）に示す二値画像の画
素の塊Ａ１１をマッチングしても、Ａ１１とモデルＴ２
との一致度は低く、従って対象物とは認識されない。

【００１９】このため、正確にクラスタリングすること
ができず、後に続く処理においても正しく人数をカウン
トできない等の影響を及ぼすという問題点があった。

【００２０】本発明は、上記問題点を改善するために成
されたもので、その目的とするところは、対象物の見え
方が変化した場合でも、正確にクラスタリングできるク
ラスタリング方法およびクラスタリング装置を提供する
ことにある。

【００２１】

【課題を解決するための手段】本発明は上記の問題を解
決するために、請求項１記載の発明にあっては、対象領
域を撮像した撮像画像とあらかじめ撮像し記憶しておい
た背景画像とから対象物のみを表示する前景画像を抽出
し、該前景画像内の相互に隣接した画像の集合について
画素の塊を示す対象物画像領域を生成し、撮像画像の各
画素がどの対象物を表すのかを調べ同一対象物を表す画
素を統合するクラスタリング方法において、所定の順序
により前記前景画像内の前記対象物画像領域が形状モデ
ル生成の起点となるか否かを判断し、前記形状モデルの
起点となる場合は対象物画像領域を起点としてあらかじ
め記憶している対象物モデルを参照し起点の位置に対応
して大きさを変えた具体的な形状モデルを作成し、形状
モデルの起点とならない場合は既に作成されているどの
形状モデルに属するのかを判断し、前記形状モデルが正
しい位置に生成されているかを検証することを特徴とす
る方法である。

【００２２】また、請求項２記載の発明にあっては、対
象領域を撮像し撮像画像を出力する撮像手段と、前記対
象領域の背景画像を記憶する背景画像記憶手段と、前記
撮像手段の出力する撮像画像とあらかじめ前記背景画像
記憶手段に蓄えておいた背景画像とから前景画像を抽出
し出力する前景抽出手段と、前記前景画像内の相互に隣
接した画素の集合について画素の塊を示す対象物画像領
域を生成する対象物画像領域生成手段とを有し、撮像画
像から対象物の画像だけを抽出して各画素がどの対象物
を表すのかを調べ同一対象物を表す画素を統合するクラ
スタリング装置において、所定の順序により前記前景画
像内の前記対象物画像領域が形状モデル生成の起点とな
るか否かを判断し前記形状モデルの起点となる場合は対
象物画像領域を起点としてあらかじめ記憶している対象
物モデルを参照し起点の位置に対応して大きさを変えた
具体的な形状モデルを作成し形状モデルの起点とならな
い場合は既に作成されているどの形状モデルに属するの
かを判断する形状モデル生成手段と、前記形状モデルが
正しい位置に生成されているかを検証する形状モデル検
証手段とを有することを特徴とするものである。

【００２３】

【作用】以上のように構成したことにより、請求項１記
載の発明にあっては、対象領域を撮像した画像とあらか
じめ撮像し記憶して蓄えておいた背景画像との差分画像
である前景画像を抽出し、前景画像内の相互に隣接する
画素の塊を塊毎に統合して一つとして取り扱えるように
画素の塊を示すものとして対象物画像領域を生成し、全
ての画素の塊について対象物画像領域を生成した後、全
ての対象物画像領域についてその対象物画像領域が形状
モデルを生成する起点になるか否かを判定し、起点にな
る条件を備えている対象物画像領域を発見すれば、該対
象物画像領域を起点としてあらかじめ記憶している対象
物モデルを参照して形状モデルを生成し、起点になる条
件を備えておらず既に作成されている形状モデルに属す
る対象物画像領域であればその形状モデルに含まれるも
のとして分類し、生成された形状モデルが正しい位置に
生成されているかを検証し、正しいと認められた形状モ
デルの位置と大きさをクラスタリング処理の結果として
出力する。

【００２４】また、請求項２記載の発明にあっては、前
景抽出手段は、撮像手段が撮像した画像とあらかじめ背
景画像記憶手段に蓄えておいた背景画像との差分画像で
ある前景画像を得て、対象物画像領域生成手段は前景画
像内の相互に隣接する画素の塊を塊毎に統合して一つと
して取り扱えるように画素の塊を示すものとして対象物
画像領域を生成し、全ての画素の塊について対象物画像
領域を生成した後、形状モデル生成手段は全ての対象物
画像領域についてその対象物画像領域が形状モデルを生
成する起点になるか否かを判定し、起点になる条件を備
えている対象物画像領域を発見すれば、該対象物画像領
域を起点としてあらかじめ記憶している対象物モデルを
参照して形状モデルを生成し、起点になる条件を備えて
おらず既に作成されている形状モデルに属する対象物画
像領域であればその形状モデルに含まれるものとして分
類し、形状モデル検証手段は形状モデルが正しい位置に
生成されているかを検証し、該形状モデル検証手段が正
しいと認めた形状モデルの位置と大きさをクラスタリン
グ処理の結果として出力する。

【００２５】

【実施例】本発明の実施例を図１〜図１０を用いて説明
する。図１は、本発明のクラスタリング装置の一実施例
を示すブロック図である。図２は、本実施例のカメラで
撮像した撮像画像を示すイメージ図である。図３は、本
実施例の前景抽出手段が出力する二値画像の例を示すイ
メージ図である。図４は、本実施例の対象物画像領域生
成手段が出力する外接長方形を説明するイメージ図であ
る。図５は、本実施例の外接長方形テーブルを示すイメ
ージ図である。図６は、本実施例の対象物モデルを説明
するイメージ図であり、図６（ａ）は撮像画像を示すイ
メージ図であり、図６（ｂ）は対象物モデルから撮像画
像内の前景に対応した形状に形状モデルを生成するイメ
ージを表すイメージ図である。図７は、本実施例の形状
モデルの生成過程を説明するを示すイメージ図であり、
図７（ａ）は画像に中心から外接長方形を螺旋状に検索
する処理を示すイメージ図であり、図７（ｂ）は最初に
検出した外接長方形について形状モデルを生成すること
を示すイメージ図であり、図７（ｃ）はさらに外接長方
形を螺旋状に検索する処理の続行を示すイメージ図であ
り、図７（ｄ）は新たな外接長方形を検出し形状モデル
を生成することを示すイメージ図である。図８は、本実
施例の形状モデルテーブルを示すイメージ図である。図
９は、本実施例の形状モデルを説明するイメージ図であ
る。図１０は、撮像画像に本実施例の形状モデルを重ね
合わせたイメージ図である。

【００２６】図１において、１０は撮像手段に相当する
カメラを、１１はＡ／Ｄ変換手段を示す。カメラ１０は
天井等の人間の頭上に設置されており、上方より対象領
域を撮像し、アナログ映像信号をＡ／Ｄ変換手段１１へ
出力する。Ａ／Ｄ変換手段１１は該アナログ映像信号を
図２に示すデジタル画像に変換し、該デジタル画像を前
景抽出手段１４に出力する。

【００２７】背景画像生成手段１２は、初期設定時等に
あらかじめ撮像した対象物の存在しない背景のみの画像
である背景画像を、Ａ／Ｄ変換手段１１の出力するデジ
タル画像から生成し、背景画像記憶手段１３に格納す
る。

【００２８】前景抽出手段１４は差分部１４ａと二値化
部１４ｂとを含んで構成されており、カメラ１０で撮像
した画像から背景を取り除き移動物体等の対象物の画像
を抽出する処理を行う。

【００２９】差分部１４ａは、背景画像とＡ／Ｄ変換手
段１１が出力する現在のデジタル画像とについて、画像
を構成する各画素毎に輝度の差の絶対値演算を行い、演
算結果である差分画像を出力する。

【００３０】二値化部１４ｂは、前述の差分画像を構成
する各画素毎に先程演算して求めた輝度差の絶対値と所
定のしきい値とを比較し、しきい値より大きい場合には
その画素を「１」とし、しきい値より小さい場合にはそ
の画素を「０」とする。これを差分画像全体に対して施
し図３に示す二値画像を得て、対象物画像領域生成手段
１５に該二値画像を出力する。

【００３１】対象物画像領域生成手段１５は、前記二値
画像内の画素の塊を構成する画素を統合して１つのもの
として扱うために対象物画像領域に相当する外接長方形
を生成するものであり、ノイズ除去部１５ａとラベリン
グ部１５ｂと外接長方形作成部１５ｃとを含んで構成さ
れている。

【００３２】前記二値画像内には、対象物の画像と何ら
関連を持たない画素の結合であるノイズ領域が含まれて
いる可能性がある。そこで、ノイズ除去部１５ａは二値
画像に含まれるノイズの画素を除去するため、まず、画
素の塊の周囲を構成する画素を除去する収縮処理を一度
行って孤立画素や細い線状の画素の塊を除去し、その後
に、元の大きさに戻すために画素の塊の周囲に画素をつ
け加える膨張処理を一度行う。

【００３３】ラベリング部１５ｂは、前記ノイズ除去を
した二値画像について同一の画素の塊を構成する画素に
同一のラベリング番号を付与し、ラベリング画像として
外接長方形作成部１５ｃに出力する。

【００３４】外接長方形作成部１５ｃは、図４に示すよ
うに前記同一番号を付与された画素の塊について外接長
方形を作成し、外接長方形の面積が一定以下のものを除
去し、外接長方形が含んでいる画素に付与されているラ
ベリング番号を外接長方形番号として外接長方形に付与
する。即ち、ラベリング画像内の画素の塊は全て外接長
方形に置き換えられて、面積の条件を満たした外接長方
形が図５に示す外接長方形テーブルにフィレ座標形式で
外接長方形番号と共に記録される。

【００３５】形状モデル生成手段１６は、形状モデル生
成手段１６内に有する対象物モデルから対象物の輪郭を
示す多角形である形状モデルを作成する。

【００３６】対象物モデルとは、対象物の形状を記述し
たものであり、画像上での位置を指定するとその位置に
おける対象物の大きさ、向きなどを具体的にした形状モ
デルを生成するためのものである。本実施例では、形状
モデル生成手段１６は対象物モデルとして人間のモデル
を有している。

【００３７】ここでカメラ１０を、前述のように天井等
に設置して上方から人間を撮像した場合、図６（ａ）に
示すように人間の身長はカメラ画像の中心から周辺に向
けて伸び、カメラ画像の中心付近では人間Ｂ４を真上か
ら見ることになるので、身長は短く見える。一方、カメ
ラ画像の周辺部に人間Ｂ５が撮像されたときは、カメラ
１０は斜め上方から人間を撮像することになるので身長
が前述の場合より長く見える。つまり、カメラ１０に対
しての人間の立つ位置により、カメラ画像上での人間の
見え方は変化し、人間の立つ位置と見え方との間には一
定の関係がある。

【００３８】そこで、形状モデル生成手段１６は、図６
（ｂ）に示すように、形状モデル生成手段１６があらか
じめ保持している対象物モデルＭ０から、カメラ画像の
中心付近にいる人間Ｂ４の形状モデルＭ１は小さく、カ
メラ画像の周辺部にいる人間Ｂ５の形状モデルＭ２は大
きくなるように、対象物である人間の位置に対応して形
状モデルを生成する。

【００３９】次に、形状モデル生成手段１６が図４に示
す外接長方形で表現される画像から対象物の存在を示す
形状モデルを生成する方法を説明する。

【００４０】まず形状モデル生成手段１６は、図７
（ａ）に示すように、外接長方形テーブルに記録されて
いる外接長方形の中から、外接長方形テーブルに記述さ
れた外接長方形の座標をもとに、座標が画像の中心Ｃに
近い順に中心から螺旋状に外側に向けて順次検索し外接
長方形を選択する。

【００４１】処理対象の外接長方形は、先に生成した形
状モデルの中に含まれる場合（外接長方形の一部分が形
状モデルと重なる場合を含む）と、形状モデルに含まれ
ない場合とがある。

【００４２】最初に検索された外接長方形Ｒ１は、まだ
形状モデルが存在しないので、外接長方形Ｒ１の重心の
位置を起点として対象物モデルを参照して形状モデルを
生成する（図７（ｂ））。そして、図８に示す形状モデ
ルテーブルに、何番目に生成した形状モデルであるのか
を示す「形状モデル番号」として最初に生成した形状モ
デルであるので１番を、形状モデル生成の「起点の座
標」として外接長方形Ｒ１の重心位置を、「形状」とし
て多角形の形状を、そして「形状モデル内に含まれる外
接長方形」として起点となった外接長方形Ｒ１の外接長
方形番号を記述し、再び前述の螺旋状に外接長方形を検
索する処理を続ける。

【００４３】図７（ｃ）に示すように外接長方形Ｒ２が
形状モデルに含まれる場合および部分的に含まれる場合
は、形状モデルテーブル内の外接長方形Ｒ２を含む形状
モデルの「形状モデル内に含まれる外接長方形」の項目
に外接長方形Ｒ２の外接長方形番号を書き込み、再び螺
旋状に外接長方形を検索する処理を継続する。

【００４４】さらに螺旋状に検索を行うと形状モデル生
成手段１６は外接長方形Ｒ３を選択し、外接長方形Ｒ３
は先に生成した形状モデルＭ１に含まれないので、新た
に形状モデルＭ２を生成する。そして、形状モデルテー
ブルに、何番目に生成した形状モデルであるのかを示す
「形状モデル番号」として２番を、形状モデル生成の
「起点の座標」として外接長方形Ｒ３の重心位置を、
「形状」として多角形の形状を、「形状モデル内に含ま
れる外接長方形」として起点となった外接長方形Ｒ３の
外接長方形番号を記述する。以後同様にして、全ての外
接長方形について形状モデルを生成するかまたは他の形
状モデルに含まれるものとして形状モデルテーブルの
「形状モデルに含まれる外接長方形」の項目に外接長方
形番号を書き込む処理を行い、処理終了後に形状モデル
テーブルの全データを形状モデル検証手段１７に出力す
る。

【００４５】形状モデル検証手段１７は形状モデル生成
手段１６の生成する形状モデルテーブルに記述された
「形状」から求められる形状モデルの面積と形状モデル
に含まれる外接長方形の面積の合計との割合を計算し、
該割合が所定の割合以上あることと、形状モデルからは
み出している外接長方形についての縦横の長さが所定の
長さ以下であることを条件として形状モデルが正しい位
置に生成されているかを検証する。条件が満たされない
場合は、形状モデル検証手段１７は、その形状モデルは
誤生成されたものであるとして削除する。

【００４６】例えば、図９に示す形状モデルＭ１内に
は、形状モデルＭ１の外接長方形Ｒ１とＲ２とＲ４とが
存在する。この場合、形状モデル検証手段１７は形状モ
デルＭ１の面積と外接長方形Ｒ１，Ｒ２，Ｒ４の面積の
合計が略等しく、外接長方形のはみ出している部分も小
さいので形状モデルＭ１の位置には対象物が存在し、ま
た形状モデルＭ１の生成は適切であったと判断する。し
かし、形状モデルＭ４について考えると、形状モデル検
証手段１７は、形状モデルＭ４内には外接長方形Ｒ５の
みしか存在せず形状モデルＭ４の面積と外接長方形Ｒ５
との面積も全く違うため、形状モデルＭ４を生成した位
置に対象物が存在しないと判断する。

【００４７】形状モデル検証手段１７は、誤生成の形状
モデルのデータを削除した後、形状モデルテーブルの全
データを出力し、クラスタリング処理を完了する。クラ
スタリング処理終了後は、図２に示すカメラ画像と形状
モデル生成手段１６が生成した形状モデルを重ね合わせ
ると図１０に示すようなイメージになり、３人の人間の
上に重なるように形状モデルである多角形が生成されて
いる。

【００４８】クラスタリング処理の後に続く処理では、
この形状モデルテーブルのデータを用いて対象物の位置
の認識や移動経路の認識を行う。

【００４９】なお、実施例では対象物画像領域として外
接長方形を用いているが、画素の塊にアクセスできる方
法であれば、長方形でなく多角形や円、画素の塊の輪郭
を対象物画像領域として使用する方法や、画素そのもの
をデータとして保持する方法等を用いても可能である。
このような方法を用いた場合は処理が複雑になるが、形
状モデル検証手段はより正確な形状モデルの検証を行う
ことが可能となる。

【００５０】また、本実施例ではカメラ１０を対象物で
ある人間の上方に設置して撮像するが、カメラ１０の設
置位置は対象物である人間の上方のみに限られるもので
はなく、例えば人間の側方にカメラ１０を設置して側方
から撮像してもよい。対象物はカメラ１０の設置位置か
ら離れるに従って、カメラ画像上に写る対象物の画像は
消失無限遠点に近づくので、例えばカメラ画像中央付近
に消失無限遠点がある場合は、カメラ画像の底辺付近に
人間の足を表す画像がある対象物はカメラ１０に近く、
カメラ画像の中央付近に人間の足を表す画像がある対象
物はカメラ１０から離れて立っているということができ
る。そこで、本実施例のようにカメラ１０を人間の上方
に設置した場合は形状モデル生成手段はカメラ画像の周
辺部にいる人間には大きな形状モデルを生成し、またカ
メラ画像の中心の近くにいる人間には小さな形状モデル
を生成するが、カメラ１０を対象物の側方に設置した場
合は、カメラ１０の近くにいる人間には大きな形状モデ
ルを生成し、カメラ１０から離れた位置にいる人間には
小さな形状モデルを生成するようにされる。

【００５１】外接長方形作成部１５ｃは、外接長方形が
含んでいる画素に付与されているラベリング番号を外接
長方形番号として外接長方形に付与するが、幾つかの外
接長方形は面積の大きさの条件を満たさず削除されてい
るため、外接長方形番号は必ずしも通し番号とはならず
一部欠落する部分がある。本実施例ではラベリング番号
をそのまま外接長方形番号として用いているが、このよ
うな場合には必要に応じて外接長方形番号を通し番号と
なるように付け直す処理を行ってもよい。外接長方形番
号を通し番号とすることにより、形状モデル生成手段１
６内での繰り返し処理や外接長方形の計数が容易にな
る。

【００５２】また、形状モデル生成手段１６では形状モ
デルの生成の起点を検出した外接長方形の重心位置とし
ているが、該起点は外接長方形の重心位置に限るもので
はなく、例えば外接長方形の包含する画素の塊の重心位
置や、外接長方形の輪郭上で画像の中心位置に最も近い
点、外接長方形の包含する画素の塊の輪郭上で画像の中
心位置に最も近い点を形状モデル生成の起点としてもよ
い。この場合、処理は実施例と比較して複雑になるがよ
り正確な形状モデルの生成が期待できる。

【００５３】

【発明の効果】本発明のクラスタリング装置は上述のよ
うに構成してあるから、請求項１記載の発明にあって
は、対象物画像領域を起点として大きさを変えた具体的
な形状モデルを生成するので、対象物の見え方が変わっ
ても、正確にクラスタリングできるクラスタリング方法
を提供することができるという効果を奏する。

【００５４】請求項２記載の発明にあっては、前記の請
求項１の発明を具現化して、対象物の見え方が変わって
も、正確にクラスタリングできるクラスタリング装置を
提供することができるという効果を奏する。

【図面の簡単な説明】

【図１】本発明のクラスタリング装置の一実施例を示す
ブロック図である。

【図２】上記実施例のカメラで撮像した撮像画像を示す
イメージ図である。

【図３】上記実施例の前景抽出手段が出力する二値画像
の例を示すイメージ図である

【図４】上記実施例の対象物画像領域生成手段が出力す
る対象物画像領域を説明するイメージ図である。

【図５】上記実施例の対象物画像領域テーブルを示すイ
メージ図である。

【図６】上記実施例の対象物モデルを説明するイメージ
図である。

【図７】上記実施例の形状モデルの生成過程を説明する
を示すイメージ図である。

【図８】上記実施例の形状モデルテーブルを示すイメー
ジ図である。

【図９】上記実施例の形状モデルを説明するイメージ図
である。

【図１０】上記実施例の形状モデルと撮像画像を重ね合
わせたイメージ図である。

【図１１】従来例のクラスタリング装置のブロック図で
ある。

【図１２】上記従来例のクラスタリング処理を説明する
イメージ図である。

【図１３】従来のクラスタリング装置の他の例を示すブ
ロック図である。

【図１４】上記従来の他の例のクラスタリング処理を説
明するイメージ図である。

【図１５】従来のクラスタリング装置の問題点を説明す
るイメージ図である。

【図１６】従来のクラスタリング装置の問題点を説明す
るイメージ図である。

【符号の説明】

１０ 撮像手段 １３ 背景画像記憶手段 １４ 前景抽出手段 １５ 対象画像領域生成手段 １６ 形状モデル生成手段 １７ 形状モデル検証手段

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平７−296162（ＪＰ，Ａ) 特開 平３−35399（ＪＰ，Ａ) 特開 平７−49950（ＪＰ，Ａ) 特開 平６−20049（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/60 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 対象領域を撮像した撮像画像とあらかじ
   め撮像し記憶しておいた背景画像とから対象物のみを表
   示する前景画像を抽出し、該前景画像内の相互に隣接し
   た画像の集合について画素の塊を示す対象物画像領域を
   生成し、撮像画像の各画素がどの対象物を表すのかを調
   べ同一対象物を表す画素を統合するクラスタリング方法
   において、所定の順序により前記前景画像内の前記対象
   物画像領域が形状モデル生成の起点となるか否かを判断
   し、前記形状モデルの起点となる場合は対象物画像領域
   を起点としてあらかじめ記憶している対象物モデルを参
   照し起点の位置に対応して大きさを変えた具体的な形状
   モデルを作成し、形状モデルの起点とならない場合は既
   に作成されているどの形状モデルに属するのかを判断
   し、前記形状モデルが正しい位置に生成されているかを
   検証することを特徴とするクラスタリング方法。
2. 【請求項２】 対象領域を撮像し撮像画像を出力する撮
   像手段と、前記対象領域の背景画像を記憶する背景画像
   記憶手段と、前記撮像手段の出力する撮像画像とあらか
   じめ前記背景画像記憶手段に蓄えておいた背景画像とか
   ら前景画像を抽出し出力する前景抽出手段と、前記前景
   画像内の相互に隣接した画素の集合について画素の塊を
   示す対象物画像領域を生成する対象物画像領域生成手段
   とを有し、撮像画像から対象物の画像だけを抽出して各
   画素がどの対象物を表すのかを調べ同一対象物を表す画
   素を統合するクラスタリング装置において、所定の順序
   により前記前景画像内の前記対象物画像領域が形状モデ
   ル生成の起点となるか否かを判断し前記形状モデルの起
   点となる場合は対象物画像領域を起点としてあらかじめ
   記憶している対象物モデルを参照し起点の位置に対応し
   て大きさを変えた具体的な形状モデルを作成し形状モデ
   ルの起点とならない場合は既に作成されているどの形状
   モデルに属するのかを判断する形状モデル生成手段と、
   前記形状モデルが正しい位置に生成されているかを検証
   する形状モデル検証手段とを有することを特徴とするク
   ラスタリング装置。