WO2005048133A1

WO2005048133A1 - 画像処理方法、画像処理システム、および画像処理プログラム

Info

Publication number: WO2005048133A1
Application number: PCT/JP2004/016946
Authority: WO
Inventors: Johji Tajima
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2003-11-17
Filing date: 2004-11-15
Publication date: 2005-05-26
Anticipated expiration: 2006-05-17
Also published as: JP2007052466A

Abstract

　対象物が写った画像（２）を取得する（ステップＳ１）。この取得画像（２）を色の配置に基づき複数の領域に分割し、それぞれの領域の色をその領域の代表色に置き換えた代表色画像（４）を作成する（ステップＳ２）。代表色画像（４）を取得画像（２）とともにモニタに表示する（ステップＳ３）。利用者は取得画像（２）及び代表色画像（４）を観察し、代表色画像（４）中の対象物に対応する領域を指定する（ステップＳ４）。指定された領域を対象物領域とする（ステップＳ５）。　このようにすることにより、画像中における対象物の部分を利用者が容易に指示できるので、画像中における対象物を切り出す際の利用者の負担が軽減される。

Description

明細書

画像処理方法、画像処理システム、および画像処理プログラム

技術分野

[0001] 本発明は、画像処理方法、画像処理システム、画像処理プログラムに関する。

背景技術

[0002] 従来の画像検索では、画像全体の色の配置等の似たものを検索することが行われている。例えば、画像をオーバラップしない多数の矩形ブロックに分割し、各ブロックについて複数の優勢色を抽出し、それに基づいて画像を検索する技術がある（例えば、特開 2000-348179号公報 (文献 1)を参照)。

[0003] 取得された画像に花が写っており、その花弁の形状や色によって、検索データべースに登録されている複数種類の花の画像力似たものを検索する場合を考える。この場合には、取得された画像とデータベース画像の両者の花弁部分の色やテクスチヤに関する特徴を比較する。しかし、通常の画像には花の周りの葉や枝、あるいは背景も一緒に写りこんでいるため、画像全体を比較すると正しい検索を行なえない。このため、画像中の花の部分とその他の葉や背景の部分とを区別し、対象物である花の部分を切り出す処理が不可欠となる。

発明の開示

発明が解決しょうとする課題

[0004] 画像全体の中でどの部分が対象物の花弁であり、どの部分が葉である力、あるいは他の花であるかを自動的に認識することは、一般的には困難である。このため、利用者が花の部分を画像中で丁寧に切り出し、その部分を比較する方法が考えられる。しかし、この方法は利用者に過度な負担となる場合が多、。

[0005] このような対象物を切り出すために、クロマキ (Chroma-key)と呼ばれる技術力、従来テレビ映像の合成に利用されている。この技術は、一様な背景で対象物を撮影し、背景の色を指定し、その色に近い画素を取り除くものである。このため、一般の状況でクロマキを利用して対象物を切り出すことはできな、。課題を解決するための手段 [0006] 本発明の目的は、画像中における対象物の切り出しを行う際の利用者の負担を軽減することにある。

[0007] このような目的を達成するために、本発明の画像処理方法は、対象物の画像を取得するステップと、取得した画像を色の配置に基づき複数の領域に分割しそれぞれの領域の色をその領域の代表色に置き換えた代表色画像を作成するステップと、作成した代表色画像を表示するステップと、表示した代表色画像中の指定された領域を対象物領域とするステップとを備えることを特徴とする。

[0008] また、本発明の画像処理システムは、対象物の画像を取得する画像取得手段と、取得された画像を色の配置に基づき複数の領域に分割しそれぞれの領域の色をその領域の代表色に置き換えた代表色画像を作成する代表色画像作成手段と、作成された代表色画像を表示する画像表示手段と、表示された代表色画像の!/ヽずれかの領域を指定する領域指定手段と、前記領域指定手段により指定された領域を対象物領域とする対象物領域登録手段とを備えることを特徴とする。

[0009] また、本発明の画像処理プログラムは、対象物の画像を取得するステップと、取得した画像を色の配置に基づき複数の領域に分割しそれぞれの領域の色をその領域の代表色に置き換えた代表色画像を作成するステップと、作成した代表色画像を表示するステップと、表示した代表色画像中の指定された領域を対象物領域とするステップとをコンピュータに実行させる。

発明の効果

[0010] 本発明では、取得画像を複数の領域に分割し、それぞれの領域の色を代表色に置き換えた代表色画像を作成し、この代表色画像を表示する。これにより、画像中における対象物の部分を利用者が容易に指示できるようになる。したがって、利用者の負担を軽減して、画像中における対象物を切り出すことができる。

図面の簡単な説明

[0011] [図 1A-1C]図 1A—図 1Cは、取得画像からの代表色抽出及び対象物領域決定を説明する画像例を示す図である。

[図 2]図 2は、本発明の実施例 1の構成を示すブロック図である。

[図 3]図 3は、本発明の実施例 1の動作の流れの一例を示すフローチャートである。 [図 4]図 4は、代表色抽出方法の説明図である。

[図 5]図 5は、モニタの機能を示すブロック図である。

[図 6]図 6は、対象物領域登録手段の機能の一例を示すブロック図である。

[図 7]図 7は、本発明の実施例 1の動作の流れの他の例を示すフローチャートである。

[図 8]図 8は、対象物領域登録手段の機能の他の例を示すブロック図である。

[図 9]図 9は、対象物検索手段の構成例を示すブロック図である。

[図 10]図 10は、特徴抽出手段の構成例を示すブロック図である。

[図 11]図 11は、テクスチャ特徴計算手段の説明図である。

[図 12]図 12は、本発明の実施例 2の構成を示すブロック図である。

[図 13]図 13は、本発明の実施例 3の構成を示すブロック図である。

発明を実施するための最良の形態

[0012] 図 1A—図 1Cを参照して、本発明の基本概念を説明する。

図 1Aは、原取得画像である。ここでは原取得画像が濃淡画像で示されているが、実際には R,G,Bの各バンドに 8ビットの情報を持つカラー画像である。

利用者は、原取得画像に写っているのが何の花であるかを検索したい。しかし、そのためには花の部分を正確に切り出すことが要求される。これを利用者が行なうには、大きな労力を要する。

[0013] ここで、原取得画像に含まれる多様な色を分類し、図 1Bのように例えば 10色程度の少数の代表色で表わした代表色画像を作成できれば、花の部分を抽出することは容易となる。ここでは代表色画像が階調の少ない濃淡画像で示されているが、実際には 1つの階調で示されている部分が 1つの代表色で表わされている。例えば、領域 21は、（R1,G1,B1)=(207,130,155)、領域 22は、 (R2,G2,B2)=(226,91,120),領域 23は、（R3,G3,B3)=(229, 115,48)、領域 24は、（R4,G4,B4)=(203,59,53)の色が代表している

[0014] これらの 4つの領域 21— 24は花の部分に対応し、それ以外の代表色の領域は背景ゃ葉の領域に対応している。したがって、 4つの領域 21— 24の部分を抽出すれば、検索対象物領域である花の部分のほとんどを切り出すことができる。利用者が代表色画像を見ながらポインティングデバイスで 4つの領域 21— 24を指示することは、利用者にとっては許容できる労力であることが多、。このようにして対象物領域が切り出されれば、その部分についてデータベース力似た画像を検索することにより、望ま LV、検索結果が得られる可能性が高!、。

[0015] 本発明は、このような基本概念を実現したものである。

なお、図 1Aから図 1Bを得るような代表色抽出方法については、従来より多くの方法が開発されており、応用に応じて選択することができる。例えば日本国特許第 252 2369号公報「カラー画像の限定色表現方法及び装置」（文献 2)に記載された方法を利用することができる。

[0016] [実施例 1]

次に、図 2及び図 3を参照して、本発明の実施例 1を説明する。

例えばデジタルカメラカゝらなる画像取得手段 1により、対象物が写った画像が撮像される（図 3のステップ Sl)。この画像を取得画像 2と呼ぶ。取得画像 2は、通常、カメラ等の画像センサの赤 (R)，緑 (G)，青 (B)の各バンド毎に 8ビットの情報を持っため、色のノリエーシヨンとしては、約 1600万色の可能性が存在する。代表色画像作成手段 3は、得られた取得画像 2に対して例えば文献 2に記載された代表色抽出処理を施し、取得画像 2に含まれる色から例えば 10色程度の少数の代表色を抽出し、代表色画像 4を作成する（図 3のステップ S2)。

[0017] ここで、図 4を参照して、代表色抽出処理について説明する。図 4は、通常三次元で表わされる画像の色分布を、簡単のため二次元で表わしている。より具体的には、色空間は R,G,Bの三次元の代わりに、 R,Gの二次元で示して!/、る。

この色空間に、画像の各画素の (R,G)値をプロットする。そして、分布頻度の高い部分力クラスタ 111、 112、 113、 114として梨子地模様で表現されている。

[0018] 代表色画像作成手段 3は、この色空間を分割線 121、 122、 123で次々と二分割し、分割されたそれぞれの領域に存在する色の平均色 131、 132、 133、 134をその領域の代表色とする。分割は、何度でも繰り返すことができるが、例えば分割した結果生成される 2つの代表色の色差に閾値を設け、ある閾値以下になったときに分割を停止する。この閾値の設定値によって、上記のように 10色程度の少数の代表色を抽出することができる。さらに、取得画像 2の各画素値が含まれる領域を判断し、各画素値をその領域の代表色に置き換えることによって、代表色画像 4が得られる。

[0019] このようにして作成された代表色画像 4を取得画像 2と共にモニタ 5 (図 5の画像表示手段 51 )に表示する（図 3のステップ S 3)。

利用者は、表示された取得画像 2と代表色画像 4を観察する。対象物が花弁である場合は、利用者は代表色画像 4の花弁に含まれる代表色領域の位置 (x,y)をマウス等のポインティング手段 (領域指定手段） 6で指定する（図 3のステップ S4a)。図 IBの例では、領域 21— 24の 4つの代表色領域が花弁の部分にあたるので、利用者はこれら 4領域 21— 24のそれぞれに属するいくつかの画素を指定する。例えば、 4領域 21 一 24のそれぞれから 1つずつの画素を指定したとし、画素位置を (xl,yl), (x2,y2), (x3,y3), (x4,y4)とする。対象物領域登録手段 7は、例えば、抽出する対象物の画素には' 1 '、それ以外の画素には' 0 'の値を持つ対象物領域画像 8を作成する（図 3のステップ S 5a)。

[0020] 具体的には、次のようにして対象物領域画像 8を作成する。

まず、図 6の代表色検出手段 71により代表色画像 4を参照し、上記の指定された画素位置 (xi,yi)(i=l,2,3,4)の代表色 (Ri,Gi,Bi)(i=l,2,3,4)を検出する（図 3のステップ S51 )。代表色が異なる画素位置が指定された場合には、それぞれの画素位置に応じた複数の代表色が検出されることになる。次に、図 6の画素検出手段 72により、代表色画像 4の各画素値を調べ、画素値が代表色検出手段 71により検出された代表色のいずれかと一致する画素を検出する（図 3のステップ S52)。そして、図 6の対象物領域決定手段 73により、検出された画素からなる領域を対象物領域とし、対象物領域画像 8の対応する画素領域に ' 1 'を書き込み、それ以外の画素領域には' 0'を書き込む（図 3のステップ S53)。図 IBの例についてこの処理を実行し、 ' 1，の部分を灰色、 '0'の部分を黒色とした対象物領域画像 8を図 1Cに示した。なお、画素値が代表色検出手段 71により検出された代表色と完全に一致する画素だけでなぐ所定範囲内の画素の領域を対象物領域に含めてもよい。

[0021] 対象物検索手段 9は、対象物領域画像 8の画素値が ' 1 'である対象物領域のみの取得画像 2における特徴、例えば色 ·テクスチャ等の特徴を、登録されている種々の対象物の特徴と比較し、画像検索を実行する（図 3のステップ S6)。最後に、検索結果をモニタ 5 (図 5の検索結果表示手段 52)に表示する（図 3のステップ S 7)。

[0022] なお、ここでは利用者が対象物に対応する代表色領域をポインティング手段 6で指示する例を示したが、利用者が代表色領域を容易に指示できればよい。例えば、モニタ 5の画面の端の部分に、抽出された代表色をその番号と共に表示し、利用者が画面上で対象物があると考える領域の色を見ながら、対応する代表色の番号をキーで入力するようにしてもよい。このようにしても、代表色が 10色程度であれば、利用者は必要な代表色領域の番号を容易に指示できる。また、本発明を実装するシステムがポインティング手段 6を持たな、場合にも、同様の機能を実現できる。

[0023] 番号により代表色を指定する場合には（図 7のステップ S4b)、次のようにして対象物領域画像 8を作成する（図 7のステップ S5b)。まず、図 8の画素検出手段 76により、画素値が指定代表色のいずれかと一致する画素を検出する（図 7のステップ S56) 。そして、図 8の対象物領域決定手段 77により、検出された画素からなる領域を対象物領域とし、対象物領域画像 8を作成する（図 7のステップ S57)。

[0024] 対象物検索手段 9は、応用によりとる構成が異なるが、上記に示した花の検索を例とし、その構成例を図 9を参照して説明する。対象物検索手段 9は、特徴抽出手段 9 1、特徴格納手段 92、特徴比較手段 93からなる。特徴抽出手段 91は、取得画像 2の全画素のうち、対象物領域画像 8で画素値が "1 "となり対象物領域とされている画素について、画像特徴を抽出する（図 3のステップ S61)。特徴格納手段 92には、対象物を学習する際に同様にして抽出された花 (物体)の種類毎の画像特徴が格納されている。例えば、 "菊"、 "椿"等、少なくとも 1つの花 (物体)の画像特徴が格納されている。特徴格納手段 92に格納されている画像特徴を参照データと呼ぶ。特徴比較手段 93は、特徴抽出手段 91により得られた画像特徴を、特徴格納手段 92に格納されて、る参照データと比較し、最も近、参照データに写って、る花 (物体)を検索結果として出力する（図 3のステップ S62)。

[0025] 画像特徴は、応用に応じて最適なものを選べばよい。例として、図 10を参照して、花の検索に色とテクスチャの特徴を利用する場合の特徴抽出手段 91の構成例を説明する。取得画像 2は、まず、サイズ正規ィ匕手段 911により拡大 '縮小され、画像中の花の部分の大きさが予め定められた大きさになるように正規ィ匕される。花の部分の縦

'横の大きさは、対象物領域画像 8の輪郭の座標を調べ、その限界値を調べることにより可能である。続いて、輝度正規化手段 912が、撮影時の花の部分の輝度を正規化する。例えば、画像の対象物領域画像 8の画素が' 1 'の部分について、取得画像 2の (R,G,B)値を調べ、最大の値を RGBmaxとすると、式 (1)のようにこの最大値 RGBmaxで各 (R,G,B)値を正規化する。 2つの正規化が行なわれた画像を正規化画像 913とする。ここでは、 R',G',B'の値は、 8ビットの整数で表わされるとしている。

[0026] [数 1]

[0027] 正規ィ匕画像 913に対して、 2つの特徴が計算される。累積カラーヒストグラム計算手段 914は、 R',G',B'のそれぞれに対して累積ヒストグラムを計算する。例えば、 R'に関する累積ヒストグラム！; (R〃)は、対象物領域画像 8で画素値が' 1 'であり、正規化画像 913における R'の値が R"以下の画素の総数である。同様に G',B'に対しての累積ヒストグラム f (G"),f (B")も計算する。

g b

[0028] また、テクスチャ特徴計算手段 915は、 R',G',B'から例えば式 (2)のように計算される明度 Y'の画像に対して、離散フーリエ変換を行ない、各波数に対するパワーを計算する。

Y'=0.30R'+0.59G'+0.11B' (2)

この波数平面を図 11に模式的に示す。図 11において、黒丸で示した位置がパヮ一を計算する各波数 (kx,ky)を示している。得られるパワーを、直流成分 9151を中心に、同心円状に複数の領域 9152, 9153に分割する。そして、それぞれの領域に含まれる波数のパワーを加算し、式 (3)により波数の絶対値 kを求め、この波数 kに関するパワー p(k)をテクスチャ特徴量とする。これは、花の撮像方向は花の向きに対して一定にできないため、撮像方向による変動を吸収するためである。

[0029] [数 2] k( = V kx² +ky²) (3) [0030] 以上のように、特徴抽出手段 91により、累積ヒストグラム f(R"),f (G"),f (B")及びパヮ r g b

一 p(k)の 4つの特徴が計算される。

実際の検索の準備段階で、多くの花の画像について同様の特徴抽出が行われ、得られた抽出結果が参照データとして特徴格納手段 92に予め格納される。

[0031] 特徴比較手段 93は、対象物である花の取得画像 2から特徴抽出手段 91によって計算された 4つの特徴を、特徴格納手段 92に格納されている参照データと比較する。例えば、参照データである"菊"に対する上記の 4つの特徴量を f (R"),f (G"),f rl gl bl

(Β' ,ρ (k)、 "椿"に対する上記の 4つの特徴を f (R"),f (G"),f (Β' ,ρ (k)とすると、 i=l,2

1 r2 g2 b2 2 につ、て式 (4)のようにユークリッド距離の二乗を計算する。

[0032] [数 3]

Dj =∑( f_r ")- , i ")) ² +∑( f_g(^G )- igi^(G"))²

R" G"

+ ∑( f_b(Bつ - f_bi (B")) ² + ∑( p (k) - _Pi (k) ) 2 (4) B"

[0033] Dが Dより小さければ、取得画像 2は"椿"よりも"菊"に近いことになる。特徴格納

1 2

手段 92に N種類の花に関する特徴力もなる参照データが格納されていれば、 Dが最小の値をとる花の名前が取得画像 2の花の種類として検索される。あるいは、 Dの値が予め定められた閾値より小さい花の種類をすベて検索結果としてもよい。

[0034] 特徴比較手段 93の行なう処理は、従来知られている特徴空間におけるパターン認識処理である。上述したカラー累積ヒストグラムとフーリエパワーを検索のための特徴とすること、式 (4)に示したように検索結果の判断にユークリッド距離を利用すること等は、まず選択される実現方法の一つであるので、例として示した。しかし、この他の特徴を利用することや、ユークリッド距離の代わりにマハラノビス距離等、さらに複雑な距離を使うことにより、検索を高度化することも可能である。

[0035] 以上のように、本実施例によれば、取得画像 2に代表色抽出処理を施して代表色画像 4を作成し、この代表色画像 4を利用者に提示する。これにより、取得画像 2中における対象物の部分を利用者が容易に指示できるようになる。したがって、利用者の負担を軽減して、取得画像 2中における対象物の部分を切り出すことが可能となる。また、利用者が指示した対象物の部分について画像特徴を計算し、この特徴を比較することにより、対象物の検索を行う。これにより、従来対象物の切り出しが困難であつたため実用化しにくかった画像内の対象物の検索を、実用化することが可能となる。

[0036] [実施例 2]

次に、本発明の実施例 2を図 12を参照して説明する。実施例 1では、画像の取得と画像の検索は、ひとつながりのシステムであるように記述した。これに対し、実施例 2 では、画像取得は、携帯できるカメラシステムと通信手段力もなるシステム、あるいはカメラ付きの携帯電話のようなシステムで行なわれ、画像の処理及び検索は、サーバコンピュータのような固定したシステムで行なわれる。

[0037] 利用者は、端末部 100を利用する。検索したい対象物を画像取得手段 1によって撮像し、取得画像 2を得る。この取得画像 2をモニタ 5で確認し、通信手段 101を介して処理部 200へ送信する。

[0038] 処理部 200では、通信手段 201を介して取得画像 2を受信する。代表色画像作成手段 3は、第 1の実施例と同様に、取得画像 2に対して代表色抽出を行ない、代表色画像 4を作成する。代表色画像 4は、通信手段 201を介して端末部 100に送られる。

[0039] 端末部 100では、通信手段 101を介して受信された代表色画像 4が、モニタ 5に表示される。利用者は、モニタ 5を観察しながらポインティング手段 6を用いて、代表色画像 4中の検索すべき対象物領域の位置 (xi,yi)を、それぞれ少なくとも 1画素ずつ指定する。対象物領域指定手段 102は、この位置情報を通信手段 101を介して処理部 200に送信する。

[0040] 処理部 200では、この位置情報を通信手段 201を介して得る。対象物領域登録手段 7が、この位置情報から代表色画像 4を参照し、対象物に対応する代表色

(Ri,Gi,Bi)を得、続いて代表色画像 4の各画素値を調べ、画素値が対象物に対応する代表色のいずれかに一致する場合には対象物領域画像 8の対応する画素に' 1 ' を書き込み、一致しない場合には' 0'を書き込む。このようにして、対象物領域画像 8 を得る。対象物検索手段 9は、実施例 1と同様に、対象物領域画像 8の画素値が' 1 ' である対象物領域のみ取得画像 2から色 ·テクスチャ等の特徴を抽出し、複数の対象物の参照データと比較し、検索を実行する。検索結果は、通信手段 201を介して端末部 100に送られる。

[0041] そして、端末部 100では、通信手段 101を介して受信された検索結果を検索結果表示手段 103に送る。検索結果表示手段 103は、検索された対象物の名前等をモニタ 5に表示する。

[0042] これにより、カメラ付きの携帯端末や携帯電話により画像を取得した利用者が、取得画像をサーバに送り、サーバで高度な画像検索処理を行ない、検索結果を端末に送って利用者に知らせるシステムを構成することができる。

[0043] 本実施例は、実施例 1と比較して通信手段 101, 201が必要であり、また、同じ取得画像 2や代表色画像 4を端末部 100と処理部 200の両方で保持する必要があるため、冗長であるように見える。

端末部 100は通常、携帯電話や携帯端末であり、省電力型で処理能力が低いコンピュータを搭載していることが多い。本発明で行う代表色抽出処理や特徴抽出処理は処理量が大きいため、端末部 100の処理能力の低いコンピュータでは、高性能な処理を高速に実行することが困難である場合がある。このため、本実施例では、端末部 100にお、て画像取得と対象物領域指定のための簡単な処理のみを行な!/、、負

ヽ処理を処理部 200で実行することとし、高性能な処理を高速に実行することを可能とした。

[0044] [実施例 3]

次に、本発明の実施例 3を図 13を参照して説明する。なお、図 13では、図 2に示した構成要素と同一の構成要素について、図 2と同一符号で示している。

本発明の実施例 3は、プログラム制御により動作するコンピュータ 300と、画像取得手段 1と、モニタ 5と、ポインティング手段 6とから構成されている。コンピュータ 300は更に、演算処理部 301と記憶部 302とインタフース部 (IZF) 303— 303とがバス

1 4

304に接続された構成をしている。 I/F303， 303， 303は、コンピュータ 110の外

1 2 3

部装置である画像取得手段 1、モニタ 5、ポインティング手段 6のインタフェースである

[0045] コンピュータ 300の動作を制御する画像処理プログラム 305は、光'磁気ディスク、半導体メモリその他の記録媒体 306に記録された状態で提供される。この記録媒体 3 06を IZF303に接続すると、演算処理部 301が記録媒体 306に書き込まれた画像

4

処理プログラム 305を読み出し、記憶部 302に格納する。その後、演算処理部 301 が記憶部 302に格納された画像処理プログラム 305を実行し、図 2及び図 12に示した代表色画像作成手段 3、対象物領域登録手段 7、対象物検索手段 9を実現する。なお、画像処理プログラム 305は、インターネットなどのデータ通信網を介して提供されてちょい。

Claims

請求の範囲

[1] 対象物の画像を取得するステップと、

取得した画像を色の配置に基づき複数の領域に分割しそれぞれの領域の色をその領域の代表色に置き換えた代表色画像を作成するステップと、

作成した代表色画像を表示するステップと、

表示した代表色画像中の指定された領域を対象物領域とするステップとを備えることを特徴とする画像処理方法。

[2] 請求項 1に記載の画像処理方法において、

指定された領域を対象物領域とするステップは、

代表色画像中における指定された位置の画素の代表色を検出するステップと、検出した代表色と略同一の代表色の画素を代表色画像から検出するステップと、検出された画素を含む領域を対象物領域とするステップと

を備えることを特徴とする画像処理方法。

[3] 請求項 1に記載の画像処理方法において、

指定された領域を対象物領域とするステップは、

指定された代表色の画素を代表色画像から検出するステップと、

検出された画素を含む領域を対象物領域とするステップと

を備えることを特徴とする画像処理方法。

[4] 請求項 1に記載の画像処理方法において、

取得した画像における対象物領域内の画像特徴を利用して対象物を検索するステップを更に備えることを特徴とする画像処理方法。

[5] 請求項 4に記載の画像処理方法において、

対象物を検索するステップは、

取得した画像における対象物領域内の画像特徴を抽出するステップと、抽出した画像特徴と少なくとも 1つの物体の画像特徴からなる参照データとを比較し、その比較結果に基づき対象物がどの物体かを決定するステップと

を備えることを特徴とする画像処理方法。

[6] 請求項 4に記載の画像処理方法において、画像特徴は、対象物の色特徴及びテクスチャ特徴の少なくとも 1つであることを特徴とする画像処理方法。

[7] 対象物の画像を取得する画像取得手段と、

取得された画像を色の配置に基づき複数の領域に分割しそれぞれの領域の色をその領域の代表色に置き換えた代表色画像を作成する代表色画像作成手段と、作成された代表色画像を表示する画像表示手段と、

表示された代表色画像のいずれかの領域を指定する領域指定手段と、前記領域指定手段により指定された領域を対象物領域とする対象物領域登録手段と

を備えることを特徴とする画像処理システム。

[8] 請求項 7に記載の画像処理システムにお、て、

前記領域指定手段は、代表色画像中の位置により領域を指定する手段であり、前記対象物領域登録手段は、

前記領域指定手段により指定された位置の画素の代表色を検出する代表色検出手段と、

検出された代表色と略同一の代表色の画素を代表色画像から検出する画素検出手段と、

検出された画素を含む領域を対象物領域とする対象物領域決定手段とを備えることを特徴とする画像処理システム。

[9] 請求項 7に記載の画像処理システムにお、て、

前記領域指定手段は、代表色により領域を指定する手段であり、

前記対象物領域登録手段は、

前記領域指定手段により指定された代表色の画素を代表色画像から検出する画素検出手段と、

[10] 請求項 7に記載の画像処理システムにおヽて、

前記画像取得手段により取得された画像における対象物領域内の画像特徴を利用して対象物を検索する対象物検索手段を更に備えることを特徴とする画像処理システム。

[11] 請求項 10に記載の画像処理システムにおいて、

前記対象物検索手段は、

前記画像取得手段により取得された画像における対象物領域内の画像特徴を抽出する特徴抽出手段と、

少なくとも 1つの物体の画像特徴を格納する特徴格納手段と、

前記特徴抽出手段により抽出された画像特徴と前記特徴格納手段に格納されている画像特徴とを比較し、その比較結果に基づき対象物がどの物体かを決定する特徴比較手段と

を備えることを特徴とする画像処理システム。

[12] 請求項 10に記載の画像処理システムにおいて、

画像特徴は、対象物の色特徴及びテクスチャ特徴の少なくとも 1つであることを特徴とする画像処理システム。

[13] 請求項 10に記載の画像処理システムにおいて、

対象物の検索結果を表示する検索結果表示手段を更に備えることを特徴とする画像処理システム。

[14] 請求項 13に記載の画像処理システムにおいて、

前記画像取得手段と、前記画像表示手段と、前記領域指定手段と、前記検索結果表示手段とを備える端末部と、

前記代表色画像作成手段と、前記対象物領域登録手段と、前記対象物検索手段とを有する処理部とを備え、

前記端末部及び前記処理部は、相互に通信する通信手段を備えることを特徴とする画像処理システム。

[15] 対象物の画像を取得するステップと、

作成した代表色画像を表示するステップと、表示した代表色画像中の指定された領域を対象物領域とするステップとをコンピュータに実行させるための画像処理プログラム。

[16] 請求項 15に記載の画像処理プログラムにおいて、

指定された領域を対象物領域とするステップとして、

をコンピュータに実行させるための画像処理プログラム。

[17] 請求項 15に記載の画像処理プログラムにおいて、

指定された領域を対象物領域とするステップとして、

検出された画素を含む領域を対象物領域とするステップと

をコンピュータに実行させるための画像処理プログラム。

[18] 請求項 15に記載の画像処理プログラムにおいて、

取得した画像における対象物領域内の画像特徴を利用して対象物を検索するステップを更にコンピュータに実行させるための画像処理プログラム。

[19] 請求項 18に記載の画像処理プログラムにおいて、

対象物を検索するステップとして、

をコンピュータに実行させるための画像処理プログラム。

[20] 請求項 18に記載の画像処理プログラムにおいて、

画像特徴は、対象物の色特徴及びテクスチャ特徴の少なくとも 1つである画像処理プログラム。