JP2003067764A

JP2003067764A - 画像処理方法及び装置と、画像検索方法及び装置と、画像処理プログラム及びそのプログラムの記録媒体と、画像検索プログラム及びそのプログラムの記録媒体

Info

Publication number: JP2003067764A
Application number: JP2001252373A
Authority: JP
Inventors: Seiichi Konya; 精一紺谷
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 2001-08-23
Filing date: 2001-08-23
Publication date: 2003-03-07

Abstract

(57)【要約】【課題】本発明は、はずれ値や色ずれに強い色情報を画
像の特徴量として抽出できるようにし、それを使って必
要な画像部分を正確かつ簡単に取り出せるようにし、そ
れを使って画像を高精度に検索できるようにすることを
目的とする。【解決手段】処理対象の画像から、過半数のピクセルと
の色の差を最小にする色を代表色として抽出する。そし
て、その代表色に従って、処理対象の画像を構成する各
ピクセルを分類し、その分類に従って処理対象の画像を
領域化する。また、処理対象の画像を分割し、分割した
画像部分毎に代表色を抽出して、それらの代表色に従っ
て、処理対象の画像を構成する各ピクセルを分類し、そ
の分類に従って処理対象の画像を領域化して、類似する
代表色を持つ領域を統合することで、処理対象の画像か
ら必要な画像部分を取り出す。また、その代表色を使っ
て、画像間の類似性を比較することで画像の検索を行
う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の特徴量とな
る色情報を抽出したり、その抽出した色情報を使って必
要な画像部分を取り出す画像処理方法及び装置と、その
抽出した色情報を使って画像を検索する画像検索方法及
び装置と、その画像処理方法の実現に用いられる画像処
理プログラム及びそのプログラムの記録媒体と、その画
像検索方法の実現に用いられる画像検索プログラム及び
そのプログラムの記録媒体とに関する。

【０００２】

【従来の技術】画像の内容を検索する方法として、画像
から色情報を抽出して、類似した色の画像を検索すると
いう方法がある。

【０００３】画像から色情報を抽出する従来技術として
は、例えば、色の平均値を算出したり、色のヒストグラ
ムを作成する、といった方法がある。

【０００４】色の平均値は、画像のピクセルｉ（ｉ＝１
〜Ｎ）の色をｃ_iとすると、＜ｃ＞＝（１／Ｎ）×Σｃ_i 但し、Σはｉについて
の総和として計算される。

【０００５】この色の平均値を用いて画像を検索する場
合には、色の平均値の近い画像を類似画像と判定する。

【０００６】すなわち、図２１に示すように、画像１
（赤色），画像２（緑色），画像３（青色），画像４
（橙色）の色の平均値が各々０，８５，１７０，２０と
求められている場合には、画像４から見て、画像１が最
も似ていて、画像３が最も似ていないと判定する。

【０００７】一方、画像の色の値の範囲が０≦ｃ_i≦Ｃ
で、ヒストグラムのサイズをＨとするならば、色のヒス
トグラムｈ_j（ｊ＝１〜Ｈ）は、

【０００８】

【数１】

【０００９】として作成される。

【００１０】この色のヒストグラムを用いて画像を検索
する場合には、ヒストグラムｈ¹とｈ²との差Δ_h

【００１１】

【数２】

【００１２】を求めて、この値の小さいものを類似画像
と判定する。

【００１３】すなわち、画像１，２，３のヒストグラム
が図２２に示すように作成されている場合には、画像２
から見て、画像１は似ていて、画像３は似ていないと判
定する。

【００１４】

【発明が解決しようとする課題】しかしながら、このよ
うな従来技術に従っていると、それぞれ次のような問題
点がある。

【００１５】（１）色の平均値を用いる場合の問題点色の平均値は、はずれ値に弱く、これから、全く異なる
色を持つ画像を類似する画像として判定する場合があ
る。

【００１６】例えば、図２３に示すように、複数の異な
る色が含まれるような画像では、その平均値が画像に含
まれるどの色とも異なる値になり、全く異なる色を持つ
画像を類似する画像として判定する場合がある。

【００１７】（２）色のヒストグラムを用いる場合の問
題点色のヒストグラムは、色ずれに弱く、これから、似てい
る画像を全然似ていないと判定したり、逆に、似ていな
い画像を非常に似ていると判定する場合がある。

【００１８】すなわち、図２４に示すように、色を区間
に振り分ける際に、区間の境界目付近の色が別の区間に
振り分けられることがある。これから、図２５に示すよ
うに、画像２と画像３とでは、わずかの色の違いで全て
の色が別の空間に振り分けられてしまい、非常に似てい
るのに全然似ていないと判定しまうことがある。逆に、
画像１と画像２とでは、それほど似ていないのに非常に
似ていると判定しまうことがある。

【００１９】本発明はかかる事情に鑑みてなされたもの
であって、はずれ値や色ずれに強い色情報を画像の特徴
量として抽出できるようにする新たな画像処理技術の提
供と、その色情報を使って必要な画像部分を正確かつ簡
単に取り出せるようにする新たな画像処理技術の提供
と、その色情報を使って画像を高精度に検索できるよう
にする新たな画像検索技術の提供を目的とする。

【００２０】

【課題を解決するための手段】この目的を達成するため
に、本発明では、処理対象の画像を構成する各ピクセ
ルの色を使って、過半数のピクセルとの色の差を最小に
する色を抽出して、その色を処理対象の画像の代表色と
し、代表色と処理対象の画像を構成する各ピクセルの
色との差を比較して、処理対象の画像を構成する各ピク
セルを、代表色に所属するピクセルと、代表色に所属し
ないピクセルとに分類し、分類したピクセルを領域化
するように処理する。

【００２１】このとき、代表色に所属しないピクセル部
分を新たな処理対象として、代表色を抽出することをＮ
回（Ｎは１以上の整数）繰り返すことで、２つ以上の代
表色を抽出するように処理することがある。

【００２２】そして、このとき、処理対象の画像を分割
して、その分割した画像部分毎に、１つ又は複数の代表
色を抽出するように処理することがある。

【００２３】このように構成される本発明では、処理対
象の画像（１枚の画像の全体のこともあるし、その中に
含まれる任意の画像部分のこともある）から、過半数の
ピクセルとの色の差を最小にする色を代表色として抽出
する。そして、その代表色に従って、処理対象の画像を
構成する各ピクセルを分類し、その分類に従って、処理
対象の画像を領域化する。

【００２４】過半数のピクセルとの色の差を最小にする
色として抽出される代表色は、画像の持つ色の特徴を適
切に示しており、これから、本発明によれば、画像の持
つ色の特徴量として、はずれ値や色ずれに強い色情報を
抽出できるようになる。

【００２５】そして、本発明では、この代表色の抽出に
あたって、処理対象の画像から複数の代表色を抽出する
ことから、より正確な画像の色情報を抽出できるように
なる。

【００２６】そして、本発明では、この代表色の抽出に
あたって、処理対象の画像を分割して、その分割した画
像部分毎に代表色を抽出することから、画像の配色や色
の構図の情報を取得できるようになる。

【００２７】そして、本発明では、この代表色を使って
画像の持つ領域を抽出することから、画像の持つ領域を
適切に抽出できるようになる。

【００２８】また、この目的を達成するために、本発明
では、処理対象の画像から特定の画像部分を切り出
し、切り出した画像部分を構成する各ピクセルの色を
使って、過半数のピクセルとの色の差を最小にする色を
抽出して、その色をその画像部分の代表色とし、代表
色と処理対象の画像を構成する各ピクセルの色との差を
比較して、処理対象の画像を構成する各ピクセルを、代
表色に所属するピクセルと、代表色に所属しないピクセ
ルとに分類し、分類したピクセルを領域化すること
で、処理対象の画像から必要な画像部分を取り出すよう
に処理する。

【００２９】このように構成される本発明では、処理対
象の画像から特定の画像部分（例えば、画像の四隅部
分）を切り出して、その切り出した部分の代表色を抽出
する。そして、その代表色に従って、処理対象の画像を
構成する各ピクセルを分類し、その分類に従って、処理
対象の画像から必要な画像部分を取り出す。

【００３０】このようにして、本発明では、特定の画像
部分の代表色を抽出し、それを使って処理対象の画像を
領域化することで、処理対象の画像から必要な画像部分
を取り出すことから、必要な画像部分を正確かつ簡単に
取り出せるようになる。

【００３１】また、この目的を達成するために、本発明
では、処理対象の画像を分割し、分割した画像部分
毎に、その画像部分を構成する各ピクセルの色を使っ
て、過半数のピクセルとの色の差を最小にする色を抽出
して、その色をその画像部分の代表色とし、分割した
画像部分毎に、代表色とその画像部分を構成する各ピク
セルの色との差を比較して、その画像部分を構成する各
ピクセルを、代表色に所属するピクセルと、代表色に所
属しないピクセルとに分類し、分類したピクセルを領
域化して、類似する代表色を持つ領域を統合すること
で、処理対象の画像から必要な画像部分を取り出すよう
に処理する。

【００３２】このとき、代表色に所属しないピクセル部
分を新たな処理対象として、代表色を抽出することをＮ
回（Ｎは１以上の整数）繰り返すことで、２つ以上の代
表色を抽出して、それに応じた領域化を行うことで必要
な画像部分を取り出すように処理することがある。

【００３３】このように構成される本発明では、処理対
象の画像を予め指定された様式に分割して、分割した画
像部分毎に、代表色（１つだけ抽出することもあるし、
複数抽出することもある）を抽出する。そして、それら
の代表色に従って、処理対象の画像を構成する各ピクセ
ルを分類し、その分類に従って、処理対象の画像を領域
化して、類似する代表色を持つ領域を統合することで、
処理対象の画像から必要な画像部分を取り出す。

【００３４】このようにして、本発明では、分割された
画像部分毎に１つ又は複数の代表色を抽出し、それを使
って画像を領域に分割してそれらを統合することで、処
理対象の画像から必要な画像部分を取り出すことから、
必要な画像部分を正確かつ簡単に取り出せるようにな
る。

【００３５】また、この目的を達成するために、本発明
では、蓄積画像毎に、その蓄積画像から、処理対象の
画像部分を構成する過半数のピクセルとの色の差を最小
にする色として定義される１つ又は複数の代表色を抽出
することで、その蓄積画像の持つ１つ又は複数の代表色
を検出して、それを蓄積画像と対応をとりつつ蓄積手段
に保存し、指定される画像から、処理対象の画像部分
を構成する過半数のピクセルとの色の差を最小にする色
として定義される１つ又は複数の代表色を抽出すること
で、指定される画像の持つ１つ又は複数の領域の代表色
を検出し、検出した指定される画像の持つ１つ又は複
数の代表色と、蓄積手段に保存される蓄積画像の持つ１
つ又は複数の代表色とを比較することで、蓄積画像の中
から指定される画像に類似する画像を検索するように処
理する。

【００３６】このように構成される本発明では、蓄積画
像の持つ１つ又は複数の代表色と、指定される画像の持
つ１つ又は複数の代表色とを比較することで、指定され
る画像に類似する蓄積画像を検索する。

【００３７】このとき、代表色を比較することに加え
て、代表色を持つ領域の位置を比較することで、指定さ
れる画像に類似する蓄積画像の検索を行うことがある。

【００３８】このようにして、本発明では、画像の適切
な特徴量となる代表色を使って、指定される画像に類似
する蓄積画像を検索することから、指定される画像に類
似する蓄積画像を高精度に検索できるようになる。

【００３９】そして、本発明では、この検索にあたっ
て、代表色を持つ領域の位置を比較することから、指定
される画像に類似する蓄積画像を高精度に検索できるよ
うになる。

【００４０】

【発明の実施の形態】以下、実施の形態に従って本発明
を詳細に説明する。

【００４１】図１に、本発明を具備する画像検索装置１
の一実施形態例を図示する。

【００４２】この図に示すように、本発明を具備する画
像検索装置１は、ディジタルカメラやファイルやネット
ワークなどから画像を入力する画像入力手段１０と、画
像入力手段１０の入力する画像から、それが持つ色の特
徴量となる代表色を抽出するとともに、その抽出した代
表色を使って、その入力する画像の持つ領域を抽出する
特徴量抽出手段１１と、画像入力手段１０から入力され
る蓄積画像を保存するとともに、それらの蓄積画像と対
応をとりつつ、特徴量抽出手段１１により抽出される蓄
積画像の代表色などの情報（その代表色を持つ領域の位
置情報）を保存する蓄積画像データベース１２と、画像
入力手段１０が検索キーとなる入力画像を入力するとき
に、特徴量抽出手段１１により抽出されるその入力画像
の代表色などの情報（その代表色を持つ領域の位置情
報）を使って、蓄積画像データベース１２に保存される
蓄積画像の中から、その入力画像に類似するものを検索
して出力する画像検索手段１３とを備える。

【００４３】この特徴量抽出手段１１は、後述すること
から分かるように、画像入力手段１０の入力する画像を
予め指定された様式に分割する処理を行う画像分割機能
と、画像の特徴量として、過半数のピクセルとの色の差
を最小にする色を代表色として抽出する処理を行う代表
色抽出機能と、代表色を持つ連結したピクセルを領域化
したり、類似する色の領域を統合する処理を行う領域生
成機能を備える。

【００４４】ここで、本発明を実現すべく用意される画
像入力手段１０／特徴量抽出手段１１／画像検索手段１
３は、具体的にはコンピュータプログラムで実現される
ものであり、これらのコンピュータプログラムは、計算
機が読み取り可能な半導体メモリなどの適当な記録媒体
に格納することができる。

【００４５】図２に、特徴量抽出手段１１の実行する処
理フローの一実施形態例を図示する。次に、この処理フ
ローに従って、本発明について詳細に説明する。

【００４６】特徴量抽出手段１１は、この処理フローに
従う場合には、画像入力手段１０が入力した画像を受け
取ると、先ず最初に、ステップ１で、例えば、annealin
g Ｍ-estimator（ref. p.89,"Markov Random Field Mod
eling in Computer Vision,"Springer,ISBN 4-431-7014
5-1 ）を使って、入力した画像の代表色を求める。

【００４７】このannealing Ｍ-estimatorでは、ピクセ
ルｉの色をｄ_iとすると、図３の処理フローに示すよう
に、先ず最初に、ステップ１で、繰り返し回数Ｔ，パラ
メータα（０＜α＜１），パラメータγ（充分大きな
値）を選び、続くステップ２で、ｆ^(t)の初期値（ｔ＝
０）としてピクセルの色の平均値を算出する。続いて、
ステップ３で、ｔを１つインクリメントするとともに、
γをαγに更新し、続くステップ４で、図中に示す算出
式に従ってｆ^(t)を算出する。続いて、ステップ５で、
ｔがＴを超えたのか否かを判断して、超えていない場合
には、ステップ３に戻り、超えた場合には、ステップ６
に進んで、ｆ^(t)を代表値（代表色）として出力する。

【００４８】annealing Ｍ-estimatorでは、図４に示す
ように、中心と窓の幅の初期値を設定すると、与えられ
た幅と中心の窓をかけて平均を取り、中心を平均値に更
新して、窓の幅を狭めていくことを繰り返していく。こ
れにより、図５の上段に示すような画像が与えられる
と、図６に示すような形で中心と幅を更新していくこと
を繰り返していくことで、図５の下段に示すように、過
半数のピクセルとの色の差を最小にする色を代表色とし
て抽出するように処理するのである。

【００４９】このようにして、図２の処理フローのステ
ップ１で、annealing Ｍ-estimatorを使って入力した画
像の代表色を求めると、続いて、ステップ２で、その代
表色を使って、入力した画像の持つ各ピクセルを代表色
に所属するものと、代表色に所属しないものとに分類す
る。

【００５０】例えば、判別分析法（ref. p.503,"画像解
析ハンドブック,"東京大学出版会,ISBN 4-13-061107-0)
を使って、入力した画像の持つ各ピクセルを代表色に所
属するものと、代表色に所属しないものとに分類するの
である。

【００５１】この判別分析法では、ピクセルｉの色と代
表色との距離ｌ_i

【００５２】

【数３】

【００５３】とすると、ピクセルｉ（ｉ＝１〜Ｎ）を、代表色：Ｓ₀＝｛ｉ｜ｌ_i＜ｋ^*｝その他：Ｓ₁＝｛ｉ｜ｌ_i＞＝ｋ^*｝に分割する閾値ｋ^*を、ｋ^*＝argmin｛σ² _B(k) ｝として求めることになる。

【００５４】ここで、 σ² _B(k) ＝｜Ｓ₀｜（μ₀−μ_T)²＋｜Ｓ₁｜（μ₁
−μ_T)² であり、｜Ｓ_i｜はＳ_iの要素数、μ_Tとμ_jは、

【００５５】

【数４】

【００５６】である。

【００５７】このようにして、図２の処理フローのステ
ップ２で、入力した画像の持つ各ピクセルを代表色に所
属するものと、代表色に所属しないものとに分類する
と、続いて、ステップ３で、同一色に所属する連結した
ピクセルを領域化することで、代表色に所属するものと
して分類したピクセルを領域化するとともに、代表色に
所属しないものとして分類したピクセルを領域化する。

【００５８】続いて、ステップ４で、代表色の領域が入
力した画像のどの位置にあるのかを示す情報を生成す
る。例えば、上側部分に存在するとか、下側部分に存在
するとか、右側部分に存在するとか、左側部分に存在す
るとかいったような代表色の領域の位置情報を生成する
のである。

【００５９】続いて、ステップ５で、蓄積画像データベ
ース１２への蓄積画像の登録モードが設定されているこ
とで、入力した画像が蓄積画像データベース１２へ登録
する蓄積画像であるのか否かを判断して、入力した画像
が蓄積画像であることを判断するときには、ステップ６
に進んで、入力した画像と、その画像の代表色と、その
代表色の領域の位置情報とを蓄積情報として、蓄積画像
データベース１２へ登録して、処理を終了する。

【００６０】一方、ステップ５で、入力した画像が蓄積
画像でないことを判断するとき、すなわち、入力した画
像が検索キーとなる入力画像であることを判断するとき
には、ステップ７に進んで、入力した画像の代表色と、
その代表色の領域の位置情報とを検索情報として指定し
て、画像検索手段１３に対して検索要求を発行して、処
理を終了する。

【００６１】この検索要求を受けて、画像検索手段１３
は、蓄積画像データベース１２に蓄積されている蓄積画
像の中から、入力画像に類似するものを検索して出力す
ることになるが、この処理については後述する。

【００６２】このようにして、特徴量抽出手段１１は、
入力した画像の持つ過半数のピクセルとの色の差を最小
にする色を、その入力した画像の特徴量となる代表色と
して抽出するとともに、その代表色の領域を抽出（生
成）するように処理するのである。

【００６３】このようにして抽出される代表色は、画像
の色情報の特徴を適切に表しており、図７に示すよう
に、例えば、青の面積が過半数を占めるような画像の色
情報の特徴を適切に表すことになる。

【００６４】したがって、図２３に示したような従来技
術の持つ問題点は発生することがない。

【００６５】図８に、特徴量抽出手段１１の実行する処
理フローの他の実施形態例を図示する。

【００６６】特徴量抽出手段１１は、この処理フローに
従う場合には、画像入力手段１０が入力した画像の中か
ら、複数の代表色を抽出する処理を行うことになる。

【００６７】すなわち、特徴量抽出手段１１は、この処
理フローに従う場合には、画像入力手段１０が入力した
画像を受け取ると、先ず最初に、ステップ１で、入力し
た画像全体を処理対象として設定する。

【００６８】続いて、ステップ２で、例えば、上述した
annealing Ｍ-estimatorを使って、処理対象の画像の代
表色を求め、続くステップ３で、例えば、上述した判別
分析法を使って、その代表色を使って、処理対象の画像
の持つ各ピクセルを代表色に所属するものと、代表色に
所属しないものとに分類する。

【００６９】続いて、ステップ４で、処理対象の画像に
ついて、同一色に所属する連結したピクセルを領域化す
ることで、代表色に所属するものとして分類したピクセ
ルを領域化するとともに、代表色に所属しないものとし
て分類したピクセルを領域化し、続くステップ５で、代
表色の領域が入力した画像のどの位置にあるのかを示す
情報を生成する。

【００７０】続いて、ステップ６で、入力した画像につ
いて規定個数の代表色を得たのか否かを判断して、規定
個数の代表色を得ていないことを判断するときには、ス
テップ７に進んで、代表色に所属しない領域を新たに処
理対象として設定してから、ステップ２に戻る。

【００７１】このようにしてステップ２に戻ると、新た
に処理対象として設定した画像部分の代表色を求めてい
く。

【００７２】ステップ２ないしステップ７の処理を繰り
返していくことで、ステップ６で、入力した画像から規
定個数の代表色を得たことを判断するときには、ステッ
プ８に進んで、蓄積画像データベース１２への蓄積画像
の登録モードが設定されていることで、入力した画像が
蓄積画像データベース１２へ登録する蓄積画像であるの
か否かを判断する。

【００７３】この判断処理により、入力した画像が蓄積
画像であることを判断するときには、ステップ９に進ん
で、入力した画像と、その画像の持つ複数の代表色と、
それらの代表色の領域の位置情報とを蓄積情報として、
蓄積画像データベース１２へ登録して、処理を終了す
る。

【００７４】一方、この判断処理により、入力した画像
が蓄積画像でないことを判断するとき、すなわち、入力
した画像が検索キーとなる入力画像であることを判断す
るときには、ステップ１０に進んで、入力した画像の持
つ複数の代表色と、それらの代表色の領域の位置情報と
を検索情報として指定して、画像検索手段１３に対して
検索要求を発行して、処理を終了する。

【００７５】この検索要求を受けて、画像検索手段１３
は、蓄積画像データベース１２に蓄積されている蓄積画
像の中から、入力画像に類似するものを検索して出力す
ることになるが、この処理については後述する。

【００７６】このようにして、特徴量抽出手段１１は、
図８の処理フローに従う場合には、画像入力手段１０が
入力した画像の中から、複数の代表色を抽出するように
処理するのである。

【００７７】これから、図２５で説明したヒストグラム
を用いるときに発生する色ずれの問題点は、図９に示す
ことから分かるように、本発明では発生することがな
い。

【００７８】また、図８の処理フローに従う場合には、
複数の代表色を順次抽出して、それを使って画像を領域
化することから、画像の持つ複数の領域を正確かつ簡単
に抽出できるようになる。

【００７９】すなわち、図１０に示す画像が入力される
ときには、先ず最初に、最も大きな領域の持つ青色が第
１番目の代表色として抽出され、それに従って、両側に
位置する青色の部分が代表色に属するピクセル部分とし
て分類されるとともに、中央に位置する部分が代表色に
属さないピクセル部分として分類されて、それらの分類
に応じて領域化される。

【００８０】続いて、その中央に位置する最も大きな領
域の持つ赤色が第２番目の代表色として抽出され、それ
に従って、中央に位置する赤色の部分が代表色に属する
ピクセル部分として分類されるとともに、中央に位置す
る黄色の部分が代表色に属さないピクセル部分として分
類されて、それらの分類に応じて領域化される。

【００８１】このようにして、画像の持つ複数の領域を
正確かつ簡単に抽出できるようになるのである。

【００８２】図１１に、特徴量抽出手段１１の実行する
処理フローの他の実施形態例を図示する。

【００８３】特徴量抽出手段１１は、この処理フローに
従う場合には、入力した画像の中に含まれる特定の画像
部分（この処理フローの場合には四隅部分）の代表色を
抽出して、それを使って、入力した画像の本来の画像部
分を抽出する処理を行うことになる。

【００８４】すなわち、特徴量抽出手段１１は、この処
理フローに従う場合には、画像入力手段１０が入力した
画像を受け取ると、先ず最初に、ステップ１で、入力し
た画像の四隅部分を切り出す。

【００８５】続いて、ステップ２で、例えば、上述した
annealing Ｍ-estimatorを使って、その切り出した四隅
部分の画像の代表色を求め、続くステップ３で、例え
ば、上述した判別分析法を使って、その代表色を使っ
て、入力した画像の持つ各ピクセルを代表色に所属する
ものと、代表色に所属しないものとに分類する。

【００８６】続いて、ステップ４で、同一色に所属する
連結したピクセルを領域化することで、代表色に所属す
るものとして分類したピクセルを領域化するとともに、
代表色に所属しないものとして分類したピクセルを領域
化する。

【００８７】これにより、後述する図１２から分かるよ
うに、代表色に所属しない領域として取り出される、入
力した画像の本来の画像部分が取り出されることにな
る。

【００８８】続いて、ステップ５で、例えば、上述した
annealing Ｍ-estimatorを使って、その取り出した本来
の画像部分の代表色を求め、続くステップ６で、その本
来の画像部分が入力した画像のどの位置にあるのかを示
す情報を生成する。

【００８９】続いて、ステップ７で、蓄積画像データベ
ース１２への蓄積画像の登録モードが設定されているこ
とで、入力した画像が蓄積画像データベース１２へ登録
する蓄積画像であるのか否かを判断して、入力した画像
が蓄積画像であることを判断するときには、ステップ８
に進んで、入力した画像と、その画像の持つ本来の画像
部分の代表色及び位置情報とを蓄積情報として、蓄積画
像データベース１２へ登録して、処理を終了する。

【００９０】一方、ステップ７で、入力した画像が蓄積
画像でないことを判断するとき、すなわち、入力した画
像が検索キーとなる入力画像であることを判断するとき
には、ステップ９に進んで、入力した画像の持つ本来の
画像部分の代表色及び位置情報を検索情報として指定し
て、画像検索手段１３に対して検索要求を発行して、処
理を終了する。

【００９１】この検索要求を受けて、画像検索手段１３
は、蓄積画像データベース１２に蓄積されている蓄積画
像の中から、入力画像に類似するものを検索して出力す
ることになるが、この処理については後述する。

【００９２】このようにして、特徴量抽出手段１１は、
図１１の処理フローに従う場合には、図１２に示すよう
に、入力した画像部分の四隅部分の代表色を抽出するこ
とで、入力した画像の持つ本来の画像部分を取り出すよ
うに処理するのである。

【００９３】そして、そのようにして取り出した本来の
画像部分を処理対象として、図２の処理フローで説明し
た代表色の抽出処理を実行するように処理するのであ
る。

【００９４】これにより、背景の画像に影響を受けない
形で、入力した画像の持つ本来の画像部分と、その代表
色とを抽出できるようになる。

【００９５】図１３及び図１４に、特徴量抽出手段１１
の実行する処理フローの他の実施形態例を図示する。

【００９６】特徴量抽出手段１１は、この処理フローに
従う場合には、入力した画像を分割して、それらの分割
した画像部分の代表色を抽出し、それを使って、入力し
た画像の持つ領域を抽出する処理を行うことになる。

【００９７】すなわち、特徴量抽出手段１１は、この処
理フローに従う場合には、画像入力手段１０が入力した
画像を受け取ると、先ず最初に、ステップ１で、入力し
た画像を指定された様式に分割する。例えば、メッシュ
に分割するのである。

【００９８】続いて、ステップ２で、分割した全ての画
像部分の処理を終えたのか否かを判断して、処理を終え
ていないことを判断するときには、ステップ３に進ん
で、未処理の分割部分を１つ選択して、それを処理対象
として設定する。

【００９９】続いて、ステップ４で、例えば、上述した
annealing Ｍ-estimatorを使って、処理対象として設定
した分割部分の代表色を求め、続くステップ５で、例え
ば、上述した判別分析法を使って、その代表色を使っ
て、処理対象として設定した分割部分の持つ各ピクセル
を代表色に所属するものと、代表色に所属しないものと
に分類する。

【０１００】続いて、ステップ６で、同一色に所属する
連結したピクセルを領域化することで、処理対象として
設定した分割部分について、代表色に所属するものとし
て分類したピクセルを領域化するとともに、代表色に所
属しないものとして分類したピクセルを領域化する。

【０１０１】続いて、ステップ７で、処理対象として設
定した分割部分について、規定個数の代表色を得たのか
否かを判断して、規定個数の代表色を得ていないことを
判断するときには、ステップ８に進んで、処理対象とし
て設定した分割部分から次の代表色を抽出すべく、ステ
ップ６で生成した代表色に所属しない領域を処理対象と
してステップ４に戻る。

【０１０２】一方、ステップ７で、処理対象として設定
した分割部分について、規定個数の代表色を得たことを
判断するときは、次の分割部分を処理すべく、ステップ
２に戻る。

【０１０３】そして、ステップ２で、分割した全ての画
像部分について代表色の抽出処理を終えたことを判断す
ると、ステップ９に進んで、類似する代表色を持つ領域
を統合し、続くステップ１０で、その統合した領域の位
置情報を生成する。

【０１０４】続いて、ステップ１１で、蓄積画像データ
ベース１２への蓄積画像の登録モードが設定されている
ことで、入力した画像が蓄積画像データベース１２へ登
録する蓄積画像であるのか否かを判断して、入力した画
像が蓄積画像であることを判断するときには、ステップ
１２に進んで、入力した画像と、その画像の代表色（統
合した領域の色）と、その代表色の領域（統合した領
域）の位置情報とを蓄積情報として、蓄積画像データベ
ース１２へ登録して、処理を終了する。

【０１０５】一方、ステップ１１で、入力した画像が蓄
積画像でないことを判断するとき、すなわち、入力した
画像が検索キーとなる入力画像であることを判断すると
きには、ステップ１３に進んで、入力した画像の代表色
（統合した領域の色）と、その代表色の領域（統合した
領域）の位置情報とを検索情報として指定して、画像検
索手段１３に対して検索要求を発行して、処理を終了す
る。

【０１０６】この検索要求を受けて、画像検索手段１３
は、蓄積画像データベース１２に蓄積されている蓄積画
像の中から、入力画像に類似するものを検索して出力す
ることになるが、この処理については後述する。

【０１０７】このようにして、特徴量抽出手段１１は、
図１３及び図１４の処理フローに従う場合には、図１５
に示すように、入力した画像を例えば３×３に分割し、
それらの各分割部分毎に複数の代表色を抽出すること
で、図１６に示すように、各分割部分毎にそれぞれの代
表色に所属する領域を生成して、図１７に示すように、
それらの領域について、類似する代表色を持つものを統
合していくことで、入力した画像の持つ領域を抽出する
ように処理するのである。

【０１０８】これにより、入力した画像の持つ複数の領
域を正確かつ簡単に抽出できるようになる。

【０１０９】この図１３及び図１４の処理フローでは、
入力した画像を分割して、それらの各分割部分毎に代表
色を抽出することで、入力した画像の持つ領域を正確か
つ簡単に抽出することを実現しているが、その他に、こ
のように分割して、それらの各分割部分毎に代表色を抽
出することで、画像の配色や色の構図の情報を取得する
ことができるようになる。

【０１１０】すなわち、例えば、図１８に示すように、
例えば、入力した画像を上下２つに分割して、その上側
部分の代表色を求めるとともに、その下側部分の代表色
を求めることで、画像の配色や色の構図を取得すること
ができるようになる。

【０１１１】ここで、図１８の例では、左側の方の画像
は海辺で遊ぶ男性を撮影したものであり、上下２つに分
割した上側部分の代表色として空の色の青色が抽出さ
れ、下側部分の代表色として砂浜の灰色が抽出されるこ
とを示している。また、右側の画像はプールサイドで日
光浴をする水着の女性を撮影したものであり、上下２つ
に分割した上側部分の代表色としてマットの色の黄色が
抽出され、下側部分の代表色としてプールの青色が抽出
されることを示している。

【０１１２】次に、図１９に示す処理フローに従って、
画像検索手段１３の実行する画像検索処理について説明
する。

【０１１３】上述した特徴量抽出手段１１の処理に従っ
て、蓄積画像データベース１２には、蓄積画像ととも
に、その蓄積画像の代表色と、その代表色の領域の位置
情報とが蓄積されることになる。

【０１１４】この蓄積画像データベース１２の蓄積情報
を受けて、画像検索手段１３は、特徴量抽出手段１１か
ら、検索情報（入力した画像の代表色と、その代表色の
領域の位置情報）を指定して画像の検索要求が発行され
ると、図１９の処理フローに示すように、先ず最初に、
ステップ１で、検索情報で指定される代表色を検索キー
にして、蓄積画像データベース１２を検索することで、
その代表色に類似する代表色を持つ蓄積画像を検索す
る。

【０１１５】このとき、検索情報で指定される代表色が
複数あるときには、それらの代表色の全ての色に類似す
る色を持つ蓄積画像を検索する場合もあるし、それらの
代表色の一部の色に類似する色を持つ蓄積画像を検索す
る場合もある。

【０１１６】続いて、ステップ２で、その検索した蓄積
画像の中から、検索情報で指定される代表色の領域位置
情報を持つものを検索し、続くステップ３で、その検索
した蓄積画像を検索結果として出力して、処理を終了す
る。

【０１１７】この画像検索手段１３の実行する画像検索
処理に従って、図２０に示すように、例えば、検索情報
（検索キー）として、画像の上側部分が青色の代表色を
持つ画像の検索要求が発行されると、画像の上側部分に
青色の代表色を持つ蓄積画像が検索され、一方、検索情
報（検索キー）として、画像の下側部分が青色の代表色
を持つ画像の検索要求が発行されると、画像の上側部分
に青色の代表色を持つ蓄積画像が検索されることにな
る。

【０１１８】このようにして、画像検索手段１３は、特
徴量抽出手段１１の抽出する代表色を特徴量として使用
する画像検索処理を実行することで、ユーザの指定する
画像に類似する蓄積画像を高精度に検索するように処理
するのである。

【０１１９】

【発明の効果】以上説明したように、本発明によれば、
画像の持つ色の特徴量として、はずれ値や色ずれに強い
色情報である代表色を抽出できるようになる。

【０１２０】そして、本発明では、この代表色の抽出に
あたって、処理対象の画像から複数の代表色を抽出する
ことから、より正確な画像の色情報を抽出できるように
なる。

【０１２１】そして、本発明では、この代表色の抽出に
あたって、処理対象の画像を分割して、その分割した画
像部分毎に代表色を抽出することから、画像の配色や色
の構図の情報を取得できるようになる。

【０１２２】そして、本発明では、この代表色を使って
画像の持つ領域に抽出することから、画像の持つ領域を
適切に抽出できるようになる。

【０１２３】そして、本発明では、特定の画像部分の代
表色を抽出し、それを使って処理対象の画像を領域化す
ることで、処理対象の画像から必要な画像部分を取り出
すことから、必要な画像部分を正確かつ簡単に取り出せ
るようになる。

【０１２４】そして、本発明では、分割された画像部分
毎に１つ又は複数の代表色を抽出し、それを使って画像
を領域に分割してそれらを統合することで、処理対象の
画像から必要な画像部分を取り出すことから、必要な画
像部分を正確かつ簡単に取り出せるようになる。

【０１２５】そして、本発明では、画像の適切な特徴量
となる代表色を使って、指定される画像に類似する画像
を検索することから、指定される画像に類似する画像を
高精度に検索できるようになる。

【０１２６】そして、本発明では、この画像の検索にあ
たって、代表色を持つ領域の位置を比較することから、
指定される画像に類似する画像を高精度に検索できるよ
うになる。

【図面の簡単な説明】

【図１】本発明を具備する画像検索装置の一実施形態例
である。

【図２】特徴量抽出手段の実行する処理フローの一実施
形態例である。

【図３】annealing Ｍ-estimatorの処理フローである。

【図４】annealing Ｍ-estimatorの処理の説明図であ
る。

【図５】annealing Ｍ-estimatorの処理の説明図であ
る。

【図６】annealing Ｍ-estimatorの処理の説明図であ
る。

【図７】本発明の抽出する代表色の説明図である。

【図８】特徴量抽出手段の実行する処理フローの他の実
施形態例である。

【図９】本発明の抽出する代表色の説明図である。

【図１０】特徴量抽出手段の実行する処理の説明図であ
る。

【図１１】特徴量抽出手段の実行する処理フローの他の
実施形態例である。

【図１２】特徴量抽出手段の実行する処理の説明図であ
る。

【図１３】特徴量抽出手段の実行する処理フローの他の
実施形態例である。

【図１４】特徴量抽出手段の実行する処理フローの他の
実施形態例である。

【図１５】特徴量抽出手段の実行する処理の説明図であ
る。

【図１６】特徴量抽出手段の実行する処理の説明図であ
る。

【図１７】特徴量抽出手段の実行する処理の説明図であ
る。

【図１８】特徴量抽出手段の実行する処理の説明図であ
る。

【図１９】画像検索手段の実行する処理フローの一実施
形態例である。

【図２０】画像検索手段の実行する処理の説明図であ
る。

【図２１】従来技術の説明図である。

【図２２】従来技術の説明図である。

【図２３】従来技術の問題点の説明図である。

【図２４】従来技術の問題点の説明図である。

【図２５】従来技術の問題点の説明図である。

【符号の説明】

１画像検索装置１０画像入力手段１１特徴量抽出手段１２蓄積画像データベース１３画像検索手段

Claims

【特許請求の範囲】

【請求項１】処理対象の画像を処理する画像処理方法
において、処理対象の画像を構成する各ピクセルの色を使って、過
半数のピクセルとの色の差を最小にする色を抽出して、
その色を処理対象の画像の代表色とすることを、特徴とする画像処理方法。
【請求項２】請求項１記載の画像処理方法において、上記代表色と処理対象の画像を構成する各ピクセルの色
との差を比較して、処理対象の画像を構成する各ピクセ
ルを、上記代表色に所属するピクセルと、上記代表色に
所属しないピクセルとに分類することを、特徴とする画像処理方法。
【請求項３】請求項２記載の画像処理方法において、上記代表色に所属しないピクセル部分を新たな処理対象
として、上記代表色を抽出することをＮ回（Ｎは１以上
の整数）繰り返すことを、特徴とする画像処理方法。
【請求項４】請求項２又は３記載の画像処理方法にお
いて、上記分類したピクセルを領域化することを、特徴とする画像処理方法。
【請求項５】請求項１ないし４のいずれか１項に記載
される画像処理方法において、処理対象の画像を分割して、その分割した画像部分毎
に、上記代表色を抽出することを、特徴とする画像処理方法。
【請求項６】処理対象の画像を処理する画像処理方法
において、処理対象の画像から特定の画像部分を切り出し、上記切り出した画像部分を構成する各ピクセルの色を使
って、過半数のピクセルとの色の差を最小にする色を抽
出して、その色をその画像部分の代表色とし、上記代表色と処理対象の画像を構成する各ピクセルの色
との差を比較して、処理対象の画像を構成する各ピクセ
ルを、上記代表色に所属するピクセルと、上記代表色に
所属しないピクセルとに分類し、上記分類したピクセルを領域化することで、処理対象の
画像から必要な画像部分を取り出すことを、特徴とする画像処理方法。
【請求項７】処理対象の画像を処理する画像処理方法
において、処理対象の画像を分割し、上記分割した画像部分毎に、その画像部分を構成する各
ピクセルの色を使って、過半数のピクセルとの色の差を
最小にする色を抽出して、その色をその画像部分の代表
色とし、上記分割した画像部分毎に、上記代表色とその画像部分
を構成する各ピクセルの色との差を比較して、その画像
部分を構成する各ピクセルを、上記代表色に所属するピ
クセルと、上記代表色に所属しないピクセルとに分類
し、上記分類したピクセルを領域化して、類似する上記代表
色を持つ領域を統合することで、処理対象の画像から必
要な画像部分を取り出すことを、特徴とする画像処理方法。
【請求項８】請求項７記載の画像処理方法において、上記分割した画像部分毎に、上記代表色に所属しないピ
クセル部分を新たな処理対象として、上記代表色を抽出
することをＮ回（Ｎは１以上の整数）繰り返すことを、特徴とする画像処理方法。
【請求項９】蓄積画像の中から指定される画像に類似
する画像を検索する画像検索方法において、蓄積画像毎に、その蓄積画像から、処理対象の画像部分
を構成する過半数のピクセルとの色の差を最小にする色
として定義される１つ又は複数の代表色を抽出すること
で、その蓄積画像の持つ１つ又は複数の代表色を検出し
て、それを蓄積画像と対応をとりつつ蓄積手段に保存
し、指定される画像から、処理対象の画像部分を構成する過
半数のピクセルとの色の差を最小にする色として定義さ
れる１つ又は複数の代表色を抽出することで、指定され
る画像の持つ１つ又は複数の領域の代表色を検出し、上記検出した指定される画像の持つ１つ又は複数の代表
色と、上記蓄積手段に保存される蓄積画像の持つ１つ又
は複数の代表色とを比較することで、蓄積画像の中から
指定される画像に類似する画像を検索することを、特徴とする画像検索方法。
【請求項１０】請求項９に記載される画像検索方法に
おいて、上記検索する過程では、代表色を比較することに加え
て、代表色を持つ領域の位置を比較することで、指定さ
れる画像に類似する蓄積画像の検索を行うことを、特徴とする画像検索方法。
【請求項１１】処理対象の画像を処理する画像処理装
置において、処理対象の画像を構成する各ピクセルの色を使って、過
半数のピクセルとの色の差を最小にする色を抽出して、
その色を処理対象の画像の代表色とする手段と、上記代表色と処理対象の画像を構成する各ピクセルの色
との差を比較して、処理対象の画像を構成する各ピクセ
ルを、上記代表色に所属するピクセルと、上記代表色に
所属しないピクセルとに分類する手段と、上記分類したピクセルを領域化する手段とを備えること
を、特徴とする画像処理装置。
【請求項１２】処理対象の画像を処理する画像処理装
置において、処理対象の画像から特定の画像部分を切り出す手段と、上記切り出した画像部分を構成する各ピクセルの色を使
って、過半数のピクセルとの色の差を最小にする色を抽
出して、その色をその画像部分の代表色とする手段と、上記代表色と処理対象の画像を構成する各ピクセルの色
との差を比較して、処理対象の画像を構成する各ピクセ
ルを、上記代表色に所属するピクセルと、上記代表色に
所属しないピクセルとに分類する手段と、上記分類したピクセルを領域化することで、処理対象の
画像から必要な画像部分を取り出す手段とを備えること
を、特徴とする画像処理装置。
【請求項１３】処理対象の画像を処理する画像処理装
置において、処理対象の画像を分割する手段と、上記分割した画像部分毎に、その画像部分を構成する各
ピクセルの色を使って、過半数のピクセルとの色の差を
最小にする色を抽出して、その色をその画像部分の代表
色とする手段と、上記分割した画像部分毎に、上記代表色とその画像部分
を構成する各ピクセルの色との差を比較して、その画像
部分を構成する各ピクセルを、上記代表色に所属するピ
クセルと、上記代表色に所属しないピクセルとに分類す
る手段と、上記分類したピクセルを領域化して、類似する上記代表
色を持つ領域を統合することで、処理対象の画像から必
要な画像部分を取り出す手段とを備えることを、特徴とする画像処理装置。
【請求項１４】蓄積画像の中から指定される画像に類
似する画像を検索する画像検索装置において、蓄積画像から検出される、処理対象の画像部分を構成す
る過半数のピクセルとの色の差を最小にする色として定
義される１つ又は複数の代表色を、蓄積画像と対応をと
りつつ保存する蓄積手段と、指定される画像から、処理対象の画像部分を構成する過
半数のピクセルとの色の差を最小にする色として定義さ
れる１つ又は複数の代表色を抽出することで、指定され
る画像の持つ１つ又は複数の代表色を検出する手段と、上記検出した指定される画像の持つ１つ又は複数の代表
色と、上記蓄積手段に保存する蓄積画像の持つ１つ又は
複数の代表色とを比較することで、蓄積画像の中から指
定される画像に類似する画像を検索する手段とを備える
ことを、特徴とする画像検索装置。
【請求項１５】請求項１ないし８のいずれか１項に記
載の画像処理方法の実現に用いられる処理をコンピュー
タに実行させるための画像処理プログラム。
【請求項１６】請求項１ないし８のいずれか１項に記
載の画像処理方法の実現に用いられる処理をコンピュー
タに実行させるためのプログラムを記録した画像処理プ
ログラムの記録媒体。
【請求項１７】請求項９又は１０記載の画像検索方法
の実現に用いられる処理をコンピュータに実行させるた
めの画像検索プログラム。
【請求項１８】請求項９又は１０記載の画像検索方法
の実現に用いられる処理をコンピュータに実行させるた
めのプログラムを記録した画像検索プログラムの記録媒
体。