JP5016541B2 - 画像処理装置および方法並びにプログラム - Google Patents

Description

本発明は、オリジナル画像から所望とする注目領域を含む所定の範囲内の画像を、オリジナル画像から切り出すことにより部分画像を作成する画像処理装置および方法並びにプログラムに関するものである。

従来より、写真を切り抜いて、文章やイラストなどと一緒に飾り付けした作品を楽しんでいた。特に、近年ではデジタル画像を用いてパソコン上で同様の加工を行っている。

具体的には、デジタル画像から素材となるオブジェクト部分を部分画像として切り出すことによってこのような加工を行っているが、このような素材となる部分画像の作成は、人間が目視で使用したいオブジェクト領域を画像の中から選び出して必要な部分を切り出している。しかし、多数の画像の中から、適切な領域を選択し、最適なオブジェクト領域を抽出するためには大変時間がかかる。

そこで、人間の顔のように特定のオブジェクトを切り出す際には、そのオブジェクトに対応した検出技術（例えば、顔検出技術）を用いて画像から特定のオブジェクト（例えば、顔部分）を自動検出し、そのオブジェクトを独立した画像として切り出して、デジタルカメラのモニター等に上記独立した画像を表示する手法を提案したものがある（例えば、特許文献１）。
特開２００５−３１８５１５号公報

しかしながら、特定のオブジェクトを検出する検出器のみを用いた場合には、画像中に特定のオブジェクト以外の注目を引くような画像部分が存在していたとしても、用意した検出器の検出対象となるオブジェクトしか抽出することができず、他の注目を引く画像部分を抽出することはできない。

そこで、本発明は、上記事情に鑑みてなされたものであり、画像中の注目される画像部分を抽出することにより部分画像を表示することができる画像処理装置および方法並びにプログラムを提供することを目的とするものである。

本発明の画像処理装置は、オリジナル画像を記憶するオリジナル画像記憶手段と、オリジナル画像の色、明度、および、オリジナル画像に現れた直線成分の方向に基づいて、オリジナル画像中の各部分の特徴が部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いに応じて注目領域をオリジナル画像の中から抽出する注目領域抽出手段と、注目領域抽出手段により抽出された注目領域を含む所定の範囲内の画像をオリジナル画像から切り出すことにより部分画像を作成する部分画像作成手段と、部分画像作成手段により作成された部分画像を表示する表示手段とを備えることを特徴とするものである。

「注目領域」とは、オリジナル画像上の視覚的に注目される領域をいうが、「注目領域」には、真に視覚的に注目されるか否かにかかわらず、視覚的に注目される可能性が高いと判定された領域を含むものである。視覚的に注目される領域は、周囲の画像と色、明度、および、オリジナル画像に現れた直線成分の方向などが異なるために注目されることが多いので、色、明度、および、オリジナル画像に現れた直線成分が周囲と異なる領域を「注目領域」として抽出する。

「注目領域を含む所定の範囲内の画像を前記オリジナル画像から切り出す」は、注目領域の全体ではなく少なくとも一部が含まれるように画像を切り出せばよい。また、切り出した１つの画像内に複数の注目領域が含まれるように切り出してもよい。

本発明の画像処理装置は、部分画像が複数作成された際に、複数作成された部分画像のうち、いずれかの部分画像を選択し、選択された部分画像を表示手段に表示させるように指示する指示手段とを更に備えるものであってもよい。

また、「部分画像作成手段」が、更に表示手段の解像度の大きさに基づいて、部分画像を作成するものであってもよい。

「注目領域抽出手段」が、抽出した各注目領域に対する注目度を算出するものであり、「表示手段」が、注目度が高い注目領域を含む部分画像から順番に表示するものであってもよい。

本発明の画像処理方法は、オリジナル画像を記憶し、オリジナル画像の色、明度、および、オリジナル画像に現れた直線成分の方向に基づいて、オリジナル画像中の各部分の特徴が部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いに応じて注目領域をオリジナル画像の中から抽出し、抽出された注目領域を含む所定の範囲内の画像をオリジナル画像から切り出すことにより部分画像を作成し、作成された部分画像を表示することを特徴とする。

本発明のプログラムは、コンピュータに、オリジナル画像を記憶する機能と、オリジナル画像の色、明度、および、オリジナル画像に現れた直線成分の方向に基づいて、オリジナル画像中の各部分の特徴が部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いに応じて注目領域をオリジナル画像の中から抽出する機能と、抽出された注目領域を含む所定の範囲内の画像をオリジナル画像から切り出すことにより部分画像を作成する機能と、作成された部分画像を表示する機能とを実行させるものである。

本発明によれば、オリジナル画像の色、明度、および、オリジナル画像に現れた直線成分の方向に基づいて、オリジナル画像中の各部分の特徴が部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いに応じて注目領域をオリジナル画像の中から抽出する注目領域抽出手段と、注目領域抽出手段により抽出された注目領域を含む所定の範囲内の画像をオリジナル画像から切り出すことにより部分画像を作成する部分画像作成手段とを備えることにより、オリジナル画像より、特定のオブジェクトに限られない種々の部分画像を切り出し、表示することができる。

また、表示手段の解像度の大きさに基づいて、部分画像を作成する場合には、ユーザが視認しやすいようオリジナル画像から切り出された部分画像を表示することができる。

以下、図面を参照しつつ、本発明の第１の実施の形態について説明する。図１に、本発明の画像処理装置の概略構成図を示す。

画像処理装置１は、補助記憶装置に読み込まれたアプリケーションプログラムがコンピュータ（例えば、ワークステーション等）上で実行されることにより実現される。画像処理プログラムは、ＣＤ−ＲＯＭ等の記録媒体として配布され、記録媒体からコンピュータにインストールされても良いし、インターネット等のネットワーク経由で接続されたサーバからダウンロードされた後にインストールされてもよい。

画像処理装置１は、オリジナル画像Ｐを記憶するオリジナル画像記憶手段１０と、オリジナル画像Ｐの色、明度、および、このオリジナル画像Ｐに現れた直線成分の方向に基づいて、オリジナル画像Ｐの中から注目領域を抽出する注目領域抽出手段１１と、注目領域を含む所定の範囲内の画像をオリジナル画像Ｐから切り出して部分画像Ｑを作成する部分画像作成手段１２と、部分画像Ｑを表示する表示手段１３と、部分画像作成手段１２で切り出された部分画像Ｑが少なくとも１つ以上作成された場合、いずれかの部分画像Ｑを選択し、選択された部分画像Ｑを表示手段１３に表示させるように指示する指示手段１４とを備える。

オリジナル画像記憶手段１０は、ハードディスクなどの大容量記憶装置や画像処理装置１に接続された記録媒体などである。オリジナル画像記憶手段１０には、デジタルスチールカメラやデジタルビデオカメラによって撮影された撮影画像、あるいは、イラストレーターなどの画像作成用ソフトなど用いて作成したイラスト画像などがオリジナル画像Ｐとして多数記憶されている。このオリジナル画像Ｐは、静止画像のことをいう。以下、オリジナル画像Ｐは静止画像として説明する。

注目領域抽出手段１１は、オリジナル画像Ｐを目視で確認したときに注目される部分を注目領域として抽出する。例えば、オリジナル画像Ｐ上の一部の色が周囲の色と異なる部分、オリジナル画像Ｐ上の一部が周囲に比べて非常に明るい部分、平坦な画面上に現れた直線部分などが画像を見たとき注目される領域となる。そこで、オリジナル画像Ｐの色、明度、および、オリジナル画像Ｐに現れた直線成分の方向に基づいて、オリジナル画像Ｐ中の各部分の特徴がその部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの異なる度合いが大きいところを注目領域として抽出する。

このように視覚的に注目される注目領域は、色、明度、画像中に現れた直線成分などの画像を構成する要素が周囲と異なる特徴を持っている。そこで、オリジナル画像Ｐの色（Color）、オリジナル画像Ｐの明度（Intensity）、オリジナル画像Ｐに現れた直線成分の方向（Orientation）を用いて、画像中の各部分の特徴が、その部分の周囲に位置する部分の特徴と異なる度合いを求め、異なる度合いが大きい部分が視覚的に注目される注目領域であると考えられる。具体的には、IttiやKoch達によって提案された手法を用いて、視覚的に注目される注目領域を自動的に抽出することができる（例えば、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 20, NO. 11, NOVEMBER 1998 “A Model of Saliency-Based Visual Action for Rapid Scene Analysis”, Laurent Itti, Christof Koch and Emst Neiburを参照）。

図２に従って、この手法を用いて注目領域を抽出する処理の流れについて説明する。

まず、オリジナル画像Ｐにフィルタリング処理を施して明度をあらわす画像と複数の色成分に分けた色成分の画像とをそれぞれ生成する（Ｓｔｅｐ１）。

まず、オリジナル画像Ｐから明度の画像Ｉを生成して、さらに、明度の画像ＩのGaussian pyramidを生成する。このGaussian pyramidの各階層の画像をI（σ）（σは画素のスケールを表し、σ∈[0..8]とする）とする。

次に、オリジナル画像Ｐを４つの色成分の画像Ｒ（赤），Ｇ（緑），Ｂ（青），Ｙ（黄）に分ける。さらに、これらの画像Ｒ，Ｇ，Ｂ，Ｙから４種類のGaussian pyramidを生成して、各階層の画像をＲ（σ）、Ｇ（σ）、Ｂ（σ）、Ｙ（σ）とする。

そこで、これらの画像I（σ）、Ｒ（σ）、Ｇ（σ）、Ｂ（σ）、Ｙ（σ）からオリジナル画像Ｐ上の各部分の特徴がその周囲の部分とどの程度異なるかを表す特徴量マップを生成する（Ｓｔｅｐ２）。

画面上のある部分の明度がその周囲の明度とは違うと感知される場所は、周囲が明るいところに暗い部分が存在する場所、あるいは、周囲が暗いところに明るい部分が存在する場所である。そこで、周囲の明度に比べて中心部分の明度がどの程度異なるかは、細かい画素で表された画像Ｉ（ｃ）と、荒い画素で表された画像Ｉ（ｓ）とを用いて求める。荒い画像Ｉ（ｓ）の画素１個の値は、細かい画像Ｉ（ｃ）の画素を複数個分の画素をまとめた値を表しているので、画像Ｉ（ｃ）の画素の値（中心部の明度）と、この画素に対応する位置にある画像Ｉ（ｓ）の画素の値（周囲の明度）の差を求める（例えば、Center-Surround手法）ことによって、画像上の各部分が周囲とどの程度異なるかを求めることができる。例えば、細かい画素で表された画像Ｉ（ｃ）のスケールをｃ∈｛２，３，４｝とし、荒い画素で表された画像Ｉ（ｓ）のスケールをｓ＝ｃ＋δ（δ∈｛３，４｝）として明度の特徴マップＭ_Ｉ（ｃ，ｓ）を求める。この明度の特徴マップＭ_Ｉ（ｃ，ｓ）は下式（１）のように表される。

各色成分についても同様に、Ｒ（σ）、Ｇ（σ）、Ｂ（σ）、Ｙ（σ）から特徴マップを生成する。画面上のある部分の色がその周囲の色と違うと感知される場所は、色相環で正反対に位置する色（反対色）の組み合わせから見つけることができる。例えば、赤/緑と緑/赤の組み合わせから特徴マップＭ_ＲＧ（ｃ，ｓ）を取得し、青/黄と黄/青の組み合わせから特徴マップＭ_ＢＹ（ｃ，ｓ）を取得する。この色の特徴マップは下式（２）（３）のように表される。

さらに、画像上に表れた直線成分の方向について、各部分に現れた直線成分の方向とその周囲の直線成分との違いが感知される部分は、明度の画像Ｉから直線成分の方向を検出するGaborフィルターなどを利用して見つけることができる。Ｉ（σ）の各階層の画像に対してGaborフィルターを用いて、θ∈｛0°,45°,90°,135°｝の各方向の直線成分を検知して特徴マップＭ_Ｏ（ｃ，ｓ,θ）を取得する。この方向の特徴マップは下式（４）のように表される。

ｃ∈｛２，３，４｝とし、ｓ＝ｃ＋δ（δ∈｛３，４｝）とした場合には、明度の特徴マップは６個、色の特徴マップは１２個、方向に関する特徴マップは２４個得られ、これらのマップを総合的にみて、視覚的に注目される注目領域を抽出する。

これらの４２個の特徴マップＭ_Ｉ，Ｍ_ＲＧ，Ｍ_ＢＹ，Ｍ_Ｏは、ダイナミックレンジの違いや抽出する情報の違いなどにより、各部分とその周囲の違いが大きく表れるものとあまり大きく表れないものがある。そのため、４２個の特徴マップＭ_Ｉ，Ｍ_ＲＧ，Ｍ_ＢＹ，Ｍ_Ｏの値をそのまま用いて判定を行ったのでは、違いが大きい特徴マップに影響されて、違いが少ない特徴マップの情報が反映されない場合がある。そこで、これらの４２個の特徴マップＭ_Ｉ，Ｍ_ＲＧ，Ｍ_ＢＹ，Ｍ_Ｏを規格化した後に組み合わせて、注目領域を抽出するようにするのが好ましい。

具体的には、例えば、明度の特徴マップＭ_Ｉ（ｃ，ｓ）の６個を規格化して組み合わせた明度の要素別注目度マップＭ^Ｃ _Ｉを取得し、色の特徴マップＭ_ＲＧ（ｃ，ｓ）、Ｍ_ＢＹ（ｃ，ｓ）の１２個を規格化して組み合わせた色の要素別注目度マップＭ^Ｃ _Ｃを取得し、方向に関する特徴マップＭ_Ｏ（ｃ，ｓ,θ）の２４個を規格化して組み合わせた方向の要素別注目度マップＭ^Ｃ _Ｏを取得する（Ｓｔｅｐ３）。さらに、要素別注目度マップＭ^Ｃ _Ｉ、Ｍ^Ｃ _Ｃ、Ｍ^Ｃ _Ｏを線形結合して、オリジナル画像Ｐの各部分の注目度の分布を表した注目度マップＭ^Ｓを取得する（Ｓｔｅｐ４）。この注目度が所定の閾値を越えた領域を注目領域として抽出する（Ｓｔｅｐ５）。

また、注目領域を抽出する際に、オリジナル画像Ｐの色、明度、オリジナル画像Ｐに現れた直線成分の傾きが周囲と異なる度合いの影響を変えるように、オリジナル画像Ｐの色、明度、オリジナル画像Ｐに現れた直線成分の傾きのそれぞれの度合いと、各度合いそれぞれに対して重み付けした重み付け度合いを変えることによって、抽出される注目領域を変えることができる。例えば、要素別注目度マップＭ^Ｃ _Ｉ、Ｍ^Ｃ _Ｃ、Ｍ^Ｃ _Ｏを線形結合するときの重みを変えることによって抽出される注目領域ＲＯＩを変えることができる。あるいは、要素別注目度マップＭ^Ｃ _Ｉ、Ｍ^Ｃ _Ｃ、Ｍ^Ｃ _Ｏを取得するときに、各明度の特徴マップＭ_Ｉ（ｃ，ｓ）、色の特徴マップＭ_ＲＧ（ｃ，ｓ）、Ｍ_ＢＹ（ｃ，ｓ）、方向に関する特徴マップＭ_Ｏ（ｃ，ｓ,θ）のそれぞれのマップの影響を変えるように、各特徴マップＭ_Ｉ（ｃ，ｓ）、Ｍ_ＲＧ（ｃ，ｓ）、Ｍ_ＢＹ（ｃ，ｓ）、Ｍ_Ｏ（ｃ，ｓ,θ）に対する重みを変えるようしてもよい。

また、注目領域抽出手段１１が、オブジェクト種別判別手段（不図示）を更に備えていてもよい。

オブジェクト種別判別手段は、オリジナル画像Ｐに基づいてオブジェクト（風景、夜景、地面、海、雪、山、花、夕焼け、パーティー、人物（顔を含む）、ベビー、スポーツ、ペット、魚、構造物等）の種類を解析するものである。

オブジェクト種別判別手段におけるオブジェクト解析手法の一例としては、例えば、特開２００５−３１０１２３号（以下、参考文献１という）の手法を本発明の画像処理装置に用いることができる。参考文献１の手法は、所望の特定オブジェクトに対応する特徴的部分の対象オリジナル画像内における配置の傾向を考慮し、かつそれらの位置や面積割合の変動をも考慮して、様々な特定オブジェクトの画像を選別する、特定のオブジェクト選別にあたり複数の識別器を用いており、特定の識別器の閾値または複数の閾値の総和により、特定のオブジェクトの認識を示す。なお、特定の識別器の閾値または複数の閾値の総和から算出される特定のオブジェクトであろうオブジェクトの確信度を求めることができる。

また、特開２００５−１２２７２０号（以下、参考文献２という）の手法を本発明の画像処理装置に用いることができる。参考文献２の手法は、特定オブジェクトとして指定され得る複数のオブジェクトごとに、そのオブジェクトの識別に用いる特徴量の種類と識別条件とを規定した参照データが、メモリ内に格納されている。特定オブジェクトとして指定され得る複数のオブジェクトの識別に用いるすべての特徴量を、選別対象のオリジナル画像から導出し、指定された特定オブジェクトに応じて、参照データが規定する特徴量の種類を参照し、それらの特徴量を選別対象のオリジナル画像から導出する。導出された特徴量に基づいて参照データ中の識別条件を参照し、所定の閾値であるか否か等により識別対象のオリジナル画像に特定オブジェクトの画像があるか否かを認識することを示す。
また、上記所定の閾値または上記識別条件から算出される特定のオブジェクトであろうオブジェクトの確信度を求めることができる。

更に、オブジェクト種別判別手段は、オリジナル画像Ｐから人物の顔を検出することも可能である。具体的には、顔に含まれる顔の特徴を有する領域（例えば肌色を有する、目を有する、顔の形状を有する等）を顔領域として検出することも可能とする。

例えば、特開２００６−２０２２７６号（以下、参考文献３という）の手法を本発明の画像処理装置に用いることができる。参考文献３の手法は、顔の追跡は、動きベクトル、特徴点検出等の公知の手法や学習データに対してリサンプリングの際に重みを逐次的に更新していき，できた機械を最後に学習機械に対する重みをつけて足し合わせて統合学習機械をつくる手法であるＡｄａｂｏｏｓｔに基づいたマシンラーニング手法を利用するものであることが考えられる。例えば、平均フレームモデルを実際のオリジナル画像Ｐの顔を示す画像に嵌め込み、平均フレームモデル上の各ランドマークの位置を、顔から検出された相対応するランドマークの位置に合致するように移動することによって平均フレームモデルを変形させて顔のフレームモデルを構築するのに際し、マシンラーニング手法により、所定のランドマークであることが分かっている複数のサンプル画像上の点における輝度プロファイルと、該ランドマークではないことが分かっている複数のサンプル画像上の点における輝度プロファイルとに対して学習を行って得た識別器および各識別器に対する識別条件を用いて、顔を示す画像から当該ランドマークを示す点の位置を検出する手法である。

また、上記識別条件から算出される特定のオブジェクトであろうオブジェクトの確信度を求めることができる。

また、特開２００４−３３４８３６号（以下、参考文献４という）の手法を本発明の画像処理装置に用いることも可能である。参考文献４の手法は、オリジナル画像Ｐから一定の大きさの画像データを切り出し、各切出画像データと特徴部分画像データの照合データとを比較して前記処理対象画像中に前記特徴部分画像が存在するか否かを検出する画像データの特徴部分抽出方法を使用する手法である。なお、特開２００７−１１９７０号（以下、参考文献５という）の手法を本発明の画像処理装置に適用し、スルー画像データ中の人物の顔領域以外に、動物の顔等を特定被写体として検出してもよい。

上述した顔を検出する手法は、正面顔検出のみならず、上記手法により、横顔検出も可能である。

また、注目領域抽出手段１１は、オブジェクト種別判別手段により算出された確信度と上記注目度から、新たな注目度を算出してもよい。例えば、確信度と注目度の平均値から新たな注目度を算出してもよいし、確信度と注目度を所定の比率により合成した値から、新たな注目度を算出してもよい。

部分画像作成手段１２は、注目領域を含む部分を部分画像Ｑとして切り出す。切りだされる画像の範囲は、用意する部分画像Ｑの画像サイズ、表示手段の解像度等に応じて決められる。例えば、部分画像Ｑを150×150画素で用意する場合には、オリジナル画像Ｐから注目領域を含むように150×150画素で切り取った画像を部分画像Ｑとする。注目領域を抽出する際に、オリジナル画像の色、明度、前記オリジナル画像に現れた直線成分の傾きが周囲と異なる度合いの影響を変えて様々な注目領域を抽出できるようにするのが好ましい。

また、部分画像作成手段１２は、部分画像Ｑを切り出す順番として、注目度の高い順、新たな注目度の高い順に、上記注目度／新たな注目度に対応する注目領域を含む部分画像を切り出しても良い。

また、部分画像作成手段１２は、部分画像Ｑを切り出す順番として、オリジナル画像Ｐの左上から右下に位置する注目領域の順に、注目領域を含む部分画像Ｑを切り出しても良い。

また、部分画像作成手段１２は、部分画像Ｑを切り出す順番として、オリジナル画像Ｐの中央から周辺に位置する注目領域の順に、注目領域を含む部分画像Ｑを切り出しても良い。

また、部分画像作成手段１２は、部分画像Ｑを切り出す順番として、オリジナル画像Ｐのオブジェクト種別判別手段により判別された顔とまたは注目領域とを含む領域から順に部分画像Ｑを切り出しても良い。

なお、部分画像作成手段１２は、部分画像Ｑを切り出す際、矩形の枠により切り出すのみならず、指示手段１４により変形可能な自由形状の枠の形状を設定し、設定された枠により切り出してもよい。

また、部分画像作成手段１２は、オブジェクト種別判別手段により判別されたオブジェクトにとって最適な枠を記憶しておき、判別されたオブジェクトに対応する枠により切り出してもよい。

部分画像作成手段１２は、表示手段１３により規定された表示範囲・解像度を考慮して表示エリアをあわせても良い。

表示手段１３は、上述したように部分画像Ｑを表示するものであり、例えば、ＣＲＴや液晶モニター等が挙げられる。また、画像処理装置１が、プリンタまたはデジタルカメラに組み込まれた場合は、プリンタまたはデジタルカメラに搭載されたモニターが表示手段１３であってもよい。

また、画像処理装置１が、携帯電話に組み込まれた場合は、携帯電話に搭載されたモニターが表示手段１３であってもよい。

また、画像処理装置１が、コンピュータに組み込まれた場合は、コンピュータに接続された外部モニターが、表示手段１３であってもよい。

更に、表示手段１３が、上記注目度／新たな注目度が高い注目領域を含む部分画像Ｑから順番に表示するものであってもよい。

上述した指示手段１４は、部分画像作成手段１２の切り出し範囲の設定を可能とし、オリジナル画像Ｐや部分画像Ｑの切り替え指示を行うことも可能である。

次に、図３のフローチャートを用いて、本発明の画像処理装置１で部分画像Ｑを生成する処理の流れと、その部分画像Ｑを表示する処理の流れについて説明する。

まず、画像処理装置１では、撮影画像やイラスト画像などのオリジナル画像Ｐを読み込んでハードディスク（オリジナル画像記憶手段１０）に一旦記憶する（Ｓ１００）。

注目領域抽出手段１１では、ハードディスクに記憶されているオリジナル画像Ｐから、明度を表す画像Ｉと各色成分に分けた画像Ｒ，Ｇ，Ｂ，Ｙを生成し、さらに、これらからGaussian pyramid画像Ｉ（σ），Ｒ（σ），Ｇ（σ），Ｂ（σ），Ｙ（σ）を生成する。これらのGaussian pyramid画像を用いて、色、明度、オリジナル画像Ｐ上の直線成分の方向に基づいて、オリジナル画像Ｐの各部分の注目度を算出した注目度マップＭ^Ｓを生成する（Ｓ１０１）。注目度マップＭ^Ｓの注目度が所定の閾値以上の領域を注目領域として抽出する（Ｓ１０２）。

例えば、図４Ａに示すように、画像の中心付近に赤い道路標識が撮影されている画像では、周囲の山や道路は茶〜灰色の色が多く道路標識の色が周囲と大きく異なるため、注目度マップＭ^Ｓ上の注目度が高く表れる。そこで、図４Ｂに示すように、所定の閾値以上の部分を注目領域ＲＯＩとして抽出する。図あるいは、図５Ａに示すように、赤い矩形が１つと緑の矩形が多数とが、様々な方向を向いて並んでいる場合には、図５Ｂに示すように、赤い矩形の部分や、緑の矩形のうち傾きが他のものと比べて大きく傾いている部分の注目度が高くなり、この注目度の高い領域を注目領域ＲＯＩとして抽出する。

そこで、部分画像作成手段１２で注目領域ＲＯＩを含むように矩形の領域を部分画像Ｑとして切り取り（Ｓ１０３）、部分画像Ｑを表示手段１３に表示する（Ｓ１０４）。例えば、図６Ａのような画像では、矩形で囲まれた範囲を部分画像Ｑとして切り取る。部分画像の大きさや部分画像中の注目領域ＲＯＩの位置は常に同じでなくてもよい。また、同じ注目領域ＲＯＩを含むいろいろな範囲の画像を部分画像として用意してもよい。このようにしてオリジナル画像Ｐから注目領域ＲＯＩを含む部分を部分画像Ｑとして切り出す。

また、オブジェクト種別判別手段により算出された確信度と上記注目度から、上述したような新たな注目度を設定し、設定された新たな注目度の高い順に注目領域を算出してもよい。

ここで、例えば、図６のような画像の場合、矩形で囲まれた範囲を部分画像Ｑとして切り出す例を説明する。

図６は、結婚式のキャンドルサービスを示す図であり、上述した新たな注目度を用いて図６の（（２−１）〜（２−４））のような部分画像Ｑを切り出すことが可能である。

さらに、注目度マップＭ^Ｓの注目度／新たな注目度の高い注目領域ＲＯＩやオブジェクトを含む部分画像Ｑに対しては、注目度／新たな注目度の高い順番または、上述したような切り出す順番に応じて、部分画像Ｑを表示手段１３に表示してもよい。

必要に応じて、指示手段１４からの応答を受け、部分画像Ｑを切り替えて表示できる。また、部分画像Ｑが、表示範囲を移動するように表示してもよいし、ズーム等を用いた拡大・縮小の表示切り替えすることも可能である。

また、表示切り替えとして、フェイドアウト・フェイドイン、スクロール機能または、動的な切り替え等による特殊表示するものであってもよい。

上述した表示切り替えすることにより、ユーザが、オリジナル画像Ｐ全体の状況が把握しやすくなる。

また、例えば、図７Ａのようなスキューバーダイビング時に撮影されたオリジナル画像Ｐでは、注目度／新たな注目度に基づいて表示することにより、図７Ｂに示す矩形で囲まれた範囲（Ｑ５〜Ｑ９）を部分画像Ｑとして切り取ることを可能とする。

指示手段１４は、二つのストロークから構成されていてもよく、第一のストロークで、トリミング範囲の切り替え表示を行うように指示することを可能とする。例えば、指示手段１４は、図７Ｃの表示手段１３に相当するＤ１に表示されたＴ１またはＴ２を押すことで、表示される部分画像（Ｑ５〜Ｑ８）前の部分画像Ｑまたは後の部分画像Ｑを表示するように指示することを可能とする。

また、指示手段１４は、部分画像作成手段１２によって用意されたすべての部分画像Ｑを表示し終わったら、第二のストロークで、次のオリジナル画像Ｐの表示を行うよう指示することが可能である。

また、例えば、図８Ａのような集合写真時に撮影されたオリジナル画像Ｐでは、オブジェクト種別判別手段により算出された確信度を重視するように重み付けた新たな注目度を用いることにより、図８Ｂに示す矩形で囲まれた複数の範囲を部分画像Ｑとして切り取ることを可能とする。

図８Ｃに示すように、オブジェクト種別判別手段により算出された確信度を重視したため、人物の顔を網羅的に切り出すことが可能となる。

また、表示手段１４が携帯電話等のようにモニターが小さいまたは解像度が小さい場合、図８Ｃに示す部分画像Ｑ夫々を順次表示することにより、集合写真のように多くの人物が写り、離れて撮影されたオリジナル画像であったとしても、ユーザが、表示手段１４を目視する際、どの人物が表示されているか視認しやすくなる。

また、図９に示すように表示手段１３に相当するモニターＤ２が大きい、または解像度が高い場合、オリジナル画像Ｐと部分画像Ｑを同時に表示することも可能とする。

このように、本発明の画像処理装置は、オリジナル画像の色、明度、および、オリジナル画像に現れた直線成分の方向に基づいて、オリジナル画像中の各部分の特徴が部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いに応じて注目領域をオリジナル画像の中から抽出する注目領域抽出手段１１と、注目領域抽出手段１１により抽出された注目領域を含む所定の範囲内の画像をオリジナル画像Ｐから切り出すことにより部分画像Ｑを作成する部分画像作成手段１２とを備えることにより、オリジナル画像Ｐより、特定のオブジェクトに限られない種々の部分画像を切り出すことができる。

また、注目領域抽出手段１１が、オブジェクト種別判別手段を併用することで、検出されたオブジェクトを含む部分画像Ｑと、注目領域を含む部分を含む部分画像Ｑをいずれをも表示手段１４に表示することにより、ユーザが、特定のオブジェクトのみならず、特定のオブジェクト以外の注目を引くような画像との両方をピックアップして視認できるので、オリジナル画像Ｐ全体の状況を把握することができる。

また、表示手段１３の解像度の大きさに基づいて、部分画像を作成する場合には、ユーザが視認しやすいようオリジナル画像から切り出された部分画像を表示することができる。

以上、詳細に説明したように、オリジナル画像から色、明度および直線成分の方向に基づいて、視覚的に注目される注目領域を抽出して、その注目領域を含む領域を部分画像として切り出すことにより、活用度の高い様々な注目領域／オブジェクトの部分画像を生成し、表示することができる。

画像処理装置の概略構成図 注目領域の抽出方法を説明するための図 オリジナル画像から注目領域を抽出する処理の流れを表すフローチャート オリジナル画像の一例（その１） 注目度マップの一例（その１） オリジナル画像の一例（その２） 注目度マップの一例（その２） オリジナル画像の一例（その３） オリジナル画像の一例（その４） 部分画像の一例（その１） ディスプレイ表示の一例（その１） オリジナル画像の一例（その５） 部分画像の一例（その４） 部分画像のみの一例（その１） ディスプレイ表示の一例（その２）

符号の説明

１ 画像処理装置
１０ オリジナル画像記憶手段
１１ 注目領域抽出手段
１２ 部分画像作成手段
１３ 表示手段
１４ 指示手段
Ｐ オリジナル画像
Ｑ 部分画像
ＲＯＩ 注目領域

Claims (6)

1. オリジナル画像を記憶するオリジナル画像記憶手段と、
   前記オリジナル画像の色、明度、および、該オリジナル画像に現れた直線成分の方向に基づいて、該オリジナル画像中の各部分の特徴が該部分の周囲に位置する部分の特徴と異なる度合いを求め、これらの異なる度合いの組み合わせから得られる注目度と前記オリジナル画像中に特定のオブジェクトが存在している確からしさをあらわす確信度とを所定の比率で合成した値から新たな注目度を求めて、該新たな注目度が所定の閾値以上の領域を注目領域として前記オリジナル画像の中から抽出する注目領域抽出手段と、
   該注目領域抽出手段により抽出された注目領域を含む所定の範囲内の画像を前記オリジナル画像から切り出すことにより部分画像を作成する部分画像作成手段と、
   該部分画像作成手段により作成された部分画像を表示する表示手段とを備えることを特徴とする画像処理装置。
2. 前記部分画像が複数作成された際に、該複数作成された部分画像のうち、いずれかの前記部分画像を選択し、該選択された部分画像を前記表示手段に表示させるように指示する指示手段とを更に備えることを特徴とする請求項１記載の画像処理装置。
3. 前記部分画像作成手段が、更に前記表示手段の解像度の大きさに基づいて、前記部分画像を作成するものであることを特徴とする請求項１または２記載の画像処理装置。
4. 前記表示手段が、前記新たな注目度が高い注目領域を含む部分画像から順番に表示するものであることを特徴とする請求項１から３いずれか１項記載の画像処理装置。
5. オリジナル画像を記憶するオリジナル画像記憶手段と、
   前記オリジナル画像の中から注目領域を抽出する注目領域抽出手段と、
   前記オリジナル画像から部分画像を作成する部分画像作成手段と、
   前記部分画像を表示する表示手段とを備えた画像処理装置の動作方法であって、
   前記注目領域抽出手段により、前記オリジナル画像の色、明度、および、該オリジナル画像に現れた直線成分の方向に基づいて、該オリジナル画像中の各部分の特徴が該部分の周囲に位置する部分の特徴と異なる度合いを求め、これらの異なる度合いの組み合わせから得られる注目度と前記オリジナル画像中に特定のオブジェクトが存在している確からしさをあらわす確信度とを所定の比率で合成した値から新たな注目度を求めて、該新たな注目度が所定の閾値以上の領域を注目領域として前記オリジナル画像の中から抽出し、
   前記部分画像作成手段により、前記抽出された注目領域を含む所定の範囲内の画像を前記オリジナル画像から切り出すことにより部分画像を作成し、
   前記表示手段により、前記作成された部分画像を表示することを特徴とする画像処理装置の動作方法。
6. コンピュータに、
   オリジナル画像を記憶する機能と、
   前記オリジナル画像の色、明度、および、該オリジナル画像に現れた直線成分の方向に基づいて、該オリジナル画像中の各部分の特徴が該部分の周囲に位置する部分の特徴と異なる度合いを求め、これらの異なる度合いの組み合わせから得られる注目度と前記オリジナル画像中に特定のオブジェクトが存在している確からしさをあらわす確信度とを所定の比率で合成した値から新たな注目度を求めて、該新たな注目度が所定の閾値以上の領域を注目領域として前記オリジナル画像の中から抽出する機能と、
   該抽出された注目領域を含む所定の範囲内の画像を前記オリジナル画像から切り出すことにより部分画像を作成する機能と、
   該作成された部分画像を表示する機能とを実行させることを特徴とするプログラム。

Images