JP2009146033A - 部分画像抽出方法 - Google Patents

Abstract

【課題】画像内から部分画像を抽出すること。
【解決手段】部分画像抽出部１０４ａは、画像内に、使用者によって指定された指定点２ａを含む枠Ａを設定し、枠Ａ内の画像に基づいて、各色成分ごとのプレーン画像を生成し、生成した各色成分のプレーン画像を、それぞれのプレーン画像ごとに設定した閾値を用いて２値化して、各色成分ごとのマスク画像を生成する。そして、各色成分ごとのマスク画像のそれぞれを対象として、部分画像を抽出するのに適したマスク画像であるかを判定するための評価値を算出し、算出した評価値に基づいて、各色成分ごとのマスク画像の中から部分画像を抽出するのに最も適した最適マスク画像を選択する。さらに、選択した最適マスク画像内に、部分画像を抽出するための枠Ｂを設定し、対象画像から、最適マスク画像内に設定した枠Ｂ内の領域に対応する領域内の画像を、部分画像として抽出する。
【選択図】図１

Description

本発明は、画像内から部分画像を抽出するための部分画像抽出方法に関する。

次のような撮影画面の顔領域検出方法が知られている。この顔領域検出方法では、撮影時の撮影倍率から人物の顔のサイズを推定するとともに、画面内での肌色領域のサイズを算出する。そして、推定した人物の顔のサイズと画面上の肌色領域のサイズとを比較することによって、撮影画面内における人物の顔の領域を検出する（例えば、特許文献１）。

特開平０７−３０６４８３号公報

しかしながら、従来の方法によれば、人物の顔のサイズを撮影時の撮影倍率から推定しているが、画像内における人物の顔のサイズは、カメラから人物までの距離によっても異なる。そのため、撮影時の撮影倍率から推定したサイズは必ずしも正確であるとは限らず、この推定値に誤りがあると人物の顔の領域を正確に検出できない可能性があった。

本発明は、複数の色成分を有する表色系で表される対象画像内から使用者が注目している部分を含む部分画像を抽出するための部分画像抽出方法であって、対象画像内に、使用者によって指定された指定点を含む枠を設定し、枠内の画像に基づいて、各色成分ごとの色成分画像を生成し、生成した各色成分画像を、それぞれの色成分画像ごとに設定した閾値を用いて２値化して、各色成分ごとのマスク画像を生成し、各色成分ごとのマスク画像のそれぞれを対象として、部分画像を抽出するのに適したマスク画像であるかを判定するための評価値を算出し、算出した評価値に基づいて、各色成分ごとのマスク画像の中から部分画像を抽出するのに最も適したマスク画像を最適マスク画像として選択し、選択した最適マスク画像内に、部分画像を抽出するための抽出領域を設定し、対象画像から、最適マスク画像内に設定した抽出領域に対応する領域内の画像を、部分画像として抽出することを特徴とする。
本発明では、最適マスク画像内の白画素の重心位置と、白画素の数とに基づいて、最適マスク画像内に設定する抽出領域の位置および大きさを決定するようにしてもよい。
各色成分画像ごとに濃度平均値、または濃度中央値を閾値として算出し、各色成分画像ごとに算出した閾値を用いて、それぞれの色成分ごとのマスク画像を生成するようにしてもよい。
各色成分ごとのマスク画像内の白画素の数と、白画素の重心周りの慣性モーメントとに基づいて、評価値を算出するようにしてもよい。
最適マスク画像内の白画素の重心位置から各白画素までの距離に応じた重み付けを行って白画素の重心位置を補正し、補正後の白画素の重心位置が抽出領域中心位置となるように、最適マスク画像内に設定する抽出領域の位置を決定するようにしてもよい。

本発明によれば、画像内で使用者が注目している部分を含む部分画像を正確に抽出することができる。

図１は、本実施の形態における部分画像抽出装置としてカメラを使用した場合の一実施の形態の構成を示すブロック図である。カメラ１００は、入力スイッチ１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリ１０５と、メモリカードスロット１０６と、モニタ１０７とを備えている。

入力スイッチ１０１は、使用者によって操作される種々の入力部材を含んでいる。例えば、この入力スイッチ１０１には、レリーズボタンやカメラ１００を操作するための種々の操作ボタンが含まれる。レンズ１０２は、複数の光学レンズ群から構成されるが、図１では代表して１枚のレンズで表している。

撮像素子１０３は、例えばＣＣＤやＣＭＯＳであり、レンズ１０２を通して入力される被写体像を撮像して、撮像して得た画像データを制御装置１０４へ出力する。メモリ１０５は、例えば不揮発性のフラッシュメモリであって、このメモリ１０５には、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

メモリカードスロット１０６は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０７は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０７には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、撮像素子１０３から入力される画像データをモニタ１０７に出力して表示し、さらにメモリカードスロット１０６に挿入されているメモリカード内に記録する。なお、制御装置１０４を構成するメモリには、ＲＯＭやＲＡＭが含まれる。

制御装置１０４はまた、部分画像抽出部１０４ａと、ＡＦ（オートフォーカス）処理部１０４ｂと、撮影処理部１０４ｃとを機能的に有している。本実施の形態におけるカメラ１００では、制御装置１０４は、撮像素子１０３から所定時間間隔で画像データを取得してモニタ１０７に出力することによって、モニタ１０７にスルー画を表示する。そして、使用者によって入力スイッチ１０１に含まれるレリーズボタンが半押しされるとＡＦ（オートフォーカス）処理を行い、さらにレリーズボタンが全押しされると、撮影を行って画像データを取得し、メモリカードに記録する。

本実施の形態では、部分画像抽出部１０４ａは、撮像素子１０３からスルー画が入力された場合に、そのスルー画のあるフレーム内から使用者が注目している部分の画像（部分画像）を抽出する。そして、ＡＦ処理部１０４ｂは、使用者によってレリーズボタンが半押しされたタイミングで、部分画像抽出部１０４ａによって抽出された部分画像に基づいてＡＦ処理を実行する。これによって、被写体が激しく動き回っている場合など、従来の方法ではピントを合わせ難い場合であっても、使用者が注目している部分にピントを合わせることが可能となる。なお、ＡＦ処理は、公知の処理であるため説明を省略することとし、以下、部分画像抽出部１０４ａによる画像内からの部分画像抽出処理について詳細に説明する。

まず、使用者は、入力スイッチ１０１を操作してメニュー画面を呼び出し、当該メニュー画面上で「部分画像の抽出」を選択することによって、処理の開始を指示する。部分画像抽出部１０４ａは、使用者によって処理の開始が指示されると、モニタ１０７上にスルー画を表示する。使用者は、入力スイッチ１０１を操作して、モニタ１０７上に表示された画像内に、注目被写体の位置を特定するための指定点を画像内に設定する。例えば、使用者は、図２に示す画像上で人物の顔に注目している場合には、顔上に指定点（ユーザー指定点）２ａを設定する。

部分画像抽出部１０４ａは、画像内に設定された指定点２ａの位置に基づいて、画像内から使用者が注目している部分の部分画像を抽出する。なお、図２に示す例では、指定点２ａは、人物の顔から外れているが、部分画像抽出部１０４ａは、以下に示す処理によって、使用者が注目している人物の顔を含む領域内の画像を部分画像として抽出することができる。

部分画像抽出部１０４ａは、使用者によって設定された指定点２ａを中心とした所定範囲を囲むように、画像内に枠Ａを設定する。そして、部分画像抽出部１０４ａは、枠Ａ内の画像を抽出し、抽出した枠Ａ内の画像に基づいて、各色成分ごとの画像（色成分画像）、すなわちＹ成分の画像（Ｙプレーン画像）、Ｃｒ成分の画像（Ｃｒプレーン画像）、およびＣｂ成分の画像（Ｃｂプレーン画像）をそれぞれ生成する。

すなわち、部分画像抽出部１０４ａは、処理の対象となる画像データがＹＣｂＣｒ表色系で表された画像データである場合には、Ｙ成分（輝度成分）からなる輝度画像をＹプレーン画像として、Ｃｂ成分（色差成分）からなる色差画像をＣｂプレーン画像として、Ｃｒ成分（色差成分）からなる色差画像をＣｒプレーン画像として生成する。

これに対して、処理の対象となる画像データが他の表色系で表されている場合には、部分画像抽出部１０４ａは、あらかじめ枠Ａ内の画像データをＹＣｂＣｒ表色系の画像データに変換しておく。例えば、処理の対象となる画像データがＲＧＢ表色系で表されている場合には、部分画像抽出部１０４ａは、ＲＧＢ表色系で表されている画像データを次式（１）〜（３）を用いてＹＣｂＣｒ色空間における輝度成分からなる輝度画像と色差成分からなる色差画像とに変換する。

すなわち、部分画像抽出部１０４ａは、枠Ａ内の画像データを対象として、次式（１）を用いてＹ成分からなる輝度画像をＹプレーン画像として生成し、次式（２）および（３）を用いてＣｂ成分からなる色差画像とＣｒ成分からなる色差画像とをそれぞれＣｂプレーン画像、およびＣｒプレーン画像として生成する。
Ｙ ＝ ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ ・・・（１）
Ｃｂ＝−０．１６９Ｒ−０．３３２Ｇ＋０．５００Ｂ ・・・（２）
Ｃｒ＝ ０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ ・・・（３）

部分画像抽出部１０４ａは、生成したＹプレーン画像、Ｃｂプレーン画像、およびＣｒプレーン画像について、横軸に濃度値（０〜２５５）、縦軸に画素数をとった濃度ヒストグラムを作成する。すなわち、Ｙプレーン画像、Ｃｂプレーン画像、Ｃｒプレーン画像のそれぞれに対して、画像内の全画素の濃度値を調べ、各濃度値ごとに画素数を計数して、濃度値ごとの画素数の出現頻度を示した濃度ヒストグラムを作成する。

その結果、例えば図３に示すような濃度ヒストグラムを得る。なお、図３に示す濃度ヒストグラムは、Ｙプレーン画像、Ｃｂプレーン画像、およびＣｒプレーン画像のいずれか１つ、例えばＹプレーン画像について作成したものであり、その他のＣｂプレーン画像、およびＣｒプレーン画像についても同様に作成される。

部分画像抽出部１０４ａは、このように作成した各プレーン画像の濃度ヒストグラムの中央値、すなわち濃度中央値（Ｍｅｄｉａｎ）３ａを算出する。そして、この算出した濃度中央値３ａを閾値に設定して、生成したＹプレーン画像、Ｃｂプレーン画像、およびＣｒプレーン画像のそれぞれを２値化して２値マスク画像を生成する。その結果、図４に示すように、それぞれのプレーン画像についての２値マスク画像を生成することができる。

すなわち、部分画像抽出部１０４ａは、Ｙプレーン画像をＹプレーン画像の濃度中央値３ａを閾値として使用して２値化することによって、図４（ａ）に示すＹマスク画像を生成し、Ｃｂプレーン画像をＣｂプレーン画像の濃度中央値３ａを閾値として使用して２値化することによって、図４（ｂ）に示すＣｂマスク画像を生成する。また、部分画像抽出部１０４ａは、Ｃｒプレーン画像をＣｒプレーン画像の濃度中央値３ａを閾値として使用して２値化することによって、図４（ｃ）に示すＣｒマスク画像を生成する。さらに、部分画像抽出部１０４ａは、Ｙマスク画像を反転させることによって、図４（ｄ）に示すＹ補数マスク画像を生成する。

なお、本実施の形態では、各プレーン画像を濃度中央値３ａを閾値として使用して２値化することによってマスク画像を生成する例について説明したが、その他の値を閾値として使用するようにしてもよい。例えば、各プレーン画像の濃度ヒストグラムの平均値、すなわち濃度平均値（Ｍｅａｎ）３ｂを算出して、これを閾値として使用してもよい。

部分画像抽出部１０４ａは、生成したマスク画像の中から、部分画像を抽出するために用いるマスク画像を選択するために、各マスク画像に対する評価値を算出する。具体的には、部分画像抽出部１０４ａは、まず、各マスク画像の白画素を抽出する。そしてマスク画像ごとにマスク画像内の白画素数を算出するとともに、マスク画像内における白画素の重心位置を特定する。

そして、部分画像抽出部１０４ａは、各マスク画像のそれぞれについて、マスク画像内で特定した白画素の重心位置に基づいて、白画素の重心周りの慣性モーメントを算出する。すなわち、部分画像抽出部１０４ａは、Ｙマスク画像の白画素の重心周りの慣性モーメント、Ｃｂマスク画像の白画素の重心周りの慣性モーメント、Ｃｒマスク画像の白画素の重心周りの慣性モーメント、およびＹ補数マスク画像の白画素の重心周りの慣性モーメントをそれぞれ算出する。なお、２値化して得たマスク画像における白画素の重心周りの慣性モーメントの算出方法については、公知のため詳細な説明を省略するが、例えば、白画素の重心からの画素距離の２乗×０または１の濃度値の和により算出することができる。

部分画像抽出部１０４ａは、上述した処理で各マスク画像ごとに算出した白画素数、および白画素の重心周りの慣性モーメントとに基づいて、次式（４）により、各マスク画像の評価値を算出する。なお、次式（４）において、係数は、あらかじめ設定されている値である。
評価値＝（白画素数／慣性モーメント）×係数 ・・・（４）

例えば、図４に示した各マスク画像について、係数を１００００として算出した場合の評価値を、図４の各マスク画像の下部に示す。部分画像抽出部１０４ａは、各マスク画像の中から、算出した評価値が最も大きいマスク画像を部分画像を抽出するための最適マスク画像として選択する。すなわち、図４に示す例では、部分画像抽出部１０４ａは、評価値が最も大きいＣｒマスク画像を最適マスク画像として選択する。

部分画像抽出部１０４ａは、選択した最適マスク画像内に、中心をそのマスク画像内の白画素の重心位置とし、大きさをそのマスク画像内で算出した白画素数の平方根とする枠Ｂ（抽出領域）を設定する。なお、部分画像抽出部１０４ａは、白画素数の平方根が小数の場合には、整数に切り上げて、これを枠Ｂの大きさとする。例えば、部分画像抽出部１０４ａは、図５に示すように、最適マスク画像として選択したＣｒマスク画像内に枠Ｂを設定する。部分画像抽出部１０４ａは、図２に示したスルー画内から、最適マスク画像内に設定した枠Ｂ内に相当する領域内の画像を部分画像として抽出する。

これによって、図６に示すように、使用者によって指定された指定点２ａに基づいて設定した枠Ａ内から、使用者が注目している被写体を含む枠Ｂ内の画像を部分画像として抽出することができる。そして、上述したように、指定点２ａは、使用者が実際に注目している人物の顔からは外れているが、抽出される部分画像は、使用者が注目している人物の顔を含んだ画像とすることができる。

ＡＦ処理部１０４ｂは、使用者によって、レリーズボタンが半押しされたタイミングで、部分画像抽出部１０４ａによって抽出された部分画像を対象として、公知のＡＦ処理を実行し、ピント合わせを行う。その後、使用者によってレリーズボタンが全押しされると、撮影処理部１０４ｃは、撮像素子１０３から入力される画像データをメモリカードに記録することによって撮影を行う。

図７は、本実施の形態におけるカメラ１００の処理を示すフローチャートである。図７に示す処理は、上述したように、使用者によって入力スイッチ１０１が操作されて、メニュー画面上で「部分画像の抽出」が指示されると起動するプログラムとして制御装置１０４によって実行される。

ステップＳ１０において、部分画像抽出部１０４ａは、上述したスルー画をモニタ１０７に表示して、ステップＳ２０へ進む。ステップＳ２０では、部分画像抽出部１０４ａは、スルー画上で、使用者によって指定点２ａが指示されたか否かを判断し、肯定判断した場合には、ステップＳ３０へ進む。

ステップＳ３０では、部分画像抽出部１０４ａは、使用者によって指定された指定点２ａを中心とした所定範囲を囲むように、画像内に枠Ａを設定する。その後、ステップＳ４０へ進み、部分画像抽出部１０４ａは、枠Ａ内の画像を抽出して、抽出した枠Ａ内の画像に基づいて、上述したＹプレーン画像、Ｃｒプレーン画像、およびＣｂプレーン画像をそれぞれ生成する。その後、ステップＳ５０へ進む。

ステップＳ５０では、部分画像抽出部１０４ａは、各プレーン画像について、図３に示した濃度ヒストグラムを作成し、各プレーン画像の濃度ヒストグラムの濃度中央値（Ｍｅｄｉａｎ）３ａを算出する。そして、部分画像抽出部１０４ａは、各プレーン画像を、算出した濃度中央値３ａを閾値として用いて２値化することによって、図４に示したように、各プレーン画像に対応するマスク画像を生成する。また、部分画像抽出部１０４ａは、生成したＹマスク画像を反転することによって、Ｙ補数マスク画像を生成する。その後、ステップＳ６０へ進む。

ステップＳ６０では、部分画像抽出部１０４ａは、上述したように、各マスク画像ごとに算出した白画素数、および白画素の重心周りの慣性モーメントとに基づいて、式（４）により、各マスク画像の評価値を算出する。その後、ステップＳ７０へ進み、部分画像抽出部１０４ａは、各マスク画像の中から、算出した評価値が最も大きいマスク画像を部分画像を抽出するための最適マスク画像として選択して、ステップＳ８０へ進む。

ステップＳ８０では、部分画像抽出部１０４ａは、上述したように、選択したマスク画像内に、中心をそのマスク画像内の白画素の重心位置とし、大きさをそのマスク画像内で算出した白画素数の平方根とする枠Ｂを設定する。その後、ステップＳ９０へ進み、部分画像抽出部１０４ａは、スルー画内から、マスク画像内で設定した枠Ｂ内に相当する領域内の画像を抽出して、これを部分画像として抽出する。その後、ステップＳ１００へ進む。

ステップＳ１００では、ＡＦ処理部１０４ｂは、使用者によってレリーズボタンが半押しされたか否かを判断する。肯定判断した場合には、ステップＳ１１０へ進み、ＡＦ処理部１０４ｂは、部分画像抽出部１０４ａによって抽出された部分画像を対象として、公知のＡＦ処理を実行し、ピント合わせを行う。その後、ステップＳ１２０へ進む。

ステップＳ１２０では、撮影処理部１０４ｃは、使用者によってレリーズボタンが全押しされたか否かを判断する。肯定判断した場合には、ステップＳ１３０へ進み、撮影処理部１０４ｃは、撮像素子１０３から入力される画像データをメモリカードに記録することによって撮影を行う。その後、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）部分画像抽出部１０４ａは、画像内に、使用者によって指定された指定点２ａを含む枠Ａを設定し、枠Ａ内の画像に基づいて、各色成分ごとのプレーン画像を生成し、生成した各色成分のプレーン画像を、それぞれのプレーン画像ごとに設定した閾値を用いて２値化して、各色成分ごとのマスク画像を生成した。また、Ｙマスク画像を反転することによって、Ｙ補数マスク画像を生成した。そして、部分画像抽出部１０４ａは、各色成分ごとのマスク画像のそれぞれを対象として、部分画像を抽出するのに適したマスク画像であるかを判定するための評価値を算出し、算出した評価値に基づいて、各色成分ごとのマスク画像の中から部分画像を抽出するのに最も適したマスク画像を最適マスク画像として選択した。さらに、部分画像抽出部１０４ａは、選択した最適マスク画像内に、部分画像を抽出するための枠Ｂを設定し、対象画像から、最適マスク画像内に設定した枠Ｂ内の領域に対応する領域内の画像を、部分画像として抽出するようにした。これによって、画像内で使用者が注目している部分を含む部分画像を正確に抽出することができる。

（２）部分画像抽出部１０４ａは、最適マスク画像内の白画素の重心位置と、白画素の数とに基づいて、最適マスク画像内に設定する枠Ｂの位置および大きさを決定するようにした。これによって、２値化して得たマスク画像内においては、被写体像に相当する範囲が白い領域として表され、その他の背景領域が黒い領域として表されることを加味して、使用者が注目している可能性が高い被写体を含む領域を含むように最適マスク画像内に枠Ｂを設定することができる。

（３）部分画像抽出部１０４ａは、各色成分のプレーン画像ごとに濃度平均値、または濃度中央値を閾値として算出し、各色成分画像ごとに算出した閾値を用いて、それぞれの色成分ごとのマスク画像を生成するようにした。これによって、各プレーン画像を最適な閾値を用いて２値化することができる。

（４）部分画像抽出部１０４ａは、各色成分ごとのマスク画像内の白画素の数と、白画素の重心周りの慣性モーメントとに基づいて、色（４）によって評価値を算出するようにした。これによって、マスク画像内に白画素が多く存在し、かつ白画素の重心周りの慣性モーメントが小さい場合には、白画素の重心周りに多数の白い領域がまとまって集中していることを意味しており、これは白画素の重心周りに被写体が存在している可能性が高いことを示しているため、このようなマスク画像の評価値が高くなるようにして、部分画像を抽出するための最適なマスク画像を選択することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、処理対象の画像データは、ＹＣｂＣｒ表色系で表されているものとした。しかしながら、処理対象の画像データがＹＩＱ表色系における画像データである場合であっても同様に処理が可能である。

（２）上述した実施の形態では、部分画像抽出部１０４ａが画像内から抽出した部分画像を対象としてＡＦ処理を実行する例について説明した。しかしながら、これに限定されず、部分画像抽出部１０４ａが画像内から抽出した部分画像を対象として露出処理を行うようにしてもよい。また、部分画像抽出部１０４ａが画像内から抽出した部分画像をテンプレート画像として抽出して、時系列で入力されるフレーム間での被写体追尾に用いるようにしてもよい。

（３）上述した実施の形態では、部分画像抽出部１０４ａは、選択した最適マスク画像内に、中心をそのマスク画像内の白画素の重心位置とし、大きさをそのマスク画像内で算出した白画素数の平方根とする枠Ｂを設定し、スルー画内から、最適マスク画像内に設定した枠Ｂ内に相当する領域内の画像を部分画像として抽出する例について説明した。しかしながら、このようにマスク画像内の白画素の重心位置を中心とするように枠Ｂを設定した場合には、画像の端部などの被写体とは関係が無い位置に白画素が存在する場合には、枠Ｂが使用者が注目している被写体からずれて設定される可能性がある。このため、部分画像抽出部１０４ａは、このような不具合を解決するために、次のようにしてマスク画像内の白画素の重心位置を補正するようにしてもよい。

例えば、図８（ａ）に示す画像に対して上述した処理を行った結果、図８（ｂ）に示すように、Ｙマスク画像が最適マスク画像として選択され、当該Ｙマスク画像内に枠Ｂが設定されたものとする。この図８（ｂ）に示す例では、マスク画像内の左上の白画素の影響を受けて、白画素の重心位置が被写体位置からずれるため、枠Ｂは被写体からずれて設定されてしまっている。この変形例では、部分画像抽出部１０４ａは、白画素の重心位置を補正して、図８（ｃ）に示すように、枠Ｂが適正位置に設定されるようにする。

図９は、図８（ｂ）に示したＹマスク画像における白画素の分布を表した図である。この図９においては、「１」が白画素を表し「０」が黒画素を表している。なお、図９の右側の数字は、対応する列に含まれる白画素の合計個数を表し、下側の数字は、対応する行に含まれる白画素の合計個数を表している。白画素がこの図９に示すように分布している場合に算出される白画素の重心位置は画素９ａとなる。ここでは、画素９ａを仮の重心と呼ぶ。

部分画像抽出部１０４ａは、仮の重心９ａからＹ方向（縦方向）およびＸ方向（横方向）に並んでいる各画素のそれぞれを対象として、仮の重心９ａからの距離を算出する。例えば、仮の重心９ａの１つ上の画素は、Ｙ方向の距離が１となり、仮の重心９ａの２つ右の画素は、Ｘ方向の距離が２となる。部分画像抽出部１０４ａは、このように算出した距離のうち、Ｙ方向の距離の最大値と、Ｘ方向の距離の最大値を特定する。図９に示す例では、Ｙ方向の距離の最大値は、一番上の画素までの距離の１１であり、Ｘ方向の距離の最大値は、一番右の画素までの距離の９である。

部分画像抽出部１０４ａは、特定したＹ方向の距離の最大値＋１（１１＋１＝１２）からＹ方向の距離を算出した各画素までの距離を減算する。これによって、Ｙ方向の各画素ごとに、図９の左側に示す算出結果（Ｙ方向算出結果）が得られる。また、部分画像抽出部１０４ａは、特定したＸ方向の距離の最大値＋１（９＋１＝１０）からＸ方向の距離を算出した各画素までの距離を減算する。これによって、Ｘ方向の各画素ごとに、図９の上側に示す算出結果（Ｘ方向算出結果）が得られる。

部分画像抽出部１０４ａは、このように得たＸ方向算出結果とＹ方向算出結果を用いて重み付けを行うことによって、Ｙマスク画像内における白画素の重心位置を補正する。具体的には、部分画像抽出部１０４ａは、図１０（ａ）に示す式によって重み付けを行って補正後の重心９ｂの座標値（ｘ_ｗ，ｙ_ｗ）を算出することができる。なお、図１０（ｂ）は、ｘ_ｗの分子の算出例を示した図である、図１０（ｃ）は、ｘ_ｗの分母の算出例を示した図である、

このように補正後の重心９ｂを算出し、この補正後の重心９ｂを中心として枠Ｂを設定することにより、仮の重心９ａからの距離が遠い白画素は、重みが小さく重心計算へ寄与し難くなるため、周辺ノイズによる影響を抑えることができ、枠Ｂを適正位置に設定することができるようになる。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

カメラの一実施の形態の構成を示すブロック図である。 画像上に設定された指定点２ａの具体例を示す図である。 プレーン画像に基づいて作成された濃度ヒストグラムの具体例を示す図である。 プレーン画像を２値化して生成したマスク画像の具体例を示す図である。 Ｃｒマスク画像内に枠Ｂを設定した場合の具体例を示す図である。 画像内から抽出される部分画像の具体例を示す図である。 カメラ１００の処理を示すフローチャート図である。 変形例（３）における枠Ｂの設定例を示す図である。 変形例（３）における白画素の分布例を示す図である。 変形例（３）における白画素の重心位置の補正式の具体例を示す図である。

符号の説明

１００ カメラ、１０１ 入力スイッチ、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０４ａ 部分画像抽出部、１０４ｂ ＡＦ処理部、１０４ｃ 撮影処理部、１０５ メモリ、１０６ メモリカードスロット、１０７ モニタ

Claims (5)

1. 複数の色成分を有する表色系で表される対象画像内から使用者が注目している部分を含む部分画像を抽出するための部分画像抽出方法であって、
   前記対象画像内に、使用者によって指定された指定点を含む枠を設定し、
   前記枠内の画像に基づいて、各色成分ごとの色成分画像を生成し、
   生成した各色成分画像を、それぞれの色成分画像ごとに設定した閾値を用いて２値化して、各色成分ごとのマスク画像を生成し、
   前記各色成分ごとのマスク画像のそれぞれを対象として、前記部分画像を抽出するのに適したマスク画像であるかを判定するための評価値を算出し、
   算出した前記評価値に基づいて、前記各色成分ごとのマスク画像の中から前記部分画像を抽出するのに最も適したマスク画像を最適マスク画像として選択し、
   選択した前記最適マスク画像内に、前記部分画像を抽出するための抽出領域を設定し、
   前記対象画像から、前記最適マスク画像内に設定した前記抽出領域に対応する領域内の画像を、前記部分画像として抽出することを特徴とする部分画像抽出方法。
2. 請求項１に記載の部分画像抽出方法において、
   前記最適マスク画像内の白画素の重心位置と、白画素の数とに基づいて、前記最適マスク画像内に設定する前記抽出領域の位置および大きさを決定することを特徴とする部分画像抽出方法。
3. 請求項１または２に記載の部分画像抽出方法において、
   各色成分画像ごとに濃度平均値、または濃度中央値を閾値として算出し、各色成分画像ごとに算出した閾値を用いて、それぞれの色成分ごとの前記マスク画像を生成することを特徴とする部分画像抽出方法。
4. 請求項１〜３のいずれか一項に記載の部分画像抽出方法において、
   各色成分ごとのマスク画像内の白画素の数と、白画素の重心周りの慣性モーメントとに基づいて、前記評価値を算出することを特徴とする部分画像抽出方法。
5. 請求項２に記載の部分画像抽出方法において、
   前記最適マスク画像内の白画素の重心位置から各白画素までの距離に応じた重み付けを行って前記白画素の重心位置を補正し、補正後の前記白画素の重心位置が前記抽出領域中心位置となるように、前記最適マスク画像内に設定する前記抽出領域の位置を決定することを特徴とする部分画像抽出方法。

Images