JP2008109336A - 画像処理装置および撮像装置 - Google Patents

Abstract

【課題】連続フレーム処理において撮影画像内で移動する人物について顔領域検出の処理に時間がかかっても、メモリ負荷の増大、メモリアクセスのトラフィックの増加を抑制し、顔領域の検出を高精度に行うことができる画像処理装置を提供する。
【解決手段】入力されてくる画像データをメモリ１８に格納するメモリ制御部２と、メモリ制御部２を介してメモリから読み出された画像データにおいて動きベクトルを検出する動き検出処理部４と、メモリから読み出された画像データに基づいて顔領域検出を行って顔領域位置情報を得る顔領域検出処理部６と、動き検出処理部４による動きベクトルに基づいてフレーム間の予測移動量を演算するとともに、顔領域検出処理部６による顔領域位置情報に予測移動量を付加して予測顔領域位置情報を求める顔領域補正手段（ＣＰＵ）１７を備える。
【選択図】図１

Description

本発明は、デジタルカメラや携帯電話やパソコンなどに搭載される画像処理装置にかかわり、特には、移動する人物を撮影するときに行う顔領域検出処理の精度を向上させるための技術に関する。

近年、フィルムも現像も不要なデジタルスチルカメラは活況を呈し、携帯電話もカメラ搭載型が主流を占め、高速化と高画質化の技術向上には目覚ましいものがある。人物の写真撮影においては、人物の動きや手振れに強力に対応でき、自動合焦時と撮影時とで構図を変更することなく撮影できることが重要である。現状では、画面内にある人物の顔領域を検出して焦点を合わせ、顔領域に最適な露出で撮影する図６に示すような撮影装置が提案されている（例えば特許文献１参照）。

Ａ／Ｄ変換された画像データを第１の画像データとして記憶する一方、画像データに所定の処理を施して第２の画像データとして記憶し、第２の画像データから顔領域を検出する。その間にＡ／Ｄ変換された画像データに基づいて画像の表示を行う。顔領域の検出が完了すると、第１の画像データのうちの顔領域に対応する部分のデータから必要な情報を抽出してオートフォーカス、自動露出、ホワイトバランスの処理を行う。この場合、撮影シーケンスの中で顔領域検出用の画像データから顔領域検出を行うので、オートフォーカス、自動露出、ホワイトバランスの処理を人物の動きに対して素早く追随させることができる。
特開２００５−３１８５５４号公報（第１３−１６頁、第１−６図）

しかし、上記従来の撮像装置では、センサの動画読み出しに相当する連続フレーム処理を実現する場合に、人物の顔領域の検出に時間がかかる。そのため、フレーム単位の遅延時間分の複数の画像データをメモリ内に常時格納する必要があり、顔領域検出用の画像データからオートフォーカス、自動露出、ホワイトバランスの評価値を検出する際のメモリアクセスのトラフィックも増加するという課題がある。

本発明は、このような事情に鑑みて創作したものであり、連続フレーム処理において撮影画像内で移動する人物について顔領域検出の処理に時間がかかっても、メモリ負荷を増大させることなく、またメモリアクセスのトラフィックを増加させることなく、顔領域の検出を高精度に行うことができる画像処理装置を提供することを目的としている。

本発明による画像処理装置は、
入力されてくる画像データをメモリに格納するメモリ制御部と、
前記メモリ制御部を介して前記メモリから読み出された前記画像データにおいて動きベクトルを検出する動き検出処理部と、
前記メモリ制御部を介して前記メモリから読み出された前記画像データに基づいて顔領域検出を行って顔領域位置情報を得る顔領域検出処理部と、
前記動き検出処理部による前記動きベクトルに基づいてフレーム間の予測移動量を演算するとともに、前記顔領域検出処理部による前記顔領域位置情報に前記予測移動量を付加して予測顔領域位置情報を求める顔領域補正手段とを備えたものである。

この構成において、動き検出処理部は、メモリから読み出された画像データにおいて動きベクトルの検出を行う。一方、顔領域検出処理部は、メモリから読み出された画像データに対して顔領域検出の処理を行って顔領域位置情報を得る。さらに、顔領域補正手段は、動きベクトルに基づいてフレーム間の予測移動量を演算するとともに、顔領域位置情報に予測移動量を付加して予測顔領域位置情報を求める。このように、顔領域位置情報に予測移動量を加えて補正した予測顔領域位置情報を得ることができるので、連続フレーム処理において撮影画像内で移動する人物について顔領域検出の処理に時間がかかっても、顔領域の検出を高精度に行うことが可能となる。そして、この場合の処理は、動きベクトルから予測移動量を演算することと、予測移動量を顔領域位置情報に付加することとであるため、顔領域検出の精度向上を、メモリ負荷を増大させることなく、またメモリアクセスのトラフィックを増加させることなく実現することが可能となる。

上記構成の画像処理装置において、前記顔領域補正手段は、前記動きベクトルから前記予測移動量を演算する際に、前記顔領域検出処理部による顔領域検出の開始フレームから顔領域検出枠の表示フレームまでの差分に相当する予測移動量を演算し、前記顔領域位置情報に前記予測移動量を付加して求めた前記予測顔領域位置情報が示す画面上の座標位置に前記顔領域検出枠を表示させるためのオンスクリーンデータを生成するという態様がある。これは、顔領域の位置や大きさを示す顔領域検出枠を対応する表示フレームの動画中の人物の顔に位置対応させて重畳表示させる場合のものである。顔領域検出の開始フレームから顔領域検出枠の表示フレームまでの時間差に相当する予測移動量を求め、この予測移動量を顔領域位置情報に付加して予測顔領域位置情報を割り出すことにより、顔領域検出枠の重畳表示をタイミング整合状態で実現することが可能となる。

また上記構成の画像処理装置において、前記顔領域補正手段は、前記動きベクトルから前記予測移動量を演算する際に、前記顔領域検出処理部による顔領域検出の開始フレームからセンサ信号取り込みフレームまでの差分に相当する予測移動量を演算し、次のセンサ信号取り込みフレームにおいて、前記顔領域位置情報に前記予測移動量を付加して求めた前記予測顔領域位置情報が示す画面上の座標位置で前記画像データからオートフォーカス、自動露出またはホワイトバランス用の評価値を取得させるという態様がある。これは、次のセンサ信号取り込みフレームでオートフォーカス、自動露出、ホワイトバランス用の評価値を求めるときの顔領域の位置情報を予測し、フィードバックするものである。顔領域検出の開始フレームからセンサ信号取り込みフレームまでの時間差に相当する予測移動量を求め、この予測移動量を顔領域位置情報に付加して予測顔領域位置情報を割り出すことにより、オートフォーカス、自動露出、ホワイトバランス用の評価値の取得をタイミング整合状態で実現することが可能となる。

また上記構成の画像処理装置において、さらに、前記メモリ制御部を介して前記メモリから読み出された前記画像データに対して表示処理用に縮小リサイズを行うとともにゲイン調整を行い、さらに、顔領域検出用に縮小リサイズを行うとともにゲイン調整を行うリサイズ処理部を備え、前記顔領域検出処理部は、前記リサイズ処理部による縮小リサイズの画像データに基づいて顔領域検出を行うように構成されているという態様がある。この場合、任意の１つの画像を表示しながら、顔領域検出と動きベクトル検出の両方を行うことが可能となる。

あるいは上記構成の画像処理装置において、さらに、前記メモリ制御部を介して前記メモリから読み出された前記画像データに対して表示処理用に縮小リサイズを行うとともにゲイン調整を行う第１のリサイズ処理部と、前記第１のリサイズ処理部による表示処理用の縮小リサイズの画像データに対して顔領域検出用に縮小リサイズを行うとともにゲイン調整を行う第２のリサイズ処理部と、前記第２のリサイズ処理部による前記顔領域検出用の縮小リサイズの画像データを格納する顔領域検出用メモリとを備え、前記顔領域検出処理部は、前記顔領域検出用メモリから読み出された前記顔領域検出用の縮小リサイズの画像データに基づいて顔領域検出を行うように構成されているという態様がある。

この構成によれば、メモリ制御部を介してメモリから読み出された画像データに対して表示処理用に縮小リサイズする処理とは別に、表示処理用の縮小リサイズの画像データに対して顔領域検出用に縮小リサイズする処理を行う。この場合、任意の画像を表示せずに、顔領域検出と動きベクトル検出の両方を行うことが可能となる。

本発明による撮像装置は、上記いずれかの画像処理装置が搭載されているものである。

本発明によれば、顔領域位置情報に予測移動量を加えて補正した予測顔領域位置情報を得ることができるので、連続フレーム処理において撮影画像内で移動する人物について顔領域検出の処理に時間がかかっても、顔領域の検出を高精度に行うことが可能で、必要な処理としては、動きベクトルから予測移動量を演算することと、予測移動量を顔領域位置情報に付加することとであるため、顔領域検出の精度向上を、メモリ負荷を増大させることなく、またメモリアクセスのトラフィックを増加させることなく実現することができる。その結果として、人物撮影時のオートフォーカス、自動露出またはホワイトバランスを安定的に動作させることが可能となる。

以下、本発明にかかわる画像処理装置の実施の形態を図面を用いて詳細に説明する。

（実施の形態１）
図１は本発明の実施の形態１における画像処理装置の構成を示すブロック図、図２は撮像装置の構成を示すブロック図である。

まず図２に基づいて撮像装置を説明する。図２において、１１は撮影レンズを含むレンズユニット、１２は２次元のイメージセンサ、１３はイメージセンサ１２の駆動パルスを発生するタイミングジェネレータ（ＴＧ）、１４はイメージセンサ１２から出力される撮像映像信号のノイズを除去し、ゲインをコントロールするＣＤＳ／ＡＧＣ回路、１５はアナログの映像信号をデジタルの画像データに変換するＡ／Ｄ変換器（ＡＤＣ）、１６は所定のプログラムが実行されることによって各種の処理（顔領域検出、動き検出処理を含む）を実行するＤＳＰ（デジタル信号処理回路）、１７は制御プログラムにより撮像装置の全体のシステム動作を制御するＣＰＵ（マイクロコンピュータ）、１８は画像データおよび各種データを保存するメモリ、１９は表示装置、２０は記録媒体である。本発明の実施の形態における画像処理装置は、ＤＳＰ１６とＣＰＵ１７とで構成される。

次に、上記のように構成された撮像装置の動作について説明する。

まず代表的な撮像記録動作として、撮像光がレンズユニット１１におけるレンズを介してイメージセンサ１２に入射すると、被写体像はフォトダイオードなどにより電気信号に変換され、タイミングジェネレータ１３からの駆動パルスに同期する垂直駆動および水平駆動により、アナログ連続信号である撮像映像信号がイメージセンサ１２から出力される。イメージセンサ１２から出力された撮像映像信号は、ＣＤＳ／ＡＧＣ回路１４のサンプルホールド回路（ＣＤＳ）によって１／ｆノイズが適切に低減された後、自動ゲインコントロールされ、Ａ／Ｄ変換器１５に入力されて、デジタルの画像データに変換される。得られた画像データはＤＳＰ１６に入力され、メモリ１８を介して、輝度信号処理、色分離、カラーマトリクス処理、リサイズ処理、動きベクトル検出処理を含むデータ圧縮処理、顔領域検出処理などの各種の処理が行われる。上記の処理を１シーケンス処理とする。そして、動画出力として連続的に出力されるフレームデータに対して、上記の各処理の並列処理が行われる。生成された画像データは表示装置１９に表示されるとともに、記録操作によって記録媒体２０に記録される。

記録データを再生する場合は、記録媒体２０から画像データを読み出し、圧縮データの場合は伸張処理を行い、表示サイズにリサイズした後、表示装置１９に出力する。

ＤＳＰ１６の詳細を示す図１において、１はＤＳＰ１６に取り込まれた画像データに対して黒レベル調整、ゲイン調整などの前処理を行う前処理部、２は各処理部とメモリ１８との間で画像データの書き込み・読み出しを制御するメモリ制御部、３はメモリ制御部２を介してメモリ１８から読み出された画像データに対して輝度信号処理、色信号処理を行い、輝度データと色差データ（またはＲＧＢデータ）としてメモリ１８に書き戻す画像データ処理部、４は輝度データと色差データの圧縮とその逆動作としての伸張を行うとともに、単位画素ブロックごとに動きベクトル情報を出力する圧縮伸張・動き検出処理部である。動きベクトルの検出は、動画圧縮処理の内部機能として実行される。５はメモリ制御部２を介してメモリ１８から読み出された元画像データ（輝度データと色差データ（またはＲＧＢデータ））に対して水平垂直方向のリサイズ処理とゲイン調整を行い、処理後の画像データをメモリ１８に書き戻すリサイズ処理部である。６はメモリ１８から読み出された画像データから顔領域検出を行う顔領域検出処理部、７はメモリ制御部２から受け取った表示処理用の画像データを表示装置１９に転送する表示処理部である。ＣＰＵ１７は、圧縮伸張・動き検出処理部４による動きベクトルに基づいてフレーム間の予測移動量を演算する機能と、顔領域検出処理部６による顔領域位置情報に予測移動量を付加して予測顔領域位置情報を求める機能とを含む顔領域補正手段を構成している。

次に、上記のように構成された本実施の形態の画像処理装置の動作を説明する。

ＤＳＰ１６に取り込まれた画像データは、前処理部１の前処理によって黒レベル調整、ゲイン調整などの前処理がなされ、次いで、メモリ制御部２を介してメモリ１８に書き込まれる。画像データ処理部３は、メモリ１８に書き込まれた画像データをメモリ制御部２を介して読み出し、輝度信号処理、色信号処理を行い、輝度データと色差データ（またはＲＧＢデータ）としてメモリ制御部２を介してメモリ１８に書き戻す。

リサイズ処理部５は、メモリ制御部２を介してメモリ１８から元画像データを読み出し、水平と垂直方向にリサイズ処理し、得られたリサイズ済みの画像データをメモリ１８に書き戻す。

そして、顔領域検出処理部６は、メモリ１８からメモリ制御部２を介して顔領域検出用のリサイズ済みの画像データを読み出し、顔の位置、大きさ、傾きなどの情報を検出する。また、並行処理にて、圧縮伸張・動き検出処理部４は、メモリ制御部２を介してメモリ１８からリサイズ済みの画像データを周期的に読み出し、入力される動画フレームデータの圧縮を行った後、メモリ１８に書き戻すことにより、圧縮画像データをメモリ空間内に格納する。その際、圧縮の中間処理として実施される動きベクトル検出の結果得られる基本ブロック単位の動きベクトルもあわせて出力する。得られた動きベクトルは、メモリ制御部２を介してメモリ１８に格納される場合と、圧縮伸張・動き検出処理部４の内部のレジスタに格納される場合がある。

リサイズ処理部５は、また、表示処理用に画像データを生成する場合には、画像データの全面に対して、表示処理に最適なサイズとなるように水平・垂直ともにリサイズ処理を実施し、得られた表示処理用の画像データを表示処理部７に出力する。

顔領域補正手段の機能を内在するＣＰＵ１７は、顔領域検出処理部６で得られた顔領域位置情報を取り込むとともに、圧縮伸張・動き検出処理部４で得られた該当エリア付近での動きベクトルを取り込み、動きベクトルに基づいて顔領域検出枠表示のフレームまでの遅延時間を考慮した予測移動量を算出し、顔領域位置情報に予測移動量を加えて予測顔領域位置情報を求める。予測移動量は、顔領域検出の開始フレームから顔領域検出枠の表示フレームまでの時間差分に相当するものである。得られた予測顔領域位置情報に基づいて顔領域検出枠を表示させるためのオンスクリーンデータを生成する。そして、表示処理部７において、リサイズ済みの画像データに対して顔領域検出枠のオンスクリーンデータをオンスクリーン表示機能で重畳表示させる。これらの一連の処理は、刻々と変化する画像データに対してリアルタイムにかつ並行処理的に実行される。表示装置１９では動画像のシーンとともに、その動画中の人物の顔領域に位置合わせの状態およびタイミング整合の状態で顔領域検出枠が表示される。

顔領域検出に時間がかかることから、顔領域検出の基になる画像データのフレームと、顔領域検出枠のオンスクリーンデータが得られたときに現に表示されている動画像シーンの画像データのフレームとは、時間的空間的にずれが生じる。上記の一連の処理は、この時間的空間的ずれを動きベクトルに基づく予測移動量で補正しているのである。圧縮伸張・動き検出処理部４で得られた動きベクトルを基に、顔領域検出のフレームと顔領域検出枠の表示のフレームとの遅延時間に対応する予測移動量を求め、この予測移動量を顔領域位置情報に加えて予測顔領域位置情報としている。

このように、顔領域位置情報に予測移動量を加えて補正した予測顔領域位置情報を得ることができるので、連続フレーム処理において撮影画像内で移動する人物について顔領域検出の処理に時間がかかっても、顔領域の検出を高精度に行うことが可能で、必要な処理としては、動きベクトルから予測移動量を演算することと、予測移動量を顔領域位置情報に付加することとであるため、顔領域検出の精度向上を、メモリ負荷を増大させることなく、またメモリアクセスのトラフィックを増加させることなく実現することができる。その結果として、人物撮影時のオートフォーカス、自動露出またはホワイトバランスを安定的に動作させることが可能となる。

また、顔領域検出の開始フレームからセンサ信号取り込みフレームまでの差分に相当する予測移動量を演算し、顔領域位置情報に予測移動量を付加して求めた予測顔領域位置情報を前処理部１にフィードバックさせる。そして、次のセンサ信号取り込みフレームにおいて、予測顔領域位置情報が示す画面上の座標位置で画像データからオートフォーカス、自動露出またはホワイトバランス用の評価値を取得する。これにより、タイミングを整合させる状態で、オートフォーカス、自動露出、ホワイトバランス用の評価値を精度良く取得することが可能となる。その結果、オートフォーカス、自動露出、ホワイトバランスを高精度に実現することができる。

シーケンシャルな画像処理の具体例を図３を用いて説明する。

第１フレームでは、イメージセンサ１２による撮像で得られた画像データを入力し、前処理部１およびメモリ制御部２を介してのメモリ１８への書き込みと、オートフォーカス、自動露出、ホワイトバランス用の評価値の抽出処理が行われる。

第２フレームでは、画像データ処理部３において、メモリ１８から読み出した画像データに輝度信号処理、色信号処理を行うとともに、リサイズ処理部５において、画像データにリサイズ処理を施す。

第３フレームでは、圧縮伸張・動き検出処理部４において、リサイズ済みの画像データに対して圧縮を行い、基本ブロック単位の動きベクトルを検出する。同時並行処理により、顔領域検出処理部６において、リサイズ済みの画像データから顔領域位置情報を取得する。さらに、ＣＰＵ１７によって、動きベクトルから顔領域検出枠表示のフレームまでの遅延時間を考慮した予測移動量を算出し、顔領域位置情報に予測移動量を加えて予測顔領域位置情報を求める。得られた予測顔領域位置情報に基づいて顔領域検出枠を表示させるためのオンスクリーンデータを生成する。また、表示処理用に画像データを生成する。

第４フレームでは、表示処理部７において、顔領域検出枠のオンスクリーンデータを表示装置１９に転送するとともに、オートフォーカス、自動露出用の顔領域位置情報をデータ転送する。

第５フレームでは、顔領域検出枠を表示装置１９においてオンスクリーン表示で重畳表示するとともに、オートフォーカス、自動露出用の顔領域において必要な情報を抽出する。

次に、人物画像に対する画像処理の具体例を図４を用いて説明する。動画フレーム内で人物が移動している。図４では画面を３分割し、３つの独立したシーンを表している。

図４（ａ）は、動画フレーム中の任意の画像に対して顔領域検出処理を実施したときに、顔の中心位置と大きさの情報より求められた顔領域検出枠の情報を点線で示している。顔領域検出の処理はフレーム単位で行われる。ここでは、顔領域位置情報Ｆ１，Ｆ２，Ｆ３を得るようにしている。

図４（ｂ）は、図４（ａ）の演算開始から時間経過して実際に顔領域位置情報Ｆ１，Ｆ２，Ｆ３が得られたときのタイミングでの動画像である。このとき、時間経過に伴って、実際の人物の顔領域の位置と顔領域位置情報Ｆ１，Ｆ２，Ｆ３が示す位置との間にずれが生じている。顔領域位置情報Ｆ１，Ｆ２，Ｆ３が示す位置が数フレーム前の顔領域位置に対応しているため、そのまま顔領域検出枠を重畳表示すると動画像中で実際の顔の位置からずれてしまう。

このずれを補正するために、あらかじめ図４（ａ）のフレームにおいて、該当エリア付近での動きベクトルＶ１，Ｖ２，Ｖ３を取得しておく。そして、図４（ｃ）に示すように、動きベクトルＶ１，Ｖ２，Ｖ３から図４（ａ）のフレームと図４（ｂ）のフレームとの間での人物の予測移動量Ｖ１１，Ｖ１２，Ｖ１３を求める。両フレーム間が例えば２フレームあるときは、予測移動量Ｖ１１，Ｖ１２，Ｖ１３は動きベクトルＶ１，Ｖ２，Ｖ３の２倍となる。また、両フレーム間が例えば３フレームある場合には、予測移動量Ｖ１１，Ｖ１２，Ｖ１３は動きベクトルＶ１，Ｖ２，Ｖ３の３倍となる。基準となる図４（ｂ）での顔領域位置情報Ｆ１，Ｆ２，Ｆ３に対して予測移動量Ｖ１１，Ｖ１２，Ｖ１３を加算することにより、予測顔領域位置情報Ｆ１１，Ｆ１２，Ｆ１３が得られる。図４（ａ）と図４（ｂ）との間の顔領域検出処理に要した時間遅れ分に対応するフレーム数をｎとして、
Ｖ１１＝ｎ×Ｖ１、 Ｖ１２＝ｎ×Ｖ２、 Ｖ１３＝ｎ×Ｖ３…………（１）
Ｆ１１＝Ｆ１＋Ｖ１１、Ｆ１２＝Ｆ２＋Ｖ１２、Ｆ１３＝Ｆ３＋Ｖ１３……（２）
このような顔領域検出処理に要した時間遅れ分の補正を行うことにより、図４（ｃ）に示すように、タイミング整合状態で実際の人物の顔領域の位置に顔領域検出枠Ｆ１１，Ｆ１２，Ｆ１３を正確にオンスクリーン表示させることができる。

そして、表示処理部７において、リサイズ済みの画像データに対して顔領域検出枠のオンスクリーンデータをオンスクリーン表示機能で重畳表示させる。これらの一連の処理は、刻々と変化する画像データに対してリアルタイムにかつ並行処理的に実行される。表示装置１９では動画像のシーンとともに、その動画中の人物の顔領域にタイミング整合状態および位置合わせの状態で顔領域検出枠が表示される。

また、実際のオートフォーカス、自動露出、ホワイトバランス用の評価値の抽出処理を前処理で実施する場合においても、時間の進んだセンサデータ入力に対して、人物の予測移動量を顔領域位置情報に付加して顔領域位置を想定したエリア情報としての顔領域検出枠の設定が行える。

（実施の形態２）
図５は本発明の実施の形態２における画像処理装置の構成を示すブロック図である。図５において、実施の形態１の図１におけるのと同じ符号は同一構成要素を指している。本実施の形態に特有の構成は、顔領域検出用の入力画像データとして、表示処理用にリサイズ処理したデータを使うことである。図５において、５ａはメモリ制御部２を介してメモリ１８から読み出された画像データに対して表示処理用に縮小リサイズを行うとともにゲイン調整を行う第１のリサイズ処理部である。８はメモリ制御部２から表示処理部７に送出される表示処理用の画像データを入力として、顔領域検出用に縮小リサイズを行うとともにゲイン調整を行う第２のリサイズ処理部である。９は第２のリサイズ処理部８による顔領域検出用の縮小リサイズの画像データを格納する顔領域検出用メモリである。本実施の形態においては、顔領域検出処理部６は、顔領域検出用メモリ９から読み出された顔領域検出用の縮小リサイズの画像データに基づいて顔領域検出を行うようになっている。本実施の形態においても、上記の実施の形態１の場合と同様の作用効果が発揮される。

なお、上記の実施の形態の説明においては、動きベクトル検出について、動画圧縮処理の内部中間処理機能を用いているが、これに代えて、動きベクトル検出を独立して実行する単体の処理部を用いてもかまわない。

本発明の画像処理装置は、デジタルカメラや携帯電話において、被写体の人物が高速で移動する条件下での顔領域検出の精度に優れ、オートフォーカス、自動露出、ホワイトバランスを安定的に動作させて高品質な人物動画を撮影する上で有用である。

本発明の実施の形態１における画像処理装置の構成を示すブロック図 本発明の実施の形態における撮像装置の構成を示すブロック図 本発明の実施の形態における画像処理シーケンスにおける各処理のフレーム時間遷移の説明図 本発明の実施の形態における移動する人物の画像に対する画像処理の具体例を説明する図 本発明の実施の形態２における画像処理装置の構成を示すブロック図 従来の技術における撮像装置の構成を示すブロック図

符号の説明

１ 前処理部
２ メモリ制御部
３ 画像データ処理部
４ 圧縮伸張・動き検出処理部
５ リサイズ処理部
５ａ 第１のリサイズ処理部
６ 顔領域検出処理部
７ 表示処理部
８ 第２のリサイズ処理部
９ 顔領域検出用メモリ
１１ レンズユニット
１２ イメージセンサ
１３ タイミングジェネレータ
１４ ＣＤＳ／ＡＧＣ回路
１５ Ａ／Ｄ変換器
１６ ＤＳＰ（デジタル信号処理回路）
１７ ＣＰＵ（顔領域補正手段）
１８ メモリ
１９ 表示装置
２０ 記録媒体

Claims (6)

1. 入力されてくる画像データをメモリに格納するメモリ制御部と、
   前記メモリ制御部を介して前記メモリから読み出された前記画像データにおいて動きベクトルを検出する動き検出処理部と、
   前記メモリ制御部を介して前記メモリから読み出された前記画像データに基づいて顔領域検出を行って顔領域位置情報を得る顔領域検出処理部と、
   前記動き検出処理部による前記動きベクトルに基づいてフレーム間の予測移動量を演算するとともに、前記顔領域検出処理部による前記顔領域位置情報に前記予測移動量を付加して予測顔領域位置情報を求める顔領域補正手段とを備えた画像処理装置。
2. 前記顔領域補正手段は、前記動きベクトルから前記予測移動量を演算する際に、前記顔領域検出処理部による顔領域検出の開始フレームから顔領域検出枠の表示フレームまでの差分に相当する予測移動量を演算し、前記顔領域位置情報に前記予測移動量を付加して求めた前記予測顔領域位置情報が示す画面上の座標位置に前記顔領域検出枠を表示させるためのオンスクリーンデータを生成する請求項１に記載の画像処理装置。
3. 前記顔領域補正手段は、前記動きベクトルから前記予測移動量を演算する際に、前記顔領域検出処理部による顔領域検出の開始フレームからセンサ信号取り込みフレームまでの差分に相当する予測移動量を演算し、次のセンサ信号取り込みフレームにおいて、前記顔領域位置情報に前記予測移動量を付加して求めた前記予測顔領域位置情報が示す画面上の座標位置で前記画像データからオートフォーカス、自動露出またはホワイトバランス用の評価値を取得させる請求項１に記載の画像処理装置。
4. さらに、前記メモリ制御部を介して前記メモリから読み出された前記画像データに対して表示処理用に縮小リサイズを行うとともにゲイン調整を行い、さらに、顔領域検出用に縮小リサイズを行うとともにゲイン調整を行うリサイズ処理部を備え、
   前記顔領域検出処理部は、前記リサイズ処理部による縮小リサイズの画像データに基づいて顔領域検出を行うように構成されている請求項１に記載の画像処理装置。
5. さらに、前記メモリ制御部を介して前記メモリから読み出された前記画像データに対して表示処理用に縮小リサイズを行うとともにゲイン調整を行う第１のリサイズ処理部と、
   前記第１のリサイズ処理部による表示処理用の縮小リサイズの画像データに対して顔領域検出用に縮小リサイズを行うとともにゲイン調整を行う第２のリサイズ処理部と、
   前記第２のリサイズ処理部による前記顔領域検出用の縮小リサイズの画像データを格納する顔領域検出用メモリとを備え、
   前記顔領域検出処理部は、前記顔領域検出用メモリから読み出された前記顔領域検出用の縮小リサイズの画像データに基づいて顔領域検出を行うように構成されている請求項１に記載の画像処理装置。
6. 請求項１から請求項５までのいずれかに記載の画像処理装置が搭載されている撮像装置。

Images