JP2008206018A - 撮像装置およびプログラム - Google Patents

Abstract

【課題】 複数の主要被写体を同時に撮影するシーンにおいて、ユーザーの利便性をより高める手段を提供する。
【解決手段】 撮像装置は、撮像部と、メモリと、制御部とを備える。撮像部は、被写体を撮像して画像のデータを生成する。メモリは、認識対象となる複数の登録被写体について、各々の登録被写体ごとにそれぞれ対応付けされた特徴情報を記録する。制御部は、特徴情報に基づいて画像に含まれる登録被写体を認識する。また、制御部は、登録被写体のうちから指定された２以上の指定被写体が画像内に含まれるときに所定の処理を実行する。
【選択図】 図１

Description

本発明は、被写体の認識機能を備えた撮像装置に関する。

従来から、撮影画面内の被写体認識機能を有するカメラが種々提案されている。例えば、特許文献１には、撮影画面内から人物の顔を検出したときに自動的にレリーズを行うカメラの構成が開示されている。
特開２００３−９２７００号公報

しかし、従来技術のカメラでは、単一の被写体を認識できた場合に撮影などを行う。そのため、複数の主要被写体を同時に撮影しようとする場合には必ずしもユーザーの意図するシーンを撮影できない点で改善の余地があった。
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、複数の主要被写体を同時に撮影するシーンにおいて、ユーザーの利便性をより高める手段を提供することにある。

第１の発明に係る撮像装置は、撮像部と、メモリと、制御部とを備える。撮像部は、被写体を撮像して画像のデータを生成する。メモリは、認識対象となる複数の登録被写体について、各々の登録被写体ごとにそれぞれ対応付けされた特徴情報を記録する。制御部は、特徴情報に基づいて画像に含まれる登録被写体を認識する。また、制御部は、登録被写体のうちから指定された２以上の指定被写体が画像内に含まれるときに所定の処理を実行する。

第２の発明は、第１の発明において、制御部は、撮像部に対して記録画像の撮像を指示する第１処理と、ユーザーに対する報知出力を行う第２処理と、指定被写体に関するメタデータの生成を行う第３処理との少なくとも１つを実行する。
第３の発明は、第２の発明において、制御部は、第１処理の実行時において、少なくとも１つの指定被写体が画像内の所定位置にあるときに、記録画像の撮像を指示する。

第４の発明は、第１の発明において、制御部は、撮像部で撮像された第１記録画像のデータと、外部から読み込まれた第２記録画像のデータと、撮像部が非記録時に撮像するスルー画像のデータとのいずれかから特徴情報を生成する。
第５の発明は、第１の発明において、焦点検出部と、焦点検出エリア選択部と、操作部と、追尾設定部とを撮像装置がさらに備える。焦点検出部は、撮影画面内に設定される焦点検出エリアでの合焦状態を検出する。焦点検出エリア選択部は、認識の結果に基づいて、撮影画面内における指定被写体の対応位置を焦点検出エリアとして継続的に選択する。操作部は、ユーザーからの操作を受け付ける。追尾設定部は、複数の指定被写体があるシーンにおいて焦点検出エリアを選択するための指定被写体の優先順位を操作部の操作に応じて変更する。

第６の発明は、第１の発明において、ユーザーからの操作を受け付ける操作部を撮像装置がさらに備える。また、制御部は、操作部の操作に基づいて、登録被写体のうちから指定被写体を設定する。
第７の発明に係るプログラムは、撮像装置に対して通信可能に構成されたコンピュータに適用される。上記の撮像装置は、被写体を撮像して画像のデータを生成する撮像部と、認識対象となる複数の登録被写体について、各々の登録被写体ごとにそれぞれ対応付けされた特徴情報を記録可能なメモリと、特徴情報に基づいて画像に含まれる登録被写体を認識するとともに、登録被写体のうちから指定された２以上の指定被写体が画像内に含まれるときに記録画像の撮像を自動的に実行するカメラ制御部と、カメラ通信部とを含む。また、コンピュータは、撮像装置にデータを送信する通信部と、複数の登録被写体に対応する特徴情報を蓄積した記録部と、演算処理部とを備える。

そして、上記のプログラムは、以下のステップをコンピュータの演算処理部に実行させる。第１ステップでは、登録被写体のうちから２以上の指定被写体を選択する入力をユーザーから受け付けるとともに、２以上の指定被写体の各々に対応する特徴情報を記録部から抽出する。また、第２ステップでは、第１ステップで抽出された特徴情報を撮像装置に送信する。

本発明では、登録被写体のうちから指定された２以上の指定被写体が画像内に含まれるときに、制御部が所定の処理を実行し、複数の主要被写体を同時に撮影しようとするユーザーの利便性が向上する。

（第１実施形態の説明）
図１は、第１実施形態の電子カメラ１０の構成を説明するブロック図である。本実施形態の電子カメラ１０は、被写体認識機能を備えている。
電子カメラ１０は、撮像光学系１１およびレンズ駆動部１２と、撮像素子１３と、ＡＦＥ１４と、第１メモリ１５と、画像処理部１６と、記録Ｉ／Ｆ１７と、通信Ｉ／Ｆ１８と、モニタ１９と、操作部材２０と、レリーズ釦２１と、第２メモリ２２と、ＣＰＵ２３およびバス２４とを有している。ここで、第１メモリ１５、画像処理部１６、記録Ｉ／Ｆ１７、通信Ｉ／Ｆ１８、モニタ１９、第２メモリ２２およびＣＰＵ２３は、バス２４を介してそれぞれ接続されている。また、レンズ駆動部１２、操作部材２０およびレリーズ釦２１は、それぞれＣＰＵ２３に接続されている。

撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像光学系１１のフォーカシングレンズのレンズ位置は、レンズ駆動部１２によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。
撮像素子１３は、撮像光学系１１の像空間側に配置されている。撮像素子１３の受光面には受光素子が２次元配列されている。撮像素子１３は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。この撮像素子１３の出力はＡＦＥ１４に接続されている。

ここで、電子カメラ１０の動作モードの一つである撮影モードにおいて、撮像素子１３はレリーズ釦２１の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１３は、撮影待機時にも所定間隔毎に間引き読み出しでスルー画像を撮像する。なお、スルー画像のデータは、モニタ１９での画像表示や、ＣＰＵ２３による各種の演算処理などに使用される。

ＡＦＥ１４は、撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。なお、ＡＦＥ１４の出力は画像処理部１６に接続されている。
第１メモリ１５は、画像処理部１６による画像処理の前工程や後工程で画像のデータを一時的に記録する。

画像処理部１６は、１フレーム分のデジタル画像信号に対して、各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。なお、画像処理部１６は、本画像の解像度変換処理や、本画像のデータの圧縮処理または伸長処理も実行する。
記録Ｉ／Ｆ１７には、記録媒体２５を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記録媒体２５に対してデータの書き込み／読み込みを実行する。上記の記録媒体２５は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記録媒体２５の一例としてメモリカードを図示する。

通信Ｉ／Ｆ１８は、有線または無線による公知の通信規格の仕様に準拠して、外部の装置とのデータ送受信を制御する。
モニタ１９は、ＣＰＵ２３の指示に応じて各種画像を表示する。なお、本実施形態でのモニタ１９の構成は、接眼部を有する電子ファインダや、カメラ筐体の背面などに設けられる液晶表示パネルのいずれでもよい。

上記のモニタ１９には、撮影モードでの撮影待機時にＣＰＵ２３の制御によりスルー画像が動画表示される。このとき、ＣＰＵ２３は、モニタ１９上のスルー画像に、撮影に必要となる各種情報の表示をオンスクリーン機能で重畳させることもできる。また、ＣＰＵ２３は、モニタ１９に、各種の設定項目の入力が可能なメニュー画面を表示することもできる。

操作部材２０は、例えば、コマンドダイヤル、十字状のカーソルキー、決定釦、登録ボタンなどで構成される。そして、操作部材２０は電子カメラ１０の各種入力をユーザーから受け付ける。例えば、操作部材２０は、上記のメニュー画面での入力操作や、電子カメラ１０の動作モード切替操作などに用いられる。
レリーズ釦２１は、半押し操作による撮影前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。

第２メモリ２２には、被写体認識の対象となる登録被写体の特徴情報（スルー画像から登録被写体を認識するためのデータ）が記録される。第２メモリ２２は、フラッシュメモリ等の不揮発性の記憶媒体である。本実施形態の電子カメラ１０では、人間、動物、建築物、乗物などを含むあらゆる物を登録被写体として登録することが可能である。
ここで、本実施形態での特徴情報は、登録被写体を撮像した画像のデータで構成される。このように登録被写体の画像自体を特徴情報とする場合には、登録時に登録被写体の大きさなどを予め正規化しておいてもよい。なお、人間が登録被写体である場合には、各登録被写体の顔の特徴情報を第２メモリ２２に予め登録することで、電子カメラ１０で登録被写体の人物認証を行うことも可能となる。

また、第２メモリ２２に記録された特徴情報は、各々の登録被写体ごとに対応付けされてデータベース化されている。すなわち、第２メモリ２２には、同一の登録被写体について複数の特徴情報をグループ化して登録できる。例えば、被写体認識の精度を向上させるために、１つの登録被写体について、撮影角度、撮影方向などが相違する特徴情報（例えば、人物の顔であれば向きの異なる画像）を複数登録しておくこともできる。なお、第２メモリ２２には、各々の登録被写体ごとに、指定被写体の属性情報（被写体の名前やアドレスなどのテキストデータ）や、サムネイル画像などを登録しておくこともできる。

ＣＰＵ２３は、電子カメラ１０の動作を統括的に制御するプロセッサである。一例として、ＣＰＵ２３は、上記の撮影モードにおける電子カメラ１０の各部動作を制御する。また、ＣＰＵ２３は、Ｅｘｉｆ（Exchangeable image file format for digital still cameras）規格に準拠して、画像ファイルのヘッダ領域に記録されるメタデータを生成する。
ここで、本実施形態のＣＰＵ２３は、不図示のＲＯＭに格納されたプログラムの実行により、焦点検出部２６、被写体認識部２７、登録被写体設定部２８として機能する。

焦点検出部２６は、スルー画像のデータに基づいて、コントラスト検出方式による公知のＡＦ演算を実行する。そして、焦点検出部２６は、撮影画面内に設定された焦点検出エリアでの被写体の合焦状態を検出する。
被写体認識部２７は、撮影モードの一つである被写体認識モードにおいて、上記の特徴情報に基づいてスルー画像から登録被写体を認識する。

一例として、被写体認識部２７は、特徴情報（登録被写体の画像）に基づいて、スルー画像の被写体を解析するマッチング処理を実行する。なお、被写体認識部２７は、例えば、画像の輝度成分、色差成分、輪郭成分、コントラスト比などのパターンの共通性に着目してマッチング処理を実行する。
次に、被写体認識部２７は、上記のマッチング処理の結果に基づいて、スルー画像の被写体の登録被写体に対する類似度を各々の登録被写体ごとに演算する。そして、被写体認識部２７は、上記の類似度が閾値以上となる場合にはその登録被写体がスルー画像内に存在するものと判定する。

ここで、同一の画像内に複数の被写体が存在する場合には、被写体認識部２７は各々の被写体に対して上記のマッチング処理をそれぞれ実行する。また、スルー画像内の同一の被写体に対して類似度が閾値以上となる登録被写体が複数あるときには、被写体認識部２７は類似度が最も高い登録被写体を優先して認識する。
なお、被写体認識モードでの被写体認識部２７は、被写体認識の結果に基づいて、撮影画面内における登録被写体の対応位置を焦点検出エリアとして継続的に選択することができる。これにより、被写体認識モードにおいて、焦点検出部２６は登録被写体を追尾してＡＦを行うことができる。

登録被写体設定部２８は、被写体認識モードに関する各種の設定処理を実行する。例えば、登録被写体設定部２８は、ユーザーの操作に応じて、登録被写体のうちから被写体認識の対象となる指定被写体を設定する。また、登録被写体設定部２８は、ユーザーの操作に応じて、画像のデータから登録被写体の特徴情報を生成するとともに、第２メモリ２２に登録被写体および特徴情報を登録する。さらに、登録被写体設定部２８は、複数の指定被写体を認識した場合の電子カメラ１０の動作設定や、被写体を追尾してＡＦするときの指定被写体の優先順位設定なども実行する。

以下、第１実施形態の電子カメラ１０の動作について、被写体の特徴情報の登録と、被写体認識モードの設定と、被写体認識モードでの電子カメラの動作とに分けてそれぞれ説明する。
＜被写体の特徴情報の登録＞
被写体認識モードでの撮影を行う場合、ユーザーは認識対象となる登録被写体の特徴情報を第２メモリ２２に記録しておく必要がある。本実施形態の電子カメラ１０では、主に以下の３つの方法で登録被写体を設定することが可能である。

（１）静止画の記録画像による登録被写体の設定
この場合は、ＣＰＵ２３が、電子カメラ１０で撮像された静止画のデータから特徴情報を生成する。
第１に、ユーザーは、登録しようとする被写体が撮像された記録画像のデータを電子カメラ１０に読み込ませる。具体的には、通信Ｉ／Ｆ１８を介して接続された不図示の外部装置（例えばインターネット上のサーバやパーソナルコンピュータなど）や記録Ｉ／Ｆ１７の記録媒体２５から、ＣＰＵ２３が記録画像のデータなどを読み込む。一般的に、記録媒体２５からは、主に電子カメラ１０で撮像された本画像のデータがＣＰＵ２３に読み込まれる。同様に、通信Ｉ／Ｆ１８からは、主に他の電子カメラで撮像された本画像のデータがＣＰＵ２３に読み込まれる。

第２に、ＣＰＵ２３はモニタ１９に上記の記録画像を再生表示する。ユーザーは再生された画像から登録被写体を選択するとともに、操作部材２０を介してＣＰＵ２３に登録被写体を指示する。例えば、ＣＰＵ２３は、登録被写体を指定するための矩形の枠をモニタ１９上に表示し、ユーザーに矩形の枠を操作させて登録被写体を入力させる。そして、ＣＰＵ２３は、記録画像のうちの登録被写体に対応する部分を切り出して特徴情報を生成する。その後、特徴情報は第２メモリ２２に記録される。なお、新規に生成された特徴情報を登録する場合には、ユーザーは新規に登録被写体のグループを登録して第２メモリ２２に記録してもよく、既存の登録被写体のグループに対応付けして第２メモリ２２に記録してもよい。

（２）スルー画像による登録被写体の設定
この場合は、ＣＰＵ２３が、撮像素子１３によって撮像されたスルー画像から特徴情報を生成する。
一例として、ＣＰＵ２３は、撮影モードでスルー画像が動画表示されているときに操作部材２０の登録ボタンの押圧を検知すると、モニタ１９上のスルー画像の所定位置（例えば画面中央）に登録被写体を指定するための矩形の枠を表示する。そして、登録ボタンが押圧されたままの状態でレリーズ釦２１が押圧されると、ＣＰＵ２３は上記の矩形の枠内に位置する被写体を登録被写体として、スルー画像のデータから特徴情報を生成する。その後、特徴情報は、上記（１）の場合と同様に第２メモリ２２に記録される。

（３）動画の記録画像による登録被写体の設定
この場合は、ＣＰＵ２３が、電子カメラ１０で撮像された動画のデータから特徴情報を生成する。
第１の例として、ＣＰＵ２３は、動画像ファイルの再生時に登録ボタンの押圧を検知すると、登録被写体を指定するための矩形の枠をモニタ１９上に表示する。ＣＰＵ２３は、ユーザーのカーソルキーの操作などに応じて矩形の枠の位置を移動させる。そして、矩形の枠が所望の被写体に一致する状態で決定釦が押圧されると、ＣＰＵ２３は矩形の枠内の被写体を登録被写体として特徴情報を生成する。このとき、ＣＰＵ２３は、決定釦の押圧されたフレームだけでなく、その前後のフレームからも特徴情報を生成してもよい。なお、ＣＰＵ２３は、決定釦の押圧時にモニタ１９上で枠の表示色を変化させて、被写体が登録されたことを示してもよい。

また、第２の例として、上記の第１の例と同様の工程で、ＣＰＵ２３は、決定釦の押圧後に矩形の枠内の被写体を登録被写体として特徴情報を生成する。その後、ＣＰＵ２３は、生成した特徴情報に基づいて登録被写体を認識し、再生中の動画で登録被写体の追尾を行ってモニタ１９に表示する。例えば、ＣＰＵ２３は、認識できた登録被写体をモニタ１９上において枠表示などで示す（図２参照）。そして、ＣＰＵ２３は、被写体認識中に決定釦の押圧を再び検知すると、動画像ファイルにおいて被写体認識ができた各々のフレームからそれぞれ特徴情報を生成する。

＜被写体認識モードの設定＞
また、ユーザーはメニュー画面において、被写体認識モードに関する電子カメラ１０の設定を変更することができる。具体的には、メニュー画面では、（１）指定被写体の選択、（２）本画像のレリーズ条件、（３）メタデータの付与、などの設定を変更することができる。なお、メニュー画面での表示処理や制御などは、いずれもＣＰＵ２３が所定のプログラムに基づいて実行する。

上記（１）の指定被写体の選択の項目では、第２メモリ２２に登録されている登録被写体のうちで、被写体認識処理の対象となる指定被写体をユーザーが指定できる。本実施形態では、２以上の登録被写体を同時に指定被写体に設定できる。なお、図３に指定被写体の選択画面の一例を示す。また、図４は、図３の画面から遷移できる詳細設定画面を示したものである。

また、被写体認識モードでのＣＰＵ２３は指定被写体の位置を焦点検出エリアとしてＡＦを実行する。そのため、メニュー画面では指定被写体の選択とともに、各々の指定被写体に対するＡＦのオン／オフと、複数の指定被写体があるシーンでの焦点検出エリアを設定する優先順位（指定被写体のＡＦ優先順位）とをユーザーが設定できる（図３，図４参照）。なお、初期状態では、特徴情報の記録日時の新しさに応じてＡＦ優先順位がより高くなるように設定されている。

上記（２）の本画像のレリーズ条件の項目では、指定被写体の認識時に自動撮影を行うときの条件として、（２ａ）自動撮影を行うときの指定被写体の認識状態と、（２ｂ）自動撮影の終了タイミングとをユーザーが設定できる。
上記（２ａ）の指定被写体の認識状態の項目では、複数の指定被写体のうち、どの指定被写体が認識されたときに電子カメラ１０の自動撮影を行うかを設定することができる。なお、図４では、指定被写体Ｂ（サッカーボール）を必須の認識対象として、指定被写体Ａ（人物）および指定被写体Ｂが認識されたときと、指定被写体Ｂおよび指定被写体Ｃ（人物）が認識されたときに、自動撮影を行う設定例の画面を示している。

さらに、（２ａ）の指定被写体の認識状態の項目では、ユーザーは指定被写体の位置指定を行って、指定被写体が所定位置にあるときに電子カメラ１０が自動撮影できるようにすることもできる。これにより自動撮影時の本画像の構図をユーザーが決定できる。
この場合には、ユーザーはメニュー画面から図５または図６の画面に切り替えて、指定被写体の位置の指定を行うこととなる。例えば、図５に示すように、ユーザーは指定被写体の収まる位置を範囲指定することができる。また、図６に示すように、ユーザーは自動撮影時における各々の指定被写体の位置を、マトリクス状に分割された小領域から指定してより詳細に位置決めすることもできる。さらに、指定被写体が一定方向に移動するものである場合には、指定被写体が重なったときに自動撮影を開始する領域や自動撮影を終了する領域を予め指定しておくことも可能である（この場合の図示は省略する）。

上記（２ｂ）の自動撮影の終了タイミングの項目では、自動撮影の終了条件として、例えば、撮影フレーム数、撮影継続時間、指定被写体のフレームアウト、ユーザーの操作（例えばレリーズ釦２１の押圧による撮影終了）のいずれかをユーザーが設定できる。勿論、上記の撮影フレーム数や撮影継続時間の値はユーザーが任意に設定できる。
上記（３）のメタデータの付与では、自動撮影で撮影した本画像のデータに主要被写体に関するメタデータを対応付けして記録するか否かをユーザーが設定できる。

＜被写体認識モードでの電子カメラの動作＞
次に、被写体認識モードでの撮影動作について説明する。ここで、被写体認識モードの場合には、ＣＰＵ２３は通常のプログラムオートの場合と比べて、露光時間を短くするとともに絞りを１段分開放する。また、被写体認識モードの場合には、ＣＰＵ２３は必要に応じて、画素加算読み出しやゲインの調整などの手段で、通常のプログラムオートの場合よりも撮像感度を高くする。さらに、被写体認識モードでは基本的に連写撮影を行うため、ＣＰＵ２３は閃光発光装置（不図示）の発光を禁止する。

以下、図７の流れ図を参照しつつ、被写体認識モードでの撮影動作をより詳細に説明する。
ステップ１０１：ＣＰＵ２３は撮像素子１３を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。また、ＣＰＵ２３は、スルー画像をモニタ１９に動画表示する。したがって、ユーザーはモニタ１９のスルー画像によって撮影構図を決定するためのフレーミングを行うことができる。

ステップ１０２：ＣＰＵ２３は、指定被写体のＡＦ優先順位の変更操作をユーザーから受け付けたか否かを判定する。上記操作があった場合（ＹＥＳ側）には、ＣＰＵ２３はＳ１０３に移行する。一方、上記操作がない場合（ＮＯ側）には、ＣＰＵ２３はＳ１０４に移行する。
ステップ１０３：ＣＰＵ２３は、ユーザーの操作に応じて、指定被写体のＡＦ優先順位を変更する。すなわち、ＣＰＵ２３は、焦点検出エリアを選択するための指定被写体の優先順位を変更する。一例として、被写体認識モードの起動時におけるＡＦ優先順位の変更画面を図８に示す。

ユーザーが操作部材２０のコマンドダイヤルを操作すると、ＣＰＵ２３は、現在の指定被写体のＡＦ優先順位を、各々の指定被写体のサムネイル画像とともにスルー画像に重畳表示する。図８の場合には、ＡＦ優先順位の高い順に指定被写体のサムネイル画像が左から並べて示されている。そして、ＣＰＵ２３は、コマンドダイヤルの回転に応じて、各々の指定被写体のＡＦ優先順位を変更する。例えば、コマンドダイヤルの回転により、ＣＰＵ２３はＡＦ優先順位が一番高い指定被写体Ａを最下位のＡＦ優先順位にするとともに、その他の指定被写体のＡＦ優先順位を１つずつ繰り上げる。また、ＣＰＵ２３は、ＡＦ優先順位の変更に連動して、モニタ１９上のサムネイル画像の並び順を変更させて表示する。したがって、ユーザーは指定被写体のＡＦ優先順位を簡単な操作で変更できる。しかも、ユーザーはサムネイル画像で変更後のＡＦ優先順位を直感的に把握できるので混乱をきたすこともない。

ステップ１０４：ＣＰＵ２３は、各々の指定被写体の特徴情報に基づいて被写体認識を実行し、スルー画像から指定被写体を探索する。
ステップ１０５：ＣＰＵ２３は、Ｓ１０４において、スルー画像内で指定被写体が認識できないか否かを判定する。指定被写体が認識できない場合（ＹＥＳ側）には、ＣＰＵ２３はＳ１０６に移行する。一方、指定被写体が認識できた場合（ＮＯ側）には、ＣＰＵ２３はＳ１０７に移行する。

ステップ１０６：この場合のＣＰＵ２３は、中央優先または至近優先のアルゴリズムで通常のＡＦを実行する。その後、ＣＰＵ２３はＳ１０２に戻って上記動作を繰り返す。なお、指定被写体が認識できない場合には、ＣＰＵ２３はＡＦを行うことなくＳ１０２に戻るようにしてもよい。
ステップ１０７：ＣＰＵ２３は、スルー画像から認識できた指定被写体（Ｓ１０４）のうちから、ＡＦ優先順位の最も高い指定被写体をＡＦ対象に設定する。

ステップ１０８：ＣＰＵ２３は、ＡＦ対象の指定被写体（Ｓ１０７）の対応位置を焦点検出エリアとして継続的に選択する。そして、ＣＰＵ２３は、指定被写体に対応する焦点検出エリアを基準として連続的にＡＦを実行する。すなわち、本実施形態では、撮影画面内に指定被写体が存在するときには、ＣＰＵ２３はＡＦ優先順位の最も高い指定被写体を自動的に追尾してＡＦを行なう。

ステップ１０９：ＣＰＵ２３は、ＡＦ対象の指定被写体（Ｓ１０７）がスルー画像から認識できなくなったか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２３はＳ１０２に戻って上記動作を繰り返す。例えば、Ｓ１０４で電子カメラ１０が複数の指定被写体を認識できていた場合、ＣＰＵ２３はＡＦ対象となる指定被写体を残りの指定被写体のうちから再び選択し直すこととなる。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２３はＳ１１０に移行する。

ステップ１１０：ＣＰＵ２３は、メニュー画面における本画像のレリーズ条件（指定被写体の認識状態の設定内容）に、現在のスルー画像の状態が合致するか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２３はＳ１１１に移行する。なお、指定被写体の認識状態の設定とスルー画像が合致した状態の一例を図９で模式的に示す。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２３はＳ１０２に戻って上記動作を繰り返す。

ステップ１１１：ＣＰＵ２３は、メニュー画面で設定された本画像のレリーズ条件（指定被写体の認識状態の設定、自動撮影の終了タイミングの設定）にしたがって、撮像素子１３を駆動させて自動的に本画像を撮像する。
なお、メニュー画面での設定項目でメタデータの付与がオンのときには、ＣＰＵ２３は、主要被写体に関するメタデータを本画像のデータに対応付けして記録する。ここで、上記のメタデータは、Ｅｘｉｆ規格のＭａｋｅｒＮｏｔｅタグを利用して、本画像の画像ファイルのヘッダ領域に記録される。

また、メタデータの内容としては、本画像に含まれる指定被写体の情報（例えば、第２メモリ２２に登録した属性情報のテキストなど）や、本画像における各々の指定被写体の位置のデータが含まれる。そのため、指定被写体が撮影された画像をソートして検索する場合や、撮影後に本画像から指定被写体の撮影箇所をトリミングする場合などにおいて、上記のメタデータの利用によってユーザーの利便性がより向上する。以上で図７に関する説明を終了する。

以下、第１実施形態の電子カメラの作用効果を述べる。第１実施形態の電子カメラは、ユーザーによって指定された複数の指定被写体を同時に認識できたときに本画像の撮影を自動的に実行する。そのため、複数の主要被写体が同時に撮影画面内に収まったシーンを電子カメラに自動撮影させることが可能となるので、ユーザーのイメージに近い構図の本画像を比較的容易に取得できるようになる。特に、第１実施形態では、撮影画面内での指定被写体の位置を指定して電子カメラに自動撮影させることもできるので、この場合にはユーザーのイメージ通りの本画像を取得できる可能性がさらに向上する。

また、第１実施形態では、その電子カメラで撮像した記録画像およびスルー画像や、外部から読み込んだ記録画像から登録被写体の特徴情報を生成できる。そのため、被写体の登録を様々なソースから行うことができ、電子カメラの被写体認識機能を利用する上でユーザーの利便性が大きく向上する。
さらに、第１実施形態の電子カメラでは、主要な指定被写体を追尾してＡＦを行うことができるので、指定被写体がピンぼけして撮影失敗する可能性が低減する。特に第１実施形態では、指定被写体に対するＡＦ優先順位をユーザーの操作で変更できるので、シーンの状況変化に応じて適切にＡＦを行うことが容易となり、この点でもユーザーの利便性が向上する。

（第２実施形態の説明）
図１０は、第２実施形態の電子カメラにおける被写体認識モードでの撮影動作を示す流れ図である。ここで、第２実施形態は上記の第１実施形態の変形例であって、電子カメラは、メニュー画面で設定された指定被写体の認識状態の条件を充足するときに、モニタ１９に警告を表示する。

また、第２実施形態の電子カメラの構成は、図１に示す第１実施形態の電子カメラと共通するので重複説明は省略する。なお、図１０のＳ２０１〜Ｓ２０９は図７のＳ１０１〜Ｓ１０９にそれぞれ対応するので重複説明を省略する。
ステップ２１０：ＣＰＵ２３は、メニュー画面における指定被写体の認識状態の設定内容に、現在のスルー画像の状態が合致するか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２３はＳ２１１に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２３はＳ２０２に戻って上記動作を繰り返す。

ステップ２１１：ＣＰＵ２３は、ユーザーの設定した指定被写体の認識状態となったことをユーザーに示す報知出力を行う。例えば、ＣＰＵ２３は、指定被写体が出揃ったことを示すメッセージやキャラクタをモニタ１９に表示させる。または、ＣＰＵ２３は、モニタ１９の指定被写体を示す枠表示の色を変化させるようにしてもよい。さらに、ＣＰＵ２３は音声警報を不図示のスピーカーに出力させてもよい。

ステップ２１２：ＣＰＵ２３は、ユーザーによってレリーズ釦２１が全押しされたか否かを判定する。レリーズ釦２１が全押しされた場合（ＹＥＳ側）にはＣＰＵ２３はＳ２１３に移行する。一方、レリーズ釦２１が全押しされていない場合（ＮＯ側）には、ＣＰＵ２３はＳ２０９に戻って上記動作を繰り返す。
ステップ２１３：ＣＰＵ２３は、撮像素子１３を駆動させて本画像を撮像する。なお、メニュー画面での設定項目でメタデータの付与がオンのときには、ＣＰＵ２３は、主要被写体に関するメタデータを本画像のデータに対応付けして記録する。なお、メタデータの説明は図１のＳ１１１の場合と共通するため重複説明を省略する。以上で図１０に関する説明を終了する。

第２実施形態の電子カメラは、ユーザーによって指定された複数の指定被写体を同時に認識できたときにユーザーに対する報知を実行する。これにより、ユーザーはシャッタチャンスを容易に把握できるようになるので、ユーザーのイメージに近い構図の本画像を比較的容易に取得できるようになる。
（第３実施形態の説明）
図１１は、第３実施形態の電子カメラシステムの構成を模式的に示す図である。この第３実施形態は、電子カメラに自動撮影を実行させる前に、コンピュータから電子カメラの撮影設定を実行する場合の構成である。

上記の電子カメラシステムは、電子カメラ１０と、コンピュータ３０とを有している。電子カメラ１０およびコンピュータ３０は、有線または無線の公知の通信回線４０によって相互に接続されている。なお、第３実施形態の電子カメラ１０は第１実施形態と共通のものであるので説明を省略する。
一方、コンピュータ３０は、通信Ｉ／Ｆ３１と、記録部３２と、入力Ｉ／Ｆ３３と、表示Ｉ／Ｆ３４と、制御部３５とを有している。ここで、通信Ｉ／Ｆ３１、記録部３２、入力Ｉ／Ｆ３３、表示Ｉ／Ｆ３４はそれぞれ制御部３５と接続されている。また、入力Ｉ／Ｆ３３には、外付けの入力デバイス３６（キーボード、ポインティングデバイスなど）が接続されている。また、表示Ｉ／Ｆ３４にはモニタ３７が接続されている。

通信Ｉ／Ｆ３１は、通信回線４０の通信規格に準拠して、接続先の電子カメラ１０とのデータ送受信を制御する。記録部３２には、複数の登録被写体に対応する特徴情報が蓄積されている。入力Ｉ／Ｆ３３は、入力デバイス３６を介してユーザーの各種入力を受け付ける。表示Ｉ／Ｆ３４は、モニタ３７に画像出力を行う。また、制御部３５は、プログラムの実行により、電子カメラ１０の被写体認識モードに関する設定変更の処理を実行する。

以下、図１２の流れ図を参照しつつ、第３実施形態でのコンピュータの動作を説明する。
ステップ３０１：制御部３５は、電子カメラ１０の設定変更を行うための設定画面をモニタ３７に表示する。そして、制御部３５は、記録部３２に登録された登録被写体から２以上の指定被写体を選択することをユーザーに促す表示を行う。なお、上記の設定画面では、ユーザーは入力デバイス３６を介して、本画像のレリーズ条件およびメタデータの付与の設定を行うことも可能である（本画像のレリーズ条件、メタデータの付与の説明は、第１実施形態と共通のため重複説明は省略する）。

ステップ３０２：制御部３５は、ユーザーから２以上の指定被写体の選択入力を受け付けると、それぞれの指定被写体に対応する特徴情報を記録部３２から抽出する。
ステップ３０３：制御部３５は、電子カメラ１０に自動撮影を指示する撮影指示データと、本画像のレリーズ条件等の設定データとを生成する。
ステップ３０４：制御部３５は、各々の指定被写体に対応する特徴情報（Ｓ３０２）と、撮影指示データおよび設定データ（Ｓ３０３）とを電子カメラ１０に送信する。

なお、電子カメラ１０は、上記の各データを受信すると被写体認識モードで起動する。そして、電子カメラ１０は、第１実施形態の図７の流れ図の要領で指定被写体を認識し、また、設定データ（Ｓ３０３）の条件に応じて指定被写体の自動撮影を実行することとなる。以上で図１２の説明を終了する。
第３実施形態によれば、第１実施形態の電子カメラ１０を遠隔操作する場合にユーザーの設定操作の煩雑さが軽減される。特に、第１実施形態の電子カメラ１０を遠隔操作で複数運用する場合にはその効果が顕著となる。

（実施形態の補足事項）
（１）上記実施形態において、特徴情報は登録被写体の画像に限定されることなく、例えば、撮像画像の輪郭成分、輝度、色差、コントラスト比などのパラメータを示すデータであってもよい。また、登録被写体が人物の顔である場合には、顔の特徴点の位置、各特徴点の相対距離などを特徴情報とすることもできる。

（２）第１実施形態では、電子カメラ１０で記録画像から特徴情報を生成する例を説明したが、例えば、予め加工済みの登録被写体の特徴情報を通信Ｉ／Ｆ１８からダウンロードして、ＣＰＵ２３が第２メモリ２２に記録することも可能である。
（３）第１実施形態のサムネイル画像は、人物の顔であれば正面向きの画像や、スルー画像や動画像であればユーザーが指定した画像であることが好ましい。なお、サムネイル画像と特徴情報の画像を共用する場合には、サムネイル画像と共用される特徴情報にはマーカーなどの識別子を付しておくことが好ましい。

（４）第１実施形態では、被写体認識の結果に応じて静止画を撮影する例を説明したが、本発明の電子カメラの構成は動画を撮影する場合にも応用することができる。なお、動画撮影時では、被写体認識の結果に基づいて、指定被写体を追尾してＡＦを行うことや、動画像データに、認識対象の指定被写体の撮影された時間帯を示すメタデータを付与しておくことが可能となる。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

第１実施形態の電子カメラの構成を説明するブロック図 被写体認識時のモニタの表示状態を示す模式図 指定被写体の選択画面の一例を示す図 図３の画面から遷移できる詳細設定画面を示した図 指定被写体の収まる位置を範囲指定する画面を示す図 自動撮影時における各々の指定被写体の位置を指定する画面を示す図 第１実施形態における被写体認識モードでの撮影動作を示す流れ図 被写体認識モードの起動時におけるＡＦ優先順位の変更画面を示す図 指定被写体の認識状態の設定とスルー画像が合致した状態の一例を示す図 第２実施形態における被写体認識モードでの撮影動作を示す流れ図 第３実施形態の電子カメラシステムの構成を模式的に示す図 第３実施形態でのコンピュータの動作を説明する流れ図

符号の説明

１０…電子カメラ、１１…撮像光学系、１２…レンズ駆動部、１３…撮像素子、１８…通信Ｉ／Ｆ、１９…モニタ、２０…操作部材、２１…レリーズ釦、２２…第２メモリ、２３…ＣＰＵ、２６…焦点検出部、２７…被写体認識部、２８…登録被写体設定部、３０…コンピュータ、３１…通信Ｉ／Ｆ、３２…記録部、３５…制御部

Claims (7)

1. 被写体を撮像して画像のデータを生成する撮像部と、
   認識対象となる複数の登録被写体について、各々の前記登録被写体ごとにそれぞれ対応付けされた特徴情報を記録したメモリと、
   前記特徴情報に基づいて前記画像に含まれる前記登録被写体を認識するとともに、前記登録被写体のうちから指定された２以上の指定被写体が前記画像内に含まれるときに所定の処理を実行する制御部と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記制御部は、前記撮像部に対して記録画像の撮像を指示する第１処理と、ユーザーに対する報知出力を行う第２処理と、前記指定被写体に関するメタデータの生成を行う第３処理との少なくとも１つを実行することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記制御部は、前記第１処理の実行時において、少なくとも１つの前記指定被写体が前記画像内の所定位置にあるときに、前記記録画像の撮像を指示することを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記制御部は、前記撮像部で撮像された第１記録画像のデータと、外部から読み込まれた第２記録画像のデータと、前記撮像部が非記録時に撮像するスルー画像のデータとのいずれかから前記特徴情報を生成することを特徴とする撮像装置。
5. 請求項１に記載の撮像装置において、
   撮影画面内に設定される焦点検出エリアでの合焦状態を検出する焦点検出部と、
   前記認識の結果に基づいて、前記撮影画面内における前記指定被写体の対応位置を前記焦点検出エリアとして継続的に選択する焦点検出エリア選択部と、
   ユーザーからの操作を受け付ける操作部と、
   複数の前記指定被写体があるシーンにおいて前記焦点検出エリアを選択するための前記指定被写体の優先順位を前記操作に応じて変更する追尾設定部と、をさらに備えることを特徴とする撮像装置。
6. 請求項１に記載の撮像装置において、
   ユーザーからの操作を受け付ける操作部をさらに備え、
   前記制御部は、前記操作に基づいて、前記登録被写体のうちから前記指定被写体を設定することを特徴とする撮像装置。
7. 被写体を撮像して画像のデータを生成する撮像部と、認識対象となる複数の登録被写体について、各々の前記登録被写体ごとにそれぞれ対応付けされた特徴情報を記録可能なメモリと、前記特徴情報に基づいて前記画像に含まれる前記登録被写体を認識するとともに、前記登録被写体のうちから指定された２以上の指定被写体が前記画像内に含まれるときに記録画像の撮像を自動的に実行するカメラ制御部と、カメラ通信部とを含む撮像装置に対して通信可能に構成され、
   前記撮像装置にデータを送信する通信部と、複数の前記登録被写体に対応する前記特徴情報を蓄積した記録部と、演算処理部とを備えたコンピュータを動作させるためのプログラムであって、
   前記登録被写体のうちから前記２以上の指定被写体を選択する入力をユーザーから受け付けるとともに、前記２以上の指定被写体の各々に対応する前記特徴情報を前記記録部から抽出する第１ステップと、
   前記第１ステップで抽出された前記特徴情報を前記撮像装置に送信する第２ステップと、
   を前記演算処理部に実行させることを特徴とするプログラム。
   
   

Images