[go: up one dir, main page]

JP5366676B2 - 撮像装置及びその制御方法とプログラム、記憶媒体 - Google Patents

撮像装置及びその制御方法とプログラム、記憶媒体 Download PDF

Info

Publication number
JP5366676B2
JP5366676B2 JP2009147948A JP2009147948A JP5366676B2 JP 5366676 B2 JP5366676 B2 JP 5366676B2 JP 2009147948 A JP2009147948 A JP 2009147948A JP 2009147948 A JP2009147948 A JP 2009147948A JP 5366676 B2 JP5366676 B2 JP 5366676B2
Authority
JP
Japan
Prior art keywords
image
images
unit
data
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009147948A
Other languages
English (en)
Other versions
JP2011004351A5 (ja
JP2011004351A (ja
Inventor
知宏 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009147948A priority Critical patent/JP5366676B2/ja
Priority to US12/784,028 priority patent/US8872954B2/en
Publication of JP2011004351A publication Critical patent/JP2011004351A/ja
Publication of JP2011004351A5 publication Critical patent/JP2011004351A5/ja
Application granted granted Critical
Publication of JP5366676B2 publication Critical patent/JP5366676B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00445Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a one dimensional array
    • H04N1/0045Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a one dimensional array vertically
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2158Intermediate information storage for one or a few pictures using a detachable storage unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimiles In General (AREA)
  • Studio Devices (AREA)

Description

本発明は、処理対象の画像に含まれる被写体に関連した画像を検索して表示する撮像装置及びその制御方法に関するものである。
主に生体認証を目的として、撮像或いは記録された画像から特定の被写体を識別する技術が提案されている(特許文献1)。また特許文献2は、識別された被写体の特徴データに基づいて画像の一覧表示を行う技術を開示している。また特許文献3は、撮像装置において、プレビュー表示された特定の被写体の特徴データと過去に記録されたデータとを比較し、その結果に基づいて撮影履歴情報を表示する技術を開示している。また特許文献4,5は、画像の構図を認識したり分類したりする技術を開示している。
特開2005−157764号公報 特願2003−395734号公報 特開2006−295888号公報 特開2001−215404号公報 特開2003−274226号公報
特定の被写体を様々な構図で撮影したいとき、或いはゴルフのスイング撮影のように毎回同じ構図で撮影するときに、過去にその被写体を撮影した画像を手軽に参照できることが求められる。また記録された動画像から静止画像を作成するとき、或いは記録された静止画像をトリミングして新たな静止画像を作成するときも、その被写体を含むその他の画像を参照しながら作業ができることが望ましい。特許文献2では、被写体の特徴データに基づいて画像の一覧表示を行っているが、撮影或いは静止画の作成作業中に特定の被写体の画像を参照することは意図されていない。また特許文献3では、撮影履歴情報を求めて表示しているが、表示撮影中に特定の被写体の画像を参照することはできなかった。即ち、従来は、これから処理しようとしている処理対象の画像の被写体について、過去に記録した画像を参照しながら、画像の撮影や画像の作成作業を行うことは考えられていなかった。
本発明の目的は、上記従来技術の問題点を解決することにある。
本発明の特徴は、画像に含まれる被写体の特徴データに類似した過去の画像を検索して、その検索した複数の画像のうち、該検索された複数の画像のそれぞれの付随データに基づいて表示すべき画像を選択し、その選択した画像と、取得した画像とを同時に表示して、取得した画像を処理する前に参照できるようにすることにある。
上記目的を達成するために本発明の一態様に係る撮像装置は以下のような構成を備える。即ち、
撮像手段と、
前記撮像手段により連続して撮影された一連の画像を順次取得する取得手段と、
前記取得手段で取得した画像に含まれる被写体の特徴データを抽出する抽出手段と、
記憶手段に画像を記憶するように制御する記憶制御手段と、
前記抽出手段で抽出した前記特徴データに類似した特徴データを有する画像を前記記憶手段に記憶されている画像の中から検索する検索手段と、
前記検索手段によって検索された複数の画像のうち、該検索された複数の画像のそれぞれの付随データに基づいて、表示すべき画像を選択する選択手段と、
前記取得手段で取得した画像と共に、前記選択手段で選択した画像を表示する表示制御手段と、
前記表示制御手段による表示の後に、撮影の指示を受け付けて前記撮像手段により得られた画像を記憶手段に記憶する本撮影動作を実行するように制御する撮影制御手段と、を有し、
前記選択手段により選択されて表示される画像は、前記検索手段により検索された複数の画像を前記付随データに基づいてグループ分けしたグループの代表画像であることを特徴とする。
発明によれば、画像に含まれる被写体の特徴データに類似した過去の画像を検索して、その検索した複数の画像のうち、該検索された複数の画像のそれぞれの付随データに基づいて表示すべき画像を選択し、その選択した画像と、取得した画像とを同時に表示して、取得した画像を処理する前に参照できる効果がある。
本実施形態1に係る画像処理装置の構成を説明するブロック図。 記録媒体の一つの画像データの付随データの構成を説明する図。 画像処理装置が付随データを読み出して検索テーブルにコピーする処理を説明するフローチャート。 RAMに作成された検索テーブルのデータ構成を示す図。 実施形態1に係る処理を説明するフローチャート。 記録媒体の画像を検索テーブルに追加する処理を説明するフローチャート。 S13,S14で表示されるプレビュー画像の表示例を示す図。 実施形態1における縮小画の画面表示例を示す図。 実施形態2に係る処理を説明するフローチャート。 実施形態に2に係る表示準備テーブルのデータ構成を説明する図。 本実施形態2に係る画面表示例を示す図である。
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
[実施形態1]
本実施形態1では、表示する画像をグルーピングしない場合で説明する。
図1は、本実施形態1に係る画像処理装置の構成を説明するブロック図である。
この画像処理装置の最終目的は、動画像もしくは静止画像から新たな画像を作成することである。この動作は、撮像手段であるカメラ部101から画像データが入力される場合は撮影であり、記録媒体104或いは画像入力部110から入力される場合は、動画キャプチャもしくは静止画トリミング(静止画切り出し)である。この画像処理装置で作成された新たな画像データは記録媒体104に保存されるか、或いは画像出力部109に出力されるか、或いは接続部114に接続されたプリンタ115によって印刷される。
この画像処理装置の動作は、CPU107がプログラム・データ格納部113から必要なプログラムやデータを読み出して、そのプログラムを実行することにより制御される。ユーザの操作は操作部106を通じてCPU107に入力され、これによりこの画像処理装置への各種操作指示や、動作条件の変更等が指示される。また各ブロック(各部)の制御やデータ処理は、画像処理部102、レコーダ制御部103、被写体認識部105、画像入出力部108、表示制御部112、接続部114がそれぞれ行う。RAM111は、CPU107や各制御ブロックがワーク領域やバッファとして利用する。尚、破線で示された画像入力部110、プリンタ115はいずれも外部機器であり、本装置とデータのやり取りをする。画像出力部109は、プレビュー画像や本実施形態に係る表示画面の出力先と、生成された新たな画像の出力先を兼ねており、この画像処理装置に内蔵されたブロック(部分)であっても、外部に接続される装置であっても構わない。
まず最初に、プレビュー画像から得られる被写体の特徴データと比較するためのデータをRAM111の検索テーブルにコピーする処理について説明する。但し、この装置の電源がオンされてから記録された画像データだけを表示対象とする場合は、撮影の都度データをRAM111の検索テーブルに追加しているため、この処理は不要である。
図2は、記録媒体104に記録されている一つの画像データの付随データの構成を説明する図である。
記録媒体104に記録されている複数の画像データのそれぞれは、この図2で表される付随データを保持している。ポインタ201は、その画像データが格納されている記録媒体104のアドレスを示すポインタである。被写体の人数202は、その画像に含まれている被写体の人数を示している。特徴データ203は、その画像に含まれている被写体の人数分、各被写体の特徴データを記憶している特徴データテーブル210の先頭アドレスを指示する。構図解析データ204は、その画像の構図を表す。日時情報205は、その画像が作成された作成日時情報である。
特徴データテーブル210は、その画像に含まれている被写体の人数(n)分の特徴データ206〜208を含んでいる。これら特徴データ206〜208のそれぞれは、各被写体を識別するための特徴データで、そのデータサイズは各被写体で共通である。よって被写体の人数(n)分の特徴データを容易に取り出すことができる。終端コード209は、この特徴データテーブル210の終わりを示すエンドコードである。尚、撮影などの日時情報205は、近年のデジタルスチルカメラであれば画像ファイル内のEXIFに記録されるのが一般的である。
図3は、本実施形態1に係る画像処理装置が、記録媒体104から付随データを読み出してRAM111の検索テーブルにコピーする処理を説明するフローチャートである。この処理を実行するプログラムはプログラム・データ格納部113に記憶されておりCPU107の制御の下に実行される。
まずS1で、記録媒体104に、まだ付随データを読み出していない画像があるかどうかを判定する。なければ処理が終了したと判定して、この処理を終了する。一方、付随データを読み出していない画像が存在していると判定したときはS2に進み、記録媒体104から一つの画像の付随データを読み出す。次に、その読み出したデータが表示対象の画像のものであるかを判定する。これは例えば、表示対象を画像が記録された日付によって限定している場合は、その読み出した付随データの持つ日時情報205を参照して、その画像が表示対象となっているか否かを判定する。S3で表示対象でないと判定するとS1に戻るが、表示対象であると判定したときはS4に進み、その付随データをRAM111の検索テーブルに追加する。これら一連の処理を、記録媒体104に記録されている全ての画像に対して行う。
図4は、RAM111に作成された検索テーブルのデータ構成を示す図である。
先頭の要素から順に画像1の付随データ401、画像2の付随データ402、画像mの付随データ403が配置されており、最後に終端を表す終端コード404が置かれる。尚、各画像の付随データのデータ構造は、前述の図2に示すデータ構造である。
図5は、入力した画像と検索データとを比較し、画像出力部109に画像を表示して、新たな画像を生成する実施形態1に係る処理を説明するフローチャートである。この処理を実行するプログラムはプログラム・データ格納部113に記憶されておりCPU107の制御の下に実行される。
まずS11で、カメラ部101、記録媒体104、画像入力部110のいずれかから、画像を生成するための処理対象の画像を取得する。これがプレビュー画像として表示される。これがカメラ部101からの画像の入力であれば、最終目的の画像は、カメラ部101から取得した画像を記録媒体104に記録する本撮影動作により生成される。よって、この段階は本撮影前のスルー画像の表示状態に相当する。また記録媒体104から動画像を入力しているのであれば、プレビュー画像は再生画に等しく、画像の生成は、再生している動画から静止画を切り出して記録媒体に記録するキャプチャに相当する。また画像入力部110から画像を入力している場合は、入力元の機器がカメラであるか再生機であるかによって後段の処理の呼び方が変わる。ところで、プレビュー画で扱う被写体は多くの場合人物の顔であるが、本実施形態では特に限定せず、広く被写体と表記する。
次にS12に進み、プレビュー画像に対する被写体の検出処理を行う。この被写体の認識処理は、被写体識別部105(図1)で実行される。S12で、被写体が検出されなかった場合はS13に進み、プレビュー画像をそのまま画像出力部109へ表示する。
図7(A)は、図5のS13で表示されるプレビュー画像の表示例を示す図である。701は、正しく検出されなかった被写体を示す。
一方、被写体が検出された場合はS14に進み、プレビュー画像に被写体の検出枠を重畳して画像出力部109へ表示する。
図7(B)は、図5のS14で表示される画面例を示す図である。711は検出された被写体を示し、712は被写体の検出枠を示す。
次にS15に進み、検索処理を開始するためのトリガが入力されたかどうかを判定する。この検索開始のトリガは、例えば、被写体が検出されたら無条件に検索を開始する、或いは被写体を検出した後に操作部106から指示を受けたとき、又は複数の被写体を検出した後に、操作部106によって任意の被写体が選択されたとき等の条件が考えられる。こうして検索が開始されるとS16に進み、そのプレビュー画像から被写体の特徴データを取得する。次にS17に進み、予めRAM111上に作成された検索テーブルの特徴データと、S16で取得したプレビュー画像の被写体の特徴データとを比較する。そしてS17からS18に進み、類似度が所定の閾値を超える被写体があるかどうかを判定する。ここで、この閾値を越える被写体があると判定するとS19に進み、RAM111の検索テーブルから、その被写体を含む画像の付随データを全て取り出し、RAM111の表示準備テーブルへコピーしてS17に進む。
この表示準備テーブルのデータ構成は、前述の検索テーブル(図4)のデータ構成と同様であるため、その説明を省略する。
こうしてS17で、RAM111の検索テーブル全体の比較が終了するとS20に進み、表示準備テーブルにコピーされたデータがあるかどうかを判定する。コピーされたデータがあるときはS21に進み、そうでないときはS24に進む。S21では、この表示準備テーブルのデータを決められた規則によりソートする。このソート規則の例は例えば以下のようである。
・プレビュー画像の単数もしくは複数の被写体の特徴データとの類似度に基づく順序(例えば、特徴データの類似度が高い順)
・日時情報に基づく順序(例えば、現在の日時に近い順)
・プレビュー画像の構図と表示準備テーブルの構図解析データとの比較に基づく順序(例えば、構図が近い(類似している)順)
等が考えられる。次にS22に進み、ソートされた上位のデータに含まれるポインタ201から画像を取得する。次にS23に進み、画像処理部102にて画像の縮小処理を行った後、プレビュー画像と合成して画像出力部109へ表示する。このとき、縮小画はプレビュー画像の上にピクチャーインピクチャー形式で表示されても良く、画像処理部102にてプレビュー画も縮小又はトリミングされた後、縮小画が重ならないように表示される形式でも構わない。
図8(A)は、図5のS23で表示される表示例を示す図である。
801〜804は、プレビュー画像の被写体805の特徴データとの比較に基づき抽出された画像の縮小画を示す。またこのときプレビュー画像と表示準備テーブルのデータとの比較に基づいて、類似している画像を識別できるように縮小画像の表示形式を変更することもできる。例えばプレビュー画像の単数もしくは複数の被写体の特徴データとの類似度に基づく比較、日時情報に基づく比較、プレビュー画の構図と表示準備テーブル内の構図解析データに基づく比較等を行う。そして類似している縮小画像の枠線を太く表示するなどの方法が考えられる。
この例を図8(B)に示す。図8(B)において、810〜813は、プレビュー画像の被写体814の特徴データとの比較に基づき抽出された画像の縮小画を示し、これらは図8(A)の縮小画801〜804に相当している。このうち画像810と812は、構図解析の結果がプレビュー画像の構図に近いと判断されたため、これら画像の枠が他の画像の枠よりも太く表示されて、他の縮小画像と容易に識別可能である。
最後にS24で、操作部106から画像の生成開始が指示されているかどうかを判定する。ここで画像形成の開始が指示されていると判定するとS25に進む。S25では、プレビュー画像の元となる画像の入力先から入力される画像データを画像処理部102で処理した後、記録媒体104、画像出力部109、或いはプリンタ115のいずれかに出力する。尚、ここで画像の入力先がカメラ部101の場合は、カメラ部101での本撮影により得られた画像データを入力して記録媒体104に記録する撮影制御を行う。また記録媒体104からの動画像を処理対象の画像として再生・表示しているときは、操作部106から静止画切り出しの指示を受け付けることにより、その切り出した静止画を記録媒体104に記録する。
尚、ここで生成された画像が記録媒体104に記録される場合は、図6の手順によってこの画像を新たに検索テーブルに追加することもできる。
図6は、画像が記録媒体104に記録された場合に、その画像を新たに検索テーブルに追加する処理を説明するフローチャートである。この処理を実行するプログラムはプログラム・データ格納部113に記憶されておりCPU107の制御の下に実行される。
まずS31で、画像の生成が完了したかどうかを判定し、完了したと判定するとS32に進み、その生成された画像が表示対象であるか否かを判定する。この判断基準としては、画像内に被写体を含むこと、或いは画像の日時が条件に合致すること等が考えられる。S32で、画像が表示対象であると判定するとS33に進み、その画像の付随データを作成して検索テーブルに追加する。これによって、以降のプレビュー画像の表示時は、ここで生成されて検索テーブルに追加された画像も表示対象となる。
以上説明したように本実施形態1によれば、被写体の撮影或いは静止画の作成中に、既に記録されている他の画像に含まれるその被写体を参照できる。これにより撮影しようとしている、或いは作成しようとしている被写体と同じ構図の被写体の画像や、その関連性や類似性のある画像を参照して画像の撮影や作成を行うことができる。
また上記構成において、その対象としている被写体の構図が類似している順、或いは撮影した日時順に従って、その被写体に関連している画像の縮小画像を表示することにより、その被写体と、関連している画像との関連性を容易に識別できる。
[実施形態2]
次に本発明の実施形態2について説明する。この実施形態2では、関連している画像を表示する際に、それら画像をグルーピングする場合で説明する。尚、この実施形態2に係る画像処理装置の構成、及び記録媒体のデータ構成、付随データ及び検索テーブルのデータ構成は前述の実施形態1と同様であるため、その説明を省略する。
図9は、入力した画像と検索データとを比較し、画像出力部109に画像を表示して、新たな画像を生成する実施形態2に係る処理を説明するフローチャートである。この処理を実行するプログラムはプログラム・データ格納部113に記憶されておりCPU107の制御の下に実行される。尚、図9のS41〜S45の処理は、前述の図5のS11〜S15の処理と同じであるため、その説明を省略する。
S46で、撮影対象或いは作成対象である画像を表示しているプレビュー画像から被写体の特徴データを取得する。次にS47で検索テーブル全体の比較処理が終了していなければS48に進み、RAM111に作成された検索テーブル内の特徴データと、プレビュー画像の被写体の特徴データとを比較する。そして、その類似度が所定の閾値を超えるものがあるかどうかを判定する。ここで閾値を越えるものがあると判定するとS49に進み、その類似度を有する画像の付随データ全体を、検索テーブルから取り出し、RAM111の表示準備テーブルへコピーしてS47に進む。
図10は、実施形態に2に係る表示準備テーブルのデータ構成を説明する図である。
この表示準備テーブルは、各グループの画像の内包条件1001,1003,1005と、各グループ個別のテーブルの先頭アドレスを指示するポインタ1002,1004,1006とを有している。各グループ個別のテーブル1007,1008,1009は、図4の実施形態1の検索テーブルと同等である。ここで内包条件は、例えば被写体の人数、構図の類似性等を含む。テーブル1007は、グループ1に含まれる画像1〜mの付随データを記憶している。またテーブル1008は、グループ2に含まれる画像1〜pの付随データを記憶している。更にテーブル1009は、グループNに含まれる画像1〜qの付随データを記憶している。
この表示準備テーブルへ新しく画像の付随データを追加するときは、まず、この付随データがどのグループの内包条件に合致するかを判定する。このグループの内包条件は、例えば、被写体の人数や、画像の構図解析データの類似性に基づいて定められる。もし追加したい付随データがどのグループにも属さなかった場合は、新たなグループのテーブルを用意し、そのグループの個別テーブルにデータを収め、更にその新規グループの内包条件を決定する。一方、もし付随データが既存のいずれかのグループに属する場合は、そのグループの個別テーブル内に付随データがコピーされ、場合によっては、そのグループの内包条件が修正されることもあり得る。
こうしてS47で、プレビュー画像の被写体の特徴データと検索テーブル内の付随データの比較が全て終了したと判定するとS50に進む。S50では、表示準備テーブルにコピーされたデータがあるかどうかを判定する。ここでデータがないときはS54に進むが、データがあると判定するとS51に進み、このテーブル内のグループを予め決められた規則によりソートする。このときのソート規則は、例えば、プレビュー画像の単数もしくは複数の被写体の特徴データ或いは日時情報或いはプレビュー画像の構図と、各グループの内包条件に定められた特徴データ或いは日時情報或いは構図情報との比較に基づく順序が考えられる。ここでは例えば作成(撮影)日時順、或いは構図の類似性の高い順などが考えられる。
次にS52に進み、ソートされた上位のグループから代表画像の付随データを取得し、更に、その代表画像を取得する。そしてS53で、画像処理部102にて画像の縮小処理を行った後、プレビュー画像と合成して画像出力部109へ表示する。また、このとき同時に、そのグループに含まれる付随データの数、即ちグループに属する画像枚数値も、その画面に表示する。このとき縮小画は、プレビュー画像の上にピクチャーインピクチャー形式で表示されてもよいし、或いは画像処理部102にてプレビュー画も縮小又はトリミングされた後、縮小画が重ならないように表示される形式でも構わない。
図11は、本実施形態2に係る表示例を示す図である。
1101〜1104はプレビュー画像の被写体1105の特徴データとの比較に基づき抽出されたグループの代表画像の縮小画と、そのグループの画像枚数値の表示例を示す。即ち、縮小画像1101で示されるグループの画像の枚数は11枚、縮小画像1102で示されるグループの画像の枚数は2枚、縮小画像1103で示されるグループの画像の枚数は4枚、そして縮小画像1104で示されるグループの画像の枚数は1枚である。このとき、プレビュー画像と表示準備テーブル内グループとの比較に基づいて縮小画像の表示形式を変更することもできる。例えば、プレビュー画像の単数もしくは複数の被写体の特徴データ或いは日時情報或いはプレビュー画像の構図と、各グループの内包条件に定められた特徴データ或いは日時情報或いは構図との比較等に基づいて、類似しているものが識別可能に表示形式を変更する。例えば、この表示形式の変更としては、縮小画像の枠線を太く表示する等が考えられる。例えば図11では、プレビュー画像の構図と同じ構図の縮小画像1101の枠が太線で表示されている。
最後にS54に進み、操作部106からの指示に応じて、画像の形成開始が指示されたかどうかを判定する。ここで画像の形成が指示されるとS55に進み、プレビュー画像の元となる画像の入力先のデータを画像処理部102で処理した後、記録媒体104、画像出力部109、或いはプリンタ115のいずれかに出力する。
以上説明したように本実施形態2によれば、上述の実施形態1の効果に加えて以下のような効果が得られる。撮影対象、或いは作成対象の被写体を含む画像の縮小画像を構図や撮影人数などでグループに分けて、各グループごとに縮小画像として表示できるため、その被写体に関連している画像を容易に識別できる。
尚、上記実施形態1,2において、縮小画像の表示の起動タイミングは、処理対象の画像の被写体が検出されたとき、或いは被写体が識別された後、ユーザが操作部106の所定キーを操作したときとした。本発明はこれ以外にも、例えば一つの画像が複数の被写体を含む場合に、その内の一つの被写体が、例えば操作部106の操作により選択されたときとしても良い。
また処理対象の画像に複数の被写体が識別された場合には、それら全ての被写体を含む画像を検索して、それらの縮小画像を表示するようにしても良い。また或いは、それら被写体のそれぞれを含む画像を検索して、それら検索した画像の縮小画像を表示するようにしても良い。
また前述の図6のS32での表示対象かどうかの判定は、この画像処理装置の電源がオンされた日のデータ、電源がオンされてからのデータだけを表示対象とするようにしても良い。
また実施形態2に係る縮小画像の表示は、画像の構図や被写体の人数で分類し、各分類ごとに、画像の枚数とともに表示するようにしても良い。また枚数の多い順に表示しても良い。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (10)

  1. 撮像手段と、
    前記撮像手段により連続して撮影された一連の画像を順次取得する取得手段と、
    前記取得手段で取得した画像に含まれる被写体の特徴データを抽出する抽出手段と、
    記憶手段に画像を記憶するように制御する記憶制御手段と、
    前記抽出手段で抽出した前記特徴データに類似した特徴データを有する画像を前記記憶手段に記憶されている画像の中から検索する検索手段と、
    前記検索手段によって検索された複数の画像のうち、該検索された複数の画像のそれぞれの付随データに基づいて、表示すべき画像を選択する選択手段と、
    前記取得手段で取得した画像と共に、前記選択手段で選択した画像を表示する表示制御手段と、
    前記表示制御手段による表示の後に、撮影の指示を受け付けて前記撮像手段により得られた画像を記憶手段に記憶する本撮影動作を実行するように制御する撮影制御手段と、を有し、
    前記選択手段により選択されて表示される画像は、前記検索手段により検索された複数の画像を前記付随データに基づいてグループ分けしたグループの代表画像であることを特徴とする撮像装置。
  2. 前記付随データは、前記画像に含まれる被写体の数、当該画像の構図情報及び作成日時情報の少なくともいずれかを含むことを特徴とする請求項1に記載の撮像装置。
  3. 前記選択手段は、前記抽出手段で抽出した前記特徴データと、前記検索された複数の画像のそれぞれの付随データに含まれる前記特徴データとの比較に基づいて前記代表画像を選択することを特徴とする請求項に記載の撮像装置。
  4. 前記検索手段によって検索された複数の画像を、前記付随データに基づいてグループ分けするグループ分け手段を更に有する請求項2に記載の撮像装置。
  5. 前記グループ分け手段は、前記付随データに含まれる当該画像に含まれる被写体の数と当該画像の構図情報との少なくとも一方に基づいてグループ分けを行うことを特徴とする請求項に記載の撮像装置。
  6. 前記表示制御手段は、前記構図情報に基づき、前記選択した画像の中で前記取得手段で取得した画像と類似する構図の代表画像を識別可能に表示することを特徴とする請求項2に記載の撮像装置。
  7. 前記表示制御手段は、前記代表画像とともに、当該代表画像が属するグループに含まれる画像の数を表示することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  8. 撮像手段を備える撮像装置の制御方法であって、
    前記撮像装置の取得手段が、前記撮像手段により連続して撮影された一連の画像を順次取得する取得工程と、
    前記撮像装置の抽出手段が、前記取得工程で取得した画像に含まれる被写体の特徴データを抽出する抽出工程と、
    記憶手段に画像を記憶するように制御する記憶制御手段と、
    前記撮像装置の検索手段が、前記抽出工程で抽出した前記特徴データに類似した特徴データを有する画像を、前記記憶手段に記憶されている画像の中から検索する検索工程と、
    前記撮像装置の選択手段が、前記検索工程で検索された複数の画像のうち、該検索された複数の画像のそれぞれの付随データに基づいて、表示すべき画像を選択する選択工程と、
    前記撮像装置の表示制御手段が、前記取得工程で取得した画像と共に、前記選択工程で選択した画像を表示する表示制御工程と、
    前記撮像装置の撮影制御手段が、前記表示制御工程による表示の後に、撮影の指示を受け付けて前記撮像手段により得られた画像を記憶手段に記憶する本撮影動作を実行するように制御する撮影制御工程と、を有し、
    前記選択工程で選択されて表示される画像は、前記検索手段により検索された複数の画像を前記付随データに基づいてグループ分けしたグループの代表画像であることを特徴とする撮像装置の制御方法。
  9. コンピュータを、
    撮像手段と、
    前記撮像手段により連続して撮影された一連の画像を順次取得する取得手段と、
    前記取得手段で取得した画像に含まれる被写体の特徴データを抽出する抽出手段と、
    記憶手段に画像を記憶するように制御する記憶制御手段と、
    前記抽出手段で抽出した前記特徴データに類似した特徴データを有する画像を前記記憶手段に記憶されている画像の中から検索する検索手段と、
    前記検索手段によって検索された複数の画像のうち、該検索された複数の画像のそれぞれの付随データに基づいて、表示すべき画像を選択する選択手段と、
    前記取得手段で取得した画像と共に、前記選択手段で選択した画像を表示する表示制御手段と、
    前記表示制御手段による表示の後に、撮影の指示を受け付けて前記撮像手段により得られた画像を記憶手段に記憶する本撮影動作を実行するように制御する撮影制御手段と、を有し、
    前記選択手段により選択されて表示される画像は、前記検索手段により検索された複数の画像を前記付随データに基づいてグループ分けしたグループの代表画像であることを特徴とする撮像装置として機能させるためのプログラム。
  10. 請求項に記載のプログラムを格納した、コンピュータにより読み取り可能な記録媒体。
JP2009147948A 2009-06-22 2009-06-22 撮像装置及びその制御方法とプログラム、記憶媒体 Expired - Fee Related JP5366676B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009147948A JP5366676B2 (ja) 2009-06-22 2009-06-22 撮像装置及びその制御方法とプログラム、記憶媒体
US12/784,028 US8872954B2 (en) 2009-06-22 2010-05-20 Image processing apparatus having feature extraction and stored image selection capability, method of controlling the apparatus, program thereof, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009147948A JP5366676B2 (ja) 2009-06-22 2009-06-22 撮像装置及びその制御方法とプログラム、記憶媒体

Publications (3)

Publication Number Publication Date
JP2011004351A JP2011004351A (ja) 2011-01-06
JP2011004351A5 JP2011004351A5 (ja) 2012-07-26
JP5366676B2 true JP5366676B2 (ja) 2013-12-11

Family

ID=43354001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009147948A Expired - Fee Related JP5366676B2 (ja) 2009-06-22 2009-06-22 撮像装置及びその制御方法とプログラム、記憶媒体

Country Status (2)

Country Link
US (1) US8872954B2 (ja)
JP (1) JP5366676B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120065043A (ko) * 2010-12-10 2012-06-20 삼성전자주식회사 빠른 재생 모드 진입을 위한 디지털 영상 신호 처리 장치 및 이의 제어 방법
JP5940394B2 (ja) * 2012-07-02 2016-06-29 オリンパス株式会社 撮像装置
JP6063697B2 (ja) * 2012-10-09 2017-01-18 株式会社Nttドコモ 画像表示のための装置、方法及びプログラム
JP6412400B2 (ja) * 2014-10-23 2018-10-24 日本放送協会 画像合成装置および画像合成プログラム
JP6466867B2 (ja) * 2016-02-25 2019-02-06 日本電信電話株式会社 情報管理装置、情報管理方法および情報管理プログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4165216B2 (ja) 1993-03-31 2008-10-15 株式会社ニコン 構図アドバイス機能を備えたカメラ
JP3412238B2 (ja) 1993-03-31 2003-06-03 株式会社ニコン 構図アドバイス機能を備えたカメラ
JP3780623B2 (ja) * 1997-05-16 2006-05-31 株式会社日立製作所 動画像の記述方法
US6583813B1 (en) * 1998-10-09 2003-06-24 Diebold, Incorporated System and method for capturing and searching image data associated with transactions
KR100422697B1 (ko) * 1999-12-27 2004-03-12 엘지전자 주식회사 색공간 양자화 묘사자
JP4504492B2 (ja) 2000-02-04 2010-07-14 オリンパス株式会社 主要被写体検出機能を有するカメラ
US7133597B2 (en) * 2001-07-05 2006-11-07 Eastman Kodak Company Recording audio enabling software and images on a removable storage medium
JP2004193981A (ja) * 2002-12-11 2004-07-08 Canon Inc 撮像装置
JP4102199B2 (ja) * 2003-01-06 2008-06-18 オリンパス株式会社 撮像システム、カメラ、外部機器、撮像プログラム、記録媒体、および撮像方法
JP2004312244A (ja) * 2003-04-04 2004-11-04 Minolta Co Ltd 撮像装置
JP2004312495A (ja) * 2003-04-09 2004-11-04 Fuji Photo Film Co Ltd 画像処理プログラム及び画像処理装置
US7369164B2 (en) * 2003-04-11 2008-05-06 Eastman Kodak Company Using favorite digital images to organize and identify electronic albums
US20050007468A1 (en) * 2003-07-10 2005-01-13 Stavely Donald J. Templates for guiding user in use of digital camera
EP1499111B1 (en) * 2003-07-15 2015-01-07 Canon Kabushiki Kaisha Image sensiting apparatus, image processing apparatus, and control method thereof
JP2005157763A (ja) 2003-11-26 2005-06-16 Canon Inc 検索装置及び検索制御方法
JP2005157764A (ja) 2003-11-26 2005-06-16 Canon Inc 画像検索装置、画像検索方法、プログラムおよび記憶媒体
US7308119B2 (en) 2003-11-26 2007-12-11 Canon Kabushiki Kaisha Image retrieval apparatus and method, and image display apparatus and method thereof
JP2005208194A (ja) * 2004-01-21 2005-08-04 Konica Minolta Photo Imaging Inc 撮影装置
JP4565617B2 (ja) * 2004-06-10 2010-10-20 キヤノン株式会社 画像記録装置及びその制御方法
US20060077263A1 (en) * 2004-09-29 2006-04-13 Casio Computer Co., Ltd. Method of capturing still image during capture of moving image and image capture apparatus
US8184155B2 (en) * 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
JP4324170B2 (ja) 2005-03-17 2009-09-02 キヤノン株式会社 撮像装置およびディスプレイの制御方法
US20070120970A1 (en) * 2005-11-15 2007-05-31 Goffin Glen P Video telephony device having automatic user detection and recognition capabilities to provide user-specific information
JP2007174378A (ja) * 2005-12-22 2007-07-05 Fujifilm Corp 画像ファイリング方法及びデジタルカメラ及び画像ファイリング処理プログラム及び動画記録再生装置
US8599251B2 (en) * 2006-09-14 2013-12-03 Olympus Imaging Corp. Camera
US8285006B2 (en) * 2007-04-13 2012-10-09 Mira Electronics Co., Ltd. Human face recognition and user interface system for digital camera and video camera
JP4364266B2 (ja) * 2007-08-01 2009-11-11 株式会社東芝 画像処理装置およびプログラム
JP4931845B2 (ja) * 2008-03-18 2012-05-16 富士フイルム株式会社 撮像装置及び撮影画像表示制御方法
US20090237546A1 (en) * 2008-03-24 2009-09-24 Sony Ericsson Mobile Communications Ab Mobile Device with Image Recognition Processing Capability
WO2009155991A1 (en) * 2008-06-27 2009-12-30 Nokia Corporation Image retrieval based on similarity search

Also Published As

Publication number Publication date
US20100321529A1 (en) 2010-12-23
JP2011004351A (ja) 2011-01-06
US8872954B2 (en) 2014-10-28

Similar Documents

Publication Publication Date Title
US8762659B2 (en) Storage apparatus and method, program, and playback apparatus and method
US8526742B2 (en) Image processing apparatus, method, and program that classifies data of images
US8379103B2 (en) Digital camera that uses object detection information at the time of shooting for processing image data after acquisition of an image
US8331691B2 (en) Image data processing apparatus and image data processing method
JP4039847B2 (ja) 画像処理装置およびプログラム
JP2003150932A (ja) 画像処理装置およびプログラム
JP5366676B2 (ja) 撮像装置及びその制御方法とプログラム、記憶媒体
US8705878B2 (en) Imaging apparatus, character information association method and character information association program
JP2003150617A (ja) 画像処理装置およびプログラム
JP5402026B2 (ja) 電子カメラおよび画像処理プログラム
JP2013121097A (ja) 撮像装置及び方法、並びに画像生成装置及び方法、プログラム
JP4603569B2 (ja) 画像処理装置およびプログラム
JP2011004351A5 (ja)
JP2007133838A (ja) 画像表示方法及び画像表示プログラム
JP2009212935A (ja) 画像処理装置および方法、並びにプログラム
JP5232109B2 (ja) 画像管理装置、画像管理方法及びプログラム、ならびに撮像装置
JP4636024B2 (ja) 撮像装置
JP4882525B2 (ja) 画像再生システム、デジタルカメラ、および画像再生装置
JP2007183858A (ja) 画像検索システム、画像検索装置、及び、コンピュータプログラム
JP2012019324A (ja) 画像管理装置
JP4725892B2 (ja) 顔画像抽出蓄積システム、及び顔画像抽出蓄積方法
JP2011176574A (ja) デジタルカメラおよび画像ファイリング装置並びに画像ファイリングプログラム
JP2008263276A (ja) 画像取り込みシステム及び画像取り込み方法
JP2007116428A (ja) 撮影画像の管理方法
JP2013070315A (ja) 画像処理装置、画像管理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120611

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130910

R151 Written notification of patent or utility model registration

Ref document number: 5366676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees