JP2008283361A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】各画像毎の倍率や位置合わせを自動で行い、全ての画像の注目領域を一覧できる。
【解決手段】二画像選択状態になった際、始めに表示されていた画像（第一の画像）と、二画像表示になってから表示された画像（第二の画像）がメモリ３０から読み出され、表示制御手段５０４、補正値算出手段５０３へ転送される。表示制御手段５０４では、拡大、表示位置移動操作を第一の画像、第二の画像に対して同時に行う。補正値算出手段５０３は、第一の画像において拡大される領域と最も類似する、第二の画像の領域（補正された領域）を求め、第二の画像において補正された領域が拡大される。表示制御手段５０４によって処理された画像は画像表示メモリ２４へ送られる。
【選択図】図４

Description

本発明は、デジタル画像処理装置に関し、例えば、プリンタや複写機、デジタルカメラ及びＰＣのソフトウェアなどに好適な技術に関する。

近年、フラットベッドスキャナやデジタルカメラといった画像入力デバイスの高解像度化が著しく進んでいる。それに対し、それらを表示する表示デバイスは、画像入力デバイスの解像度に比べて低いことが多い。例えばデジタルカメラでは現在、４００万画素〜５００万画素を超える解像度のものが数多く存在するが、ＰＣの液晶ディスプレイの解像度はＳＸＧＡで１３０万画素、ＵＸＧＡで２００万画素程度である。更に言えば、デジタルカメラに付随している液晶ディスプレイの解像度はさらに低い。結果、画像入力デバイスにより得られた画像を閲覧したり、確認したりするためには縮小して表示するしかない。

一方、縮小した画像からでは確認若しくは閲覧したい情報が取得できない場面も多く存在する。この一例として、デジタルカメラを用いて人物のスナップショットを撮影する場合を考える。写真を撮影する際、ベストショットを残しておきたいがために、複数枚同じ画像を撮影する。一方、デジタルカメラの記録容量には限りが有るため、容量が少なくなってくると、前記複数枚の画像の一部を削除して容量を確保する。その際に、付属の液晶で確認し、ベストショットで無いと思われる画像を削除するわけであるが、ＰＣのディスプレイなどで確認すると、実は被写体が目を閉じていた、等と言った事が少なからず存在する。これを防ぐために、一度縮小した画像の一部を拡大して表示する方法も考えられるが、例えば前記の例の様に被写体が目を閉じているかどうかを確認するために拡大、スコープの移動といった全く同じ動作を複数枚の画像に対して行う作業には非常に手間と時間がかかるという問題点が有った。

これに対し、特許文献１では、選択された複数枚の画像を一度に表示し、一枚の画像への拡大、縮小及びスコープ範囲の移動が行われた場合に、表示されている他の画像に対しても同様の処理を行う。これにより、被写体人物が目を閉じているか否かを少ない操作で確認することができる。更に、特許文献１の発明を、紙文書をフラットベッドスキャナによりスキャンした画像に適用すると、有用であることは想像に難くない。例えば帳票のような、サムネイルで列挙して閲覧した場合に、全く同じに見えてしまうような画像に対して適用すると、各帳票において重要な情報が記載された領域のみ効率良く閲覧することができる。

特開２００６−５６４０号公報 １Ｃ． Ｃｏｒｔｅｓ ａｎｄ Ｖ．Ｎ．Ｖａｐｎｉｋ，"Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ Ｎｅｔｗｏｒｋｓ，" Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，ｖｏｌ．２０，ｐｐ．２７３−２９７，１９９５ Ｎ．Ｏｔｓｕ， ａｎｄ Ｔ．Ｋｕｒｉｔａ，"Ａ ｎｅｗ ｓｃｈｅｍｅ ｆｏｒ ｐｒａｃｔｉｃａｌ， ｆｌｅｘｉｂｌｅ ａｎｄ ｉｎｔｅｌｌｉｇｅｎｔ ｖｉｓｉｏｎ ｓｙｓｔｅｍｓ，"Ｐｒｏｃ．ＩＡＰＲ Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｐｐ．４３１−４３５，１９８８．

しかし、フラットベッドスキャナを用いて紙文書をスキャンするにしても、デジタルカメラを用いて撮影するにしても、厳密に同じ構図の画像が得られるとは限らない。

例えば、図１を例に挙げて人物のスナップショットを撮影する場合を考える。撮影者が、或る人物のスナップショットを撮影する際、１枚目に撮影した画像（ａ）では人物が視野のほぼ中心にいるとする。このとき図中の矩形で囲まれた領域を拡大すると（ｂ）の様に見える。同じ撮影者が、ベストショットを求めて数秒後に同じ人物を撮影する。このときの人物の位置が図中（ｃ）の様に視野の左側に移動しているとする。このとき１枚目の画像と同じ領域を拡大すると、（ｄ）のように見えてしまう。撮影者は人物のベストショットを撮影したいと考えているため、同時に確認したい領域は顔である。一方、図（ｄ）に示す画像には顔が含まれていない。この場合、ユーザは注目領域を調整し、若干移動させる必要がある。このように、複数枚の画像の同じ領域を拡大して表示する場合、若干の位置のずれで、注目領域に必要な情報が含まれないという現象が発生してしまう。

上記の例は、ユーザが中心領域から大きく移動してしまっているといった比較的極端な例であり、通常のスナップショット撮影では起こりにくい現象である。しかし、拡大率が大きい、つまり、注目領域が元画像に対して小さいと、同様の事が発生する可能性がある。例えば、デジタルカメラに備えられたディスプレイは非常に小さく、しっかり確認するためには、十分に拡大しなければならない。また、集合写真などで、顔領域が小さくしか写っていない場合には、十分に拡大しなければならない。このような場面を想定すると、撮影時の手の動きなどが、致命的な動きになりかねない。

本発明の目的は、複数枚の画像の一部拡大表示画像を同時に列挙し、一つの画像に対する拡大率の変更やスコープ範囲の移動を行うと他の画像にも同様の操作が同時に実施されるシステムにおいて、各画像毎の倍率や位置合わせを自動で行い、全ての画像の注目領域を一覧でき、ユーザの利便性を向上させた画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

本発明は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像を記録する記録手段と、前記記録手段に記録された画像信号を表示する表示手段と、前記表示手段に表示された特定の複数の画像に対して、少なくとも画像の拡大処理または画像の移動処理を含む複数の処理の中から選択された処理を同時に行う第一の表示制御手段とを具備する画像処理装置において、前記選択された画像に応じて前記第一の表示制御手段に対する補正値を算出する補正値算出手段を備え、前記補正値に応じて前記第一の表示制御手段の処理を補正することを最も主要な特徴とする。

請求項１：複数枚の画像の一部拡大表示画像を同時に列挙し、一つの画像に対する拡大率の変更やスコープ範囲の移動を行うと他の画像にも同様の操作が同時に成されるシステムに於いて、各画像毎の倍率や位置合わせを自動で行うことにより、ユーザは全ての画像において注目したい領域を一覧できるためユーザの利便性が向上する。

請求項２：複数枚の画像のサムネイル及び、その一部拡大表示画像を同時に列挙し、一つの画像に対する拡大率の変更やスコープ範囲の移動を行うと他の画像にも同様の操作が同時に成されるシステムに於いて、各画像毎の倍率や位置合わせを自動で行うことにより、ユーザは全ての画像において注目したい領域を一覧できるためユーザの利便性が向上する。

請求項３：ユーザが拡大率やスコープ範囲の移動を操作することができることで、ユーザの注目したい範囲をユーザが自由に設定できるため、ユーザの利便性が向上する。

請求項４：サムネイルとその一部拡大領域を並べて表示することでユーザは画像の全体イメージを掴むことができるため、検索効率が向上する。

請求項５、６：ユーザが確認を行いたい可能性が高い場面で自動的にユーザに確認を促す事で、操作を軽減しユーザの利便性が向上する。

請求項７：類似する画像を事前に見つけておくことで、記録装置に保持された画像の中から同時に閲覧すべき画像を自動で抽出し、ユーザに提示することができるため、ユーザの利便性が向上する。

請求項８：画像種判別を行い、事前に分類しておくことで記録装置に保持された画像の検索効率が向上し、ユーザの利便性が向上する。

請求項９：画像種に応じて、ファイル閲覧の提示方法を切り替えることで、より効果的なファイルの閲覧を行えるようになり、ユーザの利便性が向上する。

請求項１０：類似度判定を行う前に、画像種判定を行うことにより、画像種判定が実施される頻度が減り、処理速度が向上する。

請求項１１：位置補正情報だけでなく解像度補正情報を算出し、利用することで、ユーザは画像入力時の解像度に留意する必要が無くなりユーザの利便性が向上する。

請求項１２、１３：画像の全体を縮小し、画像の一部を拡大した画像と並べて表示することで、ユーザは画像の全体像を容易に把握できるようになり、ユーザの利便性が向上する。

請求項１４：画像の一部を拡大した画像と並べて表示された画像全体の縮小画像において、拡大位置を明示するための矩形を、ポインティングデバイスで直接操作できることにより、ユーザの直感的な操作が促せ、ユーザの利便性が向上する。

以下、発明の実施の形態について図面により詳細に説明する。

実施例１：
まず、本発明の好適な実施例をデジタルカメラを例に挙げて説明する。図２は、本発明が適用されるデジタルカメラの構成を示す。

図２において、１００は画像処理装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１２０は撮像素子１４のアナログ信号出力を増幅してカメラの感度を設定するゲインアンプ、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。

１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、撮像した画像データを用いて所定の演算処理を行ない、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行なう、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。

さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行ない、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

また、システム制御回路５０は露出演算部１２２、輝度レベル演算部１２３、補正ゲイン演算部１２４を含み、露出演算部１２２はメモリ制御回路２２を介してＴＴＬによって測光された輝度レベルを基に適正露出値を演算し露光制御部４０を制御する。輝度レベル演算部１２３はメモリ制御回路２２を介して撮像した画像データから輝度レベルを演算し、補正ゲイン演算部１２４は露出演算部１２２によって測光された輝度レベルと輝度レベル演算部１２３によって演算された輝度レベルを比較し、適正レベルとなるように補正値を演算して画像処理回路２０によりデジタルゲイン補正を加える。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。

また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。なお、システム制御回路５０は画像表示制御手段としても機能し、画像表示部２８の表示状態も制御する。３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、フラッシュ４８と連携することによりフラッシュの調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部である。露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。５０は画像処理装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、等がある。

また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作部の具体的な説明を行う。

６２はシャッタースイッチＳＷ１で、シャッタースイッチ６３の操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。６４はシャッタースイッチＳＷ２で、シャッタースイッチ６３の操作完了でＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データとして書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

６６は画像表示ＯＮ／ＯＦＦスイッチで、画像表示部２８のＯＮ／ＯＦＦを設定することが出来る。この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

６８はレックレビューＯＮ／ＯＦＦスイッチで、撮影直後に撮影した画像データを自動再生するレックレビュー（クイックレビュー）機能を設定する。なお、本実施形態では特に、画像表示部２８をＯＦＦとした場合におけるレックレビュー機能の設定をする機能を備えるものとする。また、１２１は計時部で、シャッタースイッチＳＷ１（６２）が押されてからシャッタースイッチＳＷ２（６４）が押されるまでの時間を計測することが可能である。

７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

８０は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源部である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知部である。

なお、本実施形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。

さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。

１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。

１１０は通信部で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。１１２は通信部１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備えている。

以下に、再生モードにおける本実施形態の特徴的な構成について詳細に説明する。まず、通常の再生モード時における１画像表示状態を図３（ａ）に示す。ここで、複数表示指示操作を行うと複数表示状態となる。複数表示状態となった表示装置のイメージを図３（ｂ）に示す。以下、図３（ｂ）における左側の表示領域を第一の表示領域、右側の表示領域を第二の表示領域と呼ぶ。この複数表示指示操作は画像処理装置１００の操作部７０に備えられたある特定のボタンを押下あるいは長押しする操作でもよいし、画像表示部２８のメニュー画面から選択する方法でもよい。

また、ここでは説明を簡単にするために２画像表示の場合を示すが２画像に限定するものではなく、表示画像数を選択できるようにしてもよい。また、表示部中の下方に、操作対象画像選択のための指示表示を示しているが、操作対象画像選択部をトグルに限定するものではない。例えば十字ボタンで指定してセットボタンで選択／解除してもよく、タッチパネルを備えたシステムであればタッチパネルで選択してもよい。

ここでは一例としてセットボタントグルによる操作対象画像選択を行うが、セットボタンを一度押すと図３（ｃ）に示すように選択画像が切り替わって１画像選択状態となり、この状態では全ての画像操作（拡大、移動など）が、選択された画像に対してのみ行われる。もう一度セットボタンを押すと、今度は図３（ｄ）に示す様にもう一方の画像が選択される。この状態も１画像選択状態である。さらにもう一度セットボタンを押すと、二画像選択状態となる。この複数画像選択状態において、拡大、表示位置移動操作を行ったとき、図３（ｅ）に示すように選択された複数画像が同時に操作される（選択された複数画像全てが同時に拡大、表示位置移動操作される）。拡大した状態で再び１画像選択状態にし、次の画像を表示する操作を行うと、拡大倍率および表示位置が保持されたまま次の画像が表示される。言い換えると、次の画像に対しても既に表示中の画像に対する拡大倍率及び表示位置の設定が適用される。

このときの処理を図４を用いて詳述する。二画像選択状態になった際、始めに表示されていた画像（以下第一の画像）と、二画像表示になってから表示された画像（以下、第二の画像）とがメモリ３０から読み出され、表示制御手段５０４及び補正値算出手段５０３へ転送される。

表示制御手段５０４ではユーザの拡大、表示位置移動操作を第一の画像、第二の画像に対して同時に行う。但し、第一の画像で拡大している領域と全く同じ領域を第二の画像で拡大するのではない。第二の画像で拡大されるのは、補正値算出手段５０３による補正値に応じて、補正された領域である。

ここで補正値算出手段５０３にて算出される補正値に関して説明する。図５の様に第一の画像、第二の画像それぞれで画像の左下を原点とし、右方向がｘ軸、上方向がｙ軸であるような座標系を取れば、ユーザの行う拡大、表示位置移動といった操作は、拡大すべき矩形領域を指定していると換言できる。つまり、第一の画像における拡大すべき矩形領域Ｒ０を（ｘｌ，ｙｂ，ｘｒ，ｙｔ）と表すことができる。これに対し、第二の画像における拡大すべき矩形領域Ｒ１は（ｘｌ＋ｃｘ，ｙｂ＋ｃｙ，ｘｒ＋ｃｘ，ｙｔ＋ｃｙ）と表せる。ここで示されるｃｘ，ｃｙが補正値算出手段５０３にて算出される補正値である。

補正値算出手段５０３では、第一の画像における矩形領域Ｒ０内に含まれる画像を第二の画像において走査し、第二の画像における矩形領域Ｒ１に含まれる画像と最も類似するような矩形Ｒ１を求める。具体的には、ｃｘ，ｃｙを変化させながら式１に示す相関係数Ｃが最大になるｃｘ，ｃｙを求める。

式１においてＩ０（ｘ，ｙ）は第一の画像における座標（ｘ，ｙ）の位置の画素値であり、Ｉ（ｘ，ｙ）は第二の画像における座標（ｘ，ｙ）の位置の画素値である。尚、この補正値の算出は、拡大若しくは移動といった処理がユーザによって最初に行われたときのみ行われるものとする。

表示制御手段５０４によって処理された画像は画像表示メモリ２４へと送られ、前記のような処理が行われた後、画像表示部２８に表示される。

以上のように、第一の画像において拡大される領域と第二の画像において拡大される領域に含まれる画像の類似度が高くなるように、第一、第二の画像それぞれで拡大すべき領域を変えているため、第一の画像を撮影した際の被写体の位置と第二の画像を撮影した際の被写体の位置とが異なっていても、第一の画像に於いて指定した、第一の表示領域に表示される領域、つまりユーザの確認したい領域が、第二の画像からも抽出され、第二の表示領域に表示される事になる。これによってユーザにとっては確認のための微調整を行う必要が無くなり、利便性が向上する。

尚、本実施例では補正すべき値をｘ方向、ｙ方向の変位のみとしたが、式２に示すアフィン変換を使えば、回転の補正も容易に行うことができる。

尚、式２において、ｘ，ｙはそれぞれ注目領域画像の座標、ｘ’，ｙ’はそれぞれ変換後の座標、θは回転角度を示し、ｃｘ，ｃｙはそれぞれｘ方向、ｙ方向の移動量を示すものとする。

又、本実施例では補正値の算出を、拡大、移動操作が最初に成された時点に限定したが、拡大、移動操作が成される度でも構わないし、機能が割り当てられたボタンをユーザが押した時点でも、勿論構わない。

１画像選択状態で拡大、表示位置移動を行った後に、再度複数画像選択状態にして拡大操作、表示位置移動操作等を行なう場合において、選択された複数画像それぞれの拡大倍率と表示位置が異なっている場合は、各複数画像の操作直前の状態に対して、同時に拡大操作、表示位置移動操作等が加えられる。例えば、１画像選択状態で既に等倍と２倍に拡大されている２画像を、複数画像選択して同時に２倍拡大する操作を行った場合、２倍と４倍の画像となる。拡大や移動の限界に達した場合は操作は反映されない。縦画像と横画像が同時に表示される場合は、縦画像は縦になり、操作に関しては横画像と同様である。拡大、表示位置を保持したまま次の画像が表示される際に縦、横が異なる場合は、座標からほぼ同位置を拡大した画像が表示される。

操作部７０に配置された操作ボタンまたはメニューからの選択操作である画像位置入れ替え指示により、システム制御回路５０は、選択中の２つの画像の位置を相互に入れ替えることが可能である。また、操作部７０に配置された操作ボタンまたはメニューからの選択操作である指示により、表示中の各画像のヒストグラムと白飛び範囲を表示することが可能である。

システム制御回路５０は、表示中の複数画像のうちで、選択された１つもしくは複数の画像を同時に削除することが可能である。この操作に関して、逆に選択されていない１つもしくは複数の画像を同時に削除することが可能であってもよい。同様の操作により、表示中の複数画像のうちで、選択された１つもしくは複数の画像を同時にプロテクトすることが可能である。また同様に、表示中の複数画像のうちで、選択された１つもしくは複数の画像をプリント対象画像に指定し、デジタルカメラに接続した外部出力装置によるダイレクトプリントを行うことが可能である。

本実施形態で示した画像表示手法、表示画像操作手法は、デジタルカメラの画像再生モードにおいてのみならず、レックレビューホールド時のマルチ表示指示においても実行される。レックレビューとは、撮影直後に撮影した画像データを画像表示部２８に一定時間自動表示する機能であり、通常は、撮影直後に画像表示メモリ２４又はメモリ３０に記憶された画像を読み出して画像表示部２８に表示する。そして、レックレビューホールドとは、レックレビューの表示期間内に操作部７０に配置されたレビューホールド指示ボタンを押すことにより、レビューホールド解除ボタンを押すまでの間レックレビュー表示状態が保持される機能である。

本実施形態は、画像表示部２８に複数の類似画像を表示し、それらを同時に拡大、移動等して、それらを比較可能とするものであるが、レックレビューホールド時に表示される比較対象である複数画像は、ブラケット撮影におけるブラケット画像、連写撮影における連写画像全て、標準撮影における指定時間内に撮影された画像のいずれかである。それぞれの画像群は、全てが同時にマルチ表示（複数画像表示）されてもよく、予め指定されていた枚数ずつマルチ表示されてもよい。

図６は、このレックレビューホールド時に、複数画像を同時表示する動作を示すフローチャートである。

まず、撮影を行なうと（ステップＳ７０１）、その直後に、撮影した画像データを画像表示部２８に表示するレックレビュー表示が行なわれる（ステップＳ７０２）。レックレビュー表示が行なわれている間にレックレビューホールドが指示されているか否かが判断され（ステップＳ７０３）、レックレビューホールドが指示されていない場合には、所定時間経過後レックレビュー表示を終了する（ステップＳ７０７）。ステップＳ７０３においてレックレビューホールドが指示されている場合には、レックレビュー表示をそのまま継続すると共に、複数画像表示が指示されているか否かを判断する（ステップＳ７０４）。ステップＳ７０４において複数画像表示が指示されていない場合には、ステップＳ７０６でレックレビューホールドの指示が解除されるまで待ち、解除されるとレックレビュー表示を終了する。ステップＳ７０４において複数画像表示が指示されている場合には、ステップＳ７０５に進み複数画像を表示する。その後、必要に応じてユーザが上記の実施形態で説明したような画像の拡大操作、画像移動操作などを行なって画像の確認を行ない、レックレビューホールドの指示が解除された後（ステップＳ７０６Ｙｅｓ）に、レックレビュー表示を終了する（ステップＳ７０７）。

また、予めレックレビューホールドのときに、複数画像を表示するモード（マルチ表示モード）を指定しておくことで、レックレビューホールド時に自動的に上記画像群がマルチ表示される。

図７は、このときの動作を示すフローチャートである。まず、撮影を行なうと（ステップＳ８０１）、その直後に、撮影した画像データを画像表示部２８に表示するレックレビュー表示が行なわれる（ステップＳ８０２）。レックレビュー表示が行なわれている間にレックレビューホールドが指示されているか否かが判断され（ステップＳ８０３）、レックレビューホールドが指示されていない場合には、所定時間経過後レックレビュー表示を終了する（ステップＳ８０６）。ステップＳ８０３においてレックレビューホールドが指示されている場合には、レックレビュー表示をそのまま継続すると共に、複数画像の表示を行なう（ステップＳ８０４）。その後、必要に応じてユーザが上記の実施形態で説明したような画像の拡大操作、画像移動操作などを行なって画像の確認を行ない、レックレビューホールドの指示が解除された後（ステップＳ８０５Ｙｅｓ）に、レックレビュー表示を終了する（ステップＳ８０７）。

なお、上記で説明した本実施形態の動作は、システム制御回路５０が、メモリ制御回路２２、画像表示メモリ２４、メモリ３０等を制御することにより行なわれる。

以上説明したように、上記の実施形態によれば、ほぼ同様の構図の画像の詳細な比較を、デジタルカメラで撮影後にその場で容易に行うことができる。また、複数の画像についてズームアップや表示位置の移動を、一つの操作で同時に実行できるため、操作効率がよい。また、詳細比較を画像再生時だけでなく、撮影直後のレックレビュー時にもできるので、不要画像の削除などの処理も行なうことができ、記録メディアが有効に使える上、後の画像整理の負担も軽減される。

実施例２：
次にマルチファンクションプリンタ（以下、ＭＦＰ）を用いた実施例２について説明する。図８は、本実施例で説明するＭＦＰの構成を示す概略図である。本ＭＦＰはフラットベッドスキャナや、ネットワーク経由で画像を入力することのできる画像入力手段３００、入力された画像を保持する記憶手段３０４、及び記憶手段３０４に記憶された画像を一覧し、出力する画像を選択することのできる表示手段３０６、及び記憶手段に保持された画像を読み出し、出力する出力手段３０９を備える。

記憶手段３０４は図９に示す様なフォルダ構造で、保持する画像を分類しておけるものとする。

以下、本実施例では、フラットベッドスキャナで画像を入力することを考える。ユーザは操作手段３０８により解像度を指定した後、操作手段３０８を用いてスキャンをスタートさせる。すると、画像がフラットベッドスキャナにより光学的に読み取られ、画像の濃淡情報が、アナログ電気信号に変換される。更にＡ／Ｄ変換することにより、画像信号は８ｂｉｔ２５６値のデジタル信号に変換される。以下では画像と言う言葉を、デジタル信号に変換された画像の濃淡信号として用いる。

画像が入力されると、分類手段３０１では該入力画像が帳票画像であるか、否かを判定する。もし、画像が帳票でなかった場合には、図９における「その他」フォルダに入力画像を保持する。分類は画像全体をアスペクト比を保ったまま６００×６００画素の矩形に収まる様に縮小した後、各画素の値を事前に学習させたＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ：非特許文献１を参照）に入力することによって行う。

ＳＶＭは式３で示すように入力ベクトル（ここでは６００×６００次元のベクトル）と重みベクトルωの内積が特定の閾値を超えていれば１を超えていなければ−１を出力する識別器である。ＳＶＭの学習とは前記重みベクトルω、及び閾値ｈを決定する作業である。

尚、ＳＶＭの学習についての詳細な説明は非特許文献１に譲るが、その概要を以下で説明する。図１４は、ＳＶＭの動作の概要を示したものである。まず前提条件として、図の左に示すように○×で表される二つの種類のベクトル群が存在するものとする。ＳＶＭはこれら二つのクラスを最適に分離するための超平面（図の右参照）を決定するためのアルゴリズムといえる。ＳＶＭにおいて、二つのベクトル群を最適に分割するとは、未知のベクトルが入力されたときの対応能力、つまり汎化能力を最大とするということと等価である。これを実現するために、二つのベクトル群の境界位置に存在するベクトル（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ）を見つけて、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒと超平面との距離が最大となるように超平面を設定する。ここで、実動作上、間違いの教師データも存在するため、間違いの許容量（ソフトマージン）を設定するパラメータを決める必要がある。以上は、線形ＳＶＭについての説明であるが、実際の教師データは線形判別できるベクトル群とは限らない。しかし、特徴量ベクトルを、より高次の空間に射影し（カーネルトリック）、その空間上で超平面を求めることで、非線形な問題にも対応できる。

以上を実現するには、結果的に、教師データ（ｘｉ，ｙｉ）を用いて式４の条件下で式５を最大化するラグランジェ乗数ベクトルαｉを求めることになる。その後ラグランジェ乗数ベクトルの要素のうち０でない要素に対応する教師データ群Ｓ（これがサポートベクタとなる）と、そのうちの任意の一つの教師データ（ｘ０，ｙ０）を用いて超平面のパラメータω，ｈを求める（式６，式７）。

尚、上記式に於いてＫ（ｘ，ｙ）はカーネルトリックを実現するためのカーネル関数を示す。カーネル関数には様々なものが考案されているが、今回の実施例ではＲａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ（ＲＢＦ）を用いた。ＲＢＦは式８で示される関数でＣは任意の数字である。

以上述べたように、ＳＶＭを用いて学習を行うにはソフトマージンの許容量を設定するパラメータγとカーネル関数であるＲＢＦを決定するためのＣを設定する必要があるが、今回の実施例では、γ＝１，Ｃ＝１０００を用いた。

また、本実施例では画像を縮小してそのまま入力ベクトルとしたが、画像から特徴量を算出し入力ベクトルとしても構わない。特徴量を算出することでベクトルの次元を削減すれば、ＳＶＭ自体は高速な動作が可能であるし、学習に必要な教師データの数も少なくて済む。

類似画像検索手段３０２は記憶手段３０４内の帳票フォルダに存在する画像と入力画像との類似度を判定する。類似度が高い画像が存在する場合には、入力画像を該類似度の高い画像の存在するフォルダへ保存する。一方、類似度が高い画像が存在しない場合には、新しいフォルダを作成して、そこへ画像を保存する。尚、類似画像検索手段３０２以降の処理は、分類手段３０１の判定結果が帳票であった場合にのみ行うものとする。これにより、類似画像検索を行う頻度が減少し、画像入力時の処理速度が向上する。更に、類似画像検索手段３０２で比較される既に記憶手段３０４に保持されている画像とは、図９の帳票以下に存在する各フォルダから一枚ずつとする。各フォルダに存在する画像は既に類似度が高いと判定されている画像であるため、それぞれと類似度判定を行う意義は少ない。このように、比較する画像を削減することで、画像入力時の処理速度が向上する。

類似画像検索手段３０２は図１３に示されるように、二値化手段４０１において、比較される画像をそれぞれ二値化し、特徴量算出手段４０２において、各画像から非特許文献２記載の高次局所自己相関と呼ばれる特徴量を算出した後、比較手段４０３において、算出された特徴量同士のユークリッド距離が所定の閾値を超えているか否かで判定を行う。尚、本実施例では閾値を２０とした。

高次局所自己相関法に関する詳しい説明は非特許文献２に譲るが、ここではその概要を説明する。簡単のため、一次元の信号を用いて考えるとＮ次の自己相関関数は参照点ｒでの画像の輝度値をＩ（ｒ）とすると、Ｎ次の自己相関関数は参照点周りのＮ個の変位（ａ１・・・ａＮ）に対して、式９で定義される。

高次局所自己相関では前記自己相関関数の信号を二次元に拡張したものである。このとき、次数Ｎを２までとし、変位を参照点ｒの周りの局所的な３×３画素の領域に限定する。つまり、局所的な領域内での３点までの相関関係を特徴とする。

具体的に説明するために、例えば図１２のＮｏ．２のパタンを例に挙げる。パタンの中心が注目画素である。注目画素に対して関連する画素、ここではパタンの右に黒で示された画素とのかけ算を行う。注目画素を画像全体でスキャンして各かけ算の結果を積算することでＮｏ．２の特徴量が算出される。前述の様に、高次局所自己相関では３×３画素の領域に於いて最大２個迄の画素の相関を考えるので、平行移動により等価な特徴を除くと、全てのパタンは図１２に示される２５個になる。この２５個のパタンについて前記の様な特徴量を算出するため、最終的に得られる特徴量は２５次のベクトルとなる。更に得られる値は画像の画素数に依存して変化するため、画像に含まれる画素全てで割り算し正規化しておく。上記のように得られる特徴量は画像の周波数情報の一種であり、同じ内容を含む画像ならば、位置がずれても値が不変であることが知られている。

補正値算出手段３０３では、類似画像検索手段３０２において、類似画像が存在する場合に処理を行う。入力画像と類似度の高い画像とで位置が合うように補正値を算出する。これは実施例１で説明した補正値算出手段５０３と同様の方法で行う。但し、実施例１では、第一の画像中においてユーザが拡大していた領域Ｒ０に含まれる画像を第二の画像中で走査したが、本実施例に於いては、第一の画像全体を走査して最も相関の高くなる位置（ｃｘ，ｃｙ）を算出する。ここで元画像をそのまま走査しても構わないが、第一、第二の画像それぞれを１／ｎに縮小し、最も相関が高くなる位置（ｃ’ｘ，ｃ’ｙ）を算出した後、（ｎ×ｃ’ｘ，ｎ×ｃ’ｙ）すれば、高速に処理が行える。更に、入力される画像はユーザが指定した解像度によって大きさが異なることになるため、補正値算出手段３０３で行われる処理は、入力された画像を特定の解像度に拡大縮小してから行う。本実施例では全ての画像を３００ｄｐｉの画像に拡大縮小するものとする。また、入力された画像の解像度をａとすると３００／ａを拡大補正率ｃとして算出する。算出された（ｃ’ｘ，ｃ’ｙ）及びｃは画像と対にして記憶手段３０４に保持される。前述の通り、画像をスキャンする際には解像度指定を行う必要があるが、利用するユーザによって異なる値が取られることが多い。このように位置の補正値だけでなく拡大率の補正値を算出し、保持しておくことで、ユーザはスキャンの際に特定の解像度を選択する必要が無くなるため、ユーザの利便性が向上する。

記憶手段３０４に保持された画像は、表示手段３０７により一覧表示することができる。ユーザは操作手段３０８を通じて、表示手段３０７に一覧される画像を変更したり、出力する画像を選択することができる。尚、本実施例では操作手段として、タッチパネルを想定している。表示手段３０７は通常、拡大縮小率や用紙サイズ、等を表示する領域であるが、特定のボタンが押されると、図９に示されたような画像が表示される。ここで、例えば図９中のＩＤ００１がタッチパネルにより選択されると、記憶手段３０４よりＩＤ００１フォルダに存在する画像が第一の表示制御手段３０５及び第二の表示制御手段３０６へと送られる。まず第一の表示制御手段３０５では画像の特定の領域を切り出して、表示手段３０７へと転送する。一方、第二の表示制御手段３０６では、画像全体を縮小して、表示手段３０７へと転送する。以上の処理をフォルダに含まれる画像全てに施す。尚、拡大する位置と拡大率に関しては事前に設定してある特定の値でも良いし、前回ユーザが該当するフォルダを選択し拡大していた領域でも構わない。但し切り出される領域の基準値を（ｘｌ，ｙｂ，ｘｒ，ｙｔ）とすると、各画像に対応付けされたｃ及び（ｃｘ，ｃｙ）に対して、各画像から切り出される領域は（ｘｌ＋ｃｘ，ｙｂ＋ｃｙ，ｘｒ＋ｃｘ，ｙｔ＋ｃｙ）になるものとする。

結果、表示手段３０７では図１０の様に表示される。６枚の画像に関して、その縮小画像（第二の表示制御手段３０６にて処理された画像）と、一部拡大領域（第一の表示制御手段３０５において処理された画像）が表示されており、更に右側にはスライドバーが有るため、スライドすることで６枚以上の画像であっても、問題なく閲覧することができる。更に詳しく説明するために図１０の左上画像を拡大した様子を図１１に示す。左側が元画像全体の縮小画像、右側にその一部が拡大された画像が並んでいる。更に左側の縮小画像中に表示された矩形は、現在右側の拡大画像で表示されている領域が示されている。これにより、ユーザは現在拡大されている領域がどこであるかを容易に判断することができ利便性が向上する。

ユーザは拡大領域の右下をタッチパネルによりドラッグすることで拡大領域を大きくしたり小さくしたりできる。又、拡大領域の右下以外の領域をタッチパネルによりドラッグすることにより、拡大領域を移動させることができる。この操作は第一の表示制御手段３０５に送られる。このとき、記憶手段３０４からは再度フォルダ中の各画像が、第一の表示制御手段３０５へと送られる。第一の表示制御手段３０５はユーザが指定した拡大領域を各画像から切り出し、表示手段３０７へと転送する。これにより、表示されている全ての画像に対してユーザが指定した拡大領域の拡大図が表示されることになる。前述したように拡大されている領域が縮小画像の中で明示されているだけでなく、該領域を示す矩形を直接タッチパネルにより操作できる構成とすることにより、より直感的に拡大縮小、移動の処理が行え、ユーザの利便性が向上する。

このようにユーザが一つの画像に対して行った拡大領域の操作を他の画像に対しても行う際に、他の画像との位置及び拡大率の差異を補正することで、実施例１で述べたのと同様に、全ての画像で注目領域を正確に拡大することできる。もし、このような補正を行わないと、ユーザは拡大領域を各画像ごとで細かに調整するか、スキャンする際に、厳密な位置合わせを行って更に、スキャン時の解像度を一定にしなければならない。

尚、分類手段３０１及び類似画像検索手段３０２及び補正値算出手段３０３の全ての処理、若しくは一部の処理は、画像入力の直後である必要は無い。他のジョブが無い時間に、記憶手段から画像を読み出して処理しても構わない。これらの処理は実装形式によっては、非常に時間がかかる場合がある。その場合、ユーザは１枚の画像をスキャンしてから次の画像をスキャンするまでに、しばらく待たなければいけなくなる。一方、上記全ての処理、若くは一部の処理をＭＦＰのジョブが無い時間、例えば業務時間外等に行うようにすれば、ユーザはその場で処理を待つ必要が無くなり利便性が向上する。

本実施例では第二の表示制御手段を用いて画像全体を縮小し、表示手段に表示する構成としたが、例えば、ＪＰＥＧ２０００の様に、低解像度の画像を既に保持した画像フォーマットを用いれば、縮小する必要はない。

また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

従来の課題を説明する図である。 本発明が適用されるデジタルカメラの構成を示す。 再生モードを説明する図である。 本発明の実施例１の構成を示す。 補正値算出手段で算出される補正値を説明する図である。 レックレビューホールド時に、複数画像を同時表示する動作を示すフローチャートである。 レックレビューホールド時に自動的に画像群がマルチ表示される動作を示すフローチャートである。 本発明の実施例２の構成を示す。 フォルダ構造を示す。 実施例２により表示される画像を示す。 図１０の左上の画像を拡大した画像を示す。 高次局所自己相関用のパターンを示す。 類似画像検索手段の構成を示す。 ＳＶＭの動作を説明する図である。

符号の説明

２４ 画像表示メモリ
３０ メモリ
５０３ 補正値算出手段
５０４ 表示制御手段

Claims (18)

1. 画像を入力する画像入力手段と、前記画像入力手段により入力された画像を記録する記録手段と、前記記録手段に記録された画像信号を表示する表示手段と、前記表示手段に表示された特定の複数の画像に対して、少なくとも画像の拡大処理または画像の移動処理を含む複数の処理の中から選択された処理を同時に行う第一の表示制御手段とを具備する画像処理装置において、前記選択された画像に応じて前記第一の表示制御手段に対する補正値を算出する補正値算出手段を備え、前記補正値に応じて前記第一の表示制御手段の処理を補正することを特徴とする画像処理装置。
2. 画像を入力する画像入力手段と、前記画像入力手段により入力された画像を記録する記録手段と、前記記録手段に記録された画像信号を表示する表示手段と、前記表示手段に表示された特定の複数の画像に対して、少なくとも画像の拡大処理または画像の移動処理を含む複数の処理の中から選択された処理を同時に行う第一の表示制御手段とを具備する画像処理装置において、前記第一の表示制御手段を補正する補正値を算出する補正値算出手段を備え、前記補正値算出手段より算出された補正値は、前記記録手段に一度記録され、対応する画像が前記第一の表示制御手段により処理される際に読み出されることを特徴とする画像処理装置。
3. ユーザが装置に指示を与える操作手段を具備し、ユーザの操作に応じて前記記録手段から画像を読み出し、ユーザの操作に応じて前記第一の表示制御手段を制御することを特徴とする請求項１または２記載の画像処理装置。
4. 前記記録手段から読み出される画像の全体若しくは一部は前記第一の表示制御手段へ送られると共に、第二の表示制御手段へと転送され、前記第一、第二の表示制御手段によって加工された画像は前記表示手段に同時に表示されることを特徴とする請求項１または２記載の画像処理装置。
5. 撮像装置を備え、前記第一の表示制御手段は、前記撮像手段による撮像動作の直後に、前記撮像手段により撮像された画像を前記表示手段に表示させるレックレビュー動作を行う機能を有し、前記レックレビュー動作を継続する指示を受けた場合に、前記特定の複数の画像を自動的に前記表示手段に表示させることを特徴とする請求項１または２記載の画像処理装置。
6. 前記複数の画像は、ブラケット撮影時において連続して撮影された複数の画像、連射撮影時において連続して撮影された複数の画像、前回の撮影時からあらかじめ設定された時間内に撮影された複数の画像のうち何れかの画像であることを特徴とする請求項１または２記載の画像処理装置。
7. 前記入力画像と、前記記録手段に記録されている画像の類似度を算出する画像類似度算出手段を更に備え、少なくとも前記入力画像と類似度が高いと判定された画像を用いて補正値算出を行うことを特徴とする請求項１または２記載の画像処理装置。
8. 画像の種別を判定する分類手段を更に備えることを特徴とする請求項１または２記載の画像処理装置。
9. 前記分類手段により特定の画像種であるか否かに応じて処理を切り替えることを特徴とする請求項８記載の画像処理装置。
10. 前記分類手段は、類似度判定を行う前に、画像種別の判定を行うことを特徴とする請求項８記載の画像処理装置。
11. 前記補正値算出手段は、少なくとも倍率補正値算出手段を含むことを特徴とする請求項１または２記載の画像処理装置。
12. 前記第二の表示制御手段は、少なくとも入力画像よりも低解像度の画像を出力することを特徴とする請求項４記載の画像処理装置。
13. 同時に表示される前記第一、第二の表示制御手段により処理された二枚の画像の対応が、少なくとも一方の画像に矩形で明示されていることを特徴とする請求項４記載の画像処理装置。
14. 前記対応を明示する矩形をポインティングし、ドラッグすることで、前記第一の表示制御手段の動作を変更し、表示手段に表示されている内容を更新できることを特徴とする請求項１３記載の画像処理装置。
15. 画像を入力する画像入力工程と、前記画像入力工程により入力された画像を記録する記録工程と、前記記録工程に記録された画像信号を表示する表示工程と、前記表示工程に表示された特定の複数の画像に対して、少なくとも画像の拡大処理または画像の移動処理を含む複数の処理の中から選択された処理を同時に行う第一の表示制御工程とを具備する画像処理方法において、前記選択された画像に応じて前記第一の表示制御工程に対する補正値を算出する補正値算出工程を備え、前記補正値に応じて前記第一の表示制御工程の処理を補正することを特徴とする画像処理方法。
16. 画像を入力する画像入力工程と、前記画像入力工程により入力された画像を記録する記録工程と、前記記録工程に記録された画像信号を表示する表示工程と、前記表示工程に表示された特定の複数の画像に対して、少なくとも画像の拡大処理または画像の移動処理を含む複数の処理の中から選択された処理を同時に行う第一の表示制御工程とを具備する画像処理方法において、前記第一の表示制御工程を補正する補正値を算出する補正値算出工程を備え、前記補正値算出工程より算出された補正値は、前記記録工程に一度記録され、対応する画像が前記第一の表示制御工程により処理される際に読み出されることを特徴とする画像処理方法。
17. 請求項１５または１６記載の画像処理方法をコンピュータに実現させるためのプログラム。
18. 請求項１５または１６記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images