【０００１】
【発明の属する技術分野】
本発明は、デジタルスチルカメラや撮影機能を有する携帯電話などの撮像装置の技術分野に属し、詳しくは、利便性や娯楽性をより向上した、高い付加価値を有する撮像装置に関する。
【０００２】
【従来の技術】
パーソナルコンピュータ（ＰＣ）やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の普及に伴い、デジタルスチルカメラ（以下、デジタルカメラとする）の普及率が拡大している。
殆どのデジタルカメラは、液晶ディスプレイ等のモニタを有しており、撮影した画像を、その場で観察してすることができ、また、撮影した画像の拡大機能やトリミング機能等を有し、撮影した画像をモニタで確認しながら、このような処理を行うことができる機種もある。
【０００３】
他方、近年では、撮影機能を有する携帯電話も多い。
このような撮影機能を有する携帯電話では、撮影画像をモニタで観察できることはもちろん、撮影した写真を電話回線を利用して他の携帯電話に送信して、友人等に鑑賞してもらうことも可能である。さらに、動画を転送することができ、テレビ電話のような使い方が可能な機種もある。
【０００４】
さらに、時系列的な差分画像を生成する、いわゆる差分カメラが防犯カメラ等に利用されており、例えば、特許文献１には、時系列的に入力される複数の画像からエッジ成分を抽出して差分エッジ画像を生成し、このエッジ画像から変化のある領域を選択して、この領域の画像を差分画像から抽出することにより、データ処理量を低減して、高速での処理が可能な差分カメラが開示されている。
【０００５】
すなわち、デジタルカメラや撮影機能を有する携帯電話など、撮影した画像をデジタルの画像データとする撮像装置の付加機能は、日々、向上しており、付加価値の高い機種が、続々と誕生している。
【０００６】
【特許文献１】
特開２０００−１８４３６１号公報
【０００７】
【発明が解決しようとする課題】
本発明の目的は、デジタルカメラや撮影機能付きの携帯電話などの撮像装置であって、過去に撮影した画像を保存して、現在の撮影画像と比較して差分を検出することができ、これにより良好な娯楽性の実現や利便性の向上を図った、付加価値の高い撮像装置を提供することにある。
【０００８】
【課題を解決するための手段】
前記目的を達成するために、本発明の撮像装置は、画像を撮影して撮影画像データとする画像生成手段と、前記画像生成手段が生成した撮影画像データを記憶する記憶手段と、前記画像生成手段が生成した撮影画像データと前記記憶手段が既に記憶している撮影画像データの少なくとも１つとを比較して、その差分を検出する差分検出手段と、前記差分検出手段による差分検出結果を表示する表示手段とを有することを特徴とする撮像装置。
【０００９】
このような本発明の撮像装置において、前記表示手段は、差分検出結果として画像表示によって差分を有する箇所を表示するものであり、かつ、差分を有する箇所につき、色相の変更、濃度の変更、コントラスト差を付ける、枠で囲む、および、点滅表示するの少なくとも１以上によって、差分検出結果を表示するのが好ましく、また、前記表示手段は、文字表示によって前記差分検出結果を表示するのが好ましく、また、前記差分検出手段において、前記画像生成手段による撮影画像データとの差分を検出する撮影画像データを、前記記憶手段に記憶された撮影画像データから指定する指定手段を有するのが好ましく、この際において、前記指定手段によって指定された画像データを用いて、撮影画像の撮影位置合わせを行う手段を有するのが好ましく、さらに、前記差分検出手段は、前記画像生成手段による撮影画像データと記憶手段に記憶された画像データとで、人物の顔の差分を検出するものであるのが好ましい。
【００１０】
【発明の実施の形態】
以下、本発明の撮像装置について、添付の図面に示される好適実施例を基に、詳細に説明する。
【００１１】
図１（Ａ）に、本発明の撮像装置の一例の概略ブロック図を示す。図１に示される撮像装置１０は、基本的に、撮影画像データ生成手段１２と、表示制御手段１４と、モニタ１６と、入力手段１８と、記憶手段２０と、差分検出手段２２とを有して構成される。
この撮像装置１０は、一例として、図１（Ｂ）に概念的に示されるように、撮影機能付きの携帯電話２４に組み込まれるものであり、モニタ１６は携帯電話２４の表示部を兼ね、また、入力手段１８は、モニタ１６や携帯電話２４の操作キー２６等を利用して構成される。
【００１２】
撮影画像データ生成手段１２（以下、画像生成手段１２とする）は、撮像装置１０（図示例では携帯電話２４）が撮影した画像の（デジタル）画像データを生成するものである。
画像生成手段１２は、基本的に、通常の撮影機能付きの携帯電話やデジタルカメラと同様にして、撮影画像（撮影シーン）の画像データを生成するもので、例えば、結像レンズ、ＣＣＤセンサなどの撮像素子、Ａ／Ｄ変換器やｌｏｇ変換器などの撮像素子の出力信号をデジタルの画像データにする手段、暗時補正やシェーディング補正などの補正、階調変換や色／濃度補正などの画像処理を行なう処理手段、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）フォーマットなどの所定フォーマットの画像データ（以下、撮影画像データとする）に変換する変換手段等を有して構成される。
【００１３】
画像生成手段１２は、生成した撮影画像データを表示制御手段１４に送る。表示制御手段１４は、この画像データを表示用データに変換して、ユーザが撮影した画像（以下、撮影画像とする）をモニタ１６に表示する。
なお、表示制御手段１４は、後述する差分検出手段２２による撮影画像と比較対象画像との差分検出結果等に応じて、画像中の差分を有する箇所の色相調整や濃度調整等の各種の処理も行う。この点に関しては、後に詳述する。
【００１４】
また、ユーザによる入力手段１８の操作によって、撮影画像を、比較対象画像（以下、比較画像とする）として記憶することが指示された場合には、画像生成手段１２は、この撮影画像データを記憶手段２０に送り、記憶手段は、比較画像の画像データ（以下、比較画像データとする）として記憶する。
さらに、ユーザによる入力手段１８の操作によって、撮影の前または後に比較画像が指定された場合には、画像生成手段１２は、撮影画像データを差分検出手段２２にも送る。
【００１５】
モニタ１６は、例えば、液晶ディスプレイ等の公知の表示手段で構成されるものであり、表示制御手段１４による制御の下、前述のような撮影画像の表示、各種の指示の表示、各種の情報の表示、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）による各種の操作のための表示、さらには、後述する差分検出手段２２による撮影画像と比較画像との差分検出結果の表示等を行う。
このようなモニタ１６は、例えば、前述のように撮影機能付きの携帯電話２４に装着されるモニタを利用すればよい。
【００１６】
入力手段１８は、撮影画像（撮影画像データ）を比較画像（比較画像データ）として保存する指示、撮影画像と比較する比較画像の選択等の、撮像装置１０における各種の指示等を入力するものである。
このような入力手段１８は、例えば、前述のようにモニタ１６や携帯電話２４の操作キー２６等を利用して、通常の撮影機能付きの携帯電話に準じて構成すればよい。
【００１７】
記憶手段２０は、入力手段１８によって指示された比較画像データ等を記憶するものであり、例えば、コンパクトフラッシュＴＭやスマートメディアＴＭ等の公知のメモリを用いて構成すればよく、また、携帯電話２４に搭載されているフラッシュメモリや低消費電力型ＳＲＡＭなどを利用してもよい。
【００１８】
差分検出手段２２は、選択された比較対象画像と、撮影画像との差分（違い）を検出して、表示制御手段１４に供給する部位である。
差分検出手段２２における、両画像の差分検出方法には、特に限定はなく、公知の画像の差分検出方法が各種利用可能である。一例として、特開２０００−１８４３６１号公報に開示されるような、周波数処理やフィルタ処理等を行って画像のエッジ成分を抽出して、エッジ画像を比較して比較画像と撮影画像との差分を検出する方法が例示される。
【００１９】
以下、撮像装置１０（携帯電話２４）の作用を説明することにより、本発明の撮像装置ついてより詳細に説明する。
携帯電話２４のユーザが撮影機能を利用して画像を撮影すると、画像生成手段１２が、この撮影画像の撮影画像データを生成し、表示制御手段１４に送る。表示制御手段１４は、この画像データを表示用データに変換して、モニタ１６に表示する。
【００２０】
撮影画像をモニタ１６に表示した際に、ユーザが入力手段１８を用いた所定の操作を行って、この撮影画像を比較画像として記憶することを指示した場合には、画像生成手段１２は、この撮影画像データを記憶手段２０に送り、記憶手段２０は、これを比較画像データとして記憶する。
なお、記憶手段２０に記憶する比較画像は、１枚に限定されず、複数の比較画像を記憶してもよいのは、もちろんである。また、複数の比較画像を有する場合には、それぞれの区別は、各比較画像に固有のＩＤ番号を付する等、公知の手段によればよい。
【００２１】
このようにして、撮像装置１０（携帯電話２４）の記憶手段２０が１以上の比較画像を記憶している状態において、撮影画像と比較画像との比較を行う場合には、ユーザが、入力手段１８によって比較画像を指定し、その後、撮影を行う。なお、比較画像の指定は、撮影後であってもよい。
【００２２】
撮影を行うと、先と同様に、画像生成手段１２が撮影画像データを生成して表示制御手段１４に送り、表示制御手段１４が、この撮影画像をモニタ１６に表示し、また、比較画像が指定されている場合には、画像生成手段１２は、撮影画像データを差分検出手段２２にも送る。
これと並行して、差分検出手段２２は、記憶手段２０から指定された比較画像の比較画像データを読み出し、次いで、比較画像と、画像生成手段１２から送られた撮影画像との差分を検出して、検出結果を表示制御手段１４に送る。
表示制御手段１４は、差分検出手段２２から供給された差分の検出結果に応じて、差分を有する箇所（領域）が判別できるように、差分箇所を強調表示するようにモニタ１６の表示画像を変更する。
【００２３】
一例として、比較画像として以前に撮影した自身の顔が指定され、同様にして自身の顔を撮影し、その結果、比較画像と撮影画像とで、差分箇所として眉毛が検出されたとする。
この場合には、表示制御手段１４は、図１（Ｂ）に示されるように、差分箇所として検出された眉毛のみを比較画像と撮影画像との両者をモニタ１６に表示すると共に、撮影画像の眉毛を強調表示する。なお、モニタ１６の表示は、撮影画像のみとして、差分箇所を強調表示するのみでもよい。
【００２４】
強調表示の方法には、特に限定はなく、各種の方法が利用可能である。一例として、他の領域に対して、色相を変更する、濃度を変更する、コントラストに差を設ける等の方法、差分箇所を囲む方法、差分箇所を点滅表示する方法、これらを併用する方法等が例示される。これにより差分を明示的に表示できる。
また、「眉毛が違います」等、差分を文字列で表現してもよく、この際には、「眉毛の太さが違います」、「眉毛の形が違います」、「眉毛の太さと形が違います」のように、より具体的に差分を表現してもよい。これにより、差分表示方法の簡略化および具体化を図ることができる。
さらに、画像上における差分箇所の強調表示と、文字列による表現とを併用してもよい。
【００２５】
このような、比較画像の記憶手段、および比較画像と撮影画像との差分検出手段、および差分検出結果の表示手段等を有する、本発明の撮像装置によれば、デジタルカメラや撮影機能付きの携帯電話などの撮像装置の娯楽性や利便性を向上して、付加価値の高い製品を実現することができる。
【００２６】
例えば、女性がユーザである場合に、自身の顔を撮影して、好ましい撮影画像が得られた場合に、この撮影画像を比較画像として記憶しておく。
後日、ユーザが鏡などを見た際に、顔に違和感などを感じたら、再度、自身の顔を撮影して、この撮影画像と、比較画像との差分を検出し、表示する。これにより、ユーザは、自身で好ましいと考える比較画像（その顔）と、現在の自身の顔と違いを知見して、例えば、化粧を直すことができる。
【００２７】
なお、本発明の撮像装置１０において、モニタ１６に表示する画像は、撮影画像（あるいはさらに、比較画像の差分箇所）のみに限定はされず、例えば、撮影画像と比較画像とを並べて表示してもよく、あるいは、撮影画像と比較画像とを交互に表示してもよい。また、後述するような、線型推測するような機能を有する場合には、比較画像から撮影画像に至る間を埋めるような画像を連続的に表示して、比較画像から撮影画像に至る時間的な変化を示すようにしてもよい。
【００２８】
本発明の撮像装置１０においては、比較画像として記憶し、かつ、撮影画像と比較画像との差分を検出するのは、人物の顔であるのが好ましい。
人物の顔であれば、眉毛の違い、髪形の違いなど、差分を表現する位置や差分の表現方法が、ある程度限定できる。そのため、例えば、文字列で差分を表現する際に、何種類かのパターンを用意しておけば、十分な対応が可能になる。
【００２９】
以上の説明から明らかなように、本発明の撮像装置１０において、撮影画像と比較画像との差分を適正に検出するためには、両画像の位置や大きさが、一致しているのが好ましい。そのため、前述のように、撮影に先立って比較画像を指定する機能を有する場合には、比較画像（比較画像データ）を用いて、位置合わせのための情報をモニタ１６に表示するのが好ましい。
位置合わせ情報の表示としては、図２（Ａ）に示すように、撮影画像と重なるように、点線で示すような濃度を薄くした比較画像をモニタ１６に表示する方法が例示される。あるいは、図２（Ｂ）に示すように、モニタ１６に「×」印によって比較画像の目の位置を示す等、撮影画像と重なるように、モニタ１６に、所定の印で、比較画像の所定部位（人物の顔であれば、目以外に、鼻や口など）を表示して、位置合わせの情報とする方法が例示される。
【００３０】
なお、位置合わせを行っても、比較画像と撮影画像とで、人物の顔等の主たる被写体の位置やサイズを完全に一致させることは困難である。
そのため、本発明の撮像装置１０においては、差分検出手段２２による差分検出に先立ち、撮影画像（あるいは比較画像）の拡大／縮小（電子辺倍処理）や、移動等を行って、比較画像と、撮影画像とで、主被写体の位置合わせやサイズ合わせを行ってもよい。
【００３１】
また、撮影画像として、比較画像と同じ絵柄の画像であっても、屋外と屋内などの撮影では、撮影光の違い等によって、全く異なる画像と判断されてしまう場合がある。ここで、比較画像が人物の顔である場合等であれば、肌の位置を検出するのは容易であるので、比較画像と撮影画像とで、肌の色を略一致させて、その画像を用いて差分検出手段２２による差分検出を行ってもよい。
あるいは、比較画像と撮影画像とで、濃度やコントラストを略一致させた後に、差分検出手段２２による差分検出を行ってもよい。
【００３２】
以上の例では、比較画像と撮影画像との差分を検出して、その差分をモニタ１６に表示したが、本発明は、これに限定はされず、例えば、比較画像と撮影画像との撮影日を記憶しておき、両者の差分から、任意の日時の画像を推定して表示してもよい。
一例として、図３に示されるように、２００２年１月１日に撮影した比較画像と、２００２年４月１日に撮影した撮影画像とで、ユーザ（撮影者）の体型が異なっている場合などに、両者の差分から体型の変化を検出し、例えば、線型な推測を行って、任意の日時（図示例では同年７月１日）の画像を推定することが例示される。これにより、例えば、女性のダイエットの効果の推測や確認を行うことができる。
【００３３】
また、記憶手段２０に、比較画像として所定の人物（例えば、携帯電話２４の所有者）の顔を比較画像として記憶し、さらに、この人物が所定の登録を済ませた者である旨の情報を記憶しておき、人物の顔を撮影した際に、この撮影画像と、登録者の画像を撮影した比較画像との差分を検出することにより、所有者認証を行ってもよい。
これにより、例えば、登録された所有者であると認証が取れた場合のみ、携帯電話２４を使用できるようにすれば、不当な使用を防止して、セキュリティーの点でも、好適である。
【００３４】
上記実施例は、本発明の撮像装置を携帯電話に利用した例であるが、本発明は、これに限定はされず、いわゆるデジタルカメラに差分検出手段や過去の比較対象画像（その画像データ）を記憶するための記憶手段等を付加して、本発明の撮像装置としてもよい。
【００３５】
また、図示例の撮像装置１０は、画像を表示できるモニタ１６を有しており、ここに差分を表示したが、本発明は、これに限定はされず、ＬＥＤや液晶等を用いた文字表示機能のみしか有さず、これを用いた文字表示によって、比較画像と撮影画像との差分を表示してもよい。
例えば、女性が化粧に使うコンパクトに、画像生成手段、入力手段、記憶手段、差分検出手段、さらに、ＬＥＤなどを用いる文字表示手段等を搭載した、いわばデジタルコンパクトのような撮像装置が例示される。このデジタルコンパクトでも、同様に、自身の画像を撮影し、比較画像として記憶する。その上で、後日、自身の顔を撮影して、比較画像と撮影画像との差分を検出して、文字表示手段によって、前述のように、「眉毛が太いです」、「眉毛の形が違います」等の差分を文字表示する。
【００３６】
以上、本発明の撮像装置について詳細に説明したが、本発明は、上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのは、もちろんである。
【００３７】
【発明の効果】
以上、詳細に説明したように、本発明の撮像装置によれば、デジタルカメラや撮影機能付きの携帯電話などの利便性や娯楽性を向上して、付加価値の高い製品を作製することができる。
【図面の簡単な説明】
【図１】（Ａ）は本発明の撮像装置の一例の概略ブロック図、（Ｂ）は本発明の撮像装置を利用する携帯電話の一例の概念図である。
【図２】（Ａ）および（Ｂ）は、本発明の撮像装置の作用の一例を説明するための概念図である。
【図３】本発明の撮像装置の作用の別の例を説明するための概念図である。
【符号の説明】
１０ 撮像装置
１２ 画像生成手段
１４ 表示制御手段
１６ モニタ
１８ 入力手段
２０ 記憶手段
２２ 差分検出手段
２４ 携帯電話
２６ 操作キー[0001]
BACKGROUND OF THE INVENTION
The present invention belongs to a technical field of an imaging apparatus such as a digital still camera and a mobile phone having a photographing function, and more particularly relates to an imaging apparatus having high added value with improved convenience and entertainment.
[0002]
[Prior art]
With the spread of personal computers (PCs), PDAs (Personal Digital Assistants), and the like, the penetration rate of digital still cameras (hereinafter referred to as digital cameras) is increasing.
Most digital cameras have a monitor, such as a liquid crystal display, so that the captured image can be observed on the spot, and the captured image has an enlargement function, a trimming function, etc. There are also models that can perform such processing while checking the image on the monitor.
[0003]
On the other hand, in recent years, many mobile phones have a photographing function.
With a mobile phone with such a shooting function, you can observe the captured image on a monitor, and you can also send your pictures to other mobile phones using a telephone line for viewing by friends, etc. It is. In addition, there are models that can transfer video and can be used like videophones.
[0004]
Furthermore, so-called difference cameras that generate time-series difference images are used in security cameras and the like. For example, in Patent Document 1, edge components are extracted from a plurality of images input in time series. A differential camera that generates a differential edge image, selects a region with changes from the edge image, and extracts an image of this region from the differential image, thereby reducing the amount of data processing and enabling high-speed processing. Is disclosed.
[0005]
In other words, the additional functions of imaging devices that use captured images as digital image data, such as digital cameras and mobile phones with shooting functions, are improving day by day, and high-value-added models are born one after another. .
[0006]
[Patent Document 1]
Japanese Patent Laid-Open No. 2000-184361
[Problems to be solved by the invention]
An object of the present invention is an imaging device such as a digital camera or a mobile phone with a photographing function, which can store an image photographed in the past and detect a difference compared with a current photographed image. It is an object of the present invention to provide an imaging device with high added value which achieves better entertainment and improves convenience.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, an imaging apparatus according to the present invention includes an image generation unit that captures an image to obtain captured image data, a storage unit that stores captured image data generated by the image generation unit, and the image generation unit. The photographed image data generated by the means is compared with at least one of the photographed image data already stored in the storage means, and a difference detection means for detecting the difference and a difference detection result by the difference detection means are displayed. An image pickup apparatus comprising: a display unit.
[0009]
In such an imaging apparatus of the present invention, the display means displays a portion having a difference by image display as a difference detection result, and changes in hue, density, and contrast for the portion having the difference. It is preferable to display the difference detection result by at least one of adding a difference, surrounding with a frame, and blinking display, and the display means preferably displays the difference detection result by character display, Further, the difference detection means preferably includes a designation means for designating photographed image data for detecting a difference from the photographed image data by the image generating means from the photographed image data stored in the storage means. And a means for aligning the photographing position of the photographed image using the image data designated by the designation means. Preferably, further, the difference detecting means is a photographic image data and the image data stored in the storage means by the image generating means is preferably designed to detect the difference between the face of the person.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
The imaging apparatus of the present invention will be described in detail below based on a preferred embodiment shown in the accompanying drawings.
[0011]
FIG. 1A shows a schematic block diagram of an example of an imaging apparatus of the present invention. The imaging apparatus 10 shown in FIG. 1 basically includes a captured image data generation unit 12, a display control unit 14, a monitor 16, an input unit 18, a storage unit 20, and a difference detection unit 22. Configured.
As an example, the imaging device 10 is incorporated into a mobile phone 24 with a photographing function as conceptually shown in FIG. 1B, and the monitor 16 also serves as a display unit of the mobile phone 24. The input means 18 is configured using the monitor 16 and the operation keys 26 of the mobile phone 24.
[0012]
The captured image data generation means 12 (hereinafter referred to as image generation means 12) generates (digital) image data of an image captured by the imaging apparatus 10 (mobile phone 24 in the illustrated example).
The image generation means 12 basically generates image data of a photographed image (photographing scene) in the same manner as a mobile phone or digital camera with a normal photographing function. For example, an image forming lens, a CCD sensor, etc. Image sensors, means for converting output signals of image sensors such as A / D converters and log converters into digital image data, corrections such as dark correction and shading correction, images such as gradation conversion and color / density correction Processing means for performing processing, conversion means for converting image data into image data of a predetermined format such as JPEG (Joint Photographic Expert Group) format (hereinafter referred to as captured image data), and the like are included.
[0013]
The image generation unit 12 sends the generated captured image data to the display control unit 14. The display control means 14 converts the image data into display data and displays an image captured by the user (hereinafter referred to as a captured image) on the monitor 16.
Note that the display control unit 14 also performs various processes such as hue adjustment and density adjustment of a portion having a difference in the image according to a difference detection result between a captured image and a comparison target image by the difference detection unit 22 described later. Do. This will be described in detail later.
[0014]
In addition, when it is instructed to store the captured image as a comparison target image (hereinafter referred to as a comparison image) by the operation of the input unit 18 by the user, the image generation unit 12 stores the captured image data. The data is sent to the means 20, and the storage means stores it as image data of a comparison image (hereinafter referred to as comparison image data).
Further, when a comparison image is designated before or after shooting by the operation of the input unit 18 by the user, the image generation unit 12 also sends the captured image data to the difference detection unit 22.
[0015]
The monitor 16 is composed of known display means such as a liquid crystal display, for example. Under the control of the display control means 14, the above-described display of captured images, display of various instructions, and various information are displayed. Display, display for various operations by GUI (Graphical User Interface), and display of the difference detection result between the captured image and the comparison image by the difference detection means 22 described later are performed.
As such a monitor 16, for example, a monitor attached to the mobile phone 24 with a photographing function as described above may be used.
[0016]
The input means 18 is used to input various instructions in the imaging apparatus 10 such as an instruction to save a captured image (photographed image data) as a comparative image (comparison image data), selection of a comparative image to be compared with the captured image, and the like. is there.
Such an input means 18 may be configured in accordance with a normal mobile phone with a photographing function, for example, using the monitor 16 or the operation key 26 of the mobile phone 24 as described above.
[0017]
The storage unit 20 stores comparison image data instructed by the input unit 18 and may be configured using a known memory such as a compact flash TM or a smart media TM. Alternatively, a flash memory or a low power consumption SRAM mounted on the memory may be used.
[0018]
The difference detection unit 22 is a part that detects a difference (difference) between the selected comparison target image and the captured image and supplies the difference to the display control unit 14.
There is no particular limitation on the difference detection method for both images in the difference detection means 22, and various known image difference detection methods can be used. As an example, an edge component of an image is extracted by performing frequency processing, filter processing, or the like as disclosed in Japanese Patent Laid-Open No. 2000-184361, and the difference between the comparison image and the captured image is calculated by comparing the edge images. The method of detecting is illustrated.
[0019]
Hereinafter, the operation of the image pickup apparatus 10 (mobile phone 24) will be described in detail for the image pickup apparatus of the present invention.
When the user of the mobile phone 24 captures an image using the capturing function, the image generation unit 12 generates captured image data of the captured image and sends it to the display control unit 14. The display control means 14 converts this image data into display data and displays it on the monitor 16.
[0020]
When the photographed image is displayed on the monitor 16, when the user performs a predetermined operation using the input unit 18 and instructs to store the photographed image as a comparison image, the image generation unit 12 The photographed image data is sent to the storage means 20, and the storage means 20 stores it as comparison image data.
Of course, the number of comparison images stored in the storage unit 20 is not limited to one, and a plurality of comparison images may be stored. Further, when there are a plurality of comparison images, each distinction may be made by a known means such as attaching a unique ID number to each comparison image.
[0021]
In this manner, when the captured image and the comparison image are compared in the state where the storage unit 20 of the imaging apparatus 10 (the mobile phone 24) stores one or more comparison images, the user inputs the input unit. A comparative image is designated by 18 and then photographing is performed. The comparison image may be designated after shooting.
[0022]
When shooting is performed, the image generation unit 12 generates captured image data and sends the captured image data to the display control unit 14 as described above. The display control unit 14 displays the captured image on the monitor 16 and the comparison image is displayed. If designated, the image generation means 12 also sends the captured image data to the difference detection means 22.
In parallel with this, the difference detection means 22 reads the comparison image data of the designated comparison image from the storage means 20, and then detects the difference between the comparison image and the captured image sent from the image generation means 12. The detection result is sent to the display control means 14.
The display control unit 14 changes the display image of the monitor 16 so as to highlight the difference portion so that the portion (region) having the difference can be determined according to the difference detection result supplied from the difference detection unit 22. To do.
[0023]
As an example, it is assumed that the user's own face photographed before is designated as a comparative image, and his / her face is photographed in the same manner. As a result, eyebrows are detected as a difference portion between the comparative image and the photographed image.
In this case, as shown in FIG. 1B, the display control unit 14 displays only the eyebrows detected as the difference portion on the monitor 16 on both the comparison image and the captured image, and also displays the captured image. Highlight eyebrows. Note that the display on the monitor 16 may be only a captured image, and only the difference portion may be highlighted.
[0024]
The highlighting method is not particularly limited, and various methods can be used. As an example, there are methods such as changing the hue, changing the density, providing a difference in contrast, a method of surrounding the difference part, a method of blinking the difference part, a method of using these together, etc. Illustrated. Thus, the difference can be explicitly displayed.
Also, the difference may be expressed as a character string, such as “Brows of eyebrows”. In this case, “Brows of eyebrows are different”, “Brows of eyebrows are different”, “Brows of eyebrows” The difference may be expressed more specifically, like “the shape is different”. Thereby, the simplification and realization of the difference display method can be achieved.
Further, the highlighting of the difference portion on the image and the expression by the character string may be used in combination.
[0025]
According to the imaging apparatus of the present invention having the comparison image storage unit, the difference detection unit between the comparison image and the photographed image, the difference detection result display unit, and the like, the digital camera or the mobile phone with the photographing function is provided. The entertainment and convenience of an imaging device such as a telephone can be improved, and a product with high added value can be realized.
[0026]
For example, when a woman is a user and a face is photographed and a preferred photographed image is obtained, the photographed image is stored as a comparative image.
At a later date, when the user feels a sense of incongruity when looking at the mirror or the like, the user captures his / her face again, and detects and displays the difference between the captured image and the comparison image. Thereby, the user can know the difference between the comparative image (that face) that he / she thinks is preferable and his / her own face, and can correct the makeup, for example.
[0027]
In the imaging device 10 of the present invention, the image displayed on the monitor 16 is not limited to the captured image (or, further, the difference portion of the comparative image), and for example, the captured image and the comparative image are displayed side by side. Alternatively, the captured image and the comparative image may be displayed alternately. Further, in the case of having a function for estimating a linear shape as will be described later, an image that fills the space from the comparison image to the captured image is continuously displayed, and the time from the comparison image to the captured image is displayed. A change may be indicated.
[0028]
In the imaging apparatus 10 of the present invention, it is preferable that a face of a person is stored as a comparison image and the difference between the captured image and the comparison image is detected.
In the case of a person's face, the position for expressing the difference and the method for expressing the difference, such as differences in eyebrows and hairstyles, can be limited to some extent. Therefore, for example, when a difference is expressed by a character string, if several types of patterns are prepared, a sufficient response can be achieved.
[0029]
As is clear from the above description, in the imaging apparatus 10 of the present invention, in order to properly detect the difference between the captured image and the comparative image, it is preferable that the positions and sizes of both images match. . For this reason, as described above, in the case of having a function of designating a comparison image prior to shooting, it is preferable to display information for alignment on the monitor 16 using the comparison image (comparison image data).
As the display of the alignment information, as shown in FIG. 2A, a method of displaying on the monitor 16 a comparative image in which the density is reduced as shown by a dotted line so as to overlap with the captured image is exemplified. Alternatively, as shown in FIG. 2B, a predetermined mark of the comparison image is displayed on the monitor 16 with a predetermined mark so as to overlap the photographed image. A method of displaying a part (in the case of a person's face, a nose, a mouth, etc. in addition to eyes) and using it as alignment information is exemplified.
[0030]
Even if the alignment is performed, it is difficult to completely match the position and size of the main subject such as a person's face between the comparison image and the captured image.
Therefore, in the imaging device 10 of the present invention, prior to the difference detection by the difference detection unit 22, the captured image (or comparison image) is enlarged / reduced (electronic side doubling processing), moved, etc. The position and size of the main subject may be adjusted with the captured image.
[0031]
Moreover, even if the image has the same pattern as the comparison image, it may be determined that the image is completely different between the outdoors and indoors due to the difference in the photographing light. Here, if the comparison image is a person's face or the like, it is easy to detect the position of the skin. Therefore, the comparison image and the captured image are substantially matched in skin color, and the image is The difference detection unit 22 may be used to detect the difference.
Alternatively, the difference detection unit 22 may perform difference detection after the comparison image and the captured image are substantially matched in density and contrast.
[0032]
In the above example, the difference between the comparison image and the photographed image is detected and the difference is displayed on the monitor 16. However, the present invention is not limited to this. For example, the photographing date between the comparison image and the photographed image is displayed. May be stored, and an image of an arbitrary date and time may be estimated and displayed from the difference between the two.
As an example, as shown in FIG. 3, a user (photographer) has a different body shape between a comparative image taken on January 1, 2002 and a taken image taken on April 1, 2002. For example, a change in body shape is detected from the difference between the two and, for example, a linear estimation is performed to estimate an image of an arbitrary date and time (July 1, the same year in the illustrated example). Thereby, for example, estimation and confirmation of a female diet effect can be performed.
[0033]
In addition, the face of a predetermined person (for example, the owner of the mobile phone 24) is stored as a comparison image in the storage means 20, and information indicating that the person has completed the predetermined registration is stored. You may memorize | store and perform owner authentication by detecting the difference of this picked-up image and the comparison image which image | photographed the registrant's image when the face of a person is image | photographed.
Thus, for example, if the mobile phone 24 can be used only when the registered owner has been authenticated, it is preferable from the viewpoint of security to prevent unauthorized use.
[0034]
The above embodiment is an example in which the image pickup apparatus of the present invention is used for a mobile phone. However, the present invention is not limited to this, and a so-called digital camera includes difference detection means and past comparison target images (its image data). The image pickup apparatus of the present invention may be added by adding storage means for storing.
[0035]
Further, the imaging apparatus 10 in the illustrated example has a monitor 16 that can display an image, and the difference is displayed here. However, the present invention is not limited to this, and character display using an LED, a liquid crystal, or the like. Only the function is provided, and the difference between the comparison image and the captured image may be displayed by character display using the function.
For example, an imaging device such as a digital compact, in which an image generation unit, an input unit, a storage unit, a difference detection unit, and a character display unit using an LED or the like are mounted on a compact used by a woman for makeup, is exemplified. . Similarly, this digital compact also captures its own image and stores it as a comparative image. After that, I photographed my face at a later date, detected the difference between the comparison image and the photographed image, and, as mentioned above, “Eyebrows are thick”, “The shape of the eyebrows is different. Differences such as “Masu” are displayed in text.
[0036]
The imaging apparatus of the present invention has been described in detail above, but the present invention is not limited to the above-described embodiments, and various improvements and modifications may be made without departing from the scope of the present invention. Of course.
[0037]
【The invention's effect】
As described above in detail, according to the imaging apparatus of the present invention, it is possible to improve convenience and entertainment such as a digital camera or a mobile phone with a photographing function, and to produce a product with high added value. .
[Brief description of the drawings]
FIG. 1A is a schematic block diagram of an example of an imaging apparatus of the present invention, and FIG. 1B is a conceptual diagram of an example of a mobile phone using the imaging apparatus of the present invention.
FIGS. 2A and 2B are conceptual diagrams for explaining an example of the operation of the imaging apparatus of the present invention. FIGS.
FIG. 3 is a conceptual diagram for explaining another example of the operation of the imaging apparatus of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Imaging device 12 Image generation means 14 Display control means 16 Monitor 18 Input means 20 Storage means 22 Difference detection means 24 Mobile phone 26 Operation key