JP4998595B2 - 画像合成装置、及びプログラム - Google Patents

Description

本発明は、背景となる画像の一部に前景となる他の画像を合成する画像合成技術に関するものである。

従来、例えば下記特許文献１には、背景となる画像（以下、背景画像という。）の一部に前景となる他の画像（以下、前景画像という。）を合成して新たな画像を生成する際、背景画像と前景画像との間における階調や色調の差異を抑制するように、前景画像の階調や色調を調整する画像合成技術が記載されている。下記特許文献１に記載の画像合成技術を用いれば、例えば背景画像及び前景画像としてデジタルカメラによって異なる撮影条件で撮影され画像データとして記録された撮影画像を用いたとしても、合成画像として違和感の少ないより自然な画像を得ることができる。

特開２０００−２０９４２５号公報

しかしながら、特許文献１に記載の画像合成技術では、例えば前景画像が撮影によって取得された撮影画像であるのに対し、背景画像が、撮影画像に、特定の種類の絵画に似た視覚的特徴である画調（日本画調、西洋画調等）を確保するための画像変換処理が施された絵画調画像である場合には対応することができなかった。すなわち、背景画像の階調や色調に応じて前景画像の階調や色調を調整したとしても、合成画像として自然な画像を得ることができないという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、背景画像と前景画像とのいずれか一方が絵画調画像であっても、背景画像の一部に前景画像を合成した後の合成画像として違和感の少ないより自然な画像を得ることを目的とする。

本発明の第１の観点に係る画像処理装置にあっては、背景画像の一部に、当該背景画像と異なる画像である前景画像を合成した合成画像を生成する画像合成装置において、前記背景画像、及び前記前景画像として使用する一組の画像をそれぞれ設定する画像設定手段と、前記一組の画像の前記背景画像の有する画調の種類を示す画調情報を取得する第１の情報取得手段と、前記一組の画像の前記前景画像の有する画調の種類を示す画調情報を取得する第２の情報取得手段と、前記一組の画像の前記背景画像のみが絵画調画像である場合には、前記前景画像を前記第１の情報取得手段により取得された画調情報により示される種類の画調を有する絵画調画像に変換する第１の画像変換手段と、前記一組の画像の前記前景画像のみが絵画調画像である場合には、前記背景画像を前記第２の情報取得手段により取得された画調情報により示される種類の画調を有する絵画調画像に変換する第２の画像変換手段と、前記一組の前記背景画像と前記前景画像を合成し前記合成画像を生成する合成手段と、前記合成手段により生成された合成画像を出力する出力手段とを備えたことを特徴とする。

本発明の第２の観点に係るプログラムあっては、背景画像の一部に、当該背景画像と異なる画像である前景画像を合成した合成画像を生成する画像合成装置が有するコンピュータを、前記背景画像、及び前記前景画像として使用する一組の画像をそれぞれ設定する画像設定手段と、前記一組の画像の前記背景画像の有する画調の種類を示す画調情報を取得する第１の情報取得手段と、前記一組の画像の前記前景画像の有する画調の種類を示す画調情報を取得する第２の情報取得手段と、前記一組の画像の前記背景画像のみが絵画調画像である場合には、前記前景画像を前記第１の情報取得手段により取得された画調情報により示される種類の画調を有する絵画調画像に変換する第１の画像変換手段と、前記一組の画像の前記前景画像のみが絵画調画像である場合には、前記背景画像を前記第２の情報取得手段により取得された画調情報により示される種類の画調を有する絵画調画像に変換する第２の画像変換手段と、前記一組の前記背景画像と前記前景画像を合成し前記合成画像を生成する合成手段として機能させることを特徴とする。

本発明によれば、背景画像と前景画像とのいずれか一方が絵画調画像であっても、背景画像の一部に前景画像を合成した後の合成画像として違和感の少ないより自然な画像を得ることが可能となる。

本発明に係る各実施形態に共通するデジタルフォトフレームのハードウェア構成を示す概略ブロック図である。 第１の実施形態におけるデジタルフォトフレームの機能の要部を示す機能ブロック図である。 アート変換処理で適用する同一の色の画素からなるグループの扁平度と、絵画調画像に反映される絵筆の太さとの関係を示す説明図である。 第１の実施形態の合成表示モードにおけるＣＰＵの処理手順を示すフローチャートである。 （ａ）は、アート変換処理前の素材画像の一例を示す図、（ｂ）は、アート変換処理後の素材画像の一例を示す図、（ｃ）は合成画像の一例を示す図である。 第２の実施形態、第３の実施形態に共通する、デジタルフォトフレームの機能の要部を示す機能ブロック図である。 第２の実施形態の合成表示モードにおけるＣＰＵの処理手順を示すフローチャートである。 第２の実施形態の合成表示モードにおけるＣＰＵの処理手順を示すフローチャートである。

以下、本発明の一実施形態について説明する。後述する各実施形態は、画像データとして記録されている種々の画像を表示する機能、及び背景となる画像の一部に前景となる他の画像を合成して表示する画像合成機能を備えたデジタルフォトフレーム（以下、ＤＰＦという。）に関するものである。

（実施形態１）
まず、第１の実施形態について説明する。図１は、本発明を適用した各実施形態に共通するＤＰＦ１のハードウェア構成を示す概略ブロック図である。ＤＰＦ１は、ＣＰＵ（Central Processing Unit）１０１によってシステムの全体を制御される構成である。ＣＰＵ１０１には、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access memory）１０３、メディアコントローラ１０４、操作キー群２０１、ディスプレイ３０１が接続されている。

ＲＯＭ１０２は、ＣＰＵ１０１にシステム全体を制御させるための複数種のプログラムやデータが記憶されているメモリである。ＲＯＭ１０２に記憶されているプログラムには、ＣＰＵ１０１を第１の実施形態での画像設定手段、情報取得手段、画像変換手段、合成手段として機能させる合成処理プログラム１０２ａが含まれる。

ＲＡＭ１０３は、ＣＰＵ１０１がＤＰＦ１の制御に際し、必要に応じ種々のデータを一時記憶する作業用のメモリであり、具体的にはＳＤＲＡＭ（Synchronous dynamic random-access memory）等である。

メディアコントローラ１０４は、ＤＰＦ１の図示しない本体に設けられているメモリカードスロットに着脱自在に装着された記録メディア４０と、ＣＰＵ１０１との間におけるデータの入出力を制御する入出力インターフェースである。

記録メディア４０は、フラッシュメモリーからなる不揮発性のカード型の記憶媒体である。記録メディア４０には各種の画像データが複数記憶されている。

まず、記録メディア４０には、デジタルカメラ等において撮影により取得された画像データが記憶されている。なお、以下の説明では、撮影により取得された画像を撮影画像といい、撮影画像を表す画像データを撮影画像データという。撮影画像データは、ＪＰＥＧ（Joint Photographic Expert Group）方式により圧縮されるとともに、撮影日時等の付加情報が付加され静止画ファイルとして記憶されている画像データである。

また、記録メディア４０には、撮影画像データにアート変換処理を施すことによって新たに生成された絵画調画像を表す画像データが記憶されている。アート変換処理とは、撮影画像に各種の画調を確保するための画像変換処理である。なお、以下の説明では、絵画調画像を表す画像データを絵画調画像データという。

絵画調画像データは、撮影画像データと同様にＪＰＥＧ（Joint Photographic Expert Group）方式により圧縮されるとともに、作成日時等の付加情報が付加され静止画ファイルとして記憶されている画像データである。

また、絵画調画像データが格納された静止画ファイルには、付加情報が格納されるファイルヘッダ領域に画調データと筆触データとが格納されている。画調データは絵画調画像が有する画調の種類を示すデータであり、筆触データは絵画調画像において表現されている筆触の内容を示すデータである。

ここで、画調とは、画像から感じることができる印象に基づいて規定される絵画的な特徴であり、日本画調、西洋画調、水彩画調、水墨画調、ペン画調、ゴッホ調など、様々に分類することができるものである。また、筆触とは、絵画調画像において表現されている絵筆の太さやストロークであり、筆使いの細かさとして認識される特徴である。したがって、同一の画調を有する絵画調画像であっても、筆触が異なれば、見た目の印象が異なるものとなる。

また、記録メディア４０には、背景画像となる任意の画像の一部に、前景画像として合成することを目的として予め作成された素材画像を表す画像データが記憶されている。以下の説明では、素材画像を表す画像データを素材画像データという。

素材画像は、任意の装置において撮影画像の一部を切り出すことにより得られた画像である。また素材画像データは、例えば各画素にＲＧＢ（Red，Green，Blue）等の色情報以外に透過情報（αチャンネル等）が割り当られている画像データであり、撮影画像等から切り出された部分の背景となる領域が透過色である画像データである。

操作キー群２０１は、電源スイッチ及び複数の操作スイッチから構成される。ＣＰＵ１０１は、操作キー群２０１における操作キー等の操作状態を定常的にスキャンすることにより、所定のキー操作によるユーザからの種々の指示を検知する。

ディスプレイ３０１は、バックライト付きのカラー液晶表示パネルと、ＣＰＵ１０１から供給される画像データ等の表示データに応じてカラー液晶表示パネルを駆動し、画像データにより表される画像等をカラー液晶表示パネルに表示させる駆動回路とから構成される。

図２は、ＤＰＦ１が有する機能の要部を示す機能ブロック図である。ＤＰＦ１は、制御部１０と、操作部２０、表示部３０を有している。制御部１０は、画像設定部１１、情報取得部１２、画像変換部１３、画像合成部１４、表示制御部１５、記憶部１６から構成される。

操作部２０は、ＤＰＦ１に対するユーザからの各種の指示を検知する機能部分であり、図１に示した操作キー群２０１により実現される。

表示部３０は、記録メディア４０に記録されている撮影画像データにより表される撮影画像や、他の画像データにより表される画像を表示したり、ユーザがＤＰＦ１を操作する際に必要とする各種の操作画面を表示したりする。表示部３０は、図１に示したディスプレイ３０１により実現される。

画像設定部１１は、後述する合成表示モードにおいて、記録メディア４０に画像データとして記憶されている画像の中から、操作部２０が検知したユーザからの指示に応じ、背景画像として使用する撮影画像や絵画調画像、及び前景画像として使用する素材画像をそれぞれ設定する。画像設定部１１は、図１に示したＣＰＵ１０１により実現される。

情報取得部１２は、画像設定部１１が背景画像としていずれかの絵画調画像を設定した場合に、背景画像として設定された絵画調画像を表す絵画調画像データに付加されている画調識別データと筆触データとを取得し、画像変換部１３へ供給する。情報取得部１２も、図１に示したＣＰＵ１０１により実現される。

画像変換部１３は、記録メディア４０に記憶されているいずれかの素材画像データに対し、情報取得部１２から供給された画調識別データと筆触データとに対応した内容のアート変換処理を施す。画像変換部１３が素材画像データに施すアート変換処理は、変換後の素材画像データに表される絵画調画像に、画像設定部１１が背景画像として設定した絵画調画像と同様の筆触を適用し、画像設定部１１が背景画像として設定した絵画調画像と同様の画調を確保する処理である。画像変換部１３も、図１に示したＣＰＵ１０１により実現される。

画像変換部１３におけるアート変換処理は、例えば特開平１０−０１１５６９号公報及び特開２００６−０３１６８８号公報に開示されている技術を適用したものである。具体的には、画像データを構成する画素から、色などを基準として相関の高い画素を集め、グループを形成する。そして、それぞれのグループの画素に対して、同一のグループの画素については色を該グループの代表色に置き換える処理である。

係る処理においては、グループとして集められる画素の相関の取り方、及び同一の色（代表色）の画素により構成されるグループの基本形状を変化させることによって、処理後の画像データが表す画像に様々な画調を与えることができる。

また、同一の色（代表色）の画素により構成されるグループの長さ（距離）や扁平度を変化させることによって、処理後の画像データに与えられる画調が同一であっても、異なる筆触を表現することができる。

例えば図３に示したように、同一の色の画素によって構成されるグループの基本形状を変えずに、扁平度のみを変化させれば、処理後の画像データにより表される画像（絵画調画像）に表現する絵筆の太さを変化させることができる。すなわち図３（ａ）に示したように、同一の色の画素によって構成されるグループの扁平度を大きくすると、絵筆は太くなり、結果として画像に荒い筆触（タッチ）を表現することができる。また、図３（ｂ）、図３（ｃ）に示したように、グループの扁平度が小さくなるほど、絵筆の太さがより細くなり、結果として画像により細かな筆触（タッチ）を表現することができる。

本実施の形態では、複数の画調毎に、アート変換処理で用いる同一グループを形成すべき画素の相関度、グループの基本形状といったパラメータの最適な組み合わせが設定されている。画調毎のパラメータの最適な組み合わせが、ＲＯＭ１０２に記憶されている合成処理プログラム１０２ａに記述されている。また、表現すべき筆触の内容（筆使いの細かさ）毎に同一の色（代表色）の画素により構成されるグループの長さ（距離）や扁平度といったパラメータが設定されている。なお、筆触の内容に応じたパラメータは画調の種類によっても異なっている。筆触の内容を左右するパラメータも、ＲＯＭ１０２に記憶されている合成処理プログラム１０２ａに記述されている。

画像合成部１４は、画像設定部１１が背景画像として設定した撮影画像を表す撮影画像データに、画像設定部１１が前景画像として設定した素材画像を表す素材画像データを上書き合成し、合成画像データを生成する。また、画像合成部１４は、画像設定部１１が背景画像として設定した絵画調画像を表す撮影画像データに、画像変換部１３によりアート変換処理が施された後の素材画像データを合成することにより、合成画像データを生成する。画像合成部１４も、図１に示したＣＰＵ１０１により実現される。

表示制御部１５は、記録メディア４０に記録されている任意の画像データにより表される画像や、画像合成部１４が生成した合成画像データにより表される合成画像を表示部３０に表示させる。表示制御部１５も、図１に示したＣＰＵ１０１により実現される。

記憶部１６は、画像変換部１３がアート変換処理に際して生成する種々の作業用データや、表示制御部１５が表示部３０に表示させる種々の画像のデータを一時的に記憶する。記憶部１６は、図１に示したＲＡＭ１０３により実現される。

次に、以上の構成からなるＤＰＦ１の動作について説明する。ＤＰＦ１には、ユーザが操作キー群２０１の所定の操作キーを操作することによって適宜設定可能な動作モードとして合成表示モードが用意されている。合成表示モードは、記録メディア４０に画像データとして記録されている任意の撮影画像や絵画調画像を背景画像とし、背景画像の一部に、記録メディア４０に画像データとして記録されている任意の素材画像を前景画像として合成して表示する動作モードである。

以下、合成表示モードにおけるＤＰＦ１の具体的な動作について説明する。図４は、合成表示モードにおいて制御部１０（ＣＰＵ１０１）がＲＯＭ１０２に記憶されている合成処理プログラム１０２ａに従って実行する処理を示したフローチャートである。

合成表示モードにおいては、まず画像設定部１１（ＣＰＵ１０１）が、操作キー群２０１における操作キー等の操作状態を逐次検出することによって、合成すべき背景画像と前景画像とを設定する（ステップＳ１）。

ステップＳ１の処理において、画像設定部１１は、記録メディア４０に記録されている撮影画像や絵画調画像の画像データを読み出し、読み出した画像データにより表される画像を表示部３０（ディスプレイ３０１）の画面上に選択候補として一覧表示する。そして、画像設定部１１は、ユーザに所定のキー操作によって背景画像として使用する画像を選択させ、選択された画像のファイル名を記憶部１６（ＲＡＭ１０３）に記憶する。

さらに、画像設定部１１は、記録メディア４０に記録されている素材画像データを読み出し、読み出した画像データにより表される素材画像を表示部３０（ディスプレイ３０１）の画面上に選択候補として一覧表示する。そして、画像設定部１１は、ユーザに所定のキー操作によって前景画像として使用する画像を選択させ、選択された素材画像のファイル名を記憶部１６（ＲＡＭ１０３）に記憶する。

次に、制御部１０が、背景画像として設定された画像データに付加されている付加情報の内容を確認することにより、背景画像として設定された画像データが絵画調画像データであるか否かを確認する（ステップＳ２）。ステップＳ２の処理において制御部１０は、背景画像として設定された画像データに、画調データ及び筆触データが付加されていれば絵画調画像データであると判断し、逆に画調データ及び筆触データが付加されていれば絵画調画像データではないと判断する。

制御部１０が、背景画像として設定された画像データが絵画調画像データではないと判断した場合（ステップＳ３：ＮＯ）、画像合成部１４（ＣＰＵ１０１）が、前景画像（素材画像）を背景画像（撮影画像）に合成する（ステップＳ４）。すなわち画像合成部１４が、前景画像として設定された素材画像の画像データを、背景画像として設定された撮影画像の画像データにそのまま合成することによって、合成画像データを生成する（ステップＳ４）。

しかる後、表示制御部１５（ＣＰＵ１０１）が、画像合成部１４が生成した合成画像データを表示部３０へ送り、表示部３０において背景画像（撮影画像）の一部に前景画像（素材画像）が合成された合成画像を表示させる（ステップＳ８）。そして、制御部１０は合成表示モードでの処理を終了する。

一方、制御部１０が、背景画像として設定された画像データが絵画調画像データであると判断した場合には（ステップＳ３：ＹＥＳ）、まず、情報取得部１２（ＣＰＵ１０１）が、絵画調画像データに付加されている画調データ及び筆触データを読み出し、画像変換部１３（ＣＰＵ１０１）へ供給する（ステップＳ５）。

次に、画像変換部１３が、前景画像（素材画像）を背景画像（絵画調画像）と同様の画調、及び筆触を有する絵画調画像に変換する（ステップＳ６）。すなわち画像変換部１３が、画像設定部１１が前景画像として設定した素材画像データに対し、供給された画調データにより示される画調の種類、及び供給された筆触データにより示される筆触の内容に対応するパラメータを適用したアート変換処理を施すことにより、素材画像データを絵画調画像データに変換する。

図５（ａ）は、アート変換処理前の素材画像データにより表される素材画像Ｇ１の一例を示す図であり、図５（ｂ）は、素材画像データをアート変換処理した後の絵画調画像データにより表される素材画像Ｇ２の一例を示す図である。

引き続き、画像合成部１４が、絵画調画像に変換後の前景画像を背景画像に合成する（ステップＳ７）。すなわち画像合成部１４が、素材画像データから変換された絵画調画像データを、背景画像として設定された絵画調画像の画像データに合成することによって、合成画像データを生成する。

しかる後、表示制御部１５が、画像合成部１４が生成した合成画像データを表示部３０へ送り、表示部３０において背景画像（絵画調画像）の一部に、同様の画調、筆触を有する前景画像（他の絵画調画像）が合成された合成画像を表示させる（ステップＳ８）。そして、制御部１０は合成表示モードでの処理を終了する。

図５（ｃ）は、図５（ｂ）に例示した素材画像Ｇ２が前景画像であるときの合成画像Ｇ３の一例を示す図である。

制御部１０が以上説明した処理を行うことにより、合成表示モードにおいてＤＰＦ１は、ユーザにより指定された任意の撮影画像や絵画調画像を背景画像とし、背景画像の一部に、ユーザにより指定された任意の素材画像を前景画像として合成して表示する。

ここで、ＤＰＦ１においては、ユーザに背景画像として選択された画像が絵画調画像である場合、ユーザに前景画像として選択された素材画像を、背景画像である絵画調画像と同様の画調を有する絵画調画像にいったん変換した後、絵画調画像に合成する。

そのため、最終的に表示される合成画像においては、前景画像の部分が背景画像に溶け込んだ状態となる。つまり前景画像と背景画像との間に見た目の連続性を確保することができる。よって、ユーザに背景画像として選択された画像が絵画調画像である場合であっても、背景画像の一部に前景画像を合成した後の合成画像として違和感の少ないより自然な画像を得ることができる。

しかも、第１の実施形態においては、背景画像が絵画調画像である場合、前景画像である素材画像を、背景画像である絵画調画像と同様の画調のみならず、背景画像である絵画調画像と同様の筆触をも有する絵画調画像に変換する。したがって、最終的に表示される合成画像内での前景画像と背景画像との間に、より高い見た目の連続性を確保することができる。したがって、背景画像の一部に前景画像を合成した後の合成画像として、より一層違和感の少ないより自然な画像を得ることができる。

（第１の実施形態の変形等）
第１の実施形態においては、前景画像として使用する素材画像が、任意の装置において撮影画像の一部を切り出すことにより得られた画像であることを前提とした構成について説明した。しかし、本発明において、前景画像として使用する素材画像は、任意の画調を有する絵画調画像の一部を切り出すことにより得られた画像や、予め任意の画調を有する絵画調画像に変換されているものであっても構わない。したがって、図示しないが、ＤＰＦ１には、例えば合成表示モードの動作に際して制御部１０が以下の処理を行う構成を採用しても良い。

すなわち制御部１０が、ステップＳ２の処理において背景画像として設定した画像と、前景画像として設定した素材画像との双方について付加情報を確認する。そして、背景画像として設定した画像のみが絵画調画像である場合には、制御部１０が既説したステップＳ５〜Ｓ８の処理を行う。

また、背景画像として設定した画像と、前景画像として設定した素材画像との双方が絵画調画像ではない場合、背景画像として設定した画像と、前景画像として設定した素材画像との双方が絵画調画像である場合には、制御部１０（画像合成部１４）がステップＳ４の処理により、前景画像として設定した素材画像を背景画像として設定した画像に合成する。

また、前景画像として設定した画像のみが絵画調画像である場合には、制御部１０（画像変換部１３）が、背景画像である撮影画像を、前景画像である絵画調画像と同様の画調、及び筆触を有する絵画調画像にいったん変換する。そして、制御部１０（画像合成部１４）が、絵画調画像に変換後の背景画像に、前景画像として設定した素材画像を合成する、といった構成を採用してもよい。

ＤＰＦ１に、制御部１０が以上の処理を行う構成を採用した場合においては、前景画像として使用する素材画像のみが絵画調画像である場合であっても、前景画像の部分が背景画像に溶け込んだ状態となる。したがって、前景画像として使用する素材画像のみが絵画調画像である場合でも、合成画像として違和感の少ないより自然な画像を得ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態は、図１に示したＤＰＦ１と同様の構成を有する他のＤＰＦに関するものである。ただし第２の実施形態のＤＰＦにおいては、ＲＯＭ１０２に記憶されている合成処理プログラム１０２ａが、ＣＰＵ１０１を画像設定手段、情報取得手段、画像変換手段、合成手段、画像設定制御手段として機能させる。

図６は、第２の実施形態のＤＰＦ５０１が有する機能の要部を示す機能ブロック図である。ＤＰＦ５０１は、制御部１０と、操作部２０、表示部３０を有している。制御部１０は、画像設定部１１、画像設定制御部１７、情報取得部１２、画像変換部１３、画像合成部１４、表示制御部１５、記憶部１６から構成される。

第２の実施形態において画像設定部１１は、後述する合成表示モードにおいて、記録メディア４０に画像データとして記憶されている任意の素材画像を、ユーザからの指示に応じて前景画像として設定する。また、画像設定部１１は、後述する合成表示モードにおいて、記録メディア４０に画像データとして記憶されている複数の画像の中で、画像設定制御部１７によって指示された画像を前景画像として設定する。

画像設定制御部１７は、後述する合成表示モードにおいて、画像設定部１１に、同一の素材画像を前景画像として設定させたまま、記録メディア４０に画像データとして記憶されている複数の絵画調画像を背景画像として順に設定させる。画像設定制御部１７は、図１に示したＣＰＵ１０１により実現される。

なお、画像設定部１１と画像設定制御部１７以外の他の部分について第１の実施形態と同一であるため、図２と同一の部分に同一の符号を付すことにより説明を省略する。

以下、第２の実施形態のＤＰＦ５０１における合成表示モードでの具体的な動作について説明する。図７は、合成表示モードにおいて制御部１０がＲＯＭ１０２に記憶されている合成処理プログラム１０２ａに従って実行する処理を示したフローチャートである。

合成表示モードにおいては、まず画像設定部１１が、操作キー群２０１における操作キー等の操作状態を逐次検出することによって、任意の素材画像を前景画像として設定する（ステップＳ１０１）。

ステップＳ１０１の処理において、画像設定部１１は、記録メディア４０に記録されている素材画像データを読み出し、読み出した素材画像データにより表される素材画像を表示部３０の画面上に選択候補として一覧表示する。そして、画像設定部１１は、ユーザに所定のキー操作によって所望の素材画像を選択させ、選択された素材画像のファイル名を記憶部１６に記憶する。

引き続き、画像設定制御部１７（ＣＰＵ１０１）が、合成表示モードでの処理を開始してから背景画像として未だ設定されていない絵画調画像を、画像設定部１１に背景画像として設定させる（ステップＳ１０２）。ステップＳ１０２の処理に際して画像設定部１１は、画像設定制御部１７によって指示された絵画調画像のファイル名を記憶部１６に記憶する。

なお、ステップＳ１０２の処理に際して画像設定制御部１７は、予め決められた順番（ファイル名順等）に従って、記録メディア４０に画像データとして記録されている各々の絵画調画像を順に処理対象に決定する。そして、画像設定部１１は、画像設定制御部１７により処理対象として決定された絵画調画像のファイル名を記憶部１６に記憶する。なお、ステップＳ１０２の処理で記憶部１６に記憶される絵画調画像のファイル名は、ステップＳ１０２の処理が行われる毎に順に蓄積されることによって、背景画像として設定済の絵画調画像を示す情報として使用される。

次に、情報取得部１２が、背景画像として設定された絵画調画像の画像データに付加されている画調データ及び筆触データを読み出し、画像変換部１３へ供給する（ステップＳ１０３）。そして、画像変換部１３が、前景画像（素材画像）を背景画像（絵画調画像）と同様の画調、及び筆触を有する絵画調画像に変換する（ステップＳ１０４）。引き続き、画像合成部１４が、絵画調画像に変換後の前景画像を背景画像に合成した合成画像データを生成する（ステップＳ１０５）。しかる後、表示制御部１５が、画像合成部１４が生成した合成画像データを表示部３０へ送り、表示部３０において背景画像（絵画調画像）の一部に、同様の画調、筆触を有する前景画像（他の絵画調画像）が合成された合成画像を表示させる（ステップＳ１０６）。

なお、ステップＳ１０３〜ステップＳ１０６の処理における情報取得部１２、画像変換部１３、画像合成部１４、表示制御部１５の具体的な処理内容は、第１の実施形態における図４に示したステップＳ５〜ステップＳ８の処理内容と同一である。

引き続き、第２の実施形態においては、画像設定制御部１７が、記録メディア４０に画像データとして記録されている複数の絵画調画像の中に、合成表示モードでの処理を開始してから背景画像として未設定の絵画調画像があるか否かを判断する（ステップＳ１０７）。なお、画像設定制御部１７は、ステップＳ１０７の処理における判断を、ステップＳ１０２の処理において記憶部１６に逐次記憶された設定済の絵画調画像を示す情報を確認することにより行う。

そして、画像設定制御部１７は、背景画像として未設定の絵画調画像がある間（ステップＳ１０７：ＹＥＳ）、背景画像として未設定である新たな絵画調画像を、画像設定部１１に背景画像として順に設定させる（ステップＳ１０２）。さらに、情報取得部１２、画像変換部１３、画像合成部１４、表示制御部１５が、ステップＳ１０３〜ステップＳ１０６の処理を繰り返し実行する。

ステップＳ１０３〜ステップＳ１０６の処理が繰り返されることにより、表示部３０には、以下のように変化する合成画像が順に表示される。すなわち、表示部３０には、前景画像が同一内容の素材画像に維持されたまま、背景画像のみが異なる内容の絵画調画像に順次切り替わる合成画像が順に表示される。同時に、表示部３０に順に表示される合成画像においては、前景画像が有する画調及び筆触が、背景画像が切り替わる度に新たな背景画像が有する画調及び筆触と同様の画調及び筆触に順に変化する。

やがて、画像設定制御部１７が、記録メディア４０に画像データとして記録されている複数の絵画調画像の中に背景画像として未設定の絵画調画像が無くなったと判断した時点で（ステップＳ１０７：ＮＯ）、制御部１０が合成表示モードでの処理を終了する。

以上述べた第２の実施形態においては、前景画像としてユーザに指定された同一の素材画像を使用するとともに、背景画像として互いに異なる絵画調画像を使用した複数種の合成画像を自動的に表示することができる。しかも、前景画像として使用する素材画像には、背景画像として使用する各々の絵画調画像と同様の画調及び筆触が確保される。したがって、背景画像のみが変化する複数種の合成画像として違和感の少ないより自然な画像を得ることができる。

なお、第２の実施形態のように、背景画像のみを互いに異なる絵画調画像に順に切り替えた異なる合成画像を自動的に表示する構成においても、前景画像には、背景画像である絵画調画像と同一の画調のみを確保する構成としてもよい。

また、第２の実施形態においては、画像設定制御部１７が、記録メディア４０に画像データとして記録されている絵画調画像のみを画像設定部１１に背景画像として順に設定させる構成とした。しかし、本発明の実施に際しては、画像設定制御部１７が、記録メディア４０に画像データとして記録されている絵画調画像と撮影画像との双方を画像設定部１１に背景画像として順に設定させる構成としてもよい。

画像設定制御部１７が、絵画調画像と撮影画像との双方を画像設定部１１に背景画像として順に設定させる構成においては、背景画像に絵画調画像を設定したときにのみ、画像変換部１３が、前景画像を背景画像と同様の画調、及び筆触を有する絵画調画像に変換するものとすればよい。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態は、図１に示したＤＰＦ１と同様の構成を有するとともに、第２の実施形態のＤＰＦ５０１と同様、図６に示した機能を有する他のＤＰＦに関するものである。

第３の実施形態において画像設定部１１は、後述する合成表示モードにおいて、記録メディア４０に画像データとして記憶されている任意の絵画調画像を、ユーザからの指示に応じて背景画像として設定する。また、画像設定部１１は、後述する合成表示モードにおいて、記録メディア４０に画像データとして記憶されている複数の素材画像中で、画像設定制御部１７によって指示された素材画像を前景画像として設定する。

画像設定制御部１７は、後述する合成表示モードにおいて、画像設定部１１に同一の絵画調画像を背景画像として設定させたまま、記録メディア４０に画像データとして記憶されている複数の素材画像を前景画像として順に設定させる。

以下、第３の実施形態のＤＰＦにおける合成表示モードでの具体的な動作について説明する。図８は、合成表示モードにおいて制御部１０がＲＯＭ１０２に記憶されている合成処理プログラム１０２ａに従って実行する処理を示したフローチャートである。

合成表示モードにおいては、まず画像設定部１１が、操作キー群２０１における操作キー等の操作状態を逐次検出することによって、任意の絵画調画像を背景画像として設定する（ステップＳ２０１）。

ステップＳ２０１の処理において、画像設定部１１は、記録メディア４０に記録されている複数の絵画調画像データを読み出し、読み出した絵画調画像データにより表される絵画調画像を表示部３０の画面上に選択候補として一覧表示する。そして、画像設定部１１は、ユーザに所定のキー操作によって所望の絵画調画像を選択させ、選択された絵画調画像のファイル名を記憶部１６に記憶する。

引き続き、画像設定制御部１７が、合成表示モードでの処理を開始してから前景画像として未だ設定されていない素材画像を、画像設定部１１に前景画像として設定させる（ステップＳ２０２）。ステップＳ２０２の処理に際して画像設定部１１は、画像設定制御部１７によって指示された素材画像のファイル名を記憶部１６に記憶する。

なお、ステップＳ２０２の処理に際して画像設定制御部１７は、予め決められた順番（ファイル名順等）に従って、記録メディア４０に画像データとして記録されている各々の素材画像を順に処理対象に決定する。そして、画像設定部１１は、画像設定制御部１７により処理対象として決定された絵画調画像のファイル名を記憶部１６に記憶する。なお、ステップＳ２０２の処理で記憶部１６に記憶される素材画像のファイル名は、ステップＳ２０２の処理が行われる毎に順に蓄積されることによって、前景画像として設定済の素材画像を示す情報として使用される。

次に、情報取得部１２が、背景画像として設定された絵画調画像の画像データに付加されている画調データ及び筆触データを読み出し、画像変換部１３へ供給する（ステップＳ２０３）。そして、画像変換部１３が、前景画像（素材画像）を背景画像（絵画調画像）と同様の画調、及び筆触を有する絵画調画像に変換する（ステップＳ２０４）。引き続き、画像合成部１４が、絵画調画像に変換後の前景画像を背景画像に合成した合成画像データを生成する（ステップＳ２０５）。しかる後、表示制御部１５が、画像合成部１４が生成した合成画像データを表示部３０へ送り、表示部３０において背景画像（絵画調画像）の一部に、同様の画調、筆触を有する前景画像（他の絵画調画像）が合成された合成画像を表示させる（ステップＳ２０６）。

なお、ステップＳ２０３〜ステップＳ２０６の処理における情報取得部１２、画像変換部１３、画像合成部１４、表示制御部１５の具体的な処理内容は、第１の実施形態における図４に示したステップＳ５〜ステップＳ８の処理内容と同一である。

引き続き、第３の実施形態においては、画像設定制御部１７が、記録メディア４０に画像データとして記録されている複数の素材画像の中に、合成表示モードでの処理を開始してから前景画像として未設定の素材画像があるか否かを判断する（ステップＳ２０７）。なお、画像設定制御部１７は、ステップＳ２０７の処理における判断を、ステップＳ２０２の処理において記憶部１６に逐次記憶された設定済の素材画像を示す情報を確認することにより行う。

そして、画像設定制御部１７は、前景画像として未設定の素材画像がある間（ステップＳ２０７：ＹＥＳ）、前景画像として未設定である新たな素材画像を、画像設定部１１に前景画像として順に設定させる（ステップＳ２０２）。さらに、情報取得部１２、画像変換部１３、画像合成部１４、表示制御部１５が、ステップＳ２０３〜ステップＳ２０６の処理を繰り返し実行する。

ステップＳ２０３〜ステップＳ２０６の処理が繰り返されることにより、表示部３０には、以下のように変化する合成画像が順に表示される。すなわち、表示部３０には、背景画像が同一内容の絵画調画像に維持されたまま、前景画像のみが異なる内容の素材画像に順次切り替わる合成画像が順に表示される。同時に、表示部３０に順に表示される合成画像においては、順次切り替わる新たな前景画像の全てに、背景画像が有する画調及び筆触と同一の画調及び筆触が確保される。

やがて、画像設定制御部１７が、記録メディア４０に画像データとして記録されている複数の素材画像の中に前景画像として未設定の素材画像が無くなったと判断した時点で（ステップＳ２０７：ＮＯ）、制御部１０が合成表示モードでの処理を終了する。

なお、合成表示モードでの処理を開始してから２回目以降のステップＳ２０３〜ステップＳ２０６の処理では、情報取得部１２によるステップＳ２０３の処理を省略することができる。ステップＳ２０３の処理を省略する場合、ステップＳ２０４の処理では、画像変換部１３に、１回目の処理で使用したものと同様のパラメータを適用したアート変換処理を行わせればよい。

以上述べた第３の実施形態においては、背景画像としてユーザに指定された同一の絵画調画像を使用するとともに、前景画像として互いに異なる素材画像を使用した複数種の合成画像を自動的に表示することができる。しかも、前景画像として使用する各々の素材画像には、背景画像として使用している絵画調画像と同様の画調及び筆触が確保される。したがって、前景画像のみが変化する複数種の合成画像として違和感の少ないより自然な画像を得ることができる。

なお、第３の実施形態のように、前景画像のみを互いに異なる素材画像に順に切り替えた異なる合成画像を自動的に表示する構成においても、各々の前景画像には、背景画像である絵画調画像と同一の画調のみを確保する構成としてもよい。

（第１の実施形態〜第３の実施形態の変形等）
ここで第１の実施形態、第２の実施形態、第３の実施形態（以下、本実施形態という。）の変形について説明する。本実施形態においては、記録メディア４０に画像データとして記憶されている絵画調画像が有する画調の種類を示す画調データと、絵画調画像において表現されている筆触の内容を示す筆触データとが、絵画調画像データが格納された静止画ファイルのファイルヘッダ領域に格納されている場合について説明した。しかし、画調データ及び筆触データとは、絵画調画像データとの対応関係が識別できれば、絵画調画像データとは別に記録メディア４０に記憶されていても構わない。

また、本実施形態においては、画像変換部１３が行うアート変換処理が、画像データを構成する画素から、色などを基準として相関の高い画素を集め、グループを形成し、それぞれのグループの画素に対して、同一のグループの画素については色を該グループの代表色に置き換える処理である場合につい説明した。しかし、画像変換部１３が行うアート変換処理の具体的な手法については適宜変更することができる。

また、本実施形態においては、本発明をＤＰＦに採用した場合について説明したが、本発明は、背景となる画像の一部に前景となる他の画像を合成する画像合成機能を備えたものであれば、ＤＰＦ以外の他の装置にも適用することができる。他の装置としては、例えばデジタルカメラや、デジタルカメラが内蔵された携帯電話端末等の任意の携帯情報端末、汎用的なパーソナルコンピュータである。

また、本実施形態においては、主として、背景となる画像の一部に前景となる他の画像を合成した合成画像を表示する構成について説明した。しかし、本発明においては合成画像の出力形態は表示に限定されものではない。したがって、本発明は合成画像を表示する機能を有していないプリンタ等の他の装置にも適用することができる。

１ ＤＰＦ
１０ 制御部
１１ 画像設定部
１２ 情報取得部
１３ 画像変換部
１４ 画像合成部
１５ 表示制御部
１６ 記憶部
２０ 操作部
３０ 表示部
４０ 記録メディア
１０１ ＣＰＵ
１０２ ＲＯＭ
１０２ａ 合成処理プログラム
１０３ ＲＡＭ
１０４ メディアコントローラ
２０１ 操作キー群
３０１ ディスプレイ

Claims (5)

1. 背景画像の一部に、当該背景画像と異なる画像である前景画像を合成した合成画像を生成する画像合成装置において、
   前記背景画像、及び前記前景画像として使用する一組の画像をそれぞれ設定する画像設定手段と、
   前記一組の画像の前記背景画像の有する画調の種類を示す画調情報を取得する第１の情報取得手段と、
   前記一組の画像の前記前景画像の有する画調の種類を示す画調情報を取得する第２の情報取得手段と、
   前記一組の画像の前記背景画像のみが絵画調画像である場合には、前記前景画像を前記第１の情報取得手段により取得された画調情報により示される種類の画調を有する絵画調画像に変換する第１の画像変換手段と、
   前記一組の画像の前記前景画像のみが絵画調画像である場合には、前記背景画像を前記第２の情報取得手段により取得された画調情報により示される種類の画調を有する絵画調画像に変換する第２の画像変換手段と、
   前記一組の前記背景画像と前記前景画像を合成し前記合成画像を生成する合成手段と、
   前記合成手段により生成された合成画像を出力する出力手段と
   を備えたことを特徴とする画像合成装置。
2. 前記第１の情報取得手段と前記第２の情報取得手段は、
   前記画調情報と共に、絵画調画像において表現されている筆触の内容を示す筆触情報を取得し、
   前記第１の画像変換手段と前記第２の画像変換手段は、
   前記第１の情報取得手段と前記第２の情報取得手段により取得された画調情報により示される種類の画調を有するとともに、前記第１の情報取得手段と前記第２の情報取得手段により取得された筆触情報により示される内容の筆触が表現された絵画調画像に変換する
   ことを特徴とする請求項１記載の画像合成装置。
3. 前記画像設定手段に、前記前景画像として同一の画像を設定させたまま、前記背景画像として各々が任意の画調を有する複数の絵画調画像を順に設定させる画像設定制御手段をさらに備え、
   前記画像設定制御手段が前記画像設定手段に前記背景画像として新たな前記絵画調画像を設定させる毎に、前記第１の情報取得手段は新たな前記絵画調画像が有する画調の種類を示す画調情報を取得し、第１の画像変換手段は前記同一の画像を前記第１の情報取得手段により取得された画調情報により示される種類の画調を有する絵画調画像に変換し、前記合成手段は新たな前記絵画調画像と前記第１の画像変換手段によって絵画調画像に変換された後の前記同一の画像とを合成して前記合成画像を生成し、前記出力手段は前記合成手段により生成された合成画像を出力する
   ことを特徴とする請求項１又は２記載の画像合成装置。
4. 前記画像設定手段に、前記背景画像として任意の画調を有する同一の絵画調画像を設定させたまま、前記前景画像として複数の画像を順に設定させる画像設定制御手段をさらに備え、
   前記第１の情報取得手段は、
   前記画像設定制御手段が前記画像設定手段に前記背景画像として設定させた前記同一の絵画調画像が有する画調の種類を示す画調情報を取得し、
   前記画像設定制御手段が前記画像設定手段に前記前景画像として新たな画像を設定させる毎に、前記第１の画像変換手段は新たな画像を前記第１の情報取得手段により取得された画調情報により示される種類の画調を有する絵画調画像に変換し、前記合成手段は前記同一の絵画調画像と前記第１の画像変換手段によって絵画調画像に変換された後の前記新たな画像とを合成して前記合成画像を生成し、前記出力手段は前記合成手段により生成された合成画像を出力する
   ことを特徴とする請求項１又は２記載の画像合成装置。
5. 背景画像の一部に、当該背景画像と異なる画像である前景画像を合成した合成画像を生成する画像合成装置が有するコンピュータを、
   前記背景画像、及び前記前景画像として使用する一組の画像をそれぞれ設定する画像設定手段と、
   前記一組の画像の前記背景画像の有する画調の種類を示す画調情報を取得する第１の情報取得手段と、
   前記一組の画像の前記前景画像の有する画調の種類を示す画調情報を取得する第２の情報取得手段と、
   前記一組の画像の前記背景画像のみが絵画調画像である場合には、前記前景画像を前記第１の情報取得手段により取得された画調情報により示される種類の画調を有する絵画調画像に変換する第１の画像変換手段と、
   前記一組の画像の前記前景画像のみが絵画調画像である場合には、前記背景画像を前記第２の情報取得手段により取得された画調情報により示される種類の画調を有する絵画調画像に変換する第２の画像変換手段と、
   前記一組の前記背景画像と前記前景画像を合成し前記合成画像を生成する合成手段
   として機能させることを特徴とするプログラム。