JP5578149B2 - 画像合成装置、及び画像検索方法、プログラム - Google Patents

Description

本発明は、立体画像データに対して他の立体画像データを合成する画像合成装置、及び画像検索方法、プログラムに関する。

従来、デジタルカメラなどで撮影した画像に素材画像を合成する技術が知られている（特許文献１参照）。

また、双方間に視差が存在する左右一対の画像、すなわち画像内における同一の物体の位置が左右にずれた左目用画像と右目用画像とを用意し、観察者に左目用画像を左目で観察させ、かつ右目用画像を右目で観察させることによって、画像を立体的に視認（立体視）させる技術が知られている（特許文献２参照）。

特開２００４−１３４９５０号公報 特開平１１−３４１５２２号公報

ところで、特許文献２に記載された技術により立体視される画像（以下、立体画像という。）であっても、それを構成する左目用画像と右目用画像とは、デジタルカメラなどで撮影した画像と同様の静止画像である。したがって、ある立体画像に対して、例えば他の立体画像から、人物等のような独立した物体として認識される部分（以下、オブジェクトという。）に相当する部分画像（以下、オブジェクト画像という。）を切り出し、切り出した部分画像を合成することができる。すなわち背景となる立体画像を構成する左目用画像にオブジェクト画像の左目用画像を上書き合成し、かつ背景となる立体画像を構成する右目用画像にオブジェクト画像の右目用画像を上書き合成すれば、新たな立体画像を得ることができる。

しかしながら、立体画像に、当該立体画像を立体視したときの距離感が互いに異なる複数のオブジェクトが存在するときには、相対的に手前に存在するように知覚されるオブジェクトの一部が、相対的に奥に存在するように知覚される他のオブジェクトによって隠れていると、立体画像が非常に違和感のあるものとなってしまう。そのため、任意のオブジェクト画像を、予め用意されている複数の立体画像の何れかに合成する場合には、合成後の立体画像における他のオブジェクトとの距離感の違い等を考慮して合成に適した背景用の立体画像を選択する必要がある。

係ることから、背景用の立体画像の選択に際しては、例えば、作業者がオブジェクト画像と、背景候補となる個々の立体画像とを立体視することによって、合成後の立体画像における違和感の有無を事前に確認する必要がある。したがって、背景用の立体画像の選択に多大な労力を費やすこととなり、作業者の負担が大きくなるという問題があった。

そこで、本発明は、立体画像である素材画像を、背景となる他の立体画像に合成する際、作業者における素材画像の合成に適した他の立体画像の選択作業が容易となる画像合成装置、及び画像検索方法、プログラムを提供すること目的とする。

上記の目的を達成するために、請求項１記載の発明に係る画像合成装置にあっては、オブジェクトとして立体視される素材画像に存在する視差を取得する取得部と、各々が立体視される複数の立体画像のうちから、所定の条件を満たす立体画像を選択候補として検索する検索部と、前記検索部により選択候補として検索された立体画像に前記素材画像を合成する合成部と、を備え、前記複数の立体画像は、各々が少なくとも１つのオブジェクトを含み、前記複数の立体画像のうち前記選択候補とされる立体画像に含まれる前記少なくとも１つのオブジェクトのいずれもが前記取得部により取得された前記素材画像の視差よりも小さい第１視差オブジェクトであることを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索部が検索する。

また、請求項３記載の発明に係る画像合成装置にあっては、オブジェクトとして立体視される素材画像に存在する視差を取得する取得部と、各々が立体視される複数の立体画像のうちから、所定の条件を満たす立体画像を選択候補として検索する検索部と、前記検索部により選択候補として検索された立体画像に前記素材画像を合成する合成部と、を備え、前記複数の立体画像は、各々が少なくとも１つのオブジェクトを含み、前記複数の立体画像のうち前記選択候補とされる立体画像に含まれる前記少なくとも１つのオブジェクトが前記取得部により取得された前記素材画像の視差と同じであるか又は該視差よりも大きい第２視差オブジェクトであって、且つ、前記第２視差オブジェクトを除く領域に前記素材画像を配置可能な形状およびサイズを該素材画像が有することを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索部が検索する。

また、請求項８記載の発明に係る画像合成装置にあっては、オブジェクトとして立体視される素材画像に存在する視差を取得する取得部と、各々が立体視される複数の立体画像のうちから、所定の条件を満たす立体画像を選択候補として検索する検索部と、前記検索部により選択候補として検索された立体画像に前記素材画像を合成する合成部と、を備え、前記複数の立体画像は、各々が少なくとも１つのオブジェクトを含み、前記複数の立体画像のうち前記選択候補とされる立体画像に含まれる前記少なくとも１つのオブジェクトが前記取得部により取得された前記素材画像の視差と同じであるか又は該視差よりも大きい第２視差オブジェクトであって、且つ、前記第２視差オブジェクト全体に重なるように配置可能な形状およびサイズを該素材画像が有することを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索部が検索する。

また、請求項１０記載の発明に係る画像合成方法にあっては、オブジェクトとして立体視される素材画像に存在する視差を取得する工程と、各々が立体視される複数の立体画像のうちから、所定の条件を満たす立体画像を選択候補として検索する工程と、前記検索する工程により選択候補として検索された立体画像に前記素材画像を合成する工程と、を備え、前記複数の立体画像は、各々が少なくとも１つのオブジェクトを含み、前記複数の立体画像のうち前記選択候補とされる立体画像に含まれる前記少なくとも１つのオブジェクトのいずれもが前記取得する工程により取得された前記素材画像の視差よりも小さい第１視差オブジェクトであることを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索する工程において検索する。

また、請求項１１記載の発明に係る画像合成方法にあっては、オブジェクトとして立体視される素材画像に存在する視差を取得する工程と、各々が立体視される複数の立体画像のうちから、所定の条件を満たす立体画像を選択候補として検索する工程と、前記立体画像を検索する工程において選択候補として検索された立体画像に前記素材画像を合成する工程と、を含み、前記複数の立体画像は、各々が少なくとも１つのオブジェクトを含み、前記立体画像を検索する工程は、前記複数の立体画像のうち前記選択候補とされる立体画像に含まれる前記少なくとも１つのオブジェクトが前記視差を取得する工程において取得された前記素材画像の視差と同じであるか又は該視差よりも大きい第２視差オブジェクトであって、且つ、前記第２視差オブジェクトを除く領域に前記素材画像を配置可能な形状およびサイズを該素材画像が有することを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索する工程において検索する。

また、請求項１４記載の発明に係る画像合成方法にあっては、オブジェクトとして立体視される素材画像に存在する視差を取得する工程と、各々が立体視される複数の立体画像のうちから、所定の条件を満たす立体画像を選択候補として検索する工程と、前記検索する工程により選択候補として検索された立体画像に前記素材画像を合成する工程と、を備え、前記複数の立体画像は、各々が少なくとも１つのオブジェクトを含み、前記複数の立体画像のうち前記選択候補とされる立体画像に含まれる前記少なくとも１つのオブジェクトが前記取得する工程により取得された前記素材画像の視差と同じであるか又は該視差よりも大きい第２視差オブジェクトであって、且つ、前記第２視差オブジェクト全体に重なるように配置可能な形状およびサイズを該素材画像が有することを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索する工程において検索する。
また、請求項１５記載の発明に係るプログラムにあっては、コンピュータに、オブジェクトとして立体視される素材画像に存在する視差を取得する処理と、各々が立体視される複数の立体画像のうちから、所定の条件を満たす立体画像を選択候補として検索する処理と、前記立体画像を検索する処理において選択候補として検索された立体画像に前記素材画像を合成する処理と、を実行させ、前記複数の立体画像は、各々が少なくとも１つのオブジェクトを含み、前記立体画像を検索する処理は、前記複数の立体画像のうち前記選択候補とされる立体画像に含まれる前記少なくとも１つのオブジェクトが前記視差を取得する処理において取得された前記素材画像の視差と同じであるか又は該視差よりも大きい第２視差オブジェクトであって、且つ、前記第２視差オブジェクトを除く領域に前記素材画像を配置可能な形状およびサイズを該素材画像が有することを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索する処理において検索することを含む。

本発明によれば、立体画像である素材画像を、背景となる他の立体画像に合成する際、作業者における素材画像の合成に適した他の立体画像の選択作業が容易となる。

デジタルフォトフレームの外観図であり、（ａ）は正面図、（ｂ）は側面図。 デジタルフォトフレームのシステム構成図。 表示部に表示される画面の説明図であり、（ａ）は電源がオン状態にされたとき、（ｂ）は画像編集が選択されているときの説明図。 画像合成処理を説明するためのフローチャート。 表示部に表示される画面の説明図であり、（ａ）はオブジェクト画像選択画面、（ｂ）は背景画像選択画面、（ｃ）は画像合成領域選択画面、（ｄ）は画像配置調整画面をそれぞれ例示した図。 背景候補検索処理を説明するためのフローチャート。 視差の導出処理を説明するためのフローチャート。 ラプラシアンフィルタの説明図であり、（ａ）は３×３マトリクスのフィルタ構成図、（ｂ）は５×５マトリクスのフィルタ構成図。 二値化処理によって得られたエッジ画像データの説明図。 オブジェクト画像作成処理を説明するためのフローチャート。 表示部に表示される画面の説明図であり、（ａ）は被抽出画像選択画面、（ｂ）はオブジェクト選択画面をそれぞれ例示した図。

以下、本発明を実施するための形態について説明する。

本実施形態は、本発明の画像合成装置としての機能を備えたデジタルフォトフレームに関するものである。ここで、デジタルフォトフレームは、例えばデジタルカメラにより撮影され画像データとして記録された画像を鑑賞用として表示することを主たる目的とした装置である。また、本実施形態のデジタルフォトフレームは、左目用と右目用とからなる左右一組の画像を立体画像として表示する機能、及び立体画像を合成する機能も備えている。以下、本実施形態のデジタルフォトフレームを図面を参照して説明する。

図１は、本実施形態のデジタルフォトフレーム１を示す外観図であり、図１（ａ）は正面図、図１（ｂ）は側面図である。

図１に示すように、本実施形態のデジタルフォトフレーム１は、本体部２０の前面に設けられた表示部２と、電源スイッチ３ａと、表示部２に対して重なるように配置されたタッチパネル３ｂと、種々の画像データが記憶されたカード型の記憶メディア４が装着されるメディア装着部５とを備えている。また、デジタルフォトフレーム１の本体部２０の背面には、本体部２０を後方にわずかに傾斜させて据え置くことが可能なように、本体部２０に対して開閉自在なスタンド２１が備え付けられている。

図２は、デジタルフォトフレーム１の電気的構成を示すシステム構成図である。図２に示すように、デジタルフォトフレーム１は、前述した表示部２と、電源スイッチ３ａと、タッチパネル３ｂと、メディア装着部５との他に、内蔵メモリ６と、制御部７と、通信制御部３１とを備えている。

メディア装着部５は、具体的には、記憶メディア４と制御部７との間におけるデータの入出力を制御する入出力インターフェースであり、そのための回路から構成される。記憶メディア４には複数の画像データが記憶されている。

記憶メディア４に記憶されている画像データには、例えばデジタルカメラにより撮影により取得された画像データと、立体画像データとが含まれる。

デジタルカメラにより取得された画像データは、例えばＪＰＥＧ（Joint Photographic Expert Group）方式により圧縮された画像データ本体に、当該画像データ本体のサイズ（縦、及び横方向の画素数）等の基本情報と共に、撮影日時や、サムネイル画像（縮小画像）データ等の付加情報が付加され、画像ファイルとして記憶されているデータである。

また、立体画像データは、立体画像を表す画像データであり、例えばステレオカメラにより撮影された左右一対の写真（左目用画像と右目用画像）をそれぞれデジタルデータ化した左目用画像データと右目用画像データとからなるものや、単一の画像データから画像処理技術を用いて生成された左目用画像データと右目用画像データである。

立体画像データは、例えばＪＰＥＧ方式により圧縮されている画像データ本体にサムネイル画像データ等の付加情報が付加され、立体画像ファイルとして記憶されている。立体画像データ本体は左目用画像データと右目用画像データから構成され、かつサムネイル画像データも、左目用サムネイル画像データと右目用サムネイル画像データとから構成される。さらに、立体画像データには立体画像データ（左目用画像データと右目用画像データ）のサイズ等の基本情報と共に、それが立体画像データであることを示す識別情報等が付加されている。

表示部２は、例えばバックライトを含む液晶表示モジュールや、有機ＥＬ表示モジュールである。表示部２は、メディア装着部５を介して記憶メディア４から読み込まれた画像データに基づく通常の２次元画像や立体画像、及び１又は複数の操作用の画像（以下、ソフトキーという。）を含む各種の表示メニュー等を表示する。さらに表示部２は、制御部７により生成された立体画像データに基づく立体画像も表示する。

ここで、デジタルフォトフレーム１において用いられる立体画像の表示方式は、例えば所謂パララックスバリア方式や時分割表示方式である。

パララックスバリア方式は、左目用画像データに基づいて階調制御される第１の画素と、右目用画像データに基づいて階調制御される第２の画素とを左右方向に交互に配置して表示する一方、所定の観察位置にいるユーザに、視差バリアを介して第１の画素を左目のみで視認させ、且つ視差バリアを介して第２の画素を右目のみで視認させる方式である。したがって、パララックスバリア方式を採用したものでは、表示部２が、表示画面の手前に、視差バリアを表示（形成）する液晶パネル等のバリア表示素子を備えた構成となる。

また、時分割表示方式は、左目用画像データに基づいた左目用画像と右目用画像データに基づいた右目用画像とを交互に時分割的に表示する一方、左目用画像と右目用画像との表示タイミングに同期してユーザの左目の視界と右目の視界とを交互に遮断する方式である。したがって、時分割表示方式を採用したものでは、立体画像の観察時に、左目用画像と右目用画像との表示タイミングに同期して左右の視界を交互に遮断するメガネ等の視界制御手段を別途ユーザに着用させる必要がある。

タッチパネル３ｂは、表示部２に１又は複数のソフトキーが表示された状態において、表示部２の表示画面内におけるユーザのタッチ位置を入力情報として検出する入力装置である。タッチパネル３ｂには、例えば抵抗膜方式のタッチパネルや静電容量方式のタッチパネルを適用することができる。

抵抗膜方式は、比較的透明度の高いＩＴＯ（Indium Tin Oxide）からなる透明電極の抵抗による分圧比を測定することによりタッチ位置を検出する方式である。静電容量方式は、ＩＴＯ膜によって形成された互いに交差して延在する複数本の透明な電極パターンをセンサとして、表面電荷の変化を捕らえることによりタッチ位置を検出する方式である。

内蔵メモリ６は、電源が切られても記憶内容が保持され、且つ記憶データが書き換え可能なフラッシュメモリであり、より具体的にはＥＥＰＲＯＭ（Electric Erasable Programmable Read Only Memory）である。内蔵メモリ６には、後述するようにデジタルフォトフレーム１において生成される立体画像データやオブジェクト画像データ等が記憶されている。

なお、詳細については後述するが、オブジェクト画像データは、人物等のような特定のオブジェクトとして立体視される立体画像（素材画像）を表す立体画像データであり、左目用画像データと右目用画像データとからなる一組の画像データである。また、左目用画像データと右目用画像データとは、それぞれが表示座標毎に、色成分として赤色成分、緑色成分及び青色成分の階調値を有しているカラー画像データである。

制御部７は、ＣＰＵ（Central Processing Unit）８や、ＣＰＵ８で実行される制御プログラムが記憶されたＲＯＭ９（Read Only Memory）、さらには作業領域になるＲＡＭ１０（Random Access memory）等から構成される。

ＲＯＭ９は、ＣＰＵ８にシステム全体を制御させるための複数種のプログラムやデータが記憶されているメモリである。ＲＯＭ９に記憶されているプログラムには、本実施形態においてＣＰＵ８を取得手段と、検索手段と、合成手段と、画像作成手段として機能させる立体画像合成プログラムが含まれる。

ＲＡＭ１０は、ＣＰＵ８がデジタルフォトフレーム１の制御に際し、種々のデータを一時記憶する作業用のメモリであり、具体的にはＳＤＲＡＭ（Synchronous dynamic random-access memory）等である。

通信制御部３１は、例えば有線又は無線による通信回線を介してデジタルフォトフレーム１を必要に応じてインターネット等のネットワークへ接続し、ネットワーク上に存在するサーバーから種々の画像データを受信する通信処理を行う。通信制御部３１により受信される画像データは、デジタルカメラ等により取得された画像データや、立体画像データやオブジェクト画像データであり、受信された画像データは記憶メディア４や内蔵メモリ６に記憶される。

次に、以上の構成からなるデジタルフォトフレーム１における動作について説明する。デジタルフォトフレーム１においては、ユーザにより電源スイッチ３ａが操作されて電源がオン状態になると、ＣＰＵ８が、ＲＯＭ９に記憶されているプログラムに基づいた制御を開始し、直ちに機能選択メニューを表示部２に表示させる。

図３（ａ）は、表示部２に表示される機能選択メニューＧ１の一例を示したものである。機能選択メニューＧ１は、画像検索機能が割り当てられたソフトキー１１ａと、スライドショー機能が割り当てられたソフトキー１１ｂと、画像編集機能が割り当てられたソフトキー１１ｃと、ダウンロード機能が割り当てられたソフトキー１１ｄと、各種設定機能が割り当てられたソフトキー１１ｅとから構成される。

ここで、画像検索機能は、記憶メディア４に画像データとして記憶されている画像から、好みの画像をユーザに選択させ、選択された画像を表示部２に表示させる機能である。スライドショー機能は、記憶メディア４に画像データとして記憶されている複数の画像を所定の順にスライドショー表示する機能である。画像編集機能は、画像データとして記憶されている画像を編集する機能である。ダウンロード機能は、前述したネットワークから種々の画像データをダウンロードする機能である。各種設定機能は、デジタルフォトフレーム１が有する各種の機能に関する動作内容を設定する機能である。

機能選択メニューＧ１を表示している間、ユーザにより何れかのソフトキー１１ａ〜１１ｄがタッチされると、つまりタッチパネル３ｂにおいて何れかのソフトキー１１ａ〜１１ｄに対応する領域内の位置がタッチ位置として検出され、ＣＰＵ８が、タッチされたソフトキーに割り当てられた機能に応じた処理に移行する。

このとき、ユーザにより画像編集機能が割り当てられたソフトキー１１ｃがタッチされると、ＣＰＵ８が、図３（ｂ）に示すような編集内容選択メニューＧ２を表示部２に表示させる。編集内容選択メニューＧ２は、絵画調変換機能が割り当てられたソフトキー１１ｆや、画像合成機能が割り当てられたソフトキー１１ｇ、及び「戻る」が記載されたソフトキー１１ｈから構成される。

絵画調変換機能とは、記憶メディア４に画像データとして記憶されている画像から、好みの画像をユーザに選択させ、選択された画像（画像データ）に画像処理を施すことにより、元の画像を絵画調画像に変換する機能である。なお、絵画調画像は、日本画調、西洋画調、水彩画調、水墨画調、ペン画調等の特定の画調（絵画的な特徴）を備えた画像である。画像合成機能とは、記憶メディア４や内蔵メモリ６に立体画像データとして記憶されている異なる２つの立体画像を合成する機能である。なお、画像合成機能の詳細については後述する。

デジタルフォトフレーム１においては、編集内容選択メニューＧ２においてユーザにより絵画調変換機能が割り当てられたソフトキー１１ｆがタッチされると、ＣＰＵ８が絵画調変換機能に応じた処理に移行する。また、「戻る」と記載されたソフトキー１１ｈがタッチされると、ＣＰＵ８が機能選択メニューＧ１を再び表示部２に表示させる。そして、編集内容選択メニューＧ２においてユーザにより画像合成機能が割り当てられたソフトキー１１ｇがタッチされると、ＣＰＵ８が画像合成機能に応じた以下に説明する画像合成処理を実行する。

本実施の形態における画像合成処理は、ユーザにより選択された任意のオブジェクト画像（素材画像）を、ユーザにより背景用として選択された任意の立体画像の一部に、前景画像として上書き合成する処理である。ここで、画像合成処理で使用される立体画像やオブジェクト画像は、記憶メディア４や内蔵メモリ６に立体画像データとして記憶されているものである。以下、ＣＰＵ８が実行する画像合成処理の具体的な処理手順を、図４に示したフローチャートに基づいて説明する。

画像合成処理においてＣＰＵ８は、まず図５（ａ）に示したオブジェクト画像選択画面Ｇ３を表示部２に表示させる（ステップＳＡ１）。オブジェクト画像選択画面Ｇ３は、例えば「オブジェクト画像を選択してください」等のメッセージ１２ａと、オブジェクト画像の選択候補を示す画像リスト１３ａと、「決定」と記載されたソフトキー１１ｉと、「オブジェクト作成」と記載されたソフトキー１１ｊと、「戻る」と記載されたソフトキー１１ｋとから構成される。

ここで、オブジェクト画像選択画面Ｇ３の表示に際してＣＰＵ８は、記憶メディア４や内蔵メモリ６に記憶されているオブジェクト画像データを選択対象として画像リスト１３ａにリスト表示する。リスト表示されるオブジェクト画像データは、例えば後述するステップＳＡ５のオブジェクト画像作成処理でＣＰＵ８により作成されたものであり、任意の立体画像に、前景画像として上書き合成するために使用される素材画像を表すデータである。

より具体的に説明すると、リスト表示されるオブジェクト画像データは、例えば記憶メディア４に記憶されている立体画像データ（左目用画像データ、及び右目用画像データ）から切り出されたデータであり、立体画像データにより表される立体画像に存在する任意のオブジェクトに対応する領域の画像を表す画像データである。

なお、図５（ａ）には、便宜上、画像リスト１３ａとして、オブジェクト画像データが格納されている画像ファイルのファイル名をリスト表示するものを示した。しかし、実際には、オブジェクト画像データに付加されているサムネイル画像データにより表され立体画像として観察されるサムネイル画像や、左目用サムネイル画像データ、又は右目用サムネイル画像データのいずれか一方により表され２次元画像として観察されるサムネイル画像をリスト表示することが好ましい。

オブジェクト画像選択画面Ｇ３を表示している間、ＣＰＵ８は、ユーザによって「戻る」と記載されたソフトキー１１ｋがタッチ（操作）されたときには（ステップＳＡ４：ＹＥＳ）、直ちに画像合成処理を終了して編集内容選択メニューＧ２を再び表示部２に表示させる。

また、オブジェクト画像選択画面Ｇ３を表示している間、ＣＰＵ８は、ユーザによって「オブジェクト作成」と記載されたソフトキー１１ｊがタッチされたときには（ステップＳＡ３：ＹＥＳ）、オブジェクト画像作成処理を実行する（ステップＳＡ５）。

詳細については後述するが、オブジェクト画像作成処理は、記憶メディア４に記憶されている立体画像データからオブジェクト画像データを切り出し、切り出したオブジェクト画像データを、予め内蔵メモリ６に記憶させておくための処理である。なお、オブジェクト画像選択画面Ｇ３を表示している間、ＣＰＵ８は、タッチパネル３ｂのタッチ操作によりユーザによって、画像リスト１３ａに表示中のいずれかの画像ファイル名が選択されると、選択された画像ファイル名を白抜き表示する。

そして、ＣＰＵ８は、画像リスト１３ａに表示されている何れかの画像ファイル名（オブジェクト画像データ）が選択された状態で、「決定」と記載されたソフトキー１１ｉがタッチされると（ステップＳＡ２：ＹＥＳ）、ユーザに選択されたオブジェクト画像データに付加されている以下の付加情報を取得する（ステップＳＡ６）。

ステップＳＡ６の処理でＣＰＵ８が取得する付加情報は、オブジェクト画像データのサイズと、形状と、視差とをそれぞれ示すデータである。ここで、サイズを示すデータは、オブジェクト画像データの画素数（面積）である。また、形状を示すデータは、オブジェクト画像データが切り出された立体画像データ（左目用画像データと右目用画像データの何れか一方）においてオブジェクトのエッジを表現していた画素群の画素毎の座標位置データである。

また、視差を示すデータは、先に説明したオブジェクト画像データが切り出された左目用画像データにより表される左目用画像と、右目用画像データにより表される右目用画像との間におけるオブジェクトの左右方向の位置ずれ量である。つまり、オブジェクト画像データに付加されている視差は、オブジェクト画像データにより表されるオブジェクト画像を観察（立体視）したとき、特定のオブジェクトについて知覚される距離感を定量化した情報である。

しかる後、ＣＰＵ８は、ステップＳＡ６の処理で取得したオブジェクト画像データのサイズと、形状と、視差とに基づいて背景候補検索処理を行う（ステップＳＡ７）。背景候補検索処理は、記憶メディア４や内蔵メモリ６に記憶されている複数の立体画像データの中から、オブジェクト画像データにより表されるオブジェクト画像の合成に適した背景用の立体画像を表す立体画像データを検索して抽出する処理である。

図６は、ＣＰＵ８による背景候補検索処理の処理手順を示したフローチャートである。背景候補検索処理においてＣＰＵ８は、記憶メディア４や内蔵メモリ６に記憶されている複数の立体画像データを予め決められている順に読み出し（ステップＳＢ１）、読み出した立体画像データを対象として視差導出処理を実行する（ステップＳＢ２）。

視差導出処理は、立体画像データにより表される立体画像内に存在するオブジェクト毎に、立体画像データを構成する左目用画像データと右目用画像データとの間に存在する視差を取得するための処理である。つまり、ＣＰＵ８がオブジェクト毎に取得する視差は、オブジェクト画像データに付加されている視差と同様、立体画像を観察したとき（立体視したとき）、立体画像内の個々のオブジェクトについて知覚される距離感を定量化した情報である。

以下、ＣＰＵ８が実行する視差導出処理の具体的な処理手順を、図７に示したフローチャートに基づいて詳述する。ここでは、主として立体画像データがカラー画像データである場合について説明する。

視差導出処理においてＣＰＵ８は、例えば下記の〔数１〕を用いて左目用画像データと右目用画像データとを個別にグレースケール変換する（ステップＳＣ１）。

〔数１〕

Ｙ（ｉ）＝0.298912×Ｒ（ｉ）＋0.586611×Ｇ（ｉ）＋0.114478×Ｂ（ｉ）

なお、〔数１〕において、Ｙ（ｉ）は整数に丸め処理され、また、ｉは階調制御される画素の座標位置を示している。

次に、ＣＰＵ８は、グレースケール変換した左目用画像データと右目用画像データに対して、個別にラプラシアンフィルタ処理を施し、画像のエッジが強調された左目用画像データと右目用画像データを生成する（ステップＳＣ２）。ラプラシアンフィルタとしては、例えば、図８（ａ）に示したような３×３マトリクスのデジタルフィルタや、図８（ｂ）に示したような５×５マトリクスのデジタルフィルタを用いることができる。

次に、ＣＰＵ８は、エッジが強調された左目用画像データと右目用画像データに対して、所定の階調閾値を境に個別に二値化処理することによって、画像のエッジが抽出されたエッジ画像データとしての左目用画像データと右目用画像データを生成する（ステップＳＣ３）。以下の説明においては、左目用画像データに基づいて生成されたエッジ画像データを左目側エッジ画像データと呼び、右目用画像データに基づいて生成されたエッジ画像データを右目側エッジ画像データと呼ぶことにより両者を区別する。

図９は、二値化処理によって得られる左目側エッジ画像データ１４Ｌと、右目側エッジ画像データ１４Ｒとの例を示した図である。ここで、左目側エッジ画像データ１４Ｌと、右目側エッジ画像データ１４Ｒとにおいては、互いに対応するオブジェクト（人物等の独立したオブジェクトとして認識される部分領域）を表す輪郭として枠状のエッジをそれぞれ得ることができる。即ち、図９に示したように、立体画像内に３つのオブジェクトが存在していた場合には、左目側エッジ画像データ１４Ｌにおいては３つの枠状のエッジＬｆａ、Ｌｆｂ、Ｌｆｃが得られ、かつ右目側エッジ画像データ１４Ｒにおいては３つの枠状のエッジＲｆａ、Ｒｆｂ、Ｒｆｃが得られる。

ここで、左目側エッジ画像データ１４Ｌと右目側エッジ画像データ１４Ｒとの間においては、エッジＬｆａで表される領域Ｌｄａと、エッジＲｆａで表される領域Ｒｄａとが、立体画像に存在する同一のオブジェクトＡに対応し、また、エッジＬｆｂで表される領域Ｌｄｂと、エッジＲｆｂで表される領域Ｌｄｂとが立体画像に存在する同一のオブジェクトＢに対応し、さらに、エッジＬｆｃで表される領域Ｌｄｃと、エッジＲｆｃで表される領域Ｌｄｃとが立体画像に存在する同一のオブジェクトＣに対応することとなる。

そして、互いに対応するエッジＬｆａとエッジＲｆａとの間に存在する画像内における左右方向の位置ずれ量が一方のオブジェクトＡの視差であり、同様に互いに対応するエッジＬｆｂとエッジＲｆｂとの間に存在する画像内における左右方向の位置ずれ量が他方のオブジェクトＢの視差であり、同様に互いに対応するエッジＬｆｃとエッジＲｆｃとの間に存在する画像内における左右方向の位置ずれ量が他方のオブジェクトＣの視差である。

係ることから、二値化処理を行った後、ＣＰＵ８は、例えば左目側エッジ画像データ１４Ｌに存在するエッジＬｆａ，Ｌｆｂ，Ｌｆｃの座標位置を個別に取得すると共に、ブロックマッチング等の手法を用いたパターンマッチング処理によって、右目側エッジ画像データ１４Ｒに存在する、エッジＬｆａ，Ｌｆｂ，Ｌｆｃに対応するエッジＲｆａ，Ｒｆｂ，Ｒｆｃの座標位置を個別に取得する（ステップＳＣ４）。

しかる後、ＣＰＵ８は、エッジＬｆａとエッジＲｆａとの座標位置から、エッジＬｆａとエッジＲｆａとの間における左右方向の位置ずれ量を演算し、演算結果を一方のオブジェクトＡの視差として導出し、エッジＬｆｂとエッジＲｆｂとの座標位置から、エッジＬｆｂとエッジＲｆｂとの間における左右方向の位置ずれ量を演算し、演算結果を他方のオブジェクトＢの視差として導出し、エッジＬｆｃとエッジＲｆｃとの座標位置から、エッジＬｆｃとエッジＲｆｃとの間における左右方向の位置ずれ量を演算し、演算結果を他方のオブジェクトＣの視差として導出する（ステップＳＣ５）。

なお、二値化処理によって得られるエッジ画像データが、図９に示したような左目側エッジ画像データ１４Ｌと右目側エッジ画像データ１４Ｒとである場合、枠状のエッジで囲まれていない領域Ｌｎ，Ｒｎについては視差のない画像領域として位置ずれ量をゼロとする。

ＣＰＵ８は、以上述べた視差導出処理が終了すると図６の処理に戻り、引き続き以下の処理を行う。まず、ＣＰＵ８は、視差導出処理で導出した全てのオブジェクトが、その視差がユーザに選択されているオブジェクト画像データ（以下、選択中のオブジェクト画像ともいう。）の視差よりも小さい第１視差オブジェクトであるか否かを判断する（ステップＳＢ３）。換言すると、ＣＰＵ８は、処理対象の立体画像データが、選択中のオブジェクト画像の視差と同じであるか又は該視差よりも大きな視差を有するオブジェクトが存在しない立体画像を表すものであるという第１の条件を満たすか否かを判断する。

そして、ＣＰＵ８は、全てのオブジェクトが、その視差が選択中のオブジェクト画像の視差よりも小さい第１視差オブジェクトであり、処理対象の立体画像データが第１の条件を満たすものであると判断したときには（ステップＳＢ３：ＹＥＳ）、処理対象の立体画像データを直ちに選択候補として追加する（ステップＳＢ６）。具体的に説明すると、ＣＰＵ８は、処理対象の立体画像データのファイル名をＲＡＭ１０に蓄積する。

また、ＣＰＵ８は、処理対象の立体画像データが第１の条件を満たすものでないときには（ステップＳＢ３：ＮＯ）、処理対象の立体画像データが、オブジェクト画像データと視差が同じであるか又は該オブジェクト画像データよりも視差が大きい第２視差オブジェクトを除く領域にオブジェクト画像が配置可能な立体画像を表すものであるという第２の条件を満たすか否かを判断する（ステップＳＢ４）。

そして、ＣＰＵ８は、処理対象の立体画像データが第２の条件を満すと判断したときには（ステップＳＢ４：ＹＥＳ）、処理対象の立体画像データを選択候補として追加する（ステップＳＢ６）。

第２の条件を満たす立体画像データの例を具体的に説明する。ここでは、処理対象の立体画像データにより表される立体画像が、例えば先に視差導出処理の説明に際して図９に示したもののように３つのオブジェクトＡ，Ｂ，Ｃが存在するものであり、何れか１つのオブジェクトが、選択中のオブジェクト画像と視差が同じであるか又は該オブジェクト画像よりも視差が大きい第２視差オブジェクトである場合について説明する。

この場合、１つのオブジェクトＡが第２視差オブジェクトであり、かつ図９に示した領域Ｌｄｂ（又は領域Ｒｄｂ）と領域Ｌｄｃ（又は領域Ｒｄｃ）と領域Ｌｎ（又は領域Ｒｎ）とからなる領域が、選択中のオブジェクト画像が収まる画素サイズで、かつ該オブジェクト画像が収まる形状であれば、処理対象の立体画像データが第２の条件を満たすこととなる。また、２つのオブジェクトＢ，Ｃが第２視差オブジェクトであり、かつ図９に示した領域Ｌｄａ（又は領域Ｒｄａ）と領域Ｌｎ（又は領域Ｒｎ）とからなる領域が、選択中のオブジェクト画像が収まる画素サイズで、かつ該オブジェクト画像が収まる形状であれば、処理対象の立体画像データが第２の条件を満たすこととなる。

さらに、ＣＰＵ８は、処理対象の立体画像データが第１、又は第２の条件のいずれをも満たすものではないときには（ステップＳＢ４：ＮＯ）、処理対象の立体画像データが、１又は複数の第２視差オブジェクトの一部に重なることなく、かつ他の１又は複数の第２視差オブジェクト全体に重なった状態で選択中のオブジェクト画像を配置可能な立体画像を表すものであるという第３の条件を満たすか否かを判断する（ステップＳＢ５）。

そして、ＣＰＵ８は、処理対象の立体画像データが第３の条件を満すと判断したときには（ステップＳＢ５：ＹＥＳ）、処理対象の立体画像データを選択候補として追加する（ステップＳＢ６）。

第３の条件を満たす立体画像データの例を具体的に説明する。ここでは、処理対象の立体画像データにより表される立体画像が、例えば先に視差導出処理の説明に際して図９に示したもののように３つのオブジェクトＡ，Ｂ，Ｃが存在するものであり、２つのオブジェクトＢ，Ｃが、選択中のオブジェクト画像と視差が同じであるか又は該オブジェクト画像よりも視差が大きい第２視差オブジェクトである場合について説明する。

この場合、例えば図９に示した領域Ｌｄａ（又は領域Ｒｄａ）と領域Ｌｄｃ（又は領域Ｒｄｃ）と領域Ｌｎ（又は領域Ｒｎ）とからなる領域が、選択中のオブジェクト画像が収まる画素サイズで、かつ該オブジェクト画像が収まる形状であり、同時に一方のオブジェクトＣの全体に重なるように該オブジェクト画像が配置可能であれば、処理対象の立体画像データが第３の条件を満たすこととなる。

なお、図示しないが、例えば選択中のオブジェクト画像と視差が同じであるか又は該オブジェクト画像よりも視差が大きい第２視差オブジェクトが４つ以上または２つのみ存在しており、選択中のオブジェクト画像を、１つの第２視差オブジェクトの一部に重なることなく、残りの第２視差オブジェクトの全体に重なるように配置できる立体画像を表す立体画像データについても第３の条件を満たすものとなる。

その後、ＣＰＵ８は、記憶メディア４や内蔵メモリ６の全ての立体画像データについて上述したステップＳＢ２以降の処理が完了したか否かを確認する（ステップＳＢ７）。また、ＣＰＵ８は、処理対象の立体画像データが第１〜第３の条件のいずれの条件も満たさないものであったときには（ステップＳＢ５：ＮＯ）、直ちに、記憶メディア４や内蔵メモリ６の全ての立体画像データについて上述したステップＳＢ２以降の処理が完了したか否かを確認する（ステップＳＢ７）。

そして、ＣＰＵ８は、全ての立体画像データについての処理が完了していなければ（ステップＳＢ７：ＮＯ）、ステップＳＢ１の処理に戻り、新たな立体画像データを読み出すとともに、読み出した立体画像データを対象として前述したステップＳＢ２以降の処理を繰り返す。また、ＣＰＵ８は、記憶メディア４や内蔵メモリ６の全ての立体画像データについて上述したステップＳＢ２以降の処理を完了したら（ステップＳＢ７：ＹＥＳ）、その時点で、背景候補検索処理を終了し、図４の処理に戻る。

つまり、背景候補検索処理においてＣＰＵ８は、選択中のオブジェクト画像を立体画像に上書き合成する際に、選択中のオブジェクト画像と視差が同じであるか又は該オブジェクト画像よりも大きな視差を有する第２視差オブジェクトが、その立体画像に少なくとも１つ存在していた場合に、全ての第２視差オブジェクトに重なることなく配置可能であるか、又は、一の第２視差オブジェクトに重なることなく配置可能であり且つ他の第２視差オブジェクトの全体に重なるように配置可能であるか、のいずれかの条件を満たす立体画像データを選択候補として抽出する。

ここで、ＣＰＵ８が選択候補として取得する立体画像データのうち、第１の条件を満たす立体画像データは、それによって表される立体画像を背景として、選択中のオブジェクト画像を上書き合成する場合、オブジェクト画像の合成位置に関係なく、合成後の立体画像に対してユーザ（観察者）が画像内のオブジェクトに自然な距離感を得ることができるものである。

また、第２、又は第３の条件を満たす立体画像データは、それによって表される立体画像を背景として、選択中のオブジェクト画像を上書き合成する場合、オブジェクト画像の合成位置を適宜調整すれば、合成後の立体画像に対してユーザ（観察者）が画像内のオブジェクトに自然な距離感を得ることができるものである。

すなわち、背景候補検索処理において抽出される立体画像データは、選択中のオブジェクト画像の合成に適した立体画像を表す立体画像データである。換言すると、背景候補検索処理において抽出される立体画像データは、それによって表される立体画像を背景として選択中のオブジェクト画像を上書き合成する場合、仮にオブジェクト画像の合成位置を調整したとしても、合成後の立体画像が、ユーザ（観察者）が複数のオブジェクトに対して不自然な距離感を覚える（違和感を覚える）ものとなるようなものを除いたものである。

一方、上述した背景候補検索処理を終了した後、ＣＰＵ８は図４の処理に戻り、まず、図５（ｂ）に示したような背景画像選択画面Ｇ４を表示部２に表示させる。背景画像選択画面Ｇ４は、「背景画像を選択してください」等のメッセージ１２ｂと、背景候補検索処理で検索（抽出）した立体画像データの選択候補を示す画像リスト１３ｂと、「決定」と記載されたソフトキー１１ｍと、「戻る」と記載されたソフトキー１１ｎとから構成される。

なお、図５（ｂ）においては、便宜上、画像リスト１３ｂとして、立体画像データが格納されている画像ファイルのファイル名をリスト表示するものを示した。しかし、実際には、立体画像データに付加されているサムネイル画像データにより表され立体画像として観察されるサムネイル画像や、左目用サムネイル画像データ、又は右目用サムネイル画像データのいずれか一方により表され２次元画像として観察されるサムネイル画像をリスト表示することが好ましい。

ここで、画像リスト１３ｂに画像ファイル名でリスト表示される立体画像データは、先に説明した第１〜第３の条件のいずれかの条件を満足する特定の立体画像データだけである。つまりユーザによって選択されているオブジェクト画像の合成に適した背景用の立体画像を表す立体画像データである。

従って、ユーザは、例えば選択中のオブジェクト画像と、記憶メディア４や内蔵メモリ６に記憶されている個々の立体画像とを立体視することによって、立体画像毎に、合成後の立体画像における違和感の有無を確認するといった煩雑な作業を行う必要がない。そのため、合成処理に要する時間や手間を大幅に削減することができるようになる。

なお、ＣＰＵ８は、背景画像選択画面Ｇ４を表示している間には、タッチパネル３ｂのタッチ操作によりユーザによって、画像リスト１３ｂに表示中のいずれかの画像ファイル名が選択されると、選択された画像ファイル名を白抜き表示する。また、ＣＰＵ８は、背景画像選択画面Ｇ４を表示している間、「戻る」と記載されたソフトキー１１ｏがタッチされたときには（ステップＳＡ１０：ＹＥＳ）、ステップＳＡの処理に戻りオブジェクト画像選択画面Ｇ３を再び表示部２に表示させる。

そして、ＣＰＵ８は、タッチパネル３ｂを介してユーザにより、背景画像として何れかの立体画像データが選択された状態で、「決定」と記載されたソフトキー１１ｍがタッチされると（ステップＳＡ９：ＹＥＳ）、まず、ユーザに選択された立体画像データを対象として視差導出処理を実行する（ステップＳＡ１１）。

ステップＳＡ１１の視差導出処理は、ステップＳＡ７の背景候補検索処理において行った視差導出処理と同様の処理である（図７参照）。つまりＣＰＵ８は、既説した手順によって、ユーザに選択された立体画像データにより表される立体画像内に存在するオブジェクト毎に、立体画像データを構成する左目用画像データと右目用画像データとの間に存在する視差を取得する。

しかる後、ＣＰＵ８は、図５（ｃ）に示した画像合成領域選択画面Ｇ５を表示部２に表示させる（ステップＳＡ１２）。画像合成領域選択画面Ｇ５は、「合成領域を選択してください」等のメッセージ１２ｃと、背景画像選択画面Ｇ４においてユーザに選択された立体画像データに基づいた立体画像１４ａと、「戻る」と記載されたソフトキー１１ｏから構成される。

画像合成領域選択画面Ｇ５の表示に際してＣＰＵ８は以下の処理を行う。すなわちＣＰＵ８は、ステップＳＡ１１の視差導出処理で取得したオブジェクト毎の視差の情報に基づき、ユーザに選択された立体画像データにより表される立体画像内で、選択中のオブジェクト画像よりも視差が小さい特定領域（オブジェクトが存在していない背景の画像領域を含む）を確認する。

そして、ＣＰＵ８は、ユーザに選択された立体画像データにより表される立体画像１４ａを、確認した特定領域を他の領域と区別可能な状態で画像合成領域選択画面Ｇ５に表示する。特定領域を他の領域と区別可能とする手法については任意であるが、例えば特定領域の輝度を一定割合減少させたり、特定領域をグレースケール表示（輝度のみで表現）したりする方法がある。

なお、図５（ｃ）に示した画像合成領域選択画面Ｇ５の例は、ユーザに選択された立体画像データにより表される立体画像１４ａが、図９に示したような３つのオブジェクトＡ，Ｂ，Ｃが存在するものであり、オブジェクトＡが、その視差が選択中のオブジェクト画像の視差よりも小さい第１視差オブジェクトであって、且つ、オブジェクトＢ，Ｃが、その視差が選択中のオブジェクト画像の視差と同じであるか又は該オブジェクト画像の視差よりも大きい第２視差オブジェクトである場合の例である。そして、図に斜線で示したオブジェクトＡと背景部分の画像領域Ｄとからなる領域が上記の特定領域である。つまり、特定領域とは、その領域内であれば、選択中のオブジェクト画像を上書き合成した場合であっても、合成後の立体画像を立体視した際に違和感が生じることがない領域である。

以上の画像合成領域選択画面Ｇ５を表示した後、ＣＰＵ８は、ユーザにより立体画像１４ａの任意の座標位置がタッチ（指定）されたか否か、及び「戻る」と記載されたソフトキー１１ｏがタッチされたいか否かを逐次確認する（ステップＳＡ１３，ＳＡ１４）。

そして、ＣＰＵ８は、ユーザにより立体画像１４ａの任意の座標位置がタッチされることなく、「戻る」と記載されたソフトキー１１ｏがタッチされたときには（ステップＳＡ１４：ＹＥＳ）、ステップＳＡ８の処理に戻り、図５（ｂ）に示した背景画像選択画面Ｇ４を再び表示部２に表示させる。

一方、ユーザにより立体画像１４ａの任意の座標位置がタッチされたときには（ステップＳＡ１３：ＹＥＳ）、図５（ｄ）に示した画像配置調整画面Ｇ６を表示部２に表示させる（ステップＳＡ１５）。画像配置調整画面Ｇ６には、例えば「画像配置を調整してください」等のメッセージ１２ｄと、画像合成領域選択画面Ｇ５において表示していた立体画像１４ａに、選択中のオブジェクト画像１４ｂをユーザによりタッチされた位置に重ねた状態の画像と、「決定」と記載されたソフトキー１１ｐ、及び「戻る」と記載されたソフトキー１１ｑとが含まれる。

引き続き、画像配置調整画面Ｇ６を表示している間、ＣＰＵ８は、ユーザがオブジェクト画像１４ｂが表示されている位置に指を当てて該指をタッチパネル３上でスライドするように動かすことにより、その動作に応じるようにして、立体画像１４ａに対するオブジェクト画像１４ｂの配置位置を調整する。

ここで、上述した第１乃至第３の条件のうち、立体画像１４ａがどの条件を満たすかによって、立体画像１４ａに対するオブジェクト画像１４ｂの配置位置の調整方法が異なるため、これについて説明する。

立体画像１４ａが上述の第１の条件を満たしている場合、即ち、オブジェクト画像１４ｂの視差と同じであるか又は該視差よりも大きな視差を有するオブジェクトが存在しない立体画像である場合には、立体画像１４ａの任意の領域にオブジェクト画像１４ｂを配置してよい。従って、オブジェクト画像１４ｂは立体画像１４ａの全領域内に配置されるように、該オブジェクト画像１４ｂの配置をＣＰＵ８によって規制すればよく、それ以外には、該オブジェクト画像１４ｂの配置をＣＰＵ８によって規制する必要はない。

立体画像１４ａが上述の第１の条件を満たさないが、第２の条件を満たしている場合、即ち、オブジェクト画像１４ｂと視差が同じであるか又は該オブジェクト画像データよりも視差が大きいオブジェクト（第２視差オブジェクト）が存在する立体画像であって、且つ、該第２視差オブジェクトを除く領域にオブジェクト画像１４ｂが配置可能な立体画像である場合には、該第２視差オブジェクトを除く領域にオブジェクト画像１４ｂが配置されるように、該オブジェクト画像１４ｂの配置をＣＰＵ８によって規制する必要がある。

従って、ユーザの指の動きに応じて、オブジェクト画像１４ｂの任意の座標位置が第２視差オブジェクトの任意の座標位置に重ならない領域から該第２視差オブジェクトの任意の座標位置に重なる領域に移動した際には、該第２視差オブジェクトの任意の座標位置に重なる領域に移動する直前の座標に、オブジェクト画像１４ｂを固定表示し、さらにユーザの指の動作に応じて、該第２視差オブジェクトの任意の座標位置に重なる領域から該第２視差オブジェクトの任意の座標位置に重ならない領域に移動した際には、該指の接触位置に応じた位置に、オブジェクト画像１４ｂを再表示するようにしてよい。

立体画像１４ａが上述の第１乃至第２の条件を満たさないが、第３の条件を満たしている場合、即ち、オブジェクト画像１４ｂと視差が同じであるか又は該オブジェクト画像データよりも視差が大きいオブジェクト（第２視差オブジェクト）が存在する立体画像であって、且つ、該第２視差オブジェクト全体に重なるようにオブジェクト画像１４ｂが配置可能な立体画像である場合には、オブジェクト画像１４ｂが第２視差オブジェクトに重ならないか、又は、オブジェクト画像１４ｂが第２視差オブジェクト全体に重なるように、該オブジェクト画像１４ｂの配置をＣＰＵ８によって規制する必要がある。

従って、ユーザの指の動きに応じて、オブジェクト画像１４ｂの任意の座標位置が第２視差オブジェクトの任意の座標位置に重ならない領域から該第２視差オブジェクトの任意の座標位置に重なる領域に移動した際には、オブジェクト画像１４ｂを第２視差オブジェクト全体に重なるように、オブジェクト画像１４ｂの配置をＣＰＵ８によって変更（規制）し、さらにユーザの指の動作に応じて、該第２視差オブジェクトの任意の座標位置に重なる領域から該第２視差オブジェクトの任意の座標位置に重ならない領域に移動した際には、該指の接触位置に応じた位置に、オブジェクト画像１４ｂを再表示するようにしてよい。

そして、ＣＰＵ８は、「決定」と記載されたソフトキー１１ｐがタッチされると（ステップＳＡ１６：ＹＥＳ）、最終的にオブジェクト画像１４ｂが重ねられていた領域の立体画像１４ａにおける各画素の階調値を、元の階調値からオブジェクト画像１４ｂの画素の階調値に置換処理することにより、立体画像１４ａにオブジェクト画像１４ｂが合成された新たな立体画像を表す立体画像データを生成し、生成した立体画像データに所定のファイル名を付与して内蔵メモリ６に記憶させる（ステップＳＡ１８）。

これにより、ＣＰＵ８は画像合成処理を終了し、デジタルフォトフレーム１においては、図３（ａ）に示した機能選択メニューＧ１を表示部２に表示した状態に戻る。なお、ＣＰＵ８は、画像配置調整画面Ｇ６で、「戻る」と記載されたソフトキー１１ｑが操作されたときには（ステップＳＡ１７：ＹＥＳ）、ステップＳＡ８の処理に戻り、図５（ｂ）に示した背景画像選択画面Ｇ４を再び表示部２に表示させる。

次に、図５（ａ）に示したオブジェクト画像選択画面Ｇ３において、ユーザにより「オブジェクト作成」と記載されたソフトキー１１ｊが操作されときＣＰＵ８が実行する処理、つまり先に述べたステップＳＡ５のオブジェクト画像作成処理の具体的な内容を、図１０に示したフローチャートに基づいて詳述する。

オブジェクト画像作成処理においてＣＰＵ８は、図１１（ａ）に示した被抽出画像選択画面Ｇ７を表示部２に直ちに表示させる（ステップＳＤ１）。被抽出画像選択画面Ｇ７は、例えば「オブジェクトを抽出する画像を選択してください」等のメッセージ１５ａと、記憶メディア４に記憶されている立体画像データを、被抽出画像の選択候補として示す画像リスト１６ａと、「決定」と記載されたソフトキー１７ａと、「戻る」と記載されたソフトキー１７ｂとから構成される。

なお、図１１（ａ）においても、便宜上、画像リスト１６ａとして、立体画像データが格納されている画像ファイルのファイル名をリスト表示するものを示した。しかし、実際には、立体画像データに付加されているサムネイル画像データにより表され立体画像として観察されるサムネイル画像や、左目用サムネイル画像データ、又は右目用サムネイル画像データのいずれか一方により表され２次元画像として観察されるサムネイル画像をリスト表示することが好ましい。

また、被抽出画像選択画面Ｇ７で表示される画像リスト１６ａの内容は、上述の画像合成処理のときから記憶メディア４に記憶されている立体画像データに変化がないときには、図５（ｂ）に示した背景画像選択画面Ｇ４で表示される画像リスト１３ａの内容と一致する。

また、ＣＰＵ８は、被抽出画像選択画面Ｇ７を表示している間において、タッチパネル３ｂのタッチ操作によりユーザによって、画像リスト１６ａに表示中のいずれかの画像ファイル名が被抽出画像として選択されると、選択された画像ファイル名を白抜き表示する。なお、被抽出画像選択画面Ｇ７で、「戻る」と記載されたソフトキー１７ｂがタッチされたときには（ステップＳＤ３：ＹＥＳ）、ＣＰＵ８は、オブジェクト画像作成処理を直ちに終了し、オブジェクト画像選択画面Ｇ３を表示部２に表示させる（ステップＳＡ１）。

そして、ＣＰＵ８は、画像リスト１６ａに表示されている何れかの画像ファイル名（立体画像データ）が被抽出画像として選択された状態で、「決定」と記載されたソフトキー１７ａがタッチされると（ステップＳＤ２：ＹＥＳ）、オブジェクト検出処理を実行する（ステップＳＤ４）。オブジェクト検出処理は、立体画像データにより表される被抽出画像（立体画像）に存在する、立体画像データを構成する左目用画像データと右目用画像データとの間に視差を有するオブジェクトを検出する処理である。

オブジェクト検出処理においてＣＰＵ８は、まず、被抽出画像として選択された立体画像データを対象として、既説したステップＳＡ１１、及びステップＳＢ２と同様の視差導出処理（図７参照）を行うことにより、被抽出画像に存在する１又は複数のオブジェクトをいったん検出し、検出したオブジェクト毎に視差を導出する。しかる後、ＣＰＵ８は、視差が"０"でないオブジェクトのみを、最終的にオブジェクトとして抽出する。

次に、ＣＰＵ８は、図１１（ｂ）に示したオブジェクト選択画面Ｇ８を表示部２に表示させる（ステップＳＤ５）。オブジェクト選択画面Ｇ８は、「オブジェクトを選択してください」等のメッセージ１５ｂと、オブジェクト検出処理で抽出されたオブジェクト１８ａ，１８ｂが強調表示された状態の被抽出画像１８と、「戻る」と記載されたソフトキー１７ｃとから構成される。

なお、ＣＰＵ８は、被抽出画像１８におけるオブジェクトの強調表示を、例えば、オブジェクトのみに対してカラー表示を維持し、オブジェクト以外の画像領域をグレースケール表示することによって、オブジェクトをより他の画像領域と区別し易くする。

引き続き、オブジェクト選択画面Ｇ８で、タッチパネル３ｂを介してユーザにより、何れかのオブジェクトが指定されると（ステップＳＤ６：ＹＥＳ）、ＣＰＵ８は、指定されたオブジェクトに対応する領域の画像データを維持するとともに、他の画像領域の画像データを削除したオブジェクト画像データを生成し、さらには、該オブジェクト画像データに所定のファイル名を付与して内蔵メモリ６に記憶させる（ステップＳＤ７）。

これにより、ＣＰＵ８はオブジェクト画像作成処理を終了し、オブジェクト画像選択画面Ｇ３を表示部２に表示させる（ステップＳＡ１）。

なお、ステップＳＤ７の処理においてオブジェクト画像データを内蔵メモリ６に記憶させる際、ＣＰＵ８は、オブジェクト画像データに、当該オブジェクト画像データのサイズと、形状と、視差とをそれぞれ示すデータ等を付加情報として付加する。

また、ＣＰＵ８は、オブジェクト選択画面Ｇ８で、「戻る」と記載されたソフトキー１７ｃが操作されたときには（ステップＳＤ７：ＹＥＳ）、被抽出画像選択画面Ｇ７を表示部２に表示させる。

ここで、以上説明した本実施の形態においては、画像合成処理において、ユーザに選択されたオブジェクト画像の合成に適した背景用の立体画像を選択候補として検索する際、上述した第１〜第３の条件のいずれかの条件を満足する特定の立体画像データを検索した。しかし、選択候補として検索する立体画像（特定の立体画像データ）は、例えば第１の条件を満足するものだけとしてもよいし、第１、又は第２の条件を満足するものだけとしてもよい。

さらに、例えば選択候補とすべき立体画像の検索条件を、ユーザが必要に応じて設定できるような構成を採用してもよい。つまり、検索すべき立体画像を、第１の条件を満足するものだけとするか、第１、又は第２の条件を満足するものとするか、第１〜第３の条件のいずれかの条件を満足するものとするかを、ユーザに設定させるようにしてもよい。

選択候補とすべき立体画像の検索条件を上記のように変更した場合であっても、選択候補となる立体画像は、ユーザが選択したオブジェクト画像の合成に適した立体画像のみとなる。したがって、ユーザは、例えば選択中のオブジェクト画像と、記憶メディア４や内蔵メモリ６に記憶されている個々の立体画像とを立体視することによって、立体画像毎に、合成後の立体画像における違和感の有無を確認するといった煩雑な作業を行う必要がない。そのため、合成処理に要する時間や手間を大幅に削減することができる。

なお、上述の実施の形態において、画像合成処理やオブジェクト画像作成処理の際に表示部２に表示する画像は、画像を立体的に視認可能なように左目用画像データと右目用画像データとを用いて表示してもよいし、画像を２次元平面的に視認可能なように左目用画像データと右眼用画像データとのうちの一方のみを用いて表示してもよい。またさらには、ユーザによって立体的に表示するか否かを選択可能に構成してもよい。

また、上述の実施の形態では、記憶メディア４や内蔵メモリ６に記憶されている個々の立体画像について画像内に存在するオブジェクト毎の視差を導出する際に、左眼用画像データと右眼用画像データのそれぞれに対してオブジェクトの輪郭を検出し、この輪郭の座標位置の違いに基づいてオブジェクト毎の視差を導出する場合について説明したが、オブジェクト毎の視差は他の方法を用いて導出してもよい。例えば、左眼用画像データと右眼用画像データの何れか一方から色情報等を考慮した特徴部分を直接的に抽出し、この抽出した特徴部分に対応する画像を他方の画像データから検出し、その後、互いの座標位置の位置ズレ量を視差として導出してもよい。

いずれにしても、立体画像におけるオブジェクト毎の視差は観察者において知覚される距離感を定量化した情報であり、オブジェクト画像（単一のオブジェクト）との間で比較可能な視差が導出できれば、視差は他の方法によって取得してもよい。なお、係る点についてはオブジェクト画像の視差についても同様であり、オブジェクト画像の視差も、本実施の形態とは異なる方法により導出しても構わない。

また、上述の実施の形態では、背景となる立体画像に前景となるオブジェクト画像を合成する際に、オブジェクト画像を等倍に維持したままで立体画像に合成する場合について説明したが、立体画像には、視差を維持しつつ画像サイズを拡大または縮小したオブジェクト画像を合成してもよい。

また、上述の実施の形態では、背景となる立体画像に合成する前景となるオブジェクト画像（素材画像）が、デジタルフォトフレーム１で作成されたものである場合について説明したが、オブジェクト画像はデジタルフォトフレーム１以外の任意の装置で作成されたものであってもよいし、ネットワーク上に存在するサーバーから取得したものであってもよい。さらに、オブジェクト画像は、例えば単一の画像から画像処理技術を用いて作成されたのであってもよい。また、背景となる立体画像についても、ネットワーク上に存在するサーバーから取得したものを使用することができる。

また上述の実施の形態では、本発明の画像合成装置をデジタルフォトフレームにおいて実施した場合について説明したが、本発明はデジタルカメラや携帯電話などの他の電子機器に適用してもよい。また、本発明は、汎用的なパーソナルコンピュータにおいても実施することができ、その場合には、所定のアプリケーションソフト（プログラム）に基づいてパーソナルコンピュータを動作させればよい。

１ デジタルフォトフレーム
２ 表示部
４ 記憶メディア
５ メディア装着部
６ 内蔵メモリ
７ 制御部
８ ＣＰＵ
１４Ｌ 左目側エッジ画像データ
１４Ｒ 右目側エッジ画像データ
１４ａ 立体画像
１４ｂ オブジェクト画像
１８ 被抽出画像
１８ａ，１８ｂ オブジェクト
Ｇ１ 機能選択メニュー
Ｇ２ 編集内容選択メニュー
Ｇ３ オブジェクト画像選択画面
Ｇ４ 背景画像選択画面
Ｇ５ 画像合成領域選択画面
Ｇ６ 画像配置調整画面
Ｇ７ 被抽出画像選択画面
Ｇ８ オブジェクト選択画面

Claims (17)

1. オブジェクトとして立体視される素材画像に存在する視差を取得する取得部と、
   各々が立体視される複数の立体画像のうちから、所定の条件を満たす立体画像を選択候補として検索する検索部と、
   前記検索部により選択候補として検索された立体画像に前記素材画像を合成する合成部と、
   を備え、
   前記複数の立体画像は、各々が少なくとも１つのオブジェクトを含み、
   前記複数の立体画像のうち前記選択候補とされる立体画像に含まれる前記少なくとも１つのオブジェクトのいずれもが前記取得部により取得された前記素材画像の視差よりも小さい第１視差オブジェクトであることを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索部が検索する、
   画像合成装置。
2. 請求項１に記載の画像合成装置であって、
   前記合成部は、前記素材画像を前記立体画像に合成する際に、前記素材画像が前記立体画像の全領域内に配置されるように、前記素材画像の配置を規制する。
3. オブジェクトとして立体視される素材画像に存在する視差を取得する取得部と、
   各々が立体視される複数の立体画像のうちから、所定の条件を満たす立体画像を選択候補として検索する検索部と、
   前記検索部により選択候補として検索された立体画像に前記素材画像を合成する合成部と、
   を備え、
   前記複数の立体画像は、各々が少なくとも１つのオブジェクトを含み、
   前記複数の立体画像のうち前記選択候補とされる立体画像に含まれる前記少なくとも１つのオブジェクトが前記取得部により取得された前記素材画像の視差と同じであるか又は該視差よりも大きい第２視差オブジェクトであって、且つ、前記第２視差オブジェクトを除く領域に前記素材画像を配置可能な形状およびサイズを該素材画像が有することを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索部が検索する、
   画像合成装置。
4. 請求項３に記載の画像合成装置であって、
   前記複数の立体画像は、各々が前記第２視差オブジェクトである複数の前記オブジェクトを含み、
   全ての前記複数の第２視差オブジェクトを除く領域に前記素材画像を配置可能な形状およびサイズを該素材画像が有することを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索部が検索する。
5. 請求項４に記載の画像合成装置であって、
   前記合成部は、前記素材画像を前記立体画像に合成する際に、前記素材画像が前記第２視差オブジェクトを除く領域に配置されるように、前記素材画像の配置を規制する。
6. 請求項３に記載の画像合成装置であって、
   前記複数の立体画像は、各々が前記第２視差オブジェクトである複数の前記オブジェクトを含み、
   複数の前記第２視差オブジェクトのうちの一の前記第２視差オブジェクトを除く領域に、前記一の第２視差オブジェクトとは異なる他の前記第２視差オブジェクト全体に重なるように前記素材画像を配置可能な形状およびサイズを該前記素材画像が有することを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索部が検索する。
7. 請求項６に記載の画像合成装置であって、
   前記合成部は、前記素材画像を前記立体画像に合成する際に、前記素材画像が前記第２視差オブジェクト全体に重なるように配置されるように、前記素材画像の配置を規制する。
8. オブジェクトとして立体視される素材画像に存在する視差を取得する取得部と、
   各々が立体視される複数の立体画像のうちから、所定の条件を満たす立体画像を選択候補として検索する検索部と、
   前記検索部により選択候補として検索された立体画像に前記素材画像を合成する合成部と、
   を備え、
   前記複数の立体画像は、各々が少なくとも１つのオブジェクトを含み、
   前記複数の立体画像のうち前記選択候補とされる立体画像に含まれる前記少なくとも１つのオブジェクトが前記取得部により取得された前記素材画像の視差と同じであるか又は該視差よりも大きい第２視差オブジェクトであって、且つ、前記第２視差オブジェクト全体に重なるように配置可能な形状およびサイズを該素材画像が有することを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索部が検索する、
   画像合成装置。
9. 請求項８に記載の画像合成装置であって、
   前記合成部は、前記素材画像を前記立体画像に合成する際に、前記素材画像が前記第２視差オブジェクト全体に重なるように配置されるように、前記素材画像の配置を規制する。
10. オブジェクトとして立体視される素材画像に存在する視差を取得する工程と、
    各々が立体視される複数の立体画像のうちから、所定の条件を満たす立体画像を選択候補として検索する工程と、
    前記検索する工程により選択候補として検索された立体画像に前記素材画像を合成する工程と、
    を備え、
    前記複数の立体画像は、各々が少なくとも１つのオブジェクトを含み、
    前記複数の立体画像のうち前記選択候補とされる立体画像に含まれる前記少なくとも１つのオブジェクトのいずれもが前記取得する工程により取得された前記素材画像の視差よりも小さい第１視差オブジェクトであることを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索する工程において検索する、
    画像検索方法。
11. オブジェクトとして立体視される素材画像に存在する視差を取得する工程と、
    各々が立体視される複数の立体画像のうちから、所定の条件を満たす立体画像を選択候補として検索する工程と、
    前記立体画像を検索する工程において選択候補として検索された立体画像に前記素材画像を合成する工程と、
    を含み、
    前記複数の立体画像は、各々が少なくとも１つのオブジェクトを含み、
    前記立体画像を検索する工程は、前記複数の立体画像のうち前記選択候補とされる立体画像に含まれる前記少なくとも１つのオブジェクトが前記視差を取得する工程において取得された前記素材画像の視差と同じであるか又は該視差よりも大きい第２視差オブジェクトであって、且つ、前記第２視差オブジェクトを除く領域に前記素材画像を配置可能な形状およびサイズを該素材画像が有することを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索する工程において検索することを含む、
    画像検索方法。
    
12. 請求項１１に記載の画像合成方法であって、
    前記素材画像を合成する工程は、前記素材画像を前記立体画像に合成する際に、前記素材画像が前記第２視差オブジェクトを除く領域に配置されるように、前記素材画像の配置を規制することを含む。
13. 請求項１１に記載の画像合成方法であって、
    前記素材画像を合成する工程は、前記素材画像を前記立体画像に合成する際に、前記素材画像が前記第２視差オブジェクト全体に重なるように配置されるように、前記素材画像の配置を規制することを含む。
14. オブジェクトとして立体視される素材画像に存在する視差を取得する工程と、
    各々が立体視される複数の立体画像のうちから、所定の条件を満たす立体画像を選択候補として検索する工程と、
    前記検索する工程により選択候補として検索された立体画像に前記素材画像を合成する工程と、
    を備え、
    前記複数の立体画像は、各々が少なくとも１つのオブジェクトを含み、
    前記複数の立体画像のうち前記選択候補とされる立体画像に含まれる前記少なくとも１つのオブジェクトが前記取得する工程により取得された前記素材画像の視差と同じであるか又は該視差よりも大きい第２視差オブジェクトであって、且つ、前記第２視差オブジェクト全体に重なるように配置可能な形状およびサイズを該素材画像が有することを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索する工程において検索する、
    画像合成方法。
15. コンピュータに、
    オブジェクトとして立体視される素材画像に存在する視差を取得する処理と、
    各々が立体視される複数の立体画像のうちから、所定の条件を満たす立体画像を選択候補として検索する処理と、
    前記立体画像を検索する処理において選択候補として検索された立体画像に前記素材画像を合成する処理と、
    を実行させ、
    前記複数の立体画像は、各々が少なくとも１つのオブジェクトを含み、
    前記立体画像を検索する処理は、前記複数の立体画像のうち前記選択候補とされる立体画像に含まれる前記少なくとも１つのオブジェクトが前記視差を取得する処理において取得された前記素材画像の視差と同じであるか又は該視差よりも大きい第２視差オブジェクトであって、且つ、前記第２視差オブジェクトを除く領域に前記素材画像を配置可能な形状およびサイズを該素材画像が有することを、前記所定の条件として、前記複数の立体画像のうちから前記選択候補とされる立体画像を、前記検索する処理において検索することを含む、
    プログラム。
16. 請求項１５に記載のプログラムであって、
    前記素材画像を合成する処理は、前記素材画像を前記立体画像に合成する際に、前記素材画像が前記第２視差オブジェクトを除く領域に配置されるように、前記素材画像の配置を規制することを含む。
17. 請求項１５に記載のプログラムであって、
    前記素材画像を合成する処理は、前記素材画像を前記立体画像に合成する際に、前記素材画像が前記第２視差オブジェクト全体に重なるように配置されるように、前記素材画像の配置を規制することを含む。

Images