JP3045087B2

JP3045087B2 - 画像合成装置

Info

Publication number: JP3045087B2
Application number: JP8350193A
Authority: JP
Inventors: 崇博木本
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1996-12-27
Filing date: 1996-12-27
Publication date: 2000-05-22
Anticipated expiration: 2016-12-27
Also published as: JPH10187926A; US5982394A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、オブジェクト画像
群を重ね合わせて合成画像を生成する画像合成装置に関
し、特に合成画像内の任意のオブジェクト画像に対して
変換操作や位置の変更を行うことのできる画像合成装置
に関する。

【０００２】

【従来の技術】音声／画像符号化方式を定めるISO/IEC
JTC1/SC29/WG11 MPEG4では、複数のオブジェクト画像を
重ね合わせることで合成画像を生成する手法を採用する
ことが検討されている。この手法を用いることで、合成
画像内の任意のオブジェクトに対して位置の変更および
幾何学変換、輝度変換、色変換など各種変換操作を容易
に行うことができる。ISO/IEC JTC1/SC29/WG11 N1401、
“MSDL specification”における画像合成方法を図９を
用いて説明する。

【０００３】出力画像１００を構成する個々のオブジェ
クト画像は、オブジェクト画像１０００として画像合成
装置に送られ、個々のオブジェクト画像を識別する識別
情報３０１と共にメモリ１に格納される。また出力画像
１００中の個々のオブジェクト画像の位置情報と、出力
画像内に表示される際の幾何学変換情報、光源情報、色
変換情報など各種変換操作を表す変換情報とからなるシ
ーン情報は、シーン情報２０００としてメモリ２に送ら
れ、対応する識別情報３０１と共に格納される。ここ
で、オブジェクト画像１０００とシーン情報２０００と
は、出力画像１００内に表示される順番とは関係無く画
像合成装置に出力される。出力画像１００内の各オブジ
ェクト画像の描画される順番を示す奥行情報３０００は
メモリ３に格納される。

【０００４】奥行情報検索器６０は、メモリ３に格納さ
れた奥行情報３０００に含まれる個々の奥行き情報３０
０１に従って、オブジェクト画像とシーン情報とを、そ
れぞれメモリ１及びメモリ２に奥行き情報３００１で指
示される識別情報３００２を用いて取り出す。シーン情
報分割器４４はメモリ２から取り出されたシーン情報２
３１を変換情報２４１と位置情報２４２とに分割する。
メモリ１から取り出されたオブジェクト画像１３０は、
変換情報２４１に従って変換操作を受けた後、位置情報
２４２に従ってフレームメモリ４０上に書き込まれる。
メモリ１に格納された全てのオブジェクト画像がフレー
ムメモリ４０に書き込まれることで、フレームメモリ４
０上に出力画像１００が生成される。

【０００５】次に、利用者が選択した特定のオブジェク
トに変換操作を行う際の動作について説明する。この画
像合成装置は、利用者の選択したオブジェクトを識別す
る対象オブジェクト識別情報６０１、及び位置の変更や
画像処理など利用者の要求する各種変換操作を表す要求
シーン情報６０２がメモリ２に入力されると、メモリ２
に格納されているシーン情報のうち対象オブジェクト識
別情報６０１の指定するシーン情報を要求シーン情報６
０２に書き換える。その後、画像合成装置は前述の手法
と同様の手法を用いて、メモリ１に格納された全てのオ
ブジェクト画像をフレームメモリ４０上に書き込む。こ
れにより対象オブジェクト情報６０１の示すオブジェク
トに対して、利用者の要求した変換操作を行った出力画
像が再生成される。

【０００６】

【発明が解決しようとする課題】しかしながら、出力画
像内のあるオブジェクト画像に対して、利用者が変換操
作を要求した場合、従来の画像合成装置は、上述のよう
に対象となるオブジェクト画像に変換操作を行った後に
出力画像を構成する全オブジェクト画像をフレームメモ
リ上に書き込むので、対象となるオブジェクト画像が複
数のオブジェクト画像を重ね合わせた合成オブジェクト
画像である場合には、対象となる合成オブジェクト画像
を構成する個々のオブジェクト画像に対して同じ変換操
作を行った後に、出力画像を構成する全オブジェクト画
像をフレームメモリ上に書き込む必要がある。従って、
利用者が出力画像の一部となるオブジェクト画像を利用
して他の画像を合成する場合、それを構成する個々のオ
ブジェクト画像を扱う必要があり、その処理数が増大し
てしまうという問題点を有する。

【０００７】本発明は上記事情に鑑みて成されたもの
で、オブジェクト画像を再帰的に重ね合わせて出力画像
を生成することで、合成オブジェクト画像を利用者が再
利用する際の必要な処理数を削減することができる画像
合成装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】請求項１記載の発明は、
出力画像を構成する個々の要素オブジェクト画像の情報
を、該オブジェクト画像を個々に識別する識別情報の集
合である第１の識別情報群と共に格納する第１のメモリ
と、前記個々の要素オブジェクト画像を出力画像として
表示する際の表示情報を表すシーン情報を、前記第１の
識別情報群と共に格納する第２のメモリと、前記個々の
要素オブジェクト画像、及び、要素オブジェクト画像の
合成である合成オブジェクト画像、の出力画像における
階層的な重ね合わせ関係を、前記出力画像を根に対応さ
せ、合成オブジェクト画像を節に対応させ、前記個々の
要素オブジェクト画像を葉に対応させて木構造として表
し、この木構造をオブジェクト構造情報として格納する
第３のメモリと、前記オブジェクト構造情報で表される
木構造に基づき、木構造の節に対応する合成オブジェク
ト画像に含まれる要素オブジェクト画像及び合成オブジ
ェクト画像のシーン情報により、前記木構造の節に対応
する合成オブジェクト画像のシーン情報を合成シーン情
報として算出して前記第２のメモリに出力して格納させ
ると共に、前記木構造の節に対応する合成オブジェクト
画像を識別するための第２の識別情報を生成して前記第
２のメモリに出力して前記シーン情報と共に格納させる
シーン情報合成器と、前記第３のメモリに格納されてい
るオブジェクト構造情報に基づき、任意の節もしくは根
に対応する合成オブジェクト画像もしくは出力画像を注
目オブジェクト画像として、該注目オブジェクト画像に
含まれる合成オブジェクト画像を識別するための識別情
報を生成してこれを第３の識別情報として第１のメモリ
及び第２のメモリに出力し、前記注目オブジェクト画像
に含まれる要素オブジェクト画像を識別するための識別
情報を生成してこれを第３の識別情報群として第１のメ
モリ及び第２のメモリに出力し、前記注目オブジェクト
画像を識別するための識別情報を生成してこれを第４の
識別情報として第２のメモリに出力し、前記注目オブジ
ェクト画像が前記木構造において節に対応するのか根に
対応するのかを判別する判別情報を生成してこれをオブ
ジェクト画像転送器に出力する識別情報抽出器と、前記
第３の識別情報に基づき第２のメモリが出力する、注目
オブジェクト画像に含まれる合成オブジェクト画像の合
成シーン情報と、前記第３の識別情報群に基づき第２の
メモリが出力する、注目オブジェクト画像に含まれる要
素オブジェクト画像のシーン情報とを、前記第４の識別
情報に基づき第２のメモリが出力する前記注目オブジェ
クト画像の合成シーン情報に対する相対値に変換し、こ
れらを変換シーン情報群としてオブジェクト合成器に出
力するシーン情報変換器と、前記第３の識別情報に基
づき第１のメモリが出力する、注目オブジェクト画像に
含まれる合成オブジェクト画像のオブジェクト画像情報
と、前記第３の識別情報群に基づき第１のメモリが出力
する、注目オブジェクト画像に含まれる要素オブジェク
ト画像のオブジェクト画像情報と、前記シーン情報変換
器が出力する変換シーン情報群と、を用いて、前記注目
オブジェクト画像の合成画像を生成し、これを合成画像
情報としてオブジェクト画像転送器に出力するオブジェ
クト合成器と、前記判別情報に基づき、前記注目オブジ
ェクト画像が根に対応する出力画像である場合は前記合
成画像情報を出力画像表示機構に出力し、前記注目オブ
ジェクト画像が節に対応する場合は前記合成画像情報を
新たにオブジェクト画像として前記注目オブジェクト画
像の識別情報と共に前記第１のメモリに出力して格納さ
せるオブジェクト画像転送器とを有することを特徴とす
る。

【０００９】請求項２記載の発明は、請求項１記載の発
明において、前記出力画像を構成する要素オブジェクト
画像又は合成オブジェクト画像の中で利用者が選択した
要素オブジェクト画像又は合成オブジェクト画像を対象
オブジェクト画像として識別するための識別情報が前記
第１のメモリ、第２のメモリ及び前記識別情報抽出器に
対象オブジェクト識別情報として入力され、前記第２の
メモリに、前記対象オブジェクト画像に対して利用者が
要求するシーン情報が要求シーン情報として入力された
場合、前記第２のメモリは、前記対象オブジェクト画像
のシーン情報を要求シーン情報に書き換え、前記識別情
報抽出器は、前記オブジェクト構造情報に基づき、前記
対象オブジェクト画像を内部に有する合成オブジェクト
画像の識別情報を生成し、これを第６の識別情報として
前記第１のメモリ及び第２のメモリに出力し、前記対象
オブジェクト画像を内部に有する合成オブジェクト画像
に含まれる合成オブジェクト画像を識別するための識別
情報を生成してこれを第５の識別情報として第１のメモ
リ及び第２のメモリに出力し、前記対象オブジェクト画
像を内部に有する合成オブジェクト画像に含まれる要素
オブジェクト画像を識別するための識別情報を生成して
これを第５の識別情報群として第１のメモリ及び第２の
メモリに出力し、前記対象オブジェクト画像を内部に有
する合成オブジェクト画像が前記オブジェクト構造情報
における節に対応するのか根に対応するのかを判別する
判別情報を生成してこれをオブジェクト画像転送器に出
力し、前記シーン情報変換器は、前記第５の識別情報に
基づき第２のメモリが出力する合成オブジェクト画像の
シーン情報又は対象オブジェクト画像の要求シーン情報
と、前記第５の識別情報群に基づき第２のメモリが出力
する要素オブジェクト画像のシーン情報又は対象オブジ
ェクト画像の要求シーン情報とを、前記対象オブジェク
ト画像を内部に有する合成オブジェクト画像を識別する
ための第６の識別情報に基づき第２のメモリが出力する
合成シーン情報に対する相対値に変換し、これらを変換
シーン情報群としてオブジェクト合成器に出力し、前記
オブジェクト合成器は、前記第５の識別情報に基づき第
１のメモリが出力する合成オブジェクト又は対象オブジ
ェクトの画像情報と、前記第５の識別情報群に基づき第
１のメモリが出力する要素オブジェクト又は対象オブジ
ェクト画像情報と、前記シーン情報変換器が出力した変
換シーン情報群とを用いて、前記対象オブジェクト画像
を内部に有する合成オブジェクト画像の合成画像を生成
し、これを合成画像情報としてオブジェクト画像転送器
に出力し、前記オブジェクト画像転送器は、前記判別情
報に基づき、前記対象オブジェクト画像を内部に有する
合成オブジェクト画像が根に対応する出力画像である場
合は前記合成画像情報を出力画像表示機構に出力し、前
記対象オブジェクト画像を内部に有する合成オブジェク
ト画像が節に対応する場合は前記合成画像情報を新たに
オブジェクト画像として前記上位の合成オブジェクト画
像の識別情報と共に前記第１のメモリに出力して格納さ
せることを特徴とする。

【００１０】請求項３記載の発明は、請求項１記載の発
明において、前記画像合成装置はオブジェクト構造情報
が入力される部分木生成器を有し、前記出力画像を構成
する要素オブジェクト画像又は合成オブジェクト画像の
中で利用者が選択した要素オブジェクト画像又は合成オ
ブジェクト画像を対象オブジェクト画像として識別する
ための識別情報が前記第１のメモリ、第２のメモリ及び
前記部分木生成器に対象オブジェクト識別情報として入
力され、前記第２のメモリに、前記対象オブジェクト画
像に対して利用者が要求するシーン情報が要求シーン情
報として入力された場合、前記第２のメモリは、前記対
象オブジェクト画像のシーン情報を要求シーン情報に書
き換え、前記部分木生成器は、前記オブジェクト構造情
報で表される木構造を、前記出力画像の１位下の要素オ
ブジェクト画像により構成される構造は変更せず、前記
出力画像の１位下の合成オブジェクト画像であって対象
オブジェクト画像を内部に有しない合成オブジェクト画
像のそれぞれを、前記合成オブジェクト画像情報及び前
記合成シーン情報を有する単一の合成オブジェクト画像
と変更した構造とし、前記対象オブジェクト画像を内部
に有する合成オブジェクト画像に含まれる合成オブジェ
クト画像のそれぞれを、前記合成オブジェクト画像情
報、及び前記合成シーン情報又は要求シーン情報を有す
る単一の合成オブジェクト画像と変更した構造である、
部分木構造に変更し、該部分木構造を表す部分オブジェ
クト構造情報を生成して第３のメモリに出力し、前記第
３のメモリは、格納されているオブジェクト構造情報
を、前記部分オブジェクト構造情報に書き換え、前記識
別情報抽出器は、前記部分オブジェクト構造情報に基づ
き、前記対象オブジェクト画像を内部に有する合成オブ
ジェクト画像の識別情報を生成し、これを第８の識別情
報として前記第１のメモリ及び第２のメモリに出力し、
前記対象オブジェクト画像を内部に有する合成オブジェ
クト画像に含まれる合成オブジェクト画像を識別するた
めの識別情報を生成してこれを第７の識別情報として第
１のメモリ及び第２のメモリに出力し、前記対象オブジ
ェクト画像を内部に有する合成オブジェクト画像を識別
するための識別情報を生成してこれを第７の識別情報群
として第１のメモリ及び第２のメモリに出力し、前記対
象オブジェクト画像を内部に有する合成オブジェクト画
像が前記オブジェクト構造情報における節に対応するの
か根に対応するのかを判別する判別情報を生成してこれ
をオブジェクト画像転送器に出力し、前記シーン情報変
換器は、前記第７の識別情報に基づき第２のメモリが出
力する合成オブジェクト画像のシーン情報又は対象オブ
ジェクト画像の要求シーン情報と、前記第７の識別情報
群に基づき第２のメモリが出力する要素オブジェクト画
像のシーン情報又は対象オブジェクト画像の要求シーン
情報とを、前記対象オブジェクト画像を内部に有する合
成オブジェクト画像を識別するための第８の識別情報に
基づき第２のメモリが出力する合成オブジェクト画像の
合成シーン情報に対する相対値に変換し、これらを変換
シーン情報群としてオブジェクト合成器に出力し、前記
オブジェクト合成器は、前記第７の識別情報に基づき第
１のメモリが出力する合成オブジェクト画像情報又は対
象オブジェクトの画像情報と、前記第７の識別情報群に
基づき第１のメモリが出力する要素オブジェクト画像情
報又は対象オブジェクトの画像情報と、前記シーン情報
変換器が出力する変換シーン情報群とを用いて、前記対
象オブジェクト画像を内部に有する合成オブジェクト画
像の合成画像を生成し、これを合成画像情報としてオブ
ジェクト画像転送器に出力し、前記オブジェクト画像転
送器は、前記判別情報に基づき、前記対象オブジェクト
画像を内部に有する合成オブジェクト画像が根に対応す
る出力画像である場合は前記合成画像情報を出力画像表
示機構に出力し、前記対象オブジェクト画像を内部に有
する合成オブジェクト画像が節に対応する場合は前記合
成画像情報を新たにオブジェクト画像として前記上位の
合成オブジェクト画像の識別情報と共に前記第１のメモ
リに出力して格納させることを特徴とする。

【００１１】請求項４記載の発明は、請求項１から３の
いずれかに記載の発明において、前記シーン情報合成器
は、前記オブジェクト構造情報を格納するための第４の
メモリと、前記第４のメモリに格納されたオブジェクト
構造情報に基づき、該オブジェクト構造情報を表す木構
造の任意の節に対応する合成オブジェクト画像に含まれ
る要素オブジェクト画像及び合成オブジェクト画像の識
別情報を前記第２のメモリに出力すると共に、前記任意
の節に対応する合成オブジェクト画像の識別情報を前記
第２のメモリに第２の識別情報として出力するツリー検
索器と、前記前記第２のメモリから出力された前記任意
の節に対応する合成オブジェクト画像に含まれる要素オ
ブジェクト画像及び合成オブジェクト画像のシーン情報
に基づき、前記任意の節に対応する合成オブジェクト画
像のシーン情報を合成シーン情報として算出して前記第
２のメモリに出力するシーン情報生成器とを有すること
を特徴とする。

【００１２】請求項５記載の発明は、請求項４記載の発
明において、前記シーン情報生成器が、前記任意の節に
対応する合成オブジェクト画像のシーン情報を合成シー
ン情報として算出する動作は、前記任意の節に対応する
合成オブジェクト画像に含まれる、要素オブジェクト画
像及び合成オブジェクト画像のシーン情報の平均を合成
シーン情報として算出するか、若しくは、前記任意の節
に対応する合成オブジェクト画像に含まれる、要素オブ
ジェクト画像及び合成オブジェクト画像のシーン情報の
内の１つを合成シーン情報として算出する動作であるこ
とを特徴とする。

【００１３】請求項６記載の発明は、請求項５記載の発
明において、前記シーン情報は、幾何学変換情報、光源
情報及び色変換情報を含む変換情報と、位置情報とから
なることを特徴とする。

【００１４】請求項７記載の発明は、請求項１から６の
いずれかに記載の発明において、前記オブジェクト合成
器は、シーン情報を変換情報と位置情報とに分割して出
力するシーン情報分割器と、前記第１のメモリから出力
されたオブジェクト画像情報を、前記変換情報に基づき
画像処理を行い、該画像処理された画像を処理画像とし
て出力する画像処理装置と、前記処理画像を、前記位置
情報に基づき格納するフレームメモリとを有することを
特徴とする。

【００１５】従って、本発明の画像合成装置では、合成
オブジェクト画像の構成要素となるオブジェクト画像と
それに対応するシーン情報の集合とから、合成オブジェ
クト画像を生成し、新たに出力画像の構成要素として第
１のメモリに格納する。また、合成オブジェクトを再帰
的に生成して出力画像を生成するので、利用者が合成オ
ブジェクト画像に対して変換操作を要求した際、第２の
メモリに格納された合成オブジェクトのシーン情報を変
更した後、第１のメモリに格納された合成オブジェクト
画像を用いて出力画像の再生成を行うことができ、その
処理数を削減することができる。

【００１６】

【発明の実施の形態】以下、図面を参照して本発明の画
像合成装置の実施形態を説明する。図７は、出力画像を
構成するオブジェクト画像の重ね合わせの構造の一例を
表している。出力画像１００はオブジェクト画像１０１
〜１０９を重ね合わせることで生成される。このうち、
オブジェクト画像１０３、１０４のみを部分合成した合
成オブジェクト画像１１０と、オブジェクト画像１０
５、１０６、１０７のみを部分合成した合成オブジェク
ト画像１１１と、オブジェクト画像１０１、１０２と合
成オブジェクト画像１１０のみを部分合成した合成オブ
ジェクト画像１１２と、合成オブジェクト画像１１１と
オブジェクト画像１０８のみを部分合成した合成オブジ
ェクト画像１１３もまた変換要求の対象となり得る。出
力画像１００は、合成オブジェクト画像１１２、１１３
とオブジェクト画像１０９とを合成することで生成され
る。オブジェクト画像１０１〜１０９は個々を識別する
ための識別情報と、対応するシーン情報２０１〜２０９
とを有する。以下に述べる実施形態では図７に示す重ね
合わせの構造を持つ出力画像を例に用いて説明する。

【００１７】図１は、本発明に係る画像合成装置の第１
の実施形態の構造を示すブロック図である。

【００１８】この第１の実施形態の画像合成装置は、オ
ブジェクト画像１０００と、シーン情報２０００と、識
別情報３０１と、オブジェクト構造情報３００とから出
力画像１００を生成する構成となっている。この画像合
成装置は、オブジェクト画像１０００と識別情報３０１
とを格納するメモリ１と、シーン情報２０００と識別情
報３０４とを格納するメモリ２と、オブジェクト構造情
報を格納するメモリ３と、オブジェクト画像１３０及び
変換されたシーン情報２３１とから合成オブジェクト画
像１３１を出力するオブジェクト合成器４１と、出力画
像１００に含まれる合成画像のシーン情報を合成するシ
ーン情報合成器４２と、シーン情報変換器４５と、オブ
ジェクト画像転送器５０と、識別情報抽出器５１とから
構成される。

【００１９】出力画像１００を構成する個々のオブジェ
クト画像１０１〜１０９（以下、それぞれを要素オブジ
ェクト画像とも言う。）は、まとめてオブジェクト画像
１０００として、対応する識別情報３０１と共にメモリ
１に格納される。オブジェクト画像１０１〜１０９のそ
れぞれに対応するシーン情報２０１〜２０９は、まとめ
てシーン情報２０００として、対応する識別情報３０１
と共にメモリ２に格納される。オブジェクト画像１０１
〜２０９の重ね合わせ関係を表すオブジェクト構造情報
３００はメモリ３に格納される。オブジェクト構造情報
３００は、図７に示したような各オブジェクト画像の識
別情報のツリー構造（又は、木構造と言う。）を表す。
以下、ツリー構造において一位上にあたるオブジェクト
画像を親オブジェクト画像、一位下にあたるオブジェク
ト画像を子オブジェクト画像と呼ぶ。つまり、前記木構
造において、出力画像を最上位として、該出力画像に含
まれる要素オブジェクト画像及び合成オブジェクト画像
を共に、最上位から１位下のオブジェクト画像とし、こ
の最上位から１位下のオブジェクト画像の内の合成オブ
ジェクト画像に含まれる要素オブジェクト画像及び合成
オブジェクト画像を共に、最上位から２位下のオブジェ
クト画像とし、以下同様に位を設定する。例えば図７に
おいて合成オブジェクト画像１１０の親オブジェクト画
像は合成オブジェクト画像１１２であり、子オブジェク
ト画像はオブジェクト画像１０３、１０４である。ま
た、要素オブジェクト画像を含む合成オブジェクト画
像、の意味と、要素オブジェクト画像を内部に有する合
成オブジェクト画像、の意味とは異なる。例えば、要素
オブジェクト画像１０３を例に考えると、要素オブジェ
クト画像１０３を含む合成オブジェクト画像というの
は、合成オブジェクト画像１１０のことを意味し、要素
オブジェクト画像１０３を内部に有する合成オブジェク
ト画像というのは、出力画像１００、合成オブジェクト
画像１１２及び合成オブジェクト画像１１０のことを意
味するとする。同様に、合成オブジェクト画像を含む合
成オブジェクト画像、の意味と、合成オブジェクト画像
を内部に有する合成オブジェクト画像、との意味も異な
る。例えば、合成オブジェクト画像１１１を例に考える
と、合成オブジェクト画像１１１を含む合成オブジェク
ト画像というのは、合成オブジェクト画像１１３のこと
を意味し、合成オブジェクト画像１１１を内部に有する
合成オブジェクト画像というのは、出力画像１００及び
合成オブジェクト画像１１３のことを意味するとする。

【００２０】この第１の実施形態の画像合成装置は、オ
ブジェクト構造情報３００に基づき、図７に示されるよ
うなオブジェクト構造に含まれる４つの合成オブジェク
ト画像１１０〜１１３を生成した後に出力画像１００を
生成する。シーン情報合成器４２は、出力画像１００の
合成に先立ち、合成オブジェクト画像１１０〜１１３の
シーン情報２１０〜２１３を生成する。

【００２１】図４はシーン情報合成器４２の構造を示す
ブロック図である。メモリ４はオブジェクト構造情報３
００を受け取り、内部に格納する。ツリー検索器４６は
メモリ４に格納されたオブジェクト構造情報３０２に基
づき、最も下の階層にある合成オブジェクト画像に含ま
れる子オブジェクト画像を表す識別情報３０３を出力す
る。また、対象となる合成オブジェクト画像に新たに識
別情報３０４を割り振り、出力する。シーン情報生成器
４７は子オブジェクト画像を表す識別情報３０３に対応
するシーン情報２２０を受け取り、対象となる合成オブ
ジェクト画像に新たに割り振られた識別情報３０４に対
応する合成オブジェクト画像のシーン情報２３０を生成
する。合成オブジェクト画像のシーン情報２３０の生成
の方法としては、子オブジェクト画像のシーン情報の平
均や一つの子オブジェクト画像のシーン情報を代表とし
て出力するなどがある。シーン情報２３０は識別情報３
０４と共にメモリ２に格納される。一つの合成オブジェ
クト画像のシーン情報の生成が終わるとツリー検索器４
６は、メモリ４に格納されたオブジェクト構造情報から
識別情報３０３を取り除いた部分木に相当するオブジェ
クト構造情報３０２に対して検索を行い、以下同様の動
作を実行する。以上の動作を繰り返すことによりシーン
情報合成器４２は、図７に示される４つの合成オブジェ
クト１１０〜１１３のシーン情報２１０〜２１３の生成
を行う。

【００２２】シーン情報合成器４２によるシーン情報２
１０〜２１３の生成が終わると、識別情報抽出器５１
は、メモリ３に格納されたオブジェクト構造情報３０５
を参照して、合成対象となる合成オブジェクト画像１１
０〜１１３および出力画像１００に対して識別情報３０
７を割り当て、それら合成オブジェクト画像に含まれる
子オブジェクト画像の識別情報３０６を出力する。さら
に、対象となる合成オブジェクト画像が出力画像そのも
のを表すかどうかを示す判定情報３０８とを出力する。
この第１の実施形態の画像合成装置は、合成オブジェク
ト画像に含まれる子オブジェクト画像のオブジェクト画
像とシーン情報とから、子オブジェクト画像を含む合成
オブジェクト画像を表す合成画像１３１を生成する。そ
の後、判定情報３０８に従って、合成画像１３１を合成
オブジェクト画像１１０〜１１３としてメモリ１に格納
するか、出力画像１００として出力画像表示機構に転送
するかを決定し、合成オブジェクト画像１１０〜１１３
および出力画像１００に対してこのステップを繰り返
す。以下、各々のステップにおける合成画像１３１の生
成について説明する。

【００２３】先ず、識別情報抽出器５１の動作について
説明する。識別情報抽出器５１は、メモリ３から出力さ
れたオブジェクト構造情報３０５に基づき、最も下の階
層にある合成オブジェクト画像の１つである合成オブジ
ェクト画像１１０の識別情報３０７と、合成オブジェク
ト画像１１０の子オブジェクト画像１０３、１０４を識
別するための識別情報を識別情報３０６として取り出
す。次に、合成オブジェクト画像１１０を表す識別情報
３０７をメモリ２に出力することにより、合成オブジェ
クト画像１１０のシーン情報２１０をメモリ２から取り
出す。このシーン情報２３２は、シーン情報変換器４５
に出力される。その後、子オブジェクト画像１０３、１
０４を識別するための識別情報が識別情報３０６として
メモリ１に入力されることにより、オブジェクト画像１
０３、１０４がメモリ１から取り出され、子オブジェク
ト画像１０３、１０４のオブジェクト画像１３０として
オブジェクト合成器４１に出力される。さらに、子オブ
ジェクト画像１０３、１０４を識別するための識別情報
が識別情報３０６としてメモリ２に入力されることによ
り、オブジェクト画像１０３、１０４のシーン情報２０
３、２０４がメモリ２から取り出され、オブジェクト画
像１０３、１０４のシーン情報２０３、２０４がシーン
情報２３３としてシーン情報変換器４５に出力される。
シーン情報変換器４５は、シーン情報２３３をシーン情
報２３２に対する相対値に変換し、相対シーン情報２３
１としてオブジェクト合成器４１に送る。オブジェクト
合成器４１は、オブジェクト画像１３０と相対シーン情
報２３１とを受け取り、合成画像１３１を生成する。

【００２４】図５はオブジェクト合成器４１の構成を示
すブロック図である。この図において、シーン情報分離
器４４は、相対シーン情報２３１を変換情報２４１と位
置情報２４２とに分離する。画像処理装置４３は、変換
情報２４１に従ってオブジェクト画像１３０に各種変換
操作を施す。変換操作としては、拡大縮小や回転などの
アフィン変換、透視変換、画像を歪ませるなどの幾何学
変換や、フェードイン、フェードアウトおよび他のオブ
ジェクトの影をつけるなどの輝度変換や、画像内の特定
の色を変化させるなどの色変換や、ローパスフィルタな
どの周波数処理などが含まれる。変換されたオブジェク
ト画像１３２は位置情報２４２に従ってフレームメモリ
４０上に書き込まれる。

【００２５】このオブジェクト合成器４１の動作を、識
別情報抽出器５１が、メモリ３から出力されたオブジェ
クト構造情報３０５に基づき、最も下の階層にある合成
オブジェクト画像として合成オブジェクト画像１１０を
選択した場合を考えると、オブジェクト画像１３０とし
て送られたオブジェクト画像１０３、１０４がフレーム
メモリ４０上に書き込まれることで、合成画像１３１が
生成される。オブジェクト画像転送器５１は、判定情報
３０８に従い合成画像１３１を合成オブジェクト画像１
３３としてメモリ１に転送する。メモリ１は識別情報３
０７に従って、合成オブジェクト画像１３３を合成オブ
ジェクト画像１１０として格納する。

【００２６】合成オブジェクト画像１１０の格納が終わ
ると、識別情報抽出器５１は、メモリ３に格納されてい
るオブジェクト構造情報３０５を参照する。この場合、
合成オブジェクト画像１１０に対する動作は終了してい
るので、識別情報抽出器５１は、合成オブジェクト画像
１１１を表する識別情報３０７を出力し、合成オブジェ
クト画像１１１に含まれる子オブジェクト画像１０５、
１０６、１０７の識別情報を識別情報３０６として出力
し、合成オブジェクト画像１１１に対する判定情報３０
８を出力することになる。合成オブジェクト画像１１１
を表す識別情報３０７に基づき合成オブジェクト画像１
１１のシーン情報２１１がメモリ２から取り出され、シ
ーン情報２３２としてシーン情報変換器４５に出力され
る。その後、合成オブジェクト画像１１１に含まれる子
オブジェクト画像１０５、１０６、１０７の識別情報を
識別情報３０６としてメモリ１に出力されることによ
り、オブジェクト画像１０５、１０６、１０７がメモリ
１から取り出され、オブジェクト画像１３０としてオブ
ジェクト合成器４１に出力される。また、識別情報３０
６に基づきオブジェクト画像１０５、１０６、１０７の
シーン情報２０５、２０６、２０７がメモリ２から取り
出され、シーン情報２３３としてシーン情報変換器４５
に出力される。シーン情報２３３はシーン情報変換器４
５によって、シーン情報２３２に対する相対値に変換さ
れ、相対シーン情報２３１としてオブジェクト合成器４
１に出力される。オブジェクト合成器４１は、オブジェ
クト画像１０５、１０６、１０７の集合であるオブジェ
クト画像１３０と相対シーン情報２３１とを受け取り、
前述の手法と同様にしてオブジェクト画像１０５、１０
６、１０７の合成画像１３１を生成する。オブジェクト
画像転送器５１は判定情報３０８に従い、合成画像１３
１を合成オブジェクト画像１３３としてメモリ１に転送
する。メモリ１は識別情報３０７に従って、合成オブジ
ェクト画像１３３を合成オブジェクト画像１１１として
格納する。

【００２７】合成オブジェクト画像１３３が合成オブジ
ェクト画像１１１として格納された後、次に識別情報抽
出器５１の動作により選択される合成オブジェクト画像
は、合成オブジェクト画像１１２、１１３である。ここ
で、識別情報抽出器５１が合成オブジェクト画像１１２
を選択した場合を考えると、前述の手法と同様にしてオ
ブジェクト画像１０１、１０２と合成オブジェクト画像
１１０から合成オブジェクト画像１１２を生成し、メモ
リ１に格納する。その後、識別情報抽出器５１は合成オ
ブジェクト画像１１３を選択し、合成オブジェクト画像
１１１とオブジェクト画像１０８とから合成オブジェク
ト画像１１３を生成し、メモリ１に格納する。

【００２８】最後に、識別情報抽出器５１は出力画像１
００に対する識別情報３０７と、出力画像１００を構成
する合成オブジェクト画像１１２、１１３およびオブジ
ェクト画像１０９に対する識別情報３０６を出力する。
その後、識別情報３０６に基づき合成オブジェクト画像
１１２、１１３およびオブジェクト画像１０９がメモリ
１から取り出され、オブジェクト画像１３０としてオブ
ジェクト合成器４１に出力される。また、識別情報３０
６に従って合成オブジェクト画像１１２のシーン情報２
１２、合成オブジェクト画像１１３のシーン情報２１
３、オブジェクト画像１０９のシーン情報２０９がメモ
リ２から取り出され、シーン情報２３３としてシーン情
報変換器４５に出力される。識別情報３０７が出力画像
１００を表すことから、シーン情報変換器４５はシーン
情報２３３をそのまま相対シーン情報２３１としてオブ
ジェクト合成器４１に送る。オブジェクト合成器４１
は、オブジェクト画像１３０と相対シーン情報２３１と
を受け取り、前述の手法と同様にして合成オブジェクト
画像１１２、１１３およびオブジェクト画像１０９の合
成画像１３１を生成する。オブジェクト画像転送器５１
は、判定情報３０８を参照して合成画像１３１を出力画
像１００として表示機構に転送する。

【００２９】従って、この第１の実施形態の画像合成装
置によれば、図７に示される出力画像を構成する４つの
合成オブジェクト画像１１０〜１１３をメモリ１に格納
しているため、これらを一つのオブジェクト画像として
再利用することができる。例えば新たに別のオブジェク
ト画像を転送し、合成オブジェクト画像１１３と重ね合
わせることで出力画像を新たに生成する場合、この画像
合成装置はメモリ１に格納された合成オブジェクト画像
１１３を利用すればよい。また、出力画像内のあるオブ
ジェクト画像に対して変換操作を加えたような出力画像
を再合成する場合、この画像合成装置は合成オブジェク
ト画像１１０〜１１３を利用することにより再合成まで
の処理数を削減することができる。

【００３０】図２は、本発明に係る画像合成装置の第２
の実施形態の構造を示すブロック図である。この第２の
実施形態の説明においても、出力画像を構成する個々の
要素オブジェクト画像の構造は、図７に示される構造に
なっているものとする。

【００３１】この第２の実施形態の画像合成装置は、個
々のオブジェクト画像１０１〜１０９の集合であるオブ
ジェクト画像１０００と、個々のオブジェクト画像１０
１〜１０９のシーン情報の集合であるシーン情報２００
０と、個々のオブジェクト画像１０１〜１０９を識別す
るための識別情報の集合である識別情報３０１と、図７
に示されるオブジェクト画像の構造を表すオブジェクト
構造情報３００とに加えて、利用者の選択したオブジェ
クトを識別するための対象オブジェクト識別情報６０１
と、利用者の要求した変換操作を指定する要求シーン情
報６０２とを受け取り、利用者の要求した変換操作を施
した出力画像１００を生成する。また、この第２の実施
形態では、前述の第１の実施形態の画像合成装置内の識
別情報抽出器５１に代わって識別情報抽出器５２を備え
る。

【００３２】図６は識別情報抽出器５２の構造を表すブ
ロック図である。識別情報抽出器５２は、ツリー検索器
５４と、第１の実施形態で用いられたものと同様の識別
情報抽出器５１とからなる。

【００３３】この第２の実施形態の画像合成装置は、オ
ブジェクト画像１０１〜１０９をオブジェクト画像１０
００として受け取り、対応する識別情報３０１と共にメ
モリ１に格納する。また、オブジェクト画像１０１〜１
０９のシーン情報２０１〜２０９をシーン情報２０００
として受け取り、対応する識別情報３０１と共にメモリ
２に格納する。さらにオブジェクト構造情報３００をメ
モリ３に格納する。この画像合成装置は、先ず、使用者
による変換操作の指定の前に、第１の実施形態の画像合
成装置と同様の方法によりオブジェクト画像１０１〜１
０９を階層的に合成して出力画像１００を生成する。

【００３４】次に、この第２の実施形態の画像合成装置
は、使用者の指定する要求シーン情報６０２と対象オブ
ジェクト識別情報６０１とを受け取ると、メモリ２に要
求シーン情報６０２を対象オブジェクト識別情報６０１
と共に転送する。メモリ２は、対象オブジェクト識別情
報６０１により指定されるオブジェクト画像のシーン情
報を要求シーン情報６０２に書き換える。

【００３５】ここで、使用者の指定した対象オブジェク
ト識別情報６０１が図７に示されるオブジェクト画像１
０１を示す場合を例に考える。まず、メモリ２に格納さ
れているシーン情報２０１は要求シーン情報６０２に書
き換えられる。次に、識別情報抽出器５２内のツリー検
索器５４は、対象オブジェクト識別情報６０１を受け取
ると、メモリ３に格納されたオブジェクト構造情報３０
５を参照し、図７に示されるオブジェクト画像１０１に
対してその親にあたる合成オブジェクト画像１１２を表
す識別情報３１０を出力し、合成オブジェクト画像１１
２に含まれるオブジェクト画像１０１、１０２及び合成
オブジェクト画像１１０を表す識別情報を識別情報３０
９として出力し、判定情報３１１とを出力する。ここ
で、識別情報３０９は図２に示す識別情報３０６と同様
にメモリ１及びメモリ２に出力され、オブジェクト画像
１０１に対してその親にあたる合成オブジェクト画像１
１２を表す識別情報３１０は図２に示す識別情報３０７
と同様にメモリ１及びメモリ２に出力され、判定情報３
１１は図２に示す識別情報３０８と同様にオブジェクト
画像転送器５０に出力される。この第２の実施形態の画
像合成装置は、識別情報３０９、３１０及び判定情報３
０８とが上述の第１の実施形態の動作における役割と同
様の役割を担うことにより、第１の実施形態の動作と同
様のオブジェクト合成の方法により、オブジェクト画像
１０１、１０２および合成オブジェクト画像１１０の合
成画像１３１を生成する。オブジェクト画像転送器５０
は、判定情報３１１に基づき合成画像１３１を合成オブ
ジェクト画像１３３としてメモリ１に転送する。これに
よりメモリ１に、オブジェクト画像１０１が要求シーン
情報に従って変換された合成オブジェクト画像１１２が
新たに格納される。

【００３６】合成オブジェクト画像１１２の格納が終わ
ると、識別情報抽出器５２は、メモリ３に格納されたオ
ブジェクト構造情報３０５を参照して、再合成の対象で
あった合成オブジェクト画像１１２の親である出力画像
１００を表す識別情報３０７と、出力画像１００に含ま
れる合成オブジェクト画像１１２、１１３及び要素オブ
ジェクト画像１０９を表す識別情報３０６を出力し、判
定情報３０８を出力する。オブジェクト合成器４１は前
述のオブジェクト合成の方法と同様にして、合成オブジ
ェクト画像１１２、１１３及びオブジェクト画像１０９
の合成画像１３１を生成する。オブジェクト画像転送器
５０は判定情報３０８に基づいて、合成画像１３１を出
力画像１００として表示機構に転送する。これにより、
オブジェクト画像１０１が要求シーン情報６０２に従っ
て変換操作を施された出力画像１００が得られる。

【００３７】次に、この第２の実施形態において、使用
者の選択した対象オブジェクト識別情報６０１が図７に
示される合成オブジェクト画像１１２を表す場合を例に
考える。先ず、メモリ２に格納されているシーン情報２
０１は要求シーン情報６０２に書き換えられる。識別情
報抽出器５２は、対象オブジェクト識別情報６０１を受
け取ると、メモリ３に格納されたオブジェクト構造情報
３０５を参照して、合成オブジェクト画像１１２の親で
ある出力画像１００を表す識別情報３０７を出力し、出
力画像１００に含まれる合成オブジェクト画像１１２、
１１３及び要素オブジェクト画像１０９を表す識別情報
３０６を出力し、判定情報３０８を出力する。オブジェ
クト合成器４１は前述のオブジェクト合成の方法と同様
にして、合成オブジェクト画像１１２、１１３およびオ
ブジェクト画像１０９の合成画像１３１を生成する。オ
ブジェクト画像転送器５０は判定情報３０８に基づい
て、合成画像１３１を出力画像１００として画像表示機
構に転送する。これにより、合成オブジェクト画像１１
２が要求シーン情報６０２に従って変換操作を施された
出力画像１００が得られる。

【００３８】従って、この第２の実施形態によれば、出
力画像を構成するオブジェクト画像に対して、使用者が
変換操作を指定した場合、メモリ２に格納されたシーン
情報を書き換え、この書き換えられたシーン情報を用い
て再帰的に合成オブジェクト画像を生成して、出力画像
を再生成することができるので、その処理数を削減する
ことができる。

【００３９】図３は、本発明に係る画像合成装置の第３
の実施形態の構造を示すブロック図である。この第３の
実施形態の説明においても、出力画像を構成する個々の
要素オブジェクト画像の構造は、図７示される構造にな
っているものとする。この第３の実施形態は、図７に表
されるオブジェクト画像のうちの一つに対して利用者の
要求する変換操作を行う画像合成装置において、第２の
実施形態とは異なる構造を持つ実施形態である。

【００４０】この画像合成装置は、オブジェクト画像１
０１〜１０９をオブジェクト画像１０００として受け取
り、対応する識別情報３０１と共にメモリ１に格納す
る。また、オブジェクト画像１０１〜１０９のシーン情
報２０１〜２０９をシーン情報２０００として受け取
り、対応する識別情報３０１と共にメモリ２に格納す
る。さらにオブジェクト構造情報３００をメモリ３に格
納する。また、この第３の実施形態の画像合成装置は、
図１に示される第１の実施形態の画像合成装置に加えて
さらに部分木生成器５３を有する。

【００４１】この第３の実施形態の画像合成装置は、先
ず、使用者による変換操作の指定の前に、第１の実施形
態の画像合成装置と同様の方法によりオブジェクト画像
１０１〜１０９を階層的に合成し出力画像１００を生成
する。

【００４２】次に、使用者が出力画像の中の１つのオブ
ジェクト画像を指定して変換操作を要求した場合の動作
について説明する。指定されたオブジェクト画像を識別
する対象オブジェクト識別情報６０１が図７に示される
オブジェクト画像１０１を表す場合を例に考える。先
ず、メモリ２に格納されているシーン情報２０１は要求
シーン情報６０２に書き換えられる。次に、部分木生成
器５３は、対象オブジェクト識別情報６０１をもとに、
オブジェクト構造情報３００の部分木となる部分オブジ
ェクト構造情報３１２を生成する。

【００４３】図８は、部分木生成器５３から出力された
部分オブジェクト構造情報３１２の構造を表す木構造で
ある。この木構造は部分木構造とも言う。この図８に示
される対象オブジェクト画像をオブジェクト画像１０１
とした場合の部分木構造は、出力画像１００の１位下の
要素オブジェクト画像１０９により構成される構造は変
更せず、出力画像１００の１位下の合成オブジェクト画
像１１２及び１１３であって対象オブジェクト画像を内
部に有しない合成オブジェクト画像１１３を、合成オブ
ジェクト画像情報及び合成シーン情報を有する単一の合
成オブジェクト画像１１３と変更した構造とし、対象オ
ブジェクト画像１０１を内部に有する合成オブジェクト
画像１１２に含まれる合成オブジェクト画像１１０を、
合成オブジェクト画像情報、及び合成シーン情報を有す
る単一の合成オブジェクト画像と変更した構造である。
部分オブジェクト構造情報３１２を入力したメモリ３は
内部のオブジェクト構造情報３００を消去し、新たに部
分オブジェクト構造情報３１２を格納する。識別情報抽
出器５１は、メモリ３から出力された部分オブジェクト
構造情報３０５を参照して、合成オブジェクト画像１１
２を表す識別情報３０７と、合成オブジェクト画像１１
２に含まれる子オブジェクト１０１、１０２および合成
オブジェクト画像１１０を表す識別情報３０６と、判定
情報３０８とを出力する。以下、前述の第２の実施形態
における出力画像の再合成の方法と同様に、オブジェク
ト画像１０１のシーン情報が変換された後の合成オブジ
ェクト画像１１２が再生成されたのち、出力画像１００
が再生成される。

【００４４】第２の実施形態、及び第３の実施形態では
図７に示されるオブジェクト画像の内の特定のオブジェ
クト画像を、使用者が変換操作を指定するオブジェクト
画像とする場合を例に説明したが、他のオブジェクト画
像に対して変換操作を行う場合であっても同様に、対象
となるオブジェクト画像を含む合成オブジェクト画像を
順次再合成することにより、利用者の要求する出力画像
が得られる。

【００４５】なお上述の第１から第３の実施形態では、
変換要求に応じて合成画像を再生成するのにフレームメ
モリ全体を書き直したが、フレームメモリを書き直す位
置を対象となるオブジェクトの占める変換前の領域と変
換後の領域とに限定することも可能である。この場合、
変換前のオブジェクトの占める領域のうち変換後の領域
と重ならない部分を変換要求の対象外のオブジェクトで
埋め、その後に変換後のオブジェクトをフレームメモリ
に書き込む。

【００４６】

【発明の効果】以下に、出力画像中のオブジェクト画像
に対して変換操作を行う際の本発明に係る画像合成装置
と従来装置との効果の差を具体的に述べる。

【００４７】出力画像１００に含まれる合成オブジェク
ト画像１１２に変換操作を加える場合、第２の実施形態
および第３の実施形態の画像合成装置はメモリ２に格納
されているシーン情報２１２の変更のみを必要とする。
それに対して従来の画像合成装置では、オブジェクト画
像１０１、１０２、１０３、１０４のシーン情報２０
１、２０２、２０３、２０４を変更する必要がある。第
２の実施形態および第３の実施形態の画像合成装置によ
り、シーン情報の変更手続きの数は、従来の画像合成装
置に比べ１／４となる。

【００４８】また、従来の画像合成装置において、フレ
ームメモリ４０上に書き込まれる画素数はオブジェクト
画像１０１〜１０９の画素数の総和である。それに対し
第２の実施形態および第３の実施形態の画像合成装置に
おいて、フレームメモリ４０上に書き込まれる画素数は
合成オブジェクト画像１１２、１１３およびオブジェク
ト画像１０９の画素数の総和である。合成オブジェクト
画像を形成するオブジェクト画像１０１〜１０８のう
ち、他のオブジェクト画像によって隠される部分の画素
数を順にｃ１〜ｃ８とすると、合成オブジェクト画像１
１２、１１３およびオブジェクト画像１０９は互いに重
なり合っていないので、オブジェクト画像１０１〜１０
８の画素数と合成オブジェクト画像１１２、１１３の画
素数の間には次の式が成り立つ。Ｐ₁₁₂＝Ｐ₁₀₁−ｃ１＋Ｐ₁₀₂−ｃ２＋Ｐ₁₀₃−ｃ３＋
Ｐ₁₀₄−ｃ４Ｐ₁₁₃＝Ｐ₁₀₅−ｃ５＋Ｐ₁₀₆−ｃ６＋Ｐ₁₀₇−ｃ７＋
Ｐ₁₀₈−ｃ８

【００４９】ここで、オブジェクト画像１０１〜１０８
および合成オブジェクト画像１１２、１１３の画素数を
それぞれＰ₁₀₁〜Ｐ₁₀₈、Ｐ₁₁₂、Ｐ₁₁₃とする。した
がって、第２の実施形態の画像合成装置は従来の画像合
成装置に比べて、ｃ１＋ｃ２＋．．．＋ｃ８だけの画素
に対してフレームメモリへの書き込み処理を省略するこ
とができ、その分の処理時間の短縮を可能となる。

【００５０】以上の説明から明らかなように本発明によ
れば、利用者が出力画像内の一部の画像を再利用する場
合にその処理数を削減でき、特に利用者が出力画像内の
オブジェクト画像に対して位置の変更や幾何学変換や輝
度変換などの各種変換操作を要求したとき、オブジェク
ト画像の変換操作とオブジェクト画像のフレームメモリ
への書き込みを行う際の処理数を削減できる画像合成装
置を提供することができる。

【図面の簡単な説明】

【図１】本発明に係る画像合成装置の第１の実施形態の
構成を示すブロック図である。

【図２】本発明に係る画像合成装置の第２の実施形態の
構成を示すブロック図である。

【図３】本発明に係る画像合成装置の第３の実施形態の
構成を示すブロック図である。

【図４】第１の実施形態から第３の実施形態におけるシ
ーン情報合成器の構造を示すブロック図である。

【図５】第１の実施形態から第３の実施形態におけるオ
ブジェクト合成器の構造を示すブロック図である。

【図６】第２の実施形態における識別情報抽出器の構造
を示すブロック図である。

【図７】第１の実施形態から第３の実施形態で扱うオブ
ジェクト群の階層構造を示すツリー図である。

【図８】第３の実施形態における部分木生成器の生成す
るオブジェクト構造情報を示すツリー図である。

【図９】従来の画像合成装置の構成を示すブロック図で
ある。

【符号の説明】

１、２、３、４メモリ４０フレームメモリ４１オブジェクト合成器４２シーン情報合成器４３画像処理装置４４シーン情報分割器４５シーン情報変換器４６ツリー検索器４７シーン情報生成器５０オブジェクト画像転送器５１識別情報抽出器５２ツリー検索器５３部分木生成器６０奥行情報検索器１００出力画像１３１合成画像１０１〜１１３、１３０、１３２、１０００オブジェ
クト画像１１０〜１１３、１３３合成オブジェクト画像２０１〜２１３、２２０、２３０、２３２、２３３、２
０００シーン情報２３１相対シーン情報２４１変換情報２４２位置情報３００、３０２、３０５、３１２オブジェクト構造情
報３０１、３０３、３０４、３０６、３０７、３０９、３
１０、３１１、３００２識別情報３０８判定情報６０１対象オブジェクト識別情報６０２要求シーン情報３０００、３００１奥行情報

Claims

(57)【特許請求の範囲】

【請求項１】出力画像を構成する個々の要素オブジェ
クト画像の情報を、該オブジェクト画像を個々に識別す
る識別情報の集合である第１の識別情報群と共に格納す
る第１のメモリと、前記個々の要素オブジェクト画像を出力画像として表示
する際の表示情報を表すシーン情報を、前記第１の識別
情報群と共に格納する第２のメモリと、前記個々の要素オブジェクト画像、及び、要素オブジェ
クト画像の合成である合成オブジェクト画像、の出力画
像における階層的な重ね合わせ関係を、前記出力画像を
根に対応させ、合成オブジェクト画像を節に対応させ、
前記個々の要素オブジェクト画像を葉に対応させて木構
造として表し、この木構造をオブジェクト構造情報とし
て格納する第３のメモリと、前記オブジェクト構造情報で表される木構造に基づき、
木構造の節に対応する合成オブジェクト画像に含まれる
要素オブジェクト画像及び合成オブジェクト画像のシー
ン情報により、前記木構造の節に対応する合成オブジェ
クト画像のシーン情報を合成シーン情報として算出して
前記第２のメモリに出力して格納させると共に、前記木
構造の節に対応する合成オブジェクト画像を識別するた
めの第２の識別情報を生成して前記第２のメモリに出力
して前記シーン情報と共に格納させるシーン情報合成器
と、前記第３のメモリに格納されているオブジェクト構造情
報に基づき、任意の節もしくは根に対応する合成オブジ
ェクト画像もしくは出力画像を注目オブジェクト画像と
して、該注目オブジェクト画像に含まれる合成オブジェ
クト画像を識別するための識別情報を生成してこれを第
３の識別情報として第１のメモリ及び第２のメモリに出
力し、前記注目オブジェクト画像に含まれる要素オブジ
ェクト画像を識別するための識別情報を生成してこれを
第３の識別情報群として第１のメモリ及び第２のメモリ
に出力し、前記注目オブジェクト画像を識別するための
識別情報を生成してこれを第４の識別情報として第２の
メモリに出力し、前記注目オブジェクト画像が前記木構
造において節に対応するのか根に対応するのかを判別す
る判別情報を生成してこれをオブジェクト画像転送器に
出力する識別情報抽出器と、前記第３の識別情報に基づき第２のメモリが出力する、
注目オブジェクト画像に含まれる合成オブジェクト画像
の合成シーン情報と、前記第３の識別情報群に基づき第
２のメモリが出力する、注目オブジェクト画像に含まれ
る要素オブジェクト画像のシーン情報とを、前記第４の
識別情報に基づき第２のメモリが出力する前記注目オブ
ジェクト画像の合成シーン情報に対する相対値に変換
し、これらを変換シーン情報群としてオブジェクト合成
器に出力するシーン情報変換器と、前記第３の識別情報に基づき第１のメモリが出力する、
注目オブジェクト画像に含まれる合成オブジェクト画像
のオブジェクト画像情報と、前記第３の識別情報群に基
づき第１のメモリが出力する、注目オブジェクト画像に
含まれる要素オブジェクト画像のオブジェクト画像情報
と、前記シーン情報変換器が出力する変換シーン情報群
と、を用いて、前記注目オブジェクト画像の合成画像を
生成し、これを合成画像情報としてオブジェクト画像転
送器に出力するオブジェクト合成器と、前記判別情報に基づき、前記注目オブジェクト画像が根
に対応する出力画像である場合は前記合成画像情報を出
力画像表示機構に出力し、前記注目オブジェクト画像が
節に対応する場合は前記合成画像情報を新たにオブジェ
クト画像として前記注目オブジェクト画像の識別情報と
共に前記第１のメモリに出力して格納させるオブジェク
ト画像転送器とを有することを特徴とする画像合成装
置。
【請求項２】前記出力画像を構成する要素オブジェク
ト画像又は合成オブジェクト画像の中で利用者が選択し
た要素オブジェクト画像又は合成オブジェクト画像を対
象オブジェクト画像として識別するための識別情報が前
記第１のメモリ、第２のメモリ及び前記識別情報抽出器
に対象オブジェクト識別情報として入力され、前記第２のメモリに、前記対象オブジェクト画像に対し
て利用者が要求するシーン情報が要求シーン情報として
入力された場合、前記第２のメモリは、前記対象オブジェクト画像のシー
ン情報を要求シーン情報に書き換え、前記識別情報抽出器は、前記オブジェクト構造情報に基
づき、前記対象オブジェクト画像を内部に有する合成オ
ブジェクト画像の識別情報を生成し、これを第６の識別
情報として前記第１のメモリ及び第２のメモリに出力
し、前記対象オブジェクト画像を内部に有する合成オブ
ジェクト画像に含まれる合成オブジェクト画像を識別す
るための識別情報を生成してこれを第５の識別情報とし
て第１のメモリ及び第２のメモリに出力し、前記対象オ
ブジェクト画像を内部に有する合成オブジェクト画像に
含まれる要素オブジェクト画像を識別するための識別情
報を生成してこれを第５の識別情報群として第１のメモ
リ及び第２のメモリに出力し、前記対象オブジェクト画
像を内部に有する合成オブジェクト画像が前記オブジェ
クト構造情報における節に対応するのか根に対応するの
かを判別する判別情報を生成してこれをオブジェクト画
像転送器に出力し、前記シーン情報変換器は、前記第５の識別情報に基づき
第２のメモリが出力する合成オブジェクト画像のシーン
情報又は対象オブジェクト画像の要求シーン情報と、前
記第５の識別情報群に基づき第２のメモリが出力する要
素オブジェクト画像のシーン情報又は対象オブジェクト
画像の要求シーン情報とを、前記対象オブジェクト画像
を内部に有する合成オブジェクト画像を識別するための
第６の識別情報に基づき第２のメモリが出力する合成シ
ーン情報に対する相対値に変換し、これらを変換シーン
情報群としてオブジェクト合成器に出力し、前記オブジェクト合成器は、前記第５の識別情報に基づ
き第１のメモリが出力する合成オブジェクト又は対象オ
ブジェクトの画像情報と、前記第５の識別情報群に基づ
き第１のメモリが出力する要素オブジェクト又は対象オ
ブジェクト画像情報と、前記シーン情報変換器が出力し
た変換シーン情報群とを用いて、前記対象オブジェクト
画像を内部に有する合成オブジェクト画像の合成画像を
生成し、これを合成画像情報としてオブジェクト画像転
送器に出力し、前記オブジェクト画像転送器は、前記判別情報に基づ
き、前記対象オブジェクト画像を内部に有する合成オブ
ジェクト画像が根に対応する出力画像である場合は前記
合成画像情報を出力画像表示機構に出力し、前記対象オ
ブジェクト画像を内部に有する合成オブジェクト画像が
節に対応する場合は前記合成画像情報を新たにオブジェ
クト画像として前記上位の合成オブジェクト画像の識別
情報と共に前記第１のメモリに出力して格納させること
を特徴とする請求項１記載の画像合成装置。
【請求項３】前記画像合成装置はオブジェクト構造情
報が入力される部分木生成器を有し、前記出力画像を構成する要素オブジェクト画像又は合成
オブジェクト画像の中で利用者が選択した要素オブジェ
クト画像又は合成オブジェクト画像を対象オブジェクト
画像として識別するための識別情報が前記第１のメモ
リ、第２のメモリ及び前記部分木生成器に対象オブジェ
クト識別情報として入力され、前記第２のメモリに、前記対象オブジェクト画像に対し
て利用者が要求するシーン情報が要求シーン情報として
入力された場合、前記第２のメモリは、前記対象オブジェクト画像のシー
ン情報を要求シーン情報に書き換え、前記部分木生成器は、前記オブジェクト構造情報で表さ
れる木構造を、前記出力画像の１位下の要素オブジェク
ト画像により構成される構造は変更せず、前記出力画像
の１位下の合成オブジェクト画像であって対象オブジェ
クト画像を内部に有しない合成オブジェクト画像のそれ
ぞれを、前記合成オブジェクト画像情報及び前記合成シ
ーン情報を有する単一の合成オブジェクト画像と変更し
た構造とし、前記対象オブジェクト画像を内部に有する
合成オブジェクト画像に含まれる合成オブジェクト画像
のそれぞれを、前記合成オブジェクト画像情報、及び前
記合成シーン情報又は要求シーン情報を有する単一の合
成オブジェクト画像と変更した構造である、部分木構造
に変更し、該部分木構造を表す部分オブジェクト構造情
報を生成して第３のメモリに出力し、前記第３のメモリは、格納されているオブジェクト構造
情報を、前記部分オブジェクト構造情報に書き換え、前記識別情報抽出器は、前記部分オブジェクト構造情報
に基づき、前記対象オブジェクト画像を内部に有する合
成オブジェクト画像の識別情報を生成し、これを第８の
識別情報として前記第１のメモリ及び第２のメモリに出
力し、前記対象オブジェクト画像を内部に有する合成オ
ブジェクト画像に含まれる合成オブジェクト画像を識別
するための識別情報を生成してこれを第７の識別情報と
して第１のメモリ及び第２のメモリに出力し、前記対象
オブジェクト画像を内部に有する合成オブジェクト画像
を識別するための識別情報を生成してこれを第７の識別
情報群として第１のメモリ及び第２のメモリに出力し、
前記対象オブジェクト画像を内部に有する合成オブジェ
クト画像が前記オブジェクト構造情報における節に対応
するのか根に対応するのかを判別する判別情報を生成し
てこれをオブジェクト画像転送器に出力し、前記シーン情報変換器は、前記第７の識別情報に基づき
第２のメモリが出力する合成オブジェクト画像のシーン
情報又は対象オブジェクト画像の要求シーン情報と、前
記第７の識別情報群に基づき第２のメモリが出力する要
素オブジェクト画像のシーン情報又は対象オブジェクト
画像の要求シーン情報とを、前記対象オブジェクト画像
を内部に有する合成オブジェクト画像を識別するための
第８の識別情報に基づき第２のメモリが出力する合成オ
ブジェクト画像の合成シーン情報に対する相対値に変換
し、これらを変換シーン情報群としてオブジェクト合成
器に出力し、前記オブジェクト合成器は、前記第７の識別情報に基づ
き第１のメモリが出力する合成オブジェクト画像情報又
は対象オブジェクトの画像情報と、前記第７の識別情報
群に基づき第１のメモリが出力する要素オブジェクト画
像情報又は対象オブジェクトの画像情報と、前記シーン
情報変換器が出力する変換シーン情報群とを用いて、前
記対象オブジェクト画像を内部に有する合成オブジェク
ト画像の合成画像を生成し、これを合成画像情報として
オブジェクト画像転送器に出力し、前記オブジェクト画像転送器は、前記判別情報に基づ
き、前記対象オブジェクト画像を内部に有する合成オブ
ジェクト画像が根に対応する出力画像である場合は前記
合成画像情報を出力画像表示機構に出力し、前記対象オ
ブジェクト画像を内部に有する合成オブジェクト画像が
節に対応する場合は前記合成画像情報を新たにオブジェ
クト画像として前記上位の合成オブジェクト画像の識別
情報と共に前記第１のメモリに出力して格納させること
を特徴とする請求項１記載の画像合成装置。
【請求項４】前記シーン情報合成器は、前記オブジェクト構造情報を格納するための第４のメモ
リと、前記第４のメモリに格納されたオブジェクト構造情報に
基づき、該オブジェクト構造情報を表す木構造の任意の
節に対応する合成オブジェクト画像に含まれる要素オブ
ジェクト画像及び合成オブジェクト画像の識別情報を前
記第２のメモリに出力すると共に、前記任意の節に対応
する合成オブジェクト画像の識別情報を前記第２のメモ
リに第２の識別情報として出力するツリー検索器と、前記前記第２のメモリから出力された前記任意の節に対
応する合成オブジェクト画像に含まれる要素オブジェク
ト画像及び合成オブジェクト画像のシーン情報に基づ
き、前記任意の節に対応する合成オブジェクト画像のシ
ーン情報を合成シーン情報として算出して前記第２のメ
モリに出力するシーン情報生成器とを有することを特徴
とする請求項１から３のいずれかに記載の画像合成装
置。
【請求項５】前記シーン情報生成器が、前記任意の節
に対応する合成オブジェクト画像のシーン情報を合成シ
ーン情報として算出する動作は、前記任意の節に対応する合成オブジェクト画像に含まれ
る、要素オブジェクト画像及び合成オブジェクト画像の
シーン情報の平均を合成シーン情報として算出するか、
若しくは、前記任意の節に対応する合成オブジェクト画像に含まれ
る、要素オブジェクト画像及び合成オブジェクト画像の
シーン情報の内の１つを合成シーン情報として算出する
動作であることを特徴とする請求項４記載の画像合成装
置。
【請求項６】前記シーン情報は、幾何学変換情報、光
源情報及び色変換情報を含む変換情報と、位置情報とか
らなることを特徴とする請求項５記載の画像合成装置。
【請求項７】前記オブジェクト合成器は、シーン情報
を変換情報と位置情報とに分割して出力するシーン情報
分割器と、前記第１のメモリから出力されたオブジェクト画像情報
を、前記変換情報に基づき画像処理を行い、該画像処理
された画像を処理画像として出力する画像処理装置と、前記処理画像を、前記位置情報に基づき格納するフレー
ムメモリとを有することを特徴とする請求項１から６の
いずれかに記載の画像合成装置。