JP2000513849A

JP2000513849A - Image construction method and apparatus

Info

Publication number: JP2000513849A
Application number: JP10543845A
Authority: JP
Inventors: オッコナー，マイケル; ディー．ネミロフスキー，マリオ
Original assignee: Individual
Current assignee: Individual
Priority date: 1997-04-14
Filing date: 1997-04-14
Publication date: 2000-10-17
Also published as: EP0972271A1; EP0972271A4

Abstract

(57)【要約】表面吸収（ａ（１）、ａ（２））、反射（ｒ（１）、ｒ（２））、および透過（ｔ（１）、ｔ（２））の実世界メタファに基づく新しい撮像合成システムを実現する方法および装置であって、半透明および不透明の物体（物体Ａ、物体Ｂ）の多数の層が合成され、ビデオディスプレイに出力するための最終画像（画像ディスプレイのセグメント）にされる。このシステムは、仮想光源照射（Ｌ）と、画像における物体（物体Ａ、物体Ｂ）の吸収（ａ（１）、ａ（２））、反射（ｒ（１）、ｒ（２））、および透過（ｔ（１）、ｔ（２））特性を用いて、最終スクリーン画像（ディスプレイのセグメント）を作成する光伝搬メタファに基づく。従って、例えば、ＲＧＢ、ＹＵＶ、Ｌａｂ、ＨＳＶ、ＹＩＱ、ＨＬＳ、ＣＭＹ、ＣＭＹＫ、などの選択された色モデルにより特定される色成分により、各絵素即ち画素を表す代わりに、本発明のシステムの画素は、６つの明示変換成分ｒ１、ｒ２、ｒ３、ｔ１、ｔ２、ｔ３と、３つの暗示変換成分ａ１，ａ２、ａ３とにより表され、ここで、ａ、ｒおよびｔはそれぞれ、吸収、反射および透過を指し、下付きの数字１、２および３は、選択された色モデルの成分を指す。 (57) [Summary] Real-world metaphors of surface absorption (a (1), a (2)), reflection (r (1), r (2)), and transmission (t (1), t (2)) A method and apparatus for realizing a new imaging synthesis system based on a multi-layer system, wherein multiple layers of translucent and opaque objects (object A, object B) are synthesized and the final image (output of the image display) for output to a video display. Segment). The system consists of a virtual light source illumination (L), absorption (a (1), a (2)), reflection (r (1), r (2)) of an object (object A, object B) in the image, and Based on the light propagation metaphor that creates the final screen image (segment of the display) using the transmission (t (1), t (2)) properties. Thus, instead of representing each picture element or pixel by a color component specified by a selected color model such as, for example, RGB, YUV, Lab, HSV, YIQ, HLS, CMY, CMYK, etc. A pixel is represented by six explicit transform components r1, r2, r3, t1, t2, t3 and three implicit transform components a1, a2, a3, where a, r and t are the absorption and reflection, respectively. And subscripts 1, 2 and 3 refer to the components of the selected color model.

Description

【発明の詳細な説明】画像構成方法および装置発明の背景発明の分野本発明は、概して、コンピュータ化された画像化方法および装置に関し、より詳細には、物体と相互作用する仮想光の変換が、六つの明示変換成分および三つの暗黙変換成分によって指定される、物体が画素データからなる新規な画像化方法および装置に関する。従来技術の簡単な記載ペインタのアルゴリズムは、コンピュータ画像構成において広く行われている従来技術である。このアルゴリズムは、複数の重畳する不透明画像を組み合わせるために、下方から上方への「キングオブマウンテン」法を用いる。この方法は、まず、最も下方の画像（物体Ｂ）を配置し、次いで、その上の層中の画像（物体Ａ）がかぶさっているこの画像の部分を上書きし（置き換え）、全ての層が構成されるまでこのように継続する（図１）。従って、画像化表示装置上で見られるものは、スクリーン上の最上の物体からの色である。物体Ａからの二つの画素（絵素）は、物体Ｂ中でこれらの画素の真下にある画素に重畳する。物体Ｂの画素がまず合成画像に描かれるので、物体Ａの下に位置する二つの画素は、物体Ａが最終画像に付加されたときに上書きされる。ペインタのアルゴリズムの一つの大きな欠点は、最終画像を構成するために、スクリーン上に表示される全ての物体についてのカラーデータの全てのビットが読出し、移動、および書込みされなければならないことである。これは、上に位置する物体によって隠された物体の一部さえも、見られ得る物体の部分と同様に処理されなければならないことを意味する。ペインタのアルゴリズムが半透明画像またはグラフィック物体と共に用いられるときは、層を組み合わせるために「アルファ」ブレンディングアルゴリズムが主に用いられる。このアルファブレンディングは、層の組み合わせの生成に用いるために各二つの層（合成層および付加される次の層）のパーセンテージを規定する一つの数か、あるいは組み合わせられる画像中の各画素について別々のアルファパーセンテージのいずれかを用いる。この第二の場合は図２に示され、ここで、物体Ａアルファは、合成体を生成するためにその下の物体を組み合わせられるまたはブレンドされる物体Ａのパーセンテージを規定する。この場合、物体Ｂの上に位置する物体Ａの二つの画素についてのアルファ値は40であり、すなわち、物体Ａ画素色の40％が下の物体Ｂ画素の60％（1-A）と組み合わせられる。物体Ａの真上の層中の物体は、次いで、この物体と関連付けられたアルファ層に基づいてこのＡ・Ｂ合成体とブレンドされる。次いで、上の各層は順にブレンドされ（従って、ボトムアップ構成）、最終合成画像が生成される。アルファブレンディングを用いるペインタのアルゴリズムは、色のブレンドの仕方において直感に反する。これは、このアルゴリズムがエミュレートするメタファが、塗料を混合しキャンバスに塗る画家のメタファであるからである。ここでは、画家は最終層を初めに塗布し得ないので、この画家は、キャンバスに初めに塗布された色の選択において、その後の半透明層の効果を予想しなければならない。この背面から前面への構成は、現実世界における人間の経験とは逆行する結果を生じさせる。人間の直感的な世界の見方は、周囲にある表面に伝播する光を伴うものであり、この光の一部は反射して戻り、一部は半透明表面を通過して下方にある表面に透過され、一部は吸収される。発明の要旨簡略には、本発明は、ART◇IM（吸収、反射、透過画像構成モデルおよびアルゴリズム）と称される新しい画像化および画像構成システムを実行するための方法および装置に関する。ART◇IMは、表面吸収、反射および透過の現実世界メタファに基き、ここでは、半透明および不透明物体の複数層が、映像表示装置への出力または印刷のための最終画像に構成される。このアルゴリズムは、コンピュータグラフィックシステムにおいて従来用いられる画像構成技術である「ペインタのアルゴリズム」（図１）および画像間でのクロスフェード、透明性および色調整などの映像特殊効果についてのコンピュータおよびテレビ産業において用いられるアルファブレンディングアルゴリズム（図２）の両方を代替するものである。従来技術の「着色画素」アルゴリズムとは異なり、このシステムは、最終スクリーン画像を生成するために仮想光源照明および画像中の物体の吸収、反射および透過特性を用いる光伝播メタファに基づく。従って、選択された色モデル（例えば、RGB、YUV、Lab、HSV、YIQ、HLS、CMY、CMYKなど）によって指定される色成分によって各絵素（画素）を表す代わりに、主題となるシステム中での画素は、六つの明示変換成分（r₁、r₂、r₃、t₁、t₂、t₃）および三つの暗黙変換成分（a₁、a₂、a₃）によって表され、ここで、ａ、ｒおよびｔは吸収、反射および透過を表し、下付き文字１、２および３は、選ばれた色モデルの成分を指す。 ART◇IMシステムによると、図３に示されるように、光は、離れた光源から場面中の最上の物体層（見る人側）に伝播し、ここで光の一部は吸収され、一部は反射され、一部は透過される。透過された光は次の物体層へ進み、ここで工程が繰り返される。ART◇IMシステムアルゴリズムは、全ての物体層から見る人に反射し返される全ての光を算出する。これは、最終的には再び現れ、見る人に直接反射し返される光と組み合わされる層間の内部反射の全てのモードからの寄与を含む。同様に、ART◇IMシステムアルゴリズムは、物体の全ての層（最終層の下で再び現れ、見る人からは離れていく内部反射光の全てのモードを含む）を透過する全ての光、および暗黙的には全ての層によって吸収される全ての光を算出する。図面のいくつかに図示されている以下の好ましい実施態様の詳細な説明を読めば、本発明のこれらおよびその他の利点が当業者に疑いなく明らかになる。図面図１は、画像画素データを処理する従来技術のペインタのアルゴリズム法を示す図である。図２は、ボトムアップアルファブレンディングを用いる画像画素データを処理する従来技術の方法を示す図である。図３は、本発明の基本的概念を図示する図である。図４は、本発明による画素処理の単純化された例を示す。図5a〜図13は、本発明を示すために用いられる光線追跡図である。図14および図15は、本発明による方法を示す図である。図16は、本発明による画像化システムを図示する機能ブロック図である。図17〜図20は、本発明による算術論理ユニット概略図を示す。図21は、好ましい実施態様の動作を示す論理フローチャートである。図22は、本発明による画像構成を示す図である。図23は、本発明の様々な実施態様を従来技術の画像化法と概略的に比較する図である。好ましい実施態様の詳細な記載 ART◇IMの基礎を形成する要素の基本的仮定および特性は以下の通りである。光源：構成される場面中の物体の層の上、下、または層間に配置され得る一つまたはそれ以上の光源。光源は、選択された色空間中で許容されるいずれもの色として規定され得る。光は、各光源から場面中の物体の層に伝播し、吸収され、反射され、画像中の物体の全ての層を透過する。グラフィック物体：光は、物体の上面で上方に、および底面で下方に反射されるのみである（内部反射は無し）。各物体の吸収、反射および透過特性は、光伝播の方向とは無関係に均一である。物体は、三つまたはそれ以上の色空間成分中のその物体の光の吸収(a)、反射( r)および透過(t)（例えば、RGB色空間中では、a_red、a_green、a_blue、r_red、r_gr _een 、r_blue、t_red，t_green、t_blue）によって特徴付けられ、ここでr+t+a＝１である。いずれもの数の層の間での内部反射の全てのモードは、見る人に反射し返される光の総量、吸収される光の総量、および画像中の全ての物体を透過する光の総量の算出に含まれる。好ましい実施態様を単純化するためには、以下の単純化が上記の仮定に行われる。光源：一つの仮想光源が、画像表示上の場面を観察する見る人の後方に無限の距離で配置されていると仮定される。光源からの照明は、場面内の全ての物体を通じて均一であり、物体の最上部（見る人）側から底面側へ伝播する。グラフィック物体特性：物体表面は、光源からの入射平面波光に直交して方向付けられる。物体による仮想光の反射および透過は平面波であり、正反射工程ではない。物体層によって反射または透過されないどのパーセンテージの光も工程から失なわれないように、物体による光の吸収は直接測定されない（すなわち、暗黙である）。見る人：構成された画像を見る人は、遠隔光源と場面中の最上部物体との間に配置される。見る人は、物体の上表面から反射し返された光のみを見る。場面中の全ての物体を透過する光は、工程から失われ、見る人によって見られないと仮定される。 Art画像化モデルに当てはまるが、本明細書に記載される好ましい実施態様とは異なる形態をとる実施態様となり得る、これらの一般的な仮定への他の単純化、拡張、および制限がある。これらの他の実施態様は、複数光源、層間光源、複数視点および3D画像化などの特殊用途のためのモデルを最適化し得、ここでは成分は異なる方法で取り扱われ得る。例えば、吸収「a」は明示的に取り扱われ得（以下で規定されるように暗黙的ではなく）、またはｒおよびｔ変換成分は、反射角および透過角を含むように拡張され得る。概念および用語 ART画像化モデルの記載を単純化するために、その画像構成方法およびアルゴリズムは、各物体（または層）からの一つの画素上で逐次的に作用する工程として本明細書において規定される。これらの画素および構成される最終的に得られる画素は、全て垂直に配列される。ART◇IMアルゴリズムは、最上の物体画素Ｐ₁ で開始し、これをすぐ真下の次の画素Ｐ₂と組み合わせる。次いで、アルゴリズムは、この画素をその下にある次の層内の画素Ｐ₃と組み合わせ続け、全ての必要となる画素が組み合わせられて最終表示画素Ｐ_z（図４）となるまで継続する。これは、ボトムアップから行われ、画像中の全ての画素が含まれることを要求することが多い、画像構成のための現在受け入れられている方法とは異なる。 ART方法およびアルゴリズムは一画素工程として提示されるが、実際の実施においては、次のより下の層の寄与が計算される前に、与えられた層中の全ての画素を組み合わせることによって全画像が上から下に計算され得る。このドキュメントを通じて、用いられる用語、パラメータおよびART成分を指すときは、以下の概念を用いる。簡単のために、三成分RGB色モデルが仮定される。しかし、本発明が、一部が上記されている他の色モデルの使用にも当てはまることが理解されるべきであり、この場合には選ばれた特定の色モデルを収容するために以下のことが調節される。用いられる主要なフォーマットは、Ａ'_bc(d) である。主項「Ａ」は、以下の値を有し得る変換成分である。ｒ：一つの層の反射ｔ：一つの層の透過Ｒ：複数層の合成体の反射Ｔ：複数層の合成体の透過Ｌ：光源からの入射平面波光（Ｌ_τ＝上方から、およびＬ_β＝下方から）Ｃ：見る人が見る最終画像色プライム（’）は、反復計算の後に結果として得られる値を指す。下付文字「ｂ」は、反射が生じる表面（上面または底面）を示す。可能な値は、 τ：上表面からの反射 β：底面からの反射である。用いられても、あるいは用いられなくてもよい下付文字「ｃ」は、主な用語と関連付けられる色成分を示す。RGB色モデルが用いられる場合、可能な値は、Ｒ：赤色成分Ｇ：緑色成分Ｂ：青色成分である。項（ｄ）は、式が指す層を識別する指数である。指数は、ｉ：層i-1の真下に位置する、処理されている現在の層 i-1：前に処理された層である。単一層モデル物体（図5a）は、上方の光源から入射直交平面波光Ｌ_τを受け取る（明瞭さのために、全ての光線がある角度をなして示されている）。物体は、いくつかのパーセンテージを反射し（Ｌτr）、いくつかのパーセンテージを透過させる（Ｌ_τ t）ことによって、入射光を変換する。ｒ＋ｔ＋ａ＝１であるので、入射光の吸収（Ｌ_τa）は暗黙的に取り扱われる（直接算出されない）。従って、グラフィック物体の光変換特性は、三成分反射ベクトルｒおよび三成分透過ベクトルｔによって完全に記載される。好ましい実施態様における物体のART◇IM特性は、光が下から来るのか、あるいは上から来るのかに無関係に均一であるので、一つの物体についての反射および透過は、両方の方向に伝播する光について等価である。物体と下方からの光Ｌ_β(図5b）との相互作用は、光源および伝播方向を示す下付文字が変化したのみで、上方からの光の場合を反映する。二層モデル：好ましい実施態様の二層画像（図６）は、上部の層１および底部の層２中の物体からなり、上方の光源から上部入射光Ｌ_τおよび下方の光源から底部入射光Ｌ_β を受け取る。Ｌ_τの一部は層１の上部から反射され、一部は透過され層２に向かい、ここで再びその一部が反射され、一部が透過される。層１を透過する光Ｌ_τ の一部は、二つの層の間で前後に反射され、最終的には層１を透過して戻り、全反射（Ｒ_τ）に寄与するか、あるいは層２を透過して全透過（Ｔ）に寄与するかのいずれかとなる。従って、Ｌ_τＲ_τは、層１の上部から反射された光源からの光と、光が層１を通って上方に透過され返す前に層間で内部反射される光（１＆３＆５＆７＆... 倍）との合計である。Ｌ_βＲ_βは、層の下方に位置する光源から来る光についてはこの逆を表し、ここで、Ｒ_βは下方から来る光についての全反射である。Ｌ_τ ＴおよびＬ_βＴは、両方の層を直接透過する光と、最終的に第二の層を通って初期方向に透過される前に層の間で内部反射される光との合計を表す。Ｃは、入射光と二つの層との間の相互作用において見る人が見る光の全てを表す。方程式０は、二つの光源の場合（層の各側に一つ）についてＣを表し、方程式0aは、上方からの一つの光源の場合についてＣを表す。方程式0bは、下方からの一つの光源の場合についてＣを表す。方程式０：Ｃ＝Ｌ_τＲ_τ＋Ｌ_βＴ方程式Oa：Ｃ＝Ｌ_τＲ_τ 方程式Ob＝Ｌ_βＴ二層モデルは、以下の方程式によって数学的に記載され得る。各色成分についての上方からの光の全反射は、方程式１：として表され得る。この級数は方程式1a：に収束する。同様に、各色成分についての下方からの光の全反射は、方程式２：として表され得る。この級数は方程式2a：に収束する。光の方向とは無関係な透過は、各色成分について方程式３：として表され得る。この級数は方程式3a：に収束する。一つの層の反射は、光の伝播方向（上方または下方）とは無関係に常に等しい（均一）であるが、これは二つの層についての組み合わされた反射（Ｒ_τおよびＲ_β）には当てはまらない。これは、各層の吸収が異なり得、かつ、Ｒ_τの計算が層２の透過項t(2)および吸収項a(2)を含まず、Ｒ_βの計算が層１の透過項t(1) および吸収項a(1)を含まないためである。従って、Ｒ値に寄与する各光路の計算は、偶数の透過項（０または２）および奇数の反射項（１、３、５、...）の両方を伴う。この結果、いずれかの方向に伝播する光の非対称反射となる。Ｒ_τおよびＲ_βは均一ではないが、両方向への透過項（Ｔ_τおよびＴ_β）は常に均一であり、従って、Ｔ_τ＝Ｔ_β＝Ｔである。これは、Ｔは四つ全ての変換項（r(1)、t(1)、r(2)およびt(2)）からなり、かつ、偶数の透過項（２）および反射項（０、２、４、...）の両方を伴うためである。この結果、いずれかの方向に伝播する光の対称反射となる。図７は、上記の二層モデルを一般化したものを示す。ここでは、二つの任意の層、つまり層i-1（上部層）および層ｉ（底面層）が、上方および下方からの入射光を受け取る。 ART◇IMにおいて、二つの層についてのＲ_τ、Ｒ_βおよびＴの算出は、一つの層であるかのようにこれらの層を完全に表す。従って、合成画像への二つの層の組み合わせは、一つの「仮想」層、すなわち仮想物体として表され得る（図８）。これは、層のうちの一つが、既に多数の他の層からなる仮想層である場合にも適用される。複数層モデル複数層画像（図９）は、仮想層i-1（これ自体が複数層からなる）と新しい層ｉとの組み合わせから形成される。仮想層の反射および透過特性(Ｒ_τ(i-1)、Ｒ_β (i-1)およびＴ(i-1)）は前に算出されている。ここで全反射および全透過（Ｒ '_τ、Ｒ'_βおよびＴ）は、仮想層および新しい層が、上記の二層モデル中の二層であるかのように算出される。最終構成画像の評価（上方からの光源の場合については項Ｌ_τＲ_τによって表される）および他の項が取り得る多くの形態があり、これらは相対的に容易に計算され得る近似化およびより複雑な計算を伴う正確な解を含む。実物構成方程式（4a、5aおよび6a）によって本明細書に記載されるこの評価の実施態様は、各層の寄与は上記の複数層モデルに一致して計算されているので、最小の計算数を要求する正確な解である。方程式４、５および６は、画像中の全ての層間の内部反射および透過の全てのモードにわたる反射および透過光の合計を表す。従って、内部反射の全てのモードにわたって観察者に反射し戻される光（Ｒ_τ）についての反射成分への層ｉの寄与の合計は（ここでｎ＝内部反射数）、方程式４：ｎ＝０から無限大、0>={r、t}<=1である。内部反射のこれらのモードは、図10の二層についてグラフで示される。極限値内では、方程式４のサンメンションは１／Ｒ_βｒ_τ(i)に収束するので、内部反射の全てのモードにわたって観察者（Ｒ'_τ）に反射し返される光の合計についての正確な解は、方程式4a：である。同様に、内部反射の全てのモードにわたって反射して観察者（Ｒ'_β）から離れる光についての、反射成分への層ｉの寄与の合計についての方程式は、方程式５：ｎ＝０から無限大、0>={r、t}<=1である。極限値では、方程式５への正確な解は、方程式5a：である。最後に、内部反射の全てのモードにわたるいずれかの方向に透過された光（Ｔ）についての透過成分への層ｉの寄与の合計についての方程式は、方程式６：ｎ＝０から無限大、0>={r、t}<=1である。極限値では、方程式６の正確な解は、方程式6a：である。透過光についての内部反射のモードは、図11において図で表される。各層の寄与が項Ｒ'_τ，Ｒ’_βおよびＴ'において累積されるために、ART◇IM についてのアルゴリズムの実行は、物体層に方程式4a、5aおよび6aを上から下へ反復して評価することからなる。従って、最終層が評価されると、すなわち、他のいくつかの基準によって構成工程が完了すると、上方からの一つの光源について見る人が見る最終画像色（Ｃ_τRGB）は、方程式７：Ｃ_τRGB＝Ｌ'_τＲ'_τ であり、すなわち、二つの光源（一つは上方から、もうひとつは下方から）については、見る人は、方程式7a：Ｃ_τRGB＝Ｌ'_τＲ'_τ＋Ｌ'_βＴ' となる。二層のみが内部反射および透過の関連付けられたモードと共に示されているが、これらの方程式をいずれもの数の物体層に仮想層アルゴリズムを用いて反復して適用しても、計算の正確さに影響はない。従って、これらの方程式は、いずれもの数の物体層にわたって内部反射の全ての可能なモードからの寄与を説明する、Ｒ'_τ，Ｒ'_βおよびＴ'についての正確な解を提供する。仮想層（仮想物体）は、複数層モデルにおいて上記されたものと同じ方法で、別の仮想層（図12）と組み合わせられ得る。この場合、単一層物体（実物）を（変換成分ｒおよびＴを用いて）累積された上部の仮想層と組み合わせる代わりに、変換成分Ｒ_τ、Ｒ_βおよびＴを有する仮想層（それ自体が実物からなる）が付加される。実物構成方程式（4a、5aおよび6a）中の実物変換成分を、付加される新しい仮想物体の変換成分で代入すると、仮想物体構成方程式となる。方程式4b：方程式5b：方程式6b：従って、実（一つの層）および仮想（複数層）ARTグラフィック物体の組み合わせを反復して付加またはブレンディングすることによって、合成画像が構成され得る。実物についての画素情報は、単純な変換成分ｒ_τR、ｒ_τG、ｒ_τB、ｔ_R 、ｔ_Gおよびｔ_BからなるART実画像データフォーマットで格納および操作される。混成複数層仮想物体についての画素情報は、混成変換成分Ｒ_τR、Ｒ_τG、Ｒ_τ _B 、Ｒ_βR、Ｒ_βG、Ｒ_βB、Ｔ_R、Ｔ_GおよびＴ_BからなるART仮想層データフォーマットにおいて格納され操作される。本明細書で提示されるARTモデルは単純化されて、複数層モデルの正確な解を計算するコストを受け持ち得ない画像化システム（例えば、ビデオゲーム、マルチメディアシステム）についての計算の数を減少させ得る。ART画像化モデルに行われ得る第一の単純化は、反射を許容するが、透過は許容しないものである（図13、不透明ART実行）。ここでは、光がどのように物体と相互作用するかを示すために、反射変換成分（ｒ_R、ｒ_Gおよびｒ_B）のみが用いられる。透明性はないので、画像構成についての正確なART解の合成結合方程式（compl ex coupled equation）は全体が消去され得、ARTフォーマットされたデータを有する画像構成は、ペインタのアルゴリズムを用いて実行され得る。これは、選択された色モデル（本実施例においてはRGB）を単に適用するのと異ならないように見える。しかし、光源色が物質のRGB色データ（物体の光変換特性を生じさせる）から抽出されるので、結果として得られるART画像データは真に光源独立である。従って、不透明ART実行において、物体画像が捕獲され、光源依存性は色成分から抽出されて変換成分を生じさせる。これらの変換成分は、既存のシステムがペインタのアルゴリズムを介して画素色成分を取り扱うのと同じ方法でのこれらのシステムによる構成のために用いられ得る。最後に、場面が表示されると、AR T変換成分は、光源情報を再び組み込む（integrating back）ことによって色成分に再び変換される。二項ART実行においては、物体は光を透過し得るが、層間では相互反射はないという仮定を行う（図13、二項実行）。この実行において、多数の用途について許容され得る画質を生成すると同時に、一場面を構成するための計算の総数が減少される。この仮定は、実物画像を構成するための実物構成方程式（4a、5aおよび6a）および仮想物体画像を構成するための仮想物体構成方程式（4b、5bおよび 6b）の正確な解に対する近似値として、方程式４、５および６における級数（se ries）の最初の二項を用いることと等価である。従って、二項実物構成方程式は、方程式4c：方程式5c：方程式6c：および、二項仮想物体構成方程式は、方程式4d：方程式5d：方程式6d：である。 ART単純化法によって各画素を組み合わせるための計算コストは、ペインタおよびアルファブレンド法のコストよりもわずかに高くなり得るが、ART◇IMアルゴリズムは、不透明物体または層に到達するか、あるいは層の不透明性がある前もって規定されたしきい値に到達するかのいずれかまで上から下へと適用され得る。これによって、ART◇IMを用いる画像構成における計算の総数が大幅に減少され得る。従って、混成複数層画像の構成（アニメーションおよびマルチメディアにおけるように）は、要求する総計算が少なくなる。さらに、ART画像モデルは、それに付随する画質の向上、および作家が適用するのをより容易にし、より容易に3D画像化に拡張する画像化のための自然なメタファを生成する。ART 画像データフォーマットにおける画像の捕獲： ART画像は、光源色とは無関係であり、画像物体の透明性についての測定された情報を含み得る完全に新しいフォーマット中で定義されるので、特別なディジタル写真術工程が、ART画像データフォーマット中の実物の画像を捕獲するために要求される。この工程の一つの実施態様が図14に図示される。画像データファイルを生成するために物体の一枚の写真を撮影する従来の工程の代わりに、ART画像捕獲工程の本実施態様は、各物体の二枚の写真を用いる。一枚の写真は、物体を非反射黒色背景の前に配置した状態で撮影したものであり、もう一枚は、物体を完全反射白色背景の前に配置した状態で撮影したものである。白色背景は、特殊効果写真において幅広く用いられるScotchlite^TMなどの高反射性表面からなる。黒色背景は高吸収表面であり、黒色ベルベットなどの材料が代表的に用いられる。次いで、色データは、これらの写真から標準色データフォーマット（「RGB」など）へコンピュータに入力され、次いで、各成分をこの成分について別々に測定された光源色を用いて正規化することによって光源独立フォーマットに変換される。次いで、二枚の物質写真についての光源独立画像データは、物質の境界となる矩形の外側にある背景の一部を除去するために切り取られ、次いで、これらの写真は、ARTアルゴリズムおよび方法によってART画像データフォーマットの一つの画像ファイルに組み合わせられる。一旦このフォーマットにされると、ART画像データフォーマット中に格納される物体画像は、ARTアルゴリズムを実行することによって合成画像に組み合わせられ得る。最後に、最終合成画像が完成すると、光源独立ART成分は、選択された目視（viewing）光源の色成分によって乗算されて、これらの成分を表示可能な色成分に変換する。物体の二枚の写真（白色背景および黒色背景での）からのRGB画像データのART画像データフォーマットへの変換の詳細な記載は、以下で提供される。ここでは上記の二層モデルアルゴリズムは、RGBデータフォーマットに走査された物体の二枚の写真のART画像データフォーマットへの変換を規定するために用いられる。黒色および白色背景で撮影された物体についてのデータファイル（ RGBフォーマット）は、図15において図形式で示される。左側の写真においては、物体は黒色背景で撮影されている。これは、物体を透過する全ての光が背景によって吸収され、かつ、物体を通って反射し返されて、物体によってカメラに直接反射し返される光と組み合わせられないことを保証する。従って、測定された光（写真１における物体の走査された画像データ）は、物体によって直接反射された光のみからなる。これとは逆に、白色背景で物体を撮影することにより、物体を透過する全ての光は物質を通って透過され上方に戻ることが保証される。従って、この場合の測定された光は、物体によって直接反射された光と、物体を透過し背景によって反射されこの物体を再透過する光の両方からなる。写真１（黒色背景）における物体１についての未知のART変換成分は、r(1)およびt(1)である。a(1)＝１−r(1)−t(1)であるので、物体a(1)による光の吸収は暗黙的に取り扱われ、本適用例においては算出されない。他方、黒色背景自体の反射、透過および吸収変換成分は、その特性のために公知である。これらの特性は、 r(2)＝0,t(2)＝0,a(2)＝１であり、これは黒色背景に当たる全ての光をこの黒色背景が吸収するためである。方程式1aにおけるＲ_τを、写真１における物体の光源正規化RGB値（一画素における）と等しく設定すると、方程式８：となる。しかし、黒色背景の反射がゼロ、すなわち、r(2)＝０であるので、この方程式は、方程式8a：Ｒ_τ＝写真１_RGB=ｒ(1) と単純化する。従って、物体r(l)の反射変換成分は、まさに黒色背景で捕獲された物体の画像の測定されたRGB値となる。黒色背景の変換成分r(2)およびt(2)は０と等しいので、方程式2aおよび3aは、写真１についてＲ_β＝０およびＴ＝０である。方程式1aは、写真２において白色背景で撮影された物体１の測定された値（一画素で）と等しいので、方程式９：となり、ここで写真２_RGBは、写真２中の物体の光源正規化RGB値（一画素で）である。写真２における白色背景の反射、透過および吸収変換成分は、 r(3)＝１、t(3)＝０、a(3)＝０であり、方程式９は方程式9a：と単純化する。次いで、r(3)＝１およびt(3)＝０であるので、方程式2aおよび3a によって、写真２についてＲ_β＝１およびＴ＝０となる。最後に、方程式8aからのr(1)の値を方程式9aに代入すると、方程式10：が得られる。t(1)について方程式10を解くと、方程式11a：が得られる。従って、物体の二つの画像をRGB画像データフォーマットからART画像データフォーマットへ変換するためには、物体の反射変換成分r(1)は、黒色背景で撮影または走査された物体の光源正規化RGB値とまさに等しくなり、物体t(1)の透過変換成分は方程式11によって規定される。本実施例は、背景に当たる光を100％吸収および反射（それぞれ）しない非理想的黒色および白色背景の使用から生じるバイアスは取り扱わない。より正確な結果が要求される場合は、二つの付加的な画像（黒色および白色背景のみの）が、このバイアスエラーを補償するための補正項（correction factor）を生じさせるために捕獲され、用いられ得る。ART 画像化システム ART画像化モデルおよびアルゴリズムに基づくシステムが、要求される用途および画像構成速度に依存して実行され得る多くの異なる方法が存在する。ARTシステムを実行する方法は、ハードウェアのみ、ハードウェアとファームウェアとの組み合わせ、ハードウェアとファームウェアとソフトウェアとの組み合わせからなり得、あるいは完全にソフトウェア中で実行され得さえもする。本明細書において提示されているシステムの記載を単純化するために、垂直に配列された各物体（または層）からの一つの画素に逐次的に作用する処理として規定される（図４参照）。従って、このシステムは、最上部の物体画素から開始し、この画素をその真下にある次の画素と組み合わせ、次いで、この画素をその下の次の層中の画素と組み合わせ続け、要求される画素の全てが最終表示画素に組み合わせられるまで継続する。このシステムは一画素工程として規定されるが、実際の実行においては、全画像は、次の層の寄与が計算される前に与えられた層の全ての画素を組み合わせることによって計算される。 ARTアルゴリズムを実行するためのシステムの機能ブロック図が、図16に示される。このシステムは、以下のように動作する。タイミング制御器(10)は、画像に付加される最上部の物体の次の新しい画素を識別することを画素アドレスプロセッサ（ブロック12）に指示する（接続「ｋ」を介して）ことによって、画像構成工程を開始する。画素アドレスプロセッサは、この新しい画素がグラフィック物体メモリ(16)に格納されている位置またはアドレスを決定し、このアドレスを接続「a」を介して画素アクセス制御器(14)に渡す。次いで、タイミング制御器(10)は、グラフィック物体メモリ(16)からのこの新しい画素についての変換成分およびブレンド累積レジスタ(18)からの前に構成されたあるいは累積された画素（上記の組み合わされた物体）についての拡張された変換成分（R_τRGB、R_βRGBおよびT_RGB）を接続「ｂ」を介して画素アクセス制御器に読み出させる。場面に付加された新しい物体が単一層物体である場合、接続「ｂ」を介して渡される変換成分のフォーマットは単一層物体のフォーマット、すなわち、r_RGBおよびτ_RGBである（図９中の仮想層と組み合わされている単一層について示されている通り）。場面に付加される新しい物体が既に複数層物体である場合、接続「ｂ」を介して読み出される成分のフォーマットはR_τRGB、R_βR _GB およびT_RGBである。次に、タイミング制御器(10)は、画素アクセス制御器に、新しい画素および累積された画素を接続「ｄ」および「ｅ」を介して変換成分AL U(20)に対して提示させる。次いで、タイミング制御器(10)は、変換成分ALU(20)に方程式4a、5aおよび6a 中で規定されている計算を行うことを指示して、変換成分についての新しい値（ R_τRGB、R_βRGBおよびT_RGB）を生成させる。これらの新しい値は、そこに既に組み合わされている他の画素とブレンドされている新しい画素の影響を含んでいる。次いで、タイミング制御器(10)は、変換成分ALU(20)にこれらの新しい変換成分をブレンド累積レジスタ(18)に再び書き込ませることによって、一つの完全な画素ブレンドサイクルを完了させる。タイミング制御器(10)は、最下部の画素が最終的に付加されたという指示を画素アドレスプロセッサ(12)から接続「ｋ」を介して受け取るか、あるいは、下にある次の画素におけるブレンディングが最終画像にほとんど寄与しないように、累積した画素が不透明性のしきい値レベル（ほぼ透明性がない）に到達したという指示を画素アクセス制御器(14)から接続「ｋ」を介して受け取るまで、このような方法で全ての画素を通じて下方にサイクルし続ける。次いで、タイミング制御器(10)は、（接続「ｋ」を介して）ブレンド累積レジスタ（18）に、合成画素の反射変換成分（R_τRGB）を接続「ｇ」を介して画素色ALU(22)に書き込ませる。この成分は、算出されたばかりの画素での画像の全反射であり、これが一旦変換成分から色に変換されると、見る人が見るものになる。タイミング制御器は、（接続「ｋ」を介して）光源色格納レジスタ（24）に接続「ｈ」を介して画素色 ALU(22)に光源色値を与えさせる。次に、タイミング制御器（10）は、（接続「ｋ」を介して）画素色ALU（22）に、方程式７によってその変換成分および光源色から画素色を算出させる。最後に、タイミング制御器(10)は、画素色ALU（22）に、チャネル「ｉ」を介してグラフィック表示インタフェース（26）に画素色を（チャネル「ｋ」を介して）出力させ、ここで画素色はグラフィック表示装置（28）のためにフォーマットされる。次いで、グラフィック表示インタフェース（26）は、接続「ｊ」を介して画素色情報を順にグラフィック表示装置（28）に渡す。このシステムは一画素工程を規定するが、実際の実行においては、全画像は、次の層の奇与が計算される前に、与えられた層における全ての画素を組み合わせることによって計算され得る。 ARTシステムによって構成された複数層物体または場面は、これらの合成画像についての全ての変換成分情報を保持するために合成（Complex）ART画像データフォーマット中に格納され得る。これによって、ARTシステムがこれらの合成画像をさらに複雑な画像のための構成単位として用いることが可能となる。 ARTシステムによって構成される場面の中間格納が所望であるときには、タイミング制御器（10）はブレンド累積レジスタ（18）に変換成分の完全な組（R_τR _GB 、R_βRGBおよびT_RGB）を構成画像格納手段（30）に対して出力させる指示をする。この構成画像格納手段は、磁気テープ、磁気光学ディスク、光ディスク、および固体メモリ（RAM、ROM、EPROM、フラッシュなど）を含むいずれものディジタル格納システムの形態をとり得るが、これらに制限されない。構成画像格納手段に格納される構成された、または一部が構成された画像は、格納された画像をプレイバックするため、あるいは新しい構成画像を生成するためにグラフィック物体格納メモリ（16）に格納される他の物体と組み合わせられるかのいずれかのために後に用いられ得る。構成画像格納手段に格納されている以前に構成された画像をプレイバックするために、タイミング制御器（10）は、接続「ｋ」を介して構成画像格納手段に、これらの画像の反射変換成分（R_τRGB）を画素色ALU（22）に対して接続「ｍ」を介して出力させ、画像を表示するために上記の制御工程を繰り返す。異なる照明条件下でこれらの画像の外観を自然に変える（例えば、真昼の太陽から沈む太陽に変える）ためには、新しい光源色が光源色格納レジスタ（24）に格納される。構成画像格納手段（30）に格納されている以前に構成された画像に、付加的な物体が付加されなければならない場合、タイミング制御器（10）は、構成画像格納手段にグラフィック物体画像格納手段（16）に対して画像を接続「ｎ」を介して出力させる。これらの合成画像は混成（complex）ART画像データフォーマット中にあるが、グラフィック物体格納手段に格納されている多くのグラフィック物体は、単純ART画像データフォーマットである。変換成分ALU（20）は、グラフィック物体メモリ（16）およびブレンド累積レジスタ（14）から画素アクセス制御器（14）を介して入力を受け取る（図17）。ここでは、グラフィック物体メモリからの入力は、物体が単一層物体である場合にはｒ_RGBおよびｔ_RGB（単純ART画像データフォーマット）であるか、新しい物体それ自体が複数層物体または仮想層である場合にはＲτ_RGB、Ｒ_βRGBおよびＴ_RGB （混成（complex）ART画像データフォーマット）であるかのいずれかである。ブレンド累積レジスタからの入力（この時点までの累積画像）は、Ｒ_τRGB、Ｒ_βRGBおよびＴ_RGBである。変換成分ALUの出力で新たに算出された画素値もまた、混成ARTフォーマットである。内部では、変換成分ALU（TCALU）は、選ばれた色モデル中の色成分の数および所望される平行度の量に依存して、１から４個の算術論理ユニットから構成され得る。RGB色モデルに基づく完全に平行な設計においては、処理されている画素の別々の色成分に対して各々がART計算（方程式4a、5aおよび6a、または4b、5b および6b）を行う、三つのALUが存在する（図１８）。パイプライン化された設計においては、個々のTCALU（図19および図20）の内部構成は、ART算出を行うための直列または並列に接続された算術ユニットからなり得る。図19は、実（単一層）物体を画像に付加するための算出（実物方程式 4a、5aおよび6a）を示し、図20は、仮想物体を画像に付加するための算出（仮想物体方程式4b、5bおよび6b）を示す。これらの実施例は、RGB色モデルについてART画像化アルゴリズムを迅速に計算するための一つの方法を示す。図からわかり得るように、実物および仮想物体構成の両方を行うための動作の総数は、27倍同値（27 multiply equivalents）である（赤色ALU、緑色ALUおよび青色ALUについて各々９倍）。図19および図20に示されるものと同一の構成が二項実物および仮想物体構成方程式と共に用いられる場合、計算の総数は18倍同値である。計算速度が重大でない場合は、各色成分の変換成分を順番に計算するために一つのTCALUが用いられ得る。さらに、最終項が計算されるまでに各項の一部を展開するために、一つの算術ユニットが内部格納レジスタユニットと共にTCALU内部で用いられ得る。アルゴリズム ART◇IMにおいて用いられるアルゴリズムが、図21でフローチャート形態で示され、図21において例として示される。アルゴリズムの記載を単純化するために、これらの実施例は、下方の層中に位置する画素から一つの画素を構成するための工程を示すことを意図するものであるが、実施上では、下の物体層中に下に位置するセグメントからラインセグメント全体を構成することが平行して実行される。代表的な実行における初期ステップは、{１}最上部層に層指数を初期設定し、 {２}その層上の画素についての変換値（r_RGB、t_RGB）をブレンド累積器（BAcc）に移動させ、{３}次の層に層指数を増分することである。次に、二つの試験が行われる。第一の試験{４}は、層指数を最下部の層の指数と比較することによって、全ての層が処理されると層構成への出口を提供するものである。第二の試験{５}は、画素の総透明性（Ｔ）を最小不透明しきい値（例えば、98％）と比較することによって、より下部の層の寄与が非常に小さくなると下部の層の処理を終了するものである。この機構は、見られない、または画像に非常に小さい効果しか与えない大量な画像データを処理（読出し、ブレンディングおよび書込み）することを回避するために、上から下への構成のための手段を提供する。最後に、新しい層についての情報がアクセスされ、ブレンド累積器に既に含まれている層と（前の節のART◇IMアルゴリズムによって）組み合わされる{６}。最終層が処理されると、表示される色を算出するために、光源色（Ｌ）がこのエレメントで累積反射と共に用いられる{７}。図22の左側のシナリオは、ART◇IMアルゴリズムによって構成される場面を表す。この場面は、曇り窓および青色セロファンを通って伝播し、ゴールデンアップル（golden apple）から反射し、セロファンおよび窓を通って戻ってから見る人に再び現れる光を生成させる光源からなる。表１、２および３は、図22の右側に示される完全に構成された場面における三つの領域についてのART◇IM算出を示す。表１における第一行は光源のRGB値を含み、この値は、表２における最終ブレンド（R_τRGB）を表３において表示される最終色に変換するために用いられる。表１の評価は、パーセントでの反射、透過および吸収として表される、場面中の物体の変換成分を含む。表１．物体の伝達特性（パーセント単位）表２は、各物体が構成されるときのブレンド累積器（BAcc）の中間値を示す。ここでは、最上層（曇りガラス）はブレンド０中のブレンド累積レジスタに読みこまれ、ブレンド１およびブレンド２は青色セロファンおよびゴールデンアップルに連続的に付加する。従って、各行における変換成分の値は、その行の物体と、その上部の全ての物体または層のブレンドを表す。表３は、三領域中の最終変換成分のRGB色への変換を示す。表２．青色セロファン場面の後方のリンゴについての算出表３．最終ブレンドのRGB色への変換結論： ART画像化モデルを用いる画像構成とペインタモデルとの根本的な相違は、ART 画像化におけるデータ表示物（変換成分）は、物体の色のみではなく、物体がどのように光と相互作用するかも記録することである。これによって、光源独立である画像表示物が生成され、最終構成場面の照明が飛躍的に変化することが可能になり、それにより自然かつ期待される結果が生じる。さらに、ART画像化モデルを用いる画像構成は、上から下へと実行され得る。従って、画像の最も重要な部分（上部層）が最初に構成され、次いで、より重要度の低い層が順に組み合わされる。これによって、画像化システム要件に依存して、画像構成速度または画質について幅広い実行を最適化することが可能になる。三つのART画像化実行およびペインタ実行のうちの二つが図23に示される。ART およびペインタの反射のみの実行（上の二つの場合）において、画像の構成はペインタアルゴリズムを介して行われる。これらの実行の間の相違は、ART画像データフォーマットが光源独立であることである。これによって、異なる照明条件下で捕獲される画像を容易に構成することが可能になり、かつ、最終場面の照明を大幅に変化させることが可能になる。透明性がペインタモデル（第三の場合）に付加されると、画像の透明性をあらわすために「α」項が色成分に付加される。次いで、アルファブレンディングアルゴリズムを介して下部から画像構成が行われる。二項および正確ART実行（下の場合）において、捕獲された画像データは、光源依存性を抽出するために正規化され、次いで、ART画像データフォーマットの変換成分に変換される。次いで、画像は、二項アルゴリズムまたは完全ARTアルゴリズムのいずれかによって上から下へと構成される。 ART画像化モデルに基づく画像化システムの下位構造は、他の画像化モデルに基づく下位構造とは、画像の中間格納および構成のために用いられるデータフォーマットにおいて異なる。これらのデータフォーマットは、画像構成および表示の直前に下位グラフィックシステムによる格納および処理を最小化するために、バイト、ワードおよび長いワード境界に有効に合うように選択される。これらの格納フォーマットおよび映像構成ハードウェアおよびソフトウェアは、画像操作速度および画像表示物の正確さのための要件に依存して各成分を規定するためにおよそ数個の（more or less）ビットを用い得る。同様に、これらのデータフォーは、映像表示装置またはプリンタなどの様々なグラフィック出力装置と適合させるために変えられ得る。表４は、潜在的なART◇IMフォーマットと共に現在の画像化システムにおいて代表的に用いられるデータフォーマットを図示する。ペインタ＋ブレンド ART◇IM データフォーマット（RGB、α）（r_Rr_Gr_B、t_Rt_Gt_B） 24ビット直接色／変換成 (888,8)0.4%ブレンド／ (888,8)0.4%ブレンド／分ステップ32ビットワードステップ48ビットワード 24ビット直接色 (888,222)25%ブレンド／ステップ32ビットワード 18ビット直接色 (666,6)1.6%ブレンド／ステップ24ビットワード 16ビット直接変換成分 (555,555)3%ブレンド／ステップ32ビットワード 16ビット直接色／変換成 (555,8)0.4%ブレンド／ (555,333)12.5%ブレンド分ステップ24ビットワード／ステップ24ビットワード 16ビット直接色 (555,1)0または100%ブレンド16ビットワード９ビット変換成分テーブ (333,222)25%ブレンド／ル参照ステップ16ビットワード８ビット色テーブル参照 (8,8)0.4%ブレンド／ステップ16ビットワード表４．画像データフォーマットの比較 ART画像化モデルおよびそのアルゴリスムは、上から下へ画像を構成するための唯一の技術を提供する。現在用いられている方法に対するART法の利点は以下の通りである。光源独立性―物体は、相互作用を行う光を物体がどのように変換するかによって記載され、光源独立である。場面中の光源の色が変化すると、場面中の物体の外観が、画像が再構成されると自動的に（付加的な計算なしで）自然で写実的に変わる。固有透明性―透明性は、モデルおよびアルゴリズムの自然で内在的な部分であり、物体が動画化されたときに物体に透明性または半透明性を与えることおよび、全ての物体を飛躍的にエイリアス防止にすることを容易にする。特別なアルファ層または画素色値におけるアルフアフィールド（これらを支持するために要求される付随のハードウェアおよびソフトウェア合成体（complexlty）と共に）は必要ではない。自然かつ直感的なメタファ―これらのアルゴリズムは、人間が周囲の世界を知覚する方法をモデル化することによって、作家または作者が画像に新しい層または物体を付加するときに、この作家が最終合成画像を視覚化することを大幅に容易かつより直感的にする。構成順序―ART画像化法において構成順序は交換可能であるので、前から後ろへおよび後ろから前への両方の構成が可能である。前から後ろへの構成のために ART法を実行することによって、多くの物体層で場面を構成するために必要になるデータバスローディングおよび計算が大幅に減少するが、これは、上から下への構成技術により他の不透明物体の後ろに隠れている物体の部分を構成する必要が無くなるからである。これらの方法は、複雑さが増すとグレースフルデグラデーションを可能にし（場面の最も重要な部分は最初に、すなわち見る人の側に構成される）、物体透明性、エイリアス防止、クロスフェード、自己および色調整および傾斜などのディジタル映像効果の単純化された実行を可能にする。 3D 画像化のための理想的な基礎―ART◇IMは光線追跡モデルに基づくので、この複数層2D構成を3D構成に拡張することは自然であり、メタファに矛盾がない。これらの拡張は、入射光に方向性を付加すること、シェーディング、および多くの層にわたる物体を含み得る。上から下へ構成するART◇IMの利点（他の不透明物体の後ろに隠れている物体の部分を構成する必要がなくなる）により、3D画像化のために要求されるデータ処理の量がさらに飛躍的に減少される。本発明は特定の実施態様により上記されたが、本発明への変更および改変が当業者に疑いなく明らかであることが予期される。従って、以下の請求項は、本発明の真の精神および範囲に入るためにそのような全ての変更および改変を包含するものとして理解されることが意図される。DETAILED DESCRIPTION OF THE INVENTION Image construction method and apparatus Background of the Invention Field of the invention The present invention relates generally to computerized imaging methods and devices, and In particular, the transformation of virtual light interacting with the object consists of six explicit transformation components and three A new imaging method where the object is composed of pixel data, specified by the implicit conversion component of Law and apparatus.Brief description of the prior art Painter's algorithm is widely used in computer image construction Prior art. This algorithm combines multiple overlapping opaque images To do this, we use the “King of Mountain” method from bottom to top. This one The method first locates the lowest image (object B) and then the image in the layer above it Overwrite (replace) the part of this image covered by (object A), and Is continued in this way (FIG. 1). Therefore, when viewed on an imaging display, What is seen is the color from the top object on the screen. Two from object A The pixel (picture element) is superimposed on the pixel immediately below these pixels in the object B. Object B Are first drawn in the composite image, so that the two pixels below the object A are Overwritten when body A is added to the final image. One major drawback of Painter's algorithm is that to construct the final image, All bits of color data for all objects displayed on the screen It must be read, moved, and written. It ranks above Even the part of the object that is hidden by the object to be placed is the same as the part of the object that can be seen Means that it must be processed. Painter's algorithm is used with translucent images or graphic objects The “alpha” blending algorithm to combine the layers Mainly used. This alpha blending is used to create layer combinations The percentage of each two layers (composite layer and the next layer added) One number, or a separate algorithm for each pixel in the image to be combined. Use any of the percentages. This second case is shown in FIG. 2, where object Aalpha produces a composite Object A to be combined or blended with the object below Prescribe a percentage. In this case, two pixels of the object A located above the object B are Is 40, that is, 40% of the color of the pixel of the object A is below the pixel of the object B. 60% (1-A). The object in the layer immediately above object A is then Blended with this AB composite based on the alpha layer associated with the object You. The layers above are then blended in sequence (hence the bottom-up configuration) and the final A composite image is generated. Painter's algorithm using alpha blending It is counterintuitive in the way. This is the meta that this algorithm emulates Fa is a painter's metaphor that mixes paints and paints them on canvas. here So the painter cannot apply the final layer first, so the painter In the choice of the color applied to the surface, the effect of the subsequent translucent layer must be expected Absent. This back-to-front configuration is counterproductive to the real-world human experience Cause. Human intuitive views of the world involve light that propagates to surrounding surfaces. Some of this light is reflected back and some passes through the translucent surface and Are transmitted through the surface and some are absorbed. Summary of the Invention Briefly, the present invention relates to ART ◇ IM (absorption, reflection, transmission image To implement a new imaging and image composition system called Law and apparatus. ART ◇ IM is a real-world metaphor for surface absorption, reflection and transmission Here, multiple layers of translucent and opaque objects are applied to the video display device. Configured into the final image for output or printing. This algorithm is "Pain", an image construction technology conventionally used in Algorithm (Figure 1) and crossfading, transparency and color between images Used in the computer and television industries for video special effects such as adjustments It replaces both alpha blending algorithms (Figure 2) You. Unlike the prior art “colored pixel” algorithm, this system is Virtual light source illumination and the absorption, reflection and absorption of objects in the image to produce a clean image. Based on light propagation metaphors using transmission characteristics. Therefore, the selected color model ( For example, specified by RGB, YUV, Lab, HSV, YIQ, HLS, CMY, CMYK) Instead of representing each picture element (pixel) with a color component, the pixel in the subject system Are the six explicit transformation components (r₁, R_Two, R_Three, T₁, T_Two, T_Three) And three implicit conversion components (A₁, A_Two, A_Three) Where a, r and t are absorption, reflection and transmission And the subscripts 1, 2 and 3 refer to the components of the chosen color model. According to the ART ◇ IM system, light is transmitted from a remote light source as shown in FIG. Propagates to the uppermost object layer in the plane (viewer side), where some of the light is absorbed and some Reflected and partially transmitted. The transmitted light travels to the next object layer, where the process Repeated. The ART ◇ IM system algorithm works against viewers from all object layers. Calculate all the reflected light. This will eventually reappear, directly to the viewer The contribution from all modes of internal reflection between layers combined with the reflected light Including. Similarly, the ART ◇ IM system algorithm applies to all layers of the object (below the last layer). Again, including all modes of internally reflected light that leave the viewer) Calculate all light that is absorbed, and implicitly all light absorbed by all layers. You. Please read the following detailed description of the preferred embodiments illustrated in some of the figures. These and other advantages of the invention will no doubt become apparent to those skilled in the art. Drawing FIG. 1 illustrates a prior art painter algorithm for processing image pixel data. FIG. Figure 2 processes image pixel data using bottom-up alpha blending FIG. 2 is a diagram showing a prior art method for performing the above. FIG. 3 is a diagram illustrating the basic concept of the present invention. FIG. 4 shows a simplified example of pixel processing according to the present invention. 5a to 13 are ray tracing diagrams used to illustrate the present invention. 14 and 15 illustrate a method according to the present invention. FIG. 16 is a functional block diagram illustrating an imaging system according to the present invention. 17 to 20 show schematic diagrams of the arithmetic logic unit according to the present invention. FIG. 21 is a logical flowchart showing the operation of the preferred embodiment. FIG. 22 is a diagram showing an image configuration according to the present invention. FIG. 23 is a diagram schematically comparing various embodiments of the present invention with prior art imaging methods. It is. Detailed description of preferred embodiments The basic assumptions and characteristics of the elements that form the basis of ART ◇ IM are as follows.light source: One or which can be arranged above, below, or between layers of the object in the composed scene More light sources. A light source may be defined as any color allowed in the selected color space. Light propagates from each light source to the layer of the object in the scene, where it is absorbed, reflected, and Permeates all layers of the object.Graphic objects: Light is only reflected upward at the top of the object and downward at the bottom (internal No reflection). Absorption, reflection and transmission properties of each object are uniform independent of the direction of light propagation . An object absorbs (a), reflects (reflects) its light in three or more color space components. r) and transmission (t) (eg, in the RGB color space, a_red, A_green, A_blue, R_red, R_gr _een , R_blue, T_red, T_green, T_blue) Where r + t + a = 1 is there. All modes of internal reflection between any number of layers are reflected back to the viewer. The total amount of light transmitted, the amount of light absorbed, and the amount of light transmitted through all objects in the image. Included in the calculation of quantity. To simplify the preferred embodiment, the following simplifications are made to the above assumptions. You.light source : One virtual light source is at infinite distance behind the viewer observing the scene on the image display It is assumed to be located. Illumination from the light source is uniform across all objects in the scene and at the top of the object ( It propagates from the viewer's side to the bottom side.Graphic object properties: The object surface is oriented orthogonal to the incident plane wave light from the light source. The reflection and transmission of virtual light by the object is a plane wave, not a specular reflection step. Any percentage of light not reflected or transmitted by the object layer is lost from the process. To be avoided, the absorption of light by an object is not directly measured (ie, implicitly is there).See: The viewer of the composed image is positioned between the distant light source and the top object in the scene. You. The viewer sees only the light reflected off the upper surface of the object. Light transmitted through all objects in the scene is lost from the process and is seen by the viewer. Not assumed. The preferred embodiment, which applies to the Art imaging model, but described herein Other simplifications to these general assumptions, which can be different forms of implementation , Extensions, and limitations. These other embodiments include multiple light sources, interlayer light sources, multiple light sources. Models for special applications such as several viewpoints and 3D imaging can be optimized, where Minutes can be handled in different ways. For example, absorption "a" may be explicitly treated. (Not implicit as defined below), or the r and t transform components It can be extended to include the launch and transmission angles.Concepts and terminology In order to simplify the description of the ART imaging model, its image construction method and algorithm Rhythm is a process that acts sequentially on one pixel from each object (or layer). As defined herein. These pixels and finally composed Pixels are all arranged vertically. The ART @ IM algorithm calculates the top object pixel P₁ At the next pixel P just below_TwoCombine with Next, the algorithm The pixel in the next layer below it_ThreeContinue to combine with all The required pixels are combined to form the final display pixel P_zContinue until (Figure 4) You. This is done from the bottom up and requires that all pixels in the image be included. It differs from the currently accepted methods for image construction, which are often required. The ART method and algorithm are presented as one pixel process, Therefore, all pixels in a given layer are calculated before the contribution of the next lower layer is calculated. Can be calculated from top to bottom by combining Throughout this document, the terms, parameters and ART components used are specified. When doing so, the following concept is used. For simplicity, a three component RGB color model is assumed You. However, the invention also applies to the use of other color models, some of which are described above. It should be understood that in this case, the specific color model chosen will be accommodated. The following are adjusted for this. The main format used is A '_bc(d) It is. The main term “A” is a transform component that can have the following values: r: Reflection of one layer t: transmission of one layer R: Reflection of composite of multiple layers T: Permeation of multiple layers of composite L: Incident plane wave light (L_τ= From above and L_β= From below) C: Final image color seen by the viewer Prime (') refers to the resulting value after iterative calculation. The subscript "b" indicates the surface (top or bottom) where reflection occurs. Possible values are , τ: reflection from upper surface β: Reflection from the bottom It is. The subscript "c" that may or may not be used is a key term Indicates the associated color component. If the RGB color model is used, possible values are: R: red component G: Green component B: Blue component It is. The term (d) is an index that identifies the layer indicated by the equation. The index is i: the current layer being processed, located directly below layer i-1 i-1: previously processed layer It is.Single layer model The object (FIG. 5 a) is an incident orthogonal plane wave light L_τReceive (of clarity All the rays are shown at an angle). The object is -Reflect a percentage (Lτr) and transmit some percentage (Lτr)._τ t) thereby converting the incident light. Since r + t + a = 1, the incident light Absorption (L_τa) is treated implicitly (not directly calculated). Therefore, the graph The light conversion characteristics of the three-dimensional object are represented by a three-component reflection vector r and a three-component transmission vector t. Fully described by: The ART ◇ IM property of the object in the preferred embodiment is: One because the light is uniform regardless of whether it comes from below or from above The reflection and transmission for a given object is equivalent for light propagating in both directions. You. Object and light L from below_βInteraction with (Figure 5b) indicates light source and propagation direction Only the subscript changes, reflecting the case of light from above.Two-layer model: The bilayer image of the preferred embodiment (FIG. 6) shows the objects in top layer 1 and bottom layer 2 Upper incident light L from the upper light source_τAnd the bottom incident light L from the lower light source_β Receive. L_τIs reflected from the upper part of layer 1 and part is transmitted to layer 2 Here, a part is reflected again and a part is transmitted again. Light L transmitted through layer 1_τ Is reflected back and forth between the two layers and eventually returns through layer 1; Total reflection (R_τ) Or permeate through layer 2 and contribute to total transmission (T). Will be either. Therefore, L_τR_τIs the light from the light source reflected from the top of layer 1 and the light Light that is internally reflected between layers before being transmitted upward through and returning (1 & 3 & 5 & 7 & ... Times). L_βR_βIs about the light coming from the light source located below the layer Represents the reverse, where R_βIs the total reflection for light coming from below. L_τ T and L_βT is the light that passes directly through both layers and ultimately through the second layer. And the light internally reflected between the layers before being transmitted in a specific direction. C is incident It represents all of the light seen by the viewer in the interaction between the light and the two layers. Equation 0 Represents C for the case of two light sources (one on each side of the layer); Represents C for the case of one light source from Equation 0b is one light source from below Represents C in the case of Equation 0: C = L_τR_τ+ L_βT Equation Oa: C = L_τR_τ Equation Ob = L_βT The two-layer model can be described mathematically by the following equation: About each color component Total reflection of light from above Equation 1: Can be represented as This series is Equation 1a: Converges to Similarly, the total reflection of light from below for each color component is Equation 2: Can be represented as This series is Equation 2a: Converges to Transmission independent of the direction of the light, for each color component Equation 3: Can be represented as This series is Equation 3a: Converges to The reflection of one layer is always equal, independent of the direction of light propagation (up or down) (Uniform), but this is due to the combined reflection (R_τand R_βNot applicable to). This is because the absorption of each layer can be different and R_τCalculation Does not include the transmission term t (2) and the absorption term a (2) of layer 2;_βIs calculated as the transmission term t (1) of layer 1. And the absorption term a (1) is not included. Therefore, calculation of each optical path that contributes to the R value Are both the even transmission terms (0 or 2) and the odd reflection terms (1, 3, 5,...) Accompanied by This results in asymmetric reflection of light propagating in either direction. R_τAnd R_βIs not uniform, but the transmission terms in both directions (T_τAnd T_β) Is always , And therefore T_τ= T_β= T. This means that T is all four transform terms (R (1), t (1), r (2) and t (2)), and an even number of transmission terms (2) and This is because it involves both shooting terms (0, 2, 4,...). As a result, either direction Symmetrical reflection of light propagating to FIG. 7 shows a generalized version of the above two-layer model. Here, two arbitrary The layers, i.e., layer i-1 (top layer) and layer i (bottom layer) are entered from above and below. Receive the light. In ART ◇ IM, R for two layers_τ, R_βAnd T are calculated as one layer These layers are completely represented. Therefore, a set of two layers into a composite image The combination can be represented as one "virtual" layer, i.e., a virtual object (FIG. 8). This is also the case when one of the layers is a virtual layer already consisting of a number of other layers. Used.Multi-tier model The multi-layer image (FIG. 9) is composed of the virtual layer i-1 (which itself is composed of multiple layers) It is formed from a combination with i. The reflection and transmission characteristics (R_τ(i-1), R_β (i-1) and T (i-1)) have been calculated previously. Here, total reflection and total transmission (R '_τ, R '_βAnd T) indicate that the virtual layer and the new layer are two layers in the two layer model above. It is calculated as if Evaluation of the final constituent image (the term L for a light source from above)_τR_τBy table And other terms can take many forms, which are relatively easy to measure. Includes exact solutions with approximations that can be calculated and more complex calculations. Real constitutive equation Embodiments of this evaluation described herein by (4a, 5a and 6a) Is calculated in accordance with the above multi-layer model, so the minimum number of calculations is required. This is the exact solution you seek. Equations 4, 5 and 6 describe the internal reaction between all layers in the image. It represents the sum of reflected and transmitted light over all modes of emission and transmission. Therefore, Light reflected back to the observer over all modes of internal reflection (R_τ)about (Where n = number of internal reflections) Equation 4:From n = 0 to infinity, 0> = {r, t} <= 1. These modes of internal reflection are shown graphically for the two layers of FIG. Within the limit, the summation in Equation 4 is 1 / R_βr_τconverges on (i) , Observer (R ′) over all modes of internal reflection_τThe combination of light reflected back The exact solution for the meter is Equation 4a: It is. Similarly, the observer (R ′) reflects light over all modes of internal reflection._βAway from The equation for the sum of the contribution of layer i to the reflected component for the light Equation 5: From n = 0 to infinity, 0> = {r, t} <= 1. At the limit, the exact solution to Equation 5 is Equation 5a: It is. Finally, light transmitted in either direction across all modes of internal reflection (T The equation for the sum of the contribution of layer i to the transmission component for Equation 6: From n = 0 to infinity, 0> = {r, t} <= 1. At the limit, the exact solution of Equation 6 is Equation 6a: It is. The mode of internal reflection for transmitted light is represented graphically in FIG. The contribution of each layer is the term R '_τ, R '_βAnd ART ◇ IM to be accumulated in T ' The execution of the algorithm for applies the equations 4a, 5a and 6a to the object layer from top to bottom It consists of repeatedly evaluating. Therefore, when the final layer is evaluated, When the construction process is completed according to several criteria, one light source from above is hand Final image color seen by viewer (C_τRGB) Equation 7: C_τRGB= L '_τR '_τ That is, two light sources (one from above and one from below) In the meantime, the viewer Equation 7a: C_τRGB= L '_τR '_τ+ L '_βT ' Becomes Although only two layers are shown with associated modes of internal reflection and transmission , These equations are repeated for any number of object layers using the virtual layer algorithm Application does not affect the accuracy of the calculations. Therefore, these equations eventually become Explain the contributions from all possible modes of internal reflection over numerous object layers , R '_τ, R '_βAnd an exact solution for T ′. The virtual layer (virtual object) is created in the same way as described above in the multi-layer model, It can be combined with another virtual layer (FIG. 12). In this case, a single-layer object (real) Instead of combining with the accumulated upper virtual layer (using the transform components r and T) , The transformation component R_τ, R_βWith a virtual layer with T and T (which itself is real) Be added. The real transformation components in the real constitutive equations (4a, 5a and 6a) are added to the new temporary Substitution with the transformation component of the virtual object results in a virtual object constitutive equation. Equation 4b: Equation 5b: Equation 6b: Therefore, a combination of real (single layer) and virtual (multilayer) ART graphic objects By adding or blending repeatedly, the composite image is composed. Can be Pixel information about the real object is a simple conversion component r_τR, R_τG, R_τB, T_R , T_GAnd t_BStored and manipulated in the ART real image data format consisting of . The pixel information about the hybrid multi-layer virtual object is represented by a hybrid transform component R_τR, R_τG, R_τ _B , R_βR, R_βG, R_βB, T_R, T_GAnd T_BART virtual layer data format Is stored and operated on The ART model presented here has been simplified to provide accurate solutions for multi-layer models. Imaging systems that cannot afford the cost of computing (eg, video games, (Media system). ART imaging model The first simplification that can be made is to allow reflection but not transmission ( (Figure 13, opaque ART run). Here we show how light interacts with an object For this purpose, the reflection conversion component (r_R, R_GAnd r_B) Only are used. Since there is no transparency, the combined ART equation (compl ex coupled equation) can be entirely erased and contains ART formatted data. Image composition can be performed using the painter's algorithm. This is a choice Color model (RGB in this embodiment) is not different from simply applying Looks like. However, if the light source color is the RGB color data of the The resulting ART image data is truly light source independent is there. Therefore, in the opaque ART implementation, the object image is captured and the light source dependency is To produce a transformed component. These conversion components are These in the same way that we handle pixel color components via the painter's algorithm Can be used. Finally, when the scene is displayed, AR The T-transform component is color-coded by integrating the light source information back (integrating back). Converted to minutes again. In a binomial ART implementation, objects can transmit light, but there is no interreflection between layers (Figure 13, binomial execution). In this run, for many uses The total number of calculations to compose a scene is reduced while producing acceptable image quality. Will be reduced. This assumption is based on the real constitutive equations (4a, 5a and 6a) and the virtual object constitutive equations (4b, 5b and As an approximation to the exact solution of 6b), the series in equations 4, 5 and 6 (se ries). Therefore, the binomial real constitutive equation is , Equation 4c: Equation 5c: Equation 6c: And the binomial virtual object constitutive equation is Equation 4d: Equation 5d: Equation 6d: It is. The calculation cost for combining each pixel by the ART simplification method is And slightly higher than the cost of the Alpha Blend method. The algorithm reaches the opaque object or layer or before the layer is opaque May be applied from top to bottom until either the predetermined threshold is reached. You. This significantly reduces the total number of calculations in image construction using ART ◇ IM Can be done. Therefore, the composition of hybrid multi-layer images (animation and multimedia) A) requires less total computation. In addition, ART image model Improves the image quality associated with it, and makes it easier for writers to apply, Generate natural metaphors for imaging that easily extend to 3D imaging.ART Image capture in image data format: ART images are independent of the light source color and are measured for the transparency of the image object. Special digit because it is defined in a completely new format that can contain Tal photography process captures real images in ART image data format Required. One embodiment of this process is illustrated in FIG. Conventional process of taking a single picture of an object to generate an image data file Instead, this embodiment of the ART image capture process uses two photographs of each object. One photo was taken with the object placed in front of a non-reflective black background. The other was taken with the object placed in front of a fully reflective white background. You. The white background is Scotchlite, widely used in special effects photography^TMSuch as high Consists of a reflective surface. The black background is a high-absorbency surface and materials such as black velvet Is typically used. The color data is then converted from these photos to a standard color data file. Input to a computer in a format (such as "RGB"), and then Light source independent by normalizing using separately measured light source colors for components Converted to format. Then, the light source independent image data for the two material photographs becomes the material boundary Cut out to remove some of the background outside the rectangle, and then True is one of the ART image data formats by ART algorithms and methods Combined with image files. Once in this format, ART images The object images stored in the data format must execute the ART algorithm. And can be combined into a composite image. Finally, when the final composite image is completed , The light source independent ART component is multiplied by the color component of the selected viewing light source To convert these components into displayable color components. Two photographs of the object (white back RGB image data (on landscape and black background) to ART image data format A detailed description of the transformation is provided below. Here the above two-layer model algorithm is scanned into the RGB data format. To specify the conversion of two pictures of an object to the ART image data format Used. Data files for objects shot on black and white backgrounds ( RGB format) is shown in diagrammatic form in FIG. In the picture on the left , The object is photographed on a black background. This is because all light passing through the object is in the background Absorbed by the object and reflected back through the object, Ensures that it cannot be combined with light that is directly reflected back. Therefore, it is measured Light (scanned image data of the object in Photo 1) is directly reflected by the object It consists only of light that has been emitted. Conversely, by shooting an object against a white background, all Light is guaranteed to pass through the material and return upward. Therefore, the measurement in this case is The specified light is reflected directly by the object and reflected by the background through the object. It consists of both light that is emitted and re-transmits through this object. The unknown ART conversion components for object 1 in Photo 1 (black background) are r (1) and And t (1). Since a (1) = 1−r (1) −t (1), the light absorption by the object a (1) is Treated implicitly and not calculated in this application. On the other hand, the reflection, transmission and absorption conversion components of the black background itself are public due to their properties. Is knowledge. These properties are r (2) = 0, t (2) = 0, a (2) = 1 Because this black background absorbs all light that falls on the black background . R in equation 1a_τTo the light source normalized RGB value of the object in Photo 1 (one pixel Is set equal to Equation 8: Becomes However, since the reflection on the black background is zero, that is, r (2) = 0, The equation is Equation 8a: R_τ= Photo 1_RGB= r (1) And simplify it. Therefore, the reflection transform component of the object r (l) is exactly captured on a black background. Measured RGB values of the image of the object. The transformation components r (2) and t (2) on the black background are Equations 2a and 3a are equivalent to R_β= 0 and T = 0 is there. Equation 1a is the measured value of object 1 taken in photograph 2 against a white background (1 In pixels) Equation 9: And here is picture 2_RGBIs the light source normalized RGB value (in one pixel) of the object in Photo 2. is there. The reflection, transmission and absorption conversion components of the white background in Photo 2 are: r (3) = 1, t (3) = 0, a (3) = 0, and Equation 9 is Equation 9a: And simplify it. Then, since r (3) = 1 and t (3) = 0, equations 2a and 3a By the way, R_β= 1 and T = 0. Finally, from equation 8a Substituting the value of r (1) in Equation 9a gives Equation 10: Is obtained. Solving Equation 10 for t (1) gives Equation 11a: Is obtained. Therefore, two images of the object are converted from the RGB image data format to the ART image data format. In order to convert to the format, the reflection conversion component r (1) of the object must be captured on a black background. Or the light source normalized RGB value of the scanned object, and the transmission variation of the object t (1). The commutation component is defined by equation 11. In this embodiment, 100% of light falling on the background is not absorbed and reflected (respectively). Bias resulting from the use of imaginary black and white backgrounds are not addressed. More accurate If results are required, two additional images (black and white background only) Introduces a correction factor to compensate for this bias error. Let Can be captured and used forART Imaging system Systems based on ART imaging models and algorithms are There are many different ways that can be implemented depending on the image composition speed. ART The system can be implemented in hardware only, hardware and firmware The combination of hardware, firmware and software? It can be implemented, or even completely implemented in software. In this specification In order to simplify the description of the system presented in Defined as a process that acts sequentially on one pixel from the object (or layer) ( (See FIG. 4). Therefore, the system starts with the top object pixel and With the next pixel directly below it, then combine this pixel in the next layer below it Continue to combine with the pixels of Continue until you get This system is defined as one pixel process, but the actual implementation In, all images are all images of a given layer before the contribution of the next layer is calculated. It is calculated by combining elements. A functional block diagram of the system for executing the ART algorithm is shown in FIG. It is. This system operates as follows. The timing controller (10) The pixel address processor identifies the next new pixel of the top object added to the By instructing Sessa (block 12) (via connection "k"), Start the production process. The pixel address processor determines that this new pixel The position or address stored in the object memory (16) is determined, and this address is Pass to pixel access controller (14) via connection "a". The timing controller (10) then proceeds to this new object from the graphic object memory (16). The transform component for the new pixel and the previously configured from the blend accumulator register (18) Extended for accumulated or accumulated pixels (combined object above) Conversion component (R_τRGB, R_βRGBAnd T_RGB) To access pixel via connection "b" Let the controller read it. If the new object added to the scene is a single layer object, The format of the transform component passed over the continuation "b" is the format of the single layer object I.e., r_RGBAnd τ_RGB(The simple combination with the virtual layer in FIG. 9) Further As shown). The new object added to the scene is already a multi-layer object In some cases, the format of the component read out over connection "b" is R_τRGB, R_βR _GB And T_RGBIt is. Next, the timing controller (10) provides the pixel access controller with Transform component AL via connections "d" and "e" Present to U (20). The timing controller (10) then applies the equations 4a, 5a and 6a to the transform component ALU (20). To perform the calculations specified in R_τRGB, R_βRGBAnd T_RGB) Is generated. These new values are already there Includes the effect of new pixels being blended with other pixels being interlaced . The timing controller (10) then converts these new conversion components to the conversion component ALU (20). Minute into the blend accumulation register (18) again to provide one complete Complete the pixel blend cycle. The timing controller (10) provides an indication that the bottom pixel has finally been added. Receive from the raw address processor (12) via connection "k" or So that the blending at the next pixel contributes little to the final image When the accumulated pixels reach the threshold level of opacity (almost no transparency) Until this instruction is received from pixel access controller (14) via connection "k". Continue cycling down through all the pixels in such a way. Next, the timing system The controller (10) stores (via connection "k") the blended pixel in the blend accumulation register (18). Of the reflection transformation component (R_τRGB) Is written to pixel color ALU (22) via connection "g" . This component is the total reflection of the image at the pixel just calculated, and this changes once. When the conversion component is converted into a color, the viewer sees it. The timing controller Pixel color via connection "h" to light source color storage register (24) (via connection "k") ALU (22) is given a light source color value. Next, the timing controller (10) determines (via connection "k") the pixel color ALU (22). Then, a pixel color is calculated from the conversion component and the light source color according to Equation 7. last Then, the timing controller (10) controls the pixel color ALU (22) via the channel “i”. Output pixel color (via channel "k") to the graphical display interface (26) And where the pixel colors are formatted for the graphic display (28) You. The graphic display interface (26) then displays the image via connection "j". The color information is sequentially passed to the graphic display device (28). Although this system defines a single pixel step, in actual practice all images are Combine all pixels in a given layer before calculating odds for the next layer Can be calculated by The multi-layer object or scene composed by the ART system is composed of these composite images. (Complex) ART image data to hold all transform component information for It can be stored in the format. This allows the ART system to Images can be used as building blocks for more complex images. When intermediate storage of scenes composed by the ART system is desired, The mining controller (10) stores the complete set of transform components (R_τR _GB , R_βRGBAnd T_RGB) To the constituent image storage means (30). You. The constituent image storage means includes a magnetic tape, a magneto-optical disk, an optical disk, Any digital or solid-state memory (RAM, ROM, EPROM, Flash, etc.) Can take the form of, but not limited to, a barrel storage system. The configured or partially configured image stored in the configuration image storage means is To play back stored images or to generate new constituent images Combined with other objects stored in the graphic object storage memory (16) Or may be used later for either. Play back a previously composed image stored in the composed image storage means To this end, the timing controller (10) provides the constituent image storage means via connection "k" The reflection transform components (R_τRGB) Is connected to pixel color ALU (22) "m" And the above control steps are repeated to display an image. Different illumination Changes the appearance of these images naturally under bright light conditions (for example, To change to positive), the new light source color is stored in the light source color storage register (24) . Additional images are added to the previously constructed image stored in the composition image storage means (30). If an object has to be added, the timing controller (10) Connect image to graphic object image storage means (16) to storage means via "n" Output. These composite images are in the complex ART image data format. There are many graphic objects stored in the graphic object storage means The body is in a simple ART image data format. The conversion component ALU (20) is stored in the graphic object memory (16) An input is received from the register (14) via the pixel access controller (14) (FIG. 17). Here, the input from the graphic object memory is when the object is a single layer object Has r_RGBAnd t_RGB(Simple ART image data format) or new Rτ if the body itself is a multi-layer object or virtual layer_RGB, R_βRGBAnd T_RGB (Complex ART image data format) . The input from the blend accumulation register (the accumulated image up to this point) is R_τRGB, R_βRGBAnd T_RGBIt is. The pixel value newly calculated at the output of the conversion component ALU is also It is a hybrid ART format. Internally, the transform component ALU (TCALU) determines the number of color components in the selected color model and Consisting of one to four arithmetic logic units, depending on the amount of parallelism desired obtain. In a completely parallel design based on the RGB color model, the pixel being processed ART calculations (Eqs. 4a, 5a and 6a, or 4b, 5b And 6b), there are three ALUs (FIG. 18). In a pipelined design, within each TCALU (Figures 19 and 20) The components consist of arithmetic units connected in series or parallel for performing ART calculations. Can be. Figure 19 shows the calculation (real equation) for adding a real (single layer) object to an image. 4a, 5a and 6a), and FIG. 20 shows a calculation (virtual Figure 3 shows the object equations 4b, 5b and 6b). These examples quickly calculate ART imaging algorithms for RGB color models Here is one way to do that. As can be seen, the real and virtual object structures The total number of actions to do both is 27 multiply equivalents Yes (9x each for red ALU, green ALU and blue ALU). 19 and FIG. The same configuration as shown is used with binomial real and virtual object constitutive equations The total number of calculations is 18 times equivalent. If the calculation speed is not critical, each color component One TCALU may be used to calculate the transform components in turn. Furthermore, the final One arithmetic unit is used to expand parts of each term before the terms are calculated. It can be used inside TCALU together with the storage register unit.algorithm The algorithm used in ART ◇ IM is shown in flowchart form in FIG. And shown as an example in FIG. To simplify the description of the algorithm , These embodiments are for constructing one pixel from the pixels located in the lower layer. It is intended to show the process of Constructing an entire line segment from segments to be placed is performed in parallel You. The initial step in a typical run is to {1} initialize the stratum index to the top layer, {2} The conversion value (r_RGB, T_RGB) Blend accumulator (BAcc) And {3} to increment the layer index to the next layer. Next, two tests are performed. In the first test {4}, the stratum index was calculated as the index of the bottom stratum. By providing an exit to the layer configuration once all layers have been processed It is. The second test {5} sets the total transparency (T) of the pixel to the minimum opacity threshold (eg, For example, 98%) makes the contribution of the lower layer much smaller And the processing of the lower layer is terminated. This mechanism is not seen or image Process a large amount of image data that has very little effect on Means for top-to-bottom configuration to avoid writing and writing) I will provide a. Finally, information about the new layer is accessed and already included in the blend accumulator. {6} (with the ART ◇ IM algorithm in the previous section). When the final layer is processed, the light source color (L) is used to calculate the displayed color. {7} used with cumulative reflection in the element. The scenario on the left side of Fig. 22 shows a scene composed by the ART ◇ IM algorithm. You. This scene propagates through the cloudy window and blue cellophane, Reflected from the pull (golden apple) and seen after returning through cellophane and window It consists of a light source that produces light that reappears to humans. Tables 1, 2 and 3 show three of the fully constructed scenes shown on the right side of FIG. 2 shows ART ◇ IM calculation for two regions. The first row in Table 1 contains the RGB values of the light source. This value is the value of the final blend (R_τRGB) Is displayed in Table 3 Most Used to convert to final color. The evaluations in Table 1 reflect reflection, transmission and And transformation components of the object in the scene, expressed as absorption. Table 1. Transfer characteristics of object (percent) Table 2 shows the intermediate values of the blend accumulator (BAcc) when each object is constructed. Here, the top layer (frosted glass) is read into the blend accumulation register in blend 0. Blend 1 and Blend 2 are blue cellophane and golden up To the file continuously. Therefore, the value of the transform component in each row is , Represents the blend of all objects or layers above it. Table 3 shows the final changes in the three areas. This shows the conversion of the replacement component to the RGB color. Table 2. Calculation for the apple behind the blue cellophane scene Table 3. Convert final blend to RGB colorsConclusion: The fundamental difference between the image composition using the ART imaging model and the painter model is ART The data display (conversion component) in imaging is not only the color of the object, but To interact with light as well. This allows the light source to be independent An image display is generated, and the lighting of the final composition scene can change dramatically Which has natural and expected results. In addition, ART imaging model Image composition using a file can be performed from top to bottom. Therefore, the most important of the image The part (upper layer) is composed first, then the less important layers are combined in order Is done. This allows for the speed of image construction or image depending on imaging system requirements. A wide range of performance optimizations can be achieved. Two of the three ART imaging runs and the painter run are shown in FIG. ART In the case where only the reflection of the painter is performed (the above two cases), the image composition is This is done via an inter-algorithm. The difference between these runs is Data format is light source independent. This allows for different lighting conditions The image captured below can be easily composed and the lighting of the final scene Can be greatly changed. When transparency is added to the painter model (third case), the transparency of the image is enhanced. The "α" term is added to the color components to pass. Next, Alpha Blending Image composition is performed from the bottom through the algorithm. In binomial and exact ART implementations (in the case below), the captured image data is Normalized to extract source dependencies, and then the ART image data format It is converted to a conversion component. The image can then be binarized or a complete ART algorithm It is constructed from top to bottom by any of the algorithms. The substructure of an imaging system based on the ART imaging model is different from other imaging models. The underlying substructure is a data structure used for intermediate storage and organization of images. Different in mats. These data formats are used for image composition and display. To minimize storage and processing by the underlying graphics system, It is chosen to effectively fit byte, word and long word boundaries. these The storage format and video configuration hardware and software are To define each component depending on the requirements for speed and accuracy of visual representation Approximately more or less bits may be used. Similarly, these data Is compatible with various graphic output devices such as video displays or printers. Can be changed to make Table 4 shows the current ART along with potential ART ◇ IM formats. 1 illustrates a data format typically used in an imaging system. Painter + Blend ART @ IM Data format (RGB, α) (r_Rr_Gr_B, T_Rt_Gt_B) 24-bit direct color / conversion (888,8) 0.4% blend / (888,8) 0.4% blend / Minute step 32 bit word step 48 bit word 24-bit direct color (888,222) 25% blend / Step 32-bit word 18-bit direct color (666,6) 1.6% blend / Step 24-bit word 16-bit direct conversion component (555,555) 3% blend / Step 32-bit word 16-bit direct color / conversion (555,8) 0.4% blend / (555,333) 12.5% blend Minutes Step 24 bit word / Step 24 bit word Do 16-bit direct color (555,1) 0 or 100% blur 16-bit word 9-bit conversion component tape (333,222) 25% blend / Step 16-bit word Refer to 8-bit color table (8,8) 0.4% blend / slice Step 16-bit word Table 4. Comparison of image data formats The ART imaging model and its algorithm are used to construct images from top to bottom Provide only technology. The advantages of the ART method over currently used methods are: It is as follows. Light source independence-An object depends on how it transforms the interacting light. And are light source independent. When the color of the light source in the scene changes, Appearance automatically and naturally (without additional calculations) when images are reconstructed change. Intrinsic transparency-Transparency is a natural and intrinsic part of models and algorithms. Giving the object transparency or translucency when the object is animated; and , Which makes it easy to make all objects dramatically anti-aliased. Special alf Alpha field in pixel layer or pixel color values (required to support these With accompanying hardware and software complexes (complexlty) Not necessary. Natural and intuitive metaphor-These algorithms allow humans to know the world around them. By modeling the way we perceive, the writer or author can add new layers or Greatly allows this writer to visualize the final composite image when adding objects. Make it easier and more intuitive. Configuration order-In the ART imaging method, the composition order is interchangeable, so from front to back Both rear and front to rear configurations are possible. For a front-to-back configuration By implementing the ART method, it becomes necessary to compose a scene with many object layers. Data bus loading and calculations are significantly reduced, but this Need to compose parts of objects hidden behind other opaque objects Is lost. These methods are graceful degrading as complexity increases. (The most important part of the scene is the first, Generated), object transparency, anti-aliasing, crossfade, self and color adjustment And a simplified implementation of digital video effects such as tilting. 3D The ideal basis for imaging-Since ART ◇ IM is based on a ray tracing model, It is natural to extend the multi-layer 2D configuration to a 3D configuration with no metaphor contradiction. These extensions add directionality to incoming light, shading, and many more. Objects over multiple layers. ART ◇ IM benefits from top-down configuration (other opacity Eliminates the need to construct the part of the object that is hidden behind the object) The amount of data processing required for implementation is further reduced dramatically. Although the present invention has been described above with reference to specific embodiments, changes and modifications to the present invention are not It is expected to be undoubtedly clear to the trader. Therefore, the following claims are Encompasses all such changes and modifications to fall within the true spirit and scope of Ming It is intended to be understood as

───────────────────────────────────────────────────── フロントページの続き (72)発明者ネミロフスキー，マリオディー. アメリカ合衆国カリフォルニア 95129, サンホセ，ダブリュー．ウォルブルックドライブ 5999 【要約の続き】下付きの数字１、２および３は、選択された色モデルの成分を指す。────────────────────────────────────────────────── ─── Continuation of front page (72) Inventor Nemilovsky, Mario D. United States California 95129, San Jose, W. Walbrook Drive 5999 [Continuation of summary] Subscript numbers 1, 2 and 3 represent the selected color model Refers to a component.

Claims

[Claims] 1. Method of creating and storing image data in the form of a transform component corresponding to each pixel of an object And Placing the object in front of a background that substantially completely absorbs incident light; Irradiating the object; At least three reflection transform components r₁, R_Two, R_ThreeFor a first set of Measuring the percentage of incident light reflected from each pixel on the surface of the object; Wherein each of the reflection transform components is the inverse of one of the color components of the predetermined color model. Represents the emission value, Placing the object in front of a background that substantially completely reflects incident light; Irradiating the object with light; At least three pseudo-reflection transform components r '₁, R '_Two, R '_ThreeInto a second set of The percentage of incident light that appears to be reflected from each pixel on the surface of the object Measuring the stage. Proportional to the intensity of one color component of a given color model, Using the following relationship, the transmission conversion component t of each pixel₁, T_Two, T_ThreeThe process of determining , The six transform components r corresponding to each pixel of the object₁, R_Two, R_Three, T₁, T_Two, T_ThreeTo Storing. 2. The predetermined color model is an RGB data image format;₁, R_Two, r_ThreeRepresent the red, green and blue reflection transform components, respectively, and t₁, T_Two, T_ThreeIs each 2. The method of claim 1, wherein the components represent red, green, and blue transmission conversion components. 3. The predetermined color model is RGB, HLS, YUV, Lab, HSV, YIQ , CMY, and CMYK color components. Choice The method of claim 1 wherein the method is performed. 4. A composite image is displayed by combining two or more sets of previously stored image data. A method for forming a set of composite image data, comprising:₁Is the second image I_TwoAnd each pixel of the first image is₁ _τ, R_Two _τ, R_Three _τ, R₁ _β, R_Two _β, R_Three _β, T₁, T_Two, T_ThreeDefined by pixel data in the form , Where R₁ _τ, R_Two _τ, R_Three _τAre for each color component of the given color model. And a reflection conversion component corresponding to the light reflected back to the observer,₁ _β , R_Two _β, R_Three _βAre the observers for each color component of the predetermined color model, respectively. A reflection conversion component corresponding to light reflected away from₁, T_Two, T_ThreeHaso Each of the color components of the predetermined color model has a transmission variation corresponding to the transmitted light. And a conversion component R_τAnd T are given by the equation R_τ+ T + A_τ= 1 according to A, the absorption conversion component A for the light reflected back to the observer₁ _τ, A_Two _τ, A_Three _τIs implicit and the transform component R_βAnd T are given by the equation R_β+ T + A_β= 1 And the absorption conversion component A for light reflected away from the observer₁ _β , A_Two _β, A_Three _βIs implicit, and each pixel of the second image is r₁, R_Two, R_Three , T₁, T_Two, T_Three, Where r is₁, R_Two, R_ThreeHaso A reflection conversion component corresponding to each color component of the predetermined color model;₁, T_Two , T_ThreeAre transmission conversion components corresponding to the respective color components of the predetermined color model. , The transformation components r and t are related according to the equation r + t + a = 1, the absorption transformation component a₁, A_Two, A_ThreeIs implicit, Combining the pixel data of the first image with the pixel data of the second image; R ', representing the combined pixel data of the overlapping pixels of the two images₁ _τ, R '_Two _τ , R '_Three _τ, R '₁ _β, R '_Two _β, R '_Three _β, T '₁, T '_Two, T '_ThreeComposite image in the shape of Generating first composite image data including raw data, and Is achieved by solving the following equation: here, (I-1) is the first or uppermost image layer or the composite image layer I₁To Show, (I) is the second or composite image layer I just below (i-1)._TwoTo Show, R '_τ(I) returns to the observer from all layers above layer i, including layer i Reflection conversion component (R ') for light reflected as₁ _τ, R '_Two _τ, R '_Three _τ ) Collectively, R '_β(I) moves away from the observer from all layers above layer i, including layer i. Of the reflected light component (R ′)₁ _β, R '_Two _β, R '_Three _β ) Collectively, T ′ (i) depends on all layers above layer i, including layer i, in either direction. For the light that is also transmitted through₁, T '_Two, T '_Three) A method that shows jointly. 5. A composite image is displayed by combining two or more sets of previously stored image data. A method for forming a set of composite image data, comprising:₁Is the second image I_TwoAnd each pixel of the first image is₁ _τ, R_Two _τ, R_Three _τ, R₁ _β, R_Two _β, R_Three _β, T₁, T_Two, T_ThreeDefined by pixel data in the form , Where R₁ _τ, R_Two _τ, R_Three _τAre for each color component of the given color model. And a reflection conversion component corresponding to the light reflected back to the observer,₁ _β , R_Two _β, R_Three _βAre the observers for each color component of the predetermined color model, respectively. A reflection conversion component corresponding to light reflected away from₁, T_Two, T_ThreeHaso Each of the color components of the predetermined color model has a transmission variation corresponding to the transmitted light. And a conversion component R_τAnd T are given by the equation R_τ+ T + A_τ= 1 according to Absorption conversion component A for light reflected back to the observer₁ _τ, A_Two _τ, A_Three _τIs implicit and the transform component R_βAnd T are given by the equation R_β+ T + A_β= 1 And the absorption conversion component A for light reflected away from the observer₁ _β , A_Two _β, A_Three _βIs implicit, and each pixel of the second image is r₁, R_Two, R_Three , T₁, T_Two, T_Three , Where r is₁, R_Two, R_ThreeIs the predetermined Is a reflection conversion component corresponding to each color component of the color model of₁, T_Two, T_ThreeEach And a transmission conversion component corresponding to each color component of the predetermined color model. And t are related according to the equation r + t + a = 1, the absorption transformation component a₁, A_Two, A_Three Is implicit, Combining the pixel data of the first image with the pixel data of the second image; R ', representing the combined pixel data of the overlapping pixels of the two images₁ _τ, R '_Two _τ , R '_Three _τ, R '₁ _β, R '_Two _β, R '_Three _β, T '₁, T '_Two, T '_ThreeComposite image in the shape of Generating first composite image data including raw data, and Is achieved by solving the following equation: here, (I-1) is the first or uppermost image layer or the composite image layer I₁To Show, (I) is the second or composite image layer I just below layer (i-1)._Two Indicates that R '_τ(I) returns to the observer from all layers above layer i, including layer i Reflection conversion component (R ') for light reflected as₁ _τ, R '_Two _τ, R '_Three _τ ) Collectively, R '_β(I) moves away from the observer from all layers above layer i, including layer i. Of the reflected light component (R ′)₁ _β, R '_Two _β, R '_Three _β ) Collectively, T ′ (i) depends on all layers above layer i, including layer i, in either direction. For the light that is also transmitted through₁, T '_Two, T '_Three) A method that shows jointly. 6. A composite image is displayed by combining two or more sets of previously stored image data. A method for forming a set of composite image data, comprising:₁Is the second image I_TwoAnd each pixel of the first image and the second image Each pixel of R₁ _τ, R_Two _τ, R_Three _τ, R₁ _β, R_Two _β, R_Three _β, T₁, T_Two, T_ThreeForm of , Where R₁ _τ, R_Two _τ, R_Three _τRespectively For each color component of the color model, the color component corresponding to the light reflected back to the observer R₁ _β, R_Two _β, R_Three _βAre the respective colors of the predetermined color model. Component is a reflection conversion component corresponding to light reflected away from the observer. , T₁, T_Two, T_ThreeAre the transmittances of the respective color components of the predetermined color model. A transmission conversion component corresponding to the reflected light, and a conversion component R_τAnd T are given by the equation R_τ+ T + A_τ= 1 absorption associated with light reflected back to the observer Conversion component A₁ _τ, A_Two _τ, A_Three _τIs implicit and the transform component R_τAnd T are Formula R_β+ T + A_β= 1, related to light reflected away from the observer Absorption conversion component A₁ _β, A_Two _β, A_Three _βIs implicit, Combining the pixel data of the first image with the pixel data of the second image; R ', representing the combined pixel data of the overlapping pixels of the two images₁ _τ, R '_Two _τ , R '_Three _τ, R '₁ _β, R '_Two _β, R '_Three _β, T '₁, T '_Two, T '_ThreeComposite image in the shape of Generating first composite image data including raw data, and Is achieved by solving the following equation: here, (I-1) is the first or uppermost image layer or the composite image layer I₁To Show, (I) is the second or composite image layer I just below (i-1)._TwoTo Show, R '_τ(I) returns to the observer from all layers above layer i, including layer i Reflection conversion component (R ') for light reflected as₁ _τ, R '_Two _τ, R '_Three _τ ) Collectively, R '_β(I) moves away from the observer from all layers above layer i, including layer i. Of the reflected light component (R ′)₁ _β, R '_Two _β, R '_Three _β ) Collectively, T ′ (i) depends on all layers above layer i, including layer i, in either direction. For the light that is also transmitted through₁, T '_Two, T '_Three) A method that shows jointly. 7. A composite image is displayed by combining two or more sets of previously stored image data. A method for forming a set of composite image data, comprising:₁Is the second image I_TwoAnd each pixel of the first image and the second image Each pixel of R₁ _τ, R_Two _τ, R_Three _τ, R₁ _β, R_Two _β, R_Three _β, T₁, T_Two, T_ThreeForm of , Where R₁ _τ, R_Two _τ, R_Three _τRespectively Each color component in the color model format is reflected back to the observer. Is a reflection conversion component corresponding to light₁ _β, R_Two _β, R_Three _βIs the predetermined For each color component of the color model corresponding to the light reflected away from the observer A reflection conversion component, T₁, T_Two, T_ThreeAre the respective color components of the predetermined color model. Is a transmission conversion component corresponding to the transmitted light, and a conversion component R_τAnd T Is the equation R_τ+ T + A_τ= 1, related and reflected back towards the observer Absorption conversion component A for light₁ _τ, A_Two _τ, A_Three _τIs implicit and the transformation Minute R_βAnd T are given by the equation R_β+ T + A_β= 1 related and away from the observer Component A for light reflected off₁ _β, A_Two _β, A_Three _βIs implicit Yes, Combining the pixel data of the first image with the pixel data of the second image; R ', representing the combined pixel data of the overlapping pixels of the two images₁ _τ, R '_Two _τ , R '_Three _τ, R '₁ _β, R '_Two _β, R '_Three _β, T '₁, T '_Two, T '_ThreeComposite image in the shape of Generating first composite image data including raw data, and of The combination is achieved by solving the following equation: here, (I-1) is the first or uppermost image layer or the composite image layer I₁To Show, (I) is the second or composite image layer I just below layer (i-1)._Two Indicates that R '_τ(I) returns to the observer from all layers above layer i, including layer i Reflection conversion component (R ') for light reflected as₁ _τ, R '_Two _τ, R '_Three _τ ) Collectively, R '_β(I) moves away from the observer from all layers above layer i, including layer i. Of the reflected light component (R ′)₁ _β, R '_Two _β, R '_Three _β ) Collectively, T ′ (i) depends on all layers above layer i, including layer i, in either direction. For the light that is also transmitted through₁, T '_Two, T '_Three) A method that shows jointly. 8. At least a portion of one of the first and second images is a third image On the part of By solving the equation again, the combined pixel data of the first combined image Is combined with the pixel data of the third image to obtain R ′₁ _τ, R '_Two _τ, R '_Three _τ, R '₁ _β, R '_Two _β, R '_Three _β, T '₁, T '_Two, T '_ThreeContains composite pixel data of the form 7. The method of claim 4, further comprising obtaining a second set of composite image data. 8. The method according to any one of claims 7 and 8. 9. The reflection conversion component R '₁ _τ, R '_Two _τAnd R '_Three _τAnd the light component value L₁, L_TwoYou And L_Three, The light source is arranged on the layer in a state where the light source is arranged on the layer. Color value C corresponding to each pixel of the final composite image seen₁, C_Two, C_ThreeThe process of determining Further encompasses, where C₁, C_Two, C_ThreeCorresponds to each color component of the predetermined color model. Is a value used to display the color of the pixel₁, L_Two, L_ThreeIs the predetermined color 7. The measured light source color component value corresponding to each color component of the model. The method according to any one of claims 7 and 8. 10. The transmission conversion component T '₁, T '_TwoAnd T '_ThreeAnd the light component value L₁, L_Twoand L_Three, The light source is arranged above the layer and viewed from below the layer. Color value C corresponding to each pixel of the final synthesized image₁, C_Two, C_ThreeThe process of determining Where C₁, C_Two, C_ThreeIs the image corresponding to each color component of the predetermined color model. Value used to display the elementary color, L₁, L_Two, L_ThreeIs a predetermined color model 7. The measured light source color component value corresponding to each color component of the image. 8. The method according to any one of claims 7 and 8. 11. The transmission conversion component T '₁, T '_TwoAnd T '_ThreeAnd the light component value L₁, L_Twoand L_Three, The light source is placed under the layer and viewed from above the layer. Color value C corresponding to each pixel of the final synthesized image₁, C_Two, C_ThreeThe process of determining Where C₁, C_Two, C_ThreeIs the image corresponding to each color component of the predetermined color model. Value used to display the elementary color, L₁, L_Two, L_ThreeIs a predetermined color model 7. The measured light source color component value corresponding to each color component of the image. 8. The method according to any one of claims 7 and 8. 12. The reflection conversion component R '₁ _β, R '_Two _β, And R '_Three _βAnd the light component value L₁, L_Two And L_Three, The light source is arranged below the layer with the light source arranged below the layer. Color value C corresponding to each pixel of the final composite image seen from₁, C_Two, C_ThreeThe process of determining Further comprising where C₁, C_Two, C_ThreeCorresponds to each color component of the given color model Is a value used to display the color of the pixel₁, L_Two, L_ThreeIs a given color 7. The measured light source color component value corresponding to each color component of the model. The method according to any one of claims 7 and 8. 13. Creates and stores image data in the form of a transform component corresponding to each pixel of the object. Device for For illuminating objects placed in front of a background that substantially completely absorbs the incident light Means, At least three reflection transform components r₁, R_Two, R_ThreeFor a first set of Hand to measure the percentage of incident light reflected from each pixel on the surface of the object And each of the reflection transform components relates to one color component of a predetermined color model. Represents the reflected light value, Means for positioning the object in front of a background that substantially completely reflects incident light; Means for illuminating the object; At least three pseudo-reflection transform components r '₁, R '_Two, R '_ThreeInto a second set of The percentage of incident light that appears to be reflected from each pixel on the surface of the object Means for measuring the stage. Proportional to the intensity of one color component of the predetermined color model, Using the following relationship, the transmission conversion component t of each pixel₁, T_Two, T_ThreeMeans to determine , The six transform components r corresponding to each pixel of the object₁, R_Two, R_Three, T₁, T_Two, T_ThreeTo Means for storing. 14． The predetermined color model is an RGB data image format;₁, R_Two , R_ThreeRepresent the red, green and blue reflection transform components, respectively, and t₁, T_Two, T_ThreeEach 14. The device of claim 13, wherein the device represents a red, green, and blue transmission conversion component. 15. The predetermined color model is RGB, HLS, YUV, Lab, HSV, YI From a group of image data formats consisting of Q, CMY, and CMYK color components 14. The device according to claim 13, which is selected. 16. Combining two or more sets of previously stored image data into a composite image An apparatus for forming a set of synthetic image data to be represented, comprising:₁Is the Image I of 2_TwoAnd each pixel of the first image is₁ _τ, R_Two _τ, R_Three _τ, R₁ _β, R_Two _β, R_Three _β, T₁, T_Two, T_ThreePixel data in the form Where R₁ _τ, R_Two _τ, R_Three _τAre the respective color components of the given color model Is a reflection conversion component corresponding to light reflected back toward the observer. , R₁ _β, R_Two _β, R_Three _βAre observed for each color component of the predetermined color model. A reflection conversion component corresponding to light reflected away from the observer,₁, T_Two, T_Three Respectively correspond to the transmitted light for each color component of the predetermined color model. A transmission conversion component, and a conversion component R_τAnd T are given by the equation R_τ+ T + A_τ= 1 And the absorption conversion component A for light reflected back to the observer.₁ _τ, A_Two _τ, A_Three _τIs implicit and the transform component R_βAnd T are given by the equation R_β+ T + A_β = 1 Absorption transformation for light related and reflected away from the observer according to 1. Component A₁ _β, A_Two _β, A_Three _βIs implicit, and each pixel of the second image is r₁, R_Two , R_Three, T₁, T_Two, T_Three, Where r is₁, R_Two, r_ThreeAre reflection conversion components corresponding to each color component of the predetermined color model, respectively. t₁, T_Two, T_ThreeAre transmission conversion components corresponding to the respective color components of the predetermined color model. And the transform components r and t are related according to the equation r + t + a = 1, Conversion component a₁, A_Two, A_ThreeIs implicit, Combining the pixel data of the first image with the pixel data of the second image; R ', representing the combined pixel data of the overlapping pixels of the two images₁ _τ, R '_Two _τ , R '_Three _τ, R '₁ _β, R '_Two _β, R '_Three _β, T '₁, T '_Two, T '_ThreeComposite image in the shape of Means for producing first composite image data including the raw data, The data combination is achieved by solving the following equation: here, (I-1) is the first or uppermost image layer or the composite image layer I₁To Show, (I) is the second or composite image layer I just below (i-1)._TwoTo Show, R '_τ(I) returns to the observer from all layers above layer i, including layer i Reflection conversion component (R ') for light reflected as₁ _τ, R '_Two _τ, R '_Three _τ ) Collectively, R '_β(I) moves away from the observer from all layers above layer i, including layer i. Of the reflected light component (R ′)₁ _β, R '_Two _β, R '_Three _β ) Collectively, T ′ (i) depends on all layers above layer i, including layer i, in either direction. For the light that is also transmitted through₁, T '_Two, T '_Three) A device that is shown jointly. 17． Combining two or more sets of previously stored image data into a composite image An apparatus for forming a set of synthetic image data to be represented, comprising:₁Is the Image I of 2_TwoAnd each pixel of the first image is₁ _τ, R_Two _τ, R_Three _τ, R₁ _β, R_Two _β, R_Three _β, T₁, T_Two, T_ThreePixel data in the form Where R₁ _τ, R_Two _τ, R_Three _τIs for each color component of the given color model , A reflection conversion component corresponding to the light reflected back to the observer,₁ _β , R_Two _β, R_Three _βRespectively, for each color component of the predetermined color model, A reflection conversion component corresponding to light reflected away,₁, T_Two, T_ThreeIs it For each color component of the predetermined color model, a transmission conversion corresponding to the transmitted light Component, and the conversion component R_τAnd T are given by the equation R_τ+ T + A_τ= 1 related And the absorption conversion component A for the light reflected back to the observer.₁ _τ, A_Two _τ, A_Three _τ Is implicit and the transform component R_βAnd T are given by the equation R_β+ T + A_β= 1 Accordingly, the absorption conversion component A for the related and reflected light away from the observer₁ _β , A_Two _β, A_Three _βIs implicit, and each pixel of the second image is r₁, R_Two, R_Three , T₁, T_Two, T_Three , Where r is₁, R_Two, R_ThreeIs a given A reflection conversion component corresponding to each color component of the color model;₁, T_Two, T_ThreeAre each , A transmission conversion component corresponding to each color component of the predetermined color model, And t are related according to the equation r + t + a = 1 and the absorption transformation component a₁, A_Two, A_ThreeIs Is implicit, Combining pixel data of each pixel of the first image with pixel data of the second image; R ′, which represents the combined pixel data of the overlapping pixels of the two images.₁ _τ , R '_Two _τ, R '_Three _τ, R '₁ _β, R '_Two _β, R '_Three _β, T '₁, T '_Two, T '_ThreeForm of Means for producing first composite image data including the composite pixel data of The combination of the pixel data obtained is achieved by solving the following equation, here, (I-1) is the first or uppermost image layer or the composite image layer I₁To Show, (I) is the second or composite image layer I just below layer (i-1)._Two Indicates that R '_τ(I) returns to the observer from all layers above layer i, including layer i Reflection conversion component (R ') for light reflected as₁ _τ, R '_Two _τ, R '_Three _τ ) Collectively, R '_β(I) moves away from the observer from all layers above layer i, including layer i. Of the reflected light component (R ′)₁ _β, R '_Two _β, R '_Three _β ) Collectively, T ′ (i) depends on all layers above layer i, including layer i, in either direction. For the light that is also transmitted through₁, T '_Two, T '_Three) A device that is shown jointly. 18. Combining two or more sets of previously stored image data into a composite image An apparatus for forming a first image I₁Is the second image I_TwoAt least one of And each pixel of the first image and each pixel of the second image₁ _τ , R_Two _τ, R_Three _τ, R₁ _β, R_Two _β, R_Three _β, T₁, T_Two, T_ThreePixel data of the form Where R₁ _τ, R_Two _τ, R_Three _τAre the respective color components of the given color model. The reflection conversion component corresponding to the light reflected back to the observer R₁ _β, R_Two _β, R_Three _βAre, for each color component of the predetermined color model, A reflection conversion component corresponding to light reflected away from the observer,₁, T_Two, T_ThreeRespectively correspond to the transmitted light for each color component of the predetermined color model. A transmission conversion component, and a conversion component R_τAnd T are given by the equation R_τ+ T + A_τ= 1 Accordingly, the absorption conversion component A for the relevant and reflected light back to the observer₁ _τ , A_Two _τ, A_Three _τIs implicit and the transform component R_βAnd T are given by the equation R_β+ T + A_β= 1, the absorption change for light reflected away from the observer. Replacement component A₁ _β, A_Two _β, A_Three _βIs implicit, Combining the pixel data of the first image with the pixel data of the second image; R ', representing the combined pixel data of the overlapping pixels of the two images₁ _τ, R '_Two _τ , R '_Three _τ, R '₁ _β, R '_Two _β, R '_Three _β, T '₁, T '_Two, T '_ThreeComposite image in the shape of Means for producing first composite image data including the raw data, The data combination is achieved by solving the following equation: here, (I-1) is the first or uppermost image layer or the composite image layer I₁To Show, (I) is the second or composite image layer I just below (i-1)._TwoTo Show, R '_τ(I) returns to the observer from all layers above layer i, including layer i Reflection conversion component (R ') for light reflected as₁ _τ, R '_Two _τ, R_Three _τ ) Collectively, R '_β(I) moves away from the observer from all layers above layer i, including layer i. Of the reflected light component (R ′)₁ _β, R '_Two _β, R '_Three _β ) Collectively, T ′ (i) depends on all layers above layer i, including layer i, in either direction. For the light that is also transmitted through₁, T '_Two, T '_Three) A device that is shown jointly. 19. Combining two or more sets of previously stored image data into a composite image An apparatus for forming a set of synthetic image data to be represented, comprising:₁Is the Image I of 2_TwoAnd at least a portion of the first image and each pixel of the first image Each pixel of the second image is R₁ _τ, R_Two _τ, R_Three _τ, R₁ _β, R_Two _β, R_Three _β, T₁, T_Two, T_Three, Where R₁ _τ, R_Two _τ, R_Three _τAre each , For each color component of a given color model, the light reflected back to the viewer The corresponding reflection transformation component, R₁ _β, R_Two _β, R_Three _βAre the predetermined color models, respectively. For each color component of Dell, the reflection change corresponding to the light reflected away from the observer Component, and T₁, T_Two, T_ThreeAre the respective color components of the predetermined color model. And a transmission conversion component corresponding to the transmitted light, and a conversion component R_τAnd T are Formula R_τ+ T + A_τ= 1 associated with the light reflected back to the observer Absorption conversion component A₁ _τ, A_Two _τ, A_Three _τIs implicit and the transform component R_βAnd And T are given by the equation R_β+ T + A_β= 1, related and reflected away from the observer Absorption conversion component A for the light to be₁ _β, A_Two _β, A_Three _βIs implicit, Combining the pixel data of the first image with the pixel data of the second image; R ', representing the combined pixel data of the overlapping pixels of the two images₁ _τ, R '_Two _τ , R '_Three _τ, R '₁ _β, R '_Two _β, R '_Three _β, T '₁, T '_Two, T '_ThreeComposite image in the shape of Means for producing first composite image data including the raw data, ー Is achieved by solving the following equation:here, (I-1) is the first or uppermost image layer or the composite image layer I₁To Show, (I) is the second or composite image layer I just below layer (i-1)._Two Indicates that R '_τ(I) returns to the observer from all layers above layer i, including layer i Reflection conversion component (R ') for light reflected as₁ _τ, R '_Two _τ, R '_Three _τ ) Collectively, R '_β(I) moves away from the observer from all layers above layer i, including layer i. Of the reflected light component (R ′)₁ _β, R '_Two _β, R '_Three _β ) Collectively, T ′ (i) depends on all layers above layer i, including layer i, in either direction. For the light that is also transmitted through₁, T '_Two, T '_Three) A device that is shown jointly. 20. At least a portion of one of the first and second images is a third image. On the part of the statue, By solving the equation again, the combined pixel data of the first combined image Is combined with the pixel data of the third image to obtain R ′₁ _τ, R '_Two _τ, R '_Three _τ, R '₁ _β, R '_Two _β, R '_Three _β, T '₁, T '_Two, T '_ThreeContains composite pixel data of the form 19. The method according to claim 16, further comprising: means for obtaining second composite image data. Or the apparatus according to any one of 19. 21. The reflection conversion component R '₁ _τ, R '_Two _τAnd R '_Three _τAnd the light component value L₁, L_Two And L_ThreeBy applying a light source on the layer in a state where the light source is arranged on the layer. Color value C corresponding to each pixel of the final composite image seen from₁, C_Two, C_ThreeTo determine Further comprising:₁, C_Two, C_ThreeFor each color component of the given color model A value used to display the color of the corresponding pixel, L₁, L_Two, L_ThreeIs the place 17. A light source color component value measured corresponding to each color component of a fixed color model. 20. The apparatus according to any one of claims 17, 17, 18 or 19. 22. The transmission conversion component T '₁, T '_TwoAnd T '_ThreeAnd the light component value L₁, L_Twoand L_Three, The light source is arranged above the layer and viewed from below the layer. Color value C corresponding to each pixel of the final synthesized image₁, C_Two, C_ThreeMeans to determine Further including where C₁, C_Two, C_ThreeCorresponds to each color component of the predetermined color model A value used to display the color of the pixel, L₁, L_Two, L_ThreeIs the color model 18. The light source color component value measured corresponding to each Dell color component. 20. Apparatus according to any of 18 or 19. 23. The transmission conversion component T '₁, T '_TwoAnd T '_ThreeAnd the light component value L₁, L_Twoand L_Three, The light source is placed under the layer and viewed from above the layer. Color value C corresponding to each pixel of the final synthesized image₁, C_Two, C_ThreeMeans for determining Where C₁, C_Two, C_ThreeCorresponds to each color component of the predetermined color model. Is a value used to display the color of the pixel₁, L_Two, L_ThreeIs the predetermined color 18. The light source color component value measured corresponding to each color component of the model. 20. An apparatus according to any of claims 18 to 19. 24. The reflection conversion component R '₁ _β, R '_Two _βAnd R '_Three _βAnd the light component value L₁, L_Two And L_Three, The light source is arranged below the layer with the light source arranged below the layer. Color value C corresponding to each pixel of the final composite image seen from₁, C_Two, C_ThreeTo determine Further comprising:₁, C_Two, C_ThreeFor each color component of the given color model A value used to display the color of the corresponding pixel, L₁, L_Two, L_ThreeIs the place Set 16. The measured light source color component value corresponding to each color component of the color model of 20. Apparatus according to any of 17, 18 or 19. 25. A device for creating composite images by combining multiple layers of images And at least a portion of each layer includes at least one of the layers below the layer. At least on one part, Memory means for storing pixel data corresponding to each pixel of each of a plurality of images And the pixel data is r₁, R_Two, R_Three, T₁, T_Two, T_ThreeIs stored in the form The term is a reflection conversion component for one color component of a predetermined color model, and each term of the t term Are transmission conversion components for one color component of the color model, On the second image represented by the second pixel data stored in the memory means First receiving first pixel data corresponding to a pixel of a first image, and After that, the combined image data formed by the combination of the first and second pixel data Data representing the image to be processed and the image to be covered by the previously accumulated image. And subsequent combinations of the accumulated composite image data having the raw data. Accumulator means; The pixel data corresponding to the image stored in the memory means is taken out by addressing. And outputs an image corresponding to the accumulated composite image data included in the accumulator means. Read / write means for addressing and extracting elementary data; The pixel data retrieved from the memory means and the pixel data retrieved from the accumulator means. Receiving the combined pixel data and calculating new combined image data Calculating means for inputting to the input means, such calculation comprising: Realized according to here, (I-1) is the first or uppermost image layer or the composite image layer I₁To Show, (I) is the second or composite image layer I just below layer (i-1)._Two Indicates that R '_τ(I) returns to the observer from all layers above layer i, including layer i Reflection conversion component (R ') for light reflected as₁ _τ, R '_Two _τ, R '_Three _τ ) Collectively, R '_β(I) moves away from the observer from all layers above layer i, including layer i. Of the reflected light component (R ′)₁ _β, R '_Two _β, R '_Three _β ) Collectively, T ′ (i) depends on all layers above layer i, including layer i, in either direction. For the light that is also transmitted through₁, T '_Two, T '_Three) Jointly, Means for generating a light source color value; For each pixel of the accumulated composite image, the composite counter calculated by the accumulator means is calculated. R ′₁, R '_Two, R '_ThreeAnd the composite reflection transform component R ′₁, R '_Two, R '_ThreeIs multiplied by the light source color value to obtain a pixel color component for each pixel of the composite image. C₁, C_TwoAnd C_ThreePixel color calculation means for generating Display means responsive to the pixel color component and operative to display the composite image And wherein C₁, C_Two, C_ThreeCorresponds to each color component of a given color model. A value used to display the color of the corresponding pixel, L₁, L_Two, L_ThreeIs prescribed A measured light source color component value corresponding to each color component of the color model. 26. An arithmetic unit including a logic circuit for realizing the equation; 26. The device of claim 25, wherein the device is 27. Argument for the pixel color calculation means to multiply each combined reflection component by the light source color value 26. The apparatus according to claim 25, which is an arithmetic unit including a logic circuit. 28. The means for combining realizes the following mathematical relationship, Composite pixel conversion component R 'for each pixel of the image_τ, R '_β, And T ' Arithmetic logic unit, here, (I-1) is the first or uppermost image layer or the composite image layer I₁ Indicates that (I) is the second or composite image layer I just below layer (i-1)._Two Indicates that R '_τ(I) returns to the observer from all layers above layer i, including layer i Reflection conversion component (R ') for light reflected as₁ _τ, R '_Two _τ, R '_Three _τ ) Collectively, R '_β(I) moves away from the observer from all layers above layer i, including layer i. Of the reflected light component (R ′)₁ _β, R '_Two _β, R '_Three _β ) Collectively, T ′ (i) depends on all layers above layer i, including layer i, in either direction. Of the transmitted light (T ')₁, T '_Two, T '_ThreeCollective) The image synthesizing apparatus according to claim 27, wherein 29. An image format for storing the composite image data accumulated by the accumulator means; Storage means, and the stored composite image data is stored in the pixel color calculation means. Accessible and transferable to the memory means for subsequent use 26. The device of claim 25, wherein 30. The calculation means calculates R ′ for each color component of the selected color model._τ(I) , R '_β(I) and a plurality of operations for calculating the conversion components of T '(i), respectively. 26. The device of claim 25, comprising a surgical unit. 31. The calculating means includes a plurality of arithmetic units connected in parallel to perform the calculation. 26. The apparatus of claim 25, implemented in the form of a pipelined logic circuit that includes packets. . 32. The accumulated transparent conversion component T ′ (i) of each pixel of the accumulated pixel data is Compare it with a predetermined minimum opacity threshold, and if it exceeds that threshold, 26. The apparatus of claim 25, further comprising means for terminating processing of lower layers. 33. The means for combining realizes the following mathematical relationship, Composite pixel conversion component R 'for each pixel of the image_τ, R '_β, And T ' Arithmetic logic unit, here, (I-1) is the first or uppermost image layer or the composite image layer I₁ Indicates that (I) is the second or composite image layer I just below (i-1)._Two Indicates that R '_τ(I) returns to the observer from all layers above layer i, including layer i Reflection conversion component (R ') for light reflected as₁ _τ, R '_Two _τ, R '_Three _τ ) Collectively, R '_β(I) moves away from the observer from all layers above layer i, including layer i. Of the reflected light component (R ′)₁ _β, R '_Two _β, R '_Three _β ) Collectively, T ′ (i) depends on all layers above layer i, including layer i, in either direction. For the light that is also transmitted through₁, T '_Two, T '_Three) 26. The image synthesizing device according to claim 25, which is collectively shown. 34. The means for combining realizes the following mathematical relationship, Composite pixel conversion component R 'for each pixel of the image_τ, R '_β, And T ' Arithmetic logic unit, here, (I-1) is the first or uppermost image layer or the composite image layer I₁ Indicates that (I) is the second or composite image layer I just below (i-1)._Two Indicates that R '_τ(I) returns to the observer from all layers above layer i, including layer i Reflection conversion component (R ') for light reflected as₁ _τ, R '_Two _τ, R '_Three _τ ) Collectively, R '_β(I) moves away from the observer from all layers above layer i, including layer i. Of the reflected light component (R ′)₁ _β, R '_Two _β, R '_Three _β ) Collectively, T ′ (i) depends on all layers above layer i, including layer i, in either direction. For the light that is also transmitted through₁, T '_Two, T '_Three) 26. The image synthesizing device according to claim 25, which is collectively shown. 35. An image compositing device for composing a stack of images to be combined from top to bottom. And Scan the image and r₁, R_Two, R_Three, T₁, T_Two, T_ThreePixel data of the form Means for making, where r₁, R_Two, R_ThreeAre for a given color model A reflection conversion component corresponding to each color component;₁, T_Two, T_ThreeAre the predetermined A transmission conversion component corresponding to each color component of the color model, and the conversion components r and t In accordance with the equation r + t + a = 1, the absorption conversion component a₁, A_Two, A_ThreeIs implicit Yes, The pixel data of the top image or the previously combined image is In combination with the pixel data of the lower image located immediately below A reflection conversion component R 'representing light reflected by the image toward the scanning means._τAnd the upper side And a reflection conversion component representing light reflected by the lower image away from the scanning means. Minute R '_βAnd a transmission conversion component T 'representing light transmitted in an arbitrary direction. Means, Means for accumulating the three sets of components; From the last composite accumulation, the conversion component R '^τAnd convert such components Means for generating color pixel information by multiplying the selected color value by Display means for displaying the composite image using the color pixel information. Well, an image synthesis device.