[go: up one dir, main page]

WO2003034343A1 - Hierarchical sort of objects linked in virtual three-dimensional space - Google Patents

Hierarchical sort of objects linked in virtual three-dimensional space Download PDF

Info

Publication number
WO2003034343A1
WO2003034343A1 PCT/JP2001/009052 JP0109052W WO03034343A1 WO 2003034343 A1 WO2003034343 A1 WO 2003034343A1 JP 0109052 W JP0109052 W JP 0109052W WO 03034343 A1 WO03034343 A1 WO 03034343A1
Authority
WO
WIPO (PCT)
Prior art keywords
objects
image
rendering
data
visual field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2001/009052
Other languages
English (en)
French (fr)
Inventor
Toru Kamiwada
Takushi Fujita
Takuya Sakamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to PCT/JP2001/009052 priority Critical patent/WO2003034343A1/ja
Priority to EP01974863A priority patent/EP1437687B1/en
Priority to JP2003536997A priority patent/JP3949109B2/ja
Priority to DE60136498T priority patent/DE60136498D1/de
Publication of WO2003034343A1 publication Critical patent/WO2003034343A1/ja
Priority to US10/817,006 priority patent/US7142207B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree

Definitions

  • the present invention relates to rendering images of three-dimensional objects, and more particularly, to hierarchically sorting a plurality of linked objects in a virtual three-dimensional space to render object images efficiently.
  • the shopping mall may be a three-dimensional virtual world.
  • Many virtual 3D product objects are placed in the virtual store object in the shopping mall.
  • the image of the 3D virtual shopping mall is generated and displayed on the server's machine or client machine using the virtual 3D image display program.
  • One of the objects in the virtual shopping mall may be linked to other objects in it using URL.
  • the object is arranged in a virtual three-dimensional space, and the object is projected on a two-dimensional plane according to a user's view in the space to generate a two-dimensional image. indicate.
  • each image When two objects appear to overlap from the user's point of view, each image must be generated such that the overlap of one distant object is hidden behind another close object. Also, when a translucent object is placed, each image must be generated so that the object behind it can be seen through the translucent object.
  • the Z-buffer algorithm is generally used to properly handle the overlap between objects viewed from the viewpoint. This algorithm separates an object into its component polygons when rendering (drawing) images of multiple objects on a 2D frame 'buffer memory. ⁇ The z value indicating the relative positional relationship between polygons is stored in the so-called z buffer.
  • the algorithm compares the Z values of those polygons to determine the object closest to the viewpoint. Only the pixel of the final is stored in that location.
  • the so-called alpha blending method is used to render the color of the pixels of another object polygon placed behind it according to the transparency of the polygon of the translucent object. Renders a color value that is a mixture of translucent object and polygon pixel colors in its frame and buffer memory.
  • the inventor has recognized that an object image can be efficiently rendered by hierarchically sorting a plurality of linked three-dimensional objects.
  • An object of the present invention is to efficiently render images of a plurality of three-dimensional objects.
  • Another object of the invention is to sort linked three-dimensional objects in an advantageous manner for rendering images of the objects.
  • the information processing device displays a plurality of linked objects in the three-dimensional virtual space according to the visual field data.
  • the control means included in the information processing apparatus performs the object Generate an image of a number of objects and render the generated image on a 2D frame.
  • the control means hierarchically sorts the objects according to link data representing the links between the objects for the rendering.
  • control means renders images and Z or partial images of the objects according to the order determined by the hierarchical sort and the links between the objects.
  • the control means can use the images and Z or partial images of the objects in the group according to the distance from the viewpoint. Render in order.
  • the information processing device generates images of a plurality of objects from object data according to a visual field, and renders the generated images on a two-dimensional frame.
  • Control means are provided.
  • the control means renders an image of one object and an image of another object to which the one object is linked, with the image of the one object being rendered before and after the rendering. Or render the image of the other object between its start and end.
  • control means renders the image of the one object or a plurality of partial images and the image of the other object in order according to the distance from the viewpoint.
  • an object data processing method for displaying a plurality of linked objects in a three-dimensional virtual space according to a visual field.
  • the method includes the steps of hierarchically sorting objects according to link data representing links between the objects; generating image of the objects from the object data according to the view data. Rendering the generated image on a two-dimensional frame according to the order determined by the hierarchical sorting.
  • the object and data processing method generates an image of a plurality of objects from object data according to the visual field data. And rendering the generated image on a two-dimensional frame.
  • the step of rendering includes rendering an image of one object and an image of another object to which the one object is linked, prior to rendering the image of the one object. Renders an image of the other object after, after, or between its start and end.
  • these methods are realized as a program executed by the information processing device.
  • a plurality of linked three-dimensional objects can be sorted in an advantageous manner, and images of the plurality of three-dimensional objects can be efficiently rendered. According to the present invention, it is not necessary to sort all polygon faces of all displayed objects.
  • FIG. 1 shows a configuration of an information processing apparatus for processing and displaying three-dimensional object data according to an embodiment of the present invention.
  • Figure 2 shows the structure of the object data set.
  • FIG. 3 illustrates a hierarchical structure of linked objects represented by a linked object data set according to the present invention.
  • Figure 4 shows a schematic flowchart for generating and rendering an image of an object, executed by a controller according to a 3D web browser program.
  • FIG. 5 shows a schematic flowchart for rendering an image of a plurality of objects according to the present invention.
  • Figure 6 illustrates the geometric relationship between the field of view and the object.
  • 7A to 7C show examples of the display screen of the object image when zooming in according to the movement of the viewpoint.
  • 8A to 8E show an example of a procedure for rendering images of a plurality of objects according to the present invention.
  • FIG. 9A shows an image when one object in FIG.8E is translucent. ing.
  • FIG. 9B shows an image when the object in FIG. 9A is translucent.
  • FIG. 1 shows a configuration of an information processing apparatus 100 according to an embodiment of the present invention.
  • Information processing device 100 input device 101, controller or processor 103, object data manager 104, display device 106, information storage device 107, program memory It comprises a network interface 121 connected to a web server 200 via an object memory, an object memory, and a network 50.
  • the information processing device 100 displays a plurality of linked three-dimensional objects arranged in the virtual three-dimensional space on the display device 106.
  • a 3D object is made up of one or more polygonal surfaces, each of which typically has an outer surface and an inner surface.
  • a curved surface is typically represented by a plurality of polygon surfaces.
  • a 3D object is made up of one or more polygons, and in a 3D virtual space, for example, one text document, one document containing text and graphics, one image, a stream of moving images, It is a visual representation of any information content handled in one unit, such as one stereoscopic image composed of multiple parts or an audio stream.
  • the network 50 typically comprises the Internet, a local area network (LAN), a telephone network, including a mobile communication network, a cable television network, a power line carrier network, and a Z or fiber optic network. And so on.
  • LAN local area network
  • telephone network including a mobile communication network, a cable television network, a power line carrier network, and a Z or fiber optic network. And so on.
  • the controller 103 comprises a CPU, a RAM I 22 and a ROM.
  • the controller 103 implements a browser function by operating according to a program such as a browser program stored in the program memory 112.
  • the controller 103 may be a processor whose browser functions are implemented in the form of an integrated circuit.
  • the object data manager 104 can be implemented as a processor operating according to the object data management program, or its functions can be implemented in the form of an integrated circuit. Processor may be used.
  • the controller 103 retrieves the content data from the web server 200 via the network 50 and the network interface 127 when the content data is needed for displaying the object. To supply 104 to the object manager. The controller 103 may fetch necessary content and data from the information storage device 107. The object manager 104 stores the acquired object / data / set in the object / data 'memory 113 and manages it.
  • the input device 101 supplies the controller 103 with input data such as a URL and a field of view by user operation.
  • input data such as a URL and a field of view by user operation.
  • the controller 103 holds the visual field data and updates the visual field data according to the input data of the user.
  • the controller 103 uses the object data set stored in the object data memory 113 to generate, in real time, an object image that changes in accordance with the movement of the field of view and displays the display device.
  • FIG. 2 shows the structure of the object data set 30 of the object.
  • the object / data set 30 has at least data 31 representing the three-dimensional shape of the object. If the current object with data set 30 is linked to another object that follows, object_data_set_set 30 contains link_data_list 40. Another object that is linked has an arrangement associated with the current object.
  • Links-Deserts ⁇ List 40 contains one or more links ⁇ Data Set 37.
  • the link data set 37 identifies the other object 38 representing a link to another object, and a coordinate transformation matrix 3 for converting the coordinates of the other object to the coordinates of the current object. 9 and.
  • the object data set 30 may be linked to multiple objects. Thus, the object data set 30 may have multiple link data sets as shown.
  • FIG. 3 illustrates the hierarchical structure of linked objects represented by linked object data sets according to the present invention. These objects are sorted according to this hierarchy for rendering.
  • the object data set 301 of the starting object has three link data sets 211, 212, and 213, each containing the identity of the other objects to be linked. Having.
  • the starting object is linked to three other objects, each having an object data set 311, 312 and 313.
  • Object data set 'set 3 1 1' has three link data 'sets 2 2 1, 2 2 2 and 2 2 3.
  • the object having set 311 is linked to three objects having object data sets 3 2 1, 3 2 2 and 3 2 3 respectively.
  • An object having object data set 3 12 is similarly linked to an object having object data set 3 24.
  • the object with object data set 3 13 is linked to two objects having object data sets 3 25 and 3 26, respectively.
  • Objects. Objects with data sets 3 2 1, 3 2 3, 3 2 4 and 3 2 5 are further linked to other objects.
  • Objects with object data, sets 3 2 2 and 3 2 6 are not linked to other objects.
  • images of linked objects can be efficiently rendered on the frame memory area of the RAM I22 according to the hierarchical object.
  • FIG. 4 shows a schematic flow chart for generating and rendering an image of an object, executed by the controller 103 according to a 3D web browser 'program.
  • the controller 103 sets the object of the first object through the network 50 or the information storage device 107 according to the URL previously input by the user. Captures the object data set of the object and its subsequent direct and indirect links to the object The data is stored in the object data memory 113 via the evening manager 104. Controller 103 then generates and renders an image of the object according to Figure 4.
  • step 402 the controller 103 acquires the viewpoint and field of view input by, for example, the mouse of the input device 101, and moves the viewpoint and the field of view in the three-dimensional virtual space according to the data.
  • FIG. 6 illustrates the geometric relationship between the user's field of view and the object.
  • a visual field 71 is defined in a virtual three-dimensional space, and information objects 73 are arranged.
  • a view coordinate system 72 fixed to the view 71 is defined.
  • a viewpoint 70 is defined at the position of the origin of the view coordinate system 72.
  • the geometric relationship of the object to the field of view can be defined, for example, by a transformation matrix from the oral coordinate system of the object to the field of view coordinate system 72.
  • step 410 the controller 103 sets the arrangement of each object in the three-dimensional virtual space from the object data 'object data' set 30 stored in the memory 113 according to the viewpoint and the visual field. Once determined, a two-dimensional image of each object is generated and stored in RAM I22. At this time, when the required object data set is not stored in the object data memory 113, the controller 103 can be controlled via the network interface 127 or the information processing device 110. Load the required object data set from 7 into object data memory 1 13.
  • step 406 according to the subroutine shown in FIG. 5, the controller 103, according to its viewpoint and field of view, stores each of the generated images of the objects illustrated in FIG. 2D frame ⁇ Render on the memory area.
  • step 404 the generated images are rendered in step 406.
  • the generated images may be sequentially taken out from the RAM 122 and rendered.
  • step 408 the controller 103 determines whether the visual field has moved, that is, whether the viewpoint and visual field data have been updated by the user. If the field of view has moved, return to step 402. Thus, when the viewpoint and the field of view continue to move, steps 402 to 406 are repeated. If the field of view has not moved, the procedure proceeds to steps 4 12.
  • step 412 the controller 103 determines whether or not the user input data has been received after a predetermined delay time (for example, 1 second). If it receives input data, the procedure proceeds to steps 414. If it did not receive input data, the procedure returns to step 4 12. Thus, the controller 103 waits until receiving new input data.
  • a predetermined delay time for example, 1 second
  • step 414 the controller 103 determines whether the input data is an end command. If it is a termination command, the procedure exits the routine of FIG. If it is not an end command, the procedure returns to step 402. Steps 40 2 to 4 14 are performed 30 times or more per second to generate 60 frames per second.
  • FIGS. 7A to 7C show examples of the display screen of the object image when zooming in (enlarged) according to the movement of the viewpoint.
  • an object with a lidless box 611, a sphere 613, and a triangular pyramid 615 is placed on a rectangular object 601, placed in a virtual 3D space.
  • Rectangular object 6 0 1 is linked to box 6 1 1, sphere 6 13 and triangular pyramid 6 15.
  • box 6 11 includes two spheres 6 2 1 and 6 2 2 and one cylinder 6 2 3. Box 6 11 is linked to two spheres 6 2 1 and 6 2 2 and one cylinder 6 2 3.
  • FIG. 5 is a schematic diagram of a subroutine executed by controller 103 for rendering an image of an object in step 406 of FIG. 4 according to the present invention. 4 shows a flowchart.
  • controller 103 retrieves the image data set of the starting or current object from RAM I22.
  • the image data set is generated from the three-dimensional shape data (31 in FIG. 2) in the object data set of the object in step 404 of FIG. 4 and stored in the RAM I 22. It is.
  • the controller 103 is a rectangle generated from the three-dimensional shape data in the object data set 310 (Fig. 3) of the rectangle 611, which is the starting object. retrieve the image data set of 61 from RAM I22.
  • step 504 the controller 103 first renders the front of one or more faces of the current object that are farthest from the viewpoint.
  • controller 103 renders the top surface of rectangle 601. The lower side of the rectangle is behind it and cannot be seen from the viewpoint.
  • step 506 the controller 103 queues all link data sets in the object data set of the current object in order from the viewpoint.
  • the controller 103 sets the object data of the rectangle 601 to 'three links to the sphere 6 13, box 6 1 1, and triangular pyramid 6 15, respectively, in set 301' Queue data 'sets 2 1 3, 2 1 1 and 2 1 2 in this order.
  • step 508 the controller 103 determines whether there are any remaining links in the queue that represent links to other objects that have not yet been rendered. If it is determined that there is, the procedure proceeds to step 5 10. If it is determined that there is no remaining link data set, the procedure proceeds to step 54. In the example of FIG. 7A, since there are link data 'sets 2 1 3, 2 1 1 and 2 1 2 in the queue representing the links to the objects 6 13, 6 1 1 and 6 15, step 5 Go to 10. In step 510, controller 103 retrieves one of the remaining link data sets in the queue in order. In the example of FIG. 7A, controller 103 first retrieves a link 'data set 2 13 representing a link to sphere 6 13.
  • step 5 12 the controller 103 retrieves from RAM I 22 an image data set of the object linked according to the retrieved link data set and renders the image. At that time, the front of the surface far from the viewpoint of the object is rendered first, and then the front of the surface near the viewpoint is rendered. In the example of FIG. 7A, the controller 103 renders only the outer surface of the hemisphere near the viewpoint because the inner surface of the far hemisphere of the sphere 6 13 is not visible.
  • steps 508 to 512 are repeated as many times as the number of remaining links in the queue.
  • the images of the remaining objects linked to the starting object are rendered.
  • the images of the box 6 11 and the pyramid 6 15 are rendered in order.
  • step 5 14 the control 103 renders the front of the surface of the starting object that is closer to the viewpoint.
  • controller 103 does not need to render rectangle 601 because it does not have a surface close to the viewpoint.
  • the image of the object to which the starting object is linked is rendered.
  • the starting object may have only one of the far side and the near side.
  • step 5 12 when the controller 103 renders an image of one object, if the object is linked to another object, the controller 103 sets the one object as a new starting object.
  • the subroutines 50 2 to 5 14 are executed separately. That is, the subroutines of steps 5 and 12 are nested. Thus, between the rendering of the far surface front and the rendering of the near surface front of the new starting object, an image of another object to which the starting object is linked is rendered.
  • controller 103 determines in step 5 1 2 that box 6 1 1 When rendering the image, steps 502-514 are performed separately with box 611 as the starting object.
  • 8A to 8E show an example of a procedure for rendering an image of a plurality of objects according to the present invention.
  • FIGS. 8A to 8E a procedure for rendering an image of the box 611, the sphere 621, the cylinder 623 and the sphere 622 using the box 611 as a starting object will be described according to the flowchart of FIG.
  • step 502 the controller 103 extracts the image data set of the box 611 from the RAMI 22.
  • This image data set is generated from the shape data of the object data set 311 in FIG. 3 and stored in the RAMI 22 in step 404 in FIG.
  • step 404 of FIG. 4 the image in box 611 is generated and stored in RAMI 22 prior to rendering in step 502.
  • step 504 the controller 103 renders the inner surfaces 6111, 6112, and 6113 of the three inner surfaces of the pox 611, as shown in FIG. 8A.
  • step 506 the controller 103 passes three link data sets 221, 223, and 222 in this order, representing links to the sphere 621, cylinder 623, and sphere 622, respectively, in the object data set 311 of box 611. Put in the queue.
  • controller 103 initially determines that there are links in the queue that represent links to objects that have not yet been rendered. Data 'sets 22, 1, 223, and 222, so the procedure is Proceed to the next step 510.
  • the controller 103 removes the first link data 'set 221' from the queue.
  • step 512 controller 103 retrieves from RAMI 22 the image data set of sphere 621 linked by link data set 221 and retrieves the image of sphere 621 as shown in FIG. 8B. To render. Ball 621 Since the inner surface of the far hemisphere is not visible, only the outer surface of the hemisphere close to the viewpoint needs to be rendered. Thereafter, the procedure returns to step 508. As described above, if step 404 in FIG. 4 is not provided, the image of the sphere 621 is generated before rendering in step 511.
  • steps 508 to 512 are performed iteratively on cylinder 6 23 and sphere 6 22, and as shown in FIGS. 8C and 8D, cylinder 6 2 3 and sphere 6 22 The two images are rendered in sequence.
  • step 5 14 the controller 103 renders the outer surfaces 6114 and 6115 of the near surface of the pox 611 as shown in FIG. 8E. In this way, an image of box 6 1 1 and linked sphere 6 2 1, cylinder 6 2 3 and sphere 6 2 2 is rendered.
  • Fig. 5 Hierarchical sorting and rendering were performed in parallel.However, the hierarchical structure as shown in Fig. 3 was determined first, and the objects were sorted according to the distance from the viewpoint according to the hierarchical structure. You may sort from far to near and render the image of the object according to the sorted order. In doing so, according to the link set, when an object is linked to another object, another object is rendered between the far surface rendering and the near surface rendering of that one object. Alternatively, when an object having both a far surface and a near surface is linked to another object, the far surface and the near surface may be sorted together with another object to determine the rendering order. Objects that are not linked to subsequent objects, even if they have multiple faces, usually do not need to be split into multiple faces for sorting.
  • FIG. 9A shows a display image when the object 611 in FIG. 8E is translucent.
  • the dotted line indicates a transparent line.
  • FIG. 9B shows a display image in a case where the objects 6 1 1, 6 2 1, 6 2 2 and 6 2 3 of FIG. 9A are semi-transparent.
  • the image of the sphere 6 21 is rendered, the colors of the faces 6 11 1, 6 11 2 and 6 11 3 behind it and the color of the sphere 6 21 are mixed at the overlap.
  • the image of cylinder 623 is rendered, the previously rendered object image behind it and the image of cylinder 623 are mixed at the overlap.
  • the image of sphere 622 is rendered, the previously rendered object image behind it and the image of sphere 622 are mixed at the overlap.
  • the planes 6114 and 6115 are rendered, the rendered object image behind it and the image of the sphere 6222 are mixed at the overlap.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

明 細 書 仮想 3次元空間におけるリンクされた複数のオブジェクトの階層的ソート 発明の分野
本発明は、 3次元オブジェクトの画像のレンダリングに関し、 特に、 オブジェ クト画像を効率的にレンダリングするために仮想 3次元空間におけるリンクされ た複数のオブジェクトを階層的にソートすることに関する。
発明の背景
現在、 ィンタ一ネットのホームページにはショッピングモールが設けられてい る。 そのショッピングモールは 3次元仮想世界であってもよい。 ショッピングモ ールにおける仮想店舗オブジェクトには 3次元の多数の商品オブジェクトが配置 される。 3次元仮想ショッピングモールの画像は、 サーバ'マシンまたはクライ アント ·マシンにおいて仮想 3次元画像表示プログラムを用いて生成され表示さ れる。 仮想ショッビングモールにおける複数のオブジェクトの中の 1つのォブジ ェクトは、 UR Lを用いてその中の他のオブジェク卜にリンクされていてもよい 通常の仮想 3次元画像表示プログラムは、 オブジェクトの 3次元形状および配 置を表す複数のオブジェクト ·データ ·セットに従って、 仮想 3次元空間にその オブジェクトを配置し、 その空間におけるユーザの視野に従ってそのオブジェク トを 2次元平面に投影して 2次元画像を生成し表示する。 ユーザの視点から見て 2つのオブジェクトが部分的に重なって見えるときは、 遠い 1つのオブジェクト の重なり部分が近い別のオブジェクトの後ろに隠れるようにそれぞれの画像を生 成しなければならない。 また、 半透明のオブジェクトが配置されているときには 、 その半透明のオブジェクトを通してその背後にあるオブジェク卜が透けて見え るようにそれぞれの画像を生成しなければならない。
視点から見たオブジェクト間の重なりを適正に処理するために Zバッファ ·ァ ルゴリズムが一般的に用いられている。 このアルゴリズムは、 2次元フレーム ' バッファメモリ上に複数のオブジェクトの画像をレンダリング （描画） するとき に、 オブジェクトを構成要素のポリゴンに分離し、 視点に対する複数のオブジェ クト ·ポリゴンの相対的位置関係を表す z値をいわゆる zバッファに格納する。
2次元フレーム ·バッファメモリ上の同じピクセル位置に 2つ以上のオブジェク ト ·ポリゴンのピクセルをレンダリングするときは、 そのアルゴリズムは、 それ らのポリゴンの Z値を比較して視点に最も近いオブジェクト ·ポリゴンのピクセ ルだけが最終的にその位置に格納されるようにする。 半透明のオブジェクトの画 像をレンダリングするときは、 いわゆるアルファ ·プレンデイング法が用いられ て、 その半透明オブジェクトのポリゴンの透明度に従ってその背後に配置された 別のオブジェクト ·ポリゴンのピクセルの色にその半透明オブジェクト ·ポリゴ ンのピクセルの色を混合した色の値をそのフレーム ·バッファメモリ上にレンダ リングする。
Zバッファ ·アルゴリズムおよびアルファ ·プレンデイング法では、 半透明の オブジェク卜の画像をレンダリングするときに、 視点から遠いオブジェクト ·ポ リゴンから順にレンダリングする必要がある。 そのために、 レンダリングする前 に、 いわゆる Zソート法を用いて、 表示される全てのオブジェク卜 ·ポリゴンに ついて視点からの距離を決定し、 その距離に従ってオブジェクト ·ポリゴンをソ ートする必要がある。
しかし、 仮想 3次元空間に多数のオブジェクトが配置される場合は、 オブジェ クト ·ポリゴンのソートのために長い時間および多くのメモリ資源が必要になる 。 そのようなソートはリアルタイム 3次元画像表示には望ましくない。
発明者は、 リンクされた複数の 3次元オブジェクトを階層的にソートすること によってオブジェクト画像が効率的にレンダリングできると認識した。
本発明の目的は、 複数の 3次元オブジェクトの画像を効率的にレンダリングす ることである。
本発明の別の目的は、 リンクされた複数の 3次元オブジェクトの画像をレンダ リングするのに有利な形でそのオブジェクトをソートすることである。
発明の概要
本発明の 1つの特徴によれば、 情報処理装置は、 視野データに従って' 3次元仮 想空間におけるリンクされた複数のオブジェクトを表示する。 その情報処理装置 に含まれている制御手段は、 視野データに従って、 オブジェクト ·デ一夕から複 数のォブジェクトの画像を生成して、 2次元フレーム上にその生成された画像を レンダリングする。 その制御手段は、 そのレンダリングのために、 複数のォブジ ェクトの間のリンクを表すリンク ·データに従って複数のオブジェクトを階層的 にソートする。
実施形態において、 その制御手段は、 その階層的なソ一トによって決定された 順序とその複数のオブジェクトの間のリンクとに従って、 複数のオブジェクトの 画像および Zまたは部分画像をレンダリングする。 その制御手段は、 1つのォブ ジェクトとこの 1つのオブジェクトがリンクされる 1つ以上の他のオブジェクト とからなるグループについて、 そのグループのオブジェクトの画像および Zまた は部分画像を視点からの距離に従って順にレンダリングする。
本発明の別の特徴によれば、 情報処理装置は、 視野デ一夕に従って、 オブジェ クト ·データから複数のオブジェクトの画像を生成して、 2次元フレーム上にそ の生成された画像をレンダリングする制御手段を具えている。 その制御手段は、 1つのオブジェクトの画像とこの 1つのオブジェクトがリンクされる別のォブジ ェクトの画像とをレンダリングし、 その際、 その 1つのオブジェクトの画像のレ ンダリングの開始前に、 終了後に、 またはその開始と終了の間に、 その別のォブ ジェクトの画像をレンダリングする。
実施形態において、 その制御手段は、 その 1つのオブジェクトの画像または複 数の部分画像と、 その別のオブジェクトの画像を、 視点からの距離に従って順に レンダリングする。
本発明のさらに別の特徴によれば、 オブジェクト ·データ処理方法は、 視野デ —夕に従って 3次元彼想空間におけるリンクされた複数のオブジェクトを表示す るためのものである。 その方法は、 複数のオブジェクトの間のリンクを表すリン ク ·データに従って複数のオブジェクトを階層的にソートするステップと；視野 データに従って、 オブジェクト ·データから複数のオブジェク卜の画像を生成す るステップと；その階層的なソートによって決定された順序に従って、 2次元フ レーム上にその生成されだ画像をレンダリングするステップと、 を含む。 ' 本発明のさらに別の特徴によれば、 オブジェクト，デ一夕処理方法は、 その視 野データに従って、 オブジェク卜 ·データから複数のオブジェク卜の画像を生成 するステップと； 2次元フレーム上にその生成された画像をレンダリングするス テツプと、 を含む。 そのレンダリングするステップは、 1つのオブジェクトの画 像とこの 1つのオブジェクトがリンクされる別のオブジェクトの画像とをレンダ リングすることを含み、 その際、 その 1つのオブジェクトの画像のレンダリング の開始前に、 終了後に、 またはその開始と終了の間に、 その別のオブジェクトの 画像をレンダリングする。
実施形態において、 これらの方法は、 情報処理装置によって実行されるプログ ラムとして実現される。
本発明によれば、 リンクされた複数の 3次元オブジェクトを有利な形でソ一ト することができ、 複数の 3次元オブジェクトの画像を効率的にレンダリングする ことができる。 本発明によれば、 表示される全てのオブジェクトの全てのポリゴ ン面をソートする必要がない。
図面の簡単な説明
図 1は、 本発明の実施形態による、 3次元オブジェクト ·データを処理して表 示する情報処理装置の構成を示している。
図 2は、 オブジェクト ·データ ·セットの構成を示している。
図 3は、 本発明による、 リンクされた複数のオブジェクト ·データ 'セットに よって表されるリンクされた複数のオブジェクトの階層構造を示している。 図 4は、 3次元ウェブ ·ブラウザ ·プログラムに従って制御器によって実行さ れる、 オブジェクトの画像を生成してレンダリングするのための概略的フローチ ヤートを示している。
図 5は、 本発明による、 複数のオブジェクトの画像をレンダリングするための 概略的フローチャートを示している。
図 6は視野とオブジェク卜の間の幾何学的関係を例示している。
図 7 A〜7 Cは、 視点の移動に従って、 ズームインにおけるオブジェクト画像 の表示画面の例を示している。
図 8 A~ 8 Eは、 本発明による、 複数のオブジェクトの画像のレンダリングの 手順の例を示している。
9 Aは、 図 8 Eにおける 1っォブジェクトが半透明である場合の画像を示し ている。
図 9 Bは、 図 9 Aにおけるオブジェクトが半透明である場合の画像を示してい る。
発明の好ましい実施形態
図 1は、 本発明の実施形態による情報処理装置 1 0 0の構成を示している。 情報処理装置 1 0 0は、 入力装置 1 0 1、 制御器またはプロセッサ 1 0 3、 ォブ ジェクト ·データ管理器 1 0 4、 表示装置 1 0 6、 情報蓄積装置 1 0 7、 プログ ラム ·メモリ 1 1 2、 オブジェクト ·デ一夕 ·メモリ 1 1 3、 およびネットヮー ク 5 0を介してウェブ ·サーバ 2 0 0に接続されたネットワーク 'インタフエ一 ス 1 2 7を具えている。
情報処理装置 1 0 0は、 仮想 3次元空間に配置されたリンクされた複数の 3次 元ォブジェクトを表示装置 1 0 6に表示する。
3次元オブジェクトは 1つ以上のポリゴン （多角形） 面で構成されており、 各 面は典型的には外面および内面を持っている。 曲面は典型的には複数のポリゴン 面で表される。
3次元オブジェクトは、 1つ以上のポリゴンで構成されていて、 3次元仮想空 間において、 例えば、 1つのテキスト文書、 1つのテキストおよびグラフィック ッスを含む文書、 1つの画像、 動画像のストリーム、 複数の部品で構成される 1 つの立体画像、 またはオーディォ ·ストリーム、 等の 1単位で扱われる任意の情 報コンテンツを視覚的に表すものである。
ネットワーク 5 0は、 典型的には、 インタ一ネット、 ローカル ·エリア ·ネッ トワーク （L AN) 、 移動体通信網を含む電話回線網、 ケーブルテレビ網、 電力 線搬送網、 および Zまたは光ファイバ網等で構成されている。
制御器 1 0 3は、 C P U、 RAM I 2 2および R OMを具えている。 制御器 1 0 3は、 プログラム 'メモリ 1 1 2に格納されているブラウザ ·プログラム等の プログラムに従って動作してブラウザ機能を実現する。 制御器 1 0 3は、 そのブ ラウザ機能が集積回路の形で実装されたプロセッサであってもよい。 オブジェク ト ·データ管理器 1 0 4は、 オブジェクト ·データ管理プログラムに従って動作 するプロセッサとして実装されていても、 またはその機能が集積回路の形で実装 されたプロセッサであってもよい。
制御器 1 0 3は、 オブジェクトの表示のためにコンテンツ ·データが必要とな つたときに、 ウェブ ·サーバ 2 0 0からネットワーク 5 0およびネットワーク · インタフェース 1 2 7を介してコンテンツ ·データを取込んで、 オブジェクト管 理器に 1 0 4に供給する。 制御器 1 0 3は、 必要なコンテンツ ·データを情報蓄 積装置 1 0 7から取り込んでもよい。 オブジェクト管理器 1 0 4は、 取り込んだ オブジェクト ·データ ·セットをォブジェク卜 ·データ 'メモリ 1 1 3に格納し て管理する。
入力装置 1 0 1は、 ユーザの操作による UR Lおよび視野デ一夕のような入力 データを制御器 1 0 3に供給する。 制御器 1 0 3は、 視野データを受け取つたと きにその視野デ一夕を保持し、 ユーザの入力データに従って視野データを更新す る。
制御器 1 0 3は、 表示画像生成処理において、 オブジェクト ·データ ·メモリ 1 1 3に格納されたォブジェクト ·データ ·セットを用いて、 視野移動に従って 変化するォブジェク卜画像をリアルタイムで生成して表示装置 1 0 6に表示する 図 2は、 オブジェクトのォブジェクト ·データ ·セット 3 0の構成を示してい る。 オブジェクト ·データ ·セット 3 0は、 少なくともオブジェク卜の 3次元形 状を表すデータ 3 1を有する。 データ ·セット 3 0を有するその現在のオブジェ クトが後続の別のオブジェクトにリンクされているときは、 オブジェクト ·デ一 夕 -セット 3 0はリンク ·デ一夕 ·リスト 4 0を含んでいる。 そのリンクされる 別のオブジェクトは現在のオブジェクトに関連付けられた配置を有する。 リンク -デ一夕 ·リスト 4 0は 1つ以上のリンク ·データ ·セット 3 7を含んでいる。 リンク ·データ ·セット 3 7は、 別のオブジェクトへのリンクを表すその別のォ ブジェクトの識別 3 8と、 その別のオブジェク卜の座標を現在のオブジェクトの 座標に変換するための座標変換行列 3 9とを有する。 オブジェクト ·データ ·セ ット 3 0は複数のオブジェクトにリンクされることもある。 従って、 オブジェク ト ·データ ·セット 3 0は、 示されているように複数のリンク ·データ ·セット を有していてもよい。 図 3は、 本発明による、 リンクされた複数のオブジェクト ·データ ·セットに よって表されるリンクされた複数のオブジェクトの階層構造を示している。 それ らのォブジェクトはレンダリングのためにこの階層構造に従ってソ一トされる。 図 3では、 開始オブジェクトのオブジェクト ·データ ·セット 3 0 1は、 リン クされる他のオブジェク卜の識別をそれぞれ含んだ 3つのリンク ·データ ·セッ ト 2 1 1、 2 1 2および 2 1 3を有する。 その開始オブジェクトは、 オブジェク ト ·データ ·セット 3 1 1、 3 1 2および 3 1 3をそれぞれ有する 3つの他のォ ブジェク卜にリンクされる。 オブジェクト ·デ一夕 'セット 3 1 1は 3つのリン ク ·データ 'セット 2 2 1、 2 2 2および 2 2 3を有する。 才ブジェクト ·デ一 夕 .セット 3 1 1を有するオブジェクトは、 オブジェクト ·データ ·セット 3 2 1 , 3 2 2および 3 2 3をそれぞれ有する 3つのオブジェクトにリンクされる。 オブジェクト ·データ ·セット 3 1 2を有するオブジェクトは、 同様に、 ォブジ ェクト ·データ ·セット 3 2 4を有するオブジェク卜にリンクされる。 オブジェ クト ·データ 'セット 3 1 3を有するオブジェクトは、 才ブジェクト ·データ · セッ卜 3 2 5および 3 2 6をそれぞれ有する 2つのオブジェク卜にリンクされる 。 オブジェクト .データ ·セット 3 2 1、 3 2 3、 3 2 4および 3 2 5を有する オブジェクトはさらに他のオブジェクトにリンクされる。 オブジェクト ·データ ，セット 3 2 2および 3 2 6を有するオブジェクトは他のオブジェクトにリンク されない。
後で詳しく説明するように、 その階層化されたオブジェクトに従って、 リンク された複数のオブジェクトの画像を RAM I 2 2のフレーム ·メモリ領域上に効 率的にレンダリングすることができる。
図 4は、 3次元ウェブ ·ブラウザ'プログラムに従って制御器 1 0 3によって 実行される、 オブジェクトの画像を生成してレンダリングするのための概略的フ ローチャートを示している。
制御器 1 0 3は、 先に、 ユーザによって入力された UR Lに従って、 ネットヮ ーク 5 0を介してまたは情報蓄積装置 1 0 7力 Sら、 最初のオブジェクトのォブジ ェクト ·デ一夕 ·セットとそれに直接的および間接的にリンクする後続の他のォ ブジェクトのォブジェクト ·データ ·セットを取り込んで、 オブジェクト ·デ一 夕管理器 1 0 4を介してオブジェクト ·データ ·メモリ 1 1 3に格納する。 制御 器 1 0 3は、 その後、 図 4に従ってオブジェクトの画像を生成およびレンダリン グする
ステップ 4 0 2において、 制御器 1 0 3は、 入力装置 1 0 1の例えばマウスに よって入力された視点および視野のデータを取得し、 そのデータに従って 3次元 仮想空間に対する視点および視野を移動させる。
図 6は、 ユーザの視野とオブジェクトの間の幾何学的関係を例示している。 こ の図では、 仮想 3次元空間に視野 7 1が定義され、 情報オブジェクト 7 3が配置 されている。 視野 7 1に対して固定された視野座標系 7 2が定義されている。 ま た、 視野座標系 7 2の原点の位置に視点 7 0が定義されている。 視野に対するォ ブジェクトの幾何学的関係は、 例えば、 オブジェクトの口一カル座標系から視野 座標系 7 2への変換行列によって定義できる。
ステップ 4 0 4において、 制御器 1 0 3は、 その視点および視野に従って、 ォ ブジェクト ·データ 'メモリ 1 1 3に格納されたォブジェクト ·データ 'セット 3 0から 3次元仮想空間における各ォブジェクトの配置を決定し、 それぞれのォ ブジェクトの 2次元画像を生成して RAM I 2 2に格納する。 その際、 必要なォ ブジェクト ·データ ·セットがォブジェクト ·データ ·メモリ 1 1 3に格納され ていないときは、 制御器 1 0 3は、 ネットワーク ·インタフェース 1 2 7を介し てまたは情報処理装置 1 0 7から必要なオブジェクト ·データ ·セットをォブジ ェクト ·データ ·メモリ 1 1 3に取り込む。
ステップ 4 0 6において、 図 5に示されているサブルーチンに従って、 制御器 1 0 3は、 その視点および視野に従って、 図 3に例示された複数のオブジェクト のその生成された各画像を RAM I 2 2の 2次元フレーム ·メモリ領域上にレン ダリングする。
図 4のフローチャートでは、 ステップ 4 0 4において全てのオブジェク卜の画 像を生成した後に、 ステップ 4 0 6においてその生成された画像をレンダリング するが、 ステップ 4 0 4をなくして、 ステップ 4 0 ¾において、 レンダリングの 順序で各ォブジェクトの画像を生成して RAM 1 2 2に格納しながら、 RAM 1 2 2からその生成された画像を順次取り出してレンダリングしてもよい。 ステップ 4 0 8において、 制御器 1 0 3は、 視野が移動したかどうか、 即ちュ 一ザによって視点および視野データが更新されたかどうかを判定する。 視野が移 動した場合はステップ 4 0 2に戻る。 これによつて、 視点および視野が移動し続 けているときはステップ 4 0 2〜4 0 6が繰り返される。 視野が移動していない 場合は手順はステップ 4 1 2に進む。
ステップ 4 1 2において、 制御器 1 0 3は、 所定遅延時間 （例えば 1秒） の後 、 ユーザの入力データを受け取つたかどうかを判定する。 それが入力データを受 け取った場合は、 手順はステップ 4 1 4に進む。 それが入力デ一夕を受け取らな かった場合は、 手順はステップ 4 1 2に戻る。 これによつて、 制御器 1 0 3は新 しい入力データを受け取るまで待つ。
ステップ 4 1 4において、 制御器 1 0 3は、 その入力データが終了コマンドか どうかを判定する。 それが終了コマンドである場合は、 手順は図 4のルーチンか ら出る。 それが終了コマンドでない場合は、 手順はステップ 4 0 2に戻る。 ステップ 4 0 2〜 4 1 4は毎秒 3 0回以上実行され、 毎秒 6 0フレームが生成 される。
図 7 A〜7 Cは、 視点の移動に従って、 ズームイン （拡大） におけるオブジェ クト画像の表示画面の例を示している。
図 7 Aに示されているように、 仮想 3次元空間に配置された長方形オブジェク ト 6 0 1の上に蓋のないボックス 6 1 1、 球 6 1 3および三角錐 6 1 5のォブジ ェクトが配置されている。 長方形オブジェクト 6 0 1は、 ボックス 6 1 1、 球 6 1 3および三角錐 6 1 5にリンクされている。 図 7 Cに示されているように、 ボ ックス 6 1 1は 2つの球 6 2 1および 6 2 2および 1つの円柱 6 2 3を含んでい る。 ボックス 6 1 1は 2つの球 6 2 1および 6 2 2および 1つの円柱 6 2 3にリ ンクされている。
図 7 A〜 7 Cに示されているように、 ボックス 6 1 1に対してズームインする に従って、 より拡大されたボックス 6 1 1およびその中のオブジェクト 6 2 1〜 6 2 3が表示される。
図 5は、 本発明による、 制御器 1 0 3によって実行される、 図 4のステップ 4 0 6におけるオブジェクトの画像のレンダリングのためのサブルーチンの概略的 フローチャートを示している。
図 7 A〜 7 Cのオブジェクト 6 0 1およびリンクされる後続のオブジェクト 6 1 1〜6 1 5および 6 2 1〜6 2 3の画像をレンダリングする例を用いて、 図 5 のフ口一チャートを説明する。
ステップ 5 0 2において、 制御器 1 0 3は、 開始または現在のオブジェクトの 画像データ ·セットを RAM I 2 2から取り出す。 その画像データ ·セットは、 図 4のステップ 4 0 4においてそのオブジェクトのォブジェクト ·データ ·セッ ト中の 3次元形状データ （図 2の 3 1 ) から生成されて RAM I 2 2に格納され たものである。 制御器 1 0 3は、 図 7 Aの例では、 開始オブジェクトである長方 形 6 0 1のオブジェクト ·データ ·セット 3 0 1 (図 3 ) の中の 3次元形状デー 夕から生成された長方形 6 0 1の画像データ ·セットを RAM I 2 2から取り出 す。
ステップ 5 0 4において、 制御器 1 0 3は、 先に、 現在のオブジェクトの 1つ 以上の面の中で視点から見て奧にある面の前面をレンダリングする。 図 7 Aの例 では、 制御器 1 0 3は長方形 6 0 1の上面をレンダリングする。 その長方形の下 面はその裏側にあつて視点からは見えない。
ステップ 5 0 6において、 制御器 1 0 3は、 現在のオブジェクトのォブジェク ト ·データ ·セットにおける全てのリンク ·データ ·セットを視点から遠い順に キューに入れる。 図 7 Aの例では、 制御器 1 0 3は、 長方形 6 0 1のォブジェク ト ·データ 'セット 3 0 1におけるそれぞれ球 6 1 3、 ボックス 6 1 1および三 角錐 6 1 5に対する 3つのリンク 'データ 'セット 2 1 3、 2 1 1および 2 1 2 をこの順にキューに入れる。
ステップ 5 0 8において、 制御器 1 0 3は、 キューの中に、 まだレンダリング されていない他のオブジェクトへのリンクを表す残りのリンク ·デ一夕 ·セット があるかどうかを判定する。 それがあると判定された場合は手順はステップ 5 1 0に進む。 残りのリンク ·データ ·セットがないと判定された場合は、 手順はス テツプ 5 4に進む。 図 7 Aの例では、 キュ一中にオブジェグト 6 1 3、 6 1 1 および 6 1 5へのリンクを表すリンク ·データ 'セット 2 1 3、 2 1 1および 2 1 2が存在するのでステップ 5 1 0に進む。 ステップ 5 1 0において、 制御器 1 0 3は、 順番に従ってキューにおける残り のリンク ·データ ·セットの中の 1つを取り出す。 図 7 Aの例では、 制御器 1 0 3は、 最初に、 球 6 1 3へのリンクを表すリンク 'データ ·セット 2 1 3を取り 出す。
ステップ 5 1 2において、 制御器 1 0 3は、 その取り出されたリンク ·データ •セットに従ってリンクされるオブジェクトの画像デ一夕 ·セットを RAM I 2 2から取り出してその画像をレンダリングする。 その際、 そのオブジェクトの視 点から遠い面の前面を先にレンダリングし、 次いで視点に近い面の前面をレンダ リングする。 図 7 Aの例では、 制御器 1 0 3は、 球 6 1 3の遠い半球面の内面は 見えないので、 視点に近い半球面の外面だけをレンダリングする。
同様に、 キュー中の残りのリンク ·デ一夕 ·セットの数の回数だけステップ 5 0 8〜5 1 2が繰り返されて、 開始オブジェクトにリンクされる残りのオブジェ クトの画像がレンダリングされる。 図 7 Aの例では、 ボックス 6 1 1および三角 錐 6 1 5の画像が順にレンダリングされる。
ステップ 5 1 4において、 制御器 1 0 3は、 開始オブジェクトの面の中で視点 に近い面の前面をレンダリングする。 図 7 Aの例では、 制御器 1 0 3は、 長方形 6 0 1は視点に近い面を持っていないのでレンダリングする必要がない。
このようにして、 図 5のフローチャートに従って、 開始オブジェクトの遠い面 の前面のレンダリングと近い面の前面のレンダリングの間に、 開始オブジェクト がリンクされるオブジェクトの画像がレンダリングされる。 開始オブジェクトは 、 その遠い面と近い面の一方だけ持っていてもよい。
ステップ 5 1 2において、 制御器 1 0 3は、 1つのオブジェクトの画像をレン ダリングするとき、 そのオブジェク卜が別のオブジェクトにリンクされる場合は 、 その 1つのオブジェクトを新たな開始オブジェクトとして、 ステップ 5 0 2〜 5 1 4のサブルーチンを別に実行する。 即ち、 ステップ 5 1 2のサブルーチンは 入れ子になっている。 それによつて、 その新たな開始オブジェクトの遠い面の前 面のレンダリングと近い面の前面のレンダリングの間に、 開始オブジェクトがリ ンクされる別のオブジェク卜の画像がレンダリングされる。
図 7 Aの例では、 制御器 1 0 3は、 ステップ 5 1 2においてボックス 6 1 1の 画像をレンダリングするとき、 ボックス 611を開始オブジェクトとしてステツ プ 502〜5 14を別に実行する。
図 8A〜8Eは、 本発明による、 複数のオブジェクトの画像のレンダリングの 手順の例を示している。
図 8A〜8Eを参照して、 図 5のフローチャートに従って、 ボックス 611を 開始オブジェクトとして、 ボックス 611、 球 621、 円柱 623および球 62 2の画像をレンダリングする手順を説明する。
ステップ 502において、 制御器 103は、 ボックス 611の画像データ .セ ットを RAMI 22から取り出す。 この画像データ ·セットは、 図 4のステップ 404において、 図 3におけるオブジェクト ·デ一夕 ·セット 311の形状デー 夕から生成されて RAMI 22に格納されたものである。 前述したように、 図 4 のステップ 404を設けないときは、 ボックス 611の画像は、 ステップ 502 においてレンダリングの前に生成されて RAMI 22に格納される。
ステップ 504において、 制御器 103は、 図 8 Aに示されているように、 ポ ックス 61 1の奥の 3つの面の内面 61 1 1、 6112および 61 13をレンダ リングする。
ステップ 506において、 制御器 103は、 ボックス 61 1のオブジェクト · データ ·セット 311におけるそれぞれ球 621、 円柱 623および球 622へ のリンクを表す 3つのリンク ·データ 'セット 221、 223および 222をこ の順にキュ一に入れる。
ステップ 508において、 制御器 103は、 最初は、 キューの中にまだレンダ リングされていないオブジェク卜へのリンクを表すリンク .データ 'セット 22 1, 223および 222があると判定し、 従って、 手順は次のステップ 510に 進む。
ステップ 510において、 制御器 103は、 最初のリンク ·デ一タ 'セット 2 21をキューから取り出す。
ステップ 512において、 制御器 103は、 リンク ·デ一タ 'セット 221に よってリンクされる球 621の画像データ ·セットを RAMI 22から取り出し て、 図 8 Bに示されているように球 621の画像をレンダリングする。 球 621 の遠い半球面の内面は見えないので視点に近い半球面の外面だけをレンダリング すればよい。 その後、 手順はステップ 5 0 8に戻る。 前述したように、 図 4のス テツプ 4 0 4を設けないときは、 球 6 2 1の画像は、 ステップ 5 1 2においてレ ンダリングの前に生成される。
同様に、 円柱 6 2 3および球 6 2 2についてステップ 5 0 8〜5 1 2が反復的 に実行されて、 図 8 Cおよび 8 Dに示されているように、 円柱 6 2 3および球 6 2 2の画像が順にレンダリングされる。
ステップ 5 1 4において、 制御器 1 0 3は、 図 8 Eに示されているように、 ポ ックス 6 1 1の近い面の外面 6 1 1 4および 6 1 1 5をレンダリングする。 この ようにして、 ボックス 6 1 1およびリンクされる球 6 2 1、 円柱 6 2 3および球 6 2 2の画像がレンダリングされる。
図 5のフローチヤ一卜が実行されることによって、 図 3に示された階層構造に 従ってォブジェクトがソートされることは明らかである。
図 5のフロ一チヤ一トでは階層的ソートとレンダリングを並行して行つたが、 図 3に示されたような階層構造を先に決定し、 その階層構造に従ってオブジェク トを視点からの距離に従って遠くから近くへとソートし、 そのソートされた順序 に従ってオブジェクトの画像をレンダリングしてもよい。 その際、 リンク 'デー 夕 ·セットに従って、 或るオブジェクトが別のオブジェクトにリンクされるとき 、 その或るオブジェクトの遠い面のレンダリングと近い面のレンダリングの間に 別のオブジェクトをレンダリングする。 あるいは、 遠い面と近い面の双方を有す る或るォブジェクトが別のオブジェクトにリンクされるとき、 その遠い面と近い 面を別のオブジェクトとともにソートしてレンダリングの順序を決定してもよい 。 後続のオブジェクトにリンクされないオブジェクトは、 複数の面を持っていて も、 通常、 ソートのために複数の面に分離する必要はない。
このようにして、 1つのオブジェクトがリンクされる後続のオブジェクトの画 像が順にレンダリングされる。 リンクされた前のオブジェクトの画像がレンダリ ングされるとき、 その前に、 その後に、 またはそのレンダリングの途中で、 リン クされる後続のオブジェクトの画像がレンダリングされる。 換言すると、 ォプジ ェクト画像は、 オブジェクト間のリンクに従って局所的にデプス ·ソートされる 図 9 Aは、 図 8 Eのォブジェクト 6 1 1が半透明の場合の表示画像を示してい る。 図 9 Aにおいて点線は透けて見える線を示している。 この場合、 ボックス 6 1 1の面 6 1 1 4および 6 1 1 5がレンダリングされるとき、 その背後にある面 6 1 1 1および 6 1 1 2、 および球 6 2 2の近い半球面の外面の色と、 その面 6 1 1 4の色とが重なり部分で混合され、 その面 6 1 1 1および 6 1 1 3、 および 球 6 2 2の近い半球面の外面の色と、 その面 6 1 1 5の色とが重なり部分で混合 される。
図 9 Bは、 図 9 Aのオブジェクト 6 1 1、 6 2 1、 6 2 2および 6 2 3が半透 明の場合の表示画像を示している。 球 6 2 1の画像がレンダリングされるとき、 その背後にある面 6 1 1 1、 6 1 1 2および 6 1 1 3の色と球 6 2 1の色とが重 なり部分で混合される。 円柱 6 2 3の画像がレンダリングされるとき、 その背後 にある先にレンダリングされたオブジェクト画像と円柱 6 2 3の画像とが重なり 部分で混合される。 球 6 2 2の画像がレンダリングされるとき、 その背後にある 先にレンダリングされたオブジェクト画像と球 6 2 2の画像とが重なり部分で混 合される。 面 6 1 1 4および 6 1 1 5がレンダリングされるとき、 その背後にあ るレンダリングされたオブジェクト画像と球 6 2 2の画像とが重なり部分で混合 される。
このようにオブジェクトを階層的にソートすることによってオブジェクトの画 像を効率的にレンダリングできる。 全てのオブジェクトの全ての面をソートする 必要がなくなる。 上述の例では、 2つのオブジェクトが 3次元空間で交差するよ うな複雑な配置はなかった。 そのような場合は、 各オブジェクトをその交差面に おいて 2つのオブジェクト部分に分割して、 それを他のオブジェクトとともに階 層的にソートすればよい。
以上説明した実施形態は典型例として挙げたに過ぎず、 その変形およびバリエ ーションは当業者にとって明らかであり、 当業者であれば本発明の原理および請 求の範囲に記載した発明の範囲を逸脱することなく上述の実施形態の種々の変形 を行えることは明らかである。

Claims

請 求 の 範 囲
1 . 視野データに従って 3次元仮想空間におけるリンクされた複数のオブジェ クトを表示する情報処理装置であって、
前記視野データは前記仮想空間における視野および視点を規定するものであり、 オブジェクト ·データを格納するメモリと、
前記視野データに従って、 前記メモリに格納されている前記オブジェクト ·デ 一夕から前記複数のオブジェク卜の画像を生成して、 2次元フレーム上に前記生 成された画像をレンダリングする制御手段と、
を具え、
前記制御手段は、 前記レンダリングのために、 前記複数のオブジェクトの間の リンクを表すリンク ·デ一夕に従って前記複数のオブジェクトを階層的にソート するものである、
2 . 前記制御手段は、 前記階層的なソートによって決定された順序と前記リン ク ·データとに従って、 前記複数のオブジェクトの画像および Zまたは部分画像 をレンダリングするものである、 請求項 1に記載の情報処理装置。
3 . 前記制御手段は、 前記階層的なソートによって決定された順序に従って前 記複数のオブジェクトの画像および Zまたは部分画像をレンダリングし、 前記制御手段は、 1つのオブジェクトとこの 1つのオブジェク卜がリンクされ る 1つ以上の他のオブジェクトとからなるグループについて、 前記グループのォ ブジェクトの画像および/または部分画像を前記視点からの距離に従つて順にレ ンダリングするものである、
請求項 1に記載の情報処理装置。
4. 視野データに従って 3次元仮想空間におけるリンクされた複数のオブジェ クトを表示する情報処理装置であって、
前記視野データは前記仮想空間における視点および視野を規定するものであり、 オブジェクト ·データを格納するメモリと、
前記視野データに従って、 前記メモリに格納されている前記オブジェクト ·デ 一夕から前記複数のオブジェクトの画像を生成して、 2次元フレーム上に前記生 成された画像をレンダリングする制御手段と、
を具え、
前記制御手段は、 1つのオブジェクトの画像と前記 1つのォブジェクトがリン クされる別のオブジェクトの画像とをレンダリングし、 その際、 前記 1つのォブ ジェクトの画像のレンダリングの開始前に、 終了後に、 または前記開始と終了の 間に、 前記別のオブジェクトの画像をレンダリングするものである、
5 . 前記制御手段は、 前記 1つのオブジェクトの画像または複数の部分画像と 、 前記別のオブジェクトの画像を、 前記視点からの距離に従って順にレンダリン グするものである、 請求項 4に記載の情報処理装置。
6 . 情報処理装置において使用するのための、 視野データに従って 3次元仮想 空間におけるリンクされた複数のオブジェクトを表示するための記憶媒体に格納 されたプログラムであって、
前記視野データは前記仮想空間における視野および視点を規定するものであり、 前記複数のオブジェクトの間のリンクを表すリンク ·データに従って前記複数 のォブジェクトを階層的にソートするステップと、
前記視野デ一夕に従って、 前記オブジェクト ·デ一夕から前記複数のオブジェ クトの画像を生成するステップと、
前記階層的なソートによって決定された順序に従って、 2次元フレーム上に前 記生成された画像をレンダリングするステップと、
を実行させるよう動作可能なプログラム。
7 . 前記レンダリングするステップは、 前記階層的なソートによって決定され た順序と前記リンク ·データとに従って、 前記複数のオブジェクトの画像および Zまたは部分画像をレンダリングすることを含むものである、 請求項 6に記載の プログラム。
8 . 前記レンダリングするステップは、 前記階層的なソートによって決定され た順序に従って前記複数のオブジェクトの画像および Zまたは部分画像をレンダ リングすることを含み、 前記レンダリングするステップは、 1つのオブジェクトとこの 1つのオブジェ クトがリンクされる 1つ以上の他のオブジェクトとからなるグループについて、 前記グループのオブジェクトの画像および Zまたは部分画像を前記視点からの距 離に従って順にレンダリングすることを含むものである、
請求項 6に記載のプログラム。
9 . 情報処理装置において使用するのための、 視野デ一夕に従って 3次元仮想 空間におけるリンクされた複数のオブジェクトを表示するための記憶媒体に格納 されたプログラムであって、
前記視野データは前記仮想空間における視野および視点を規定するものであり、 前記視野データに従って、 前記オブジェクト ·データから前記複数のオブジェ クトの画像を生成するステップと、
2次元フレーム上に前記生成された画像をレンダリングするステップと、 を実行させるよう動作可能であり、
前記レンダリングするステップは、 1つのオブジェクトの画像と前記 1つのォ ブジェク卜がリンクされる別のオブジェク卜の画像とをレンダリングすることを 含み、 その際、 前記 1つのオブジェクトの画像のレンダリングの開始前に、 終了 後に、 または前記開始と終了の間に、 前記別のオブジェクトの画像をレンダリン グするものである、
プログラム。
1 0 . 前記レンダリングするステップは、 前記 1つのオブジェクトの画像また は複数の部分画像と、 前記別のオブジェクトの画像を、 前記視点からの距離に従 つて順にレンダリングすることを含むものである、 請求項 9に記載のプログラム
1 1 . 視野データに従って 3次元仮想空間におけるリンクされた複数のォブジ ェクトを表示するためのオブジェクト ·データ処理方法であって、
前記視野データは前記仮想空間における視野および視点を規定するものであり、 前記複数のオブジェク卜の間のリンクを表すリンク ·データに従って前記複数 のォブジェクトを階層的にソートするステップと、
前記視野データに従って、 前記オブジェクト ·デ一夕から前記複数のオブジェ クトの画像を生成するステップと、
前記階層的なソートによって決定された順序に従って、 2次元フレーム上に前 記生成された画像をレンダリングするステップと、
を含む、 オブジェクト ·データ処理方法。
1 2. 視野データに従つて 3次元仮想空間におけるリンクされた複数のォプジ エタトを表示するためのオブジェクト ·データ処理方法であって、
前記視野データは前記仮想空間における視野および視点を規定するものであり、 前記視野データに従って、 前記オブジェクト 'データから前記複数のオブジェ クトの画像を生成するステップと、
2次元フレーム上に前記生成された画像をレンダリングするステップと、 を含み、
前記レンダリングするステップは、 1つのオブジェクトの画像と前記 1つのォ ブジェクトがリンクされる別のオブジェクトの画像とをレンダリングすることを 含み、 その際、 前記 1つのオブジェクトの画像のレンダリングの開始前に、 終了 後に、 または前記開始と終了の間に、 前記別のオブジェクトの画像をレンダリン グするものである、
オブジェクト ·データ処理方法。
PCT/JP2001/009052 2001-10-15 2001-10-15 Hierarchical sort of objects linked in virtual three-dimensional space Ceased WO2003034343A1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2001/009052 WO2003034343A1 (en) 2001-10-15 2001-10-15 Hierarchical sort of objects linked in virtual three-dimensional space
EP01974863A EP1437687B1 (en) 2001-10-15 2001-10-15 Hierarchical sort of objects linked in virtual three-dimensional space
JP2003536997A JP3949109B2 (ja) 2001-10-15 2001-10-15 仮想３次元空間におけるリンクされた複数のオブジェクトの階層的ソート
DE60136498T DE60136498D1 (de) 2001-10-15 2001-10-15 Hierarchisches sortieren von im virtuellen dreidimensionalen raum verknüpften objekten
US10/817,006 US7142207B2 (en) 2001-10-15 2004-04-05 Hierarchical sorting of linked objects in virtual three-dimensional space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2001/009052 WO2003034343A1 (en) 2001-10-15 2001-10-15 Hierarchical sort of objects linked in virtual three-dimensional space

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US10/817,006 Continuation US7142207B2 (en) 2001-10-15 2004-04-05 Hierarchical sorting of linked objects in virtual three-dimensional space

Publications (1)

Publication Number Publication Date
WO2003034343A1 true WO2003034343A1 (en) 2003-04-24

Family

ID=11737834

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2001/009052 Ceased WO2003034343A1 (en) 2001-10-15 2001-10-15 Hierarchical sort of objects linked in virtual three-dimensional space

Country Status (5)

Country Link
US (1) US7142207B2 (ja)
EP (1) EP1437687B1 (ja)
JP (1) JP3949109B2 (ja)
DE (1) DE60136498D1 (ja)
WO (1) WO2003034343A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346165A (ja) * 2004-05-31 2005-12-15 Sony Computer Entertainment Inc 画像処理装置及び画像処理方法
CN111476870A (zh) * 2020-02-29 2020-07-31 新华三大数据技术有限公司 一种对象渲染方法和装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8633927B2 (en) 2006-07-25 2014-01-21 Nvidia Corporation Re-render acceleration of frame with lighting change
US20090091564A1 (en) * 2007-10-03 2009-04-09 Raju Thevan System and method for rendering electronic documents having overlapping primitives
US8044973B2 (en) * 2008-01-18 2011-10-25 Autodesk, Inc. Auto sorting of geometry based on graphic styles
US10290134B2 (en) * 2016-06-01 2019-05-14 Adobe Inc. Coverage based approach to image rendering using opacity values

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0371277A (ja) * 1989-08-10 1991-03-27 Daikin Ind Ltd サーフェス・モデル描画方法およびその装置
JPH09305791A (ja) * 1996-05-13 1997-11-28 Nec Corp 立体画像生成装置および立体画像生成方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8828342D0 (en) * 1988-12-05 1989-01-05 Rediffusion Simulation Ltd Image generator
JPH0535883A (ja) 1991-07-30 1993-02-12 Matsushita Electric Ind Co Ltd 三次元画像生成方法
JPH05174123A (ja) 1991-12-20 1993-07-13 Fujitsu Ltd 描画装置
JP2748798B2 (ja) 1992-10-07 1998-05-13 日本電気株式会社 ３次元画像生成装置
JP2807608B2 (ja) 1992-12-29 1998-10-08 株式会社ナムコ ソーティング処理装置、これを用いた画像合成装置及びソーティング処理方法
EP0612031A3 (en) * 1993-02-15 1995-01-04 Canon Kk Image processing.
EP0670560B1 (en) * 1994-03-01 2001-10-31 Sega Enterprises, Ltd. A method for sorting polygon data, a video game machine employing the same and acomputer program performing the method
US5864342A (en) * 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
US5977977A (en) * 1995-08-04 1999-11-02 Microsoft Corporation Method and system for multi-pass rendering
US6023279A (en) * 1997-01-09 2000-02-08 The Boeing Company Method and apparatus for rapidly rendering computer generated images of complex structures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0371277A (ja) * 1989-08-10 1991-03-27 Daikin Ind Ltd サーフェス・モデル描画方法およびその装置
JPH09305791A (ja) * 1996-05-13 1997-11-28 Nec Corp 立体画像生成装置および立体画像生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP1437687A4 *
TOMOYUKI NISHIDA ET AL.: "Yuusen jun-i table wo mochiita 3-jigen buttai no in-ei hyouji no 1-shuhou", JOHO SHORI GAKKAI RONBUNSHI, JOHO SHORI GAKKAI, vol. 24, no. 4, July 1983 (1983-07-01), pages 429 - 435, XP002949774 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346165A (ja) * 2004-05-31 2005-12-15 Sony Computer Entertainment Inc 画像処理装置及び画像処理方法
CN111476870A (zh) * 2020-02-29 2020-07-31 新华三大数据技术有限公司 一种对象渲染方法和装置
CN111476870B (zh) * 2020-02-29 2022-08-30 新华三大数据技术有限公司 一种对象渲染方法和装置

Also Published As

Publication number Publication date
JP3949109B2 (ja) 2007-07-25
EP1437687B1 (en) 2008-11-05
US7142207B2 (en) 2006-11-28
US20040183797A1 (en) 2004-09-23
EP1437687A4 (en) 2007-05-09
EP1437687A1 (en) 2004-07-14
DE60136498D1 (de) 2008-12-18
JPWO2003034343A1 (ja) 2005-02-03

Similar Documents

Publication Publication Date Title
JP6274777B2 (ja) ウェブページを経由した、高速かつリアルな３ｄレンダリングによるオブジェクトのカスタマイズ方法
US8134556B2 (en) Method and apparatus for real-time 3D viewer with ray trace on demand
US20170193688A1 (en) Systems and Methods for Data Visualization Using Three-Dimensional Displays
US20020176636A1 (en) Method and system for displaying visual content in a virtual three-dimensional space
US20210407125A1 (en) Object recognition neural network for amodal center prediction
CN108762482A (zh) 一种大屏幕和增强现实眼镜间数据交互方法和系统
JPH02230470A (ja) コンピユータグラフイツクス・デイスプレイシステム
US12236541B2 (en) Geometry-aware augmented reality effects with real-time depth map
CN104243952A (zh) 图像处理设备、图像处理方法、程序、印刷介质和印刷介质套件
JP2012190428A (ja) 立体映像視覚効果処理方法
US5917494A (en) Two-dimensional image generator of a moving object and a stationary object
Slay et al. Interaction Modes for Augmented Reality Visualization.
CN116485973A (zh) 虚拟对象的材质生成方法、电子设备和存储介质
CN115761188A (zh) 一种基于WebGL的多媒体与三维场景融合的方法和系统
US20060098029A1 (en) System, method and program to generate a blinking image
US8464170B2 (en) 2D editing metaphor for 3D graphics
US6181349B1 (en) Data processor controlled display interface with composite graphic objects formed by vector and raster graphics
WO2003034343A1 (en) Hierarchical sort of objects linked in virtual three-dimensional space
CN108986228A (zh) 用于虚拟现实中界面显示的方法及装置
Hanson et al. Overview of the SRI cartographic modeling environment
CN115686202A (zh) 跨Unity/Optix平台的三维模型交互渲染方法
WO2007035988A1 (en) An interface for computer controllers
CN108536510B (zh) 基于人机交互应用程序的实现方法和装置
JP2004151979A (ja) 電子カタログ用索引自動作成システム
JP2004201004A (ja) ３次元映像表示装置、プログラム、及び記録媒体

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB IE IT LU MC NL PT SE TR

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003536997

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 10817006

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2001974863

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2001974863

Country of ref document: EP