[go: up one dir, main page]

WO2016125972A1 - 무안경 3d 영상을 이용한 3d 홀로그램 구현 시스템 - Google Patents

무안경 3d 영상을 이용한 3d 홀로그램 구현 시스템 Download PDF

Info

Publication number
WO2016125972A1
WO2016125972A1 PCT/KR2015/009489 KR2015009489W WO2016125972A1 WO 2016125972 A1 WO2016125972 A1 WO 2016125972A1 KR 2015009489 W KR2015009489 W KR 2015009489W WO 2016125972 A1 WO2016125972 A1 WO 2016125972A1
Authority
WO
WIPO (PCT)
Prior art keywords
stereoscopic image
autostereoscopic
display
image
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2015/009489
Other languages
English (en)
French (fr)
Inventor
오병기
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3d Factory Co Ltd
Original Assignee
3d Factory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3d Factory Co Ltd filed Critical 3d Factory Co Ltd
Publication of WO2016125972A1 publication Critical patent/WO2016125972A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers

Definitions

  • the present invention relates to a 3D hologram realization system using an autostereoscopic 3D image.
  • Stereoscopic Stereoscopic
  • Auto-Stereoscopic Auto-Stereoscopic
  • the basic principle of the stereoscopic method is to separate and input images arranged to be orthogonal to each other in the left and right eyes of a person, and to input stereoscopic images by combining the input images of the left and right eyes in the human brain.
  • the images are arranged to be orthogonal to each other means that the images do not interfere with each other.
  • the auto-stereoscopic method is also called an autostereoscopic method.
  • a method of implementing a 3D image display device may be largely divided into a glasses method and a glassesless method.
  • 1 is an exemplary view showing one method of an autostereoscopic 3D image.
  • the multi-view autostereoscopic method includes a Parallax Barrier method and a lenticular lens method.
  • a barrier (film) is applied to a display formed of vertical lines, and there is a slit between the vertical lines. This slit creates a parallax in the left eye and right eye.
  • the lenticular method arranges the small lenses refined on the display on the display, and the image is refracted by the small lenses to display different images on the left and right eyes.
  • the method illustrated in FIG. 1 is based on a general parallax barrier method, and the stereoscopic image display apparatus 10 includes a display panel 30 and a parallax barrier 20 that simultaneously display left and right images.
  • the display panel 30 alternately defines a left eye pixel L for displaying a left eye image and a right eye pixel R for displaying a right eye image.
  • the parallax barrier 20 is disposed between the user 30 and the user 40.
  • the slit 22 and the barrier 21 for selectively passing the light from the left and right eye pixels L and R are repeated in the parallax barrier 20 in the form of a stripe facing the user 40 in the vertical direction. Are arranged.
  • the left eye image displayed on the left eye pixel L of the display panel 30 reaches the left eye of the user 40 via the slit 22 of the parallax barrier 20
  • the right eye image displayed on the right eye pixel R reaches the right eye of the user 40 via the slit 22 of the parallax barrier 20.
  • the left and right eye images respectively detect a parallax that can be detected by a human.
  • a separate image is taken into consideration, and the user 40 recognizes the 3D image by combining the two images.
  • a ghost phenomenon occurs in which the user 40 feels dizzy when the image is severely popped out of the screen. Due to this ghost phenomenon, the depth of the 3D image is limited, so the maximum pop out distance is 0.5 times the screen height, and the distance in depth is 0.5 times, and ultimately, the depth (depth) between the object that protrudes as far forward and the background as far back as possible is maximum 1 times the screen height.
  • the hologram currently used is a method of projecting a 2D image on a translucent screen or a two way mirror by a 2D projector or a 2D display, and the projected image is 2D and thus cannot express 3D or 3D volume.
  • an object of the present invention is to present a technique for displaying a stereoscopic image with improved stereoscopic feeling without ghosting.
  • an embodiment of the present invention proposes a method for providing a three-dimensional image is improved by fusing a three-dimensional image and a hologram.
  • An embodiment of the present invention is a playback apparatus for synchronizing and reproducing the content of the first stereoscopic image and the content of the second stereoscopic image generated by the autostereoscopic 3D method, and the first non-spatial flotation on the screen.
  • the glasses 3D display, the second autostereoscopic 3D display for spatially elevating the second stereoscopic image on the screen, and the second autostereoscopic 3D display are provided to be inclined by an inclination of a predetermined angle.
  • the second autostereoscopic 3D display is disposed in front of the first autostereoscopic 3D display so that the first stereoscopic image is arrayed on a rear surface of the hologram. And on a vertical axis of the first autostereoscopic 3D display.
  • the second autostereoscopic 3D display is disposed on a ceiling or a floor spaced apart by a predetermined interval in a forward direction of the first autostereoscopic 3D display, wherein the predetermined interval is a maximum pop-out of the first stereoscopic image. And the sum of the distance, the maximum depth in distance of the second stereoscopic image, and the optimum distance between the first stereoscopic image and the second stereoscopic image.
  • the maximum pop-out distance of the first stereoscopic image, the maximum depth in distance of the second stereoscopic image, and the optimum distance between the first stereoscopic image and the second stereoscopic image are respectively the first auto glasses 0.5 times the width w of the 3D display, and the predetermined interval is 1.5 times the width w of the first autostereoscopic 3D display.
  • the lens is characterized in that the two-way mirror (TWO WAY MIRROR).
  • the reproducing apparatus acquires the contents of the multiview first stereoscopic image and the contents of the multiview second stereoscopic image, respectively, generated by the autostereoscopic 3D method, and the contents of the obtained multiview first stereoscopic image and the contents of the second stereoscopic image.
  • a raster file is generated, and the generated first stereoscopic image raster file and the second stereoscopic image raster file is characterized in that the reproduction.
  • the reproducing apparatus may adjust the sense of depth by adjusting the distance between the hologram projected by the first stereoscopic image and the second stereoscopic image.
  • the 3D display technology and the hologram technology are fused to provide a stereoscopic image with improved stereoscopic effect.
  • 1 is an exemplary view showing one method of a stereoscopic image of a conventional autostereoscopic method.
  • FIG. 2 is an exemplary view showing a stereoscopic image production system according to an embodiment of the present specification.
  • FIG. 3 is a flowchart illustrating a method of controlling the image production system illustrated in FIG. 2.
  • FIG. 4 is a flowchart illustrating a modification of FIG. 3.
  • 5 is an exemplary view showing to understand the concept of a stereoscopic image.
  • FIG. 6 is a flowchart illustrating a method of manufacturing autostereoscopic 3D stereoscopic images through the image production system illustrated in FIG. 2.
  • FIG. 7 is an exemplary diagram illustrating a 3D hologram implementing system using autostereoscopic 3D images according to an exemplary embodiment of the present specification.
  • FIG. 8 is an exemplary diagram for describing an arrangement of a 3D hologram implementing system using autostereoscopic 3D images according to an exemplary embodiment of the present specification.
  • FIG. 9 is a flowchart illustrating a 3D image display method of a 3D hologram implementing system using autostereoscopic 3D images according to an exemplary embodiment of the present specification.
  • FIG. 10 is an exemplary diagram illustrating a format of video content according to an embodiment of the present specification.
  • FIG. 11 is an exemplary diagram illustrating a format of video content according to another embodiment of the present specification.
  • FIG. 12 is an exemplary diagram for describing a method of setting up display of a first stereoscopic image and a second stereoscopic image according to an exemplary embodiment of the present specification.
  • FIG. 13 is an exemplary diagram in which a 3D hologram realization system using an autostereoscopic 3D image is installed according to an exemplary embodiment of the present specification.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • a display panel is used as a generic term for an image that can be viewed by a person.
  • FIG. 2 is an exemplary view showing a stereoscopic image production system according to an embodiment of the present specification.
  • the content producing apparatus 100 may produce a stereoscopic image. Specifically, it is as follows.
  • the plurality of cameras 150 are cameras capable of capturing general photographic images, that is, 2D images.
  • the camera 150 may be a digital single-lens reflex camera (DSLR), a digital single-lens translucent (DSLT), or a mirrorless camera.
  • the camera 150 may be a lens-mounted camera or a lens interchangeable camera.
  • each camera 150 may be interchangeably mounted with, for example, a wide-angle lens, a standard lens, a telephoto lens, and the like.
  • the standard lens may mean, for example, a lens having a focal length of 35 mm to 85 mm.
  • the wide-angle lens may mean a lens having a focal length lower than 35 mm.
  • the telephoto lens may mean a lens having a focal length of 70 mm or more.
  • the plurality of cameras 150 may be capable of capturing video, it is preferable that the plurality of cameras 150 be able to capture images at a rate of a few frames per second even if the video cannot be captured.
  • the rail 160 allows each camera 150 to be finely adjusted to move in the x, y, z axis direction shown . That is, the rail 160 allows each camera 150 to be linearly moved in the x-axis direction, rotated or linearly moved along the y-axis, and rotated or linearly moved along the z-axis. . To this end, the rail 160 may be provided with a motor or an actuator for adjusting each camera 150 in the x, y, z-axis direction.
  • the plurality of cameras 150 are illustrated as nine cameras in FIG. 5, at least two cameras may be implemented.
  • the content production device 100 is connected to the rail 160, so that each camera 150 can be finely moved in the x, y, z axis direction.
  • the content producing apparatus 100 may be connected to each camera 150.
  • each camera 150 may be connected by wire or wirelessly.
  • the content producing apparatus 100 stores an image captured by each connected camera 150 in an internal memory or an external memory, produces a stereoscopic image based on the image, and stores the produced stereoscopic image in the internal memory or an external memory. Can be stored.
  • the memory may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM, or ROM. (EEPROM, etc.) may include at least one type of storage medium.
  • the content producing apparatus 100 may control the rail 160 and each camera 150.
  • the content producing apparatus 100 may control the rail 160 to adjust the plurality of cameras 150 to be adjacent to or spaced apart from each other in the x-axis direction.
  • An x-axis distance between the plurality of cameras 150 may be represented as a distance between lens axes as shown in FIG. 10.
  • the distance between the axes between the plurality of cameras 150 may be adjusted according to the binocular parallax average distance of the human and the focal length L of the lens.
  • the distance between the axes of the first camera 151 and the third camera 153 is equal to the average distance between the binocular parallax of the human eye and the focal length L of the lens.
  • the second camera 152 is disposed at the center of the first camera 151 and the third camera 153 to serve as reference focusing or to be used for previewing as described above. have.
  • FIG. 3 is a flowchart illustrating a method of controlling the image production system illustrated in FIG. 2, and FIG. 4 is a flowchart illustrating a modified example of FIG. 3.
  • 5 is an exemplary view showing to understand the concept of a stereoscopic image.
  • each camera 150 may be interchangeably mounted with, for example, a wide-angle lens, a standard lens, a telephoto lens, and the like. Therefore, the content producing apparatus 100 obtains information on the focal length L of the lens mounted on each camera 150 (S111).
  • the content producing apparatus 100 obtains the distance information to the convergence point intended by the content producer (S113).
  • the convergence point refers to the point where the three-dimensional effect is zero. Specifically, the point where the focus of each camera coincides with each other is a convergence point. These convergence points are adjustable in distance. Therefore, when the main subject, which is a photographing target, is convergent, the main subject is photographed in 2D without a three-dimensional effect, that is, without a three-dimensional view.
  • the stereoscopic view may be expressed as if the subject is positioned in front of the background located at the convergence point.
  • the content producing apparatus 100 obtains the width information of the stage at the convergence point (S115).
  • the width of the stage at the convergence point refers to the width and width X of the convergence point at the stage when the distance Y of the convergence point is adjusted to the center of the stage, as shown in FIG. 5.
  • objects located in front of the convergence point may be expressed with a sense of depth protruding from the stereoscopic image
  • objects located behind the convergence point may be expressed with a depth of retreating from the stereoscopic image.
  • the content producing apparatus 100 may calculate a sense of depth that can be expressed (S117). That is, as shown in FIG. 5, the content producing apparatus 100 may calculate a sense of depth d that can be expressed.
  • the lens axis distance x may be calculated as follows.
  • Distance between lens axes (x) distance to convergence point (Y) / (distance to subject / average binocular parallax distance)
  • the distance to the subject may be 4,000 mm that is optimal for viewing.
  • the average distance of binocular parallax of a human may be, for example, 64.5mm.
  • Equation 1 the distance between lens axes x may be expressed as Y / (4000 mm / 64.5 mm).
  • width information of the stage at the convergence point in step S115 may be obtained by the following equation.
  • Stage width at convergence point (X) (Camera image sensor size / L) * Y
  • L is the focal length of the lens and Y is the distance to the convergence point.
  • the camera image sensor size may be 36 mm based on the film camera.
  • the expressive depth d may be obtained by the following equation.
  • Depth of expression (d) (TAN (ATAN ((Maximum depth of field-minimum depth of field displayed) / (Longest focal length of lens-Shortest focal length of lens))) * (Lens longest focal length of lens-Actual lens Focal length) + (Lens focal length of lens)) * (Y / Optimized viewing distance)
  • the longest focal length of the lens may be 55 mm, for example, and the shortest focal length of the lens may be 18 mm.
  • the maximum stereoscopic sense displayed on the screen is from 4,000 mm to 1,600 mm (actual 1,626 mm) at an optimal viewing distance, and at least 800 mm (actually). 775 mm).
  • the content producing apparatus 100 may calculate a sense of depth that can be expressed based on the obtained information.
  • the content producing apparatus 100 performs information different from the procedure shown in FIG. 3 to calculate the focal length of the lens, thereby providing information for selecting a lens to be mounted on each camera.
  • the content producing apparatus 100 obtains the distance information up to the convergence point intended by the content producer (S121), and the content producing apparatus 100 obtains the width information of the stage at the convergence point (S123). ).
  • the depth of expression that can be expressed S117
  • the focal length of the lens the lens to be mounted on each camera is selected.
  • a method of obtaining auto glasses 3D content by directly photographing with a plurality of cameras has been described, but is not limited thereto.
  • computer graphics can be utilized to obtain autostereoscopic 3D content, such as shot from a multi-view of a camera.
  • FIG. 6 is a flowchart illustrating a method of manufacturing autostereoscopic 3D stereoscopic images through the image production system illustrated in FIG. 2.
  • the content producing apparatus 100 obtains images from the plurality of cameras 150 (S211).
  • the content producing apparatus 100 corrects the color of each camera image (S213). That is, the plurality of cameras 151, 152, and 153 may be inconsistent with each other in white balance, color temperature, contrast, business card, color tone, and the like, and thus match the images obtained from each camera.
  • the content production device 100 corrects the position offset of the image frame of each camera (S214). For example, when the camera 150 is not finely aligned in the y-axis direction and the z-axis direction on the rail 160, there may be offset between the captured images when there is a difference. Therefore, the content production device 100 corrects the offset between the images taken by each camera.
  • the content production device 100 synthesizes the images obtained from each camera, and generates a stereoscopic image (S215).
  • FIG. 7 is an exemplary view showing a 3D hologram realization system using an autostereoscopic 3D image according to an embodiment of the present disclosure
  • FIG. 8 is an exemplary view for explaining an arrangement of a stereoscopic image display system according to an embodiment of the present specification. to be.
  • a stereoscopic image array reproducing apparatus 300 using two displays 210 and 220 and a lens 230 is hereinafter referred to as a reproducing apparatus.
  • Can array stereoscopic images is as follows.
  • the playback device 300 which acquires the content of two autostereoscopic 3D stereoscopic images, mixes and synchronizes the first autostereoscopic 3D stereoscopic contents and the second autostereoscopic 3D stereoscopic contents, respectively, so that the first autostereoscopic 3D displays 210 respectively. And play through the second autostereoscopic 3D display 220.
  • the first autostereoscopic 3D display 210 spatially displays an image of the content of the first autostereoscopic 3D stereoscopic image reproduced by the playback device 300, and displays the second autostereoscopic 3D display 220. Space-lifts and displays an image of content of a second autostereoscopic 3D stereoscopic image reproduced by the reproducing apparatus 300 on a screen.
  • an image displayed on the screen of the first autostereoscopic 3D display 210 is called a first stereoscopic image I1
  • an image displayed by the second autostereoscopic 3D display 220 is called a second stereoscopic image ( It is called I2).
  • the lens 230 is used.
  • the lens 230 is provided to be inclined with the second autostereoscopic 3D display 220 by a 45 degree inclination. This lens may be a two way mirror.
  • the second autostereoscopic 3D display 220 is moved forward of the first autostereoscopic 3D display 210. Place it on the vertical axis of the first autostereoscopic 3D display 210.
  • the second autostereoscopic 3D display 220 may be disposed on a ceiling or a floor spaced apart from each other in a forward direction of the first autostereoscopic 3D display.
  • the front here means the side closer to the viewer.
  • the hologram I2 ′ of the second stereoscopic image I2 displayed by the second autostereoscopic 3D display 220 is displayed on the first stereoscopic image (represented by the first autostereoscopic 3D display 210). Fused with I1).
  • the distance d between the first autostereoscopic 3D display 210 and the second autostereoscopic 3D display 220 is the maximum pop-out distance of the first stereoscopic image and the maximum of the second stereoscopic image. It is set as the sum of the depth in distance and the optimal distance between the first stereoscopic image and the second stereoscopic image.
  • the maximum pop-out distance of the first stereoscopic image, the maximum depth in distance of the second stereoscopic image, and the optimum distance between the first stereoscopic image and the second stereoscopic image are respectively the first autostereoscopic 3D display. Is 0.5 times the width w of the lens, and the distance d between the first autostereoscopic 3D display 210 and the second autostereoscopic 3D display 220 is 1.5 times the width w of the first autostereoscopic 3D display. It is doubled.
  • FIG. 9 is a flowchart illustrating a 3D image display method of a 3D hologram implementing system using autostereoscopic 3D images according to an exemplary embodiment of the present specification.
  • the 3D hologram implementing system acquires the first stereoscopic image content and the second stereoscopic image content (S311).
  • the first stereoscopic image content and the second stereoscopic image content obtained at this time are multi-view contents, respectively.
  • nine images are required for the nine-view image.
  • the first stereoscopic image content and the second stereoscopic image content generated for the nine-view image are nine tile contents.
  • the stereoscopic image reproducing apparatus makes the first stereoscopic image content and the second stereoscopic image content into one file in order to display the acquired images as synchronized holograms (S312).
  • the first stereoscopic image content and the second stereoscopic image content are nine view images, that is, nine tile contents generated according to each viewpoint.
  • Each image has a resolution of 1280 ⁇ 720, a total resolution of 3840 ⁇ 4320, or 7680 ⁇ 2160.
  • the raster file is generated by mixing the first stereoscopic image and the second stereoscopic image (S313).
  • a first raster file for the first stereoscopic image and a second raster file for the second stereoscopic image are generated.
  • the raster file is composed of pixels in a two-dimensional array form, and combines the appearance of these points to represent a single piece of image information with pixels at regular intervals, which means a set of consecutive pixels.
  • the positional information of all pixels is represented in correspondence with a storage location, and the information stored in the storage location is sequentially read to determine the pixel appearance of the output device at a specified value.
  • the generated first raster file for the first stereoscopic image and the second raster file for the second stereoscopic image are synchronized and reproduced (S314).
  • the first autostereoscopic 3D display and the second autostereoscopic 3D display output the first stereoscopic image and the second stereoscopic image, and the holograms of the output second stereoscopic image are arrayed with the first stereoscopic image according to the reproduction instruction of the playback apparatus. Is displayed.
  • the first stereoscopic image content and the second stereoscopic image content may include time information for every unit for synchronization. This time information can be matched to synchronize.
  • the sense of depth may be controlled by adjusting the distance between the holograms of the first stereoscopic image and the second stereoscopic image.
  • the playback device In order to play high-definition (UHD) video with 9 eyes or more, it needs to process 9 to 36 times more information in real time than full-HD (FHD) 2D video. To this end, the playback device must be able to efficiently compress / play high capacity content.
  • UHD high-definition
  • FHD full-HD
  • the playback apparatus may perform an error correction procedure based on the synchronized first and third stereoscopic images.
  • the error correction procedure includes checking an error and correcting an error of the image data (or any tile or one pixel) in which the error is detected based on another image in which no error is detected when an error is detected. .
  • the DC current included in the DCT Discrete Cosine Transform
  • the DC current included in the DCT Discrete Cosine Transform
  • FIG. 12 is an exemplary diagram for describing a method of setting up display of a first stereoscopic image and a second stereoscopic image according to an exemplary embodiment of the present specification.
  • display setting can be performed through a display screen of a PC or the like connected to the playback apparatus.
  • the two displays are set in the extended mode so that the first stereoscopic image and the second stereoscopic image are reproduced on the first autostereoscopic 3D display and the second autostereoscopic 3D display, respectively.
  • a 9-eye display is adopted to obtain a stable image when playing content for a stereoscopic image array.
  • the luminance decreases in proportion to the number of viewpoints and the resolution also decreases with the number of viewpoints
  • the luminance and the resolution are deteriorated when the 4K (3840x2160) or higher resolution LCD panel is adopted. Can be prevented.
  • FIG. 13 is an exemplary view in which a stereoscopic image array display system is installed according to an embodiment of the present specification.
  • a first autostereoscopic 3D display 210 provided with a front direction of a stage, and a second autostereoscopic 3D display 220 disposed on a bottom of a vertical axis in a forward direction of the first autostereoscopic 3D display 210. Is provided.
  • the viewer can feel a deeper three-dimensional feeling by fusion of the hologram by the image reproduced on the second autostereoscopic 3D display 220 with the background of the first autonomous 3D display 210.
  • Conventional holograms project a 2D image onto a translucent screen or a two way mirror by a 2D projector or a 2D display. Since the projected image is 2D, 3D stereoscopic or 3D volume may not be expressed.
  • 3D stereoscopic or 3D volume may not be expressed.
  • an improved depth can be realized, and in particular, a real object or a person can be inserted between the holograms to provide a new experience for the audience. It can be used in the market, so it can provide a variety of videos to further activate the video industry market.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 일 실시예는 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템에 관한 것이다. 상기 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템은, 상기 제1 입체영상의 콘텐츠와 제2 입체영상의 콘텐츠를 동기화시켜 재생시키는 재생 장치와, 상기 제1 입체영상을 스크린에 공간 부양화시키는 제1 무안경 3D 디스플레이와, 상기 제2 입체영상을 스크린에 공간 부양화시키는 제2 무안경 3D 디스플레이 및 상기 제2 무안경 3D 디스플레이와 소정 각도의 경사만큼 기울어지도록 마련되고 상기 제2 입체영상을 굴절시켜 홀로그램을 생성하는 렌즈를 포함하고, 제1 무안경 3D 디스플레이와 상기 제2 무안경 3D 디스플레이는 상기 홀로그램의 후면에 상기 제1 영상이 어레이되도록 상기 제1 무안경 3D 디스플레이와 상기 제2 무안경 3D 디스플레이는 서로 수직하도록 배치되는 것을 특징으로 한다.

Description

무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템
본 발명은 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템에 관한 것이다.
최근 입체영상 서비스에 대한 관심이 점점 증대되면서 입체영상을 제공하는 장치들이 계속 개발되고 있다. 이러한 입체영상을 구현하는 방식 중에 스테레오스코픽(Stereoscopic) 방식과 오토스테레오스코픽(Auto-Stereoscopic) 방식이 있다.
스테레오스코픽 방식의 기본 원리는, 사람의 좌안과 우안에 서로 직교하도록 배열된 영상을 분리하여 입력하고, 사람의 두뇌에서 좌안과 우안에 각각 입력된 영상이 결합되어 입체영상이 생성되는 방식이다. 이때, 영상이 서로 직교하도록 배열된다는 것은 각 영상이 서로 간섭을 일으키지 않는다는 것을 의미한다. 상기 오토스테레오스코픽(Auto-Stereoscopic) 방식은 무안경 방식으로 불리기도 한다.
즉, 입체영상 디스플레이 장치를 구현하는 방법은, 안경 방식과 무안경 방식으로 크게 나뉠수 있다.
도 1은 무안경 방식의 입체영상의 일 방식을 나타낸 예시도이다.
먼저, 무안경 방식으로는 다시점 무안경 방식이 있다. 상기 다시점 무안경 방식은 페러렉스 배리어 (Parallax Barrier) 방식과 렌티큘러 렌즈(Lenticular Lens) 방식이 있다.
상기 페러렉스 배리어 방식에서는 수직하는 라인들로 이루어진 디스플레이에 배리어(막)을 입히는데, 수직 라인들 사이에 슬릿(slit)이 존재한다. 이 슬릿에 의하여 좌안가 우안에 시차를 만들어 진다.
렌티큘러 방식은 디스플레이에 정제된 작은 렌즈들을 디스플레이에 배열하여, 영상이 작은 렌즈들에 의해 굴절되어, 좌안과 우안에 각기 다른 영상을 보여주는 방식이다.
도 1에 도시된 방식은 일반적인 패러렉스 배리어 방식에 의한 것으로서, 입체영상표시장치(10)는 좌우 영상을 동시에 표시하는 표시패널(30) 및 패러렉스 배리어(20)로 구성된다.
이때, 상기 표시패널(30)에는 좌안(左眼)용 영상을 표시하는 좌안 화소(L)와 우안(右眼)용 영상을 표시하는 우안 화소(R)가 번갈아 정의되어 있고, 상기 표시패널(30)과 사용자(40) 사이에 상기 패러렉스 배리어(20)가 배치된다.
상기 패러렉스 배리어(20)에는 좌, 우안 화소(L, R)로부터 나오는 빛을 각각 선택적으로 통과시키는 슬릿(22)과 배리어(21)가 사용자(40)에 대해 세로방향을 향하는 스트라이프 형태로 반복 배열되어 있다.
이에 따라 상기 표시패널(30)의 좌안 화소(L)에 표시되는 좌안 영상은 패러렉스 배리어(20)의 슬릿(22)을 거쳐 사용자(40)의 좌안에 도달되고, 상기 표시패널(20)의 우안 화소(R)에 표시되는 우안 영상은 패러렉스 배리어(20)의 슬릿(22)을 거쳐 사용자(40)의 우안에 도달되는데, 이때 상기 좌, 우안 영상에는 각각 인간이 감지 가능한 시차(視差)를 고려한 별개의 영상이 담겨 있고, 사용자(40)는 이 두 가지 영상을 결합하여 3차원 영상을 인식하게 된다.
이와 같이 시차(視差)에 따라 3차원 영상을 인식하도록 하는 무안경 3D 디스플레이에서는 영상이 화면 밖으로 심하게 돌출(Pop-Out)될 경우 사용자(40)는 어지러움을 느끼게 되는 고스트 현상이 발생된다. 이러한 고스트 현상에 의해 3차원 영상의 깊이감 표현의 제한을 받게 되므로, 이러한 제한에 의해 최대 돌출(pop out) 할 수 있는 거리는 스크린 높이의 0.5배, 들어갈(depth in) 수 있는 거리도 스크린 높이의 0.5배 정도가 되어, 결국, 앞으로 최대한 돌출한 객체와 뒤로 최대한 들어간 배경과의 심도(깊이감)은 스크린 높이의 1배가 최대가 된다.
한편, 현재 사용되고 있는 홀로그램은 2D 프로젝터 또는 2D 디스플레이로 2D 영상을 반투명 스크린이나 투웨이 미러(Two way Mirror)에 투영하는 방식으로, 투영된 영상이 2D 이므로 3D 입체감이나 3D 볼륨감을 표현할 수 없었다.
전술한 바와 같이, 고스트 현상없이 입체감이 향상된 입체영상을 디스플레이 하는 기술을 제시하는 것을 목적으로 한다.
전술한 목적을 달성하기 위하여, 본 발명의 일 실시예는 입체영상과 홀로그램을 융합하여 입체감이 향상된 입체영상을 제공하는 방안을 제시한다.
본 발명의 일 실시예는 무안경 3D 방식으로 생성된 제1 입체영상의 콘텐츠와 제2 입체영상의 콘텐츠를 동기화시켜 재생하는 재생 장치와, 상기 제1 입체영상을 스크린에 공간 부양화시키는 제1 무안경 3D 디스플레이와, 상기 제2 입체영상을 스크린에 공간 부양화시키는 제2 무안경 3D 디스플레이 및 상기 제2 무안경 3D 디스플레이와 소정 각도의 경사만큼 기울어지도록 마련되고 상기 제2 입체영상을 굴절시켜 홀로그램을 생성하는 렌즈를 포함하고, 상기 홀로그램의 후면에 상기 제1 입체영상이 어레이되도록 상기 제2 무안경 3D 디스플레이는 상기 제1 무안경 3D 디스플레이의 앞쪽에 배치되며, 상기 제2 무안경 3D 디스플레이는 상기 제1 무안경 3D 디스플레이의 수직한 축 상에 배치되는 것을 특징으로 한다.
상기 제2 무안경 3D 디스플레이는 상기 제1 무안경 3D 디스플레이의 앞방향으로 미리 정해진 간격만큼 이격된 천장 또는 바닥에 배치되고, 여기서, 미리 정해진 간격은 제1 입체영상의 최대 돌출(pop-out) 거리와, 제2 입체영상의 최대 깊이감(depth in) 거리와, 제1 입체영상과 제2 입체영상 간 최적거리의 합인 것을 특징으로 한다.
또한, 상기 제1 입체영상의 최대 돌출(pop-out) 거리와, 제2 입체영상의 최대 깊이감(depth in) 거리와, 제1입체영상과 제2 입체영상 간 최적거리는 각각 제1 무안경 3D 디스플레이의 가로 폭(w)의 0.5배이고, 상기 미리 정해진 간격은 제1 무안경 3D 디스플레이의 가로 폭(w)의 1.5배인 것을 특징으로 한다.
상기 렌즈는 투웨이 미러(TWO WAY MIRROR)인 것을 특징으로 한다.
상기 재생 장치는 무안경 3D 방식으로 생성된 다시점 제1 입체영상의 콘텐츠와 다시점 제2 입체영상의 콘텐츠를 각각 획득하고, 획득된 다시점 제1 입체영상의 콘텐츠와 제2 입체영상의 콘텐츠를 하나의 파일로 묶은 후, 래스터 파일을 생성하고, 생성된 제1 입체영상용 래스터 파일과 제2 입체영상용 래스터 파일을 동기화하여 재생시키는 것을 특징으로 한다.
상기 재생 장치는 제1 입체영상과 제2 입체영상에 의해 투영되는 홀로그램 사이의 거리를 조정함으로써 깊이감을 조정할 수 있는 것을 특징으로 한다.
본 발명의 일 실시예에 의하면, 무안경 3D 디스플레이 기술과 홀로그램 기술을 융합하여 입체감이 향상된 입체영상을 제공할 수 있도록 한다.
또한, 본 발명의 다른 일 실시예에 의하면 입체영상 어레이의 간격을 조정하여 깊이감을 제어할 수 있도록 한다.
또한, 본 발명의 다른 일 실시예에 의하면 다중 무안경 3D 디스플레이의 영상을 동기화시켜 복수개의 입체영상을 무리없이 제공할 수 있도록 한다.
도 1은 종래의 무안경 방식의 입체영상의 일 방식을 나타낸 예시도이다.
도 2는 본 명세서의 일 실시예에 따른 입체영상 제작 시스템을 나타낸 예시도이다.
도 3은 도 2에 도시된 영상 제작 시스템을 제어하는 방안을 나타낸 흐름도이다.
도 4는 도 3의 변형예를 나타낸 흐름도이다.
도 5는 입체영상의 개념을 이해하기 위해 나타낸 예시도이다.
도 6은 도 2에 도시된 영상 제작 시스템을 통해 무안경 3D 입체영상을 제작하는 방법을 나타낸 흐름도이다.
도 7은 본 명세서의 일 실시예에 따른 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템을 나타낸 예시도이다.
도 8은 본 명세서의 일 실시예에 따른 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템의 배치를 설명하기 위한 예시도이다.
도 9는 본 명세서의 일 실시예에 따른 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템의 입체영상 디스플레이 방법을 설명하기 위한 흐름도이다.
도 10은 본 명세서의 일 실시예에 따른 영상 콘텐츠의 포맷을 나타내는 예시도이다.
도 11은 본 명세서의 다른 실시예에 따른 영상 콘텐츠의 포맷을 나타내는 예시도이다.
도 12는 본 명세서의 일 실시예에 따른 제1 입체영상과 제2 입체영상을 디스플레이 셋업하는 방법을 설명하기 위한 예시도이다.
도 13은 본 명세서의 일 실시예에 따른 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템을 설치한 예시도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
설명에 앞서, 본 발명에서 혼용하는 '3D', '3차원', '입체'는 동일한 의미로 사용된다.
또한, 디스플레이 패널(display panel)은 사람이 볼 수 있는 영상을 총칭한 의미로 사용된다.
먼저, 본 발명에서 사용되는 무안경 3D 콘텐츠를 획득하는 방법을 위하여 도 2와 도 3을 참조하여 이하에 설명한다.
도 2는 본 명세서의 일 실시예에 따른 입체영상 제작 시스템을 나타낸 예시도이다.
도 2를 참조하여 알 수 있는 바와 같이, 본 명세서의 일 실시예에 따르면, 레일(160)에 의해 지지된 다수의 카메라(151 내지 159: 이하, 150으로 통침함)을 이용하여 촬영된 이미지들을 이용하여, 콘텐츠 제작 장치(100)가 입체영상을 제작할 수 있다. 구체적으로 설명하면 다음과 같다.
다수의 카메라(150)는 일반적인 사진 이미지, 즉 2D 이미지를 촬영할 수 있는 카메라이다. 이러한 상기 카메라(150)는 DSLR(digital single-lens reflex camera), DSLT(Digital Single-Lens Translucent), 혹은 미러리스(Mirror-less) 카메라일 수 있다. 또한, 카메라(150)는 렌즈 장착형 카메라일 수도 있고 혹은 렌즈 교환식 카메라일 수 있다. 따라서, 각 카메라(150)에는 예컨대 광각 렌즈, 표준 렌즈, 망원 렌즈 등이 교환 장착될 수 있다. 상기 표준 렌즈라 함은 예컨대 35mm~85mm 초점 거리를 가지는 렌즈를 의미할 수 있다. 그리고 상기 광각 렌즈라 함은 상기 35mm 보다 낮은 초점 거리를 가지는 렌즈를 의미할 수 있다. 또한, 상기 망원 렌즈라 함은 70mm 이상의 초점 거리를 가지는 렌즈를 의미할 수 있다.
이하에서는, 렌즈 교환식 카메라를 가정하여 설명하기로 하나, 이에만 한정되는 것은 아니다.
또한, 상기 다수의 카메라(150)는 동영상을 촬영할 수 있으면 바람직하나, 동영상을 촬영할 수 없더라도, 초당 몇 프레임의 속도로 이미지를 촬영할 수 있으면 무방하다.
이러한, 상기 다수의 카메라(150)는 상기 레일(160)에 의하여 지지되는데, 상기 레일(160)은 각 카메라(150)가 도시된 x, y, z 축 방향으로 미세하게 이동 조절 될 수 있도록 한다. 즉, 상기 레일(160)은 각 카메라(150)가 x축 방향으로 직선 이동될 수 있도록 하고, y축을 따라서는 회전 또는 직선 이동될 수 있도록 하고, z축을 따라서는 회전 또는 직선 이동될 수 있도록 한다. 이를 위해, 상기 레일(160)에는 각 카메라(150)를 x, y, z축 방향으로 조정할 수 있게 하는 모터 혹은 액추에이터가 설치될 수 있다.
한편, 도 5에는 상기 다수의 카메라(150)는 9개의 카메라인 것으로 도시되었으나, 적어도 2개 이상의 카메라로 구현될 수도 있다.
한편, 콘텐츠 제작 장치(100)는 상기 레일(160)과 연결되어, 상기 각 카메라(150)를 x,y,z축 방향으로 미세 이동될 수 있도록 한다. 또한, 콘텐츠 제작 장치(100)는 상기 각 카메라(150)와의 연결될 수 있다. 이때, 각 카메라(150)의 연결은 유선 또는 무선으로 이루어질 수 있다.
콘텐츠 제작 장치(100)는 연결된 각 카메라(150)로부터 촬영된 이미지를 내부 메모리 또는 외부 메모리에 저장하고, 상기 이미지에 기초하여 입체영상을 제작하고, 제작된 입체영상을 상기 내부 메모리 또는 외부 메모리에 저장할 수 있다. 여기서 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
콘텐츠 제작 장치(100)는 상기 레일(160) 및 각 카메라(150)를 제어할 수 있다. 예컨대, 콘텐츠 제작 장치(100)는 상기 레일(160)을 제어하여, 상기 다수의 카메라(150)들이 x축 방향으로 서로 근접하게 하거나 이격되도록 조절할 수 있다. 상기 다수의 카메라(150)들 간에 x축 방향 거리는 도 10과 같이 렌즈 축간 거리로 나타낼 수 있다. 이때, 상기 다수의 카메라(150)들 간에 축간 거리는 인간의 양안시차 평균거리와 렌즈의 초점 거리(L)에 맞춰 조절될 수 있다. 예를 들어, 3개의 카메라(151, 152, 153)가 이용될 경우, 제1 카메라(151)와 제3 카메라(153)의 축간 거리는 인간의 양안시차 평균거리와 렌즈의 초점 거리(L)를 이용하여 조절되고, 제2 카메라(152)는 상기 제1 카메라(151)와 제3 카메라(153)의 중앙에 배치되어, 전술한 바와 같이 기준 포커싱 역할을 하거나, 혹은 미리보기를 위해 이용될 수 있다.
도 3은 도 2에 도시된 영상 제작 시스템을 제어하는 방안을 나타낸 흐름도이고, 도 4는 도 3의 변형예를 나타낸 흐름도이다. 그리고 도 5는 입체영상의 개념을 이해하기 위해 나타낸 예시도이다.
도 3 및 도 4에 도시된 방안들은 상기 카메라(150)가 렌즈 교환식 카메라인 것으로 가정하여 설명되나, 이에만 한정되는 것이 아니다.
먼저, 전술한 바와 같이 각 카메라(150)에는 예컨대 광각 렌즈, 표준 렌즈, 망원 렌즈 등이 교환 장착될 수 있다. 따라서, 상기 콘텐츠 제작 장치(100)는 각 카메라(150)에 장착된 렌즈의 초점 거리(L)에 대한 정보를 획득한다(S111).
이어서, 콘텐츠 제작 장치(100)는 콘텐츠 제작자가 의도한 컨버젼스 포인트까지의 거리 정보를 획득한다(S113). 컨버젼스 포인트라 함은 입체감이 0인 지점을 말한다. 구체적으로, 각각의 카메라의 초점이 서로 일치하는 지점이 컨버젼스 포인트이다. 이러한 컨버젼스 포인트는 거리 조절이 가능하다. 따라서, 촬영 대상물인 주 피사체를 컨버젼스 포인트 맞추게 되면, 상기 주 피사체는 입체감이 없이, 즉 입체도가 없이 2D로 촬영된다.
피사체보다 더 멀리 있는 지점에 컨버젼스 포인트를 맞춘 후 촬영하면, 피사체가 컨버전스 포인트에 위치하는 배경보다 전방에 위치하는 것처럼 입체도가 표현될 수 있다.
다시 도 3을 참조하면, 상기 콘텐츠 제작 장치(100)는 컨버젼스 포인트에서 스테이지의 횡폭 정보를 획득한다(S115). 상기 컨버젼스 포인트에서 스테이지의 횡폭이라 함은 도 5에 나타난 바와 같이, 컨버젼스 포인트의 거리(Y)가 스테이지 중앙으로 조절되었을 때, 상기 스테이지에서 상기 컨버젼스 포인트의 가로 횡폭(X)을 의미한다. 이때, 상기 컨버젼스 포인트 보다 전면에 위치한 사물들은 입체영상에서 돌출되는 깊이감을 가지고 표현되고, 컨버젼스 포인트 보다 후면에 위치한 사물은 입체영상에서 후퇴하는 깊이감을 가지고 표현될 수 있다.
전술한 바와 같은 정보들이 획득되면, 상기 콘텐츠 제작 장치(100)는 표현 가능한 깊이감을 산출할 수 있다(S117). 즉, 상기 콘텐츠 제작 장치(100)는 도 5에서 나타난 바와 같이, 표현 가능한 깊이감(d)을 산출할 수 있다.
전술한 각 과정에 대해 예를 들어 설명하면 다음과 같다.
전술한 S113 과정에서, 렌즈 축간 거리(x)는 다음과 같이 산출될 수 있다.
[수학식 1]
렌즈축간거리(x) = 컨버젼스 포인트까지의 거리(Y)/(피사체까지의 거리/인간의 양안시차 평균 거리)
여기서, 피사체까지의 거리는 시청에 최적인 4,000mm일 수 있다. 그리고 인간의 양안시차 평균거리는 예를 들어, 64.5mm일 수 있다.
따라서, 수학식1을 다시 쓰면, 예를 들어, 렌즈 축간 거리(x)=Y/(4000mm/64.5mm)로 나타낼 수 있다.
한편, S115 과정에서 컨버젼스 포인트에서 스테이지의 횡폭 정보는 다음과 같은 수학식으로 획득될 수 있다.
[수학식 2]
컨버젼스 포인트에서 스테이지의 횡폭 (X) = (카메라 이미지 센서 크기/L)*Y
여기서, 상기 L은 렌즈의 초점 거리이고, Y는 컨버젼스 포인트까지의 거리이다. 그리고, 상기 카메라 이미지 센서 크기는 필름 카메라 기준으로 36mm일 수 있다.
그러면, S117 과정에서 상기 표현 가능한 깊이감(d)는 아래의 수학식으로 획득될 수 있다.
[수학식 3]
표현가능한 깊이감(d)=(TAN(ATAN((화면에 표시되는 최대 입체감-최소 입체감)/(렌즈의 최장 초점거리-렌즈의 최단 초점 거리)))*(렌즈의 최장 초점거리 - 실제 렌즈의 초점거리)+(렌즈의 최단 초점 거리))*(Y/최적의 시청거리)
여기서, 렌즈의 최장 초점거리는 예컨대 55mm일 수 있고, 렌즈의 최단 초점 거리는 18mm일 수 있다.
그리고, 만약 입체영상을 디스플레이하는 방식이 렌티큘러 렌즈(Lenticular Lens) 방식일 경우, 상기 화면에 표시되는 최대 입체감은 최적의 시청거리인 4,000mm에서 최대 1,600mm(실제 1,626mm)이고, 최소 800mm(실제 775mm)일 수 있다.
즉, 렌즈의 초점 거리가 18mm일 때, 최대 1,600mm의 깊이감이 표현될 수 있고, 렌즈의 초점 거리가 55mm 일 때, 800mm의 깊이감이 표현될 수 있다.
전술한 내용을 표로 정리하면 다음과 같을 수 있다.
컨버젼스 포인트까지의 거리(Y) 4,000 7,000 10,000
렌즈촛점거리(L) 55 컨버젼스 포인트에서 스테이지의 횡폭(X) 2,618 4,582 6,545
깊이감(d) 800 1,400 2,000
축간거리(x) 64.5 112.9 161.3
18 컨버젼스 포인트에서 스테이지의 횡폭(X) 8,000 14,000 20,000
깊이감(d) 1,600 2,800 4,000
축간거리(x) 64.5 112.9 161.3
28 컨버젼스 포인트에서 스테이지의 횡폭(X) 5,143 9,000 12,857
깊이감(d) 1,384 2,422 3,459
축간거리(x) 64.5 112.9 161.3
이상과 같이, 상기 콘텐츠 제작 장치(100)는 획득한 정보들에 기반하여, 표현 가능한 깊이감을 산출할 수 있다.
한편, 도 4와 같이, 상기 콘텐츠 제작 장치(100)는 도 3에 도시된 순서와 달리 각 과정을 수행함으로써, 렌즈의 초점거리를 산출함으로써, 각 카메라에 장착할 렌즈를 선택할 수 있도록 정보를 제공할 수도 있다. 이러한 도 4의 순서는 콘텐츠 제작 장치(100)는 콘텐츠 제작자가 의도한 컨버젼스 포인트 까지의 거리 정보를 획득하고(S121), 콘텐츠 제작 장치(100)는 컨버젼스 포인트에서 스테이지의 횡폭 정보를 획득한다(S123). 다음 표현 가능한 깊이감을 산출하여(S117), 렌즈의 초점거리를 산출함으로써, 각 카메라에 장착할 렌즈를 선택한다. 이러한 방법은 도 3과 관련하여 전술한 내용을 기반하여, 당업자가 용이하게 이해할 수 있는 바, 상세하게 설명하지 않기로 한다.
또한, 본 명세서의 일 실시예에서는 복수개의 카메라로 직접 촬영하여 무안경 3D 콘텐츠를 획득한 방법을 설명하였으나, 이에 한정하는 것은 아니다. 다른 변형예에서 컴퓨터 그래픽을 활용하여 카메라의 다시점에서 촬영한 것과 같은 무안경 3D 콘텐츠를 획득할 수 있다.
도 6은 도 2에 도시된 영상 제작 시스템을 통해 무안경 3D 입체영상을 제작하는 방법을 나타낸 흐름도이다.
도 6을 참조하면, 상기 콘텐츠 제작 장치(100)는 상기 다수의 카메라(150)로부터의 영상을 획득한다(S211).
상기 영상이 획득되면, 상기 콘텐츠 제작 장치(100)는 각 카메라 영상의 컬러를 보정한다(S213). 즉, 상기 다수의 카메라(151, 152, 153)은 화이트밸런스, 색온도, 컨트라스트, 명함, 색조 등이 서로 불일치할 수 있으므로, 각 카메라에서 획득된 영상 들간에 이를 일치시킨다.
다음으로, 상기 콘텐츠 제작 장치(100)는 각 카메라의 이미지 프레임의 위치 오프셋을 보정한다(S214). 예를 들어, 상기 카메라(150)가 상기 레일(160) 상에서 y축 방향 및 z축 방향으로 미세 정렬이 잘 안되어, 서로 차이가 있는 경우, 촬영된 이미지들 간에 오프셋이 존재할 수 있다. 따라서, 상기 콘텐츠 제작 장치(100)는 각 카메라에서 촬영된 이미지들 간에 오프셋을 보정한다.
위와 같이, 컬러 보정 및 오프셋 보정이 완료되면, 상기 콘텐츠 제작 장치(100)는 각 카메라로부터 획득된 영상을 합성하여, 입체영상을 생성한다(S215).
다음은 전술한 바와 같이 생성된 입체영상 콘텐츠를 이용한 3D 홀로그램 구현 시스템에 관하여 도 7 내지 13을 참조하여 이하에 설명한다.
도 7은 본 명세서의 일 실시예에 따른 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템을 나타낸 예시도이고, 도 8은 본 명세서의 일 실시예에 따른 입체영상 디스플레이 시스템의 배치를 설명하기 위한 예시도이다.
도 7을 참조하여 알 수 있는 바와 같이, 본 명세서의 일 실시예에 따르면, 2개의 디스플레이(210, 220) 및 렌즈(230)를 이용하여 입체영상 어레이 재생 장치(300: 이하, 재생 장치라고 한다)가 입체영상을 어레이 시킬 수 있다. 구체적으로 설명하면 다음과 같다.
2개의 무안경 3D 입체영상의 콘텐츠를 획득한 재생 장치(300)가 제1 무안경 3D 입체영상 콘텐츠와 제2 무안경 3D 입체영상 콘텐츠를 믹싱하고 동기화시켜 각각 제1 무안경 3D 디스플레이(210)와 제2 무안경 3D 디스플레이(220)를 통해 재생시킨다.
제1 무안경 3D 디스플레이(210)는 상기 재생 장치(300)에 의해 재생되는 제1 무안경 3D 입체영상의 콘텐츠의 영상을 스크린에 공간 부양화시켜 표시하고, 제2 무안경 3D 디스플레이(220)는 상기 재생 장치(300)에 의해 재생되는 제2 무안경 3D 입체영상의 콘텐츠의 영상을 스크린에 공간 부양화시켜 표시한다.
설명의 편의상, 제1 무안경 3D 디스플레이(210)의 스크린에 표시되는 영상을 제1 입체영상(I1)이라 하고, 제2 무안경 3D 디스플레이(220)에 의해 표시되는 영상을 제2 입체영상(I2)이라 한다.
제2 무안경 3D 디스플레이(220)에 의해 표시되는 제2 입체영상(I2)에 대한 홀로그램을 플로팅(floating) 방식으로 생성하기 위하여, 렌즈(230)를 이용한다. 렌즈(230)는 상기 제2 무안경 3D 디스플레이(220)와 45 각도의 경사만큼 기울어지도록 마련된다. 이 렌즈는 투웨이 미러(TWO WAY MIRROR)일 수 있다.
또한 렌즈(230)에 의해 생성된 홀로그램(I2')을 제1 입체영상(I1) 앞에 어레이시키기 위하여, 제2 무안경 3D 디스플레이(220)를 상기 제1 무안경 3D 디스플레이(210)의 앞쪽으로 배치하되, 상기 제1 무안경 3D 디스플레이(210)의 수직 축 상에 배치한다. 예컨대, 상기 제2 무안경 3D 디스플레이(220)는 상기 제1 무안경 3D 디스플레이의 앞방향으로 소정 간격 이격된 위치의 천장 또는 바닥에 배치될 수 있다. 여기서 앞은, 시청자로부터 더 가까운 측을 의미한다.
이러한 구성에 따라, 제2 무안경 3D 디스플레이(220)에 의해 표시되는 제2 입체영상(I2)의 홀로그램(I2')이 제1 무안경 3D 디스플레이(210)에 의해 표시되는 제1 입체영상(I1)과 융합된다.
이 때, 제1 무안경 3D 디스플레이(210)와 제2 무안경 3D 디스플레이(220) 사이의 거리(d)는 제1 입체영상의 최대 돌출(pop-out) 거리와, 제2 입체영상의 최대 깊이감(depth in) 거리와, 제1 입체영상과 제2 입체영상 간 최적거리의 합으로 한다.
상기 제1 입체영상의 최대 돌출(pop-out) 거리와, 제2 입체영상의 최대 깊이감(depth in) 거리와, 제1 입체영상과 제2 입체영상 간 최적거리는 각각 제1 무안경 3D 디스플레이의 가로 폭(w)의 0.5배이고, 제1 무안경 3D 디스플레이(210)와 제2 무안경 3D 디스플레이(220) 사이의 거리(d)는 제1 무안경 3D 디스플레이의 가로 폭(w)의 1.5배가 된다.
도 9는 본 명세서의 일 실시예에 따른 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템의 입체영상 디스플레이 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 먼저, 본 명세서의 일 실시예에서와 같이 3D 홀로그램 구현 시스템은 제1 입체영상 콘텐츠와 제2 입체영상 콘텐츠를 획득한다(S311). 이 때 획득한 제1 입체영상 콘텐츠와 제2 입체영상 콘텐츠는 각각 다시점 콘텐츠이다. 도 10에 도시한 본 명세서의 일 실시예에서와 같이 9 시점 영상을 위해서는 9개의 영상이 요구된다. 이러한 9 시점 영상을 위해 생성된 제1 입체영상 콘텐츠와 제2 입체영상 콘텐츠는 9 타일(tile) 콘텐츠이다.
다음, 입체영상 재생장치는 각각 획득한 영상을 동기화된 홀로그램으로 표시하기 위하여, 제1 입체영상 콘텐츠와 제2 입체영상 콘텐츠를 하나의 파일로 만든다(S312). 또한, 도 11에 도시한 바와 같이, 본 명세서의 일 실시예에서와 같이 제1 입체영상 콘텐츠와 제2 입체영상 콘텐츠가 9 시점 영상, 즉 각 시점에 따라 생성된 9 타일(tile) 콘텐츠이고, 각 영상이 1280×720의 해상도를 가지며, 총 3840×4320의 해상도를 가질 수도 있고 7680×2160 일 수도 있다.
제1 입체영상과 제2 입체영상을 믹싱하여 래스터 파일을 생성한다(S313).
다음 제1 입체영상용 제1 래스터 파일과 제2 입체영상용 제2 래스터 파일을 생성한다.
래스터 파일은 이미지를 2차원 배열 형태의 픽셀로 구성하고, 이 점들의 모습을 조합하여, 일정한 간격의 픽셀들로 하나의 화상 정보를 표현하는 것으로, 연속된 픽셀들의 집합을 의미한다. 래스터 방식의 경우 모든 픽셀들의 위치 정보를 기억장소에 대응시켜 표현한 다음 기억장소에 저장된 정보를 순차적으로 읽어가면서 지정된 값에 출력 장치의 픽셀 모습을 결정하도록 한다.
생성된 제1 입체영상용 제1 래스터 파일과 제2 입체영상용 제2 래스터 파일을 동기화시켜 재생시킨다(S314). 재생 장치의 재생지시에 따라 제1 무안경 3D 디스플레이와 제2 무안경 3D 디스플레이는 제1 입체영상과 제2 입체영상을 출력하고, 출력된 제2 입체영상의 홀로그램이 제1 입체영상과 어레이되도록 표시된다.
예를 들어, 동기화를 위해 제1 입체영상 콘텐츠와 제2 입체영상 콘텐츠는 임의의 단위마다 시간정보를 포함할 수 있다. 이 시간정보를 맞추어 동기를 맞출 수 있게 된다.
또한, 재생 장치의 재생시, 제1 입체영상과 제2 입체영상에 의한 홀로그램 사이의 거리를 조절함으로써 깊이감을 제어할 수 있다.
9안 이상의 고화질(UHD) 영상을 플레이하기 위해서는 현재 일반적으로 사용되는 FHD(Full-HD) 2D 영상보다 9배에서 36배에 이르는 많은 정보를 실시간으로 처리해야 한다. 이를 위해 재생 장치는 고용량 콘텐츠를 효율적으로 압축/재생할 수 있어야 한다.
이 외에도 재생 장치는 동기화가 맞추어진 제1 입체영상 및 제2 입체영상을 기반으로 에러 보정 절차를 수행할 수 있다. 상기 에러 보정 절차는 에러를 체크하고, 에러가 검출된 경우 상기 에러가 검출된 영상 데이터(또는 어느 한 타일 또는 한 픽셀)의 에러를 에러가 검출되지 않은 다른 영상을 기반으로 보정하는 동작을 포함한다.
예를 들어, 영상 의 블록 단위 DCT(Discrete Cosine Transform) 계수에 포함되는 DC 계수(Direct Current)가 주변 블록의 DC 계수와 비교하여 일정 범위 내에 들어가는지 여부를 검출하고, 일정 범위 내에 들어가지 않는 경우, 그 매크로 블럭 내에 에러가 포함되어 있는 것으로 판정할 수 있다.
도 12는 본 명세서의 일 실시예에 따른 제1 입체영상과 제2 입체영상을 디스플레이 셋업하는 방법을 설명하기 위한 예시도이다.
도 12의 (a)와 (b)에 도시한 바와 같이, 재생 장치에 연결된 PC 등의 표시화면을 통해 디스플레이 설정을 수행할 수 있다. 제1 무안경 3D 디스플레이와 제2 무안경 3D 디스플레이에 제1 입체영상과 제2 입체영상에 각각 영상을 재생하기 위하여 디스플레이 2개를 확장모드로 설정한다.
본 명세서의 일 실시예에서는 입체영상 어레이를 위한 콘텐츠 재생시 안정적인 영상을 획득하기 위해서 9안 방식의 디스플레이를 채택한다. 그러나, 휘도가 시점 수에 비례하여 감소하고, 해상도 또한 시점 수에 따라 감소하기 때문에, 9안 방식의 디스플레이를 채택한 경우, 4K(3840x2160) 이상의 고해상도 LCD 패널을 채택하면, 휘도와 해상도가 저하되는 문제를 방지할 수 있다.
도 13은 본 명세서의 일 실시예에 따른 입체영상 어레이 디스플레이 시스템을 설치한 예시도이다.
도 13에 도시한 바와 같이 무대의 앞 방향을 설치된 제1 무안경 3D 디스플레이(210)와, 제1 무안경 3D 디스플레이(210) 앞방향의 수직축의 바닥에 놓인 제2 무안경 3D 디스플레이(220)가 마련되어 있다.
따라서, 관객은 제2 무안경 3D 디스플레이(220)에서 재생되는 영상에 의한 홀로그램이 제1 무안경 3D 디스플레이(210)에서 나온 배경과 융합되어 더 깊은 입체감을 느낄 수 있게 된다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다.
따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
종래의 홀로그램은 2D 프로젝터 또는 2D 디스플레이로 2D 영상을 반투명 스크린이나 투웨이 미러(Two way Mirror)에 투영하는 방식으로, 투영된 영상이 2D 이므로 3D 입체감이나 3D 볼륨감을 표현할 수 없었으나, 본 발명은 면 전면 객체용 화면과 후면 객체용 화면 사이의 간격을 조정해서 향상된 깊이감을 구현할 수 있고, 특히, 홀로그램들 사이에 실제 물건이나 사람을 투입시킬 수도 있어, 관객에게 새로운 경험을 제공가능하며, 광고나 공연 등에서 활용가능하므로 다양한 영상을 제공하여 영상 산업 시장을 더욱 활성화 할 수 있다.

Claims (7)

  1. 무안경 3D 방식으로 생성된 제1 입체영상의 콘텐츠와 제2 입체영상의 콘텐츠를 동기화시켜 재생하는 재생 장치;
    상기 제1 입체영상을 스크린에 공간 부양화시키는 제1 무안경 3D 디스플레이;
    상기 제2 입체영상을 스크린에 공간 부양화시키는 제2 무안경 3D 디스플레이; 및
    상기 제2 무안경 3D 디스플레이와 소정 각도의 경사만큼 기울어지도록 마련되고 상기 제2 입체영상을 굴절시켜 홀로그램을 생성하는 렌즈
    를 포함하고,
    상기 홀로그램의 후면에 상기 제1 입체영상이 어레이되도록 상기 제2 무안경 3D 디스플레이는 상기 제1 무안경 3D 디스플레이의 앞쪽에 배치되며, 상기 제2 무안경 3D 디스플레이는 상기 제1 무안경 3D 디스플레이의 수직한 축 상에 배치되는 것을 특징으로 하는 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템.
  2. 제1항에 있어서,
    상기 제2 무안경 3D 디스플레이는 상기 제1 무안경 3D 디스플레이의 앞방향으로 미리 정해진 간격만큼 이격된 천장 또는 바닥에 배치되는 것을 특징으로 하는무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템.
  3. 제2항에 있어서,
    상기 미리 정해진 간격은 제1 입체영상의 최대 돌출(pop-out) 거리와, 제2 입체영상의 최대 깊이감(depth in) 거리와, 제1 입체영상과 제2 입체영상 간 최적거리의 합인 것을 특징으로 하는 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템.
  4. 제3항에 있어서, 상기 제1 입체영상의 최대 돌출(pop-out) 거리와, 제2 입체영상의 최대 깊이감(depth in) 거리와, 제1입체영상과 제2 입체영상 간 최적거리는 각각 제1 무안경 3D 디스플레이의 가로 폭(w)의 0.5배이고,
    상기 미리 정해진 간격은 제1 무안경 3D 디스플레이의 가로 폭(w)의 1.5배인 것을 특징으로 하는 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템.
  5. 제1항에 있어서, 상기 렌즈는 투웨이 미러(TWO WAY MIRROR)인 것을 특징으로 하는 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템.
  6. 제1항에 있어서,
    상기 재생 장치는 무안경 3D 방식으로 생성된 다시점 제1 입체영상의 콘텐츠와 다시점 제2 입체영상의 콘텐츠를 각각 획득하고, 획득된 다시점 제1 입체영상의 콘텐츠와 제2 입체영상의 콘텐츠를 하나의 파일로 묶은 후, 래스터 파일을 생성하고, 생성된 제1 입체영상용 래스터 파일과 제2 입체영상용 래스터 파일을 동기화하여 재생시키는 것을 특징으로 하는 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템.
  7. 제6항에 있어서,
    상기 재생 장치는 제1 입체영상과 제2 입체영상에 의해 투영되는 홀로그램 사이의 거리를 조정함으로써 깊이감을 조정할 수 있는 것을 특징으로 하는 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템.
PCT/KR2015/009489 2015-02-03 2015-09-09 무안경 3d 영상을 이용한 3d 홀로그램 구현 시스템 Ceased WO2016125972A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150016830A KR20160095500A (ko) 2015-02-03 2015-02-03 무안경 3d 영상을 이용한 3d 홀로그램 구현 시스템
KR10-2015-0016830 2015-02-03

Publications (1)

Publication Number Publication Date
WO2016125972A1 true WO2016125972A1 (ko) 2016-08-11

Family

ID=56564286

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/009489 Ceased WO2016125972A1 (ko) 2015-02-03 2015-09-09 무안경 3d 영상을 이용한 3d 홀로그램 구현 시스템

Country Status (2)

Country Link
KR (1) KR20160095500A (ko)
WO (1) WO2016125972A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102694169B1 (ko) * 2018-11-12 2024-08-13 한국전자통신연구원 이중 입체 영상 디스플레이 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126396A1 (en) * 1996-08-16 2002-09-12 Eugene Dolgoff Three-dimensional display system
KR20090105749A (ko) * 2008-04-03 2009-10-07 경희대학교 산학협력단 허상과 실상 결합형 집적 영상 시스템
KR20130019338A (ko) * 2011-08-16 2013-02-26 (주)코텍 영상표시장치 및 이의 제어방법
KR20130094108A (ko) * 2012-02-15 2013-08-23 한국전자통신연구원 시야창의 위치를 조정할 수 있는 홀로그래픽 디스플레이 장치
KR20150008727A (ko) * 2013-07-15 2015-01-23 광주과학기술원 양방향 슈도 홀로그램 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126396A1 (en) * 1996-08-16 2002-09-12 Eugene Dolgoff Three-dimensional display system
KR20090105749A (ko) * 2008-04-03 2009-10-07 경희대학교 산학협력단 허상과 실상 결합형 집적 영상 시스템
KR20130019338A (ko) * 2011-08-16 2013-02-26 (주)코텍 영상표시장치 및 이의 제어방법
KR20130094108A (ko) * 2012-02-15 2013-08-23 한국전자통신연구원 시야창의 위치를 조정할 수 있는 홀로그래픽 디스플레이 장치
KR20150008727A (ko) * 2013-07-15 2015-01-23 광주과학기술원 양방향 슈도 홀로그램 장치

Also Published As

Publication number Publication date
KR20160095500A (ko) 2016-08-11

Similar Documents

Publication Publication Date Title
US8077964B2 (en) Two dimensional/three dimensional digital information acquisition and display device
CN102123291B (zh) 智能型裸眼立体显示系统及其控制方法
WO2020105788A1 (en) Method and system for generating multi-faceted images using virtual camera
CN102135722B (zh) 摄像机结构、摄像机系统和方法
US5337096A (en) Method for generating three-dimensional spatial images
KR20160143623A (ko) 무안경 3d 영상을 이용한 적층형 홀로그램 구현 시스템
WO2015088057A1 (ko) 3d 카메라 모듈
CN103339947B (zh) 3d视频再现装置、3d显示装置、3d成像装置和3d视频再现方法
US7660472B2 (en) System and method for managing stereoscopic viewing
WO2011129488A1 (ko) 평행축 입체카메라
CN103329549B (zh) 立体视频处理器、立体成像装置和立体视频处理方法
WO2016056735A1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
JP3612865B2 (ja) ビデオカメラ装置
CN103339948B (zh) 3d视频再现装置、3d成像装置和3d视频再现方法
KR20120018864A (ko) 3차원 컨텐츠를 출력하는 멀티비전 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 멀티비전 디스플레이 기기
CN105323575A (zh) 影像显示系统、三维影像指示装置以及影像显示装置
JP3676916B2 (ja) 立体撮像装置および立体表示装置
CN100454140C (zh) 分屏式立体摄影仪
KR101686634B1 (ko) 무안경 3d 영상을 이용한 적층형 홀로그램 구현 시스템
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
WO2016125972A1 (ko) 무안경 3d 영상을 이용한 3d 홀로그램 구현 시스템
JP2011135252A (ja) 立体映像撮影用カメラ調整補助装置
KR101463778B1 (ko) 다수의 카메라를 이용하여 입체 영상을 제작하는 방법 및 시스템
Börner 3D TV projection
JP2005328332A (ja) 三次元画像通信端末

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15881290

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15881290

Country of ref document: EP

Kind code of ref document: A1