[go: up one dir, main page]

WO2020013429A1 - 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템 - Google Patents

가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템 Download PDF

Info

Publication number
WO2020013429A1
WO2020013429A1 PCT/KR2019/004710 KR2019004710W WO2020013429A1 WO 2020013429 A1 WO2020013429 A1 WO 2020013429A1 KR 2019004710 W KR2019004710 W KR 2019004710W WO 2020013429 A1 WO2020013429 A1 WO 2020013429A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual reality
image
information
mobile terminal
edited
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/004710
Other languages
English (en)
French (fr)
Inventor
곽태진
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Univr Co ltd
Original Assignee
Univr Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univr Co ltd filed Critical Univr Co ltd
Priority to JP2020502095A priority Critical patent/JP2020530675A/ja
Priority to US16/630,911 priority patent/US20210014576A1/en
Publication of WO2020013429A1 publication Critical patent/WO2020013429A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Definitions

  • the present invention relates to a system for providing a virtual reality image, and more particularly, to a system for providing a virtual reality image using a virtual reality experience device capable of receiving a virtual reality experience information inserted into a virtual reality image as a virtual reality experience device. .
  • a production device for producing a virtual reality (VR) image and a VR device for experiencing a virtual reality image are provided.
  • VR virtual reality
  • a VR device for experiencing a virtual reality image is provided.
  • it provides a VR device that allows a user to vividly experience a specific site at 360 degrees.
  • VR devices are inexpensive as a head mounted display (HMD), but the user can only watch a three-dimensional virtual reality image with his eyes, so it is difficult to feel a real sensation using the five senses in a specific scene of the image.
  • HMD head mounted display
  • the mobile terminal receives a virtual reality edited video from a virtual reality image providing server and plays the virtual reality
  • the VR repeater receives the virtual reality information from the mobile terminal and delivers the virtual reality experience device to the virtual reality experience device. It provides a virtual reality image providing system using a reality experience device.
  • the virtual reality editing including the virtual reality experience information is inserted at least one particular view or section of the virtual reality image through an editing program A virtual reality image providing server generating an image; And a mobile terminal for executing an application for reproducing a virtual reality edited image received from the virtual reality image providing server, and a VR repeater for receiving the virtual reality sensation information from the mobile terminal and delivering the virtual reality experience information to at least one virtual reality experience device.
  • the VR repeater is connected to the mobile terminal one-to-one to receive the virtual reality experience information from the mobile terminal, and connected to the virtual reality experience device to one-to-N to transfer the virtual reality experience information to the virtual reality experience device, It is characterized by providing the haptic information inserted in the virtual reality image to the virtual reality experience device.
  • the virtual reality image providing server may include an editing program, and insert the virtual reality experience information into a subtitle format to produce the virtual reality experience information in the form of a subtitle file.
  • the virtual reality image providing server may generate a virtual reality edited image, upload it to an image DB, and provide a virtual reality edited image stored in the image DB to a mobile terminal through a real time streaming or download method.
  • the VR repeater includes an input means for receiving a reproduction control signal for controlling reproduction of the virtual reality edited image, and transmits the reproduction control signal to the mobile terminal to remotely control the virtual reality edited image reproduced through the application. can do.
  • the virtual reality experience information may include timing information defining a specific time point or section, a device index defining a type of the virtual reality experience device, and an operation value defining the operation of the virtual reality experience device.
  • the present invention provides a home VR VOD service by receiving and playing a virtual reality edited video from a virtual reality video providing server, and transmitting a VR experience information from a mobile terminal to a virtual reality experience device. Can be.
  • FIG. 1 is a block diagram of a virtual reality image providing system of the present invention.
  • FIG. 2 is a block diagram illustrating a detailed configuration of the virtual reality video providing server of FIG. 1.
  • FIG. 3 is a block diagram showing a detailed configuration of the VR repeater of FIG.
  • FIG. 4 is a diagram illustrating an example of a virtual reality edited video generated by the virtual reality video providing server of FIG. 1.
  • FIG. 5 is a diagram for describing a data structure of virtual reality experience information included in the virtual reality edited video of FIG. 1.
  • FIG. 1 is a block diagram of a virtual reality video providing system of the present invention
  • Figure 4 is a view showing an example of a virtual reality editing video generated by the virtual reality video providing server of Figure 1
  • Figure 5 is a virtual reality editing of FIG.
  • the virtual reality image providing system of the present invention is to provide a virtual reality image for personalized leisure content due to the increase of one-person households, a virtual reality image providing server 100, a mobile communication network 200, a mobile terminal 300 , The VR repeater 500 and the virtual reality experience device 600.
  • the virtual reality image providing server 100 generates a virtual reality edited image including virtual reality experience information that is inserted into at least one specific time point or section of the image for a virtual reality experience to a video viewer from a plurality of virtual reality images to the mobile communication network
  • the mobile terminal 300 is connected to the mobile terminal 300.
  • the virtual reality edited video is a virtual reality experience information that is inserted into at least one point or section of the video in order to experience the virtual reality to viewers in the virtual reality video that can be viewed by the mobile terminal 300 mounted on the head-mounted display 400 Means the included image.
  • a transmission method of the virtual reality edited video may be a real time streaming method or a download method.
  • the virtual reality image providing server 100 provides a streaming URL to the mobile terminal 300 by HLS (Http Live Streaming).
  • the mobile communication network 200 is a mobile network for communicating the virtual reality image providing server 100 and the mobile terminal 300, and the virtual reality image providing server 100 is an internet network (not shown) and a network gateway (not shown). It may be connected to the mobile communication network 200 through.
  • the mobile terminal 300 executes an application for reproducing the virtual reality edited image received from the virtual reality image providing server 100 and at least one virtual reality experience device 600 capable of experiencing virtual reality in response to the virtual reality experience information. It is wirelessly connected to transmit the virtual reality information.
  • the mobile terminal 300 may be, for example, a smartphone, a phablet phone, or the like that can be inserted into or mounted on the head mounted display 400.
  • the application installed on the mobile terminal 300 may be initially installed through a download webpage provided in connection with the virtual reality image providing server 100, and the desired virtual reality edited video is reproduced by streaming through membership registration and login. Can be downloaded and played.
  • the present invention may selectively provide a virtual reality image and an edited image to a user through an application of the mobile terminal 300, and optionally whether the virtual reality experience device 600 is present or not, and optionally the virtual reality image and the edited image It can provide a, and can provide a selection image to satisfy the needs of the user.
  • Head mounted display 400 is a mobile terminal 300 is inserted or mounted to display a virtual reality edited video. That is, the head mounted display 400 is a smartphone-only VR device equipped with a smartphone, which is a mobile terminal 300.
  • the VR repeater 500 is connected to the mobile terminal 300 in a one-to-one manner to receive virtual reality experience information from the mobile terminal 300, and connected to the virtual reality experience device 600 in a one-to-N, virtual reality experience information Transfer to the virtual reality experience device (600). More specifically, the VR repeater 500 wirelessly connects the mobile terminal 300 and the virtual reality experience device 600, and is included in the corresponding virtual reality edited image when the virtual reality edited image is played back on the wirelessly connected mobile terminal 300. The virtual reality haptic information is received and transmitted to the virtual reality experience device 600.
  • the VR repeater 500 may use a known wireless communication technology such as a radio frequency (RF) communication technology, a Bluetooth technology, a Zigbee technology, or a Near Field Communication (NFC) technology, for example, the mobile terminal 300. ) And Bluetooth communication, and may be connected to RF communication in consideration of compatibility and versatility with the plurality of virtual reality experience devices 600.
  • the RF communication technology is LoRa (Long Range) communication technology.
  • the VR repeater 500 may further include a signal conversion module (not shown) for converting each other into a Bluetooth signal and an RF signal.
  • the mobile terminal 300 needs to receive an image including the virtual reality experience information from the virtual reality image providing server 100, and the Bluetooth communication is performed. Since it does not support 1: N communication, the VR repeater 500 receives the virtual reality information from the mobile terminal 300 and transmits the virtual reality experience information to the plurality of virtual reality experience devices 600.
  • the edited image generator 110 of the virtual reality image providing server 100 may provide image editing in an image content provider editing environment, and the program interlocking unit 520 of the VR repeater 500 may be provided. ) May provide image editing in a user experience environment.
  • the VR repeater 500 is connected to the virtual reality image providing server 100 and the virtual reality experience device to play the virtual reality edited image generated by the virtual reality image content provider through an editing program, and the virtual reality experience device. Through trial simulations that can be experienced in advance can be connected. That is, the VR repeater 500 may receive virtual reality experience information through an editing program of the virtual reality image providing server 100 and transmit the virtual reality experience information to a virtual reality experience device to perform a simulation simulation using the virtual reality experience device.
  • the VR repeater 500 includes input means for receiving a user's input to enable remote control of the virtual reality edited video being played through the mobile terminal 300, and the input means is provided for controlling playback of the virtual reality edited video.
  • the playback control signal is input.
  • the input means may include an input controller 530 and a sensor unit 540. The detailed configuration of the VR repeater 500 will be described later.
  • the virtual reality experience device 600 is provided in plurality, each of which receives the virtual reality experience information from the VR repeater 500 to provide a virtual reality experience service corresponding to the virtual reality experience information, and receive the virtual reality experience information It may include a receiver (not shown) and an input means (not shown) for receiving a user input to manipulate the device on / off or settings.
  • Each virtual reality experience device 600 may be directly worn or installed on site by a video viewer to provide a virtual reality experience service, such as a vibrator, 4D experience chair, wind blower, fog (Fog) generator, fragrance sprayer, air sprayer, bubble (bubble) generator, snow (snow) generator, etc. can be a device that can experience the virtual reality, the present invention is not limited thereto.
  • the virtual reality experience information is a haptic, olfactory sense, etc., except for the time corresponding to a specific scene of the image reproduced when the virtual reality edited video is played on the mobile terminal 300. It refers to information that can generate motion control motion or vibration, water, fog, fragrance, bubble or snow depending on the type.
  • the virtual reality experience information may be inserted in various specific views or sections reproduced in the virtual reality image and included in the virtual reality edited image.
  • timing information defining a specific point in time or a specific section in the virtual reality edited image
  • a device index defining a type of the virtual reality experience device 600
  • an operation of the virtual reality experience device 600 Contains an operation value defining.
  • the virtual reality sensation information included in the virtual reality edited image is displayed on the vibrator when the virtual reality edited image is played on the mobile terminal 300 mounted on the head mounted display 400. It receives through the VR repeater 500.
  • the vibrator recognizes the code corresponding to the vibrator from the device index included in the virtual reality experience information, and the operation value set in a specific reproduction time point or a specific reproduction period corresponding to the timing information included in the virtual reality experience information is on. If it is defined as the vibration of the wearer's wrist.
  • the virtual reality experience information may further include a device operation definition value according to the characteristics of the virtual reality experience device 600.
  • the vibrator may be set by dividing the vibration intensity or the number of vibrations by a device operation definition value.
  • all of the up / down / front / left / right motion control, wind blower and vibration function may be mounted, and may be set separately for each function in the device operation definition value.
  • the virtual reality experience information may be inserted into a plurality of specific time points or specific sections reproduced from the virtual reality edited video, a plurality of device indexes, operation values, and device operation definition values may be generated as necessary.
  • the virtual reality providing server 100 generates timing information in consideration of an operation occurrence time when the virtual reality experience device 600 operates through a transmission time and haptic information transmitted to the virtual reality experience device 600. can do.
  • the transmission time may include a time for converting a Bluetooth signal into an RF signal.
  • the operation time of the haptic information may be 1 minute 29.5 seconds considering the delay of the transmission time.
  • a bodily sensation can be generated at the same timing as an image of a specific time point, and the user's image immersion can be further improved.
  • FIG. 2 is a block diagram illustrating a detailed configuration of the virtual reality video providing server of FIG. 1.
  • the virtual reality image providing server 100 may include an edited image generation unit 110, a communication unit 120, an app interlocking unit 130, a web page providing unit 140, and a login authentication unit 150.
  • the payment processing unit 160, the image DB 171, the virtual reality information DB 172, the personal information DB 173 and the payment information DB 174 are further included.
  • a subtitle file such as srt having a start time and an end time set for each caption is used together.
  • the present invention can be produced by setting the timing information of the virtual reality experience information in the form of a subtitle file as the start time and the end time for each subtitle, as in the conventional srt subtitle. More specifically, the present invention can produce the haptic information synchronized with the video by inserting the virtual reality haptic information into the subtitle format, and can reduce the complexity and production cost.
  • the edited video generation unit 110 may insert the virtual reality experience information into the subtitle format to produce the virtual reality experience information in the form of a subtitle file.
  • the edited video generation unit 110 includes a virtual reality experience information including at least one virtual reality inserted into at least one specific time point or a specific section of the video for the viewer to experience the virtual reality in the virtual reality video that reflects the 360 degree virtual reality.
  • An edited video may be generated and the generated video may be uploaded to the video DB 171.
  • the edited image generation unit 110 may provide an image editing program for inserting the virtual reality experience information into the virtual reality image. That is, the virtual reality image content provider inserts virtual reality experience information into a specific viewpoint or a section of the virtual reality images through an image editing program, thereby providing a desired virtual reality experience effect in a specific scene.
  • the virtual reality experience information included in the creation of the virtual reality edited video may be included in a file produced in the form of a subtitle file, and the subtitle file may have, for example, an extension of * .HSI or * .SRT, and the virtual reality edited video may be a mobile terminal. It can be played back at the same time when playing at 300.
  • the communication unit 120 is connected to an application installed in the mobile terminal 300 and provides a wireless communication protocol for transmitting necessary data including the virtual reality edited image to the mobile terminal 300.
  • App interlocking unit 130 performs a member registration procedure and login authentication of the mobile terminal 300 in conjunction with the application installed on the mobile terminal 300, the virtual reality edited video requested from the mobile terminal 300 is paid It provides a payment page, and performs a payment process when a payment request is made through the payment page, and transmits the edited virtual reality edited image to the mobile terminal 300 through the communication unit 120.
  • the web page providing unit 140 may download a web page for downloading an application from the mobile terminal 300 through the app linking unit 130 to the mobile terminal 300, and a video list web including a plurality of virtual reality edited images. It provides a plurality of web pages necessary for providing a virtual reality edited video, including a page, a registration webpage, and a payment web page for performing a payment process for a virtual reality edited video.
  • Login authentication unit 150 receives the personal information for membership registration request to the mobile terminal 300 connected through the app interlocking unit 130 to process the membership registration, login authentication based on the personal information upon login request Do this.
  • Personal information may include ID, password, subscriber name, social security number, mobile phone number, home address.
  • the payment processor 160 receives payment request information from the mobile terminal 300 through the app linking unit 130 and receives payment request information to perform payment processing on the corresponding video.
  • the virtual reality image providing server 100 generates a virtual reality edited image and uploads it to the image DB 171, and the virtual reality edited image stored in the image DB 171 through a real time streaming or download method to the mobile terminal 300. Can provide.
  • the image DB 171 stores the virtual reality edited images generated through the edited image generator 110 together with the virtual reality image.
  • the virtual reality experience information DB 172 stores the virtual reality experience information generated through the editing program at the request of the virtual reality image content provider. That is, the virtual reality sensation information DB 172 may manage the stored virtual reality sensation information into a database for use in producing a virtual reality edited image later.
  • the personal information DB 173 stores the registered personal information
  • the payment information DB 174 stores the payment information generated by the payment process.
  • FIG. 3 is a block diagram showing a detailed configuration of the VR repeater of FIG.
  • the VR repeater 500 includes a controller 510, a program interlocking unit 520, an input controller 530, a sensor unit 540, a communication module 550, a memory 560, and input / output. It further includes an interface 570.
  • the controller 510 wirelessly transmits the virtual reality sensation information transmitted from the mobile terminal 300 and the virtual reality sensation information transmitted through the editing program included in the virtual reality image providing server 100 in connection with the program interlocking unit 520. Control to transmit to the connected virtual reality experience device, it is possible to perform a remote control by transmitting the playback control signal of the input controller 530 and the sensor unit 540 to the wirelessly connected mobile terminal 300.
  • the program interlocking unit 520 is connected to an editing program used by the virtual reality video content provider, and connects the editing program and the virtual reality experience device through the communication module 550 to enable the experience of the virtual reality experience device.
  • Program interface may be linked with an editing program to provide a program interface for image simulation in a user experience environment and a pilot simulation of the edited image.
  • the program interlocking unit 520 simulates whether the virtual reality experience information included in the virtual reality edited image is implemented as intended while the image content provider edits in the same environment as the user through the editing program. You can try In addition, the program interlocking unit 520 also provides a program interface to remotely control the virtual reality edited video played in the application through the control unit 510 in association with an application installed in the mobile terminal 300.
  • the input controller 530 receives a playback control signal such as play / pause / stop / fast forward / rewind of the virtual reality edited video being played back from the mobile terminal 300 of the user to the controller 510 to enable remote control. to provide.
  • a playback control signal such as play / pause / stop / fast forward / rewind of the virtual reality edited video being played back from the mobile terminal 300 of the user to the controller 510 to enable remote control. to provide.
  • a playback control signal such as play / pause / stop / fast forward / rewind of the virtual reality edited video being played back from the mobile terminal 300 of the user to the controller 510 to enable remote control. to provide.
  • the sensor unit 540 receives the user's operation signal so that the remote control can be performed by the user's operation as well as the image remote control by the direct button input of the input controller 530 and reproduced by the control unit 510 for remote control. Provided by converting to a control signal.
  • the sensor unit 540 may include a motion detection sensor, a gyro sensor or an acceleration sensor to receive a user's motion signal.
  • the communication module 550 provides a wireless communication protocol capable of bidirectional communication, and transmits virtual reality sensory information included in the virtual reality edited image to the virtual reality experience device or controls playback of the input controller 530 or the sensor unit 540.
  • the signal may be transmitted to an application of the mobile terminal 300 at the request of the controller 510.
  • the memory 560 may store virtual reality experience information at the request of the controller 510, and store a command protocol for remote control including a reproduction control signal and a command protocol for data transmission control such as virtual reality experience information. Can be.
  • the input / output interface 570 may provide an interface for a wired connection of a compatible external device (not shown).
  • a virtual reality image providing server 100 having a wired connection and an editing program of a wired / wireless compatible virtual reality experience device is installed.
  • a USB interface for wired connection of a computer (not shown) of a virtual reality image content provider is installed.
  • the present invention can provide an editing environment of a video content provider, and can produce a virtual reality video as a virtual reality edited video including haptic information to the video content provider. More specifically, the present invention is a service transfer process for providing a virtual reality image to the user, primarily providing image editing in the content provider editing environment through the edited image generation unit 110 of the virtual reality image providing server 100 And, through the program interlocking unit 520 of the VR repeater 500 may provide secondary image editing in the user experience environment. In addition, the present invention can be edited through the primary editing and the secondary verification to prevent unnatural production between the virtual reality image playback and the operation of the virtual reality experience device.
  • the present invention may provide an editing environment to an image content provider through an editing program of the edited image generating unit 110, and the image content provider may produce a general virtual reality image as a virtual reality edited image including haptic information.
  • the present invention can provide a personalized virtual reality on-demand video streaming service based on the virtual reality edited video including haptic information, and provides a virtual reality on-demand video streaming service without having to go to a large theater equipped with a virtual experience facilities Or you can watch VR VOD at low cost even for single households.
  • the present invention can be utilized for home VR VOD service.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 가상현실 영상의 특정 시점 또는 구간에 하나 이상 삽입되는 가상현실 체감 정보가 포함된 가상현실 편집 영상을 생성하는 가상현실 영상 제공 서버, 가상현실 영상 제공 서버로부터 가상현실 편집 영상을 수신하여 재생하는 모바일 단말 및 모바일 단말로부터 가상현실 체감 정보를 수신하여 가상현실 체험 기기로 전달하는 VR 중계기를 포함하는 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템을 제공한다.

Description

가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템
본 발명은 가상현실 영상 제공 시스템에 관한 것으로서, 더욱 상세하게는 가상현실 영상에 삽입된 가상현실 체감 정보를 가상현실 체험 기기로 제공받을 수 있는 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템에 관한 것이다.
종래에는 가상현실(VR: Virtual Reality) 영상을 제작하기 위한 제작 기기 및 가상현실 영상을 체험하기 위한 VR 기기를 제공한다. 예를 들어 종래에는 한국공개특허 제10-2018-0010891호에 기재된 바와 같이 특정 현장을 360도로 생생하게 체험할 수 있도록 하는 VR 기기를 제공한다.
그러나 종래의 VR 기기는 헤드 마운트 디스플레이(HMD: Head Mounted Display)로서 구입 비용이 저렴하지만 입체감 있는 가상현실 영상을 사용자가 눈으로만 시청할 뿐이어서 영상의 특정 장면에서 오감을 이용한 실질적인 체감을 느끼기 어렵다.
또한 종래에는 가상현실 영상을 시청하고, 특정 장면의 체감을 느끼도록 하는 곳이 대형 극장의 일부에만 국한되어 있는 실정이다.
본 발명은 상기와 같은 문제점을 해결하고자 모바일 단말이 가상현실 영상 제공 서버로부터 가상현실 편집 영상을 수신하여 재생하고, VR 중계기가 모바일 단말로부터 가상현실 체감 정보를 수신하여 가상현실 체험 기기로 전달하는 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템을 제공한다.
상기 과제를 달성하기 위한 본 발명에 따른 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템은, 편집 프로그램을 통해 가상현실 영상의 특정 시점 또는 구간에 하나 이상 삽입되는 가상현실 체감 정보가 포함된 가상현실 편집 영상을 생성하는 가상현실 영상 제공 서버; 상기 가상현실 영상 제공 서버로부터 수신된 가상현실 편집 영상을 재생하기 위한 어플리케이션을 실행하는 모바일 단말 및 상기 가상현실 체감 정보를 모바일 단말로부터 수신하여 적어도 하나의 가상현실 체험 기기로 전달하는 VR 중계기를 포함하고, 상기 VR 중계기는 모바일 단말과 1대1로 연결되어 가상현실 체감 정보를 모바일 단말로부터 수신하고, 가상현실 체험 기기와 1대N으로 연결되어 가상현실 체감 정보를 가상현실 체험 기기로 전달하여, 상기 가상현실 영상에 삽입된 체감 정보를 가상현실 체험 기기로 제공하는 것을 특징으로 한다.
상기 가상현실 영상 제공 서버는 편집 프로그램을 구비하고, 가상현실 체감 정보를 자막 포맷에 삽입하여 자막 파일 형태로 가상현실 체감 정보를 제작하는 것을 특징으로 할 수 있다.
상기 가상현실 영상 제공 서버는 가상현실 편집 영상을 생성하여 영상 DB로 업로드하고, 실시간 스트리밍 또는 다운로드 방식을 통해 영상 DB에 저장된 가상현실 편집 영상을 모바일 단말로 제공하는 것을 특징으로 할 수 있다.
상기 VR 중계기는 가상현실 편집 영상의 재생제어를 위한 재생제어신호를 입력받는 입력수단을 구비하고, 재생제어신호를 모바일 단말로 전송하여 어플리케이션을 통해 재생되는 가상현실 편집 영상을 원격 제어하는 것을 특징으로 할 수 있다.
상기 가상현실 체감 정보는 특정 시점 또는 구간을 정의하는 타이밍정보, 가상현실 체험 기기의 종류를 정의하는 기기인덱스 및 가상현실 체험 기기의 동작을 정의하는 동작값을 포함하는 것을 특징으로 할 수 있다.
본 발명은 모바일 단말이 가상현실 영상 제공 서버로부터 가상현실 편집 영상을 수신하여 재생하고, VR 중계기가 모바일 단말로부터 가상현실 체감 정보를 수신하여 가상현실 체험 기기로 전달함으로써, 가정용 VR VOD 서비스를 제공할 수 있다.
도 1은 본 발명의 가상현실 영상 제공 시스템의 블록도이다.
도 2는 도 1의 가상현실 영상 제공 서버의 상세 구성을 보인 블록도이다.
도 3은 도 1의 VR 중계기의 상세 구성을 보인 블록도이다.
도 4는 도 1의 가상현실 영상 제공 서버에서 생성되는 가상현실 편집 영상의 예를 보인 도면이다.
도 5는 도 1의 가상현실 편집 영상에 포함된 가상현실 체감 정보의 데이터 구조를 설명하기 위한 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 가상현실 영상 제공 시스템의 블록도이며, 도 4는 도 1의 가상현실 영상 제공 서버에서 생성되는 가상현실 편집 영상의 예를 보인 도면이며, 도 5는 도 1의 가상현실 편집 영상에 포함된 가상현실 체감 정보의 데이터 구조를 설명하기 위한 도면이다.
본 발명의 가상현실 영상 제공 시스템은 1인 가구의 증가로 인해 개인화된 여가콘텐츠를 위한 가상현실 영상을 제공하기 위한 것으로 가상현실 영상 제공 서버(100), 이동통신망(200), 모바일 단말(300), VR 중계기(500) 및 가상현실 체험 기기(600)를 포함한다.
가상현실 영상 제공 서버(100)는 다수의 가상현실 영상에서 영상 시청자에게 가상현실 체험을 위하여 영상의 특정 시점 또는 구간에 하나 이상 삽입되는 가상현실 체감 정보가 포함된 가상현실 편집 영상을 생성하여 이동통신망(200)으로 연결된 모바일 단말(300)로 전송한다. 가상현실 편집 영상은 헤드 마운트 디스플레이(400)에 장착된 모바일 단말(300)로 볼 수 있는 가상현실 영상에서 영상 시청자에게 가상현실 체험을 위하여 영상의 특정 시점 또는 구간에 하나 이상 삽입되는 가상현실 체감 정보가 포함된 영상을 의미한다. 또한 가상현실 편집 영상의 전송 방식은 실시간 스트리밍(streaming) 방식이나 다운로드 방식이 될 수 있다. 예를 들어 가상현실 영상 제공 서버(100)는 HLS(Http Live Streaming) 방식으로 스트리밍 URL을 모바일 단말(300)로 제공한다.
이동통신망(200)은 가상현실 영상 제공 서버(100)와 모바일 단말(300)을 통신하기 위한 모바일 네트워크이며, 가상현실 영상 제공 서버(100)는 인터넷망(미도시)과 망게이트웨이(미도시)를 통하여 이동통신망(200)에 연결될 수도 있다.
모바일 단말(300)은 가상현실 영상 제공 서버(100)로부터 수신한 가상현실 편집 영상을 재생하기 위한 어플리케이션을 실행하며 가상현실 체감 정보에 대응하여 가상현실 체험이 가능한 하나 이상의 가상현실 체험 기기(600)와 무선 연결되어 가상현실 체감 정보를 전송한다. 모바일 단말(300)은 예컨대 헤드 마운트 디스플레이(400)에 삽입 또는 장착이 가능한 스마트폰, 패블릿(phablet) 폰 등이 될 수 있다.
모바일 단말(300)에 설치되는 어플리케이션은 가상현실 영상 제공 서버(100)와 연결되어 제공되는 다운로드 웹페이지를 통하여 최초 설치가 이루어질 수 있고, 회원가입 및 로그인을 통하여 원하는 가상현실 편집 영상을 스트리밍으로 재생하거나 다운로드 받아 재생할 수 있다.
본 발명은 모바일 단말(300)의 어플리케이션을 통해 사용자에게 선택적으로 가상현실 영상과 편집 영상을 제공할 수 있고, 가상현실 체험 기기(600)의 존재 여부 또는 이에 관계없이 선택적으로 가상현실 영상과 편집 영상을 제공할 수 있으며, 선택 영상을 제공하여 사용자의 니즈를 만족시킬 수 있다.
헤드 마운트 디스플레이(400)는 모바일 단말(300)이 삽입 또는 장착되어 가상현실 편집 영상을 디스플레이한다. 즉 여기서 헤드 마운트 디스플레이(400)는 모바일 단말(300)인 스마트 폰이 장착되는 스마트 폰 전용 VR 기기이다.
VR 중계기(500)는 모바일 단말(300)과 1대1로 연결되어 가상현실 체감 정보를 모바일 단말(300)로부터 수신하고, 가상현실 체험 기기(600)와 1대N으로 연결되어 가상현실 체감 정보를 가상현실 체험 기기(600)로 전달한다. 더욱 상세하게는 VR 중계기(500)는 모바일 단말(300)과 가상현실 체험 기기(600)를 무선 연결하고, 무선 연결된 모바일 단말(300)에서 가상현실 편집 영상 재생시 해당 가상현실 편집 영상에 포함된 가상현실 체감 정보를 전송받아 가상현실 체험 기기(600)로 전송한다. VR 중계기(500)는 RF(Radio Frequency) 통신 기술, 블루투스(bluetooth) 기술, 지그비(zigbee) 기술 또는 NFC(Near Field Communication) 기술과 같은 공지의 무선 통신 기술을 이용할 수 있으며, 예컨대 모바일 단말(300)과 블루투스 통신으로 연결되고, 복수의 가상현실 체험 기기(600)와 호환성 및 범용성을 고려하여 RF 통신으로 연결될 수 있다. 예를 들어 RF 통신 기술은 로라(LoRa: Long Range) 통신 기술이다. VR 중계기(500)는 블루투스 신호와 RF 신호로 상호 변환하기 위한 신호 변환모듈(미도시)을 더 포함할 수 있다.
본 발명은 모바일 단말(300)을 통해 집안에서 다양한 VR VOD를 시청하기 때문에 모바일 단말(300)이 가상현실 영상 제공 서버(100)로부터 가상현실 체감 정보를 포함하는 영상을 제공받아야 하고, 블루투스 통신이 1:N의 통신을 지원하지 못하기 때문에 VR 중계기(500)가 모바일 단말(300)로부터 가상현실 체감 정보를 수신하여 복수의 가상현실 체험 기기(600)로 전달하는 것이다.
본 발명은 가상현실 체험 기기(600)와 떨어진 원격에서 영상을 편집하면 가상현실 영상 재생과 가상현실 체험 기기의 동작 간에 부자연스러운 연출이 발생할 수 있으므로, 가상현실 체험 기기(600)가 설치된 사용자 체험 환경에서 편집 영상의 시범 시뮬레이션과 영상 재편집을 제공한다. 더욱 상세하게는 본 발명은 가상현실 영상 제공 서버(100)의 편집영상생성부(110)가 영상 컨텐츠 제공자 편집 환경에서의 영상 편집을 제공할 수 있고, VR 중계기(500)의 프로그램연동부(520)가 사용자 체험 환경에서의 영상 편집을 제공할 수 있다.
VR 중계기(500)는 가상현실 영상 제공 서버(100) 및 가상현실 체험 기기와 연결되어 가상현실 영상 컨텐츠 제공자(contents provider)가 편집 프로그램을 통하여 생성된 가상현실 편집 영상을 재생하고, 가상현실 체험 기기를 통하여 미리 체험하는 시범 시뮬레이션이 가능하게 연결할 수 있다. 즉, VR 중계기(500)는 가상현실 영상 제공 서버(100)의 편집 프로그램을 통하여 가상현실 체감 정보를 전송받아 가상현실 체험 기기로 전송하여 가상현실 체험 기기를 통한 시범 시뮬레이션이 이루어질 수 있다.
VR 중계기(500)는 모바일 단말(300)을 통하여 재생 중인 가상현실 편집 영상의 원격 제어가 가능하도록 사용자의 입력을 받을 수 있는 입력수단을 포함하고, 입력수단은 가상현실 편집 영상의 재생제어를 위한 재생제어신호를 입력받는다. 입력수단은 입력컨트롤러(530) 및 센서부(540)를 포함할 수 있다. VR 중계기(500)의 상세 구성에 대해서는 후술하기로 한다.
가상현실 체험 기기(600)는 복수로 구비되어 각각이 VR 중계기(500)로부터 가상현실 체감 정보를 무선 전송받아 가상현실 체감 정보에 대응하는 가상현실 체험 서비스를 제공하며, 가상현실 체감 정보를 수신할 수 있는 리시버(receiver, 미도시) 및 기기 온/오프나 설정 등을 조작하기 위해 사용자 입력을 받는 입력수단(미도시)을 포함할 수 있다. 각각의 가상현실 체험 기기(600)는 가상현실 체험 서비스를 제공하기 위해 영상 시청자에 의해 직접 착용되거나 현장에 설치될 수 있으며, 예컨대 바이브레이터(vibrator), 4D 체험 의자, 윈드블로워(wind blower), 포그(fog)발생기, 향기분사기, 공기분사기, 버블(bubble)발생기, 스노우(snow)발생기 등 가상현실을 체험할 수 있는 기기가 될 수 있으며, 본 발명이 이에 한정되는 것은 아니다.
여기서 가상현실 체감 정보는 가상현실 편집 영상이 모바일 단말(300)에서 재생시에 재생되는 영상의 특정 장면에 대응되는 시각을 제외한 촉각, 후각 등의 감각에 의한 체감 효과로서 가상현실 체험 기기(600)의 종류에 따라 모션(motion) 제어 동작이나 진동, 워터, 포그, 향기, 버블 또는 스노우 등을 현장에 발생시킬 수 있도록 하는 정보를 의미한다.
가상현실 체감 정보는 도 4에 도시된 바와 같이 가상현실 영상에 재생되는 여러 특정 시점 또는 구간에 삽입되어 가상현실 편집 영상에 포함될 수 있다.
가상현실 체감 정보는 도 5를 참조하면 가상현실 편집 영상에서 특정 시점 또는 특정 구간을 정의하는 타이밍정보, 가상현실 체험 기기(600)의 종류를 정의하는 기기인덱스, 가상현실 체험 기기(600)의 동작을 정의하는 동작값을 포함한다.
예를 들어 구체적으로 설명하면, 손목에 바이브레이터를 착용한 경우 헤드 마운트 디스플레이(400)에 장착된 모바일 단말(300)에서 가상현실 편집 영상 재생시 바이브레이터에서 가상현실 편집 영상에 포함된 가상현실 체감 정보를 VR 중계기(500)를 통하여 수신한다. 바이브레이터는 가상현실 체감 정보에 포함된 기기인덱스에서 바이브레이터에 해당하는 코드를 인식하고, 가상현실 체감 정보에 포함된 타이밍정보에 대응하는 특정 재생 시점 또는 특정 재생 구간에 설정된 동작값이 온(On) 상태를 정의한다면 착용자의 손목에 진동을 발생시킨다.
또한 가상현실 체감 정보에는 가상현실 체험 기기(600)의 특성에 따라 기기동작정의값을 추가로 포함할 수도 있다. 예를 들어 바이브레이터의 경우 진동 세기나 진동 횟수를 기기동작정의값으로 구분하여 설정될 수 있다. 또한 4D 체험 의자의 경우 상하/전후/좌우 모션 제어, 윈드블로워 및 진동 기능이 모두 탑재될 수 있으며, 기기동작정의값에서 각 기능별로 구분하여 설정될 수 있다. 또한 가상현실 체감 정보는 가상현실 편집 영상에서 재생되는 특정 시점 또는 특정 구간 마다 복수로 삽입될 수 있으므로, 기기인덱스, 동작값 및 기기동작정의값이 필요에 따라 복수로 생성될 수 있다.
가상현실 제공 서버(100)는 가상현실 체감 정보를 가상현실 체험 기기(600)로 전송되는 전송 시간과 체감 정보를 통해 가상현실 체험 기기(600)가 동작하는 동작발생 시간을 고려하여 타이밍 정보를 생성할 수 있다. 전송 시간은 블루투스 신호를 RF 신호로 변환하는 시간을 포함할 수 있다. 예를 들어 영상의 특정 시점이 1분 30초일 때 체감 정보의 동작발생 시점은 전송 시간의 지연을 고려한 1분 29.5초일 수 있다.
본 발명은 전송 시간과 동작발생 시간을 고려한 타이밍 정보를 생성함으로써, 특정 시점의 영상과 동일한 타이밍에 체감을 발생시킬 수 있고, 사용자의 영상 몰입도를 더욱 향상시킬 수 있다.
도 2는 도 1의 가상현실 영상 제공 서버의 상세 구성을 보인 블록도이다.
가상현실 영상 제공 서버(100)는 도 2에 도시된 바와 같이 편집영상생성부(110), 통신부(120), 앱연동부(130), 웹페이지제공부(140), 로그인인증부(150), 결제처리부(160), 영상 DB(171), 가상현실 체감 정보 DB(172), 개인정보 DB(173) 및 결제정보 DB(174)를 더 포함한다.
종래에는 영화를 재생할 때 자막(caption)별로 시작 시간과 종료 시간이 설정된 srt와 같은 자막 파일을 함께 사용한다. 본 발명은 종래의 srt 자막과 같이 자막별로 시작 시간과 종료 시간이 설정된 것처럼 자막 파일 형태로 가상현실 체감 정보의 타이밍정보도 함께 설정하여 제작할 수 있다. 더욱 상세하게는 본 발명은 가상현실 체감 정보를 자막 포맷에 삽입하여 영상에 맞춰 동기화된 체감 정보를 제작할 수 있고, 복잡도와 제작비용의 감소를 기대할 수 있다.
편집영상생성부(110)는 가상현실 체감 정보를 자막 포맷에 삽입하여 자막 파일 형태로 가상현실 체감 정보를 제작할 수 있다. 편집영상생성부(110)는 360도 가상현실이 반영된 영상인 가상현실 영상에서 영상 시청자가 가상현실 체험을 하기 위해 영상의 특정 시점 또는 특정 구간에 하나 이상 삽입되는 가상현실 체감 정보가 포함된 가상현실 편집 영상을 생성하고, 생성된 영상을 영상 DB(171)에 업로드할 수 있다. 또한 편집영상생성부(110)는 가상현실 영상에 가상현실 체감 정보를 삽입하기 위한 영상 편집 프로그램을 제공할 수 있다. 즉 가상현실 영상 컨텐츠 제공자가 영상 편집 프로그램을 통하여 가상현실 영상들의 특정 시점 또는 특정 구간에 가상현실 체감 정보를 삽입함으로써, 특정 장면에서 원하는 가상현실 체험 효과를 부여할 수 있도록 한다. 가상현실 편집 영상 생성시 포함되는 가상현실 체감 정보는 자막 파일 형태로 제작된 파일에 포함될 수 있으며, 자막 파일은 예컨대 확장자명이 *.HSI 또는 *.SRT이 될 수 있으며, 가상현실 편집 영상이 모바일 단말(300)에서 재생시에 동시에 재생될 수 있다.
통신부(120)는 모바일 단말(300)에 설치된 어플리케이션과 접속되고, 가상현실 편집 영상을 포함한 필요한 데이터를 모바일 단말(300)로 전송하기 위한 무선 통신 프로토콜을 제공한다.
앱연동부(130)는 모바일 단말(300)에 설치된 어플리케이션과 연동하여 모바일 단말(300)의 회원 가입 절차 및 로그인 인증을 수행하고, 모바일 단말(300)에서 요청된 가상현실 편집 영상이 유료인 경우 결제 페이지를 제공하며, 결제 페이지를 통한 결제 요청시 결제 프로세스를 수행하여 결제된 가상현실 편집 영상을 통신부(120)를 통하여 모바일 단말(300)로 전송하도록 제어한다.
웹페이지제공부(140)는 모바일 단말(300)에 앱연동부(130)를 통하여 어플리케이션을 모바일 단말(300)에서 다운로드할 수 있는 다운로드 웹페이지, 다수의 가상현실 편집 영상들이 게재된 영상 목록 웹페이지, 회원가입 웹페이지, 유료인 가상현실 편집 영상에 대한 결제 프로세스를 수행하기 위한 결제 웹페이지를 포함하여 가상현실 편집 영상 제공을 위해 필요한 다수의 웹페이지들을 제공한다.
로그인인증부(150)는 앱연동부(130)를 통하여 접속된 모바일 단말(300)에 회원 가입 요청시 회원 가입을 위한 개인정보를 입력받아 회원 가입 처리하고, 로그인 요청시 개인정보를 토대로 로그인 인증을 수행한다. 개인정보에는 아이디, 비밀번호, 가입자이름, 주민등록번호, 휴대폰번호, 집주소가 포함될 수 있다.
결제처리부(160)는 앱연동부(130)를 통하여 모바일 단말(300)로부터 유료인 가상현실 편집 영상을 요청하는 경우 결제요청정보를 전송받아 해당 영상에 대해서 결제 처리를 수행한다.
가상현실 영상 제공 서버(100)는 가상현실 편집 영상을 생성하여 영상 DB(171)로 업로드하고, 실시간 스트리밍 또는 다운로드 방식을 통해 영상 DB(171)에 저장된 가상현실 편집 영상을 모바일 단말(300)로 제공할 수 있다. 영상 DB(171)는 가상현실 영상과 함께 편집영상생성부(110)를 통하여 생성된 가상현실 편집 영상들이 저장된다.
가상현실 체감 정보 DB(172)는 편집 프로그램을 통하여 생성된 가상현실 체감 정보를 가상현실 영상 컨텐츠 제공자의 요청에 따라 저장한다. 즉 가상현실 체감 정보 DB(172)는 저장된 가상현실 체감 정보를 추후 가상현실 편집 영상 제작시 사용하기 위해 데이터베이스화하여 관리할 수 있다.
개인정보 DB(173)는 회원 가입된 개인정보가 저장되며, 결제정보 DB(174)는 결제 프로세스에 의해 생성된 결제정보가 저장된다.
도 3은 도 1의 VR 중계기의 상세 구성을 보인 블록도이다.
VR 중계기(500)는 도 3에 도시된 바와 같이, 제어부(510), 프로그램연동부(520), 입력컨트롤러(530), 센서부(540), 통신모듈(550), 메모리(560) 및 입출력인터페이스(570)를 더 포함한다.
제어부(510)는 모바일 단말(300)로부터 전송된 가상현실 체감 정보, 프로그램연동부(520)와 연계하여 가상현실 영상 제공 서버(100)에 포함된 편집 프로그램을 통하여 전송된 가상현실 체감 정보를 무선 연결된 가상현실 체험 기기로 전송하도록 제어하며, 입력컨트롤러(530) 및 센서부(540)의 재생제어신호를 무선 연결된 모바일 단말(300)로 전송하여 원격 제어를 수행할 수 있다.
프로그램연동부(520)는 가상현실 영상 컨텐츠 제공자가 사용하는 편집 프로그램과 연결되어 편집 프로그램과 가상현실 체험 기기를 통신모듈(550)에 의해 연결하여 가상현실 체험 기기의 체험이 가능하도록 API(Application Progrmming Interface)와 같은 프로그램 인터페이스를 제공한다. 또한 프로그램연동부(520)는 편집 프로그램과 연동되어 사용자 체험 환경에서의 영상 편집과 편집 영상의 시범 시뮬레이션을 위한 프로그램 인터페이스를 제공한다.
프로그램연동부(520)는 영상 컨텐츠 제공자가 편집 프로그램을 통하여 사용자와 같은 환경에서 편집하면서 가상현실 편집 영상에 포함된 가상현실 체감 정보가 의도한 대로 구현되는지 가상현실 체험 기기(600)를 통하여 시범 시뮬레이션을 해볼 수 있다. 또한 프로그램연동부(520)는 모바일 단말(300)에 설치되는 어플리케이션과도 연동하여 어플리케이션에서 재생되는 가상현실 편집 영상을 제어부(510)를 통하여 원격 제어할 수 있도록 프로그램 인터페이스를 제공한다.
입력컨트롤러(530)는 사용자의 모바일 단말(300)로부터 재생 중인 가상현실 편집 영상의 재생/일시정지/정지/빨리감기/되감기 등의 재생제어신호를 입력받아 원격 제어가 가능하도록 제어부(510)에 제공한다. 입력컨트롤러(530)를 통하여 사용자는 모바일 단말(300) 또는 헤드 마운트 디스플레이(400)의 입력부(미도시)를 사용하지 않고도 재생 중인 가상현실 편집 영상을 손쉽게 제어할 수 있어 사용자 편의성을 증대시킬 수 있다.
센서부(540)는 입력컨트롤러(530)의 직접 버튼 입력에 의한 영상 원격 제어뿐만 아니라 사용자의 동작을 통한 재생 원격 제어가 가능 하도록 사용자의 동작신호를 입력받아 원격 제어 가능하도록 제어부(510)에 재생제어신호로 변환하여 제공한다. 센서부(540)는 사용자의 동작신호를 입력 받기 위해 동작감지센서, 자이로센서 또는 가속도센서를 포함할 수 있다.
통신모듈(550)은 양방향 통신이 가능한 무선 통신 프로토콜을 제공하며, 가상현실 편집 영상에 포함된 가상현실 체감 정보를 가상현실 체험 기기에 전송하거나 입력컨트롤러(530) 또는 센서부(540)의 재생제어신호를 제어부(510)의 요청에 따라 모바일 단말(300)의 어플리케이션으로 전송할 수 있다.
메모리(560)는 제어부(510)의 요청에 따라 가상현실 체감 정보를 저장할 수 있으며, 가상현실 체감 정보와 같은 데이터 전송 제어를 위한 명령 프로토콜 및 재생제어신호를 포함한 원격 제어를 위한 명령 프로토콜 등을 저장할 수 있다.
입출력인터페이스(570)는 호환 가능한 외부 기기(미도시)의 유선 연결을 위한 인터페이스를 제공할 수 있으며, 예컨대 유무선 호환이 가능한 가상현실 체험 기기의 유선 연결, 편집 프로그램이 설치된 가상현실 영상 제공 서버(100) 또는 가상현실 영상 컨텐츠 제공자의 컴퓨터(미도시)의 유선 연결을 위한 USB 인터페이스 등을 제공할 수 있다.
본 발명은 영상 컨텐츠 제공자의 편집 환경을 제공할 수 있고, 영상 컨텐츠 제공자에게 가상현실 영상을 체감 정보가 포함된 가상현실 편집 영상으로 제작할 수 있다. 더욱 상세하게는 본 발명은 사용자에게 가상현실 영상을 제공하는 서비스 이전 과정으로서, 가상현실 영상 제공 서버(100)의 편집영상생성부(110)를 통해 컨텐츠 제공자 편집 환경에서 영상 편집을 1차적으로 제공하고, VR 중계기(500)의 프로그램연동부(520)를 통해 사용자 체험 환경에서 영상 편집을 2차적으로 제공할 수 있다. 또한 본원발명은 1차적 편집과 2차적 검증을 통한 편집이 이루어져 가상현실 영상 재생과 가상현실 체험 기기의 동작 간에 부자연스러운 연출을 방지할 수 있다.
본 발명은 편집영상생성부(110)의 편집 프로그램을 통해 영상 컨텐츠 제공자에게 편집 환경을 제공할 수 있고, 영상 컨텐츠 제공자가 일반적인 가상현실 영상을 체감 정보가 포함된 가상현실 편집 영상으로 제작할 수 있다. 또한 본 발명은 체감 정보가 포함된 가상현실 편집 영상을 기반으로 개인용 가상현실 주문형 비디오 스트리밍 서비스를 제공할 수 있고, 가상현실 주문형 비디오 스트리밍 서비스를 제공하여 가상체험 설비가 구비된 대형 극장을 가지 않아도 집안 또는 1인 가구에서도 저비용으로 VR VOD를 시청할 수 있다.
본 발명은 가정용 VR VOD 서비스에 활용할 수 있다.

Claims (5)

  1. 편집 프로그램을 통해 가상현실 영상의 특정 시점 또는 구간에 하나 이상 삽입되는 가상현실 체감 정보가 포함된 가상현실 편집 영상을 생성하는 가상현실 영상 제공 서버;
    상기 가상현실 영상 제공 서버로부터 수신된 가상현실 편집 영상을 재생하기 위한 어플리케이션을 실행하는 모바일 단말 및
    상기 가상현실 체감 정보를 모바일 단말로부터 수신하여 적어도 하나의 가상현실 체험 기기로 전달하는 VR 중계기를 포함하고,
    상기 VR 중계기는 모바일 단말과 1대1로 연결되어 가상현실 체감 정보를 모바일 단말로부터 수신하고, 가상현실 체험 기기와 1대N으로 연결되어 가상현실 체감 정보를 가상현실 체험 기기로 전달하여,
    상기 가상현실 영상에 삽입된 체감 정보를 가상현실 체험 기기로 제공하는 것을 특징으로 하는 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템.
  2. 제1항에 있어서,
    상기 가상현실 영상 제공 서버는 편집 프로그램을 구비하고, 가상현실 체감 정보를 자막 포맷에 삽입하여 자막 파일 형태로 가상현실 체감 정보를 제작하는 것을 특징으로 하는 가상현실 영상 제공 시스템.
  3. 제1항에 있어서,
    상기 가상현실 영상 제공 서버는 가상현실 편집 영상을 생성하여 영상 DB로 업로드하고, 실시간 스트리밍 또는 다운로드 방식을 통해 영상 DB에 저장된 가상현실 편집 영상을 모바일 단말로 제공하는 것을 특징으로 하는 가상현실 영상 제공 시스템.
  4. 제1항에 있어서,
    상기 VR 중계기는 가상현실 편집 영상의 재생제어를 위한 재생제어신호를 입력받는 입력수단을 구비하고, 재생제어신호를 모바일 단말로 전송하여 어플리케이션을 통해 재생되는 가상현실 편집 영상을 원격 제어하는 것을 특징으로 하는 가상현실 영상 제공 시스템.
  5. 제1항에 있어서,
    상기 가상현실 체감 정보는 특정 시점 또는 구간을 정의하는 타이밍정보, 가상현실 체험 기기의 종류를 정의하는 기기인덱스 및 가상현실 체험 기기의 동작을 정의하는 동작값을 포함하는 것을 특징으로 하는 가상현실 영상 제공 시스템.
PCT/KR2019/004710 2018-07-13 2019-04-18 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템 Ceased WO2020013429A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020502095A JP2020530675A (ja) 2018-07-13 2019-04-18 仮想現実体験機器を利用した仮想現実映像提供システム
US16/630,911 US20210014576A1 (en) 2018-07-13 2019-04-18 Virtual reality image providing system using virtual reality experience device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180081655A KR101941947B1 (ko) 2018-07-13 2018-07-13 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템
KR10-2018-0081655 2018-07-13

Publications (1)

Publication Number Publication Date
WO2020013429A1 true WO2020013429A1 (ko) 2020-01-16

Family

ID=65277403

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004710 Ceased WO2020013429A1 (ko) 2018-07-13 2019-04-18 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템

Country Status (4)

Country Link
US (1) US20210014576A1 (ko)
JP (1) JP2020530675A (ko)
KR (1) KR101941947B1 (ko)
WO (1) WO2020013429A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102229717B1 (ko) * 2020-03-11 2021-03-18 박경희 다기능 체험 미술학원 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030005144A (ko) * 2001-07-05 2003-01-17 (주)미디어스페이스 다수의 사용자 인터페이스를 가지는 가상현실 체험 시스템및 그 제어 방법
KR101713223B1 (ko) * 2015-10-20 2017-03-22 (주)라스 가상현실 체험 장치
WO2017077660A1 (ja) * 2015-11-06 2017-05-11 株式会社三和機工 体感型仮想現実空間システム
KR20170058025A (ko) * 2015-11-18 2017-05-26 배성실 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법
WO2018011988A1 (ja) * 2016-07-15 2018-01-18 ブレイニー株式会社 仮想現実システム、及び、情報処理システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8095646B2 (en) * 2007-08-16 2012-01-10 Sony Computer Entertainment Inc. Content ancillary to sensory work playback
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
KR101580237B1 (ko) * 2013-05-15 2015-12-28 씨제이포디플렉스 주식회사 4ｄ 컨텐츠 제작 서비스 제공 방법 및 시스템, 이를 위한 컨텐츠 제작 장치
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
KR101703923B1 (ko) * 2015-07-28 2017-02-09 재단법인대구경북과학기술원 가상 현실 기반의 개인 맞춤용 캡슐형 힐링 장치
KR20170064730A (ko) * 2015-12-02 2017-06-12 에스케이 주식회사 Vr 기기를 활용한 가상 고객 서비스 방법 및 시스템
KR20180010891A (ko) 2016-07-22 2018-01-31 동서대학교산학협력단 Vr기기를 통한 360도 오페라 영상 제공방법
KR101864685B1 (ko) * 2016-10-05 2018-06-05 씨제이포디플렉스 주식회사 가상현실 4d 컨텐츠 상영 시스템 및 그 방법
KR101837717B1 (ko) * 2016-11-23 2018-03-14 주식회사 스튜디오매크로그래프 가상현실 콘텐츠를 이용하여 저항장치의 움직임의 난이도를 조절할 수 있는 가상현실 체험장치와 이를 이용한 서비스 제공방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030005144A (ko) * 2001-07-05 2003-01-17 (주)미디어스페이스 다수의 사용자 인터페이스를 가지는 가상현실 체험 시스템및 그 제어 방법
KR101713223B1 (ko) * 2015-10-20 2017-03-22 (주)라스 가상현실 체험 장치
WO2017077660A1 (ja) * 2015-11-06 2017-05-11 株式会社三和機工 体感型仮想現実空間システム
KR20170058025A (ko) * 2015-11-18 2017-05-26 배성실 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법
WO2018011988A1 (ja) * 2016-07-15 2018-01-18 ブレイニー株式会社 仮想現実システム、及び、情報処理システム

Also Published As

Publication number Publication date
KR101941947B1 (ko) 2019-01-24
US20210014576A1 (en) 2021-01-14
JP2020530675A (ja) 2020-10-22

Similar Documents

Publication Publication Date Title
CN107103801B (zh) 远程三维场景互动教学系统及控制方法
AU2017373858B2 (en) Systems, methods, and media for displaying interactive augmented reality presentations
CN106303555B (zh) 一种基于混合现实的直播方法、装置和系统
KR100835297B1 (ko) 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
WO2020090786A1 (ja) 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
KR101839122B1 (ko) 다중 사용자의 현실 공간상 위치와 연동하는 다중 접속 가상공간 제공 시스템 및 다중 접속 가상공간에서 3d 가상현실 영상을 제공하는 방법
WO2009102116A2 (ko) 사용자 반응형 증강 영상 생성 방법 및 시스템
WO2013154377A1 (ko) 디지털 캐릭터를 이용한 무대 공연을 처리하는 장치 및 방법
JP6400879B2 (ja) 画像表示装置及び画像表示システム
CN114461423B (zh) 一种多媒体流处理方法、设备、存储介质及程序产品
CN100553224C (zh) 媒体同步系统和使用该系统的服务提供方法
KR101443427B1 (ko) 홈 미디어용 4ｄ 이펙트 구현 시스템 및 방법
US9865273B2 (en) Tangible multimedia content playback method and apparatus
US20160179206A1 (en) Wearable interactive display system
KR101839118B1 (ko) 다중 사용자의 현실 공간상 위치와 연동하는 다중 접속 가상공간 제공 시스템
WO2020013429A1 (ko) 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템
CN110322566B (zh) 一种虚拟现实旅游方法
JP2020102236A (ja) コンテンツ配信システム、受信装置及びプログラム
JP6665273B1 (ja) コンテンツ配信システム、受信装置及びプログラム
JP2022173870A (ja) 鑑賞システム、鑑賞装置及びプログラム
KR20200056893A (ko) Hmd를 무선으로 제어하는 미디어 서버 및 이를 이용한 hmd 제어 방법
EP3009939B1 (en) Output-data providing server, information processing device, information processing system, output-data providing method, information processing method, and data structure of content data
KR101766892B1 (ko) 연동장치, 이를 포함하는 전동장치 시스템 및 그 제어방법
KR20120078610A (ko) 실감 획득을 위한 시스템 및 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020502095

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19833598

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18/05/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19833598

Country of ref document: EP

Kind code of ref document: A1