[go: up one dir, main page]

WO2018155919A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2018155919A1
WO2018155919A1 PCT/KR2018/002168 KR2018002168W WO2018155919A1 WO 2018155919 A1 WO2018155919 A1 WO 2018155919A1 KR 2018002168 W KR2018002168 W KR 2018002168W WO 2018155919 A1 WO2018155919 A1 WO 2018155919A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
effect
peripheral device
virtual environment
environment content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/002168
Other languages
English (en)
French (fr)
Inventor
이무웅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US16/479,331 priority Critical patent/US11017486B2/en
Publication of WO2018155919A1 publication Critical patent/WO2018155919A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Definitions

  • the present invention relates to an electronic device and a control method thereof, and more particularly, to an electronic device providing a service for a virtual effect provided from virtual environment content using a peripheral device in the electronic device and a control method thereof. .
  • VR Virtual Reality
  • the electronic device providing the virtual environment service may receive the corresponding content from a peripheral device that provides the selected specific content, and provide the received content in the virtual environment.
  • the conventional electronic device provides only a virtual environment service that provides only various content information to a user in a virtual environment by using a peripheral device.
  • the present invention has been made in accordance with the above-described needs, and an object of the present invention is to provide a virtual environment service that can provide an experience for various virtual environments in an electronic device.
  • an electronic device provides a communication unit for performing data communication with at least one peripheral device, an output unit for outputting to virtual environment content, and the virtual environment content according to a user command.
  • a controller configured to control the communication unit to transmit a control signal corresponding to the virtual effect to the peripheral device.
  • the apparatus may further include a storage configured to store the function supporting device information to which the information on the virtual effect and the information on the pre-registered peripheral device capable of providing the function corresponding to the virtual effect are mapped.
  • the controller may determine whether to register a peripheral device capable of providing a function corresponding to a virtual effect provided by the virtual environment content based on the device management information stored in the storage unit and correspond to the virtual effect. If a peripheral device capable of providing a function is registered, the communication unit may be controlled to transmit a control signal corresponding to the virtual effect to the registered peripheral device.
  • the controller transmits a search signal for searching for a peripheral device and responds from at least one peripheral device receiving the search signal.
  • the communication unit may be controlled to receive a signal and to perform pairing with a peripheral device capable of providing a function corresponding to the virtual effect based on the received response signal.
  • the control unit when playing the virtual environment content, the information on the frame-specific virtual effect for the virtual environment content,
  • the communication unit may be controlled to transmit a control signal to a peripheral device capable of performing a function corresponding to the virtual effect for each frame.
  • the controller may control the output unit to display a user UI for providing a service for a virtual effect provided by the virtual environment content when a play command for the virtual environment content is performed.
  • the controller when the event information is received from a peripheral device set by a user among the plurality of pre-registered peripheral devices while the virtual environment content is being output, the controller is further configured to transmit the received event information to the virtual environment content.
  • the output unit may be controlled to convert and output the related information.
  • the controller controls the peripheral device to perform a function corresponding to the virtual effect provided by the virtual environment content according to whether the electronic device can perform a function corresponding to the virtual effect provided by the virtual environment content. You can send a signal.
  • the virtual effect may include at least one of a voice effect, a wind effect, a vibration effect, a cold effect, a heat effect, and an odor effect.
  • the method of controlling the electronic device may include playing back virtual environment content according to a user command, based on information on the virtual effect provided by the virtual environment content. Determining a peripheral device capable of providing a function corresponding to the virtual effect among the devices, and transmitting the virtual environment content and transmitting a control signal corresponding to the virtual effect to the determined peripheral device.
  • the method may further include storing function supporting device information to which information about the virtual effect and information on a pre-registered peripheral device that may provide a function corresponding to the virtual effect are mapped.
  • the determining may include determining whether to register a peripheral device capable of providing a function corresponding to a virtual effect provided by the virtual environment content based on the stored device management information, and transmitting the information. If a peripheral device capable of providing a function corresponding to the virtual effect is registered, a control signal corresponding to the virtual effect can be transmitted to the registered peripheral device.
  • the method may further include registering an unregistered peripheral device, wherein registering the peripheral device may provide a search signal for searching for the peripheral device when it is determined that the peripheral device capable of providing a function corresponding to the virtual effect is not registered. Transmitting, receiving a response signal from at least one peripheral device receiving the discovery signal, and performing pairing with a peripheral device capable of providing a function corresponding to the virtual effect based on the received response signal. Steps.
  • the information about the virtual effect is mapped and stored for each frame constituting the virtual environment content, and the step of transmitting, when playing the virtual environment content, for the frame-by-frame virtual effect for the virtual environment content
  • the control signal may be transmitted to a peripheral device capable of performing a function corresponding to the virtual effect for each frame based on the information.
  • the reproducing may include displaying a user UI for providing a service for a virtual effect provided by the virtual environment content when a reproduction command for the virtual environment content is performed.
  • the reproducing step when event information is received from a peripheral device set by a user among the plurality of registered peripheral devices while the virtual environment content is being output, the received event information is stored in the virtual environment.
  • the information related to the content can be converted and reproduced.
  • the determining may include determining whether the electronic device is capable of performing a function corresponding to the virtual effect provided by the virtual environment content, and the function corresponding to the virtual effect provided by the virtual environment content on the electronic device. If possible, the electronic device may further include performing a function corresponding to the virtual effect.
  • the virtual effect may include at least one of a voice effect, a wind effect, a vibration effect, a cold effect, a heat effect, and an odor effect.
  • an electronic device that reproduces virtual environment content may provide a user with an experience of various virtual environments by providing a virtual effect related to the virtual environment content being played by utilizing a peripheral device.
  • FIG. 1 is a system diagram for providing a virtual environment service using a peripheral device according to an embodiment of the present invention
  • FIG. 2 is a procedure diagram for providing a virtual environment service using a peripheral device according to an embodiment of the present invention
  • FIG. 3 is a block diagram of an electronic device providing a virtual environment service using a peripheral device according to an embodiment of the present disclosure
  • FIG. 4 is a detailed block diagram of a storage unit according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram illustrating a first user UI for selecting whether to provide a service for a virtual effect according to an embodiment of the present invention
  • FIG. 6 is an exemplary diagram illustrating a second user UI for selecting a virtual effect according to an embodiment of the present invention
  • FIG. 7 is a detailed block diagram of an electronic device providing a virtual environment service using a peripheral device according to an embodiment of the present disclosure
  • FIG. 8 is a first exemplary view of providing a service for a virtual effect provided by virtual environment content by using a peripheral device in an electronic device according to an embodiment of the present disclosure
  • FIG. 9 is a second exemplary view of providing a service for a virtual effect provided in virtual environment content by using a peripheral device in an electronic device according to another embodiment of the present disclosure.
  • FIG. 10 is a third exemplary diagram of providing a service for a virtual effect provided in virtual environment content by using a peripheral device in an electronic device according to another embodiment of the present disclosure.
  • FIG. 11 is an exemplary diagram for providing event information of a peripheral device in association with virtual environment contents in an electronic device according to an embodiment of the present disclosure
  • FIG. 12 is an exemplary diagram for providing event information of a peripheral device in association with virtual environment content in an electronic device according to another embodiment of the present disclosure
  • FIG. 13 is a flowchart of a method for providing a virtual environment service using a peripheral device in an electronic device according to an embodiment of the present disclosure
  • FIG. 14 is a flowchart illustrating a method for registering a peripheral device capable of performing a function for a virtual effect among unregistered peripheral devices in an electronic device according to an embodiment of the present invention.
  • ordinal numbers such as “first”, “second”, and the like may be used to distinguish between components. These ordinal numbers are used to distinguish the same or similar components from each other, and the meaning of the terms should not be construed as limited by the use of these ordinal numbers. For example, the components combined with these ordinal numbers should not be limited in order of use or arrangement by the number. If necessary, the ordinal numbers may be used interchangeably.
  • module In the embodiments of the present invention, terms such as “module”, “unit”, “part”, and the like are terms used to refer to a component that performs at least one function or operation, and the components are referred to as hardware or software. It may be implemented or a combination of hardware and software. In addition, a plurality of “modules”, “units”, “parts”, etc. are integrated into at least one module or chip, except that each needs to be implemented with a particular specific hardware, and is at least one processor. It may be implemented as (not shown).
  • a part when a part is connected to another part, this includes not only a direct connection but also an indirect connection through another medium.
  • the meaning that a part includes a certain component means that it may further include other components, without excluding other components, unless specifically stated otherwise.
  • FIG. 1 is a system diagram for providing a virtual environment service using a peripheral device according to an embodiment of the present invention.
  • a system for providing a virtual environment service includes an electronic device 100 that plays virtual environment content and a peripheral device 200 that provides a function corresponding to a virtual effect provided by the virtual environment content. Include.
  • the virtual environment content is VR (Virtual Reality) image content such as a panoramic image or a 360 degree around view image
  • the electronic device 100 that reproduces the virtual environment content may be a VR device, a smartphone, a VR wearable device, or the like. Can be.
  • the peripheral device 200 that provides a function corresponding to the virtual effect provided by the virtual environment content may perform near field communication with the electronic device 100, and perform an operation according to a control command of the electronic device 100.
  • a device it may be, for example, a smart air conditioner, a smart luminaire, a remote controller, a smart phone, a smart camera, an aromatic device, and the like as shown.
  • the electronic device 100 reproduces the virtual environment content 10 corresponding to the user command according to a user command wearing the electronic device 100. Accordingly, the user may play a car racing game in a virtual environment through the virtual environment content 10 played through the electronic device 100 worn by the user.
  • the electronic device 100 may base the virtual environment content 10 on the basis of information on the virtual effect provided by the virtual environment content 10. Search for the peripheral device 200 that may provide a function corresponding to the virtual effect provided by the.
  • the information on the virtual effect provided by the virtual environment content 10 may be preset for each virtual environment content.
  • the virtual environment content 10 as shown may be content providing a car racing game against a desert background.
  • the information of the virtual effect provided by the virtual environment content 10 may include information about an 'open effect' and a 'wind effect'.
  • the electronic device 100 may provide a function corresponding to the virtual effect of the 'open effect' and the 'wind effect' based on previously stored device management information and information on the 'open effect' and 'wind effect'. Determine the peripheral device 200 that can be.
  • the device management information may include information about the virtual effect provided by the virtual environment content 10, device information capable of providing a function corresponding to the virtual effect, and peripheral devices 200 pre-registered in the electronic device 100. At least two of the information are mapped information.
  • the electronic device 100 refers to the device management information to determine whether information on the peripheral device 200 capable of providing a function corresponding to the virtual effect of the 'open effect' and the 'wind effect' is registered. To judge.
  • the electronic device 100 requests the virtual device requested by the user. While the environment content 10 is being played, the warm air related control signal is transmitted to the air conditioner related to the heating / cooling air conditioner 200-1 so that the hot wind blows around the user.
  • the air conditioner-related peripheral device 200-1 transmits warm air wind based on a control signal received from the electronic device 100. Therefore, a user who plays a car racing game through the electronic device 100 may perform a car race in the desert, such as a background of a car racing game through the warm air wind transmitted through the air conditioner-related peripheral device 200-1.
  • a user who plays a car racing game through the electronic device 100 may perform a car race in the desert, such as a background of a car racing game through the warm air wind transmitted through the air conditioner-related peripheral device 200-1.
  • a background of a car racing game through the warm air wind transmitted through the air conditioner-related peripheral device 200-1.
  • FIG. 2 is a procedure for providing a virtual environment service using a peripheral device according to an embodiment of the present invention.
  • the electronic device 100 receives a playback command for virtual environment content from a user (S11).
  • the electronic device 100 determines a peripheral device capable of providing a function corresponding to a virtual effect provided by the virtual environment content corresponding to the input user command and reproduces the virtual environment content ( S12).
  • the electronic device 100 may provide a function corresponding to a virtual effect provided by the virtual environment content corresponding to the user command based on previously stored device management information. Judge.
  • the device management information may include information about virtual effects provided by the virtual environment content, device information capable of providing a function corresponding to the virtual effect, and information about the peripheral device 200 pre-registered in the electronic device 100. At least two pieces of mapped information.
  • the device management information may be mapped and stored in a table form as shown in Table 1 below.
  • the signal pattern information of the first device mapped with respect to the voice effect may be a signal pattern predefined with respect to the peripheral device 200 that outputs audio.
  • the signal pattern information of the second device mapped to the wind effect may be a signal pattern defined in relation to the peripheral device 200 that transmits cold or warm wind.
  • the signal pattern information of the third device mapped to the odor effect may be a signal pattern defined with respect to the peripheral device 200 that sprays the perfume.
  • the network speaker (speaker connectable to the network), the smart air conditioner, and the aroma device mapped to each of the voice effect, the wind effect, and the smell effect are the peripheral device 200 registered in the electronic device 100.
  • Each of the network speaker, smart air conditioner, and aroma device may include effects matched to each of the first to third devices based on signal patterns of the network speaker, smart air conditioner, direction device, and signal pattern information of each of the first to third devices. Can be mapped.
  • the present invention is not limited thereto, and the device information defined in the above table may be identification information for each of the first to third devices classified for each device that provides a function corresponding to each virtual effect.
  • the network speaker having identification information corresponding to the identification information of the first device may be mapped to the voice effect
  • the smart air conditioner having identification information corresponding to the identification information of the second device may be mapped to the wind effect
  • the fragrance device having identification information corresponding to the identification information of the third device may be mapped to the smell effect.
  • the electronic device 100 may map a network speaker, a smart air conditioner, and an aroma device to each of a voice effect, a wind effect, and an odor effect based on a user command.
  • the electronic device 100 determines whether the peripheral device 200 capable of providing the virtual effect set in the virtual environment content corresponding to the user command is registered with reference to the previously stored device management information (S13). ).
  • the electronic device 100 may provide a function corresponding to the virtual effect set in the virtual environment content corresponding to the user command by the first peripheral device 200-1 among the registered peripheral devices 200. You can judge. In this case, the electronic device 100 transmits a control signal for performing a function corresponding to a virtual effect to the first peripheral device 200-1 based on previously stored device information related to the first peripheral device 200-1. Transmit (S14). Accordingly, the first peripheral device 200-1 performs a function corresponding to the virtual effect based on the control signal received from the electronic device 100 (S15).
  • the electronic device 100 may provide a search signal for searching for the peripheral device. Transmit (S16). In this case, the electronic device 100 may transmit a discovery signal by broadcasting.
  • the second peripheral device 200-2 capable of short-range communication with the electronic device 100 transmits a response signal to the electronic device 100 (S16).
  • the electronic device 100 determines whether the second peripheral device 200-2 provides a function corresponding to the virtual effect set in the virtual environment content corresponding to the user command based on the received response signal. It is determined whether or not (S18).
  • the virtual effect set in the virtual environment content corresponding to the user command may be a wind effect.
  • the electronic device 100 compares the signal pattern information for the second device mapped with the wind effect and the signal pattern included in the received response signal with reference to the table of the device related information. As a result of the comparison, when the two signal patterns correspond to each other, the electronic device 100 pairs to the second peripheral device 200-2 based on the address information included in the response signal received from the second peripheral device 200-2.
  • the request signal is transmitted (S19).
  • the present invention is not limited thereto, and when the response signal is received from the second peripheral device 200-2, the electronic device 100 provides a notification message indicating that the second peripheral device 200-2 has been found. . Subsequently, when a user command for the second peripheral device 200-2 is input, the electronic device 100 transmits a pairing request signal to the second peripheral device 200-2 based on the address information included in the response signal. Can be.
  • the second peripheral device 200-2 transmits a pairing response signal including control information of the second peripheral device 200-2 to the electronic device 100.
  • the electronic device 100 may register the second peripheral device 200-2 as a device to perform a function corresponding to the wind effect (S21).
  • the electronic device 100 updates the device management information to which the wind effect and the control information of the second peripheral device 200-2 are mapped to perform the function corresponding to the wind effect of the second peripheral device 200-2. You can register as a device.
  • the electronic device 100 transmits a control signal to the second peripheral device 200-2 to perform a function corresponding to the virtual effect provided by the virtual environment content while the virtual environment content corresponding to the user command is reproduced. . Therefore, the second peripheral device 200-2 may perform a function corresponding to a virtual effect provided by the virtual environment content based on the control signal received from the electronic device 100.
  • FIG. 3 is a block diagram of an electronic device that provides a virtual environment service using a peripheral device according to an embodiment of the present disclosure.
  • the electronic device 100 is a device that plays virtual environment content.
  • the virtual environment content is VR (Virtual Reality) image content such as a panoramic image or a 360 degree around view image
  • the electronic device 100 that reproduces the virtual environment content may be a VR device, a smartphone, a VR wearable device, or the like. Can be.
  • the electronic device 100 includes a communication unit 110, an output unit 120, a controller 130, and a storage 140.
  • the communication unit 110 performs data communication with at least one peripheral device 200.
  • the communication unit 110 may include a short range communication module 111 and perform data communication with at least one peripheral device 200 through the short range communication module 111.
  • the short range communication module 111 is a module that performs wireless communication with at least one peripheral device 200 located in a short range.
  • a Bluetooth module a Near Field Communication (NFC) module, a Wi-Fi ( It may include at least one of a WiFi module, a Zigbee module.
  • NFC Near Field Communication
  • Wi-Fi It may include at least one of a WiFi module, a Zigbee module.
  • the communication unit 110 transmits / receives a signal for pairing with at least one peripheral device 200 through the short range communication module 111 to the at least one peripheral device 200 pre-registered in the electronic device 100.
  • the control signal for performing a function corresponding to the virtual effect provided by the virtual environment content may be transmitted.
  • the communication unit 110 may further include a wireless communication module 112 and a connector 113.
  • the wireless communication module 112 is a module, such as a wireless LAN module, connected to an external network and performing communication according to a wireless communication protocol such as IEEE.
  • a wireless communication protocol such as IEEE.
  • the present invention is not limited thereto, and the wireless communication module 112 is connected to a mobile communication network according to various mobile communication standards such as 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evoloution (LTE), and the like. It may be a mobile communication module for performing communication.
  • 3G 3rd Generation
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term Evoloution
  • the connector 113 is an element that provides an interface with various source devices such as USB 2.0, USB 3.0, HDMI, IEEE 1394, and the like.
  • the connector 113 receives content data transmitted from an external server (not shown) through a wired cable connected to the connector 113 according to a control command of the controller 130 to be described later, or records externally stored content data. Can be transferred to the medium.
  • the connector 113 may receive power from a power source through a wired cable physically connected to the connector 113.
  • the outputter 120 outputs the virtual environment content corresponding to the user command.
  • the output unit 120 may include a display unit 121 and an audio output unit 122, as shown in FIG. 7 to be described later.
  • the display unit 121 displays the image data included in the virtual environment content on the screen, and the audio output unit 122 outputs the audio data included in the virtual environment content in the form of an audible sound through a speaker (not shown).
  • the controller 130 controls overall operations of the components constituting the electronic device 100.
  • the controller 130 controls the outputter 120 to play the virtual environment content according to a user command.
  • the controller 130 determines a peripheral device capable of providing a function corresponding to the virtual effect among the at least one peripheral device based on the information on the virtual effect provided by the virtual environment content. Thereafter, the controller 130 controls the communication unit 110 to transmit the control signal corresponding to the virtual effect to the determined peripheral device 200.
  • the storage unit 140 stores the function supporting device information to which the information on the virtual effect and the information on the pre-registered peripheral device 200 which may provide a function corresponding to the virtual effect are mapped.
  • the controller 130 may generate function support device information on a peripheral device capable of providing a function corresponding to a virtual effect through various modules stored in the storage 140, and store the generated information in the storage 140. .
  • FIG. 4 is a detailed block diagram of a storage unit according to an exemplary embodiment of the present invention.
  • the storage 140 includes a virtual effect module 141, a function supporting device module 142, and a peripheral device management module 143.
  • the virtual effect module 141 is a module for providing information on a virtual effect required in connection with providing a virtual environment service.
  • the function supporting device module 142 is a module for providing device information on a device capable of providing a function corresponding to each virtual effect.
  • the peripheral device management module 143 is a module for registering and controlling the peripheral device 200 providing a function corresponding to each virtual effect.
  • the controller 130 may provide a function corresponding to each virtual effect by using the virtual effect module 141, the function supporting device module 142, and the peripheral device management module 143 previously stored in the storage 140.
  • the peripheral device 200 is searched for and registered. Subsequently, the controller 130 generates the function supporting device information to which the information on the virtual effect and the device information on the peripheral device 200 capable of providing a function corresponding to the virtual effect are mapped to the storage 140. Can be stored.
  • the peripheral device 200 that may provide a function corresponding to the virtual effect on the 'wind effect' may be a smart air conditioner.
  • the controller 130 may generate the function supporting device information to which the virtual effect of the 'wind effect' and the device information of the peripheral device 200 for the smart air conditioner are mapped.
  • the controller 130 controls the communication unit 110 to transmit a discovery signal for searching for a peripheral device in a broadcasting manner. Accordingly, the communication unit 110 transmits a discovery signal for searching for peripheral devices through the short range communication module 111 in a broadcasting manner. Accordingly, when at least one peripheral device 200 capable of short-range communication with the electronic device 100 receives a discovery signal from the electronic device 100, the at least one peripheral device 200 sends a response signal to the electronic device 100 based on the received discovery signal. send.
  • the controller 130 transmits the response signal based on the device information to the device capable of providing a function corresponding to the virtual effect on the 'wind effect' ( 200 determines whether the virtual effect function for the 'wind effect' can be performed.
  • the device information may include signal pattern information to a device capable of providing a function corresponding to a virtual effect on the 'wind effect'. Accordingly, the controller 130 determines whether the signal pattern information of the device capable of performing the function of the virtual effect on the 'wind effect' and the signal pattern included in the received response signal are similar to each other. 200 may determine whether the virtual effect function for the 'wind effect' can be performed.
  • the controller 130 controls the communication unit 110 to transmit a pairing request signal to the peripheral device 200 that has transmitted the response signal. Accordingly, the communication unit 110 transmits a pairing request signal to the peripheral device 200 that has transmitted the response signal based on the address information included in the response signal, and the peripheral device 200 receiving the pairing request signal is an electronic device.
  • the pairing response signal including the control information for controlling the operation of the peripheral device 200 may be transmitted to 100.
  • the controller 130 generates the function supporting device information in which the control information of the peripheral device 200 that transmits the pairing response signal and the virtual effect of the 'wind effect' are mapped based on the received pairing response signal. 140 can be stored.
  • the controller 130 may provide a virtual environment service based on the function supporting device information stored in the storage 140.
  • the controller 130 may provide a function corresponding to a virtual effect provided by the corresponding virtual environment content based on the device management information previously stored in the storage 140. It is determined whether the peripheral device 200 can be registered.
  • the controller 130 controls to perform a function corresponding to the virtual effect to the peripheral device 200 based on the control information of the registered peripheral device 200.
  • the signal transmits the communication unit 110 to the peripheral device 200.
  • the peripheral device 200 may perform a function corresponding to the virtual effect provided by the virtual environment content corresponding to the user command based on the control signal received from the electronic device 100.
  • the controller 130 transmits a discovery signal for searching for the peripheral device by a broadcasting method. Subsequently, when a response signal is received from at least one peripheral device 200 that receives the discovery signal, pairing with a peripheral device 200 capable of providing a function corresponding to a virtual effect is performed based on the received response signal. . Since the operation of performing pairing with the unregistered peripheral device 200 has been described in detail above, a detailed description thereof will be omitted below.
  • the information on the virtual effects provided by the above-described virtual environment content may be mapped for each frame constituting the virtual environment content.
  • the controller 130 controls the peripheral device 200 to perform a function corresponding to the virtual effect for each frame based on the information on the virtual effect for each frame of the virtual environment content when the virtual environment content is played back.
  • the communication unit 110 may be controlled to transmit a signal.
  • information about the first virtual effect may be set in relation to a first frame among a plurality of frames constituting the virtual environment content
  • information about the second virtual effect may be set in relation to the second frame.
  • the first peripheral device 200-1 may provide a function corresponding to the first virtual effect
  • the second peripheral device 200-2 may provide a function corresponding to the second virtual effect. It can be a device.
  • the first and second frames may be one frame or a plurality of frames.
  • the controller 130 transmits a control signal for providing a function corresponding to the first virtual effect set in the first frame to the first peripheral device 200-1 at the timing when the content of the first frame is output.
  • the control unit 130 transmits a control signal for providing a function corresponding to the second virtual effect set in the second frame to the second peripheral device 200-2 at the timing when the content of the second frame is output. Control 110.
  • the communication unit 110 transmits a control signal for providing a function corresponding to the first virtual effect set in the first frame to the first peripheral device 200-1 through the short range communication module 111.
  • the control device 200-2 transmits a control signal for providing a function corresponding to the second virtual effect set in the second frame.
  • the first peripheral device 200-1 performs an operation corresponding to the first virtual effect set in the first frame at the timing when the content of the first frame is output, and the second peripheral device 200-2 is performed.
  • An operation corresponding to the second virtual effect set in the second frame may be performed at the timing when the content of the second frame is output.
  • the controller 130 controls the output unit 120 to display a user UI for providing a service for a virtual effect provided by the virtual environment content when a playback command for the virtual environment content is provided. Accordingly, the output unit 120 may display the user UI through the display unit 121.
  • FIG. 5 is an exemplary diagram illustrating a first user UI for selecting whether to provide a service for a virtual effect according to an embodiment of the present invention
  • FIG. 6 is a diagram for selecting a virtual effect according to an embodiment of the present invention. 2 shows an example of a user UI.
  • the controller 130 determines whether information on a virtual effect provided by the virtual environment content is set when a playback command for the virtual environment content is set. As a result of the determination, when information on the virtual effect provided by the virtual environment content is set, the controller 130 controls the output unit 120 to display the first user UI 510 for selecting whether to use the virtual effect mode. do. Accordingly, the outputter 120 displays the first user UI 510 for selecting whether to use the virtual effect mode through the display 121.
  • the controller 130 When the first icon 511 of 'Yes' is selected while the first user UI 510 is displayed, the controller 130 provides a service for a virtual effect provided in the virtual environment content. On the other hand, when the second icon 512, 'no', is selected while the first user UI 510 is displayed, the controller 130 does not provide a service for the virtual effect, and only the virtual environment contents requested by the user. Can play.
  • the controller 130 may select a second user to select a virtual effect.
  • the output unit 120 is controlled to display the UI 610.
  • the controller 130 may select a virtual effect provided by the corresponding virtual environment content based on the information on the virtual effect set in the corresponding virtual environment content. Choose. Thereafter, the controller 130 may generate a second user UI 610 including an icon for selecting all the virtual effects provided by the virtual environment content and an icon for selecting each of the virtual effects.
  • the information about the virtual effect provided by the virtual environment content requested by the user may include a voice effect, a wind effect, a vibration effect, and a heat effect.
  • the controller 130 may include a first icon 611 for selecting all virtual effects provided by the virtual environment contents, and second to fifth for selecting each of a voice effect, a wind effect, a vibration effect, and a heat effect.
  • the second user UI 610 including the icons 612 to 615 may be generated.
  • the user may select only a virtual effect desired by the second user UI 610 displayed on the screen. For example, when the first icon 611 for the whole effect is selected, the controller 130 may provide a service for all the virtual effects provided by the virtual environment content requested by the user.
  • the controller 130 may control the voice effect and the vibration effect among the virtual effects provided by the virtual environment content requested by the user. Can only provide services.
  • the controller 130 when the controller 130 is playing the virtual environment content, when event information is received from the peripheral device 200 set by the user among the plurality of registered peripheral devices 200,
  • the output unit 120 is controlled to convert the received event information into a video image related to the virtual environment content being played back and to synthesize the converted video image with the virtual environment content being played back. Accordingly, the outputter 120 may display the virtual environment content obtained by synthesizing the converted video image with respect to the event information through the display 121.
  • the controller 130 may correspond to the virtual effect provided by the virtual environment content according to whether the electronic device 100 may perform a function corresponding to the virtual effect provided by the virtual environment content.
  • the control signal may be transmitted to the peripheral device 200 to perform the function.
  • the virtual effect provided by the virtual environment content may be a voice effect.
  • the controller 130 determines whether the electronic device 100 can perform a function corresponding to the voice effect. As a result of the determination, if possible, the controller 130 may output audio data included in the virtual environment content through the audio output unit 122 included in the electronic device 100.
  • the controller 130 may transmit the virtual environment content to the first peripheral device 200-1 capable of outputting audio among the registered peripheral devices 200.
  • the communication unit 110 may be controlled to transmit the audio data included in the. Accordingly, the communication unit 110 transmits audio data to the first peripheral device 200-1 capable of outputting audio through the short range communication module 111, and the first peripheral device 200-1 transmits the electronic device 100.
  • the audio data received from the audio signal may be output in the form of audible sound.
  • FIG. 7 is a detailed block diagram of an electronic device that provides a virtual environment service using a peripheral device according to an embodiment of the present disclosure.
  • the electronic device 100 may include the input unit 150, the imaging unit 160, and the sensing unit 170 in addition to the communication unit 110, the output unit 120, the controller 130, and the storage 140. It may further include.
  • the input unit 150 is an input means for receiving various user commands and transmitting them to the controller 130, and may include a microphone 151, an operation unit 152, a touch input unit 153, and a user input unit 154.
  • the microphone 151 receives a user's voice command
  • the operation unit 152 may be implemented as a keypad including various function keys, numeric keys, special keys, text keys, and the like.
  • the touch input unit 153 may be implemented as a touch pad having a rare structure with the aforementioned display unit 121. In this case, the touch input unit 154 may receive a selection command for various application-related icons displayed on the display 121.
  • the user input unit 154 may receive an IR signal or an RF signal for controlling the operation of the electronic device 100 from at least one peripheral device 200 such as a remote control device.
  • the photographing unit 160 photographs an image of the surrounding environment
  • the sensing unit 170 detects the movement of the electronic device 100 and the movement of the pupil of the user wearing the electronic device 100.
  • the sensing unit 170 may include a motion sensor 171 that detects a movement of the electronic device 100, a pupil tracking sensor 172 capable of tracking a pupil of a user, a geomagnetic sensor 173, and a gravity sensor 174. ), And may include at least one of the gyro sensor 175.
  • the motion sensor 171 may be an accelerometer sensor that measures the acceleration or the intensity of the impact of the moving electronic device 100.
  • the pupil tracking sensor 172 is located near to the user's eyeball, and is a sensor that detects a user's gaze change while photographing the pupil of the user. Accordingly, the controller 130 determines an area gazed by the user from among the images of the displayed virtual environment content based on the sensing information detected by the pupil tracking sensor 172, and converts the image into the image of the determined area. Can be.
  • the Magnetic Sensor 173 is an electronic compass that can detect azimuth by using the earth's magnetic field, and is used for location tracking, 3D video games, or used in smartphones, walkie-talkies, GPS, PDAs, navigation navigation devices, and the like. Sensor.
  • Gravity sensor 174 is a sensor that detects which direction gravity acts, and is a sensor used to detect a direction by automatically rotating according to the moving direction of display apparatus 100.
  • the gyro sensor 175 is a sensor that helps to recognize more detailed and precise motion by inserting rotations into the existing motion sensor 171 and recognizing 6-axis directions.
  • the sensing unit 170 is a proximity sensor (not shown) used to determine whether the object is close to before contacting other objects, in addition to the above-described configuration, and receives the light to convert the light into an electrical signal It may further include an optical sensor (not shown).
  • the storage 140 storing device management information and related modules may further store image and audio data of virtual environment content received from an external server (not shown).
  • the storage 140 may further store an operation program for controlling the operation of the electronic device 100.
  • the operation program may be a program that is read from the storage 140 and compiled to operate each component of the electronic device 100.
  • the controller 130 may further include a RAM 131, a ROM 132, a CPU 133, and a GPU 134, and may include a RAM 131, a ROM 132, a CPU 133, and a RAM 131.
  • the GPUs 134 may be connected to each other via the bus 135.
  • the CPU 133 accesses the storage 140 and performs booting using an OS stored in the storage 140. In addition, the CPU 133 performs various operations using various programs, contents, data, and the like stored in the storage 140.
  • the GPU 134 generates a display screen including various objects such as icons, images, texts, and the like. Specifically, the GPU 134 calculates attribute values such as coordinate values, shapes, sizes, colors, and the like in which each object is to be displayed according to the layout of the screen based on the received control command, and calculates objects based on the associated attribute values. Create a display screen with various layouts to include.
  • the ROM 131 stores a command set for system booting.
  • the CPU 133 copies the OS stored in the storage 140 to the RAM 124 according to the command stored in the ROM 131, and executes the OS to boot the system.
  • the CPU 133 copies various programs stored in the storage 140 to the RAM 132 and executes the programs copied to the RAM 132 to perform various operations.
  • the controller 130 may be combined with each of the above-described components and implemented as a single-chip system (System-on-a-chip or System on chip, SOC, SoC).
  • the storage 140 may include a memory card (eg, an SD card and a memory stick), a nonvolatile memory, a volatile memory, and a hard disk drive that may be attached to or detached from the ROM 131, the RAM 132, or the electronic device 100. (HDD) or a solid state drive (SSD).
  • a memory card eg, an SD card and a memory stick
  • a nonvolatile memory e.g., a nonvolatile memory
  • a volatile memory e.g., a solid state drive (SSD).
  • SSD solid state drive
  • FIG. 8 is a first exemplary view of providing a service for a virtual effect provided in virtual environment content by using a peripheral device in an electronic device according to an embodiment of the present disclosure.
  • a user wearing the electronic device 100 may make a command to play a virtual environment content 810 related to a car racing game. According to the play command, the electronic device 100 may play the virtual environment content 810 related to the car racing game requested by the user. Meanwhile, the electronic device 100 determines whether the information on the virtual effect provided by the virtual environment content 810 is included before the virtual environment content 810.
  • the information of the virtual effect provided by the virtual environment content 810 may include information on the 'open effect', 'wind effect' and 'voice effect'.
  • the electronic device 100 may apply the 'open effect', 'wind effect' and 'voice effect' based on previously stored device management information and information on 'open effect', 'wind effect' and 'voice effect'.
  • the peripheral device 200 that may provide a function corresponding to the virtual effect is determined.
  • the first peripheral device 200-1 related to air conditioning and heating is a device capable of providing functions for 'heating effect' and 'wind effect', and related to smart earphones.
  • the second peripheral device 200-2 may be determined as a device capable of providing a function for 'sound effect'.
  • the electronic device 100 may determine that the user is the user. While the requested virtual environment content 810 is being played, a warm air related control signal is transmitted to the first peripheral device 200-1 such that hot wind blows around the user.
  • the air conditioner-related first peripheral device 200-1 transmits warm air wind while the virtual environment content 810 is reproduced based on the control signal received from the electronic device 100.
  • the electronic device 100 transmits audio data included in the virtual environment content 810 requested by the user to the second peripheral device 200-2.
  • the second peripheral device 200-2 related to the smart earphone may output audio for the virtual environment content 810 based on the received audio data.
  • a user who plays a car racing game through the electronic device 100 may race a car in the desert through the audio output from the second peripheral device 200-2 and the warm air wind transmitted from the first peripheral device 200-1. You can experience the same virtual environment.
  • the electronic device 100 may provide a service for a virtual effect selected by a user among a plurality of virtual effects provided by the virtual environment content 810. Can provide.
  • the virtual effect information provided by the virtual environment content 810 may include information about an 'open effect', a 'wind effect', and a 'sound effect', among which the 'open effect' and Information about the 'wind effect' may be selected.
  • the electronic device 100 transmits a warm air-related control signal to the first peripheral device 200-1 so that hot wind blows around the user while the virtual environment content 810 requested by the user is playing. Accordingly, the air conditioning-related first peripheral device 200-1 transmits warm air wind based on a control signal received from the electronic device 100.
  • a user who plays a car racing game through the electronic device 100 may experience a virtual environment such as running a car in the desert through the warm air wind transmitted from the first peripheral device 200-1.
  • FIG. 9 is a second exemplary view of providing a service for a virtual effect provided in virtual environment content by using a peripheral device in an electronic device according to another embodiment of the present disclosure.
  • a user wearing the electronic device 100 may make a command to play a virtual environment content 910 related to a car racing game.
  • the electronic device 100 may play the virtual environment content 910 related to the car racing game requested by the user.
  • the electronic device 100 determines whether the information on the virtual effect provided by the virtual environment content 910 is included before the virtual environment content 910.
  • the information of the virtual effect provided by the virtual environment content 910 may include information on the 'open effect', 'wind effect', 'sound effect' and 'vibration effect'.
  • information about 'open effect', 'wind effect', and 'sound effect' may be included in relation to the image 911 of the first frame among the plurality of frames constituting the virtual environment content 910.
  • information on the 'open effect', 'wind effect', 'sound effect' and 'vibration effect' may be included.
  • the first and second frames may be a single frame or a frame composed of a plurality of frames.
  • the electronic device 100 may store the 'open effect', 'wind effect', based on previously stored device management information and information on 'open effect', 'wind effect', 'voice effect' and 'vibration effect'.
  • the peripheral device 200 that may provide functions for the 'sound effect' and the 'vibration effect' is determined.
  • the first peripheral device 200-1 related to the heating and cooling air conditioner among the registered peripheral devices 200 is a device that provides functions for 'heating effect' and 'wind effect'
  • the peripheral device 200-2 is a device that provides a function for 'sound effect'
  • the third peripheral device related to the massage chair 200-3 may be determined to be a device that can provide a function for 'vibration effect'. Can be.
  • the electronic device 100 moves to the first peripheral device 200-1 such that hot wind blows around the user while the image 911 of the first frame of the virtual environment content 910 requested by the user is played.
  • the control unit transmits a warm air control signal and transmits audio data of the first frame to the second peripheral device 200-2 so that the audio of the first frame is output while the image 911 of the first frame is reproduced.
  • the air conditioner-related first peripheral device 200-1 winds the warm air while the image 911 of the first frame of the virtual environment content 910 is reproduced based on the control signal received from the electronic device 100.
  • the second peripheral device 200-2 related to the smart earphone may output audio for the first frame of the virtual environment content 910 based on the received audio data.
  • the electronic device 100 controls the warm air related to the first peripheral device 200-1 so that hot wind blows around the user's surroundings while the image 912 of the second frame included in the virtual environment content is played.
  • the signal is transmitted, and the audio data for the second frame is transmitted to the second peripheral device 200-2 so that the audio of the second frame is output while the image 912 of the second frame is reproduced.
  • the electronic device 100 transmits a massage operation-related control signal to the third peripheral device 200-3 so as to perform a massage function during a section in which the image 912 of the second frame is reproduced. .
  • the air conditioner-related first peripheral device 200-1 winds the warm air while the image 912 of the second frame of the virtual environment content 910 is reproduced based on the control signal received from the electronic device 100.
  • the second peripheral device 200-2 related to the smart earphone may output audio for the second frame while the image 912 of the second frame is reproduced based on the received audio data.
  • the massage device-related third peripheral device 200-3 may perform a massage function while the image 912 of the second frame of the virtual environment content 910 is played.
  • a user who plays a car racing game through the electronic device 100 may race a car in the desert through the audio output from the second peripheral device 200-2 and the warm air wind transmitted from the first peripheral device 200-1. You can experience the same virtual environment.
  • a user who plays a car racing game through the electronic device 100 may experience a virtual environment such as playing a car race on a desert dirt road by a massage operation performed on the third peripheral device 200-3. .
  • FIG. 10 is a third exemplary diagram of providing a service for a virtual effect provided in virtual environment content by using a peripheral device in an electronic device according to another embodiment of the present disclosure.
  • the electronic device 100 may play the virtual environment content 1010 of the park background according to a user command. Meanwhile, the electronic device 100 determines whether information on the virtual effect provided by the virtual environment content 1010 is included before the virtual environment content 1010.
  • the information of the virtual effect provided by the virtual environment content 1010 may include information about the 'voice effect' and the 'smell effect'.
  • the electronic device 100 provides a function corresponding to the virtual effect of the 'voice effect' and the 'odor effect' based on previously stored device management information and information on the 'voice effect' and the 'odor effect'. Determine the peripheral device 200 that can be.
  • the first peripheral device 200-1 related to the smart earphone among the registered peripheral devices 200 is a device capable of providing a function for a 'voice effect'
  • a second peripheral device related to a direction device ( 200-2) may be determined as a device capable of providing a function for the 'smell effect'.
  • the electronic device 100 may determine that the user is the user. While the requested virtual environment content 1010 is being played, audio data included in the virtual environment content 1010 is transmitted to the first peripheral device 200-1. In addition, the electronic device 100 transmits a control signal related to the direction device operation to the second peripheral device 200-2 so that the floral fragrance may be around the user while the virtual environment content 1010 requested by the user is played.
  • the first peripheral device 200-1 related to the smart earphone may output audio for the virtual environment content 1010 based on the audio data received from the electronic device 100.
  • the second peripheral device 200-2 related to the fragrance device moves the internal fragrance to the outside through the nozzle of the fragrance device while the virtual environment content 1010 is reproduced based on the control signal received from the electronic device 100. Can be sprayed.
  • a user who views an image of a park background through the electronic device 100 may receive flowers through the audio output from the first and peripheral devices 200-1 and the air freshener sprayed from the second peripheral device 200-2. You can experience a virtual environment like walking through this full bloom park.
  • FIG. 11 is an exemplary diagram for providing event information of a peripheral device in association with virtual environment contents in an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may play the virtual environment content 1110 corresponding to the user command. Accordingly, a user wearing the electronic device 100 may experience the virtual environment from the virtual environment content 1110 reproduced by the electronic device 100.
  • the user may select the first peripheral device 200-1, which is a smart phone, among the plurality of peripheral devices 200 registered in the electronic device 100 as a device to interwork with the virtual environment content.
  • the first peripheral device 200-1 which is a smart phone
  • the selected first peripheral device 200-1 may display the generated event information when the event occurs. To send.
  • the first peripheral device 200-1 may receive a text message transmitted from another peripheral device 200.
  • the first peripheral device 200-1 transmits event information including the received text message to the electronic device 100.
  • the electronic device 100 that is playing the virtual environment content 1110 may include text included in the received event information in consideration of the virtual environment content 1110 being played.
  • a video image for providing a message may be generated, and the generated video message may be synthesized and displayed on the video data of the virtual environment content 1110 being played.
  • the electronic device 100 may play the virtual environment content 1110 through which the user may experience a virtual environment in which a user tours a specific region.
  • event information including a text message is received from the first peripheral device 200-1 while playing the virtual environment content 1110
  • the electronic device 100 receives the image data of the virtual environment content 1110.
  • the smartphone related video image 1111 on which the text message included in the event information is displayed is synthesized and displayed.
  • a user who wears the electronic device 100 uses a smartphone-related video image 1111 synthesized in the virtual environment contents 1110 that are being played through the electronic device 100 to virtually tour a specific area. And a virtual environment in which a text message is received by the smart phone while sightseeing in a specific area.
  • FIG. 12 is an exemplary diagram of providing an event information of a peripheral device in association with virtual environment content in an electronic device according to another embodiment of the present invention.
  • the electronic device 100 includes information on the 'cold effect' and the 'wind effect' of the virtual effect provided by the virtual environment content 1210, and the first peripheral device 200-1 related to the air conditioner. ) Can provide functions for 'cold effect' and 'wind effect'.
  • the electronic device 100 transmits a cold wind related control signal to the first peripheral device 200-1 so that the cool wind blows around the user while the virtual environment content 1210 is being played.
  • the air conditioner-related first peripheral device 200-1 transmits cold wind wind while the virtual environment content 1210 is reproduced based on the control signal received from the electronic device 100.
  • the first peripheral device 200-1 transmits event information including the set temperature set in the first peripheral device 200-1 to the electronic device 100.
  • the electronic device 100 playing the virtual environment content 1210 is included in the received event information in consideration of the playing virtual environment content 1210.
  • a video image for providing a temperature may be generated, and the generated video message may be synthesized and displayed on the video data of the virtual environment content 1210 being played.
  • the electronic device 100 may play the virtual environment content 1210 in which the user may experience a virtual environment in which a car races.
  • event information including a set temperature is received from the first peripheral device 200-1 while playing the virtual environment content 1210
  • the electronic device 100 may display an image on a display screen of a car that the user drives in a virtual environment.
  • the video image 1211 for the set temperature is synthesized and reproduced.
  • a user wearing the electronic device 100 sets a temperature set in the first peripheral device 200-1 through a display screen of a car that he drives in a virtual environment in which a user races through the electronic device 100. You can check.
  • FIG. 13 is a flowchart illustrating a method for providing a virtual environment service using a peripheral device in an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 plays virtual environment content according to a user command in operation S1310. Thereafter, the electronic device 100 determines the peripheral device 200 that may provide a function corresponding to the virtual effect among at least one peripheral device based on the information about the virtual effect provided by the virtual environment content in operation S1320. .
  • the information on the virtual effect may include at least one of a voice effect, a wind effect, a vibration effect, a cold effect, a heat effect, and an odor effect.
  • the electronic device 100 may respond to the virtual effect by the peripheral device 200 that may provide a function corresponding to the virtual effect.
  • the control signal is transmitted (S1330, S1340).
  • the electronic device 100 may determine whether there is a peripheral device 200 capable of providing a function corresponding to a virtual effect based on previously stored function supporting device information.
  • the function supporting device information may be information to which information about a virtual effect and information about a pre-registered peripheral device 200 that can provide a function corresponding to the virtual effect are mapped.
  • the electronic device 100 determines whether the peripheral device 200 capable of providing a function corresponding to the virtual effect provided by the user's requested virtual environment content is registered based on the previously stored function supporting device information. . If it is determined that the peripheral device 200 capable of providing a function corresponding to the virtual effect is registered, the electronic device 100 performs a function corresponding to the virtual effect with the registered peripheral device 200. Transmits a control signal.
  • the information about the virtual effects provided by the virtual environment content may be mapped and stored for each frame constituting the virtual environment content.
  • the electronic device 100 may provide a function corresponding to the virtual effect for each frame based on information on the virtual effect for each frame of the virtual environment content to be played.
  • the control signal may be transmitted to the device 200.
  • the peripheral device 200 may perform a function operation corresponding to the virtual effect based on the control signal received from the electronic device 100.
  • the electronic device 100 may virtualize the non-registered peripheral device 200.
  • the peripheral device 200 capable of providing a function corresponding to the effect is searched for and registered (S1350).
  • the electronic device 100 may display a user UI for providing a service for a virtual effect provided by the virtual environment content corresponding to the playback command when the playback command for the virtual environment content is performed. Accordingly, the user may select whether to receive a service for the virtual effect provided by the virtual environment content requested by the user through the user UI displayed on the screen.
  • the electronic device 100 when a user command for receiving a service for a virtual effect is input, the electronic device 100 performs the above-described series of operations to provide a virtual effect that can be provided in the virtual environment content requested by the user. Can provide services.
  • the electronic device 100 corresponds to the virtual effect in the electronic device 100. It can be determined whether the function can be performed. As a result of determination, when the electronic device 100 may perform a function corresponding to the virtual effect, the electronic device 100 may perform a function corresponding to the virtual effect.
  • the electronic device 100 plays event information from the peripheral device 200 set by the user among the plurality of registered peripheral devices 200 while the electronic device 100 is playing the virtual environment content requested by the user.
  • the received event information may be converted into information related to the virtual environment content being played and reproduced.
  • peripheral device 200 capable of performing a function on a virtual effect provided by the user of the virtual environment content among the unregistered peripheral device 200 will be described in detail.
  • FIG. 14 is a flowchart illustrating a method for registering a peripheral device capable of performing a function for a virtual effect among unregistered peripheral devices in an electronic device according to an embodiment of the present invention.
  • the electronic device 100 searches for the peripheral device. Transmit the search signal for (S1410).
  • the electronic device 100 preferably transmits a discovery signal for searching for a peripheral device through a broadcasting method.
  • the at least one peripheral device 200 located near the electronic device 100 transmits a response signal to the electronic device 100 that has transmitted the discovery signal.
  • the electronic device 100 corresponds to a virtual effect provided by the user's requested virtual environment content based on the received response signal.
  • the peripheral device 200 capable of performing the function is detected (S1420 and S1430).
  • the electronic device 100 registers the unregistered peripheral device 200 by performing pairing with the peripheral device 200 capable of performing a function corresponding to the virtual effect provided by the virtual environment content requested by the user (S1440).
  • the electronic device 100 transmits a control signal for a function corresponding to a virtual effect provided from the virtual environment content requested by the user to the newly registered peripheral device 200. Therefore, the newly registered peripheral device 200 may perform a function operation corresponding to the virtual effect provided by the virtual environment content requested by the user based on the control signal received from the electronic device 100.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치 및 그 제어 방법이 개시된다. 본 발명에 따른 전자 장치는 적어도 하나의 주변 기기와 데이터 통신을 수행하는 통신부, 가상 환경 컨텐츠에 출력하는 출력부 및 사용자 명령에 따라 가상 환경 컨텐츠를 재생하도록 출력부를 제어하며, 가상 환경 컨텐츠가 제공하는 가상 효과에 대한 정보에 기초하여 적어도 하나의 주변 기기 중 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기를 판단하고, 판단된 주변 기기에 가상 효과에 대응되는 제어 신호를 전송하도록 통신부를 제어하는 제어부를 포함한다. 이에 따라, 가상 환경 컨텐츠를 재생하는 전자 장치는 주변 기기를 활용하여 재생 중인 가상 환경 컨텐츠와 관련된 가상 효과를 제공하여, 사용자에게 다양한 가상 환경에 대한 경험을 제공할 수 있다.

Description

전자 장치 및 그 제어 방법
본 발명은 전자 장치 및 그 제어 방법에 관한 것으로써, 보다 상세하게는 전자 장치에서 주변 기기를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 전자 장치 및 그 제어 방법에 관한 기술이다.
최근 기술 발달로 인하여, 사용자는 전자 장치에서 재생하는 VR(Virtual Reality) 컨텐츠(이하 가상 환경 컨텐츠라 함)를 통해 다양한 가상 환경을 경험할 수 있다.
예를 들어, 가상 환경 서비스를 제공하는 전자 장치는 특정 컨텐츠에 대한 선택 명령이 입력되면, 선택된 특정 컨텐츠를 제공하는 주변 기기로부터 해당 컨텐츠를 수신하고, 수신된 컨텐츠를 가상 환경상에서 제공할 수 있다.
즉, 종래의 전자 장치는 주변 기기를 활용하여 가상 환경에서 사용자에게 다양한 컨텐츠 정보만을 제공하는 가상 환경 서비스만을 제공한다.
따라서, 전자 장치를 통해 다양한 가상 환경에 대한 경험을 제공할 수 있는 가상 환경 서비스 개발이 모색되어야 한다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 전자 장치에서 다양한 가상 환경에 대한 경험을 제공할 수 있는 가상 환경 서비스를 제공하기 위함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전자 장치는 적어도 하나의 주변 기기와 데이터 통신을 수행하는 통신부, 가상 환경 컨텐츠에 출력하는 출력부 및 사용자 명령에 따라 상기 가상 환경 컨텐츠를 재생하도록 상기 출력부를 제어하며, 상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대한 정보에 기초하여 상기 적어도 하나의 주변 기기 중 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기를 판단하고, 상기 판단된 주변 기기에 상기 가상 효과에 대응되는 제어 신호를 전송하도록 상기 통신부를 제어하는 제어부를 포함한다.
그리고, 가상 효과에 대한 정보 및 상기 가상 효과에 대응되는 기능을 제공할 수 있는 기등록된 주변 기기에 대한 정보가 매핑된 기능 지원 기기 정보를 저장하는 저장부를 더 포함할 수 있다.
또한, 상기 제어부는, 상기 저장부에 저장된 기기 관리 정보에 기초하여 상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기의 등록 여부를 판단하여, 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 등록되어 있으면, 상기 등록된 주변 기기로 상기 가상 효과에 대응되는 제어 신호를 전송하도록 상기 통신부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 미등록된 것으로 판단되면, 주변 기기 탐색을 위한 탐색 신호를 전송하여 상기 탐색 신호를 수신한 적어도 하나의 주변 기기로부터 응답 신호를 수신하며, 상기 수신된 응답 신호에 기초하여 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기와 페어링을 수행하도록 상기 통신부를 제어할 수 있다.
또한, 상기 가상 효과에 대한 정보는, 상기 가상 환경 컨텐츠를 구성하는 프레임별로 매핑되어 저장되며, 상기 제어부는, 상기 가상 환경 컨텐츠를 재생 시, 상기 가상 환경 컨텐츠에 대한 프레임별 가상 효과에 대한 정보에 기초하여 상기 프레임별 가상 효과에 대응되는 기능을 수행할 수 있는 주변 기기로 제어 신호를 전송하도록 상기 통신부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 가상 환경 컨텐츠에 대한 재생 명령 시, 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스 제공을 위한 사용자 UI를 디스플레이하도록 상기 출력부를 제어할 수 있다.
또한, 상기 제어부는, 상기 가상 환경 컨텐츠를 출력하고 있는 상태에서, 상기 기등록된 복수의 주변 기기 중 사용자에 의해 설정된 주변 기기로부터 이벤트 정보가 수신되면, 상기 수신된 이벤트 정보를 상기 가상 환경 컨텐츠와 관련된 정보로 변환하여 출력하도록 상기 출력부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 전자 장치에서 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능한지 여부에 따라, 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 수행할 주변 기기로 제어 신호를 전송할 수 있다.
또한, 상기 가상 효과는, 음성 효과, 바람 효과, 진동 효과, 냉기 효과, 열기 효과 및 냄새 효과 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 전자 장치의 제어 방법은 사용자 명령에 따라, 가상 환경 컨텐츠를 재생하는 단계, 상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대한 정보에 기초하여 적어도 하나의 주변 기기 중 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기를 판단하는 단계 및 상기 가상 환경 컨텐츠 재생 및 상기 판단된 주변 기기에 상기 가상 효과에 대응되는 제어 신호를 전송하는 단계를 포함한다.
그리고, 가상 효과에 대한 정보 및 상기 가상 효과에 대응되는 기능을 제공할 수 있는 기등록된 주변 기기에 대한 정보가 매핑된 기능 지원 기기 정보를 저장하는 단계를 더 포함할 수 있다.
또한, 상기 판단하는 단계는, 상기 저장된 기기 관리 정보에 기초하여 상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기의 등록 여부를 판단하며, 상기 전송하는 단계는, 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 등록되어 있으면, 상기 등록된 주변 기기로 상기 가상 효과에 대응되는 제어 신호를 전송할 수 있다.
그리고, 미등록된 주변 기기를 등록하는 단계를 더 포함하며, 상기 등록하는 단계는, 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 미등록된 것으로 판단되면, 주변 기기 탐색을 위한 탐색 신호를 전송하는 단계, 상기 탐색 신호를 수신한 적어도 하나의 주변 기기로부터 응답 신호를 수신하는 단계 및 상기 수신된 응답 신호에 기초하여 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기와 페어링을 수행하는 단계를 포함한다.
또한, 상기 가상 효과에 대한 정보는, 상기 가상 환경 컨텐츠를 구성하는 프레임별로 매핑되어 저장되며, 상기 전송하는 단계는, 상기 가상 환경 컨텐츠를 재생 시, 상기 가상 환경 컨텐츠에 대한 프레임별 가상 효과에 대한 정보에 기초하여 상기 프레임별 가상 효과에 대응되는 기능을 수행할 수 있는 주변 기기로 제어 신호를 전송할 수 있다.
그리고, 상기 재생하는 단계는, 상기 가상 환경 컨텐츠에 대한 재생 명령 시, 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스 제공을 위한 사용자 UI를 디스플레이할 수 있다.
또한, 상기 재생하는 단계는, 상기 가상 환경 컨텐츠를 출력하고 있는 상태에서, 상기 기등록된 복수의 주변 기기 중 사용자에 의해 설정된 주변 기기로부터 이벤트 정보가 수신되면, 상기 수신된 이벤트 정보를 상기 가상 환경 컨텐츠와 관련된 정보로 변환하여 재생할 수 있다.
그리고, 상기 판단하는 단계는, 상기 전자 장치에서 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능한지 여부를 판단하며, 상기 전자 장치에서 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능하면, 상기 전자 장치에서 상기 가상 효과에 대응되는 기능을 수행하는 단계를 더 포함할 수 있다.
또한, 상기 가상 효과는, 음성 효과, 바람 효과, 진동 효과, 냉기 효과, 열기 효과 및 냄새 효과 중 적어도 하나를 포함할 수 있다.
이상과 같이, 본 발명에 따르면, 가상 환경 컨텐츠를 재생하는 전자 장치는 주변 기기를 활용하여 재생 중인 가상 환경 컨텐츠와 관련된 가상 효과를 제공하여, 사용자에게 다양한 가상 환경에 대한 경험을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하기 위한 시스템도,
도 2는 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하기 위한 절차도,
도 3은 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하는 전자 장치의 블록도,
도 4는 본 발명의 일 실시예에 따른 저장부의 세부 블록도,
도 5는 본 발명의 일 실시예에 따른 가상 효과에 대한 서비스 제공 여부를 선택하기 위한 제1 사용자 UI를 나타내는 예시도,
도 6은 본 발명의 일 실시예에 따른 가상 효과를 선택하기 위한 제2 사용자 UI를 나타내는 예시도,
도 7은 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하는 전자 장치의 세부 블록도,
도 8은 본 발명의 일 실시에에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 제1 예시도,
도 9는 본 발명의 또다른 실시에에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 제2 예시도,
도 10은 본 발명의 또다른 실시에에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 제3 예시도,
도 11은 본 발명의 일 실시예에 따른 전자 장치에서 주변 장치의 이벤트 정보를 가상 환경 컨텐츠와 연동하여 제공하는 예시도,
도 12는 본 발명의 또다른 실시예에 따른 전자 장치에서 주변 장치의 이벤트 정보를 가상 환경 컨텐츠와 연동하여 제공하는 예시도,
도 13은 본 발명의 일 실시예에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 서비스를 제공하기 위한 방법의 흐름도,
도 14는 본 발명의 일 실시예에 따른 전자 장치에서 미등록된 주변 기기 중 가상 효과에 대한 기능 수행이 가능한 주변 기기를 등록하기 위한 방법이 흐름도이다.
본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다. 먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하기 위한 시스템도이다.
도 1에 도시된 바와 같이, 가상 환경 서비스를 제공하기 위한 시스템은 가상 환경 컨텐츠를 재생하는 전자 장치(100) 및 가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공하는 주변 기기(200)를 포함한다.
여기서, 가상 환경 컨텐츠는 파노라마 영상 혹은 360도 어라운드 뷰 영상과 같은 VR(Virtual Reality) 영상 컨텐츠이며, 이 같은 가상 환경 컨텐츠를 재생하는 전자 장치(100)는 VR 디바이스, 스마트폰 및 VR 웨어러블 디바이스 등이 될 수 있다.
가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공하는 주변 기기(200)는 전자 장치(100)와 근거리 통신이 가능하며, 전자 장치(100)의 제어 명령에 따라 동작을 수행하는 IOT(Internet of Things) 기기로써, 예를 들어, 도시된 바와 같은 스마트 에어컨, 스마트 등기구, 리모컨, 스마트 폰, 스마트 카메라, 방향 기기(Aromatic Device) 등이 될 수 있다.
구체적으로, 도시된 바와 같이, 전자 장치(100)는 전자 장치(100)를 착용한 사용자 명령에 따라, 사용자 명령에 대응되는 가상 환경 컨텐츠(10)를 재생한다. 이에 따라, 사용자는 자신이 착용한 전자 장치(100)를 통해 재생되는 가상 환경 컨텐츠(10)를 통해 가상의 환경에서 자동차 경주 게임을 할 수 있다.
한편, 전자 장치(100)는 자동차 경주 게임 관련 가상 환경 컨텐츠(10)에 대한 사용자 명령이 입력되면, 해당 가상 환경 컨텐츠(10)에서 제공하는 가상 효과에 대한 정보에 기초하여 가상 환경 컨텐츠(10)에서 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)를 검색한다.
여기서, 가상 환경 컨텐츠(10)에서 제공하는 가상 효과에 대한 정보는 가상 환경 컨텐츠별로 기설정될 수 있다.
예를 들어, 도시된 바와 같은 가상 환경 컨텐츠(10)는 사막을 배경으로 자동차 경주 게임을 제공하는 컨텐츠가 될 수 있다. 이 경우, 가상 환경 컨텐츠(10)에서 제공하는 가상 효과의 정보는 '열기 효과' 및 '바람 효과'에 대한 정보를 포함할 수 있다.
이 경우, 전자 장치(100)는 기저장된 기기 관리 정보 및 '열기 효과' 및 '바람 효과'에 대한 정보에 기초하여 '열기 효과' 및 '바람 효과'에 대한 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)를 판단한다.
여기서, 기기 관리 정보는 가상 환경 컨텐츠(10)에서 제공하는 가상 효과에 대한 정보, 가상 효과에 대응되는 기능을 제공할 수 있는 기기 정보 및 전자 장치(100)에 기등록된 주변 기기(200)에 대한 정보 중 적어도 두 개가 매핑된 정보이다.
따라서, 전자 장치(100)는 이 같은 기기 관리 정보를 참조하여 '열기 효과' 및 '바람 효과'에 대한 가상 효과에 대응되는 기능 제공이 가능한 주변 기기(200)에 대한 정보가 등록되어 있는지 여부를 판단한다.
판단 결과, '열기 효과' 및 '바람 효과'에 대한 가상 효과와 냉난방 에어컨 관련 주변 기기(200-1)가 매칭된 기기 관리 정보가 기저장된 것으로 판단되면, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠(10)가 재생되는 동안 사용자가 있는 주변에 더운 바람이 불도록 온풍 관련 제어 신호를 냉난방 에어컨 관련 주변 기기(200-1)에 전송한다.
이에 따라, 냉난방 에어컨 관련 주변 기기(200-1)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 온풍 바람을 송출합니다. 따라서, 전자 장치(100)를 통해 자동차 경주 게임을 하는 사용자는 냉난방 에어컨 관련 주변 기기(200-1)를 통해 송출된 온풍 바람을 통해 자동차 경주 게임의 배경과 같이, 사막에서 자동차 경주를 하는 것과 같은 가상 환경을 경험할 수 있다.
도 2는 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하기 위한 절차도이다.
도 2에 도시된 바와 같이, 전자 장치(100)는 사용자로부터 가상 환경 컨텐츠에 대한 재생 명령을 입력받는다(S11). 이 같은 사용자 명령이 입력되면, 전자 장치(100)는 입력된 사용자 명령에 대응되는 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기를 판단 및 가상 환경 컨텐츠를 재생한다(S12).
구체적으로, 전자 장치(100)는 사용자 명령이 입력되면, 기저장된 기기 관리 정보에 기초하여 사용자 명령에 대응되는 가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)를 판단한다.
여기서, 기기 관리 정보는 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 정보, 가상 효과에 대응되는 기능을 제공할 수 있는 기기 정보 및 전자 장치(100)에 기등록된 주변 기기(200)에 대한 정보 중 적어도 두 개가 매핑된 정보이다.
예를 들어, 기기 관리 정보는 아래 [표 1]와 같은 테이블 형태로 매핑되어 저장될 수 있다.
가상 효과에 대한 정보 기기 정보 주변 기기에 대한 정보
음성 효과 제1 기기 신호 패턴 정보 네트워크 스피커
바람 효과 제2 기기 신호 패턴 정보 스마트 에어컨
냄새 효과 제3 기기 신호 패턴 정보 방향 기기(Aromatic Device)
위 [표 1]에서, 음성 효과와 관련하여 매핑된 제1 기기의 신호 패턴 정보는 오디오를 출력하는 주변 기기(200)와 관련하여 기정의된 신호 패턴이 될 수 있다. 그리고, 바람 효과와 매핑된 제2 기기의 신호 패턴 정보는 냉풍 혹은 온풍 바람을 송출하는 주변 기기(200)와 관련하여 기정의된 신호 패턴이 될 수 있다. 그리고, 냄새 효과와 매핑된 제3 기기의 신호 패턴 정보는 방향제를 분사하는 주변 기기(200)와 관련하여 기정의된 신호 패턴이 될 수 있다.
그리고, 음성 효과, 바람 효과, 냄새 효과 각각에 대응하여 매핑된 네트워크 스피커(네트워크에 연결 가능한 스피커), 스마트 에어컨, 방향 기기는 전자 장치(100)에 등록된 주변 기기(200)이다. 이 같은 네트워크 스피커, 스마트 에어컨, 방향 기기 각각은 네트워크 스피커, 스마트 에어컨, 방향 기기별 신호 패턴과 제1 내지 제3 기기별 신호 패턴 정보에 기초하여 제1 내지 제3 기기 각각에 매칭된 효과들과 매핑될 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 위 테이블에서 정의된 기기 정보는 각각의 가상 효과에 대응되는 기능을 제공하는 기기별로 분류된 제1 내지 제3 기기별 식별 정보가 될 수 있다.
이 경우, 제1 기기의 식별 정보와 대응되는 식별 정보를 가지는 네트워크 스피커는 음성 효과와 매핑될 수 있으며, 제2 기기의 식별 정보와 대응되는 식별 정보를 가지는 스마트 에어컨은 바람 효과와 매핑될 수 있으며, 제3 기기의 식별 정보와 대응되는 식별 정보를 가지는 방향 기기는 냄새 효과와 매핑될 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 전자 장치(100)는 사용자 명령에 기초하여 네트워크 스피커, 스마트 에어컨, 방향 기기를 음성 효과, 바람 효과, 냄새 효과 각각에 매핑할 수 있다.
따라서, 전자 장치(100)는 이 같은 기저장된 기기 관리 정보를 참조하여 사용자 명령에 대응되는 가상 환경 컨텐츠에 설정된 가상 효과를 제공할 수 있는 주변 기기(200)가 등록되어 있는지 여부를 판단한다(S13).
판단 결과, 전자 장치(100)는 기등록된 주변 기기(200) 중 제1 주변 기기(200-1)가 사용자 명령에 대응되는 가상 환경 컨텐츠에 설정된 가상 효과에 대응되는 기능을 제공할 수 있는 것으로 판단할 수 있다. 이 경우, 전자 장치(100)는 제1 주변 기기(200-1)와 관련하여 기저장된 기기 정보에 기초하여 가상 효과에 대응되는 기능 수행을 위한 제어 신호를 제1 주변 기기(200-1)로 전송한다(S14). 이에 따라, 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 효과에 대응되는 기능을 수행한다(S15).
한편, 전술한 단계 S13에서 사용자 명령에 대응되는 가상 환경 컨텐츠에 설정된 가상 효과에 대응되는 기능을 제공할 주변 기기(200)가 검색되지 않으면, 전자 장치(100)는 주변 기기 탐색을 위한 탐색 신호를 전송한다(S16). 이때, 전자 장치(100)는 브로드캐스팅 방식으로 탐색 신호를 전송할 수 있다.
이에 따라, 전자 장치(100)와 근거리 통신이 가능한 제2 주변 기기(200-2)는 전자 장치(100)로부터 탐색 신호가 수신되면, 전자 장치(100)로 응답 신호를 전송한다(S16).
응답 신호가 수신되면, 전자 장치(100)는 수신된 응답 신호에 기초하여 제2 주변 기기(200-2)가 사용자 명령에 대응되는 가상 환경 컨텐츠에 설정된 가상 효과에 대응되는 기능을 제공할 기기인지 여부를 판단한다(S18).
예를 들어, 사용자 명령에 대응되는 가상 환경 컨텐츠에 설정된 가상 효과는 바람 효과가 될 수 있다. 이 경우, 전자 장치(100)는 전술한 기기 관련 정보에 대한 테이블을 참조하여 바람 효과와 매핑된 제2 기기에 대한 신호 패턴 정보와 수신된 응답 신호에 포함된 신호 패턴을 비교한다. 비교 결과, 두 신호 패턴이 서로 대응되면, 전자 장치(100)는 제2 주변 기기(200-2)로부터 수신된 응답 신호에 포함된 어드레스 정보에 기초하여 제2 주변 기기(200-2)로 페어링 요청 신호를 전송한다(S19).
그러나, 본 발명은 이에 한정되지 않으며, 전자 장치(100)는 제2 주변 기기(200-2)로부터 응답 신호가 수신되면, 제2 주변 기기(200-2)가 검색되었음을 알리는 알림 메시지를 제공한다. 이후, 전자 장치(100)는 제2 주변 기기(200-2)에 대한 사용자 명령이 입력되면, 응답 신호에 포함된 어드레스 정보에 기초하여 제2 주변 기기(200-2)로 페어링 요청 신호를 전송할 수 있다.
제2 주변 기기(200-2)는 전자 장치(100)로부터 페어링 요청 신호가 수신되면, 전자 장치(100)로 제2 주변 기기(200-2)의 제어 정보를 포함하는 페어링 응답 신호를 전송한다(S20). 이 같은 페어링 응답 신호가 수신되면, 전자 장치(100)는 제2 주변 기기(200-2)를 바람 효과에 대응되는 기능을 수행할 기기로 등록할 수 있다(S21).
즉, 전자 장치(100)는 바람 효과와 제2 주변 기기(200-2)의 제어 정보가 매핑된 기기 관리 정보를 업데이트하여 제2 주변 기기(200-2)를 바람 효과에 대응되는 기능을 수행할 기기로 등록할 수 있다.
이후, 전자 장치(100)는 사용자 명령에 대응되는 가상 환경 컨텐츠가 재생되는 동안 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 수행할 제어 신호를 제2 주변 기기(200-2)로 전송한다. 따라서, 제2 주변 기기(200-2)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 수행할 수 있다.
이하에서는, 주변 기기(200)를 이용하여 가상 환경 서비스를 제공하는 전자 장치(100)의 각 구성에 대해서 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하는 전자 장치의 블록도이다.
도 3에 도시된 바와 같이, 전자 장치(100)는 가상 환경 컨텐츠를 재생하는 장치이다. 여기서, 가상 환경 컨텐츠는 파노라마 영상 혹은 360도 어라운드 뷰 영상과 같은 VR(Virtual Reality) 영상 컨텐츠이며, 이 같은 가상 환경 컨텐츠를 재생하는 전자 장치(100)는 VR 디바이스, 스마트폰 및 VR 웨어러블 디바이스 등이 될 수 있다.
이 같은 전자 장치(100)는 통신부(110), 출력부(120), 제어부(130) 및 저장부(140)를 포함한다.
통신부(110)는 적어도 하나의 주변 기기(200)와 데이터 통신을 수행한다. 이 같은 통신부(110)는 근거리 통신 모듈(111)를 포함하며, 근거리 통신 모듈(111)을 통해 적어도 하나의 주변 기기(200)와 데이터 통신을 수행할 수 있다.
여기서, 근거리 통신 모듈(111)은 근거리에 위치하는 적어도 하나의 주변 기기(200)와 무선 통신을 수행하는 모듈로써, 예를들어, 블루투스(bluetooth)모듈, NFC(Near Field Communication)모듈, 와이파이(WiFi)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.
따라서, 통신부(110)는 근거리 통신 모듈(111)을 통해 적어도 하나의 주변 기기(200)와 페어링을 위한 신호를 송수신하며, 전자 장치(100)에 기등록된 적어도 하나의 주변 기기(200)로 가상 환경 커텐츠에서 제공하는 가상 효과에 대응되는 기능 수행을 위한 제어 신호를 전송할 수 있다.
추가로, 통신부(110)는 무선 통신 모듈(112) 및 커넥터(113)를 더 포함할 수 있다.
무선 통신 모듈(112)은 무선 랜 모듈과 같이, IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 그러나, 본 발명은 이에 한정되지 않으며, 무선 통신 모듈(112)은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈이 될 수 있다.
커넥터(113)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 소스 장치와의 인터페이스를 제공하는 구성이다. 이 같은 커넥터(113)는 후술할 제어부(130)의 제어 명령에 따라 커넥터(113)에 연결된 유선 케이블을 통해 외부 서버(미도시)로부터 전송된 컨텐츠 데이터를 수신하거나, 기저장된 컨텐츠 데이터를 외부 기록 매체로 전송할 수 있다. 또한, 커넥터(113)는 커넥터(113)와 물리적으로 연결된 유선 케이블을 통해 전원 소스로부터 전원을 입력받을 수 있다.
출력부(120)는 사용자 명령에 대응되는 가상 환경 컨텐츠를 출력한다. 이 같은 출력부(120)는 후술할 도 7에 도시된 바와 같이, 디스플레이부(121) 및 오디오 출력부(122)를 포함할 수 있다.
디스플레이부(121)는 가상 환경 컨텐츠에 포함된 영상 데이터를 화면상에 디스플레이하며, 오디오 출력부(122)는 가상 환경 컨텐츠에 포함된 오디오 데이터를 스피커(미도시)를 통해 가청음 형태로 출력한다.
제어부(130)는 전자 장치(100)를 구성하는 구성들에 대한 동작을 전반적으로 제어한다. 특히, 제어부(130)는 사용자 명령에 따라 가상 환경 컨텐츠를 재생하도록 출력부(120)를 제어한다. 또한, 제어부(130)는 가상 환경 컨텐츠가 제공하는 가상 효과에 대한 정보에 기초하여 적어도 하나의 주변 기기(200) 중 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기를 판단한다. 이후, 제어부(130)는 판단된 주변 기기(200)에 가상 효과에 대응되는 제어 신호를 전송하도록 통신부(110)를 제어한다.
저장부(140)는 가상 효과에 대한 정보 및 가상 효과에 대응되는 기능을 제공할 수 있는 기등록된 주변 기기(200)에 대한 정보가 매핑된 기능 지원 기기 정보를 저장한다.
구체적으로, 제어부(130)는 저장부(140)에 저장된 각종 모듈을 통해 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기에 대한 기능 지원 기기 정보를 생성하여 저장부(140)에 저장할 수 있다.
도 4는 본 발명의 일 실시예에 따른 저장부의 세부 블록도이다.
도 4에 도시된 바와 같이, 저장부(140)는 가상 효과 모듈(141), 기능 지원 기기 모듈(142) 및 주변 기기 관리 모듈(143)을 포함한다.
가상 효과 모듈(141)은 가상 환경 서비스 제공과 관련하여 필요한 가상 효과에 대한 정보를 제공하기 위한 모듈이다.
그리고, 기능 지원 기기 모듈(142)은 가상 효과 각각에 대응하는 기능을 제공할 수 있는 기기에 대한 기기 정보를 제공하기 위한 모듈이다.
그리고, 주변 기기 관리 모듈(143)은 가상 효과 각각에 대응하는 기능을 제공하는 주변 기기(200)를 등록 및 제어하기 위한 모듈이다.
따라서, 제어부(130)은 저장부(140)에 기저장된 가상 효과 모듈(141), 기능 지원 기기 모듈(142) 및 주변 기기 관리 모듈(143)을 이용하여 가상 효과 각각에 대응하는 기능 제공이 가능한 주변 기기(200)를 검색 및 등록한다. 이후, 제어부(130)는 가상 효과에 대한 정보 및 해당 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)에 대한 기기 정보가 매핑된 기능 지원 기기 정보를 생성하여 저장부(140)에 저장할 수 있다.
예를 들어, '바람 효과'에 대한 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)는 스마트 에어컨이 될 수 있다. 이 경우, 제어부(130)는 다음과 같은 실시예를 통해 '바람 효과'에 대한 가상 효과와 스마트 에어컨에 대한 주변 기기(200)의 기기 정보가 매핑된 기능 지원 기기 정보를 생성할 수 있다.
구체적으로, 제어부(130)는 전자 장치(100)는 브로드캐스팅 방식으로 주변 기기 탐색을 위한 탐색 신호를 전송하도록 통신부(110)를 제어한다. 이에 따라, 통신부(110)는 근거리 통신 모듈(111)을 통해 브로드캐스팅 방식으로 주변 기기 탐색을 위한 탐색 신호를 전송한다. 이에 따라, 전자 장치(100)와 근거리 통신이 가능한 적어도 하나의 주변 기기(200)는 전자 장치(100)로부터 탐색 신호가 수신되면, 수신된 탐색 신호에 기초하여 전자 장치(100)로 응답 신호를 전송한다.
적어도 하나의 주변 기기(200)로부터 응답 신호가 수신되면, 제어부(130)는 '바람 효과'에 대한 가상 효과에 대응되는 기능 제공이 가능한 기기에 기기 정보에 기초하여 응답 신호를 전송한 주변 기기(200)가 '바람 효과'에 대한 가상 효과 기능 수행이 가능한지 여부를 판단한다.
실시예에 따라, '바람 효과'에 대한 가상 효과에 대응되는 기능 제공이 가능한 기기에 기기 정보는 신호 패턴 정보를 포함할 수 있다. 따라서, 제어부(130)는 '바람 효과'에 대한 가상 효과의 기능 수행이 가능한 기기의 신호 패턴 정보와 수신된 응답 신호에 포함된 신호 패턴이 유사한지 여부를 판단하여 응답 신호를 전송한 주변 기기(200)가 '바람 효과'에 대한 가상 효과 기능 수행이 가능한지 여부를 판단할 수 있다.
판단 결과, '바람 효과'에 대한 가상 효과 기능 수행이 가능한 것으로 판단되면, 제어부(130)는 응답 신호를 전송한 주변 기기(200)로 페어링 요청 신호를 전송하도록 통신부(110)를 제어한다. 이에 따라, 통신부(110)는 응답 신호에 포함된 어드레스 정보에 기초하여 응답 신호를 전송한 주변 기기(200)로 페어링 요청 신호를 전송하며, 페어링 요청 신호를 수신한 주변 기기(200)는 전자 장치(100)로 주변 기기(200)의 동작 제어를 위한 제어 정보를 포함하는 페어링 응답 신호를 전송할 수 있다.
따라서, 제어부(130)는 수신된 페어링 응답 신호에 기초하여 페어링 응답 신호를 전송한 주변 기기(200)의 제어 정보와 '바람 효과'에 대한 가상 효과가 매핑된 기능 지원 기기 정보를 생성하여 저장부(140)에 저장할 수 있다.
이 같은 실시예를 통해 기능 지원 기기 정보가 저장부(140)에 저장되면, 제어부(130)는 저장부(140)에 저장된 기능 지원 기기 정보에 기초하여 가상 환경 서비스를 제공할 수 있다.
구체적으로, 제어부(130)는 가상 환경 컨텐츠 재생을 위한 사용자 명령이 입력되면, 저장부(140)에 기저장된 기기 관리 정보에 기초하여 해당 가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)가 등록되어 있는지 여부를 판단한다.
판단 결과, 주변 기기(200)가 등록된 것으로 판단되면, 제어부(130)는 등록된 주변 기기(200)의 제어 정보에 기초하여 해당 주변 기기(200)로 가상 효과에 대응되는 기능 수행을 위한 제어 신호를 통신부(110)를 해당 주변 기기(200)로 전송한다. 이에 따라, 주변 기기(200)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 사용자 명령에 대응하는 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 수행할 수 있다.
한편, 판단 결과, 주변 기기(200)가 미등록된 것으로 판단되면, 제어부(130)는 주변 기기 탐색을 위한 탐색 신호를 브로드캐스팅 방식으로 전송한다. 이후, 탐색 신호를 수신한 적어도 하나의 주변 기기(200)로부터 응답 신호가 수신되면, 수신된 응답 신호에 기초하여 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)와 페어링을 수행한다. 이 같은 미등록된 주변 기기(200)와 페어링을 수행하는 동작은 상기에서 상세히 설명하였으므로, 이하에서는 상세한 설명을 생략하도록 한다.
한편, 전술한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 정보는 가상 환경 컨텐츠를 구성하는 프레임별로 매핑될 수 있다.
이 경우, 제어부(130)는 가상 환경 컨텐츠를 재생 시, 가상 환경 컨텐츠에 대한 프레임별 가상 효과에 대한 정보에 기초하여 프레임별 가상 효과에 대응되는 기능을 수행할 수 있는 주변 기기(200)로 제어 신호를 전송하도록 통신부(110)를 제어할 수 있다.
예를 들어, 가상 환경 컨텐츠를 구성하는 복수의 프레임 중 제1 프레임과 관련하여 제1 가상 효과에 대한 정보가 설정될 수 있으며, 제2 프레임과 관련하여 제2 가상 효과에 대한 정보가 설정될 수 있다. 그리고, 제1 주변 기기(200-1)는 제1 가상 효과에 대응되는 기능을 제공할 수 있는 기기이며, 제2 주변 기기(200-2)는 제2 가상 효과에 대응되는 기능을 제공할 수 있는 기기가 될 수 있다.
한편, 제1 및 제2 프레임은 하나의 프레임이거나 복수의 프레임이 될 수 있다.
이 경우, 제어부(130)는 제1 프레임의 컨텐츠가 출력되는 타이밍에 제1 주변 기기(200-1)로 제1 프레임에 설정된 제1 가상 효과에 대응되는 기능을 제공하기 위한 제어 신호를 전송하도록 통신부(110)를 제어한다. 그리고, 제어부(130)는 제2 프레임이 컨텐츠가 출력되는 타이밍에 제2 주변 기기(200-2)로 제2 프레임에 설정된 제2 가상 효과에 대응되는 기능을 제공하기 위한 제어 신호를 전송하도록 통신부(110)를 제어한다.
이에 따라, 통신부(110)는 근거리 통신 모듈(111)을 통해 제1 주변 기기(200-1)로 제1 프레임에 설정된 제1 가상 효과에 대응되는 기능을 제공하기 위한 제어 신호를 전송하며, 제2 주변 기기(200-2)로 제2 프레임에 설정된 제2 가상 효과에 대응되는 기능을 제공하기 위한 제어 신호를 전송한다.
이에 따라, 제1 주변 기기(200-1)는 제1 프레임의 컨텐츠가 출력되는 타이밍에 제1 프레임에 설정된 제1 가상 효과에 대응되는 동작을 수행하며, 제2 주변 기기(200-2)는 제2 프레임의 컨텐츠가 출력되는 타이밍에 제2 프레임에 설정된 제2 가상 효과에 대응되는 동작을 수행할 수 있다.
본 발명의 추가적인 양상에 따라, 제어부(130)는 가상 환경 컨텐츠에 대한 재생 명령 시, 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스 제공을 위한 사용자 UI를 디스플레이하도록 출력부(120)를 제어한다. 이에 따라, 출력부(120)는 디스플레이부(121)는 통해 사용자 UI를 디스플레이할 수 있다.
도 5는 본 발명의 일 실시예에 따른 가상 효과에 대한 서비스 제공 여부를 선택하기 위한 제1 사용자 UI를 나타내는 예시도이며, 도 6은 본 발명의 일 실시예에 따른 가상 효과를 선택하기 위한 제2 사용자 UI를 나타내는 예시도이다.
도 5에 도시된 바와 같이, 제어부(130)는 가상 환경 컨텐츠에 대한 재생 명령 시, 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 정보가 설정되어 있는지 여부를 판단한다. 판단 결과, 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 정보가 설정되어 있으면, 제어부(130)는 가상 효과 모드 사용 여부를 선택하기 위한 제1 사용자 UI(510)를 디스플레이하도록 출력부(120)를 제어한다. 이에 따라, 출력부(120)는 디스플레이부(121)를 통해 가상 효과 모드 사용 여부를 선택하기 위한 제1 사용자 UI(510)를 디스플레이한다.
이 같은 제1 사용자 UI(510)가 디스플레이된 상태에서 '예'라는 제1 아이콘(511)이 선택되면, 제어부(130)는 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공한다. 한편, 제1 사용자 UI(510)가 디스플레이된 상태에서 '아니오'라는 제2 아이콘(512)이 선택되면, 제어부(130)는 가상 효과에 대한 서비스를 제공하지 않고, 사용자가 요청한 가상 환경 컨텐츠만을 재생할 수 있다.
한편, 제1 사용자 UI(510)가 디스플레이된 상태에서 '예'라는 제1 아이콘(511)이 선택되면, 도 6에 도시된 바와 같이, 제어부(130)는 가상 효과를 선택하기 위한 제2 사용자 UI(610)를 디스플레이하도록 출력부(120)를 제어한다.
즉, 제어부(130)는 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스 이용 관련 사용자 명령이 입력되면, 해당 가상 환경 컨텐츠에 설정된 가상 효과에 대한 정보에 기초하여 해당 가상 환경 컨텐츠에서 제공하는 가상 효과를 선택한다. 이후, 제어부(130)는 가상 환경 컨텐츠에서 제공하는 모든 가상 효과에 대한 선택 및 가상 효과 각각을 선택할 수 있는 아이콘을 포함하는 제2 사용자 UI(610)를 생성할 수 있다.
예를 들어, 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 정보는 음성 효과, 바람 효과, 진동 효과 및 열기 효과를 포함할 수 있다. 이 경우, 제어부(130)는 가상 환경 컨텐츠에서 제공하는 모든 가상 효과를 선택하기 위한 제1 아이콘(611)와, 음성 효과, 바람 효과, 진동 효과 및 열기 효과 각각을 선택하기 위한 제2 내지 제5 아이콘(612~615)를 포함하는 제2 사용자 UI(610)를 생성할 수 있다.
이 같은 제2 사용자 UI(610)가 디스플레이부(121)를 통해 디스플레이되면, 사용자는 화면상에 디스플레이된 제2 사용자 UI(610)를 통해 자신이 원하는 가상 효과만을 선택할 수 있다. 예를 들어, 전체 효과에 대한 제1 아이콘(611)이 선택되면, 제어부(130)는 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 모든 가상 효과에 대한 서비스를 제공할 수 있다.
한편, 음성 효과에 대한 제2 아이콘(612)과 진동 효과에 대한 제4 아이콘(614)이 선택되면, 제어부(130)는 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과 중 음성 효과 및 진동 효과에 대한 서비스만을 제공할 수 있다.
본 발명의 추가적인 양상에 따라, 제어부(130)는 가상 환경 컨텐츠를 재생하고 있는 상태에서, 기등록된 복수의 주변 기기(200) 중 사용자에 의해 설정된 주변 기기(200)로부터 이벤트 정보가 수신되면, 수신된 이벤트 정보를 재생 중인 가상 환경 컨텐츠와 관련된 영상 이미지로 변환하고, 변환된 영상 이미지를 재생 중인 가상 환경 컨텐츠에 합성하여 출력하도록 출력부(120)를 제어한다. 이에 따라, 출력부(120)는 디스플레이부(121)를 통해 이벤트 정보와 관련하여 변환된 영상 이미지가 합성된 가상 환경 컨텐츠를 디스플레이할 수 있다.
본 발명의 추가적인 양상에 따라, 제어부(130)는 전자 장치(100)에서 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능한지 여부에 따라, 가상 환경 컨텐츠에서 제공ㅎ는 가상 효과에 대응되는 기능을 수행할 주변 기기(200)로 제어 신호를 전송할 수 있다.
예를 들어, 가상 환경 컨텐츠에서 제공하는 가상 효과는 음성 효과가 될 수 있다. 이 경우, 제어부(130)는 전자 장치(100)에서 음성 효과에 대응되는 기능을 수행할 수 있는지 여부를 판단한다. 판단 결과, 수행 가능하면, 제어부(130)는 전자 장치(100) 내에 포함된 오디오 출력부(122)를 통해 가상 환경 컨텐츠에 포함된 오디오 데이터를 출력할 수 있다.
한편, 전자 장치(100)에서 음성 효과에 대응되는 기능 수행이 불가능하면, 제어부(130)는 기등록된 주변 기기(200) 중 오디오 출력이 가능한 제1 주변 기기(200-1)로 가상 환경 컨텐츠에 포함된 오디오 데이터를 전송하도록 통신부(110)를 제어할 수 있다. 이에 따라, 통신부(110)는 근거리 통신 모듈(111)을 통해 오디오 출력이 가능한 제1 주변 기기(200-1)로 오디오 데이터를 전송하며, 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 오디오 데이터를 가청음 형태로 출력할 수 있다.
이하에서는, 본 발명에 따른 전자 장치(100)의 세부 구성에 대해서 상세히 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하는 전자 장치의 세부 블록도이다.
전술한 바와 같이, 전자 장치(100)는 통신부(110), 출력부(120), 제어부(130) 및 저장부(140) 구성 외에 입력부(150), 촬영부(160) 및 감지부(170)를 더 포함할 수 있다.
입력부(150)는 다양한 사용자 명령을 입력받아 제어부(130)로 전달하기 위한 입력 수단으로써, 마이크(151), 조작부(152), 터치 입력부(153) 및 사용자 입력부(154)를 포함할 수 있다.
마이크(151)는 사용자의 음성 명령을 입력받으며, 조작부(152)는 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현될 수 있다. 그리고, 터치 입력부(153)는 전술한 디스플레이부(121)과 상호 레어어 구조를 이루는 터치 패드로 구현될 수 있다. 이 경우, 터치 입력부(154)는 디스플레이부(121)를 통해 디스플레이된 다양한 어플리케이션 관련 아이콘에 대한 선택 명령을 입력받을 수 있다.
사용자 입력부(154)는 원격 제어 장치와 같은 적어도 하나의 주변 기기(200)로부터 전자 장치(100)의 동작을 제어하기 위한 IR 신호 혹은 RF 신호를 입력받을 수 있다.
촬영부(160)는 주변 환경에 대한 영상을 촬영하며, 감지부(170)는 전자 장치(100)의 움직임 및 전자 장치(100)를 착용한 사용자의 동공의 움직임을 감지한다. 실시예에 따라, 감지부(170)는 전자 장치(100)의 움직임을 감지하는 움직임 센서(171), 사용자의 동공 추적이 가능한 동공 추적 센서(172), 지자기 센서(173), 중력 센서(174), 자이로 센서(175) 중 적어도 하나를 포함할 수 있다.
움직임 센서(171)는 이동하는 전자 장치(100)의 가속도나 충격의 세기를 측정하는 가속도 센서(Accelerometer Sensor)가 될 수 있다.
동공 추적 센서(172)는 사용자의 안구에 근접한 곳에 위치하여, 사용자의 동공을 촬영하면서 사용자의 시선 변화를 감지하는 센서이다. 따라서, 제어부(130)는 동공 추적 센서(172)를 통해 감지된 감지 정보에 기초하여 디스플레이된 가상 환경 컨텐츠의 영상 중 사용자가 응시하는 영역을 판단하고, 판단된 영역의 영상으로 영상 전환을 수행할 수 있다.
지자기 센서(Magnetic Sensor)(173)는 지구 자기장을 이용하여 방위각을 탐지할 수 있는 전자 나침판으로써, 위치 추적, 3D 영상 게임 등에 사용되거나, 스마트 폰, 무전기, GPS, PDA, 네비게이션 항법 장치 등에 사용되는 센서이다.
중력 센서(Gravity Sensor)(174)는 중력이 어느 방향으로 작용하는지 탐지하는 센서로써, 디스플레이 장치(100)의 이동 방향에 따라 자동으로 회전하여 방향을 감지하는데 이용되는 센서이다.
자이로 센서(Gyroscope Sensor)(175)는 기존의 움직임 센서(171)에 각각 회전을 넣어 6축 방향을 인식하여 하여 좀더 세밀하고 정밀한 동작을 인식할 수 있도록 도와주는 센서이다.
한편, 본 발명에서는 감지부(170)는 전술한 구성 외에 사물이 다른 사물에 접촉되기 이전에 근접하였는지 여부를 결정하는데 이용되는 근접 센서(미도시), 수광을 빛을 감지하여 전기적인 신호로 변환하는 광 센서(미도시) 등을 더 포함할 수 있다.
한편, 전술한 바와 같이, 기기 관리 정보 및 관련 모듈을 저장하는 저장부(140)는 외부 서버(미도시)로부터 수신된 가상 환경 컨텐츠의 영상 및 오디오 데이터를 더 저장할 수 있다. 뿐만 아니라, 저장부(140)는 전자 장치(100)의 동작을 제어하기 위한 운용 프로그램을 더 저장할 수 있다. 여기서, 운용 프로그램은 전자 장치(100)가 턴 온(Turn On)되는 경우, 저장부(140)에서 읽혀지고, 컴파일되어 전자 장치(100)의 각 구성을 동작시키는 프로그램이 될 수 있다.
한편, 전술한 제어부(130)는 RAM(131), ROM(132), CPU(133) 및 GPU(134)를 더 포함할 수 있으며, RAM(131), ROM(132), CPU(133) 및 GPU(134)는 버스(135)를 통해 서로 연결될 수 있다.
CPU(133)는 저장부(140)를 액세스하여, 저장부(140)에 저장된 OS를 이용하여 부팅을 수행한다. 또한 CPU(133)는 저장부(140)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
GPU(134)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 디스플레이 화면을 생성한다. 구체적으로, GPU(134)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하고, 연상된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 디스플레이 화면을 생성한다.
ROM(131)은 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(133)는 ROM(131)에 저장된 명령어에 따라 저장부(140)에 저장된 OS를 RAM(124)에 복사하고, OS를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(133)는 저장부(140)에 저장된 각종 프로그램을 RAM(132)에 복사하고, RAM(132)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
이 같은 제어부(130)는 전술한 각 구성들과 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다.
한편, 상술한 제어부(130)의 동작은 저장부(140)에 저장된 프로그램에 의해 이루어질 수 있다. 여기서, 저장부(140)는 ROM(131), RAM(132) 또는 전자 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.
이하에서는, 본 발명에 따른 전자 장치(100)에서 주변 기기(200)를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 동작에 대해서 보다 구체적으로 설명하도록 한다.
도 8은 본 발명의 일 실시에에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 제1 예시도이다.
도 8에 도시된 바와 같이, 전자 장치(100)를 착용한 사용자는 자동차 경주 게임 관련 가상 환경 컨텐츠(810)에 대한 재생 명령을 할 수 있다. 이 같은 재생 명령에 따라, 전자 장치(100)는 사용자가 요청한 자동차 경주 게임 관련 가상 환경 컨텐츠(810)를 재생할 수 있다. 한편, 전자 장치(100)는 가상 환경 컨텐츠(810)에 앞서, 가상 환경 컨텐츠(810)에서 제공하는 가상 효과에 대한 정보가 포함되어 있는지 여부를 판단한다.
판단 결과, 가상 환경 컨텐츠(810)에서 제공하는 가상 효과의 정보는 '열기 효과', '바람 효과' 및 '음성 효과'에 대한 정보를 포함할 수 있다.
이 경우, 전자 장치(100)는 기저장된 기기 관리 정보 및 '열기 효과', '바람 효과' 및 '음성 효과'에 대한 정보에 기초하여 '열기 효과', '바람 효과' 및 '음성 효과'에 대한 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)를 판단한다.
도시된 바와 같이, 기등록된 주변 기기(200) 중 냉난방 에어컨 관련 제1 주변 기기(200-1)는 '열기 효과' 및 '바람 효과'에 대한 기능을 제공할 수 있는 기기며, 스마트 이어폰 관련 제2 주변 기기(200-2)는 '음성 효과'에 대한 기능을 제공할 수 있는 기기로 판단될 수 있다.
이 같이, 제1 및 제2 주변 기기(200-1,200-2)가 가상 환경 컨텐츠(810)에서 제공하는 가상 효과에 대한 기능을 제공할 수 있는 기기로 판단되면, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠(810)가 재생되는 동안 사용자가 있는 주변에 더운 바람이 불도록 제1 주변 기기(200-1)로 온풍 관련 제어 신호를 전송한다.
이에 따라, 냉난방 에어컨 관련 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 환경 컨텐츠(810)가 재생되는 동안 온풍 바람을 송출합니다. 또한, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠(810)에 포함된 오디오 데이터를 제2 주변 기기(200-2)로 전송한다. 이에 따라, 스마트 이어폰 관련 제2 주변 기기(200-2)는 수신된 오디오 데이터에 기초하여 가상 환경 컨텐츠(810)에 대한 오디오를 출력할 수 있다
따라서, 전자 장치(100)를 통해 자동차 경주 게임을 하는 사용자는 제2 주변 기기(200-2)에서 출력되는 오디오 및 제1 주변 기기(200-1)에서 송출된 온풍 바람을 통해 사막에서 자동차 경주를 하는 것과 같은 가상 환경을 경험할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 도 5 및 도 6에서 설명한 바와 같이, 전자 장치(100)는 가상 환경 컨텐츠(810)에서 제공하는 복수의 가상 효과 중 사용자에 의해 선택된 가상 효과에 대한 서비스를 제공할 수 있다.
전술한 예와 같이, 가상 환경 컨텐츠(810)에서 제공하는 가상 효과의 정보는 '열기 효과', '바람 효과' 및 '음성 효과'에 대한 정보를 포함할 수 있으며, 이 중 '열기 효과' 및 '바람 효과'에 대한 정보가 선택될 수 있다.
이 경우, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠(810)가 재생되는 동안 사용자가 있는 주변에 더운 바람이 불도록 제1 주변 기기(200-1)로 온풍 관련 제어 신호를 전송한다. 이에 따라, 냉난방 에어컨 관련 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 온풍 바람을 송출한다. 따랏, 전자 장치(100)를 통해 자동차 경주 게임을 하는 사용자는 제1 주변 기기(200-1)에서 송출된 온풍 바람을 통해 사막에서 자동차 경주를 하는 것과 같은 가상 환경을 경험할 수 있다.
도 9는 본 발명의 또다른 실시에에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 제2 예시도이다.
도 9에 도시된 바와 같이, 전자 장치(100)를 착용한 사용자는 자동차 경주 게임 관련 가상 환경 컨텐츠(910)에 대한 재생 명령을 할 수 있다. 이 같은 재생 명령에 따라, 전자 장치(100)는 사용자가 요청한 자동차 경주 게임 관련 가상 환경 컨텐츠(910)를 재생할 수 있다. 한편, 전자 장치(100)는 가상 환경 컨텐츠(910)에 앞서, 가상 환경 컨텐츠(910)에서 제공하는 가상 효과에 대한 정보가 포함되어 있는지 여부를 판단한다.
판단 결과, 가상 환경 컨텐츠(910)에서 제공하는 가상 효과의 정보는 '열기 효과', '바람 효과', '음성 효과' 및 '진동 효과'에 대한 정보를 포함할 수 있다. 구체적으로, 가상 환경 컨텐츠(910)를 구성하는 복수의 프레임 중 제1 프레임의 영상(911)과 관련하여 '열기 효과', '바람 효과' 및 '음성 효과'에 대한 정보가 포함될 수 있다. 그리고, 제2 프레임의 영상(912)과 관련하여 '열기 효과', '바람 효과', '음성 효과' 및 '진동 효과'에 대한 정보가 포함될 수 있다. 여기서, 제1 및 제2 프레임은 단일 프레임이거나 복수의 프레임으로 이루어진 프레임이 될 수 있다.
이 경우, 전자 장치(100)는 기저장된 기기 관리 정보 및 '열기 효과', '바람 효과', '음성 효과' 및 '진동 효과'에 대한 정보에 기초하여 '열기 효과', '바람 효과', '음성 효과' 및 '진동 효과'에 대한 기능을 제공할 수 있는 주변 기기(200)를 판단한다.
도시된 바와 같이, 기등록된 주변 기기(200) 중 냉난방 에어컨 관련 제1 주변 기기(200-1)는 '열기 효과' 및 '바람 효과'에 대한 기능을 제공하는 기기이고, 스마트 이어폰 관련 제2 주변 기기(200-2)는 '음성 효과'에 대한 기능을 제공하는 기기이며, 안마 의자 관련 제3 주변 기기(200-3)는 '진동 효과'에 대한 기능을 제공할 수 있는 기기로 판단될 수 있다.
이후, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠(910)의 제1 프레임의 영상(911)이 재생되는 동안 사용자가 있는 주변에 더운 바람이 불도록 제1 주변 기기(200-1)로 온풍 관련 제어 신호를 전송하고, 제1 프레임의 영상(911)이 재생되는 동안 제1 프레임의 오디오가 출력되도록 제1 프레임에 대한 오디오 데이터를 제2 주변 기기(200-2)로 전송한다.
이에 따라, 냉난방 에어컨 관련 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 환경 컨텐츠(910)의 제1 프레임의 영상(911)이 재생되는 동안 온풍 바람을 송출하고, 스마트 이어폰 관련 제2 주변 기기(200-2)는 수신된 오디오 데이터에 기초하여 가상 환경 컨텐츠(910)의 제1 프레임에 대한 오디오를 출력할 수 있다.
한편, 전자 장치(100)는 가상 환경 컨텐츠에 포함된 제2 프레임의 영상(912)이 재생되는 구간 동안 사용자가 있는 주변에 더운 바람이 불도록 제1 주변 기기(200-1)로 온풍 관련 제어 신호를 전송하고, 제2 프레임의 영상(912)이 재생되는 동안 제2 프레임의 오디오가 출력되도록 제2 프레임에 대한 오디오 데이터를 제2 주변 기기(200-2)로 전송한다. 추가적으로, 전자 장치(100)는 전자 장치(100)는 제2 프레임의 영상(912)이 재생되는 구간 동안 안마 기능을 수행하도록 제3 주변 기기(200-3)로 안마 동작 관련 제어 신호를 전송한다.
이에 따라, 냉난방 에어컨 관련 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 환경 컨텐츠(910)의 제2 프레임의 영상(912)이 재생되는 동안 온풍 바람을 송출하고, 스마트 이어폰 관련 제2 주변 기기(200-2)는 수신된 오디오 데이터에 기초하여 제2 프레임의 영상(912)이 재생되는 동안 제2 프레임에 대한 오디오를 출력할 수 있다. 또한, 안마 기기 관련 제3 주변 기기(200-3)는 가상 환경 컨텐츠(910)의 제2 프레임의 영상(912)이 재생되는 동안 안마 기능을 수행할 수 있다.
따라서, 전자 장치(100)를 통해 자동차 경주 게임을 하는 사용자는 제2 주변 기기(200-2)에서 출력되는 오디오 및 제1 주변 기기(200-1)에서 송출된 온풍 바람을 통해 사막에서 자동차 경주를 하는 것과 같은 가상 환경을 경험할 수 있다.
뿐만 아니라, 전자 장치(100)를 통해 자동차 경주 게임을 하는 사용자는 제3 주변 기기(200-3)에서 수행되는 안마 동작에 의해 사막의 비포장 도로에서 자동차 경주를 하는 것과 같은 가상 환경을 경험할 수 있다.
도 10은 본 발명의 또다른 실시에에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 제3 예시도이다.
도 10에 도시된 바와 같이, 전자 장치(100)는 사용자 명령에 따라 공원 배경의 가상 환경 컨텐츠(1010)를 재생할 수 있다. 한편, 전자 장치(100)는 가상 환경 컨텐츠(1010)에 앞서, 가상 환경 컨텐츠(1010)에서 제공하는 가상 효과에 대한 정보가 포함되어 있는지 여부를 판단한다.
판단 결과, 가상 환경 컨텐츠(1010)에서 제공하는 가상 효과의 정보는 '음성 효과' 및 '냄새 효과'에 대한 정보를 포함할 수 있다.
이 경우, 전자 장치(100)는 기저장된 기기 관리 정보와, '음성 효과' 및 '냄새 효과'에 대한 정보에 기초하여 '음성 효과' 및 '냄새 효과'에 대한 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)를 판단한다.
도시된 바와 같이, 기등록된 주변 기기(200) 중 스마트 이어폰 관련 제1 주변 기기(200-1)는 '음성 효과'에 대한 기능을 제공할 수 있는 기기이며, 방향 기기 관련 제2 주변 기기(200-2)는 '냄새 효과'에 대한 기능을 제공할 수 있는 기기로 판단될 수 있다.
이 같이, 제1 및 제2 주변 기기(200-1,200-2)가 가상 환경 컨텐츠(1010)에서 제공하는 가상 효과에 대한 기능을 제공할 수 있는 기기로 판단되면, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠(1010)가 재생되는 동안 가상 환경 컨텐츠(1010)에 포함된 오디오 데이터를 제1 주변 기기(200-1)로 전송한다. 또한, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠(1010)가 재생되는 동안 사용자가 있는 주변에 꽃향기가 나도록 제2 주변 기기(200-2)로 방향 기기 동작 관련 제어 신호를 전송한다.
이에 따라, 스마트 이어폰 관련 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 오디오 데이터에 기초하여 가상 환경 컨텐츠(1010)에 대한 오디오를 출력할 수 있다. 또한, 방향 기기 관련 제2 주변 기기(200-2)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 환경 컨텐츠(1010)가 재생되는 동안 방향 기기의 노즐을 통해 내부의 방향제를 외부로 분사시킬 수 있다.
이에 따라, 전자 장치(100)를 통해 공원 배경을 영상을 시청하는 사용자는 제1 및 주변 기기(200-1)에서 출력된 오디오 및 제2 주변 기기(200-2)에서 분사된 방향제를 통해 꽃이 만개한 공원을 산책하는 것과 같은 가상 환경을 경험할 수 있다.
도 11은 본 발명의 일 실시예에 따른 전자 장치에서 주변 장치의 이벤트 정보를 가상 환경 컨텐츠와 연동하여 제공하는 예시도이다.
도 11에 도시된 바와 같이, 전자 장치(100)는 사용자 명령에 대응하는 가상 환경 컨텐츠(1110)를 재생할 수 있다. 따라서, 전자 장치(100)를 착용한 사용자는 전자 장치(100)에 의해 재생되는 가상 환경 컨텐츠(1110)로부터 가상 환경을 체험할 수 있다.
한편, 사용자는 전자 장치(100)에 등록된 복수의 주변 기기(200) 중 스마트 폰인 제1 주변 기기(200-1)를 가상 환경 컨텐츠와 연동할 기기로 선택할 수 있다.
이 같이, 제1 주변 기기(200-1)가 가상 환경 컨텐츠와 연동할 기기로 선택되면, 선택된 제1 주변 기기(200-1)는 이벤트가 발생할 경우, 발생된 이벤트 정보를 전자 장치(100)로 전송한다.
예를 들어, 제1 주변 기기(200-1)는 또다른 주변 기기(200)로부터 전송된 문자 메시지를 수신할 수 있다. 이 같은 문자 메시지 관련 이벤트가 발생하면, 제1 주변 기기(200-1)는 수신된 문자 메시지를 포함하는 이벤트 정보를 전자 장치(100)로 전송한다.
가상 환경 컨텐츠(1110)를 재생 중인 전자 장치(100)는 제1 주변 기기(200-1)로부터 이벤트 정보가 수신되면, 재생 중인 가상 환경 컨텐츠(1110)를 고려하여 수신된 이벤트 정보에 포함된 문자 메시지를 제공할 영상 이미지를 생성하고, 생성된 영상 메시지를 재생 중인 가상 환경 컨텐츠(1110)의 영상 데이터에 합성하여 디스플레이할 수 있다.
도시된 바와 같이, 전자 장치(100)는 사용자가 특정 지역을 관광하는 가상 환경을 경험할 수 있는 가상 환경 컨텐츠(1110)를 재생할 수 있다. 이 같은 가상 환경 컨텐츠(1110)를 재생하는 동안 제1 주변 기기(200-1)로부터 문자 메시지를 포함하는 이벤트 정보가 수신되면, 전자 장치(100)는 가상 환경 컨텐츠(1110)의 영상 데이터에 수신된 이벤트 정보에 포함된 문자 메시지가 표시된 스마트 폰 관련 영상 이미지(1111)를 합성하여 디스플레이한다.
이에 따라, 전자 장치(100)를 착용한 사용자는 전자 장치(100)를 통해 재생 중인 가상 환경 컨테츠(1110)에 합성된 스마트 폰 관련 영상 이미지(1111)를 통해 자신이 특정 지역을 관광하는 가상 환경 및 특정 지역을 관광하는 중에 자신의 스마트 폰으로 문자 메시지가 수신되는 가상 환경을 경험할 수 있다.
도 12는 본 발명의 또다른 실시예에 따른 전자 장치에서 주변 장치의 이벤트 정보를 가상 환경 컨텐츠와 연동하여 제공하는 예시도이다.
도 12에 도시된 바와 같이, 전자 장치(100)는 자동차 경주 게임 관련 가상 환경 컨텐츠(1210)에 대한 재생 명령에 따라, 가상 환경 컨텐츠(1210)에서 제공하는 가상 효과에 대한 정보가 포함되어 있는지 여부를 판단한다.
판단 결과, 전자 장치(100)는 가상 환경 컨텐츠(1210)에서 제공하는 가상 효과의 정보는 '냉기 효과' 및 '바람 효과'에 대한 정보를 포함하며, 냉난방 에어컨 관련 제1 주변 기기(200-1)가 '냉기 효과' 및 '바람 효과'에 대한 기능을 제공할 수 있는 것으로 판단할 수 있다.
이후, 전자 장치(100)는 가상 환경 컨텐츠(1210)가 재생되는 동안 사용자가 있는 주변에 차가운 바람이 불도록 제1 주변 기기(200-1)로 냉풍 관련 제어 신호를 전송한다.
이에 따라, 냉난방 에어컨 관련 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 환경 컨텐츠(1210)가 재생되는 동안 냉풍 바람을 송출한다. 추가로, 제1 주변 기기(200-1)는 제1 주변 기기(200-1)에 설정된 설정 온도를 포함하는 이벤트 정보를 전자 장치(100)로 전송한다.
가상 환경 컨텐츠(1210)를 재생 중인 전자 장치(100)는 제1 주변 기기(200-1)로부터 이벤트 정보가 수신되면, 재생 중인 가상 환경 컨텐츠(1210)를 고려하여 수신된 이벤트 정보에 포함된 설정 온도를 제공할 영상 이미지를 생성하고, 생성된 영상 메시지를 재생 중인 가상 환경 컨텐츠(1210)의 영상 데이터에 합성하여 디스플레이할 수 있다.
도시된 바와 같이, 전자 장치(100)는 사용자가 자동차 경주를 하는 가상 환경을 경험할 수 있는 가상 환경 컨텐츠(1210)를 재생할 수 있다. 이 같은 가상 환경 컨텐츠(1210)를 재생하는 동안 제1 주변 기기(200-1)로부터 설정 온도가 포함 이벤트 정보가 수신되면, 전자 장치(100)는 가상 환경에서 사용자가 운전하는 자동차의 디스플레이 화면상에 설정 온도에 대한 영상 이미지(1211)를 합성하여 재생한다.
이에 따라, 전자 장치(100)를 착용한 사용자는 전자 장치(100)를 통해 자동차 경주를 하는 가상 환경상에서 자신이 운전하는 자동차의 디스플레이 화면을 통해 제1 주변 기기(200-1)에 설정된 설정 온도를 확인할 수 있다.
이하에서는, 본 발명에 따른 전자 장치(100)에서 주변 기기(200)를 이용하여 가상 환경 서비스를 제공하는 방법에 대해서 상세히 설명하도록 한다.
도 13은 본 발명의 일 실시예에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 서비스를 제공하기 위한 방법의 흐름도이다.
도 13에 도시된 바와 같이, 전자 장치(100)는 사용자 명령에 따라, 가상 환경 컨텐츠를 재생한다(S1310). 이후, 전자 장치(100)는 가상 환경 컨텐츠가 제공하는 가상 효과에 대한 정보에 기초하여 적어도 하나의 주변 기기 중 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)를 판단한다(S1320).
여기서, 가상 효과에 대한 정보는 음성 효과, 바람 효과, 진동 효과, 냉기 효과, 열기 효과 및 냄새 효과 중 적어도 하나를 포함할 수 있다.
판단 결과, 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)가 존재하면, 전자 장치(100)는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)로 가상 효과에 대응되는 제어 신호를 전송한다(S1330,S1340).
구체적으로, 전자 장치(100)는 기저장된 기능 지원 기기 정보에 기초하여 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)가 존재하는지 여부를 판단할 수 있다. 여기서, 기능 지원 기기 정보는 가상 효과에 대한 정보 및 가상 효과에 대응되는 기능을 제공할 수 있는 기등록된 주변 기기(200)에 대한 정보가 매핑된 정보가 될 수 있다.
따라서, 전자 장치(100)는 기저장된 기능 지원 기기 정보에 기초하여 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)가 등록되어 있는지 여부를 판단한다. 판단 결과, 해당 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)가 등록된 것으로 판단되면, 전자 장치(100)는 등록된 주변 기기(200)로 가상 효과에 대응되는 기능을 수행하기 위한 제어 신호를 전송한다.
한편, 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 정보는 가상 환경 컨텐츠를 구성하는 프레임별로 매핑되어 저장될 수 있다. 이 경우, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠를 재생 시, 재생할 가상 환경 컨텐츠에 대한 프레임별 가상 효과에 대한 정보에 기초하여 프레임별 가상 효과에 대응되는 기능ㅇ르 제공할 수 있는 주변 기기(200)로 제어 신호를 전송할 수 있다.
이에 따라, 주변 기기(200)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 효과에 대응되는 기능 동작을 수행할 수 있다.
한편, 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)가 미등록되어 있는 것으로 판단되면, 전자 장치(100)는 미등록된 주변 기기(200) 중 가상 효과에 대응되는 기능 제공이 가능한 주변 기기(200)를 검색하여 등록한다(S1350).
한편, 전술한 단계 S1310에서 전자 장치(100)는 가상 환경 컨텐츠에 대한 재생 명령 시, 재생 명령에 대응되는 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스 제공을 위한 사용자 UI를 디스플레이할 수 있다. 따라서, 사용자는 화면상에 디스플레이된 사용자 UI를 통해 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공 받을지 여부를 선택할 수 있다.
따라서, 전자 장치(100)는 가상 효과에 대한 서비스를 제공받기 위한 사용자 명령이 입력되면, 전자 장치(100)는 전술한 일련의 동작을 수행하여 사용자가 요청한 가상 환경 컨텐츠에서 제공 가능한 가상 효과에 대한 서비스를 제공할 수 있다.
또한, 전자 장치(100)는 전술한 단계 S1320에서 가상 효과에 대응되는 기능 제공이 가능한 주변 기기(200)가 등록되어 있는지 여부를 판단하기에 앞서, 전자 장치(100)에서 해당 가상 효과에 대응되는 기능 수행이 가능한지 여부를 판단할 수 있다. 판단 결과, 전자 장치(100)에서 가상 효과에 대응되는 기능 수행이 가능하면, 전자 장치(100)는 가상 효과에 대응되는 기능을 수행할 수 있다.
본 발명의 추가적인 양상에 따라, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠를 재생하고 있는 상태에서, 기등록된 복수의 주변 기기(200) 중 사용자에 의해 설정된 주변 기기(200)로부터 이벤트 정보가 수신되면, 수신된 이벤트 정보를 재생 중인 가상 환경 컨텐츠와 관련된 정보로 변환하여 재생할 수 있다.
이하에서는, 미등록된 주변 기기(200) 중 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 기능 수행이 가능한 주변 기기(200)를 등록하는 방법에 대해서 상세히 설명하도록 한다.
도 14는 본 발명의 일 실시예에 따른 전자 장치에서 미등록된 주변 기기 중 가상 효과에 대한 기능 수행이 가능한 주변 기기를 등록하기 위한 방법이 흐름도이다.
도 14에 도시된 바와 같이, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)가 존재하지 않는 것으로 판단되면, 주변 기기 탐색을 위한 탐색 신호를 전송한다(S1410). 이때, 전자 장치(100)는 주변 기기 탐색을 위한 탐색 신호를 브로드캐스팅 방식으로 전송하는 것이 바람직하다.
이에 따라, 전자 장치(100)와 근거리에 위치하는 적어도 하나의 주변 기기(200)는 전자 장치(100)로부터 탐색 신호가 수신되면, 탐색 신호를 전송한 전자 장치(100)로 응답 신호를 전송한다. 이에 따라, 탐색 신호를 수신한 적어도 하나의 주변 기기(200)로부터 응답 신호가 수신되면, 전자 장치(100)는 수신된 응답 신호에 기초하여 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능한 주변 기기(200)를 검출한다(S1420,S1430).
이후, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능한 주변 기기(200)와 페어링을 수행하여 미등록된 주변 기기(200)를 등록한다(S1440).
이후, 전자 장치(100)는 신규 등록된 주변 기기(200)로 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능에 대한 제어 신호를 전송한다. 따라서, 신규 등록된 주변 기기(200)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 동작을 수행할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    적어도 하나의 주변 기기와 데이터 통신을 수행하는 통신부;
    가상 환경 컨텐츠에 출력하는 출력부; 및
    사용자 명령에 따라 상기 가상 환경 컨텐츠를 재생하도록 상기 출력부를 제어하며, 상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대한 정보에 기초하여 상기 적어도 하나의 주변 기기 중 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기를 판단하고,
    상기 판단된 주변 기기에 상기 가상 효과에 대응되는 제어 신호를 전송하도록 상기 통신부를 제어하는 제어부;
    를 포함하는 전자 장치.
  2. 제 1 항에 있어서,
    가상 효과에 대한 정보 및 상기 가상 효과에 대응되는 기능을 제공할 수 있는 기등록된 주변 기기에 대한 정보가 매핑된 기능 지원 기기 정보를 저장하는 저장부;
    를 더 포함하는 것을 특징으로 하는 전자 장치.
  3. 제 2 항에 있어서,
    상기 제어부는,
    상기 저장부에 저장된 기기 관리 정보에 기초하여 상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기의 등록 여부를 판단하여,
    상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 등록되어 있으면, 상기 등록된 주변 기기로 상기 가상 효과에 대응되는 제어 신호를 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.
  4. 제 3 항에 있어서,
    상기 제어부는,
    상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 미등록된 것으로 판단되면, 주변 기기 탐색을 위한 탐색 신호를 전송하여 상기 탐색 신호를 수신한 적어도 하나의 주변 기기로부터 응답 신호를 수신하며, 상기 수신된 응답 신호에 기초하여 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기와 페어링을 수행하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.
  5. 제 2 항에 있어서,
    상기 가상 효과에 대한 정보는,
    상기 가상 환경 컨텐츠를 구성하는 프레임별로 매핑되어 저장되며,
    상기 제어부는,
    상기 가상 환경 컨텐츠를 재생 시, 상기 가상 환경 컨텐츠에 대한 프레임별 가상 효과에 대한 정보에 기초하여 상기 프레임별 가상 효과에 대응되는 기능을 수행할 수 있는 주변 기기로 제어 신호를 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.
  6. 제 1 항에 있어서,
    상기 제어부는,
    상기 가상 환경 컨텐츠에 대한 재생 명령 시, 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스 제공을 위한 사용자 UI를 디스플레이하도록 상기 출력부를 제어하는 것을 특징으로 하는 전자 장치.
  7. 제 2 항에 있어서,
    상기 제어부는,
    상기 가상 환경 컨텐츠를 출력하고 있는 상태에서, 상기 기등록된 복수의 주변 기기 중 사용자에 의해 설정된 주변 기기로부터 이벤트 정보가 수신되면, 상기 수신된 이벤트 정보를 상기 가상 환경 컨텐츠와 관련된 정보로 변환하여 출력하도록 상기 출력부를 제어하는 것을 특징으로 하는 전자 장치.
  8. 제 1 항에 있어서,
    상기 제어부는,
    상기 전자 장치에서 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능한지 여부에 따라, 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 수행할 주변 기기로 제어 신호를 전송하는 것을 특징으로 하는 전자 장치.
  9. 제 1 항에 있어서,
    상기 가상 효과는,
    음성 효과, 바람 효과, 진동 효과, 냉기 효과, 열기 효과 및 냄새 효과 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  10. 전자 장치의 제어 방법에 있어서,
    사용자 명령에 따라, 가상 환경 컨텐츠를 재생하는 단계;
    상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대한 정보에 기초하여 적어도 하나의 주변 기기 중 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기를 판단하는 단계; 및
    상기 가상 환경 컨텐츠 재생 및 상기 판단된 주변 기기에 상기 가상 효과에 대응되는 제어 신호를 전송하는 단계;
    를 포함하는 제어 방법.
  11. 제 10 항에 있어서,
    가상 효과에 대한 정보 및 상기 가상 효과에 대응되는 기능을 제공할 수 있는 기등록된 주변 기기에 대한 정보가 매핑된 기능 지원 기기 정보를 저장하는 단계;
    를 더 포함하는 것을 특징으로 하는 제어 방법.
  12. 제 11 항에 있어서,
    상기 판단하는 단계는,
    상기 저장된 기기 관리 정보에 기초하여 상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기의 등록 여부를 판단하며,
    상기 전송하는 단계는,
    상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 등록되어 있으면, 상기 등록된 주변 기기로 상기 가상 효과에 대응되는 제어 신호를 전송하는 것을 특징으로 하는 제어 방법.
  13. 제 12 항에 있어서,
    미등록된 주변 기기를 등록하는 단계;를 더 포함하며,
    상기 등록하는 단계는,
    상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 미등록된 것으로 판단되면, 주변 기기 탐색을 위한 탐색 신호를 전송하는 단계;
    상기 탐색 신호를 수신한 적어도 하나의 주변 기기로부터 응답 신호를 수신하는 단계; 및
    상기 수신된 응답 신호에 기초하여 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기와 페어링을 수행하는 단계;
    를 포함하는 제어 방법.
  14. 제 11 항에 있어서,
    상기 가상 효과에 대한 정보는,
    상기 가상 환경 컨텐츠를 구성하는 프레임별로 매핑되어 저장되며,
    상기 전송하는 단계는,
    상기 가상 환경 컨텐츠를 재생 시, 상기 가상 환경 컨텐츠에 대한 프레임별 가상 효과에 대한 정보에 기초하여 상기 프레임별 가상 효과에 대응되는 기능을 수행할 수 있는 주변 기기로 제어 신호를 전송하는 것을 특징으로 하는 제어 방법.
  15. 제 10 항에 있어서,
    상기 재생하는 단계는,
    상기 가상 환경 컨텐츠에 대한 재생 명령 시, 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스 제공을 위한 사용자 UI를 디스플레이하는 것을 특징으로 하는 제어 방법.
PCT/KR2018/002168 2017-02-22 2018-02-22 전자 장치 및 그 제어 방법 Ceased WO2018155919A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/479,331 US11017486B2 (en) 2017-02-22 2018-02-22 Electronic device and control method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170023362A KR20180096937A (ko) 2017-02-22 2017-02-22 전자 장치 및 그 제어 방법
KR10-2017-0023362 2017-02-22

Publications (1)

Publication Number Publication Date
WO2018155919A1 true WO2018155919A1 (ko) 2018-08-30

Family

ID=63252769

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/002168 Ceased WO2018155919A1 (ko) 2017-02-22 2018-02-22 전자 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US11017486B2 (ko)
KR (1) KR20180096937A (ko)
WO (1) WO2018155919A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3745382A1 (en) * 2019-05-27 2020-12-02 Zenuity Ab Method and server for supporting generation of scenarios for testing autonomous driving and/or advanced driver assistance system functionality
CN112131146B (zh) * 2019-06-24 2022-07-12 维塔科技(北京)有限公司 获取设备信息的方法、装置、存储介质及电子设备
US11354852B2 (en) * 2019-10-10 2022-06-07 Disney Enterprises, Inc. Real-time projection in a mixed reality environment
US20240329793A1 (en) * 2023-03-31 2024-10-03 Intel Corporation Technologies for device management in metaverse interactions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031665A (ja) * 2004-11-22 2006-02-02 Junichi Ishihara 体感型仮想現実空間システム
KR20100121420A (ko) * 2009-05-08 2010-11-17 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
KR20120019007A (ko) * 2010-08-24 2012-03-06 한국전자통신연구원 가상 현실 연동 서비스 제공 시스템 및 그 방법
JP2015146194A (ja) * 2009-06-25 2015-08-13 サムスン エレクトロニクス カンパニー リミテッド 仮想世界処理装置および方法
KR101680142B1 (ko) * 2015-04-08 2016-11-29 동명대학교산학협력단 모션라이더 기반의 인터랙티브 제트스키 가상체험 시스템

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2884096B1 (fr) * 2005-03-30 2007-08-17 Frederic Ghibaudo Systeme permettant d'associer des effets sensoriels a la diffusion de programmes audiovisuels
JP4984771B2 (ja) 2006-09-14 2012-07-25 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20090089685A1 (en) 2007-09-28 2009-04-02 Mordecai Nicole Y System and Method of Communicating Between A Virtual World and Real World
US8907981B2 (en) 2009-11-05 2014-12-09 International Business Machines Corporation Method and system for dynamic composing and creating 3D virtual devices
KR101251774B1 (ko) 2011-05-17 2013-04-05 목원대학교 산학협력단 거동이 불편한 사용자를 위해 가상 현실과 실세계를 정합하는 정합 시스템 및 정합 방법 그리고 웨어러블 입력장치 및 명령 신호 제공 방법
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US9218212B2 (en) * 2011-11-11 2015-12-22 International Business Machines Corporation Pairing physical devices to virtual devices to create an immersive environment
KR102227659B1 (ko) 2014-03-12 2021-03-15 삼성전자주식회사 Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
JP2017523816A (ja) * 2014-04-25 2017-08-24 ノキア テクノロジーズ オサケユイチア 仮想現実エンティティと現実エンティティの間のインタラクション

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031665A (ja) * 2004-11-22 2006-02-02 Junichi Ishihara 体感型仮想現実空間システム
KR20100121420A (ko) * 2009-05-08 2010-11-17 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
JP2015146194A (ja) * 2009-06-25 2015-08-13 サムスン エレクトロニクス カンパニー リミテッド 仮想世界処理装置および方法
KR20120019007A (ko) * 2010-08-24 2012-03-06 한국전자통신연구원 가상 현실 연동 서비스 제공 시스템 및 그 방법
KR101680142B1 (ko) * 2015-04-08 2016-11-29 동명대학교산학협력단 모션라이더 기반의 인터랙티브 제트스키 가상체험 시스템

Also Published As

Publication number Publication date
US20190355073A1 (en) 2019-11-21
US11017486B2 (en) 2021-05-25
KR20180096937A (ko) 2018-08-30

Similar Documents

Publication Publication Date Title
WO2017131335A1 (ko) 사용자 단말 장치 및 그 제어 방법
WO2018131977A1 (en) Method and device for obtaining real time status and controlling of transmitting devices
WO2018038439A1 (en) Image display apparatus and operating method thereof
WO2019059427A1 (en) DISPLAY DEVICE AND CONTROL TERMINAL
WO2014038916A1 (en) System and method of controlling external apparatus connected with device
WO2015126121A1 (ko) 요청 정보에 따른 장치 제어 방법 및 이를 지원하는 장치
WO2016171363A1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
WO2018155919A1 (ko) 전자 장치 및 그 제어 방법
WO2017052162A1 (en) Electronic apparatus, audio device, and method that is performable by the electronic apparatus to set network of the audio device
WO2017057960A1 (en) Electronic device and method for controlling the same
EP2901204A1 (en) Glasses apparatus and method for controlling glasses apparatus, audio apparatus and method for providing audio signal and display apparatus
WO2018034427A1 (ko) 전자 장치에서의 표시를 위한 방법 및 장치
WO2016080747A1 (en) User terminal and method for controlling display apparatus
WO2017022988A1 (en) Network apparatus, server, and control methods thereof
WO2019035582A1 (en) DISPLAY APPARATUS AND SERVER, AND METHODS OF CONTROLLING THE SAME
WO2016204444A1 (ko) 운동 정보 제공 방법 및 이를 위한 웨어러블 장치
WO2015115698A1 (en) Portable device and method of controlling therefor
WO2016208992A1 (en) Electronic device and method for controlling display of panorama image
WO2016114475A1 (en) Method of providing preset service by bending mobile device according to user input of bending mobile device and mobile device performing the same
WO2022060175A1 (ko) 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
WO2018048130A1 (ko) 컨텐츠 재생 방법 및 이를 지원하는 전자 장치
WO2019112308A1 (en) Electronic device, user terminal apparatus, and control method thereof
WO2017135776A1 (en) Display apparatus, user terminal apparatus, system, and controlling method thereof
WO2018074768A1 (ko) 영상 표시 방법 및 그 전자장치
WO2019039861A1 (ko) 전자 장치 및 전자 장치에서 카메라 기능과 연관된 콘텐트 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18757963

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18757963

Country of ref document: EP

Kind code of ref document: A1