[go: up one dir, main page]

WO2019066133A1 - 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법 - Google Patents

혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법 Download PDF

Info

Publication number
WO2019066133A1
WO2019066133A1 PCT/KR2017/012887 KR2017012887W WO2019066133A1 WO 2019066133 A1 WO2019066133 A1 WO 2019066133A1 KR 2017012887 W KR2017012887 W KR 2017012887W WO 2019066133 A1 WO2019066133 A1 WO 2019066133A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile terminal
virtual mobile
virtual
mixed reality
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2017/012887
Other languages
English (en)
French (fr)
Inventor
심혁훈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Akn Korea Inc
Original Assignee
Akn Korea Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Akn Korea Inc filed Critical Akn Korea Inc
Priority to US15/760,970 priority Critical patent/US20190096130A1/en
Publication of WO2019066133A1 publication Critical patent/WO2019066133A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]

Definitions

  • the present invention relates to a method for implementing a virtual mobile terminal and a virtual mobile terminal providing system using the same, and more particularly, to a virtual mobile terminal providing method for implementing a virtual mobile terminal on a target object in a mixed reality, And a virtual mobile terminal providing system using the virtual mobile terminal.
  • Mixed reality is a semi-virtual reality that is implemented by overlaying a virtual space or a virtual object in a real space.
  • the user of the mixed reality not only can use the actual objects in the actual space, but also can use the virtual space or the virtual objects provided in the mixed reality.
  • the mixed reality has advantages of being able to interact with the real world like an augmented reality, and providing an immersion feeling to a user by providing a virtual object of a virtual reality, so that it is expected to be applied to various fields.
  • One aspect of the present application is to implement a virtual mobile terminal which can be conveniently used on a mixed reality without display.
  • Another object of the present invention is to provide a target object including an area where the virtual mobile terminal can be implemented so that the virtual mobile terminal can be easily used in a mixed reality.
  • a method of implementing a virtual mobile terminal used in a mixed reality including: implementing a mixed reality image including a sensed real object and an artificially implemented virtual object; Detecting a target object in the implemented mixed reality image based on the identification mark; Implementing an image of the virtual mobile terminal in an area of the detected object in the mixed reality image; And transmitting a communication identifier including a unique ID for establishing a web altitude communication connection to a communication partner device when receiving a call request through the virtual mobile terminal in the mixed reality image, And a step of establishing a virtual mobile terminal.
  • an information processing apparatus including: a sensing unit that senses an actual object in a real world; An output unit for outputting a mixed reality image including the sensed actual object and an artificially implemented virtual object; And detecting a target object in the mixed reality image based on the identification mark, implementing an image of the virtual mobile terminal in the detected area, receiving a call request through the virtual mobile terminal in the mixed reality image, And a control unit for establishing the WebAltisia communication connection by transmitting a communication identifier including a unique ID for establishing a WebAltisia communication connection to the communication partner device.
  • a virtual mobile terminal which can be conveniently used in a mixed reality can be provided.
  • a target object including an area in which the virtual mobile terminal can be implemented can be provided so as to facilitate the use of the virtual mobile terminal in the mixed reality.
  • a method for performing communication with another device other than a mixed reality using a virtual mobile terminal in a mixed reality can be provided.
  • FIG. 1 is a diagram illustrating a mixed reality provided to a user according to an embodiment of the present application.
  • FIG. 2 is a diagram illustrating a virtual mobile terminal implementation system in accordance with one embodiment of the present application.
  • FIG. 3 is a block diagram illustrating units implemented in a virtual mobile terminal implementation system in accordance with one embodiment of the present application.
  • FIG. 4 is a diagram illustrating a virtual mobile terminal implementation device in accordance with one embodiment of the present application.
  • FIG. 5 is a diagram showing an example of a target object according to an embodiment of the present application.
  • FIG. 6 is a diagram illustrating a virtual mobile terminal implemented based on the location of a target object detected within a mixed reality image MR according to an embodiment of the present application.
  • FIG. 7 is a diagram illustrating a virtual mobile terminal implemented based on the location of a target object detected in a virtual reality image VR according to an embodiment of the present application.
  • FIG. 8 is a diagram showing a virtual mobile terminal implemented based on the location of a target object detected in the AR image AR according to an embodiment of the present application.
  • FIG. 9 is a diagram illustrating a virtual mobile terminal of a user using another mixed reality.
  • FIG. 10 is a diagram showing a moving target object according to an embodiment of the present application.
  • FIG. 11 is a diagram illustrating an implemented virtual mobile terminal in accordance with one embodiment of the present application.
  • FIG. 12 is a diagram illustrating an interlocking process between a virtual mobile terminal and an actual mobile terminal according to an embodiment of the present application.
  • FIG. 13 is a diagram illustrating an interlocking process between a virtual mobile terminal and an actual mobile terminal according to an embodiment of the present application.
  • FIG. 14 is a diagram illustrating touch recognition through a virtual mobile terminal according to an embodiment of the present application.
  • FIG. 15 is a diagram illustrating a zoom-in / zoom-out operation through a virtual mobile terminal according to an embodiment of the present application.
  • 16 is a diagram illustrating a communication operation of a virtual mobile terminal according to an embodiment of the present application.
  • 17 is a diagram illustrating a communication operation of a virtual mobile terminal using WebRTC according to an embodiment of the present application.
  • FIG. 18 is a diagram illustrating a video communication operation according to an embodiment of the present application.
  • FIG. 19 is a diagram illustrating a size-adjusted image in a mixed reality according to an embodiment of the present application.
  • FIG. 20 is a flowchart of a method of controlling a virtual mobile terminal implementation system according to an embodiment of the present application.
  • a method of implementing a virtual mobile terminal used in a mixed reality including: implementing a mixed reality image including a sensed real object and an artificially implemented virtual object; Detecting a target object in the implemented mixed reality image based on the identification mark; Implementing an image of the virtual mobile terminal in an area of the detected object in the mixed reality image; And transmitting a communication identifier including a unique ID for establishing a web altitude communication connection to a communication partner device when receiving a call request through the virtual mobile terminal in the mixed reality image, And a step of establishing a virtual mobile terminal.
  • the virtual mobile terminal includes a virtual object, and the virtual object includes a web altitude call connection object.
  • An implementation method can be provided.
  • the call request may be detected by receiving a virtual object touch implemented in the virtual mobile terminal, and receiving the virtual mobile terminal.
  • the detection of the object touch is performed based on a sound generated due to a material of a region of a target object on which the virtual object is implemented when a virtual object of the virtual mobile terminal is touched ,
  • a virtual mobile terminal implementation method can be provided.
  • the detection of the object touch may be performed by detecting a change in an image of a region where a virtual object of the virtual mobile terminal is formed.
  • the detection of the object touch may be performed by detecting a speed of an object moving toward the virtual object.
  • the step of implementing the image of the virtual mobile terminal may include providing a virtual mobile terminal implementing method of sensing the type of the target object area in which the virtual mobile terminal is implemented.
  • a virtual mobile terminal implementation method may be provided, wherein the virtual mobile terminal implementation method is characterized by detecting the type of the target object based on the type of the identification mark of the target object in the mixed reality image.
  • a method of implementing a virtual mobile terminal, wherein the communication identifier is generated by a predetermined link may be provided.
  • a method for implementing a virtual mobile terminal may be provided, wherein the communication identifier is given a predetermined parameter for controlling the call.
  • a type of the call is determined according to a parameter added to the communication identifier.
  • a virtual mobile terminal implementation method may be provided.
  • a virtual mobile terminal implementation method is implemented, wherein a call video call is implemented in the virtual mobile terminal in the step of implementing the video of the virtual mobile terminal .
  • the present invention also provides a method for implementing a virtual mobile terminal.
  • an information processing apparatus including: a sensing unit that senses an actual object in a real world; An output unit for outputting a mixed reality image including the sensed actual object and an artificially implemented virtual object; And detecting a target object in the mixed reality image based on the identification mark, implementing an image of the virtual mobile terminal in the detected area, receiving a call request through the virtual mobile terminal in the mixed reality image, And a control unit for establishing the WebAltisia communication connection by transmitting a communication identifier including a unique ID for establishing a WebAltisia communication connection to the communication partner device.
  • a mixed reality image may be a mixed reality image
  • a virtual mobile terminal image may be an image of a virtual mobile terminal.
  • FIG. 1 is a diagram illustrating a mixed reality provided to a user according to an embodiment of the present application.
  • the Mixed Reality may mean a virtual world in which real and virtual information are fused.
  • the mixed reality may be a virtual world that is implemented by overlaying a virtual object (V) or a virtual space based on an actual space. Since the user who experiences the mixed reality is a world realized based on the real space, he can interact with the real world and experience a dynamic space and object (V) .
  • the mixed reality providing system 1 can provide the user with an image in which the real space and the virtual space are mixed and implemented.
  • the image may be defined as a mixed reality image.
  • the mixed reality image is implemented by the mixed reality providing system 1 and is provided to the user through the mixed reality realizing device 20 worn by the user so that the user can experience the mixed reality.
  • This mixed reality has advantages that it is easy to use compared to the conventional virtual reality.
  • a separate electronic device In order to manipulate the virtual image shown in the case of the existing virtual reality, a separate electronic device must be provided.
  • the mixed reality image provided in the mixed reality is a world created based on the actual space, it is possible to detect a change of a physical object such as a user's gesture in an actual space, It is possible to easily control the mixed reality image.
  • a user of the mixed reality can communicate with another external device using WebRTC communication.
  • the establishment of the WebRTC communication can be started through a predetermined communication identifier, which will be described in detail.
  • the virtual environment used in the present application may include a virtual reality (VR) and an Augmented Reality (AR) in addition to the above-described mixed reality. Therefore, in the following description, mixed reality will be described as an example, but the following description can be also applied to virtual reality and augmented reality.
  • VR virtual reality
  • AR Augmented Reality
  • an actual object R and a virtual object V may be simultaneously provided to a user in an implemented mixed reality environment. That is, the user can simultaneously experience the real object R and the virtual object V in the mixed reality environment.
  • the virtual object V may be provided to a user of the system by a mixed reality providing system implementing a mixed reality environment.
  • the provider of the mixed reality environment may implement the virtual object V provided to the user through the mixed reality providing system. That is, the user can implement various virtual objects (V) according to the purpose in the mixed reality environment through the mixed reality providing system, and provide the virtual objects to the users of the mixed reality providing system by controlling them.
  • the mixed reality providing system can provide a virtual device to a user in a mixed reality environment according to a predetermined virtual device implementing method.
  • the user can experience a virtual object (V) which does not actually exist together with the actual object R in the current space, so that the user can experience a new experience that can be experienced in a real world in a mixed reality environment .
  • an actual device used in the real world can be easily used through a virtual device provided in the mixed reality environment.
  • the provider can provide a virtual device suitable for the user according to the needs of the user in the mixed reality environment.
  • a virtual device in the mixed reality environment, can be implemented and provided to an actual physical object R.
  • the provider of the mixed reality environment can provide the user with a virtual device that the user can use in the mixed reality environment through the mixed reality providing system.
  • the virtual device may be any device that can be used in a mixed reality environment.
  • the virtual device may be a virtual mobile terminal or a predetermined input device.
  • WebRTC is a solution that enables media communication between users by using only a web browser without application, and it can operate in each browser supporting standard technology regardless of operating system or terminal type.
  • WebRTC This technology, called WebRTC, allows users to easily connect to communications over the Internet, publish their addresses on the Internet, and allow others to connect.
  • a method for establishing the WebRTC communication there may be a method using a communication link such as a custom link, a Web link, a QR code, a VR link, a button, and a brand logo / trademark.
  • the custom link may be defined as a kind of communication link generated by a user of a WebRTC communication.
  • an application called " peer " is executed via a link defined as " peer (or webpeer): // akn ", and the user issuing the link is connected to a communication partner
  • a WebRTC communication connection may be established.
  • the web link may be an http based link. For example, when the connection requester selects "http://webpeer.io/akn", the web browser is executed and the connection is made to the address of the corresponding link, and a communication link is established between the user who issued the link and the link WebRTC communication connection can be established between the accepted communication partner.
  • a connection means is provided through a QR code, and a WebRTC communication connection is established between a user who has issued the QR code and a communication partner who has accepted the communication connection through the link Can be established.
  • the VR link receives the selection of connection means of the connection requestor in the virtual environment as described above and receives a WebRTC communication connection between the user who issued the VR link and the communication partner that has accepted the communication connection via the link Can be established.
  • the link address is directly displayed as text or displayed indirectly by displaying the link on the display screen so that the communication user or the communication partner can touch or click one area of the screen including the link directly or indirectly It is also possible to display only the information of the connection recipient AKN.
  • the image displayed on the button can be directly set by the communication user, and the own brand logo or trademark name can be displayed with the button.
  • the communication identifier may include a unique ID of a user of the WebRTC communication that transmits the communication identifier.
  • the unique ID may be a communication address such as IP of a user's device for establishing a WebRTC communication or an identifiable address for establishing communication by identifying a user's device.
  • the user of the wholesale city communication transmits the above-mentioned custom link, the web link, the QR code, the VR link, the button, and the brand logo / trademark to the device of the other party of the communication through a predetermined device,
  • the device can initiate WebRTC communication with the user's device through a unique ID included in the acquired communication identifier.
  • a predetermined parameter may be added to the communication identifier. It is possible to implement a predetermined function at the same time as establishing a communication connection by adding a predetermined parameter. This will be explained in detail.
  • the custom link can be added to the custom link in the form of a " peer: // ID / parameter " when the parameter is implemented in URL form, and QR can be implemented so that the corresponding function is provided when implemented in QR form . Functions given in accordance with the addition of the parameters will be described in detail in the individual matters to be described later.
  • the mixed reality providing system 1 providing the virtual mobile terminal 40 among the virtual devices can be defined as the virtual mobile terminal implementing system 1.
  • FIG. 2 is a diagram illustrating a virtual mobile terminal implementation system 1 according to an embodiment of the present application.
  • a virtual mobile terminal implementation system 1 may be comprised of a target object 10, a virtual mobile terminal implementation device 20, and a server 30.
  • the target object 10 is a physical object providing an area in which the virtual mobile terminal 40 implemented by the virtual mobile terminal implementation system 1 can be implemented.
  • the virtual mobile terminal implementation device 20 may be a device that implements and provides a mixed reality and a virtual mobile terminal to a user of the virtual mobile terminal implementation system 1.
  • the server 30 may be a service server 30.
  • the server 30 may be provided in the form of a cloud server to store and transmit data exchanged in the virtual mobile terminal implementation system 1.
  • the server 30 may be a WebRTC server 30 and may be a server that manages communication establishment, data exchange, and communication disconnection in connection with WebRTC communication.
  • the server 30 can manage a communication identifier transmitted to establish a WebRTC communication.
  • a virtual mobile terminal implementation system 1 including more configurations than the configuration shown in FIG. 2 may be implemented.
  • the virtual mobile terminal implementation system 1 may further include an actual mobile terminal 50 used in the real world.
  • the actual mobile terminal 50 can be interlocked with the virtual mobile terminal 40 provided by the system 1, which will be described later in detail.
  • FIG. 3 is a block diagram illustrating the units implemented in the virtual mobile terminal implementation system 1 according to one embodiment of the present application.
  • a unit that implements an operation to implement and control the virtual mobile terminal 40 can be implemented.
  • a virtual mobile terminal implementation system 1 may include a providing unit 100, a sensing unit 200, and a generating unit 300. However, not limited to that shown in FIG. 3, fewer or more units may be implemented in the system 1.
  • the providing unit 100 may perform operations to implement and provide a virtual mobile terminal 40 that may be used in a mixed reality environment.
  • the sensing unit 200 may perform an operation of detecting a user's behavior related to the virtual mobile terminal 40 and the target object 10 providing an area for implementing the virtual mobile terminal 40.
  • the generating unit 300 may obtain data related to the virtual mobile terminal 40 and generate data for implementing the virtual mobile terminal 40.
  • the providing unit 100 may implement the virtual mobile terminal 40 in the area of the target object 10 detected by the sensing unit 200. [ Specifically, the providing unit 100 may implement and provide the virtual mobile terminal 40 in the area of the object 10 on the mixed reality image. In other words, the providing unit 100 may implement an image or an image of the virtual mobile terminal 40 in the area of the target object 10 in the mixed reality image, and provide the image or the image to the user.
  • the providing unit 100 may implement a virtual mobile terminal 40 including various functions according to an implementation purpose.
  • the providing unit 100 may implement a virtual mobile terminal 40 including a call function, a character input function, and various application functions according to the implementation purpose of the virtual mobile terminal 40.
  • the providing unit 100 recognizes the user's touch, gesture, and voice to implement the virtual mobile terminal 40 in which the character input function is implemented,
  • the virtual mobile terminal 40 can be implemented and provided to the user.
  • the object may not be limited to any form if it performs a function of recognizing a virtual key shape, an icon shape, or a user's touch, gesture, and voice to trigger a function.
  • the sensing unit 200 detects the path of the target object 10 so that the virtual mobile terminal 40 can be implemented on the target object 10 to be moved when the target object 10 moves can do.
  • the sensing unit 200 may detect a user's gesture associated with the virtual mobile terminal 40. For example, when the user touches an object of the virtual mobile terminal 40, the sensing unit may sense the touch of the user.
  • the generation unit 300 may analyze data associated with the virtual mobile terminal 40. [ For example, the generating unit 300 may acquire stored data from an actual mobile terminal 50 and generate data for implementing the virtual mobile terminal 40 based on the data. Data associated with the virtual mobile terminal 40 is defined as virtual mobile data, and data for implementing the household mobile terminal 40 may be defined as implementation data.
  • the providing unit 100 may implement the virtual mobile terminal 40.
  • the generating unit 300 acquires application data used by the actual mobile terminal 50 to generate implementation data
  • the providing unit 100 includes the application function based on the implementation data
  • the virtual mobile terminal 40 of FIG. To this end, the generating unit 300 may provide the generated implementation data to the providing unit 100.
  • FIG. 4 is a diagram illustrating a virtual mobile terminal implementation device 20 according to one embodiment of the present application.
  • the virtual mobile terminal implementation device 20 may implement and provide a mixed reality to the user and provide the virtual mobile terminal 40 to allow the user to use the virtual mobile terminal 40 in the mixed reality.
  • the virtual mobile terminal implementation device 20 may be, for example, Hololens providing mixed reality.
  • Such a virtual mobile terminal implementation device 20 may be provided in a wearable form.
  • the virtual mobile terminal implementation device 20 may be provided in a wearable form on the user's head. Accordingly, the virtual mobile terminal implementation device 20 can provide a mixed reality image through the eyes of the user, thereby enabling a user to experience a mixed reality.
  • the virtual mobile terminal implementing device 20 may implement and provide a virtual reality image through the user's eyes, thereby allowing the user to experience the virtual reality.
  • the virtual mobile terminal implementing device 20 may be an oculus.
  • the virtual mobile terminal implementation device 20 can provide the augmented reality image to the user, thereby allowing the user to experience the augmented reality.
  • the virtual mobile terminal implementation device 20 may be a smart device such as a smart phone, a smart tablet, or the like, which can superimpose a predetermined augmented image.
  • the virtual mobile terminal implementation device 20 is a device that implements and provides a mixed reality image in order to facilitate explanation.
  • the present invention is not limited to this.
  • a virtual mobile terminal device 20 includes a sensing unit 21, an output unit 22, a communication unit 23, a power supply unit 24, a storage unit 25 ), An input unit 26, and a control unit 27.
  • the sensing unit 21 can sense an actual world. Specifically, the sensing unit 21 may sense a physical object existing in a real world occupied by the user of the system 1. [ Accordingly, when the user moves a part of the body, the sensing unit 21 can sense the movement of a part of the moving body. In addition, the sensing unit 21 may sense the gesture of the user. In addition, the sensing unit 21 may sense the position of the target object 10.
  • the sensing unit 21 may be realized as devices capable of sensing the real world by receiving light reflected from physical objects in the real world such as a visible light camera, an infrared camera, or an image sensor.
  • the sensing unit 21 When the sensing unit 21 is implemented as an image sensor, the sensing unit 21 receives visible light emitted from an object to be sensed as a photodiode arranged in a two-dimensional array, (Charge Coupled Device) and / or CMOS to generate data relating to the object.
  • a photodiode arranged in a two-dimensional array, (Charge Coupled Device) and / or CMOS to generate data relating to the object.
  • CCD Charge Coupled Device acquires current intensity information through the amount of electrons generated in proportion to the amount of photons, and generates an image by using the amount of electrons.
  • the CMOS generates a voltage by counting the amount of electrons generated in proportion to the amount of photons The image can be generated using the information.
  • CCD has an advantage of being excellent in image quality, and CMOS may be advantageous in that the process is simple and the processing speed is fast.
  • an apparatus for generating charge data generated according to the purpose of use according to the photoelectric effect can be used for all of the above-described CCD and / or CMOS and other methods.
  • the output unit 22 may provide the user with a mixed reality and a virtual device that can be used in the mixed reality.
  • the output unit 22 provides the mixed reality image to the user so that the user wearing the virtual mobile terminal implementing device 20 can experience the mixed reality and can use the virtual mobile terminal 40. [ .
  • the output unit 22 may include a display for outputting an image, a speaker for outputting sound, a haptic device for generating vibration, and various other output means.
  • the output unit 22 is described as a display capable of visually transmitting an image. Nevertheless, in the image processing apparatus, the image is not always output to the user through the display, but may be output to the user through all of the other output means described above.
  • the display may be a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, a flat panel display (FPD) various types of devices capable of performing image display functions such as display, curved display, flexible display, 3D display, holographic display, projector, Quot; means a wide range of video display devices.
  • LCD liquid crystal display
  • LED light emitting diode
  • OLED organic light emitting diode
  • FPD flat panel display
  • various types of devices capable of performing image display functions
  • Such a display may be in the form of a touch display integrated with the touch sensor of the input unit 26.
  • the output unit 22 may be implemented in the form of an output interface (USB port, PS / 2 port, or the like) that connects an external output device to the image processing device instead of the device that outputs information to the outside.
  • the communication unit 23 enables the device implemented by the virtual mobile terminal 40 to exchange data with another external device.
  • the communication unit 23 can transmit and receive data by wire or wirelessly.
  • the server communication unit includes a wired communication module for connecting to the Internet or the like via a LAN (Local Area Network), a mobile communication module for connecting to a mobile communication network via a mobile communication base station to transmit and receiving data, a WLAN (Global Positioning System) such as a Global Positioning System (GPS) such as a Local Area Network (GPS) system, a local communication module using a wireless Personal Area Network (WPAN) communication system such as Bluetooth or Zigbee, System), or a combination thereof.
  • GPS Global Positioning System
  • WLAN Wireless Personal Area Network
  • the power supply 24 may provide the necessary power for the operation of each component of the virtual mobile terminal implementation device 20.
  • the power supply unit 24 may be implemented as a rechargeable battery.
  • the virtual mobile terminal implementation device 20 may further include a power generation unit (not shown), and the power generation unit itself generates power, Can be provided to the supply section.
  • the power generation unit may include a solar power generation unit, and in this case, power can be generated through solar power generation.
  • the storage unit 25 may store the data.
  • the storage unit 25 may store data related to mixed reality data; For example, the storage unit 25 may store the virtual mobile data described above.
  • the storage unit 25 may be an operating system (OS) for operating or may store firmware, middleware, various programs assisting the same, and may store data received from other external devices such as image processing devices .
  • OS operating system
  • a typical example of the storage unit 25 is a hard disk drive (HDD), a solid state drive (SSD), a flash memory, a ROM (Read-Only Memory), a RAM Random Access Memory) or Cloud Storage.
  • HDD hard disk drive
  • SSD solid state drive
  • flash memory a ROM (Read-Only Memory)
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • the input unit 26 may receive a user input from a user.
  • the user input may be in various forms including a key input, a touch input, and a voice input.
  • the input unit 26 may receive an execution of a virtual mobile terminal 40 implementation from a user.
  • Typical examples of the input unit 26 include a conventional keypad, a keyboard, a mouse, a touch sensor for sensing a user's touch, a microphone for receiving a voice signal, a camera for recognizing a gesture through image recognition, A proximity sensor composed of an illuminance sensor or an infrared ray sensor for sensing user access, a motion sensor for recognizing a user's operation through an acceleration sensor or a gyro sensor, and various types of input for sensing or receiving various types of user input It is a comprehensive concept that includes all means.
  • the touch sensor may be implemented by a touch panel attached to a display panel or a piezoelectric or electrostatic touch sensor that senses a touch through a touch film, or an optical touch sensor that senses a touch by an optical method.
  • the controller 27 can control the operation of each component of the device implemented by the virtual mobile terminal 40. To this end, the controller 27 may perform various operations on the data of the virtual mobile terminal device 20. Accordingly, hereinafter, the operation of the virtual mobile terminal 40 device may be performed by the control unit 27 unless otherwise specified.
  • the control unit 27 may be implemented as a computer or similar device according to hardware, software, or a combination thereof.
  • the control unit 27 may be provided in the form of an electronic circuit such as a CPU chip that performs a control function by processing an electrical signal and is provided in a form of a program that drives a hardware control unit 27 in software .
  • the server 30 may include a server communication unit, a server database, and a server control unit.
  • the server communication unit may communicate with an external device (e.g., virtual mobile terminal implementation device 20). Accordingly, the server can transmit / receive information to / from the external device through the server communication unit. For example, the server may exchange data with the mixed reality from the virtual mobile terminal implementation device 20 using the server communication unit. Since the server communication unit can transmit and receive data by wire or wireless, as in the communication unit 23 of the virtual mobile terminal implementing device 20 described above, redundant description of the server communication unit is omitted.
  • the server database can store various information. Server databases can store data temporarily or semi-permanently.
  • a server database of a server may include an operating system (OS) for operating a server, data for hosting a web site, or a program or application (e.g., a web application) for using a virtual mobile terminal
  • OS operating system
  • a program or application e.g., a web application
  • server database examples include a hard disk drive (HDD), a solid state drive (SSD), a flash memory, a ROM (Read-Only Memory), a RAM (Random Access Memory) Can be.
  • HDD hard disk drive
  • SSD solid state drive
  • flash memory a ROM (Read-Only Memory)
  • RAM Random Access Memory
  • Such a database 1200 may be provided in a built-in type or a detachable type.
  • the server control unit controls the overall operation of the server.
  • the control unit can perform operations and processes of various information and control the operation of the components of the server.
  • the control unit may execute a program or an application for document conversion.
  • the control unit may be implemented as a computer or similar device depending on the hardware software or a combination thereof.
  • the control unit may be provided in the form of an electronic circuit that performs an electrical signal by performing a control function, and may be provided in a form of a program that drives a hardware control unit in software.
  • the operation of the server can be interpreted as being performed by control of the control unit.
  • FIG. 5 is a diagram showing an example of a target object 10 according to an embodiment of the present application.
  • the target object 10 may provide an area in which the virtual mobile terminal 40 is implemented.
  • the target object 10 may be a reference on which the virtual mobile terminal 40 is implemented in a mixed reality.
  • the target object 10 may provide a region in which the virtual mobile terminal 40 can be implemented in a state where the real object R and the virtual object V existing on the mixed reality are mixed together .
  • the area where the virtual mobile terminal 40 is provided may be defined as an implementation area 14.
  • the target object 10 may be a physical part of a user's body such as an arm, a back of a hand, a palm of a hand, or various physical objects existing in a real world.
  • the target object 10 may be a predetermined figure.
  • the figure may be implemented in the form of various characters, or may be implemented as a character of a desired type by the user.
  • the target object may be a low-power physical object, in which case the low-power physical object may normally display a base interface such as a clock.
  • Mixed reality can be used to display rich contents.
  • the target object 10 is a physical object separately provided to implement the virtual mobile terminal 40.
  • the virtual mobile terminal 40 when the virtual mobile terminal 40 is implemented through the physical object provided separately, the use of the user's virtual mobile terminal 40 can be facilitated. If the target object 10 is not a physical object provided separately but is one of actual physical objects occupied by the user, the virtual mobile terminal 40 may be implemented in one of the physical objects scattered in various places . In this case, since the user must find and use the physical object on which the virtual mobile terminal 40 is implemented, the use of the virtual mobile terminal 40 may become cumbersome. On the other hand, when the virtual mobile terminal 40 is implemented through the physical object provided separately, since the virtual mobile terminal 40 is implemented in the separately provided physical object, the user can realize the virtual mobile terminal 40 The time for finding the position can be alleviated.
  • the target object 10 may be provided in a flat plate shape.
  • the separately provided physical object may be provided in a form that can be carried by the user. Accordingly, when the user desires to receive the virtual mobile terminal 40, the user can receive the virtual mobile terminal 40 by implementing the mixed reality regardless of the location.
  • the target object 10 is not limited to that shown in FIG. 5, and may be implemented in a shape and material desired by the user.
  • the target object 10 may be formed of a flexible material and may be bent.
  • the target object 10 may be made of a transparent material.
  • the target object 10 may be embodied as a frame 11 and a flat surface 13.
  • the frame (11) may include an identification mark (12).
  • the identification mark 12 may be formed on an outer surface of the frame 11.
  • the identification mark 12 may cause the target object 10 to be identified on the mixed reality. Specifically, when the target object 10 exists in the mixed reality, the sensing unit 200 may detect the position of the target object 10 by sensing the identification mark 12. Thus, the providing unit 100 can implement the virtual mobile terminal 40 in the realization area 14 of the target object 10.
  • the identification mark 12 may be a means for authenticating a user.
  • a virtual mobile terminal 40 can be provided to a real user.
  • information on the shape and size of the target object 10 is included in the identification mark 12 so that the information of the target object 10 acquired from the identification mark 12 and the information of the target object 10, The virtual mobile terminal 40 can be implemented only when the virtual mobile terminal 40 is matched.
  • the identification mark 12 may be a QR code, various polygons, a bar code, or the like, and may be provided in a form not limited to any form as long as it is a cover capable of functioning as the identification mark 12 described above.
  • the identification mark 12 may be a shape such as a shape or a size of the target object 10 itself.
  • the target object 10 may be detected in the mixed reality image based on the shape of the target object 10.
  • the identification tag 12 may recognize a virtual mobile terminal of a user using another mixed reality. Specifically, when an identification mark of a target object of another user is detected in a mixed reality image of a user when another user uses a target mobile mobile terminal by using a target object including a predetermined identification mark, A virtual mobile terminal of another user may be represented in the image.
  • the target object 10 is a part of the user's body
  • the specific part of the body may be the identification mark 12.
  • the fingerprint or palm of the user's palm may be the identification mark 12.
  • the virtual mobile terminal is implemented on the palm, the user can be authenticated using the fingerprint or palm of the palm as an identification mark, and a virtual mobile terminal for the user can be implemented.
  • the above-mentioned position of the identification mark is not limited to that shown in Fig. 5 (a), but may be formed at the corner portion. Accordingly, the location where the virtual mobile terminal is to be implemented in the target object can be easily detected through the identification mark formed at the corner.
  • the flat surface 13 may comprise an implementation area 14.
  • the implementation region 14 may include a plurality of implementation regions 14.
  • the target object 10 may be implemented in different materials for each implementation region 14.
  • the virtual mobile terminal implementation system 1 may be implemented as a standalone type and a network type.
  • Said stand-alone type may be defined in such a manner that the aforementioned units are all implemented in one configuration of the virtual mobile terminal implementation system 1,
  • the network type can be defined in such a manner that the above-described units are distributed and implemented in each configuration of the virtual mobile terminal implementation system 1.
  • the virtual mobile terminal implementation system 1 can be implemented as a standalone type.
  • the providing unit 100, the sensing unit 200, and the generating unit 300 may be implemented in one configuration of the virtual mobile terminal implementation system 1.
  • the providing unit 100, the sensing unit 200, and the generating unit 300 are the server 30 of the virtual mobile terminal implementing system 1, the virtual mobile terminal implementing device 20. Or the target object 10, as shown in FIG.
  • the functions of the respective units can be performed in the virtual mobile terminal implementation device 20 in the application form.
  • a user wearing the virtual mobile terminal implementing device 20 may execute the application on the virtual mobile terminal implementing device 20 to utilize the functions of the units.
  • the virtual mobile terminal implementing device 20 communicates with the server 30 through the communication unit 23 and the virtual mobile terminal implementing device 20 and the server 30 communicate with the virtual mobile terminal 40 ) ≪ / RTI >
  • the virtual mobile terminal implementation device 20 obtains virtual mobile data and operates the respective components of the virtual mobile terminal implementation device 20 based on the virtual mobile data so that the virtual mobile terminal 40 is provided to the user. can do.
  • each of the units When each of the units is implemented in a virtual mobile terminal implementation device 20, the functionality of each of the units may be performed on the virtual mobile terminal implementation device 20. [ In this case, each of the units may be implemented in the control unit 27 of the virtual mobile terminal implementation device 20. Accordingly, the target object 10 can be detected from the image obtained through the sensing unit 21 by performing the functions of the units in the control unit 27, and the virtual mobile terminal 40, which is implemented, And can be provided to the user through the output unit 22. [
  • the virtual mobile terminal implementation system 1 may be implemented as a network type.
  • the providing unit 100 and the generating unit 300 may be implemented in the server 30, and the sensing unit 300 may be implemented in the server 30.
  • the providing unit 100 and the generating unit 300 may be implemented in the server 30, May be implemented in the virtual mobile terminal implementation device 20.
  • the generating unit 300 may be implemented in the server 30, and the providing unit 100 and the sensing unit may be implemented in the virtual mobile terminal implementing device 20.
  • the providing unit 100 and the generating unit 300 may be implemented in the server 30 and the virtual mobile terminal implementing device 20.
  • the providing unit 100 and the generating unit 300 which are implemented in the providing unit 100, the generating unit 300, and the virtual mobile terminal implementing device 20 implemented in the server 30, May be different.
  • the providing unit 100 operating in the server 30 generates an image or an image of a virtual mobile terminal
  • the providing unit 100 operating in the virtual mobile terminal implementing device 20 generates an object can do.
  • the virtual mobile terminal implementation system 1 When the virtual mobile terminal implementation system 1 is implemented as a network type, the functions of the respective units are distributed and performed, and the virtual mobile data generated according to the operation of each unit can be exchanged. As a result, the virtual mobile terminal implementation device 20 can integrate the virtual mobile data, implement a mixed reality, implement a virtual mobile terminal 40 that can be used in the mixed reality, and provide it to a user .
  • each unit is a standalone type implemented in the virtual mobile terminal implementation device 20 unless otherwise specified.
  • the operation of implementing the virtual mobile terminal 40 may be defined as the operation of the virtual mobile terminal 40 implementation.
  • the virtual mobile terminal 40 can be used as follows according to the operation to be used.
  • the user can input a key through the virtual mobile terminal 40 by using the actual mobile terminal 50.
  • the user can make a call through the virtual mobile.
  • the user can use various applications such as using the actual mobile terminal 50 through the virtual mobile.
  • WebRTC communication is used, and a communication identifier can be used for this purpose. This will be explained in detail.
  • a virtual mobile terminal implementation operation of the virtual mobile terminal implementation system 1 according to an embodiment of the present application will be described.
  • the virtual mobile terminal implementation device 20 can detect the target object 10 and create a virtual mobile terminal 40 to be implemented in the target object 10 .
  • the virtual mobile terminal implementation device 20 can detect the location of the target object 10 in order to implement the virtual mobile terminal 40. [ That is, the sensing unit 200 can detect the location of the target object 10 in the mixed reality image.
  • FIG. 6 is a diagram illustrating a virtual mobile terminal implemented based on the location of a target object 10 detected in a mixed reality (MR) image according to an embodiment of the present application.
  • MR mixed reality
  • FIG. 7 is a diagram illustrating a virtual mobile terminal implemented based on the location of a target object 10 detected in a virtual reality image VR according to an embodiment of the present application.
  • FIG. 8 is a diagram illustrating a virtual mobile terminal implemented based on the location of the target object 10 detected in the augmented reality image AR according to one embodiment of the present application.
  • the virtual mobile terminal implementation devices 20, 21, and 22 can detect the identity tag 12 of the target object 10 and detect the location of the target object 10 have.
  • the position of the target object 10 may be detected by analyzing the mixed reality image.
  • the analysis of the mixed reality image may include detection of an actual object R and a virtual object V and detection of a target object 10 among actual objects R.
  • the sensing unit 200 can detect and classify a real object R and a virtual object V in a mixed reality aspect.
  • the sensing unit may detect the real object R and the virtual object V by separating the background from the real object R and the virtual object V.
  • conventional techniques for separating and detecting meaningful objects from the background of ROI detection, edge detection, etc. may be used.
  • the present invention is not limited to this, and it is possible to detect the real object R and the virtual object V Technology can be used.
  • the operation of detecting the virtual object V may be omitted.
  • the sensing unit 200 may classify the target object 10 among all the detected real objects R based on the identification mark 12. [ Specifically, the sensing unit 200 can detect the target object 10 by detecting the identification mark 12 on the images of all the detected real objects R. FIG.
  • the sensing unit 200 can detect the realization area 14 of the detected target object 10. That is, the location, size, or type of the realization area 14 of the detected object 10 is detected, and the virtual mobile terminal 40 is located and the size and shape corresponding to the realization area 14 .
  • the sensing unit 200 may calculate a predetermined ratio by calculating the size of the identification mark 12 and comparing the size of the previously stored identification mark 12 with the size of the previously stored identification mark 12. Accordingly, the sensing unit 200 can calculate the size of the implementation area 14 of the target object 10 detected at the present time by reflecting the size of the pre-stored implementation area 14 based on the calculated knee ratio have.
  • the sensing unit 200 may analyze the shape of the identification mark 12 to derive the shape of the implementation area 14 of the currently detected target object 10. For example, when the shape of the identification mark 12 is a shape that is different from the three-dimensional space by a predetermined angle in the x-axis direction, the sensing unit 200 corresponds to this, It can be derived as a form,
  • the sensing unit 200 can continuously detect the realization area 14 of the target object 10 in the image changed according to the movement of the target object 10.
  • the virtual mobile terminal may be implemented by a virtual mobile terminal implementation device that provides a virtual reality and a virtual mobile terminal implementation device that provides an augmented reality.
  • the virtual mobile terminal implementation device 21 may provide a virtual mobile terminal to a user of the device on a virtual reality (VR).
  • the virtual mobile terminal implementation device may further include a photographing unit C for photographing the user's front.
  • the virtual mobile terminal implementing device can detect physical objects existing in front of the virtual mobile terminal, and can detect a target object including the double identification mark.
  • the virtual mobile terminal implementation device can provide a virtual mobile terminal as a device providing the mixed reality by implementing a virtual mobile terminal in the area of the detected target object.
  • the virtual mobile terminal may also be implemented through a virtual mobile terminal implementation device 22 that implements an augmented reality (AR).
  • the device may be, for example, a tablet fish.
  • the tablet fish can photograph the front of the user through the mounted photographing unit, and can detect the target object including the identification mark in the photographed image.
  • the tablet fish may implement a virtual mobile terminal in the area of the detected target object and consequently provide a virtual mobile terminal to the user.
  • the identification tag 12 can recognize a virtual mobile terminal of a user using another mixed reality.
  • FIG. 9 is a diagram illustrating a virtual mobile terminal of a user using another mixed reality.
  • a virtual mobile terminal used by the other user based on the detected identity of another user may or may not be implemented on the mixed reality of the user.
  • an identification mark of a target object of another user is detected in a mixed reality image of a user when another user uses a virtual mobile terminal by using a target object including a predetermined identification mark
  • the user's virtual mobile terminal can be represented. That is, when the identification mark is not detected, the virtual mobile terminal of another user may not be displayed in the mixed reality image of the user. Also, even if another user's identification mark is detected, if the identification mark does not display the virtual mobile terminal of another user, it may not be displayed on the mixed reality image of the user.
  • the above description is applicable not only to the mixed reality but also to the virtual reality and the augmented reality.
  • FIG. 10 is a diagram showing a moving target object 10 according to an embodiment of the present application.
  • the mixed reality image is analyzed in real time to detect the position, size, and shape of the target object 10 to be changed based on the identification mark 12.
  • the data related to the detected object 10 and the implementation area 14 of the target object 10 can be defined as detection data in accordance with the detection operation of the target object 10.
  • FIG. 11 is a diagram illustrating an implemented virtual mobile terminal in accordance with one embodiment of the present application.
  • the virtual mobile terminal implementation system 1 can implement the virtual mobile terminal 40 on the detected target object 10.
  • the providing unit 100 may implement the virtual mobile terminal 40 in the realization area 14 of the detected target object 10.
  • the providing unit 100 may superimpose the image of the virtual mobile terminal 40 on the realization area 14 of the mixed reality image,
  • the image of the virtual mobile terminal 40 may be implemented with the same or similar user interface as the actual mobile terminal 50. [ Therefore, the description of the UI of the virtual mobile terminal 40 will be omitted.
  • the virtual mobile terminal can be vividly implemented based on the position of the target object.
  • the virtual mobile terminal 40 may be interworked with the real mobile terminal 50,
  • the interworking may mean that the functions of the real mobile terminal 50 and the virtual mobile terminal 40 are substantially the same.
  • the use of the virtual mobile terminal 40 in a mixed reality may mean substantially the same as using the real mobile terminal 50 in the real world.
  • the virtual mobile terminal 40 may be implemented based on the data of the real mobile terminal 50.
  • FIG. 12 is a diagram illustrating an interlocking process between a virtual mobile terminal 40 and an actual mobile terminal 50 according to an embodiment of the present application.
  • FIG. 13 is a diagram illustrating an interlocking process between a virtual mobile terminal 40 and an actual mobile terminal 50 according to an embodiment of the present application.
  • the server 30 may be an intermediary for data exchange of the actual mobile terminal 50, in order to link the virtual mobile terminal 40 with the actual mobile terminal 50.
  • the virtual mobile terminal implementation device 20 can acquire data of the actual mobile terminal 50 through the server 30.
  • the device 20 when the device 20 acquires an interworking request with the user's actual terminal (S800), the device 20 transmits an interworking request request to the server 30 (S810) .
  • the server 30 having received the request can transmit a request for requesting data of the actual terminal to the actual terminal (S820).
  • the actual terminal receiving the request responds to the request, the actual terminal data can be transmitted to the server 30 (S830).
  • the server 30, which has acquired the data of the actual terminal The virtual mobile terminal 40 may be stored on the basis of the data of the actual terminal so that the actual mobile terminal 50 and the virtual mobile terminal 40 (step S840) 40) can be interlocked (S860).
  • the actual mobile terminal 50 may store data of the actual terminal before the request of the virtual mobile terminal implementation device 20. Accordingly, the mobile terminal implementing device 20 can acquire the data of the actual mobile terminal 50 previously stored from the server 30 and implement the virtual mobile terminal 40 based on the data.
  • the virtual mobile terminal implementing device 20 and the actual mobile terminal 50 can directly communicate with each other to obtain data of the actual mobile terminal 50.
  • the communication method may be WebRTC communication.
  • a link "PEER: // the identity of the real mobile terminal 50" may be transmitted to the mobile terminal implementing device 20 via the actual mobile terminal 50. Accordingly, the user can receive data on the actual mobile terminal 50 from the actual mobile terminal 50 by starting WebRTC communication with the actual mobile terminal 50 via the link .
  • FIG. 14 is a diagram illustrating touch recognition through a virtual mobile terminal 40 according to an embodiment of the present application.
  • FIG. 15 is a diagram illustrating a zoom-in / zoom-out through a virtual mobile terminal 40 according to an embodiment of the present application.
  • a virtual mobile terminal implementation system can recognize a user's touch to the virtual mobile terminal, recognize a gesture, or recognize a voice.
  • the virtual mobile terminal implementation system may recognize a physical object accessing the implemented virtual mobile terminal. Specifically, one end of a physical object accessing the virtual mobile terminal can be recognized, and it is possible to recognize whether a physical end of the physical object is touched to the virtual mobile terminal.
  • One end of the physical object may be the end of a part of the user's body or the end of a rod or the like held by the user.
  • a predetermined virtual icon may be implemented as shown in the figure, and objects that trigger a function of a predetermined virtual key may be implemented.
  • the functions can be triggered.
  • the functions may include character input (hereinafter referred to as input), call use, video output, and the like.
  • the virtual mobile terminal implementation system can recognize the touch by detecting sound, image change, or the like due to one end of the physical object.
  • one end of the physical object can recognize the touch by sensing a sound or a shadow generated when the virtual mobile terminal contacts the target object on which the virtual mobile terminal is implemented.
  • the virtual mobile terminal implementation system may recognize a user's gesture for the implemented virtual mobile terminal.
  • the gesture should be interpreted not only as a gesture using the user's body but also as a concept including a specific operation by an object held by the user.
  • predetermined functions can be triggered.
  • the above functions may include character input (hereinafter referred to as input), call use, video output, and the like as described above.
  • the virtual mobile terminal implementation system can recognize the voice for the implemented virtual mobile terminal.
  • the virtual mobile terminal implementation system can analyze the voice of the user and grasp the contents. Accordingly, predetermined functions can be triggered.
  • the above functions may include character input (hereinafter referred to as input), call use, video output, and the like as described above.
  • the virtual mobile terminal implementation system may recognize whether the voice is a user voice using the virtual mobile terminal through a procedure of authenticating the voice of the user.
  • the predetermined function can be triggered by the touch recognition as described above.
  • the user can touch the first area 15 of the virtual mobile terminal 40 with his or her finger and touch the second area 16 with his finger.
  • the virtual mobile terminal system can recognize the touch of the finger.
  • the touch recognition can be performed by sound.
  • the sensing unit 200 senses the first sound S1 and the second sound S2 and the analysis unit can identify the first sound S1 and the second sound S2. If the first sound S1 and the second sound S2 are identified, each can be recognized as a touch of the first region 15 and a touch of the second region 16
  • the touch recognition can identify based on the speed of the end of the user's finger toward the virtual mobile terminal.
  • the virtual mobile terminal implementation system may recognize the end of the user's finger and detect its speed. The end of the user's finger is moved to gradually slow down the speed and consequently the speed is stopped.
  • the virtual mobile terminal implementation system can recognize that the speed is in the stopping area. That is, the speed V1 of the finger directed toward the first area 15 and the speed V2 of the finger directed toward the second area 16 are detected to recognize each touch.
  • the touch recognition can be detected through a change in the image.
  • the touch recognition can be sensed by detecting a change in the image of the end portion of the finger in the mixed reality image.
  • the touch recognition may be sensed based on the shadow of the user's finger.
  • the zoom-in / zoom-out function may be performed based on a touch of an object of the virtual mobile terminal 40.
  • at least two or more fingers of the user may be contacted with the object.
  • the sound S3 is generated and the speed V3 is generated, so that the zooming / zooming out is determined based on the above-described methods.
  • the providing unit 100 may reflect the state of the virtual mobile terminal 40, which is changed according to the interaction through the object of the user, to the mixed reality image and provide it to the user.
  • 16 is a diagram showing a communication operation of the virtual mobile terminal 40 according to an embodiment of the present application.
  • 17 is a diagram showing a communication operation of the virtual mobile terminal 40 using the WebRTC according to an embodiment of the present application.
  • FIG. 18 is a diagram illustrating a video communication operation according to an embodiment of the present application.
  • FIG. 19 is a diagram illustrating a size-adjusted image in a mixed reality according to an embodiment of the present application.
  • a user of mixed reality can make a call through the virtual mobile terminal 40.
  • the other party of the call is a person different from the user of the mixed reality.
  • the other party's call device is an actual mobile terminal 50, a mixed presence device, or a WebRTC and an Internet- Device or the like.
  • the communication device of the other party of the call can be defined as the communication device 70.
  • the call operation using the virtual mobile terminal 40 may include a call input step, a server 30 request step, and a call connection step.
  • the user can initiate a call operation using the call function implemented in the virtual mobile terminal 40 in the mixed reality.
  • the user may touch an object that triggers the call function implemented in the virtual mobile terminal 40 and initiate a call operation by sensing the touch.
  • a communication identifier for starting WebRTC communication may be generated according to a trigger of the function of the calling object.
  • the communication identifier may include a unique ID of the virtual mobile terminal implementing device 20.
  • the communication identifier can be directly generated by a user, and when the identifier is implemented in the form of a web link, the communication identifier can be generated according to a predetermined method.
  • the communication identifier may be implemented in the form of a QR code, a VR link, or the like as described above.
  • the communication can be conveniently performed without any compatibility problem.
  • compatibility between the application and the virtual mobile terminal implementing device 20 should be considered.
  • the user can perform the call using the web altise communication through the connection to the web browser of the virtual mobile terminal implementation device 20 without a separate application Compatibility issues can be resolved.
  • the communication can be facilitated.
  • a predetermined parameter may be added to the call identifier as described above.
  • the call based on the WebRTC communication can be controlled according to the added parameter.
  • the type of the call, the characteristics of the call, the method of the call, and the like can be controlled according to the parameter.
  • the virtual mobile terminal implementing device 20 may receive the user's call input. Specifically, the user can designate a communication party to be called and request a call with the specified communication party through a call input. Accordingly, the virtual mobile terminal implementing device 20 can request a call to the calling partner device 70 to the predetermined server 30 that manages the call connection.
  • the server 30 may be a base station that manages a call when the call connection is a call with the mobile terminal 50.
  • the server 30 of the present application may transmit the WebRTC communication And can establish a well-altitude-based call by being implemented in the managing server 30. Accordingly, the server 30 can transmit the communication identifier to the communication partner device 70 of the communication partner.
  • the server 30 may receive a call request and send a call connection request to the call partner device 70.
  • the other party of the call accepts the call connection through the communication partner device 70
  • the communication device of the other party of the call with the virtual mobile terminal 40 can be connected to the call.
  • the other party of the call may initiate WebRTC communication with the virtual mobile terminal implementing device 20 of the user through the communication identifier transmitted to the calling partner device 70.
  • the virtual mobile terminal 40 implements the call interface to the virtual mobile terminal 40 so that the user can make a call in the mixed reality, so that the user can actually talk through the virtual mobile terminal 40 Can provide the same experience as doing.
  • the video data must be exchanged for the video call differently from the voice call in which only the voice data is exchanged. Since the video data is larger in size than the audio data, the media server 60 may be further provided for processing the video data. The media server 60 may store the media data and allow each party to exchange media data.
  • the device 70 can exchange data with each other.
  • the virtual mobile terminal implementing device 20 can request the server 30 to transmit the communication identifier (S1210).
  • the server 30 may transmit the communication identifier to the communication partner device 70 (S1220).
  • a WebRTC communication may be established between the virtual mobile terminal implementation device 20 and the communication partner device 70 by transmitting a response to the virtual mobile terminal implementation device 20 in operation S 1240, .
  • the media server 60 may cause the virtual mobile terminal implementing device 20 and the communication partner device 70 to exchange media data with each other (S1260) when the WebRTC communication is established . To this end, the media server 60 may receive and transmit media data from the virtual mobile terminal implementing device 20 and the calling partner device 70, respectively.
  • the media server 60 may store media data to be exchanged. Accordingly, the user or the communication partner can access the media data stored in the media server 60 and use the past media data.
  • the video call may include a one-to-one video call as well as a multi-video call.
  • the communication identifier may be transmitted to a plurality of calling-party devices 70 so that the virtual mobile terminal-implementing device 20 and the plurality of calling- (WebRTC) communication can be established.
  • the media server 60 can receive media data from the virtual mobile terminal implementing device 20 and the plurality of communication partner devices 70, and transmit the media data to each device.
  • a predetermined parameter may be added to the communication identifier in order to establish WebRTC communication with a plurality of communication counterparts 70.
  • the parameter may be a parameter for establishing a video call with all of the communication partner devices 70 using one communication identifier.
  • the parameter may be a parameter including a unique ID of all the correspondent devices 70.
  • a predetermined parameter may be added to the communication identifier to determine the type of the call to be started.
  • the identifier is a custom link
  • the type of call can be selected through a custom link to which a parameter such as "peer: // user ID / (call type)" is added.
  • the base of the call is designated as a voice call, and the type of call with the caller can be determined using a custom link of the form "peer: // user ID / video call”.
  • the user can adjust the size of the provided image according to the gesture during the video call using the virtual mobile terminal 40.
  • an image size during a video call using the virtual mobile terminal 40 can be adjusted based on a user's gesture according to an embodiment of the present application.
  • the gesture may be a zoom in / zoom out using two fingers of the user.
  • the image size may be adjusted based on the distance D between the user and the target object 10 on which the virtual mobile terminal 40 is implemented, as shown in FIG. For example, when the user moves the target object 10 and the distance D approaches the user, the size of an image output by the virtual mobile terminal 40 implemented in the target object 10 Lt; / RTI >
  • the image can be expanded onto the mixed reality image space.
  • the size of the image used for the video call can be initially implemented with a size corresponding to the implementation area of the target object 10, but the size of the image is extended to the periphery of the implementation area according to the user's taste,
  • the terminal providing device can allow the user to utilize the image implemented in an area other than the target object.
  • the virtual mobile terminal can continuously use additional contents or controllers while the image is expanded.
  • FIG. 20 is a flowchart of a control method of a virtual mobile terminal implementation system 1 according to an embodiment of the present application.
  • a control method of a virtual mobile terminal implementation system 1 includes a mixed reality implementation S1000, a target object detection S2000, a virtual mobile terminal implementation S3000, And an Alti-based call initiation (S4000). Steps S1000 to S4000 may all be performed, but not all of steps S1000 to S4000 need to be performed at all, and only at least one of steps S1000 to S4000 may be performed.
  • a user wearing the virtual mobile terminal realization device 20 can receive the mixed reality through the virtual mobile terminal realization device 20.
  • the virtual mobile terminal implementation device 20 implements a mixed reality image, and a user wearing the device can view the image to provide a mixed reality to the user.
  • the target object 10 may be detected based on the identification mark 12 in the mixed reality image provided through the virtual mobile terminal 40.
  • the implementation area 14 formed on the target object 10 can be detected based on the shape of the identification mark 12.
  • the virtual mobile terminal 40 may be implemented in the realization area 14 of the detected target object 10 in the virtual mobile terminal implementation step S3000.
  • the virtual mobile terminal 40 may be interworked with the actual mobile terminal 50 of the user.
  • the virtual mobile terminal implementation device 20 can detect a touch of a call object of the virtual mobile terminal 40 and initiate a call. At this time, the virtual mobile terminal implementing device 20 can generate a communication identifier for starting a WebRTC call, and by transmitting the communication identifier to the communication partner device 70 of the communication partner, (WebRTC) based call.
  • WebRTC communication partner
  • each embodiment may selectively include the above-described steps.
  • each step constituting each embodiment is not necessarily performed according to the order described, and the step described later may be performed before the step described earlier. It is also possible that each step is repeatedly performed during operation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 출원은 혼합 현실 에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법에 관한 것으로. 본 출원의 일 실시예에 따르면 혼합 현실에서 이용되는 가상의 모바일 단말을 구현하는 방법으로서, 감지된 실제의 객체와 인공적으로 구현된 가상의 객체를 포함하는 혼합 현실 영상을 구현하는 단계; 식별 표지를 기초로 상기 구현된 혼합 현실 영상 내의 대상 오브젝트를 탐지하는 단계; 상기 혼합 현실 영상에서 상기 탐지된 대상 오브젝트의 영역에 상기 가상의 모바일 단말의 영상을 구현하는 단계; 및 상기 혼합 현실 영상 내의 상기 가상의 모바일 단말을 통한 통화 요청을 수신하는 경우, 웹알티시 통신 연결을 수립하기 위한 고유 아이디를 포함하는 통신 식별자를 통화 상대 기기로 전송함으로써 상기 웹알티시 통신 연결을 수립하는 단계;를 포함하는 가상 모바일 단말 구현 방법이 제공된다.

Description

혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
본 출원은 가상 모바일 단말 구현 방법 및 이를 이용하는 가상 모바일 단말 제공 시스템 에 관한 것으로, 보다 상세하게는 혼합 현실 상에서 대상 오브젝트에 가상 모바일 단말을 구현하여, 상기 혼합 현실의 사용자가 상기 가상 모바일 단말을 이용하도록 하는 가상 모바일 단말 구현 방법 및 이를 이용하는 가상 모바일 단말 제공 시스템에 관한 것이다.
혼합 현실이란 실제의 공간에 가상의 공간 내지는 가상의 객체를 덧씌워 구현되는 반(半)가상 현실이다.
상기 혼합 현실 내에서, 상기 혼합 현실의 사용자는 실제의 공간의 실제의 객체를 이용할 수 있을 뿐만 아니라, 상기 혼합 현실 내에서 제공되는 가상의 공간 내지는 가상의 객체를 이용할 수 있다. 상기 혼합 현실은 증강 현실과 같이 실제의 세계와 상호 작용할 수 있다는 장점과 가상 현실의 가상의 객체를 제공함으로써 사용자에게 몰입감을 부여하는 장점 모두를 가지고 있어, 다양한 분야로의 적용이 기대되고 있다.
상기 혼합 현실의 적용의 확대에 따라 혼합 현실은 일상 생활에서 빈번하게 이용될 것이기 때문에, 최근에는 상기 혼합 현실에서 사용자가 편안한 일상 생활을 영위할 수 있도록 혼합 현실에서 모바일 단말을 편리하게 이용하는 방법에 대한 수요가 증대하고 있는 실정이다.
본 출원의 일 과제는 디스플레이가 없는 형태의 혼합 현실 상에서 편리하게 이용될 수 있는 가상의 모바일 단말을 구현하는 것에 있다.
본 출원의 다른 과제는 혼합 현실 상에서 가상의 모바일 단말의 이용이 용이해지도록 상기 가상의 모바일 단말이 구현될 수 있는 영역을 포함하는 대상 오브젝트를 제공하는 것에 있다.
본 출원의 또 다른 과제는 혼합 현실 내의 가상의 모바일 단말을 이용하여 혼합 현실 외의 다른 기기와 통신을 수행하는 방법을 제공하는 것에 있다.
본 출원이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 실시예에 따르면, 혼합 현실에서 이용되는 가상의 모바일 단말을 구현하는 방법으로서, 감지된 실제의 객체와 인공적으로 구현된 가상의 객체를 포함하는 혼합 현실 영상을 구현하는 단계; 식별 표지를 기초로 상기 구현된 혼합 현실 영상 내의 대상 오브젝트를 탐지하는 단계; 상기 혼합 현실 영상에서 상기 탐지된 대상 오브젝트의 영역에 상기 가상의 모바일 단말의 영상을 구현하는 단계; 및 상기 혼합 현실 영상 내의 상기 가상의 모바일 단말을 통한 통화 요청을 수신하는 경우, 웹알티시 통신 연결을 수립하기 위한 고유 아이디를 포함하는 통신 식별자를 통화 상대 기기로 전송함으로써 상기 웹알티시 통신 연결을 수립하는 단계;를 포함하는 가상 모바일 단말 구현 방법이 제공될 수 있다.
본 출원의 다른 실시예에 따르면, 실제의 세계의 실제의 객체를 감지하는 감지부; 상기 감지된 실제의 객체와 인공적으로 구현된 가상의 객체를 포함하는 혼합 현실 영상을 출력하는 출력부; 및 식별 표지를 기초로 상기 혼합 현실 영상 내의 대상 오브젝트를 탐지하며, 상기탐지된 영역에 상기 가상의 모바일 단말의 영상을 구현하며, 상기 혼합 현실 영상 내의 상기 가상의 모바일 단말을 통한 통화 요청을 수신하는 경우, 웹알티시 통신 연결을 수립하기 위한 고유 아이디를 포함하는 통신 식별자를 통화 상대 기기로 전송함으로써 상기 웹알티시 통신 연결을 수립하는 제어부;를 포함하는 가상 모바일 단말 구현 장치가 제공될 수 있다.
본 출원의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원에 의하면 혼합 현실 상에서 편리하게 이용될 수 있는 가상의 모바일 단말이 제공될 수 있다.
본 출원에 의하면 혼합 현실 상에서 가상의 모바일 단말의 이용이 용이해지도록 상기 가상의 모바일 단말이 구현될 수 있는 영역을 포함하는 대상 오브젝트가 제공될 수 있다.
본 출원에 의하면 혼합 현실 내의 가상의 모바일 단말을 이용하여 혼합 현실 외의 다른 기기와 통신을 수행하는 방법이 제공될 수 있다.
본 출원의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 출원의 일 실시예에 따른 사용자에게 제공되는 혼합 현실을 나타내는 도면이다.
도 2는 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템을 나타내는 도면이다.
도 3은 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템에 구현되는 유닛들을 나타내는 블록도이다.
도 4는 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 디바이스를 나타내는 도면이다.
도 5는 본 출원의 일 실시예에 따른 대상 오브젝트의 일 예를 나타내는 도면이다.
도 6은 본 출원의 일 실시예에 따른 혼합 현실 영상(MR)내에서 탐지된 대상 오브젝트의 위치를 기초로 구현된 가상 모바일 단말을 나타내는 도면이다.
도 7은 본 출원의 일 실시예에 따른 가상 현실 영상(VR)내에서 탐지된 대상 오브젝트의 위치를 기초로 구현된 가상 모바일 단말을 나타내는 도면이다.
도 8은 본 출원의 일 실시예에 따른 증강 현실 영상(AR)내에서 탐지된 대상 오브젝트의 위치를 기초로 구현된 가상 모바일 단말 나타내는 도면이다.
도 9는 다른 혼합 현실을 사용하는 사용자의 가상 모바일 단말을 나타내는 도면이다.
도 10은 본 출원의 일 실시예에 따른 이동되는 대상 오브젝트를 나타내는 도면이다.
도 11은 본 출원의 일 실시예에 따른 구현된 가상 모바일 단말을 나타내는 도면이다.
도 12는 본 출원의 일 실시예에 따른 가상 모바일 단말과 실제 모바일 단말의 연동 과정을 나타내는 도면이다.
도 13은 본 출원의 일 실시예에 따른 가상 모바일 단말과 실제 모바일 단말의 연동 과정을 나타내는 도면이다.
도 14는 본 출원의 일 실시예에 따른 가상 모바일 단말을 통한 터치 인식을 나타내는 도면이다.
도 15는 본 출원의 일 실시예에 따른 가상 모바일 단말을 통한 줌인(Zoom-in)/줌아웃(Zoom-out)을 나타내는 도면이다.
도 16는 본 출원의 일 실시예에 따른 가상 모바일 단말의 통신 동작을 나타내는 도면이다.
도 17은 본 출원의 일 실시예에 따른 웹알티시(WebRTC)를 이용한 가상 모바일 단말의 통신 동작을 나타내는 도면이다.
도 18은 본 출원의 일 실시예에 따른 영상 통화 동작을 나타내는 도면이다.
도 19는 본 출원의 일 실시예에 따른 혼합 현실 내에서 크기가 조절되는 영상을 나타내는 도면이다.
도 20은 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템의 제어 방법의 순서도이다.
본 명세서에 기재된 실시예는 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 출원의 사상을 명확히 설명하기 위한 것이므로, 본 출원이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 출원의 범위는 본 출원의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 출원에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 출원을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 출원의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 출원이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 출원에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 출원의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
본 출원의 일 실시예에 따르면, 혼합 현실에서 이용되는 가상의 모바일 단말을 구현하는 방법으로서, 감지된 실제의 객체와 인공적으로 구현된 가상의 객체를 포함하는 혼합 현실 영상을 구현하는 단계; 식별 표지를 기초로 상기 구현된 혼합 현실 영상 내의 대상 오브젝트를 탐지하는 단계; 상기 혼합 현실 영상에서 상기 탐지된 대상 오브젝트의 영역에 상기 가상의 모바일 단말의 영상을 구현하는 단계; 및 상기 혼합 현실 영상 내의 상기 가상의 모바일 단말을 통한 통화 요청을 수신하는 경우, 웹알티시 통신 연결을 수립하기 위한 고유 아이디를 포함하는 통신 식별자를 통화 상대 기기로 전송함으로써 상기 웹알티시 통신 연결을 수립하는 단계;를 포함하는 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 가상의 모바일 단말의 영상을 구현하는 단계에서, 상기 가상의 모바일 단말이 가상의 오브젝트를 포함하며, 상기 가상의 오브젝트는 웹알티시 통화 연결 오브젝트를 포함하는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 통신 연결을 수립하는 단계에서, 상기 통화 요청은 상기 가상의 모바일 단말에 구현된 가상의 오브젝트 터치를 감지하여 수신하는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 오브젝트 터치의 감지는 상기 가상의 모바일 단말의 가상의 오브젝트를 터치하는 경우에 상기 가상의 오브젝트가 구현된 대상 오브젝트의 영역의 재질에 기인하여 발생되는 소리에 기초하여 수행되는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 오브젝트 터치의 감지는 상기 가상의 모바일 단말의 가상의 오브젝트가 형성된 영역의 영상의 변화를 감지함으로써 수행되는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 오브젝트 터치의 감지는 상기 가상의 오브젝트를 향해 이동하는 객체의 속도를 탐지하여 수행되는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 가상의 모바일 단말의 영상을 구현하는 단계는, 상기 가상의 모바일 단말이 구현되는 상기 대상 오브젝트의 영역의 형태를 감지하는 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 혼합 현실 영상 내의 상기 대상 오브젝트의 상기 식별 표지의 형태에 기초하여 상기 대상 오브젝트의 영역의 형태를 감지하는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 웹알티시 통신 연결을 수립하는 단계에서, 상기 통신 식별자는 소정의 링크로 생성되는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 웹알티시 통신 연결을 수립하는 단계에서, 상기 통신 식별자에는 상기 통화를 제어하기 위한 소정의 파라미터가 부여되는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 통신 식별자에 부가된 파라미터에 따라 상기 통화의 종류가 결정되는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 통화의 종류가 영상 통화인 경우, 상기 가상 모바일 단말의 영상을 구현하는 단계에서 상기 가상 모바일 단말 내에 영상 통화에 의한 통화 영상을 구현하는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 상기 통화의 종류가 영상 통화인 경우, 미디어 서버로 미디어 데이터를 전송하는 단계; 및 상기 미디어 서버로부터 미디어 데이터를 획득하여 상기 통화 영상을 구현하는 단계;를 더 포함하는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
또, 실제의 모바일 단말의 데이터를 획득하는 단계;를 더 포함하고, 상기 실제의 모바일 단말의 데이터에 기초하여 상기 가상의 모바일 단말의 영상을 구현하는 것을 특징으로 하는, 가상 모바일 단말 구현 방법이 제공될 수 있다.
본 출원의 다른 실시예에 따르면, 실제의 세계의 실제의 객체를 감지하는 감지부; 상기 감지된 실제의 객체와 인공적으로 구현된 가상의 객체를 포함하는 혼합 현실 영상을 출력하는 출력부; 및 식별 표지를 기초로 상기 혼합 현실 영상 내의 대상 오브젝트를 탐지하며, 상기탐지된 영역에 상기 가상의 모바일 단말의 영상을 구현하며, 상기 혼합 현실 영상 내의 상기 가상의 모바일 단말을 통한 통화 요청을 수신하는 경우, 웹알티시 통신 연결을 수립하기 위한 고유 아이디를 포함하는 통신 식별자를 통화 상대 기기로 전송함으로써 상기 웹알티시 통신 연결을 수립하는 제어부;를 포함하는 가상 모바일 단말 구현 장치가 제공될 수 있다.
이하의 설명에서 영상과 이미지는 혼용될 수 있다. 예를 들어, 혼합 현실의 영상은 혼합 현실 이미지일 수 있고, 가상 모바일 단말의 영상은 가상 모바일 단말의 이미지일 수 있다.
이하에서는 가상 모바일 단말 구현 방법 및 이를 이용하는 가상 모바일 단말 구현 시스템에 대해서 설명한다.
1. 혼합 현실
도 1은 본 출원의 일 실시예에 따른 사용자에게 제공되는 혼합 현실을 나타내는 도면이다.
도 1을 참조하면, 상기 혼합 현실(Mixed Reality, MR)은 현실과 가상의 정보가 융합된 가상의 세계를 의미할 수 있다. 달리 말해, 상기 혼합 현실은 실제의 공간을 기반으로 가상의 객체(V) 또는 가상의 공간을 덧씌워 구현되는 가상의 세계일 수 있다. 상기 혼합 현실을 경험하는 사용자는 현실의 공간을 기반으로 구현되는 세계이기 때문에 현실의 세계와 상호작용을 하며, 동시에 현실이 아닌 가상의 공간 및 객체(V)를 경험할 수 있게 되어 다이나믹한 경험을 할 수 있게 된다.
상기 혼합 현실을 제공하기 위해, 혼합 현실 제공 시스템(1)은 실제의 공간과 가상의 공간이 혼재되어 구현되는 영상을 사용자에게 제공할 수 있다. 상기 영상은 혼합 현실 영상으로 정의될 수 있다. 상기 혼합 현실 영상은 혼합 현실 제공 시스템(1)에 의해 구현되며, 사용자가 착용하는 혼합 현실 구현 디바이스(20)를 통해 상기 사용자에게 제공됨으로써, 상기 사용자는 혼합 현실을 경험할 수 있게 된다.
이러한 혼합 현실은 종래의 가상 현실에 비하여 사용이 용이하다는 장점이 존재한다. 기존 가상 현실의 경우 보여지는 가상의 영상을 조작하기 위해서는 별도의 전자적인 장치가 구비되어야 한다. 이에 반하여, 혼합 현실의 경우 제공되는 혼합 현실 영상은 실제의 공간을 기반으로 만들어지는 세계이기 때문에, 실제의 공간에서 사용자의 제스쳐 등과 같은 물리적 객체의 변화를 감지할 수 있어 상기 감지된 물리적 객체의 변화에 기초하여 용이하게 혼합 현실 영상을 제어할 수 있다.
한편, 혼합 현실 상에서는 웹알티시(WebRTC)통신을 이용하여 상기 혼합 현실의 사용자는 다른 외부 기기와 통신을 할 수 있다. 상기 웹알티시(WebRTC) 통신의 수립은 소정의 통신 식별자를 통해 개시될 수 있는데, 이에 대해서 구체적으로 설명한다.
한편, 본 출원에서 이용되는 가상 환경은 상술한 혼합 현실 이외에도 가상 현실(Virtual Reality, VR) 및 증강 현실(Augumented Reality, AR)등을 포함할 수 있다. 따라서, 이하의 명세서에서는 특별한 언급이 없다면 혼합 현실을 예로 들어 설명하나, 이하의 설명은 가상 현실 및 증강 현실에도 전용될 수 있다.
1.1 실제의 객체와 가상의 객체
이하에서는 실제의 객체(R)와 가상의 객체(V)의 혼합에 대해서 설명한다.
혼합 현실 환경에서는 실제의 객체(R)와 가상의 객체(V)가 혼합되어 존재할 수 있다,
도 1을 참조하면, 구현된 혼합 현실 환경에서는 실제의 객체(R)와 가상의 객체(V)가 사용자에게 동시에 제공될 수 있다. 즉, 사용자는 혼합 현실 환경에서 실제의 객체(R)와 가상의 객체(V)를 동시에 경험할 수 있게 된다.
상기 가상의 객체(V)는 혼합 현실 환경을 구현하는 혼합 현실 제공 시스템에 의해 상기 시스템의 사용자에게 제공될 수 있다. 달리 말해, 혼합 현실 환경의 제공자는 상기 혼합 현실 제공 시스템을 통해 사용자에게 제공되는 가상의 객체(V)를 구현할 수 있다. 즉, 상기 혼합 현실 제공 시스템을 통해 사용자에게 혼합 현실 환경에서 목적에 따라 다양한 가상의 객체(V)를 구현하고, 제어하여 혼합 현실 제공 시스템의 사용자에게 제공 할 수 있다. 달리 말해, 상기 혼합 현실 제공 시스템은 소정의 가상 기기 구현 방법에 따라 사용자에게 혼합 현실 환경 상에서 가상의 기기를 제공할 수 있다.
이와 같이 사용자가 현재하는 공간의 실제의 객체(R)와 더불어 실제로는 존재하지 않는 가상의 객체(V)를 경험할 수 있게 되어, 사용자는 혼합 현실 환경 상에서 실제의 세계에서 경험할 수 는 새로운 경험을 할 수 있게 된다. 또한, 상기 혼합 현실 환경 상에서 제공되는 가상의 기기를 통해 간편하게 실제의 세계에서 이용하는 실제의 기기를 이용할 수 있다. 또한, 제공되는 가상의 기기의 수와 기능은 구현 목적에 따라 간단하게 변경가능하기 때문에 혼합 현실 환경의 사용자의 필요에 따라 제공자는 사용자에게 적합한 가상의 기기를 제공할 수 있게 된다.
한편, 상기 혼합 현실 환경에서 실제의 물리적인 객체(R)에 가상의 기기를 구현하여 제공할 수 있다. 달리 말해, 혼합 현실 환경의 제공자는 혼합 현실 제공 시스템을 통해 사용자에게 혼합 현실 환경 상에서 상기 사용자가 이용할 수 있는 가상의 기기를 제공할 수 있다.
상기 가상의 기기는 혼합 현실 환경에서 이용될 수 있는 모든 기기가 될 수 있으며, 예를 들어 상기 가상의 기기는 가상 모바일 단말, 소정의 입력 장치일 수 있다.
이하에서는 혼합 현실 상에서 이용될 수 있는 웹알티시(WebRTC) 통신에 대해서 설명한다.
1.2 웹알티시(WebRTC) 통신
최근 들어 스마트 폰과 같은 휴대 단말 장치를 통한 모바일 인터넷이 발전하면서 많은 서비스가 개발되고 있으며, 구글은 웹 기반의 채팅서비스를 구현하기 위한 실시간 커뮤니케이션 기술 '웹알티시(WebRTC)'를 개발하여 표준화를 진행하였다. 웹알티시(WebRTC)는 어플리케이션의 적용 없이 웹 브라우저만을 이용하여 사용자간 미디어 통신이 가능한 솔루션으로 운영체제나 단말기의 종류와 상관 없이 표준 기술을 지원하는 각 브라우저에서 모두 동작할 수 있는 것이 특징이다.
이러한 웹알티시(WebRTC)라는 기술을 통해, 사용자가 인터넷을 통해 쉽게 커뮤니케이션을 연결할 수 있고, 인터넷상에 자신의 주소를 공개하고 다른 사람이 접속할 수 있도록 하는 서비스가 가능해졌다.
상기 웹알티시(WebRTC) 통신을 수립하기 위한 방법으로는, 커스텀링크, 웹링크, QR코드, VR링크, 버튼, 및 브랜드로고/상표 등의 통신 식별자를 이용하는 방법이 있을 수 있다.
이하에서는 각 통신식별자에 대해서 구체적으로 설명한다.
상기 커스텀링크는 웹알티시(WebRTC) 통신의 사용자에 의해 생성되는 일종의 통신 링크로 정의될 수 있다. 예를 들어,“peer(또는, webpeer)://akn”으로 정의된 링크를 통해 "peer"라는 어플리케이션이 실행되며, 해당 링크를 발행한 사용자와 상기 링크를 통해 통신 연결을 승낙한 통신 상대방 간에 웹알티시(WebRTC) 통신 연결이 수립될 수 있다.
상기 웹 링크는 http 기반의 링크일 수 있다. 예를 들어, “http://webpeer.io/akn”을 접속 요청자가 선택하면, 웹 브라우저의 실행과 함께 해당 링크의 주소로 접속하며, 해당 링크를 발행한 사용자와 상기 링크를 통해 통신 연결을 승낙한 통신 상대방 간에 웹알티시(WebRTC) 통신 연결이 수립될 수 있다.
또한, QR 코드를 통해 연결 수단을 제공하고, 이를 접속 요청자가 단말의 카메라로 인식하면 해당 QR 코드를 발행한 사용자와 상기 링크를 통해 통신 연결을 승낙한 통신 상대방 간에 웹알티시(WebRTC) 통신 연결이 수립될 수 있다.
VR 링크는 상술한 바와 같이 가상의 환경에서 접속 요청자의 연결 수단의 선택을 입력 받고, VR 링크를 발행한 사용자와 상기 링크를 통해 통신 연결을 승낙한 통신 상대방 간에 웹알티시(WebRTC) 통신 연결이 수립될 수 있다.
버튼의 경우, 상술한 링크를 직접 또는 간접적으로 포함하는 화면의 일영역을 통신 사용자 또는 통신 상대방이 터치 또는 클릭할 수 있게 디스플레이 화면 상에 표시하는 것으로 링크 주소를 텍스트로 직접 표시하거나, 간접적으로 포함하고 AKN이라는 접속 수신자의 정보 만을 표시하게 하는 것도 가능하다.
또한, 본 실시예에서 버튼에 표시되는 이미지를 통신 사용자 직접 설정하고 자신의 브랜드 로고나, 상표 명을 버튼으로 표시되도록 하는 것도 가능하다.
즉, 본 실시예에 따른 연결 설정 방법을 제공하는 서비스 주체가 아닌, 이를 이용하는 주체 측에서, 자신의 브랜드 로고나 상표 명을 붙여서 사용자측의 단말에 표시될 수 있도록 하여, 사용자로 하여금 직관적으로 브랜드 로고나 상표 명으로 자신이 접속할 상대방이 무엇인지를 인식할 수 있도록 할 수 있다.
상기 통신 식별자는 상기 통신 식별자를 전송하는 웹알티시(WebRTC) 통신의 사용자의 기기의 고유 아이디를 포함할 수 있다. 상기 고유 아이디는 웹알티시(WebRTC) 통신을 수립하기 위한 사용자의 기기의 IP등의 통신 주소, 내지는 사용자의 기기를 식별하여 통신을 수립하기 위하여 식별 가능한 주소를 의미할 수 있다.
구체적으로, 웬알티시 통신의 사용자는 소정의 기기를 통해 전술한 커스텀링크, 웹링크, QR코드, VR링크, 버튼, 및 브랜드로고/상표를 통신의 상대방의 기기로 전송하여, 통신의 상대방의 기기는 획득한 통신 식별자에 포함된 고유 아이디를 통해 상기 사용자의 기기와 웹알티시(WebRTC) 통신을 개시할 수 있다.
또한, 상기 통신 식별자에는 소정의 파라미터가 부가될 수 있다. 소정의 파라미터(parameter)가 부가됨으로써 통신 연결 수립과 동시에 소정의 기능을 할 수 있도록 구현될 수 있다. 이에 대해서는 구체적으로 설명한다. 상기 커스텀 링크는 상기 파라미터가 URL 형태로 구현되는 경우 "peer://아이디/파라미터"의 형식으로 커스텀 링크에 부가될 수 있으며, QR 형태로 구현되는 경우 해당 기능이 부여되도록 QR이 구현될 수 있다. 상기 파라미터의 부가에 따라 부여되는 기능에 대해서는 후술할 개별적인 사안들에서 구체적으로 설명하도록 한다.
이상에서는, 혼합 현실 제공 시스템(1)과 상기 시스템(1)에서 이용될 수 있는 통신인 웹알티시(WebRTC)통신에 대해서 설명하였다.
한편, 상기 가상의 기기 중 가상 모바일 단말(40)을 제공하는 혼합 현실 제공 시스템(1)은 가상 모바일 단말 구현 시스템(1)으로 정의될 수 있다.
이하에서는, 상기 가상 모바일 단말 구현 시스템(1) 및 상기 시스템(1)에서 이용되는 가상 모바일 단말(40) 구현 방법에 대해서 구체적으로 설명한다.
2. 가상 모바일 단말 구현 시스템
도 2는 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)을 나타내는 도면이다.
도 2를 참조하면, 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)은 대상 오브젝트(10) 가상 모바일 단말 구현 디바이스(20), 및 서버(30)로 구성될 수 있다.
상기 대상 오브젝트(10)는 상기 가상 모바일 단말 구현 시스템(1)에 의해 구현되는 가상 모바일 단말(40)이 구현될 수 있는 영역을 제공하는 물리적인 객체이다.
상기 가상 모바일 단말 구현 디바이스(20)는 가상 모바일 단말 구현 시스템(1)의 사용자에게 혼합 현실과 가상의 모바일 단말을 구현하여 제공하는 기기일 수 있다.
상기 서버(30)는 서비스 서버(30)일 수 있다. 상기 서버(30)는 클라우드 서버 형태로 제공되어 가상 모바일 단말 구현 시스템(1)에서 교환되는 데이터들을 저장하고, 전송할 수 있다. 또는 상기 서버(30)는 웹알티시(WebRTC) 서버(30)가 되어 웹알티시(WebRTC) 통신과 관련하여 통신의 수립, 데이터의 교환, 통신의 단절 등을 관리하는 서버가 될 수도 있다. 구체적으로, 상기 서버(30)가 웹알티시(WebRTC) 서버로 구현되는 경우 웹알티시(WebRTC) 통신을 수립하기 위하여 전송되는 통신 식별자를 관리할 수 있다.
한편, 상기 도 2에 도시된 구성 이외에도 더 많은 구성을 포함하는 가상 모바일 단말 구현 시스템(1)이 구현될 수 있다. 예를 들어, 상기 가상 모바일 단말 구현 시스템(1)에는 실제 세계에서 이용되는 실제 모바일 단말(50)이 더 포함될 수 있다. 이 경우, 상기 실제 모바일 단말(50)은 상기 시스템(1)에 의해 제공되는 가상 모바일 단말(40)과 연동 될 수 있는데 이에 대해서는 구체적으로 후술하도록 한다.
이하에서는 상기 시스템(1)을 통한 가상 모바일 단말(40)을 제공하기 위한 유닛들과 전술한 시스템(1)의 구성에 대해서 구체적으로 설명한다.
2.1 가상 모바일 단말 구현 유닛
도 3은 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)에 구현되는 유닛들을 나타내는 블록도이다.
본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)에는 가상 모바일 단말(40)을 구현하고, 제어하기 위하여 동작을 수행하는 유닛이 구현될 수 있다.
도 3을 참조하면, 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)은 제공유닛(100), 센싱유닛(200), 및 생성유닛(300)을 포함할 수 있다. 그러나, 도 3에 도시된 바에 국한되지 않고, 이보다 더 적거나 더 많은 유닛들이 시스템(1)에 구현될 수 있다.
상기 제공유닛(100)은 혼합 현실 환경 상에서 이용될 수 있는 가상 모바일 단말(40)을 구현하여 제공하는 동작을 수행할 수 있다.
상기 센싱유닛(200)은 가상 모바일 단말(40)을 구현하기 위한 영역을 제공하는 대상 오브젝트(10) 및 가상 모바일 단말(40)과 관련된 사용자의 행동을 탐지하는 동작을 수행 할 수 있다.
상기 생성유닛(300)은 가상 모바일 단말(40)과 관련된 데이터를 획득하여, 가상 모바일 단말(40)을 구현하기 위한 데이터를 생성할 수 있다.
이하에서는 상기 유닛들에 대해서 구체적으로 설명한다.
상기 제공유닛(100)은 상기 센싱유닛(200)에 의해 탐지된 대상 오브젝트(10)의 영역에 가상 모바일 단말(40)을 구현할 수 있다. 구체적으로, 상기 제공유닛(100)은 상기 혼합 현실 영상 상의 대상 오브젝트(10)의 영역에 가상 모바일 단말(40)을 구현하여 제공할 수 있다. 달리 말해, 상기 제공유닛(100)은 혼합 현실 영상에 가상 모바일 단말(40)의 이미지 내지는 영상을 상기 대상 오브젝트(10)의 영역에 구현하여, 사용자에게 제공할 수 있다.
또한, 상기 제공유닛(100)은 구현 목적에 따라 다양한 기능을 포함하는 가상 모바일 단말(40)을 구현할 수 있다. 예를 들어, 상기 제공유닛(100)은 상기 가상 모바일 단말(40)의 구현 목적에 따라 통화 기능, 문자 입력 기능, 각종 어플리케이션 기능을 포함하는 가상 모바일 단말(40)을 구현할 수 있다. 구체적으로, 상기 제공유닛(100)은 상기 문자 입력 기능이 구현된 가상 모바일 단말(40)을 구현하기 위하여, 상기 가상 모바일 단말(40)이 상기 사용자의 터치, 제스쳐, 음성을 인식하여 기능을 트리거되도록 하는 오브젝트를 포함하는 가상 모바일 단말(40)을 구현하여 사용자에게 제공할 수 있다. 상기 오브젝트는 가상의 키 형태, 아이콘 형태, 또는 사용자의 터치, 제스쳐, 음성을 인식하여 기능을 트리거 시키는 기능을 수행한다면 어떠한 형태에도 국한되지 않을 수 있다.
상기 센싱유닛(200)은 상기 대상 오브젝트(10)가 이동하는 경우, 상기 이동되는 대상 오브젝트(10) 상에 상기 가상 모바일 단말(40)이 구현될 수 있도록 상기 대상 오브젝트(10)의 경로를 탐지할 수 있다.
또한, 상기 센싱유닛(200)은 상기 가상 모바일 단말(40)과 관련된 사용자의 제스쳐를 탐지할 수 있다. 예를 들어, 상기 사용자가 가상 모바일 단말(40)의 오브젝트를 터치하는 경우, 상기 센싱유닛은 상기 사용자의 터치를 감지할 수 있다,
상기 생성유닛(300)은 가상 모바일 단말(40)과 관련된 데이터를 분석할 수 있다. 예를 들어, 상기 생성유닛(300)은 실제 모바일 단말(50)로부터 저장된 데이터를 획득하여, 상기 데이터에 기초하여 가상 모바일 단말(40)을 구현 하기 위한 데이터를 생성할 수 있다. 상기 가상 모바일 단말(40)과 관련된 데이터는 가상 모바일 데이터로 정의되며, 상기 가사 모바일 단말(40)을 구현 하기 위한 데이터는 구현 데이터로 정의될 수 있다.
이 경우, 상기 구현 데이터에 기초하여, 상기 제공유닛(100)은 가상 모바일 단말(40)을 구현할 수 있다. 구체적으로, 상기 생성유닛(300)이 상기 실제 모바일 단말(50)에서 이용되는 어플리케이션 데이터를 획득하여 구현 데이터를 생성하는 경우, 상기 구현 데이터에 기초하여 상기 제공유닛(100)은 상기 어플리케이션 기능을 포함하는 가상 모바일 단말(40)을 구현할 수 있다. 이를 위해, 상기 생성유닛(300)은 생성된 구현 데이터를 상기 제공 유닛(100)으로 제공할 수 있다.
2.2 가상 모바일 단말 구현 시스템의 구성
이하에서는 전술한 가상 모바일 단말 구현 시스템(1)의 구성에 대해서 구체적으로 설명한다.
2.2.1 가상 모바일 단말 구현 디바이스
도 4는 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 디바이스(20)를 나타내는 도면이다.
가상 모바일 단말 구현 디바이스(20)는 사용자에게 혼합 현실을 구현하여 제공하고, 상기 사용자가 상기 혼합 현실 상에서 가상 모바일 단말(40)을 이용할 수 있도록 가상 모바일 단말(40)을 제공할 수 있다.
위와 같은, 가상 모바일 단말 구현 디바이스(20)는 일 예로 혼합 현실을 제공하는 Hololens일 수 있다.
이러한 가상 모바일 단말 구현 디바이스(20)는 사용자가 착용 가능한 형태로 제공될 수 있다. 예를 들어, 상기 가상 모바일 단말 구현 디바이스(20)는 상기 사용자의 머리에 착용 가능한 형태로 제공될 수 있다. 이에 따라, 상기 가상 모바일 단말 구현 디바이스(20)는 상기 사용자의 눈을 통해 혼합 현실 영상을 제공하여, 사용자가 혼합 현실을 경험하도록 할 수 있다.
또한, 상기 가상 모바일 단말 구현 디바이스는(20)는 사용자의 눈을 통해 가상 현실 영상을 구현하여 제공함으로써, 상기 사용자로 하여금 가상 현실을 경험하도록 할 수 있다. 이 경우, 상기 가상 모바일 단말 구현 디바이스(20)는 오큘러스(Oculus)가 될 수 있다.
또한, 상기 가상 모바일 단말 구현 디바이스(20)는 사용자에게 증강 현실 영상을 제공함으로써, 사용자로 하여금 증강 현실을 경험하도록 할 수 있다. 이 경우, 상기 가상 모바일 단말 구현 디바이스(20)는 소정의 증강 영상을 덧씌울 수 있는 스마트폰, 스마트태블릿 등의 스마트 기기들이 될 수 있다.
이하에서는 특별한 설명이 없다면, 설명을 용이하게 하기 위하여 상기 가상 모바일 단말 구현 디바이스(20)는 혼합 현실 영상을 구현하여 제공하는 디바이스인 것으로 설명한다. 다만, 이하의 설명은 이에 국한되지 않고, 상기 가상 모바일 단말 구현 디바이스(20)가 가상 현실 영상(VR)을 구현하여 제공하는 디바이스 또는 증강 현실 영상(AR)을 구현하여 제공하는 디바이스인 경우에도 전용될 수 있다.
도 4를 참조하면, 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 디바이스(20)는 감지부(21), 출력부(22), 통신부(23), 전원공급부(24), 저장부(25), 입력부(26), 및 제어부(27)를 포함할 수 있다.
상기 감지부(21)는 실제의 세계를 감지할 수 있다. 구체적으로, 상기 감지부(21)는 시스템(1)의 사용자가 점유하는 실제의 세계에 존재하는 물리적 객체를 감지할 수 있다. 따라서, 상기 사용자가 신체의 일부를 움직이는 경우, 상기 감지부(21)는 이동하는 신체의 일부의 동선을 감지할 수 있다. 또한, 상기 감지부(21)는 상기 사용자의 제스쳐를 감지할 수 있다. 또한, 상기 감지부(21)는 상기 대상 오브젝트(10)의 위치를 감지할 수 있다.
이러한 감지부(21)는 가시광카메라, 적외선카메라, 또는 이미지센서 등의 실제의 세계의 물리적 객체들로부터 반사되는 빛을 수광하여 실제의 세계를 감지할 수 있는 기기들로 구현될 수 있다.
상기 감지부(21)가 이미지센서로 구현되는 경우, 상기 감지부(21)는 촬상하는 대상으로부터 방출되는 가시광선을 이차원 어레이에 배열된 광다이오드로 받아들이고, 광다이오드로부터 광전효과에 따라 발생되는 전하를 CCD(Charge Coupled Device) 및/또는 CMOS로 받아들여 대상에 관한 데이터를 생성할 수 있다.
CCD(Charge Coupled Device)는 광자의 양에 비례하여 발생하는 전자의 양을 통해 전류 세기 정보를 얻고 이를 이용하여 이미지를 생성하고, CMOS는 광자의 양에 비례하여 발생하는 전자의 양을 통해 전압 세기 정보를 이용하여 이미지를 생성할 수 있다. 이때, CCD는 이미지 품질이 우수하다는 장점이 있으며, CMOS는 공정이 간단하고 처리속도가 빠르다는 장점이 있을 수 있다.
또한, 사용 목적에 따라 광전효과에 따라 발생되는 전하를 데이터로 생성하는 장치는 상기 전술된 CCD 및/또는 CMOS 외의 기타 방법 등이 모두 사용될 수 있다.
상기 출력부(22)는 상기 사용자에게 혼합 현실 및 상기 혼합 현실에서 이용될 수 있는 가상의 기기를 제공할 수 있다. 구체적으로, 상기 출력부(22)는 혼합 현실 영상을 상기 사용자에게 제공하여, 상기 가상 모바일 단말 구현 디바이스(20)를 착용하는 사용자가 혼합 현실을 경험하고, 가상 모바일 단말(40)을 이용할 수 있도록 제공할 수 있다.
상기 출력부(22)는 영상을 출력하는 디스플레이, 소리를 출력하는 스피커, 진동을 발생시키는 햅틱 장치 및 그 외 다양한 형태의 출력 수단을 모두 포함할 수 있다. 이하에서 출력부(22)는 이미지를 시각적으로 전달할 수 있는 디스플레이인 것으로 설명한다. 그럼에도, 영상 처리 기기에서 상기 이미지가 사용자에게 반드시 디스플레이를 통해 출력되는 것은 아니며, 전술한 다른 모든 출력 수단을 통해 사용자에게 출력될 수 있다. 디스플레이는 액정 디스플레이(LCD: Liquid Crystal Display), 발광 다이오드(LED: light emitting diode) 디스플레이, 유기 발광 다이오드(OLED: Organic Light Emitting Diode) 디스플레이, 평판 디스플레이(FPD: Flat Panel Display), 투명 디스플레이(transparent display), 곡면 디스플레이(Curved Display), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 홀로그래픽 디스플레이(holographic display), 프로젝터 및 그 외의 영상 출력 기능을 수행할 수 있는 다양한 형태의 장치를 모두 포함하는 광의의 영상 표시 장치를 의미하는 개념이다. 이러한 디스플레이는 입력부(26)의 터치 센서와 일체로 구성된 터치 디스플레이의 형태일 수도 있다. 이외에도 출력부(22)는 자체적으로 외부로 정보를 출력하는 장치 대신 영상 처리 기기에 외부의 출력 장치를 연결시키는 출력 인터페이스(USB 포트, PS/2 포트 등)의 형태로 구현될 수도 있다.
상기 통신부(23)는 상기 가상 모바일 단말(40) 구현 기기가 다른 외부 기기와 데이터를 교환할 수 있도록 한다. 상기 통신부(23)는 유선 또는 무선으로 데이터를 송수신할 수 있다. 이를 위해 서버통신부는 LAN(Local Area Network)를 통해 인터넷 등에 접속하는 유선 통신 모듈, 이동 통신 기지국을 거쳐 이동 통신 네트워크에 접속하여 데이터를 송수신하는 이동 통신 모듈, 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식이나 블루투스(Bluetooth), 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식을 이용하는 근거리 통신 모듈, GPS(Global Positioning System)과 같은 GNSS(Global Navigation Satellite System)을 이용하는 위성 통신 모듈 또는 이들의 조합으로 구성될 수 있다.
상기 전원공급부(24)는 가상 모바일 단말 구현 디바이스(20)의 각 구성요소들의 동작에 필요한 전원을 제공할 수 있다. 이러한, 전원공급부(24)는 충전 가능한 배터리로 구현될 수 있다.
또한, 본 출원의 일 실시예에 다르면 상기 가상 모바일 단말 구현 디바이스(20)는 전력발전부(미도시)를 더 포함할 수 있고, 전력발전부는 자체적으로 전력을 발생시킨 후, 발생된 전력을 전원공급부에 제공할 수 있다. 일 예로, 전력 발전부는 태양광 발전부를 포함할 수 있고, 이 경우, 태양광발전을 통해 전력을 생산할 수 있다.
상기 저장부(25)는 상기 데이터를 저장할 수 있다. 상기 저장부(25)는 혼합 현실관 관련된 데이터를 저장할 수 있다; 예를 들어, 상기 저장부(25)는 전술한 가상 모바일 데이터를 저장할 수도 있다.
이러한 저장부(25)는 구동하기 위한 운용 프로그램(OS: Operating System)이거나 펌웨어, 미들웨어, 이를 보조하는 각종 프로그램이 저장 될 수 있으며, 영상 처리 기기와 같은 다른 외부 기기로부터 수신한 데이터 등이 저장될 수 있다.
또한, 저장부(25)의 대표적인 예로는, 하드디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 또는 클라우드 스토리지(Cloud Storage) 등이 있을 수 있다.
상기 입력부(26)는 사용자로부터 사용자 입력을 수신할 수 있다. 사용자 입력은 키 입력, 터치 입력, 음성 입력을 비롯한 다양한 형태로 이루어질 수 있다. 예를 들어, 입력부(26)는 사용자로부터 가상 모바일 단말(40) 구현 실행을 입력 받을 수 있다.
또한, 입력부(26)의 대표적인 예로는, 전통적인 형태의 키패드나 키`보드, 마우스는 물론, 사용자의 터치를 감지하는 터치 센서, 음성 신호를 입력받는 마이크, 영상 인식을 통해 제스처 등을 인식하는 카메라, 사용자 접근을 감지하는 조도 센서나 적외선 센서 등으로 구성되는 근접 센서, 가속도 센서나 자이로 센서 등을 통해 사용자 동작을 인식하는 모션 센서 및 그 외의 다양한 형태의 사용자 입력을 감지하거나 입력 받는 다양한 형태의 입력 수단을 모두 포함하는 포괄적인 개념이다. 여기서, 터치 센서는 디스플레이 패널에 부착되는 터치 패널이나 터치 필름을 통해 터치를 감지하는 압전식 또는 정전식 터치 센서, 광학적인 방식에 의해 터치를 감지하는 광학식 터치 센서 등으로 구현될 수 있다.
상기 제어부(27)는 가상 모바일 단말(40) 구현 기기의 각 구성의 동작을 제어할 수 있다. 이를 위해, 상기 제어부(27)는 가상 모바일 단말 구현 디바이스(20)의 각종 데이터의 연산 및 처리를 수행할 수 있다. 따라서, 이하에서는 가상 모바일 단말(40) 디바이스의 동작은 특별한 언급이 없다면 제어부(27)에 의해 수행되는 것일 수 있다.
상기 제어부(27)는 하드웨어, 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 제어부(27)는 전기적인 신호를 처리하여 제어 기능을 수행하는 CPU 칩 등의 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적인 제어부(27)를 구동시키는 프로그램 형태로 제공될 수 있다.
2.2.2 서버
상기 서버(30)는 서버통신부, 서버데이터베이스 및 서버제어부를 포함할 수 있다.
서버통신부는 외부 기기(예를 들어, 가상 모바일 단말 구현 디바이스(20))와 통신할 수 있다. 따라서, 서버는 서버통신부를 통해 외부 기기와 정보를 송수신할 수 있다. 예를 들어, 서버는 서버통신부를 이용해 가상 모바일 단말 구현 디바이스(20)로부터 혼합 현실과 관려된 데이터를 교환할 수 있다. 상기 서버통신부는 전술한 가상 모바일 단말 구현 디바이스(20)의 통신부(23)와 같이 유선 또는 무선으로 데이터를 송수신할 수 있으므로, 서버통신부에 대해서 중복되는 설명은 생략한다.
서버데이터베이스는 각종 정보를 저장할 수 있다. 서버데이터베이스는 데이터를 임시적으로 또는 반영구적으로 저장할 수 있다. 예를 들어, 서버의 서버데이터베이스에는 서버를 구동하기 위한 운용 프로그램(OS: Operating System), 웹 사이트를 호스팅하기 위한 데이터나 가상 모바일 단말의 이용을 위한 프로그램 내지는 어플리케이션(예를 들어, 웹 어플리케이션)에 관한 데이터 등의 저장될 수 있으며, 이외에도 가상 모바일 단말 구현 디바이스(10)로부터 획득한 가상 모바일 단말과 관련된 데이터 등이 저장될 수 있다.
상기 서버데이터베이스의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 이러한 데이터베이스(1200)는 내장 타입 또는 탈부착 가능한 타입으로 제공될 수 있다.
서버제어부는 서버의 전반적인 동작을 제어한다. 이를 위해 제어부는 각종 정보의 연산 및 처리를 수행하고 서버의 구성요소들의 동작을 제어할 수 있다. 예를 들어, 제어부는 문서 컨버팅을 위한 프로그램 내지 어플리케이션을 실행시킬 수 있을 것이다. 제어부는 하드웨어 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 제어부는 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적인 제어부를 구동시키는 프로그램 형태로 제공될 수 있다. 한편, 이하의 설명에서 특별한 언급이 없는 경우에는 서버의 동작은 제어부의 제어에 의해 수행되는 것으로 해석될 수 있다.
2.2.3 대상 오브젝트
이하에서는 대상 오브젝트(10)에 대해서 설명한다.
도 5는 본 출원의 일 실시예에 따른 대상 오브젝트(10)의 일 예를 나타내는 도면이다.
상기 대상 오브젝트(10)는 가상 모바일 단말(40)이 구현되는 영역을 제공할 수 있다. 달리 말해, 상기 대상 오브젝트(10)는 혼합 현실 상에서 상기 가상 모바일 단말(40)이 구현되는 기준이 될 수 있다. 상기 혼합 현실 상에 존재하는 실제의 객체(R) 및 가상의 객체(V)들이 혼재된 상태에서, 상기 대상 오브젝트(10)는 가상 모바일 단말(40)이 구현될 수 있도록 영역을 제공할 수 있다. 상기 가상 모바일 단말(40)이 제공되는 영역은 구현영역(14)으로 정의될 수 있다.
상기 대상 오브젝트(10)는 팔, 손등, 손바닥 등과 같은 사용자의 신체의 일부, 실제의 세계에 존재하는 각종 실제의 물리적 객체들이 될 수 있다.
예를 들어, 상기 대상 오브젝트(10)는 소정의 피규어가 될 수 있다. 상기 피규어는 각종 캐릭터의 형태로 구현되거나, 또는 사용자가 원하는 형태의 캐릭터로 구현될 수 있다.
또한, 상기 대상 오브젝트는 저전력의 물리적인 객체일 수 있고, 이 경우, 상기 저전력의 물리적인 객체는 평상시에 시계와 같은 기본 인터페이스를 표시할 수있다. 혼합현실 이용해서 풍부한 컨텐츠 표시 가능할 수 있다.
이하에서는 상기 대상 오브젝트(10)는 가상 모바일 단말(40)을 구현 하기위하여 별도로 제공되는 물리적 객체인 것으로 설명한다.
위와 같이, 별도로 제공되는 물리적 객체를 통해 가상 모바일 단말(40)을 구현하는 경우, 사용자의 가상 모바일 단말(40)의 사용이 용이해질 수 있다. 상기 대상 오브젝트(10)가 별도로 제공되는 물리적 객체가 아니고, 사용자가 점유하는 실제의 공간의 물리적 객체들 중 하나인 경우 가상 모바일 단말(40)은 다양한 장소에 산재된 물리적 객체들 중 하나에 구현될 수 있다. 이 경우, 상기 사용자는 가상 모바일 단말(40)이 구현된 물리적 객체를 찾아 이용하여야 하기 때문에, 가상 모바일 단말(40)의 이용이 번거로워질 수 있다. 이에 반하여, 별도로 제공되는 물리적 객체를 통해 가상 모바일 단말(40)을 구현하는 경우, 상기 가상 모바일 단말(40)을 상기 별도로 제공되는 물리적 객체에 구현되기 때문에 사용자가 가상 모바일 단말(40)이 구현되는 위치를 찾는 시간이 경감될 수 있다.
도 5 (a)를 참조하면, 상기 대상 오브젝트(10)는 평판 형상으로 제공될 수 있다.
또한, 상기 별도로 제공되는 물리적 객체는 사용자가 소지할 수 있는 형태로 제공될 수 있다. 따라서, 사용자가 가상 모바일 단말(40)을 제공 받기를 원하는 경우, 장소에 구애 받지 않고 혼합 현실을 구현하여 가상 모바일 단말(40)을 제공받을 수 있다.
또한, 상기 대상 오브젝트(10)는 도 5에 도시된 바에 국한되지 않고 사용자가 원하는 형태, 재질로 구현될 수 있다. 예를 들어, 상기 대상 오브젝트(10)는 유연한 소재로 구현되어, 벤딩(bending)될 수 있다. 또한, 예를 들어 상기 대상 오브젝트(10)는 투명한 재질로 구현 될 수 있다.
상기 대상 오브젝트(10)는 프레임(11)과 평판면(13)으로 구현될 수 있다.
상기 프레임(11)은 식별 표지(12)를 포함할 수 있다. 구체적으로, 상기 프레임(11)의 외면에 상기 식별 표지(12)가 형성될 수 있다.
상기 식별 표지(12)는 상기 대상 오브젝트(10)가 혼합 현실 상에서 식별되도록 할 수 있다. 구체적으로, 혼합 현실에 상기 대상 오브젝트(10)가 존재하는 경우, 전술한 센싱유닛(200)은 상기 식별 표지(12)를 감지하여 상기 대상 오브젝트(10)의 위치를 감지할 수 있다. 이에 따라, 상기 제공유닛(100)이 상기 대상 오브젝트(10)의 구현영역(14)에 가상 모바일 단말(40)을 구현할 수 있게 된다.
또한, 상기 식별 표지(12)는 사용자를 인증하는 수단이 될 수 있다. 예를 들어, 상기 식별 표지(12)에 대응하는 가상 모바일 단말(40)을 제공함으로써, 진정한 사용자에게 가상 모바일 단말(40)이 제공되도록 할 수 있다. 또는, 상기 식별 표지(12)에 상기 대상 오브젝트(10)의 형태, 및 크기에 관한 정보가 포함되어 있어, 상기 식별 표지(12)로부터 획득된 대상 오브젝트(10)의 정보와 대상 오브젝트(10)가 일치하는 경우에만 가상 모바일 단말(40)이 구현되도록 할 수 있다.
이러한, 식별 표지(12)는 QR코드, 각종 다각형, 또는 바코드 등이 될 수 있으며, 전술한 식별 표지(12)의 기능을 할 수 있는 표지라면 어느 형태에 국한 되지 않는 형태로 제공될 수 있다. 예를 들어, 상기 식별 표지(12)는 상기 대상 오브젝트(10)의 모양 또는 크기 등의 형태 그 자체가 될 수 있다. 상기 대상 오브젝트(10)의 형태에 기초하여 상기 대상 오브젝트(10)가 혼합 현실 영상 내에서 검출될 수 있다.
또한, 상기 식별표지(12)는 다른 혼합 현실을 사용하는 사용자의 가상 모바일 단말을 인식하도록 할 수 있다. 구체적으로, 다른 사용자가 소정의 식별표지를 포함하는 대상 오브젝트를 이용하여 가상 모바일 단말을 구현하여 이용할 때 사용자의 혼합 현실 영상에 다른 사용자의 대상 오브젝트의 식별 표지가 탐지되는 경우, 상기 사용자의 혼합 현실 영상에는 다른 사용자의 가상 모바일 단말이 표현될 수 있다.
한편, 상기 대상 오브젝트(10)가 사용자의 신체의 일부인 경우 상기 신체의 특정 부위가 상기 식별 표지(12)가 될 수도 있다. 예를 들어, 사용자의 손바닥이 상기 대상 오브젝트(10)인 경우, 상기 사용자의 손바닥의 지문 내지는 손금이 식별 표지(12)가 될 수 있다. 구체적으로, 상기 손바닥에 가상 모바일 단말이 구현되는 경우, 상기 손바닥의 지문 내지는 손금을 식별 표지로 하여 사용자를 인증하고 해당 사용자에 대한 가상 모바일 단말을 구현할 수 있다.
도 5 (b)를 참조하면, 상술한 식별 표지의 위치는 도 5(a)에 도시된 바에 국한되지 않고 모서리 부분에 형성될 수도 있다. 이에 따라, 상기 모서리에 형성된 식별 표지를 통해 대상 오브젝트에서 가상 모바일 단말이 구현되어야 하는 위치가 용이하게 탐지될 수 있다.
상기 평판면(13)은 구현영역(14)을 포함할 수 있다. 상기 구현영역(14)은 복수의 구현영역(14)을 포함할 수 있다. 이 경우, 상기 대상 오브젝트(10)는 구현영역(14) 별로 서로 다른 재질로 구현될 수 있다.
2.3 가상 모바일 단말 구현 시스템의 구현 타입
이하에서는 가상 모바일 단말 구현 시스템(1)의 구현 타입에 대해서 설명한다.
상기 가상 모바일 단말 구현 시스템(1)은 스탠드 어론 타입 및 네트워크 타입으로 구현될 수 있다.
상기 스탠드 어론 타입은 전술한 유닛들이 상기 가상 모바일 단말 구현 시스템(1)의 일 구성에 모두 구현되는 형태로 정의될 수 있다,
상기 네트워크 타입은 전술한 유닛들이 가상 모바일 단말 구현 시스템(1)의 각 구성에 분산되어 구현되는 형태로 정의될 수 있다.
이하에서는 각각의 타입에 대해서 구체적으로 설명한다.
2.3.1 스탠드 어론 타입
본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)은 스탠드 어론 타입으로 구현될 수 있다.
이 경우, 제공유닛(100), 센싱유닛(200), 및 생성유닛(300)은 가상 모바일 단말 구현 시스템(1)의 일 구성에 구현될 수 있다. 즉, 제공유닛(100), 센싱유닛(200), 및 생성유닛(300)은 가상 모바일 단말 구현 시스템(1)의 서버(30), 가상 모바일 단말 구현 디바이스(20). 또는 대상 오브젝트(10) 중 적어도 하나에 구현될 수 있다.
상기 각 유닛들이 서버(30)에 구현되는 경우, 상기 각 유닛들의 기능은 상기 어플리케이션 형태로 상기 가상 모바일 단말 구현 디바이스(20)에서 수행될 수 있다. 예를 들어, 상기 가상 모바일 단말 구현 디바이스(20)를 착용한 사용자는 상기 유닛들의 기능을 이용하기 위하여 상기 가상 모바일 단말 구현 디바이스(20) 상에서 어플리케이션을 수행할 수 있다. 이에 따라, 상기 가상 모바일 단말 구현 디바이스(20)는 통신부(23)를 통해 서버(30)와 통신을 수행하게 되고, 상기 가상 모바일 단말 구현 디바이스(20)와 서버(30)는 가상 모바일 단말(40)의 구현과 관련된 데이터를 교환할 수 있다. 상기 가상 모바일 단말 구현 디바이스(20)는 가상 모바일 데이터를 획득하고, 상기 가상 모바일 데이터에 기초하여 상기 가상 모바일 단말 구현 디바이스(20)의 각 구성들을 동작시킴으로써 가상 모바일 단말(40)이 사용자에게 제공되도록 할 수 있다.
상기 각 유닛들이 가상 모바일 단말 구현 디바이스(20)에 구현되는 경우, 상기 각 유닛들의 기능은 가상 모바일 단말 구현 디바이스(20) 상에서 수행될 수 있다. 이 경우, 상기 각 유닛들은 상기 가상 모바일 단말 구현 디바이스(20)의 제어부(27)에 구현될 수 있다. 이에 따라, 상기 제어부(27)에서 상기 각 유닛들의 기능이 수행됨으로써 상기 감지부(21)를 통해 회득된 영상에서 대상 오브젝트(10)가 감지될 수 있으며, 구현된 가상 모바일 단말(40)은 상기 출력부(22)를 통해 사용자에게 제공될 수 있다.
이하에서는 상기 가상 모바일 단말 구현 시스템(1)이 네트워크 타입으로 구현되는 경우에 대해서 설명한다.
2.3.2 네트워크 타입
본 출원의 일 실시예에 따른 상기 가상 모바일 단말 구현 시스템(1)은 네트워크 타입으로 구현될 수 있다.
이 경우, 각 유닛들은 시스템(1)의 각 구성에 분산되어 구현될 수 있다, 예를 들어, 상기 제공유닛(100)과 상기 생성유닛(300)은 상기 서버(30)에 구현되고, 감지 유닛은 가상 모바일 단말 구현 디바이스(20)에 구현될 수 있다. 또는, 상기 생성유닛(300)은 서버(30)에 구현되고 상기 제공유닛(100)과 상기 감지 유닛은 가상 모바일 단말 구현 디바이스(20)에 구현될 수도 있다.
또한, 다른 실시예에서 상기 제공유닛(100)과 상기 생성유닛(300)은 상기 서버(30) 및 상기 가상 모바일 단말 구현 디바이스(20)에서 구현될 수 있다. 이 경우, 상기 서버(30)에 구현되는 상기 제공유닛(100)과 상기 생성유닛(300)과 상기 가상 모바일 단말 구현 디바이스(20)에서 구현되는 상기 제공유닛(100)과 상기 생성유닛(300)의 동작은 상이할 수 있다. 예를 들어, 상기 서버(30)에서 동작하는 제공유닛(100)은 가상 모바일 단말의 이미지 내지는 영상을 생성하고, 상기 가상 모바일 단말 구현 디바이스(20)에서 동작하는 제공유닛(100)은 오브젝트를 생성할 수 있다.
이와 같이 가상 모바일 단말 구현 시스템(1)이 네트워크 타입으로 구현되는 경우, 각 유닛의 기능이 분산되어 수행되며 각 유닛의 동작에 따라 생성된 가상 모바일 데이터는 교환될 수 있다. 결과적으로, 상기 가상 모바일 단말 구현 디바이스(20)는 상기 가상 모바일 데이터를 통합하여, 혼합 현실을 구현하고, 상기 혼한 현실에서 이용될 수 있는 가상 모바일 단말(40)을 구현하여 사용자에게 제공할 수 있다.
이하에서는 설명을 용이하게 하기 위하여, 특별한 언급이 없는 한 각 유닛들이 가상 모바일 단말 구현 디바이스(20)에 구현되는 스탠드 어론 타입인 것으로 하여 설명하도록 한다.
3. 가상 모바일 단말의 이용
이하에서는, 가상 모바일 단말(40)을 구현하는 동작과, 구현된 가상 모바일 단말(40)을 이용하는 동작에 대해서 구체적으로 설명한다.
상기 가상 모바일 단말(40)을 구현하는 동작은 가상 모바일 단말(40) 구현 동작으로 정의될 수 있다.
상기 가상 모바일 단말(40)은 상기 이용하는 동작에 따라 아래와 같이 이용될 수 있다.
상기 구현된 가상 모바일 단말(40)을 통해 사용자는 실제 모바일 단말(50)을 이용하는 것과 같이 키 입력을 할 수 있다. 또한, 사용자는 상기 가상 모바일을 통해 통화를 할 수 있다, 또한, 사용자는 상기 가상 모바일을 통해 실제 모바일 단말(50)을 이용하는 것과 같이 다양한 어플리케이션을 이용할 수 있다. 한편, 상기 가상 모바일을 통해 통화를 수행하는 경우 웹알티시(WebRTC) 통신이 이용되며, 이를 위해 통신 식별자가 이용될 수 있다. 이에 대해서는 구체적으로 설명한다.
이하에서는 먼저, 가상 모바일 단말(40) 구현 동작에 대해서 설명한다.
3.1 가상 모바일 단말 구현 동작
본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)의 가상 모바일 단말 구현 동작에 대해서 설명한다.
가상 모바일 단말(40)의 구현을 위해, 상기 가상 모바일 단말 구현 디바이스(20)는 대상 오브젝트(10)를 탐지하고, 상기 대상 오브젝트(10)에 구현될 가상 모바일 단말(40)을 생성할 수 있다.
이하에서는, 먼저 대상 오브젝트(10)를 탐지하는 동작에 대해서 설명한다.
3.1.1 대상 오브젝트 탐지
본 출원의 일 실시예에 따른 가상 모바일 단말 구현 디바이스(20)는 가상 모바일 단말(40)을 구현하기 위한 대상 오브젝트(10)의 위치를 탐지할 수 있다. 즉, 센싱유닛(200)은 혼합 현실 영상에서 상기 대상 오브젝트(10)가 존재하는 위치를 탐지할 수 있다.
도 6은 본 출원의 일 실시예에 따른 혼합 현실 영상(MR)내에서 탐지된 대상 오브젝트(10)의 위치를 기초로 구현된 가상 모바일 단말을 나타내는 도면이다.
도 7은 본 출원의 일 실시예에 따른 가상 현실 영상(VR)내에서 탐지된 대상 오브젝트(10)의 위치를 기초로 구현된 가상 모바일 단말을 나타내는 도면이다.
도 8은 본 출원의 일 실시예에 따른 증강 현실 영상(AR)내에서 탐지된 대상 오브젝트(10)의 위치를 기초로 구현된 가상 모바일 단말 나타내는 도면이다.
도 6 내지 8을 참조하면, 상기 가상 모바일 단말 구현 디바이스(20, 21, 및 22)는 대상 오브젝트(10)의 식별 표지(12)를 탐지하여, 상기 대상 오브젝트(10)의 위치를 탐지할 수 있다.
이하에서는 상기 식별 표지(12)를 기초로 상기 대상 오브젝트(10)의 위치를 탐지하는 과정에 대해서 구체적으로 설명한다.
도 6을 참조하면, 상기 대상 오브젝트(10)의 위치는 상기 혼합 현실 영상을 분석하여 탐지될 수 있다.
상기 혼합 현실 영상의 분석은 실제의 객체(R)와 가상의 객체(V)의 탐지, 실제의 객체(R) 중 대상 오브젝트(10)의 탐지를 포함할 수 있다.
먼저, 실제의 객체(R)와 가상의 객체(V)의 탐지에 대해서 설명한다.
상기 센싱유닛(200)은 혼합 현실 양상의 실제의 객체(R)와 가상의 객체(V)를 탐지하여 분류할 수 있다.
구체적으로 상기 센싱유닛은 상기 실제의 객체(R) 및 가상의 객체(V)와 배경을 분리하여, 상기 실제의 객체(R) 및 가상의 객체(V)를 탐지할 수 있다. 이를 위해, ROI 검출, 엣지 디텍션 등의 배경으로부터 의미 있는 대상을 분리하여 탐지하는 종래의 기술들이 이용 될 수 있으나, 이에 국한되지 않고 상기 실제의 객체(R) 및 가상의 객체(V)를 탐지하는 기술이 이용될 수 있다.
한편, 상기 혼합 현실상에 존재하는 가상의 객체(V)의 경우, 이미 혼합 현실상에 상기 가상의 객체(V)를 구현하며 그 위치를 파악하고 있기 때문에 이에 기초하여 상기 가상의 객체(V)를 탐지할 수도 있다.
한편, 상기 실제의 객체(R)와 가상의 객체(V) 중 대상 오브젝트(10)는 실제의 객체(R)이기 때문에 상기 가상의 객체(V)를 탐지하는 동작은 생략될 수도 있다.
이하에서는, 실제의 객체(R) 중 대상 오브젝트(10)의 탐지에 대해서 설명한다.
상기 센싱유닛(200)은 식별 표지(12)에 기초하여 탐지된 모든 실제의 객체(R) 중 대상 오브젝트(10)를 분류해낼 수 있다. 구체적으로, 상기 센싱유닛(200)은 탐지된 모든 실제의 객체(R)의 영상에서 식별 표지(12)를 탐지해내어, 대상 오브젝트(10)를 탐지해낼 수 있다.
또한, 상기 센싱유닛(200)은 탐지된 대상 오브젝트(10)의 구현영역(14)을 탐지해낼 수 있다. 즉, 상기 탐지된 대상 오브젝트(10)의 구현영역(14)의 위치, 크기, 또는 형태 등을 탐지하여, 구현된 가상 모바일 단말(40)이 위치하고 상기 구현영역(14)에 대응하는 크기와 형태를 가지도록 할 수 있다.
구체적으로, 상기 센싱유닛(200)은 상기 식별 표지(12)의 크기를 계산하여 기 저장된 식별 표지(12)의 크기와 비교하여 소정의 비율을 계산할 수 있다. 이에 따라, 상기 센싱유닛(200)은 계산된니 비율에 기초하여 기 저장된 구현영역(14)의 크기에 반영하여 현 시점에 탐지된 대상 오브젝트(10)의 구현영역(14)의 크기를 계산할 수 있다.
또한, 상기 센싱유닛(200)은 상기 식별 표지(12)의 형태를 분석하여, 현재 탐지된 대상 오브젝트(10)의 구현영역(14)의 형태를 도출할 수 있다. 예를 들어, 상기 식별 표지(12)의 형태가 3차원 공간에서 x축 방향으로 소정의 각도만큼 틀어진 형태인 경우, 센싱유닛(200)은 이에 대응하여 구현영역(14)이 소정의 각도가 틀어진 형태인 것으로 도출 해낼 수 있다,
한편, 상기 센싱유닛(200)은 상기 대상 오브젝트(10)의 이동에 따라 변화되는 영상에서 지속적으로 대상 오브젝트(10)의 구현영역(14)을 탐지할 수 있다.
또한, 도 7과 도 8을 참조하면 상기 가상의 모바일 단말은 가상 현실을 제공하는 가상 모바일 단말 구현 디바이스 및 증강 현실을 제공하는 가상 모바일 단말 구현 디바이스에 의해 구현될 수 있다.
도 7을 참조하면, 상기 가상 모바일 단말 구현 디바이스(21)는 가상 현실(VR) 상에서 상기 디바이스의 사용자에게 가상 모바일 단말을 제공할 수 있다. 이를 위해 상기, 가상 모바일 단말 구현 디바이스에는 사용자의 전방을 촬영하는 촬영부(C)가 더 구비될 수 있다. 이에 따라, 상기 가상 모바일 단말 구현 디바이스는 전방에 존재하는 물리적 객체들을 탐지할 수 있고, 이중 식별 표지를 포함하는 대상 오브젝트를 탐지할 수 있다. 상기, 가상 모바일 단말 구현 디바이스는 상기 탐지된 대상 오브젝트의 영역에 가상의 모바일 단말을 구현함으로써, 상술한 혼합 현실을 제공하는 디바이스와 같이 가상 모바일 단말을 제공할 수 있게 된다.
도 8을 참조하면, 상기 가상의 모바일 단말은 증강 현실(AR)을 구현하는 가상 모바일 단말 구현디바이스(22)를 통해서도 구현될 수 있다. 상기 디바이스는 예를 들어 태블릿 피시가 될 수 있다. 이 경우, 상기 태블릿 피시는 탑재된 촬영부를 통해 사용자의 전방을 촬영할 수 있고, 상기 촬영된 영상에서 식별표지를 포함하는 대상 오브젝트를 탐지할 수 있다. 상기 태블릿 피시는 상기 탐지된 대상 오브젝트의 영역에 가상의 모바일 단말을 구현하여 결과적으로 사용자에게 가상의 모바일 단말을 제공할 수 있다.
한편, 상술한 바와 같이 상기 식별표지(12)는 다른 혼합 현실을 사용하는 사용자의 가상 모바일 단말을 인식하도록 할 수 있다.
도 9는 다른 혼합 현실을 사용하는 사용자의 가상 모바일 단말을 나타내는 도면이다.
도 9를 참조하면, 탐지된 다른 사용자의 식별표지를 기초하여 상기 다른 사용자에 의해 이용되는 가상의 모바일 단말이 사용자의 혼합 현실 상에 구현되거나 구현되지 않을 수 있다. 다른 사용자가 소정의 식별표지를 포함하는 대상 오브젝트를 이용하여 가상 모바일 단말을 구현하여 이용할 때 사용자의 혼합 현실 영상에 다른 사용자의 대상 오브젝트의 식별 표지가 탐지되는 경우, 상기 사용자의 혼합 현실 영상에는 다른 사용자의 가상 모바일 단말이 표현될 수 있다. 즉, 식별 표지가 탐지되지 않는 경우 다른 사용자의 가상 모바일 단말은 상기 사용자의 혼합 현실 영상에 표현되지 않을 수 있다. 또한, 다른 사용자의 식별 표지가 탐지되었더라도, 상기 식별 표지가 다른 사용자의 가상 모바일 단말을 표시하지 않도록 하는 경우 상기 사용자의 혼합 현실 영상에 표현되지 않을 수 있다.
한편, 상기 설명은 혼합 현실에 국한되지 않고 가상 현실, 및 증강 현실에도 적용될 수 있다.
도 10은 본 출원의 일 실시예에 따른 이동되는 대상 오브젝트(10)를 나타내는 도면이다.
도 10을 참조하면, 실시간으로 혼합 현실 영상을 분석하여 변화되는 대상 오브젝트(10)의 위치, 크기, 형태를 식별 표지(12)를 기초로 탐지할 수 있다.
위에서, 대상 오브젝트(10) 탐지 동작에 따라, 탐지된 대상 오브젝트(10)와 상기 대상 오브젝트(10)의 구현영역(14)에 관한 데이터는 탐지 데이터로 정의될 수 있다.
3.1.2 가상 모바일 단말의 구현
이하에서는 가상 모바일 단말(40)의 구현에 대해서 설명한다.
도 11은 본 출원의 일 실시예에 따른 구현된 가상 모바일 단말을 나타내는 도면이다.
본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)은 탐지된 대상 오브젝트(10)에 가상 모바일 단말(40)을 구현할 수 있다. 즉, 상기 제공유닛(100)은 탐지된 대상 오브젝트(10)의 구현영역(14)에 가상 모바일 단말(40)을 구현할 수 있다. 구체적으로, 상기 제공유닛(100)은 혼합 현실 영상의 구현영역(14) 상에 가상 모바일 단말(40) 영상을 덧씌울 수 있다,
상기 가상 모바일 단말(40) 영상은 실제 모바일 단말(50)과 동일한 내지는 유사한 유저 인터페이스로 구현될 수 있다. 따라서, 상기 가상 모바일 단말(40)의 UI에 대한 설명은 생략하도록 한다.
또한, 도 11에 도시된 바와 같이 상기 가상 모바일 단말은 상기 대상 오브젝트의 위치에 기초하여 생생하게 구현될 수 있다. 상기 대상 오브젝트의 회전 각도, 기울어진 정도 등을 탐지하여, 이에 대응되는 형태의 가상의 모바일 단말을 상기 대상 오브젝트의 영역에 구현할 수 있다. 이에 따라, 사용자는 생동감 있게 가상 모바일 단말을 이용하는 경험을 할 수 있게 된다.
이하에서는, 상기 가상 모바일 단말(40)과 실제 모바일 단말(50)의 연동에 대해서 구체적으로 설명한다,
한편, 상기 가상 모바일 단말(40)은 실제 모바일 단말(50)과 연동될 수 있다,
상기 연동은 구체적으로, 상기 실제 모바일 단말(50)과 상기 가상 모바일 단말(40)의 기능이 실질적으로 동일한 것을 의미할 수 있다. 달리 말해, 혼합 현실 상에서 상기 가상 모바일 단말(40)의 이용은 실제 세계에서 상기 실제 모바일 단말(50)을 이용하는 것과 실질적으로 동일한 것을 의미할 수 있다.
상기 연동을 위해, 상기 실제 모바일 단말(50)의 데이터에 기초하여 상기 가상 모바일 단말(40)이 구현될 수 있다.
도 12는 본 출원의 일 실시예에 따른 가상 모바일 단말(40)과 실제 모바일 단말(50)의 연동 과정을 나타내는 도면이다.
도 13은 본 출원의 일 실시예에 따른 가상 모바일 단말(40)과 실제 모바일 단말(50)의 연동 과정을 나타내는 도면이다.
도 12 및 13을 참조하면, 가상 모바일 단말(40)과 실제 모바일 단말(50)의 연동을 위하여, 서버(30)가 실제 모바일 단말(50)의 데이터 교환의 매개체가 될 수 있다. 달리 말해, 상기 가상 모바일 단말 구현 디바이스(20)는 서버(30)를 통해 실제 모바일 단말(50)의 데이터를 획득할 수 있다.
도 12를 참조하면, 사용자의 실제의 단말과의 연동 요청이 상기 디바이스(20)에 의해 획득(S800)되면, 상기 디바이스(20)는 상기 서버(30)에 연동 요청 리퀘스트를 전송(S810)할 수 있다. 상기 리퀘스트를 수신한 서버(30)는 실제의 단말에 상기 실제의 단말의 데이터를 요청하는 리퀘스트를 전송(S820)할 수 있다. 상기 리퀘스트를 수신한 실제의 단말이 리퀘스트에 응하는 경우, 실제의 단말의 데이터를 서버(30)로 전송(S830)할 수 있다, 상기 실제의 단말의 데이터를 획득한 서버(30)는 상기 데이터를 저장(S840)할 수도 있고, 저장 없이 바로 상기 디바이스로 전송(S850)하여 상기 실제의 단말의 데이터에 기초하여 가상 모바일 단말(40)이 구현되도록 하여 실제 모바일 단말(50)과 가상 모바일 단말(40)을 연동(S860)시킬 수 있다.
도 13을 참조하면, 실제 모바일 단말(50)이 가상 모바일 단말 구현 디바이스(20)의 요청 이전에 미리 실제 단말의 데이터를 저장할 수 있다. 이에 따라, 상기 모바일 단말 구현 디바이스(20)는 서버(30)로부터 미리 저장된 실제 모바일 단말(50)의 데이터를 획득하여 이를 기초로 가상 모바일 단말(40)을 구현할 수 있다.
한편, 상기 가상 모바일 단말 구현 디바이스(20)와 상기 실제 모바일 단말(50)이 직접 통신을 수행함으로써, 실제 모바일 단말(50)의 데이터를 획득할 수 있다. 이 경우, 상기 통신 방식은 웹알티시(WebRTC) 통신이 될 수 있다. 예를 들어, 실제 모바일 단말(50)을 통해 “PEER://실제 모바일 단말(50)의 아이디”라는 링크를 모바일 단말 구현 디바이스(20)로 전송할 수 있다. 이에 따라, 사용자는 상기 링크를 통해 실제 모바일 단말(50)과 웹알티시(WebRTC) 통신을 개시함으로써, 상기 실제 모바일 단말(50)로부터 실제 모바일 단말(50)에 대한 데이터를 제공 받을 수 있게 된다.
이상에서는 가상 모바일 단말(40)의 구현에 대해서 설명하였다. 이하에서는 상기 가상 모바일 단말(40)의 이용에 대해서 설명한다.
3.2 가상 모바일 단말 이용 동작
이하에서는 혼합현실에서 가상 모바일 단말을 이용하는 방법과 그 동작에 대해서 설명한다.
3.2.1 인식 동작
도 14는 본 출원의 일 실시예에 따른 가상 모바일 단말(40)을 통한 터치 인식을 나타내는 도면이다.
도 15는 본 출원의 일 실시예에 따른 가상 모바일 단말(40)을 통한 줌인(Zoom-in)/줌아웃(Zoom-out)을 나타내는 도면이다.
도 14를 참조하면, 가상 모바일 단말 구현 시스템은 상기 가상 모바일 단말에 대한 사용자의 터치를 인식하거나, 제스쳐를 인식하거나, 음성을 인식할 수 있다.
먼저 사용자의 터치 인식에 대해서 설명한다.
상기 가상 모바일 단말 구현 시스템은 구현된 가상 모바일 단말에 접근하는 물리적 객체를 인식할 수 있다. 구체적으로, 상기 가상 모바일 단말로 접근하는 물리적 객체의 일단을 인식하여, 상기 가상 모바일 단말로의 상기 물리적 객체의 일단의 터치 여부를 인식할 수 있다.
상기 물리적 객체의 일단은 사용자의 신체의 일부의 끝 부분 또는 사용자에 의해 파지되는 막대 등의 끝 부분 등이 될 수 있다.
상기 가상 모바일 단말의 상기 터치가 인식되는 영역에는 도시된 바와 같이 소정의 가상의 아이콘이 구현될 수 있으며, 이에 국한되지 않고 소정의 가상의 키 등의 기능을 트리거 시키는 오브젝트들이 구현될 수 있는데, 상기 인식된 터치에 의하여 결과적으로 상기 기능들이 트리거될 수 있다. 상기 기능들은 문자 입력(이하, 입력), 통화 이용, 영상 출력 등을 포함할 수 있다.
또한, 가상 모바일 단말 구현 시스템은 상기 물리적 객체의 일단에 의한 소리, 영상 변화 등을 감지하여 상기 터치를 인식할 수 있다. 구체적으로, 상기 물리적 객체의 일단이 상기 가상의 모바일 단말이 구현된 대상 오브젝트에 접촉되어 발생되는 소리나, 그림자를 감지함으로써 상기 터치를 인식할 수 있다.
이하에서는 사용자의 제스쳐 인식에 대해서 설명한다.
상기 가상 모바일 단말 구현 시스템은 구현된 가상 모바일 단말에 대한 사용자의 제스쳐를 인식할 수 있다. 상기 제스쳐는 사용자의 신체를 이용한 제스쳐 뿐만 아니라, 상기 사용자에 의해 파지되는 물체에 의한 특정한 동작을 포함하는 개념으로 해석되어야 한다.
이에 따라, 소정의 기능들이 트리거될 수 있다. 상기 기능들은 상술한 바와 같이 문자 입력(이하, 입력), 통화 이용, 영상 출력 등을 포함할 수 있다.
이하에서는 사용자의 음성 인식에 대해서 설명한다.
상기 가상 모바일 단말 구현 시스템은 구현된 가상 모바일 단말에 대한 음성을 인식할 수 있다.
이때, 상기 가상 모바일 단말 구현 시스템은 상기 사용자의 음성을 분석하여 내용을 파악할 수 있다. 이에 따라, 소정의 기능들이 트리거될 수 있다. 상기 기능들은 상술한 바와 같이 문자 입력(이하, 입력), 통화 이용, 영상 출력 등을 포함할 수 있다.
또한, 상기 가상 모바일 단말 구현 시스템은 상기 사용자의 음성을 인증하는 절차를 거쳐, 상기 음성이 가상 모바일 단말을 이용하는 사용자 음성이지 여부를 인식할 수 있다.
이하에서는 상술한 가상 모바일 단말 구현 시스템의 인식 방법들 중 터치 인식에 대해서 구체적으로 설명한다.
상술한 바와 같이 상기 터치 인식에 의해 소정의 기능이 트리거될 수 있다. 사용자는 혼합 현실 상에서 가상 모바일 단말(40)의 제1 영역(15)을 손가락으로 터치하고 제2 영역(16)을 손가락으로 터치할 수 있다. 이 경우, 가상 모바일 단말 시스템은 상기 손가락의 터치를 인식할 수 있다. 상술한 바와 같이 예를 들어, 상기 터치 인식은 소리에 의해 수행될 수 있는데 제1 영역(15)을 터치하는 경우, 상기 제1 영역(15)의 대상 오브젝트(10)의 재질에 기인하여 제1 소리(S1)가 출력될 수 있고, 상기 제2 영역(16)을 터치하는 경우 상기 제2 영역(16)의 대상 오브젝트(10)의 재질에 기인하여 제2 소리(S2)가 출력될 수 있다. 센싱유닛(200)은 상기 제1 소리(S1)와 상기 제2 소리(S2)를 감지하게 되고, 분석 유닛은 상기 제1 소리(S1)와 상기 제2 소리(S2)를 식별할 수 있다. 상기 제1 소리(S1)와 상기 제2 소리(S2)가 식별되는 경우, 각각은 제1 영역(15)의 터치와 제2 영역(16)의 터치로 인식될 수 있다
또한, 상술한 바와 같이 상기 터치 인식은 상기 가상 모바일 단말로 향하는 사용자의 손가락의 끝의 속도를 기초로 식별 할 수 있다. 예를 들어, 상기 가상 모바일 단말 구현 시스템은 상기 사용자의 손가락의 끝을 인식하여 그 속도를 탐지할 수 있다. 상기 사용자의 손가락의 끝은 이동되다가 속도를 점차 늦추어 결과적으로 속도를 멈추게 되는데, 상기 가상 모바일 단말 구현 시스템은 상기 속도를 멈추는 영역에서 터치가 되는 것으로 인식할 수 있다. 즉, 상기 제1 영역(15)으로 향하는 손가락의 속도(V1)와 제2 영역(16)으로 향하는 손가락의 속도(V2)를 탐지하여 각각의 터치를 인식할 수 있다.
또한, 상기 터치 인식은 영상의 변화를 통해 검출할 수 있다. 구체적으로 상기 혼합 현실 영상 내의 손가락의 끝 부분의 영상의 변화를 감지하여 터치 인식을 감지할 수 있다. 예를 들어, 상기 사용자의 손가락의 그림자에 기초하여 상기 터치 인식을 감지할 수 있다. 또는, 상기 사용자의 손가락에 의해 가려지는 영상의 영역을 탐지하여 상기 터치 인식을 감지할 수 있다.
이하에서는, 상기 오브젝트 입력에 의한 줌인/줌아웃 기능의 수행에 대해서 설명한다.
도 15를 참조하면, 상기 줌인/줌아웃 기능은 가상 모바일 단말(40)의 오브젝트의 터치에 기초하여 수행될 수 있다. 이 경우, 상기 사용자의 적어도 둘 이상의 손가락이 상기 오브젝트에 접촉될 수 있다. 상기 적어도 둘 이상의 손가락이 동시에 이동함에 따라, 소리(S3)가 발생하며 속도(V3)가 발생하기 때문에 전술한 방법들을 기초로 줌인/줌아웃을 판단하게 된다.
한편, 제공유닛(100)은 전술한 사용자의 오브젝트를 통한 상호작용에 따라 변경되는 가상 모바일 단말(40)의 상태를 혼합 현실 영상에 반영하여 사용자에게 제공할 수 있다.
이하에서는 혼합 현실에서의 가상 모바일 단말(40)을 이용한 통화 동작에 대해서 설명한다.
3.2.2 통화 동작
도 16는 본 출원의 일 실시예에 따른 가상 모바일 단말(40)의 통신 동작을 나타내는 도면이다.
도 17은 본 출원의 일 실시예에 따른 웹알티시(WebRTC)를 이용한 가상 모바일 단말(40)의 통신 동작을 나타내는 도면이다.
도 18은 본 출원의 일 실시예에 따른 영상 통화 동작을 나타내는 도면이다.
도 19는 본 출원의 일 실시예에 따른 혼합 현실 내에서 크기가 조절되는 영상을 나타내는 도면이다.
도 16을 참조하면, 본 출원의 일 실시예에 따른 혼합 현실의 사용자는 가상 모바일 단말(40)을 통해 통화할 수 있다. 상기 통화의 상대방은 상기 혼합 현실의 사용자와는 다른 사람으로서, 상기 통화의 상대방의 통화 기기는 실제 모바일 단말(50), 혼합 현 디바이스, 또는 웹알티시(WebRTC)와 VoIP 등의 인터넷 기반의 통화 기기 등일 수 있다. 상기 통화의 상대방의 통화 기기는 통화 상대 기기(70)로 정의될 수 있다.
이하에서는, 혼합 현실에서 가상 모바일 단말(40)을 이용한 통화 동작의 순서에 대해서 설명한다.
상기 가상 모바일 단말(40)을 이용한 통화 동작은 통화 입력 단계, 서버(30) 요청 단계, 및 통화 연결 단계를 포함할 수 있다.
상기 통화 입력 단계에서, 사용자는 혼합 현실 상에서 가상 모바일 단말(40)에 구현된 통화 기능을 이용하여, 통화 동작을 개시할 수 있다. 예를 들어, 상기 사용자는 가상 모바일 단말(40)에 구현된 통화 기능을 트리거시키는 오브젝트를 터치하고 상기 터치가 감지됨으로써 통화 동작을 개시할 수 있다.
상기 통화가 웹알티시(WebRTC) 기반의 통화인 경우, 상기 통화 오브젝트의 기능의 트리거에 따라 웹알티시(WebRTC) 통신의 개시를 위한 통신 식별자가 생성될 수 있다. 상기 통신 식별자에는 상기 가상 모바일 단말 구현 디바이스(20)의 고유 아이디가 포함될 수 있다. 상기 통신 식별자는 커스텀 링크의 형태로 구현되는 경우, 사용자에 의해 직접 생성될 수 있으며, 상기 식별자가 웹 링크의 형태로 구현되는 경우 기 설정된 방식에 따라 생성될 수 있다. 또는, 상기 통신 식별자는 전술한 바와 같이 QR코드, VR링크 등의 형태로 구현될 수 있다.
상술한 바와 같이, 웹알티시 통신에 기초하여 상기 가상 모바일 단말 구현 디바이스(20)와 통화 상대 기기(70)와 통화를 수행하는 경우, 호환성 문제 없이 편리하게 통화를 수행할 수 있다. 상기 가상 모바일 단말 구현 디바이스(20)에 별도의 어플리케이션을 설치하여 통화를 수행하게 되는 경우, 상기 어플리케이션과 상기 가상 모바일 단말 구현 디바이스(20)의 호환성을 고려하여야 한다. 그러나, 이와 같이 웹알티시 통신에 기초하여 통화를 수행하는 경우, 별도의 어플리케이션 없이 가상 모바일 단말 구현 디바이스(20)의 웹 브라우저로의 접속을 통해 웹알티시 통신을 이용하여 통화를 수행할 수 있어 호환성 이슈가 해결될 수 있다. 이에 따라, 통화가 용이해질 수 있다.
또한, 상기 통화가 웹알티시(WebRTC) 기반의 통화인 경우, 전술한 바와 같이 상기 통시 식별자에는 소정의 파라미터가 부가될 수 있다. 상기 부가된 파라미터에 따라 웹알티시(WebRTC) 통신에 기반한 통화가 제어될 수 있다. 예를 들어, 상기 파라미터에 따라 통화의 종류, 통화의 특성, 통화의 방법 등이 제어될 수 있다.
상기 서버(30) 요청 단계에서, 가상 모바일 단말 구현 디바이스(20)는 상기 사용자의 통화 입력을 수신할 수 있다. 구체적으로, 상기 사용자는 통화하고자 하는 통화 상대방을 지정하여 통화 입력을 통해 상기 지정된 통화 상대방과의 통화를 요청할 수 있다. 이에 따라, 가상 모바일 단말 구현 디바이스(20)는 통화 연결을 관리하는 소정의 서버(30)로 통화 상대 기기(70)에 대한 통화를 요청할 수 있다.
한편, 상기 서버(30)는 상기 통화 연결이 실제 모바일 단말(50)과의 통화인 경우 통화를 관리하는 기지국일 수 있으나, 전술하였듯이 본 출원의 서버(30)는 웹알티시(WebRTC) 통신을 관리하는 서버(30)로 구현되어 웰알티시 기반의 통화를 수립할 수 있다. 이에 따라, 상기 서버(30)는 상기 통신 식별자를 통화 상대방의 통화 상대 기기(70)로 전송할 수 있다.
상기 통화 연결 단계에서, 상기 서버(30)는 통화 요청을 수신하여 통화 상대 기기(70)로 통화 연결 요청을 전송할 수 있다. 이에 따라, 상기 통화의 상대방이 통화 상대 기기(70)를 통해 통화 연결을 승낙하는 경우, 가상 모바일 단말(40)과 통화의 상대방의 통화 기기는 통화 연결될 수 있다.
예를 들어, 상기 통화의 상대방이 상기 통화 상대 기기(70)로 전송된 통신 식별자를 통해 사용자의 가상 모바일 단말 구현 디바이스(20)와 웹알티시(WebRTC) 통신을 개시할 수 있다. 이에 따라, 상기 가상 모바일 단말(40) 구현 다비이스는 사용자가 혼합 현실에서 통화를 할 수 있도록, 가상 모바일 단말(40)에 통화 인터페이스를 구현하여 실질적으로 사용자가 가상 모바일 단말(40)을 통해 통화를 하는 것과 같은 경험을 제공할 수 있다.
이하에서는, 웹알티시(WebRTC) 통신에 기초한 영상 통화 동작에 대해서 구체적으로 설명한다.
상기 영상 통화를 위해서는 음성 데이터만이 교환되는 음성 통화와는 다르게 영상 데이터가 교환되어야 한다. 상기 영상 데이터는 상기 음성 데이터에 비하여 큰 크기의 데이터이기 때문에, 상기 영상 데이터의 처리를 위해 미디어 서버(60)가 더 구비될 수 있다. 상기 미디어 서버(60)는 상기 미디어 데이터를 저장하며, 각 통화자가 미디어 데이터를 교환하도록 할 수 있다.
도 17을 참조하면, 본 출원의 일 실시예에 따른 웹알티시(WebRTC) 통신에 기초한 영상 통화의 개시를 위해서 가상 모바일 단말(40), 서버(30), 미디어 서버(60), 및 통화 상대 기기(70)는 서로 데이터를 교환 할 수 있다.
상기 가상 모바일 단말 구현 디바이스(20)는 상기 서버(30)로 통신 식별자의 전송 요청을 할 수 있다(S1210).
상기 서버(30)는 상기 통신 식별자를 송신 받아 상기 통화 상대 기기(70)로 전송할 수 있다(S1220).
상기 통화의 상대방이 통화 상대 기기(70)에 전송된 통신 식별자를 통해 통화를 승낙하는 경우, 상기 통화 상대 기기(70)는 통화 승낙 응답을 서버(30)로 전송(S1230)하고, 상기 통화 승낙 응답을 가상 모바일 단말 구현 디바이스(20)로 전송(S1240)하여, 상기 가상 모바일 단말 구현 디바이스(20)와 상기 통화 상대 기기(70) 간에 웹알티시(WebRTC) 통신이 수립될 수 있다(S1250).
상기 미디어 서버(60)는 상기 웹알티시(WebRTC) 통신이 수립되는 경우, 상기 가상 모바일 단말 구현 디바이스(20)와 상기 통화 상대 기기(70)가 미디어 데이터를 서로 교환(S1260)하도록 할 수 있다. 이를 위해, 상기 미디어 서버(60)는 가상 모바일 단말 구현 디바이스(20)와 통화 상대 기기(70) 각각으로부터 미디어 데이터를 제공 받아 송신할 수 있다.
또한, 상기 미디어 서버(60)는 주고 받는 미디어 데이터를 저장할 수 있다. 따라서, 사용자 또는 통화 상대자는 미디어 서버(60)에 저장된 미디어 데이터에 접근하여, 과거의 미디어 데이터를 이용할 수 있다.
한편, 상기 영상 통화는 일대일 영상 통화뿐만 아니라, 다자간 영상 통화를 포함할 수 있다. 상기 영상 통화가 다자간 영상 통화인 경우, 상기 통신 식별자는 다수의 통화 상대 기기(70)에 전송될 수 있으며 이에 따라 가상 모바일 단말 구현 디바이스(20) 및 다수의 통화 상대 기기(70)들은 서로 웹알티시(WebRTC) 통신을 수립할 수 있다. 이에 따라, 상기 미디어 서버(60)는 가상 모바일 단말 구현 디바이스(20) 및 다수의 통화 상대 기기(70)로부터 미디어 데이터를 전송 받아, 각각의 기기로 전송할 수 있다.
상기 다자간 영상 통화의 경우, 다수의 통화 상대 기기(70)들과 웹알티시(WebRTC) 통신을 수립하기 위하여 통신 식별자에는 소정의 파라미터가 부가될 수 있다. 상기 파라미터는 하나의 통신 식별자를 이용하여 모든 통화 상대 기기(70)들과 영상 통화를 수립할 수 있도록 하는 파라미터일 수 있다. 예를 들어, 상기 파라미터는 모든 통화 상대 기기(70)들의 고유 아이디를 포함하는 파라미터일 수 있다.
구체적으로, "peer://유저아이디1/유저아이디2/유저아이디3"의 형태로 다수의 통화 상대 기기(70)와 웹알티시(WebRTC) 통신을 수립할 수 있다. 또는, 다수의 상대 기기들이 리스트 형태로 관리되는 경우, "peer://유저아이디리스트"의 형태로 다수의 통화 상대 기기(70)와 웹알티시(WebRTC) 통신을 수립할 수 있다.
한편, 개시할 통화의 종류를 결정하기 위하여 통신 식별자에는 소정의 파라미터가 부가될 수 있다. 예를 들어, 상기 식별자가 커스텀 링크인 경우, "peer://유저아이디/(통화 종류)"와 같은 파라미터가 부가된 커스텀 링크를 통하여 통화의 종류를 선택할 수 있다.
또는, 통화의 기본은 음성 통화로 지정되어 있고 "peer://유저아이디/영상통화"라는 형태의 커스텀 링크를 이용하여 통화 상대방과의 통화 종류를 결정할 수 있다.
상기 사용자는 가상 모바일 단말(40)을 이용하여 영상 통화를 하는 도중, 제공되는 영상의 크기를 제스쳐에 따라 조절할 수 있다.
도 18을 참조하면, 본 출원의 일 실시예에 따른 사용자의 제스쳐에 기초하여 상기 가상 모바일 단말(40)을 이용한 영상 통화 중의 영상 크기가 조절될 수 있다.
전술한 바와 같이, 상기 제스쳐는 사용자의 두 손가락을 이용한 줌인/줌아웃일 수 있다.
또는, 도 18에 도시된 바와 같이 가상 모바일 단말(40)이 구현된 대상 오브젝트(10)와 사용자 간의 거리(D)에 기초하여 상기 영상 크기가 조절될 수 있다. 예를 들어, 상기 사용자가 상기 대상 오브젝트(10)를 이동시켜 상기 사용자와의 거리(D)가 가까워지는 경우, 상기 대상 오브젝트(10)에 구현된 가상 모바일 단말(40)이 출력하는 영상의 크기는 작아질 수 있다.
또한, 상기 도 19에 도시된 바와 같이 혼합 현실 영상 공간 상으로 영상을 확장시킬 수 있다. 영상 통화에 이용되는 영상의 크기는 대상 오브젝트(10)의 구현 영역에 대응되는 크기로 초기에 구현될 수 있으나, 사용자의 취향에 따라 상기 영상의 크기는 구현 영역의 주변으로 확장되어, 상기 가상 모바일 단말 제공 디바이스는 대상 오브젝트의 이외의 영역에 구현된 영상을 사용자가 이용하도록 할 수 있다.
또한, 상기 영상이 확장됨과 동시에 이와 더불어 가상 모바일 단말에서는 추가적인 컨텐츠 내지는 컨트롤러를 계속하여 이용할 수 있다.
4. 가상 모바일 단말 구현 시스템의 제어 방법
이하에서는 가상 모바일 단말 구현 시스템(1)의 제어 방법에 대해서 설명한다.
도 20은 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)의 제어 방법의 순서도이다.
도 20을 참조하면, 본 출원의 일 실시예에 따른 가상 모바일 단말 구현 시스템(1)의 제어 방법은 혼합 현실 구현(S1000), 대상 오브젝트 탐지(S2000), 가상 모바일 단말 구현(S3000), 및 웹알티시 기반의 통화 개시(S4000)를 포함할 수 있다. 단계 S1000 내지 단계 S4000은 모두 수행될 수도 있지만, 항상 단계 S1000 내지 단계 S4000이 모두 수행되어야 하는 것은 아니고, 단계 S1000 내지 단계 S4000 중 적어도 하나만이 수행될 수도 있다.
상기 혼합 현실 구현 단계(S1000)에서, 가상 모바일 단말 구현 디바이스(20)를 착용한 사용자는 상기 가상 모바일 단말 구현 디바이스(20)를 통해 혼합 현실을 제공 받을 수 있다. 상기 가상 모바일 단말 구현 디바이스(20)는 혼합 현실 영상을 구현하며, 상기 디바이스를 착용한 사용자가 상기 영상을 볼 수 있도록 하여 사용자에게 혼합 현실을 제공할 수 있다.
상기 대상 오브젝트 탐지 단계(S2000)에서, 상기 가상 모바일 단말(40)을 통해 제공된 혼합 현실 영상에서 식별 표지(12)를 기초로 대상 오브젝트(10)를 탐지할 수 있다. 이 때, 상기 식별 표지(12)의 형태를 기초로 대상 오브젝트(10)에 형성된 구현영역(14)을 탐지할 수 있다.
상기 가상 모바일 단말 구현 단계(S3000)에서, 상기 탐지된 대상 오브젝트(10)의 구현영역(14)에 가상 모바일 단말(40)을 구현할 수 있다. 상기 가상 모바일 단말(40)은 사용자의 실제 모바일 단말(50)과 연동될 수 있다.
상기 웹알티시 기반의 통화 개시 단계(S4000)에서, 상기 가상 모바일 단말 구현 디바이스(20)는 가상 모바일 단말(40)의 통화 오브젝트에 대한 터치를 감지하여, 통화를 개시할 수 있다. 이때, 상기 가상 모바일 단말 구현 디바이스(20)는 웹알티시(WebRTC) 통화를 개시하기 위한 통신 식별자를 생성할 수 있고, 상기 통신 식별자를 통화 상대방의 통화 상대 기기(70)로 전송함으로써, 웹알티시(WebRTC) 기반의 통화를 개시할 수 있다.
상술한 본 출원에 따른 가상 모바일 단말 구현 방법 및 이를 이용하는 가상 모바일 단말 구현 시스템에 있어서, 각 실시예를 구성하는 단계가 필수적인 것은 아니며, 따라서 각 실시예는 상술한 단계를 선택적으로 포함할 수 있다. 또 각 실시예를 구성하는 각 단계는 반드시 설명된 순서에 따라 수행되어야 하는 것은 아니며, 나중에 설명된 단계가 먼저 설명된 단계보다 먼저 수행될 수도 있다. 또한 각 단계는 동작하는 동안 어느 한 단계가 반복적으로 수행되는 것도 가능하다.

Claims (20)

  1. 혼합 현실에서 이용되는 가상의 모바일 단말을 구현하는 가상 모바일 단말 제공 디바이스의 제어 방법에 있어서,
    상기 가상 모바일 단말 제공 디바이스에서 감지되는 실제의 객체에 인공적으로 구현되는 가상의 객체를 혼합하여 혼합 현실 영상을 구현하는 단계;
    상기 혼합 현실 영상이 구현된 후 감지되는 실제의 객체 중 식별 표지를 포함하는 대상 오브젝트를 검출하는 단계; 및
    상기 대상 오브젝트의 적어도 일부의 영역에 상기 가상의 모바일 단말의 영상을 구현하는 단계;를 포함하는,
    제어방법.
  2. 제1 항에 있어서,
    상기 가상의 모바일 단말에서 제공되는 인터페이스를 통해 상기 가상의 모바일 단말의 사용자가 아닌 다른 사용자의 단말과의 웹알티시 통신 연결을 수립하는 단계;를 더 포함하는
    제어방법.
  3. 제2 항에 있어서,
    상기 웹알티시 통신 연결을 수립하는 단계는,
    상기 가상 모바일 단말 제공 디바이스에 설치된 브라우저를 이용하여 상기 다른 사용자의 단말과의 웹알티시 통신 연결을 수립하는 것을 특징으로 하는,
    제어방법.
  4. 제3 항에 있어서,
    상기 가상의 모바일 단말의 영상을 구현하는 단계는,
    상기 대상 오브젝트에 상기 가상의 모바일 단말을 이용하기 위한 가상의 오브젝트를 구현하는 단계;
    상기 가상의 오브젝트의 터치를 감지하는 단계; 및
    상기 감지된 가상의 오브젝트에 대응되는 상기 가상의 모바일 단말의 동작을 수행하는 단계;를 포함하는,
    제어방법.
  5. 제2 항에 있어서,
    상기 웹알티시 통신 연결을 수립하는 단계는,
    상기 웹알티시 통화 연결 오브젝트의 터치를 감지하는 단계;및
    상기 웹알티시 통화 연결 오브젝트의 터치에 응답하여 상기 웹알티시 통신 연결에 기초한 상기 다른 사용자의 단말과의 통화를 수립하는 단계;를 포함하는
    제어방법.
  6. 제5 항에 있어서,
    상기 가상의 오브젝트의 터치를 감지하는 단계는,
    상기 가상의 모바일 단말의 가상의 오브젝트를 터치하는 경우, 상기 가상의 오브젝트가 구현된 대상 오브젝트의 영역의 재질에 기인하여 발생되는 소리에 기초하여 상기 가상의 오브젝트의 터치를 감지하는 것을 특징으로 하는,
    제어방법.
  7. 제6 항에 있어서,
    상기 가상의 오브젝트의 터치를 감지하는 단계는,
    상기 가상의 모바일 단말의 가상의 오브젝트가 형성된 영역의 영상의 변화를 감지함으로써 상기 가상의 오브젝트의 터치를 감지하는 것을 특징으로 하는,
    제어방법.
  8. 제7 항에 있어서,
    상기 가상의 오브젝트의 터치를 감지하는 단계는,
    상기 가상의 오브젝트를 향해 이동하는 객체의 속도를 탐지하여 상기 가상의 오브젝트의 터치를 감지하는 것을 특징으로 하는,
    제어방법.
  9. 제5 항에 있어서,
    상기 가상의 모바일 단말의 영상을 구현하는 단계는,
    상기 가상의 모바일 단말이 구현되는 상기 대상 오브젝트의 영역의 형태를 감지하는 단계;를 포함하는
    제어방법.
  10. 제9 항에 있어서,
    상기 대상 오브젝트를 검출하는 단계는,
    상기 혼합 현실 영상 내의 상기 대상 오브젝트의 상기 식별 표지의 형태에 기초하여 상기 대상 오브젝트의 영역의 형태를 감지하는 것을 특징으로 하는,
    제어방법.
  11. 제10 항에 있어서,
    상기 대상 오브젝트의 회전 또는 이동에 따라서 변화되는 상기 대상 오브젝트의 영역을 검출하고,
    상기 검출된 대상 오브젝트의 영역에 가상의 모바일 단말 영상을 구현하는 것을 특징으로 하는,
    제어방법.
  12. 제9 항에 있어서,
    상기 웹알티시 통신 연결을 수립하는 단계에서, 상기 통신 식별자는 소정의 링크로 생성되는 것을 특징으로 하는,
    제어방법.
  13. 제12 항에 있어서,
    상기 웹알티시 통신 연결을 수립하는 단계에서, 상기 통신 식별자에는 상기 통화를 제어하기 위한 소정의 파라미터가 부여되는 것을 특징으로 하는,
    제어방법.
  14. 제13 항에 있어서,
    상기 통신 식별자에 부가된 파라미터에 따라 상기 통화의 종류가 결정되는 것을 특징으로 하는,
    제어방법.
  15. 제14 항에 있어서,
    상기 통화의 종류가 영상 통화인 경우, 상기 가상 모바일 단말의 영상을 구현하는 단계에서 상기 가상 모바일 단말 내에 영상 통화에 의한 통화 영상을 구현하는 것을 특징으로 하는,
    제어방법.
  16. 제15 항에 있어서,
    상기 통화의 종류가 영상 통화인 경우, 미디어 서버로 미디어 데이터를 전송하는 단계; 및 상기 미디어 서버로부터 미디어 데이터를 획득하여 상기 통화 영상을 구현하는 단계;를 더 포함하는 것을 특징으로 하는,
    제어방법.
  17. 제16 항에 있어서,
    실제의 모바일 단말의 데이터를 획득하는 단계;를 더 포함하고,
    상기 실제의 모바일 단말의 데이터에 기초하여 상기 가상의 모바일 단말의 영상을 구현하는 것을 특징으로 하는,
    제어방법.
  18. 제1 항에 있어서,
    상기 가상 모바일 단말 제공 디바이스는 혼합 현실을 상기 가상 현실 또는 증강 현실로 대체 하는 것을 특징으로 하는,
    제어방법.
  19. 제1 항 내지 제18 항 중 어느 하나의 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  20. 실제의 세계의 실제의 객체를 감지하는 감지부;
    상기 감지된 실제의 객체와 인공적으로 구현된 가상의 객체를 포함하는 혼합 현실 영상을 출력하는 출력부; 및
    식별 표지를 기초로 상기 혼합 현실 영상 내의 대상 오브젝트를 탐지하며, 상기탐지된 영역에 상기 가상의 모바일 단말의 영상을 구현하며, 상기 혼합 현실 영상 내의 상기 가상의 모바일 단말을 통한 통화 요청을 수신하는 경우, 웹알티시 통신 연결을 수립하기 위한 고유 아이디를 포함하는 통신 식별자를 통화 상대 기기로 전송함으로써 상기 웹알티시 통신 연결을 수립하는 제어부;를 포함하는
    가상 모바일 단말 구현 장치.
PCT/KR2017/012887 2017-09-26 2017-11-14 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법 Ceased WO2019066133A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/760,970 US20190096130A1 (en) 2017-09-26 2017-11-14 Virtual mobile terminal implementing system in mixed reality and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0124500 2017-09-26
KR1020170124500A KR102077665B1 (ko) 2017-09-26 2017-09-26 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
WO2019066133A1 true WO2019066133A1 (ko) 2019-04-04

Family

ID=65902288

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/012887 Ceased WO2019066133A1 (ko) 2017-09-26 2017-11-14 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법

Country Status (2)

Country Link
KR (1) KR102077665B1 (ko)
WO (1) WO2019066133A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102214338B1 (ko) * 2020-05-25 2021-02-10 조광희 증강현실 표시를 위한 전자 장치의 제어 방법, 장치 및 프로그램
CN112991553B (zh) * 2021-03-11 2022-08-26 深圳市慧鲤科技有限公司 信息展示方法及装置、电子设备和存储介质
KR102462099B1 (ko) * 2021-08-18 2022-11-04 경북대학교 산학협력단 증강현실 기반 3차원 의료 교육 모델 제공 장치 및 방법
KR20240084665A (ko) * 2022-12-06 2024-06-14 삼성전자주식회사 외부 전자 장치의 제어와 관련된 사용자 인터페이스를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024185995A1 (ko) * 2023-03-06 2024-09-12 삼성전자주식회사 외부 이미지를 제공하기 위한 전자 장치 및 방법
WO2024248226A1 (ko) * 2023-06-02 2024-12-05 주식회사 맥스트 가상공간과 현실공간 사이의 통신 서비스 제공 장치, 방법 및 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140035861A (ko) * 2013-11-06 2014-03-24 엘지전자 주식회사 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
US20140320389A1 (en) * 2013-04-29 2014-10-30 Michael Scavezze Mixed reality interactions
KR20150105131A (ko) * 2014-03-07 2015-09-16 한국전자통신연구원 증강현실 제어 시스템 및 제어 방법
KR20150110285A (ko) * 2014-03-21 2015-10-02 삼성전자주식회사 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
KR20160111904A (ko) * 2014-01-23 2016-09-27 소니 주식회사 화상 표시 장치 및 화상 표시 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6088632B1 (ja) * 2015-12-22 2017-03-01 西日本電信電話株式会社 音声映像通信システム、サーバ、仮想クライアント、音声映像通信方法、および音声映像通信プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140320389A1 (en) * 2013-04-29 2014-10-30 Michael Scavezze Mixed reality interactions
KR20140035861A (ko) * 2013-11-06 2014-03-24 엘지전자 주식회사 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
KR20160111904A (ko) * 2014-01-23 2016-09-27 소니 주식회사 화상 표시 장치 및 화상 표시 방법
KR20150105131A (ko) * 2014-03-07 2015-09-16 한국전자통신연구원 증강현실 제어 시스템 및 제어 방법
KR20150110285A (ko) * 2014-03-21 2015-10-02 삼성전자주식회사 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스

Also Published As

Publication number Publication date
KR102077665B1 (ko) 2020-04-07
KR20190035373A (ko) 2019-04-03

Similar Documents

Publication Publication Date Title
WO2019066133A1 (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
WO2019168383A1 (en) Electronic device
WO2015199453A1 (en) Foldable electronic apparatus and interfacing method thereof
WO2016133350A1 (ko) 복수의 사용자의 활동에 기초하여 콘텐트를 추천하는 방법 및 이를 위한 장치
WO2019168380A1 (en) Electronic device
WO2016018004A1 (en) Method, apparatus, and system for providing translated content
WO2016111556A1 (en) Method of wirelessly connecting devices, and device thereof
WO2018034402A1 (en) Mobile terminal and method for controlling the same
WO2015142023A1 (en) Method and wearable device for providing a virtual input interface
WO2015178714A1 (en) Foldable device and method of controlling the same
WO2014119894A1 (en) Method of performing function of device and device for performing the method
WO2016182132A1 (ko) 이동단말기 및 그 제어방법
WO2016010202A1 (en) Mobile terminal and control method for the mobile terminal
WO2017003043A1 (ko) 이동 단말기 및 그 제어 방법
WO2021182692A1 (en) A mobile terminal, an electronic device having a mobile terminal, and control method of the electronic device
WO2017047854A1 (ko) 이동 단말기 및 그 제어방법
WO2015199381A1 (en) Mobile terminal and method for controlling the same
WO2016064250A2 (ko) 적응적으로 작업 수행의 주체를 변경하기 위한 장치 및 방법
WO2016032045A1 (ko) 이동 단말기 및 이의 제어 방법
WO2017039051A1 (ko) 와치 타입 이동단말기 및 그 제어방법
WO2020032376A9 (en) Mobile terminal and method for controlling the same
WO2015093667A1 (ko) 전자기기 및 전자기기의 제어방법
WO2015093665A1 (ko) 전자기기 및 전자기기의 제어방법
WO2017086538A1 (ko) 이동 단말기 및 이의 제어방법
WO2016052888A1 (en) Mobile terminal and method of controlling the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17926680

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17926680

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 22/01/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 17926680

Country of ref document: EP

Kind code of ref document: A1