[go: up one dir, main page]

WO2018092947A1 - Smart robot game system - Google Patents

Smart robot game system Download PDF

Info

Publication number
WO2018092947A1
WO2018092947A1 PCT/KR2016/013322 KR2016013322W WO2018092947A1 WO 2018092947 A1 WO2018092947 A1 WO 2018092947A1 KR 2016013322 W KR2016013322 W KR 2016013322W WO 2018092947 A1 WO2018092947 A1 WO 2018092947A1
Authority
WO
WIPO (PCT)
Prior art keywords
smart
smart robot
battlefield
user
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/013322
Other languages
French (fr)
Korean (ko)
Inventor
유환수
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trycatch Media Co Ltd
Original Assignee
Trycatch Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trycatch Media Co Ltd filed Critical Trycatch Media Co Ltd
Priority to PCT/KR2016/013322 priority Critical patent/WO2018092947A1/en
Publication of WO2018092947A1 publication Critical patent/WO2018092947A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/822Strategy games; Role-playing games
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/14Racing games, traffic games, or obstacle games characterised by figures moved by action of the players
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/24Electric games; Games using electronic circuits not otherwise provided for
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a smart robot game system, and more particularly, to create an environment synchronized with the battlefield of the reality and the OID (Optical Identification Device) using a smart robot in virtual reality, and can perform a simulation game using the same. It is about a system.
  • OID Optical Identification Device
  • Drone bombers used by the US military are wirelessly controlled and perform missions to detect or bomb enemy lines by executing pre-input commands or performing new commands based on information received in real time.
  • Virtual simulation programming is also used to acquire accurate drones and control technologies such as wireless mini helicopters.
  • the development of computer system and computer graphic technology for realizing virtual world and development of BCI and HMD device technology that can analyze user's emotion and stimulate cognitive vision provide various virtual reality environment and provide more realistic virtual world. Access is now possible.
  • the present invention has been proposed in order to solve the above-described problems, and an object thereof is to provide a smart robot game system in which a user operates a real tank by directly adjusting a toy tank by providing a battlefield of virtual reality.
  • a smart robot game system is a smart robot type in the form of a tank, and moves based on a user's control, and transmits information about an actual position using an optical code.
  • Smart robot platform A user device based on a control interface for manipulating the smart robot and a view interface showing a battlefield of virtual reality;
  • a battle field configured to be synchronized with the entire battlefield of the OID-based matte type terrain and the virtual reality on which the 3D object is coated so that the smart robot moves, and is displayed to the user in accordance with the movement of the smart robot.
  • the smart robot platform includes a communication unit including message control, location information management and image encoder functions; A control unit that controls the vehicle body control, turret control, and movement; And a sensor unit including an infrared module, a position recognition module, and a camera module.
  • the infrared module comprises: an IR laser transmitter for transmitting an IR laser, and transmitting information including an type of shell by using an optical code; And an IR laser receiver for receiving an IR laser.
  • the controller may analyze the optical code transmitted through the IR laser receiver and set whether to be shot or not and the state of the smart robot.
  • the position recognition module scans an optical code on a mat coated with an optical code, and the optical code consists of 5x5 braille, three square vertices having a template for correcting the position of the code, and the control unit By using Kalman filter on the position measurement values using code, the position of the smart robot can be measured.
  • the user device may include a control unit including message control, location information management, and video decoder functions;
  • a user interface including a user interface object module in a virtual reality including movable objects and a user interface object module disposed in a fixed area including fixed objects;
  • a game system that performs game rules, event processing, and effect handling.
  • the battlefield may include: an actual battlefield environment including indoor GPS, terrain tiles, and object objects to locate and reflect the location of the smart robot in a game; And a map object template module having templates for various terrains and features, a virtual battlefield object module including objects represented in a virtual environment for an offline map object template, a 3D map editor for editing a virtual feature, and Virtual battlefield environment including an effect library including a library for effects.
  • a virtual reality battle game system that can increase the user's immersion degree can be provided.
  • the position of the smart robot can be estimated accurately by using the OID for position synchronization between the virtual battlefield and the actual battlefield, and by using the template-based optical code recognition technique and the position correction technique using the Kalman filter. have.
  • FIG. 1 is an overall configuration diagram of a smart robot game system according to an embodiment of the present invention.
  • FIG. 2 is an example of implementing a smart toy employed in a smart robot game system according to an embodiment of the present invention in the form of a tank.
  • FIG. 3 is a view showing the configuration of the IR laser transmitter and the IR laser receiver shown in FIG.
  • FIG. 4 is an internal configuration diagram of a smart toy robot system of a tank type employed in the smart robot game system according to an embodiment of the present invention.
  • 5 to 7 are examples of user devices usable in the smart robot game system according to the embodiment of the present invention.
  • FIG. 8 illustrates an implementation of a software type controller.
  • FIG. 9 is a diagram showing the structure (architecture) of a user interface.
  • FIG. 10 is a diagram illustrating a configuration of a game system applied to a user device.
  • FIG. 11 is a diagram illustrating a form of an actual electric field.
  • FIG. 12 is a diagram illustrating a design of a battlefield design of a virtual reality and a 3D template of a map object.
  • FIG. 13 is a diagram employed for explaining synchronization between a virtual battlefield and a real battlefield.
  • FIG. 14 is a diagram for explaining the configuration of a server.
  • FIG. 15 is a diagram for describing position correction on a rotation transformation based on an optical code and a template.
  • 16 is a diagram illustrating an optical mat.
  • Smart robot game system a smart robot type of the tank type smart robot platform that moves based on the user's control, and transmits information about the actual position using the optical code;
  • a user device based on a control interface for manipulating the smart robot and a view interface showing a battlefield of virtual reality;
  • a battle field configured to be synchronized with the entire battlefield of the OID-based matte type terrain and the virtual reality on which the 3D object is coated so that the smart robot moves, and is displayed to the user in accordance with the movement of the smart robot.
  • Virtual reality refers to a reality-like environment or technology made of artificial technology, not the real world.
  • Virtual reality must connect humans and computers to give humans a sense of being in a real virtual space, beyond a sense of being in a manipulated reality.
  • a space composed of 3D graphics, a display capable of expressing it, and a sensor for measuring a body's movement are required.
  • Virtual reality is an artificial world that perceives user's actions including human senses and creates a virtual world generated based on it in real time by computer and creates it like reality.
  • the virtual world is not a static world, and objects in the world are able to move, interact with each other, and are affected by external actions.
  • virtual reality is one of the main perspectives. It stimulates all the sensory organs of the human body to immerse you in the artificially created world, making you feel like you are there.
  • the virtual world where objects perceived based on the user's actions and sensations are created by the user's actions, the user becomes both a recognizer and a creator.
  • the computer's real-time response to user behavior is one of the important elements of simulation and other virtual reality systems.
  • the most important thing about virtual reality is that you are the center of simulation and interact with the virtual world created by computers.
  • Such a virtual world can add effects of immersion and interaction by utilizing peripheral devices such as a head display device (HMD).
  • HMD head display device
  • One of the important elements for building a virtual reality system is the implementation of an interface that enables effective communication between humans and computers.
  • Conventional communication between a user and a computer is based on information input by a user, but a virtual reality system requires a cognitive system that can recognize or detect a user's behavior and analyze and interpret it as well.
  • a smart toy refers to a toy having artificial intelligence or a toy connected to a network to interact with a user. It may be connected to a computer, or it may be a toy that uses computer technology by incorporating sophisticated sensors and electric circuits.
  • Intelligence toys include robot pets such as Sony's Aibo. Through artificial intelligence, it was developed to learn the behavior like a real pet and to perform various behaviors according to the user's reaction or education. Due to the development and popularization of drone smartphones, various toys linked with smartphones have also been proposed. Nico Li et al. Proposed a system that can produce real terrain using a 3D printer, set the drone's movement path using a handheld screen and see-through headset, and receive real-time images through the actual drone.
  • the HMD is an image output mechanism that acts on the user's head and is a display device that displays an image directly in front of the user's eyes.
  • Marvin Minsky was first developed in 1963. It is used as a display for augmented reality by displaying information on a part of the field of view such as Google Glass, and it is used for virtual reality by displaying an image all over the field of view of the user such as Oculus and detecting user's movement such as head trekking.
  • Google Glass a part of the field of view
  • virtual reality by displaying an image all over the field of view of the user such as Oculus and detecting user's movement such as head trekking.
  • the HMD for augmented reality consists of a pair of goggles, which secures the user's existing field of view, displays images or text on it, receives an image from the field of view of the current user through the camera, Information about the space can be provided to the user or the user can update the status of SMS and SNS information.
  • HMD for virtual reality is composed of helmet or goggles, and it blocks the view of existing users and provides 3D image based on binocular parallax. In special cases, cameras can be installed to ensure the user's existing field of view.
  • FIG. 1 is an overall configuration diagram of a smart robot game system according to an embodiment of the present invention. 1 illustrates a configuration of a system through interworking of a real environment module such as a smart robot user configuration environment and a software module such as a smart terminal and a virtual reality environment.
  • a real environment module such as a smart robot user configuration environment
  • a software module such as a smart terminal and a virtual reality environment.
  • the smart robot game system includes a smart robot platform 10, a user device 20, a battlefield environment 30, and a VR battlefield environment 40.
  • the smart robot platform 10 is a tram-type robot type that moves based on the user's control and transmits information about an actual position using an optical code.
  • the smart robot platform 10 includes a communication unit 10a including message control and location information management and an image encoder, a control unit 10b for controlling the movement of the vehicle body control and turret control and a conventional input method, And a sensor unit 10c including an infrared module, a position recognition module, and a camera module.
  • the smart robot platform 10 basically uses a tram-type smart robot.
  • the user device 20 is based on a control interface for manipulating a smart robot and a view interface showing the battlefield of virtual reality. That is, the user device 20 may include a control unit 20a including message control, location information management, and a video decoder, a user interface 20b including a control interface and a view interface, and It may include a game system 20c that performs game rules and event processing and effect handling.
  • a control unit 20a including message control, location information management, and a video decoder
  • a user interface 20b including a control interface and a view interface
  • It may include a game system 20c that performs game rules and event processing and effect handling.
  • the smart robot moves and synchronizes with the OID-based matte type terrain and the virtual reality battlefield in which 3D objects are applied, and all these things can be linked through the server 50.
  • the battlefield environment 30 may include an indoor GPS, a terrain tile, and a feature object for locating a smart toy and reflecting it in a game.
  • the VR battlefield environment 40 may include a map object template module 40a having templates for various terrains and features, and a virtual environment for an offline map object template.
  • VR battlefield object module 40b including objects to be represented, a 3D map editor 40c for editing virtual features, and a library for effects An effect library 40d may be included.
  • the server 50 shown in FIG. 1 may match a real battlefield and a virtual battlefield and transmit and correct location information according to a user's manipulation.
  • FIG. 2 is an example of implementing a smart toy employed in a smart robot game system according to an embodiment of the present invention in the form of a tank.
  • the tank-type smart toy illustrated in FIG. 2 (ie, called a smart tank) is configured to allow a user to control the rotation of the turret and the movement of the robot using a controller.
  • the two cameras can be used to check the front position of the tank and the direction of the barrel, and the robot's position can be identified through an OID scanner.
  • the smart toy (smart tank) of the tank type illustrated in FIG. 2 includes a driving motor 12, a barrel rotation motor 11, cameras 13 and 14, an IR laser transmitter 15, and an IR laser receiver ( 16, a battery pack 17, a communication board 18, a control board 19, and an OID scanner 21.
  • FIG. 3 is a diagram showing the configuration of the IR laser transmitter 15 and the IR laser receiver 16 shown in FIG.
  • the smart toy can check the firing and shooting down of the shell by using an IR laser.
  • the smart toy can detect whether the smart tank is damaged and can be driven depending on the type of shell and the position of the shot. That is, the main controller 72 of the smart toy robot system 60, which will be described later, may check the firing and shooting down of the shell by using the IR lasers from the IR laser transmitter 15 and the IR laser receiver 16. Accordingly, the main controller 72 may detect a damage state of the smart tank and whether it can be driven depending on the type of shell and the position of the shell.
  • the IR laser transmitter 15 transmits an IR laser, but transmits information such as the type of shell using an optical code.
  • the IR laser receiver 16 receives the IR laser.
  • the main controller 72 analyzes the optical code transmitted through the IR laser receiver 16 to set the status of the bullet and the state of the smart tank. In order to be able to do so, corresponding information may be provided to the main controller 72 of the smart toy 60.
  • the IR laser transmitter 15 and the IR laser receiver 16 may be regarded as being included in the IR module 70 of the smart toy 60 to be described later.
  • FIG. 4 is an internal configuration diagram of a smart toy robot system of a tank type employed in the smart robot game system according to an embodiment of the present invention.
  • the smart toy robot system 60 collects operation settings and information of each module through the main controller 72.
  • the main controller 72 interoperates with the user device 20, the battlefields 30 and 40, and the server 50 to control the operation and the location of the smart toy robot system of the corresponding vehicle type.
  • the smart toy robot system 60 includes a camera module 62 capable of relaying a screen of a field, a motor module 64 that performs rotation of a turret (rotation turret), and body movement, and a server 50.
  • Network module 66 for performing communication OID module 68 for location recognition, and IR module 70 for infrared transmission and reception.
  • the camera module 62 includes the cameras 13 and 14 illustrated in FIG. 2.
  • the motor module 64 includes a drive motor 12 and a barrel rotation motor 11 illustrated in FIG. 2.
  • Network module 66 includes a communication board 18 illustrated in FIG. 2.
  • OID module 68 includes an OID scanner 21 illustrated in FIG. 2.
  • the main controller 72 includes a control board 19 illustrated in FIG. 2.
  • the smart toy robot system 60 as described above moves according to the user's control, checks the position in the actual battle field by using the OID scanner 21, and transmits the same to the server 50, and transmits the data from the server 50. Move to match the terrain of the virtual battlefield.
  • the OID module 68 may scan the OID scanner 21 with an optical code on a mat coated with an optical code (optical mat).
  • the above-described network module 66 of FIG. 4 may correspond to the communication unit 10a of the smart robot platform 10 of FIG. 1.
  • main controller 72 of FIG. 4 may correspond to the control unit 10b of the smart robot platform 10 of FIG. 1.
  • the IR module 70, the OID module 68, and the camera module 62 of FIG. 4 may correspond to the sensor unit 10c of the smart robot platform 10 of FIG. 1.
  • smart toy robot system may be abbreviated as smart toy.
  • 5 to 7 are examples of user devices usable in the smart robot game system according to an embodiment of the present invention, and show various user device types.
  • the user device usable in the smart robot game system may include a controller for controlling the smart tank and a display device showing the battlefield environment.
  • the display device basically recommends an HMD with a gyroscope sensor to experience virtual reality, but a smart device such as a smartphone or a smart pad can be used.
  • the controller can be controlled using a software type controller using a smart device and a dedicated controller for VR HMD users.
  • FIG. 8 is a diagram illustrating an implementation of a software type controller, in which a vehicle body of a corresponding smart toy (smart tank) may be adjusted through body direction.
  • the barrel can be moved using the Function Direction.
  • the user's screen can observe the battlefield through the head trekking in the case of HMD according to the user environment setting, and the handling can be achieved through the handling of the smart pad.
  • FIG. 9 is a diagram showing the structure (architecture) of a user interface.
  • the user interface may be divided into a user interface object module 74 in a virtual reality, and a user interface object module 76 disposed in a fixed area.
  • the user interface object module 74 in the virtual reality includes information on the cockpit environment of the smart toy (smart tank), and movable objects such as a mini map and a system button.
  • the user interface object module 76 disposed in the fixed area includes fixed objects such as coordinates and launch points.
  • FIG. 10 is a diagram illustrating a configuration of a game system applied to a user device.
  • the game system applied to the user device includes a game content module 78 and an effect module 80.
  • Game content module 78 includes game rules, scores, achievements, and the like.
  • Effect module 80 includes shell fire, shell hits, and object destruction.
  • FIG. 11 is a diagram illustrating the shape of an actual battlefield
  • FIG. 12 is a diagram illustrating a design of a battlefield design of a virtual reality and a 3D template of a map object
  • FIG. 13 is a synchronization between a virtual battlefield and a battlefield of reality. It is a figure which is adopted in order to demonstrate.
  • Battlefield consists of a battlefield of reality that moves a smart tank and a virtual battlefield made of 3D graphic objects.
  • Battlefield is provided to map the virtual battlefield to the battlefield of reality to be displayed to the user according to the movement of the smart toy (smart tank).
  • an OID-mounted map object is installed on a mat coated with an optical code to decorate a battlefield environment.
  • a battlefield of virtual reality made of 3D graphics may be constructed, which may show a design of a battlefield design of a virtual reality and a 3D template of a map object as shown in FIG. 12.
  • the actual battlefield and the battlefield of the virtual reality are synchronized using OID-based optical codes as shown in FIG. 13, and each map object is matched with 3D graphic objects to form a virtual battlefield.
  • the actual electric field is in the form of a mat coated with 2D optical code.
  • FIG. 14 is a diagram for explaining the configuration of a server.
  • the server 50 In order to match the actual battlefield with the virtual battlefield and transmit and correct the location information according to the user's manipulation, the server 50 is required.
  • the server 50 includes a cloud server 52 and an application server 54.
  • the cloud server 52 may provide network services, device connections, and services for games.
  • the application server 54 provides an application required for the game, and may be composed of SPDY2.0 and a web socket.
  • the embodiment of the present invention requires a technique for accurately identifying and correcting the position of the smart toy (smart tank) in order to connect the space of the real space and the virtual reality.
  • an optical code for recognizing a position of a smart toy (smart tank) is adopted, a technique for recognizing the optical code, and an error occurring when the position is indicated by recognizing the optical code
  • the positional correction based on the Kalman filter was performed.
  • FIG. 15 is a diagram for explaining position correction regarding a rotation transformation based on an optical code and a template
  • FIG. 16 is a diagram illustrating an optical mat.
  • the optical code is basically expressed in 5 ⁇ 5 braille as shown in FIG. 15, and three rectangular vertices have a template for correcting the position of the code. At this time, the maximum number of available data code bits is 21 bits. In order to display two-dimensional coordinates, 10 bits of data are allocated to the X-axis coordinates and the Y-axis coordinates, and one bit is allocated for the flag value. 1024 values can be expressed for each of the X and Y axes, and the battle field can be configured using this.
  • the code As the smart toy (smart tank) moves, the code is recognized as being rotated.
  • the rotation angle of the input code may be calculated using the template code, and the position and angle of the smart tank may be calculated.
  • the same coordinate code is repeatedly displayed in a predetermined area.
  • the target recognition rate is P and the unit recognition rate is i
  • the target recognition rate is set to 99% and the unit recognition rate is set to 70%, the number of codes M to be repeated per error distance 1Cm 2 can be obtained based on the above-described formula.
  • the optical code was repeatedly inserted into four identical codes per 1 cm 2 , which is possible to construct an optical mat having a size of 1024 cm ⁇ 1024 cm as shown in FIG. 16.
  • the Kalman filter may be applied to the case where the measured value of the object includes a probabilistic error, and the state at a specific time point of the object has a linear relationship with the state of the previous time point.
  • the Kalman filter is applied to measure the position of the smart toy.
  • the measurement may be performed on the position velocity and acceleration generated when the smart toy is driven, but the measurement value may include an error.
  • the main controller 72 may measure the position of the corresponding smart toy (ie, the smart tank) by applying a Kalman filter to continuously measured values.
  • F k denotes a transition matrix based on a previous state at a corresponding time
  • B k denotes a state transition matrix by a user input
  • w k denotes a noise variable.
  • the x k representing the state of the smart tank with respect to the movement of the smart toy may be represented by the position and speed of the smart toy as follows.
  • x k means the position at the time point k, Is the velocity at time k.
  • the acceleration arbitrarily applied to the smart toy ie, the smart tank
  • x k F k x k-1 + B k u k + G ak .
  • the Kalman filter can be used to estimate the position of the smart toy (smart tank).
  • a virtual battle game can be played using a smart toy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Toys (AREA)

Abstract

A smart robot game system is presented which provides a virtual reality battlefield and allows a user to control a toy tank in person as if operating a real tank. The smart robot game system presented herein comprises: a smart robot platform which is a type of a tank-shaped smart robot and moved based on the operation of a user, and transmits information on the actual location thereof by using an optical code; a user device based on a control interface for controlling the smart robot and on a view interface for showing a virtual reality battlefield; and a battlefield provided by being displayed to the user in accordance with the movement of the smart robot by configuring and synchronizing an OID-based mat-type topography on which the smart robot moves around with a battlefield in a virtual reality overlaid with a 3D object.

Description

스마트 로봇 게임 시스템Smart robot game system

본 발명은 스마트 로봇 게임 시스템에 관한 것으로, 보다 상세하게는 가상현실에서 스마트 로봇을 이용하여 현실의 전장과 OID(Optical Identification Device)를 이용하여 동기화시킨 환경을 만들고 이를 이용하여 시뮬레이션 게임을 수행할 수 있는 시스템에 관한 것이다.The present invention relates to a smart robot game system, and more particularly, to create an environment synchronized with the battlefield of the reality and the OID (Optical Identification Device) using a smart robot in virtual reality, and can perform a simulation game using the same. It is about a system.

미군에서 활용하고 있는 드론 폭격기의 경우 무선으로 조종되며, 미리 입력한 작정명령을 수행하거나 실시간으로 전송받은 정보를 기반으로 새로운 명령을 수행하여 적진을 탐지하거나 폭격하는 임무를 수행한다. Drone bombers used by the US military are wirelessly controlled and perform missions to detect or bomb enemy lines by executing pre-input commands or performing new commands based on information received in real time.

과거 영화에서나 상상할 수 있었던 장면이 무선 네트워크 기술과 로봇 컨트롤 기술의 발달로 지금은 무인 드론 공격기가 운용 중이며, 무인 전차 또한 개발 혹은 운용 중에 있다. Scenes that could only be imagined in the past movies are developed using wireless network technology and robot control technology, and unmanned drone attackers are in operation, and drones are also being developed or operated.

이러한 기술들은 군 뿐만 아니라 민간에서도 다양하게 활용되고 있다. 아마존의 경우 드론을 이용하여 상품을 배송하는 서비스를 제공 중이며, 방송국에서는 드론을 활용하여 기존에는 헬리콥터 또는 비행기로 찍었던 항공영상을 저렴하고 간단하게 촬영한다. 또한, 스마트 디바이스와 연동하여 컨트롤할 수 있는 소형 드론도 개발되어 스마트 토이로 활용되기도 한다. These technologies are widely used in civilian as well as military. Amazon offers drones to deliver goods, and broadcasters use drones to cheaply and easily capture aerial footage previously taken by helicopters or airplanes. In addition, small drones that can be controlled in conjunction with smart devices have been developed and used as smart toys.

정확한 드론과 무선 미니 헬리콥터 등의 컨트롤 기술을 습득하기 위하여 가상시뮬레이션 프로그래밍도 활용되고 있다. 가상세계 구현을 위한 컴퓨터 시스템과 컴퓨터 그래픽 기술의 발전과 사용자의 감정을 분석하고 인지 시각을 자극할 수 있는 BCI및 HMD 디바이스 기술의 발달로 인해 다양한 가상현실 환경을 제공하고 좀 더 현실감 있는 가상세계의 접근이 가능해졌다.Virtual simulation programming is also used to acquire accurate drones and control technologies such as wireless mini helicopters. The development of computer system and computer graphic technology for realizing virtual world and development of BCI and HMD device technology that can analyze user's emotion and stimulate cognitive vision provide various virtual reality environment and provide more realistic virtual world. Access is now possible.

[선행기술문헌][Preceding technical literature]

[특허문헌][Patent Documents]

선행기술 1 : 대한민국 등록특허 제10-0939869호(실제로봇과 가상로봇이 연동하는 게임 시스템 및 방법)Prior Art 1: Republic of Korea Patent No. 10-0939869 (Game system and method that the actual robot and the virtual robot interlocked)

선행기술 2 : 대한민국 등록특허 제10-1480144호(사용자 단말기를 이용한 구동 로봇의 제어 방법)Prior Art 2: Republic of Korea Patent No. 10-1480144 (control method of the driving robot using a user terminal)

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 가상 현실의 전장을 제공하여 사용자가 직접 장난감 전차를 조정하여 실제 전차를 운용하는 것과 같은 스마트 로봇 게임 시스템을 제공함에 그 목적이 있다.The present invention has been proposed in order to solve the above-described problems, and an object thereof is to provide a smart robot game system in which a user operates a real tank by directly adjusting a toy tank by providing a battlefield of virtual reality.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 스마트 로봇 게임 시스템은, 전차형태의 스마트 로봇 타입으로 사용자의 조종을 기반으로 하여 움직이고, 광학 코드를 이용하여 실제 위치에 대한 정보를 전송하는 스마트 로봇 플랫폼; 상기 스마트 로봇을 조종하는 컨트롤 인터페이스 및 가상현실의 전장을 보여주는 뷰 인터페이스를 기반으로 하는 사용자 디바이스; 및 상기 스마트 로봇이 움직이는 OID기반의 매트 타입의 지형과 3D 오브젝트가 입혀진 가상현실상의 전장을 구성하여 동기화를 시켜, 상기 스마트 로봇의 움직임에 맞추어 사용자에게 디스플레이되게 제공되는 배틀필드;를 포함한다.In order to achieve the above object, a smart robot game system according to a preferred embodiment of the present invention is a smart robot type in the form of a tank, and moves based on a user's control, and transmits information about an actual position using an optical code. Smart robot platform; A user device based on a control interface for manipulating the smart robot and a view interface showing a battlefield of virtual reality; And a battle field configured to be synchronized with the entire battlefield of the OID-based matte type terrain and the virtual reality on which the 3D object is coated so that the smart robot moves, and is displayed to the user in accordance with the movement of the smart robot.

상기 스마트 로봇 플랫폼은, 메시지 제어와 위치정보 관리 및 영상 인코더의 기능을 포함하는 통신부; 차체 컨트롤과 포탑 컨트롤 및 이동의 제어를 행하는 제어부; 및 적외선 모듈과 위치인식 모듈 및 카메라 모듈을 포함하는 센서부;를 포함할 수 있다.The smart robot platform includes a communication unit including message control, location information management and image encoder functions; A control unit that controls the vehicle body control, turret control, and movement; And a sensor unit including an infrared module, a position recognition module, and a camera module.

상기 적외선 모듈은, IR 레이저를 송신하되, 포탄의 종류를 내포하는 정보를 광학 코드를 이용하여 송신하는 IR 레이저 송신부; 및 IR 레이저를 수신하는 IR 레이저 수신부;를 포함할 수 있다.The infrared module comprises: an IR laser transmitter for transmitting an IR laser, and transmitting information including an type of shell by using an optical code; And an IR laser receiver for receiving an IR laser.

상기 제어부는, 상기 IR 레이저 수신부를 통해 전달된 광학 코드를 분석하여 피탄 여부 및 해당 스마트 로봇의 상태를 설정할 수 있다.The controller may analyze the optical code transmitted through the IR laser receiver and set whether to be shot or not and the state of the smart robot.

상기 위치인식 모듈은 광학 코드가 입혀진 매트상의 광학 코드를 스캔하고, 상기 광학 코드는 5x5 형태의 점자로 구성되되, 세개의 사각 꼭지점은 코드의 위치를 보정하기 위한 템플릿을 가지고, 상기 제어부는 상기 광학 코드를 이용한 위치 측정값들을 칼만 필터를 적용하여 해당 스마트 로봇의 위치를 측정할 수 있다.The position recognition module scans an optical code on a mat coated with an optical code, and the optical code consists of 5x5 braille, three square vertices having a template for correcting the position of the code, and the control unit By using Kalman filter on the position measurement values using code, the position of the smart robot can be measured.

상기 사용자 디바이스는, 메시지 제어와 위치정보 관리 및 영상 디코더의 기능을 포함하는 제어부; 움직임이 가능한 오브젝트들을 포함하는 가상 현실에서의 사용자 인터페이스 오브젝트 모듈, 및 고정된 오브젝트들을 포함하는 고정영역에 배치된 사용자 인터페이스 오브젝트 모듈을 포함하는 사용자 인터페이스; 및 게임 룰과 이벤트 처리 및 이펙트 핸들링을 수행하는 게임 시스템;을 포함할 수 있다.The user device may include a control unit including message control, location information management, and video decoder functions; A user interface including a user interface object module in a virtual reality including movable objects and a user interface object module disposed in a fixed area including fixed objects; And a game system that performs game rules, event processing, and effect handling.

상기 배틀필드는, 상기 스마트 로봇의 위치를 찾고 게임에 반영하기 위한 Indoor GPS와, 지형 타일, 지물 오브젝트로 구성된 실제의 배틀필드 환경; 및 각종 지형 및 지물에 대한 템플릿을 가지는 맵 오브젝트 템플릿 모듈, 오프라인상의 맵 오브젝트 템플릿에 대한 가상환경에서 표현되는 오브젝트들을 포함하는 가상의 배틀필드 오브젝트 모듈, 가상의 지형지물을 편집하는 3D 맵 편집기, 및 효과에 대한 라이브러리를 포함하는 효과 라이브러리를 포함하는 가상의 배틀필드 환경;을 포함할 수 있다.The battlefield may include: an actual battlefield environment including indoor GPS, terrain tiles, and object objects to locate and reflect the location of the smart robot in a game; And a map object template module having templates for various terrains and features, a virtual battlefield object module including objects represented in a virtual environment for an offline map object template, a 3D map editor for editing a virtual feature, and Virtual battlefield environment including an effect library including a library for effects.

이러한 구성의 본 발명에 따르면, 스마트 토이를 이용하여 가상현실 전투 게임을 할 수 있다.According to the present invention of such a configuration, it is possible to play a virtual reality battle game using a smart toy.

그리고, HMD를 비롯한 다양한 스마트 디바이스 기반의 인터페이스와 스마트 로봇과 OID기반의 전장을 제공하여 사용자의 몰입도를 높일 수 있는 가상현실 전투 게임 시스템을 제공할 수 있다. In addition, by providing various smart device-based interfaces including HMD, smart robots, and OID-based battlefields, a virtual reality battle game system that can increase the user's immersion degree can be provided.

가상의 전장과 현실의 전장의 위치 동기화를 위하여 OID를 사용하고, 이에 대한 위치 보정을 위하여 템플릿 기반의 광학 코드 인식 기법과 칼만 필터를 이용한 위치 보정기법을 사용함으로써 스마트 로봇의 위치를 정확하게 추정할 수 있다. The position of the smart robot can be estimated accurately by using the OID for position synchronization between the virtual battlefield and the actual battlefield, and by using the template-based optical code recognition technique and the position correction technique using the Kalman filter. have.

도 1은 본 발명의 실시예에 따른 스마트 로봇 게임 시스템의 전체 구성도이다.1 is an overall configuration diagram of a smart robot game system according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 스마트 로봇 게임 시스템에 채용되는 스마트 토이를 전차 형태로 구현한 예이다.2 is an example of implementing a smart toy employed in a smart robot game system according to an embodiment of the present invention in the form of a tank.

도 3은 도 2에 도시된 IR 레이저 송신부 및 IR 레이저 수신부의 구성을 나타낸 도면이다.3 is a view showing the configuration of the IR laser transmitter and the IR laser receiver shown in FIG.

도 4는 본 발명의 실시예에 따른 스마트 로봇 게임 시스템에 채용되는 전차 형태의 스마트 토이 로봇 시스템의 내부 구성도이다.4 is an internal configuration diagram of a smart toy robot system of a tank type employed in the smart robot game system according to an embodiment of the present invention.

도 5 내지 도 7은 본 발명의 실시예에 따른 스마트 로봇 게임 시스템에서 사용가능한 사용자 디바이스의 예들이다.5 to 7 are examples of user devices usable in the smart robot game system according to the embodiment of the present invention.

도 8은 소프트웨어 타입 컨트롤러의 구현을 예시한 도면이다.8 illustrates an implementation of a software type controller.

도 9는 사용자 인터페이스의 구조(아키텍쳐)를 나타낸 도면이다.9 is a diagram showing the structure (architecture) of a user interface.

도 10은 사용자 디바이스에 적용되는 게임 시스템의 구성을 나타낸 도면이다.10 is a diagram illustrating a configuration of a game system applied to a user device.

도 11은 실제 전장의 형태를 예시한 도면이다.11 is a diagram illustrating a form of an actual electric field.

도 12는 가상 현실의 전장 디자인과 맵 오브젝트의 3D 템플릿에 대한 디자인을 예시한 도면이다.12 is a diagram illustrating a design of a battlefield design of a virtual reality and a 3D template of a map object.

도 13은 가상의 배틀필드와 현실의 배틀필드간의 동기화를 설명하는데 채용되는 도면이다.FIG. 13 is a diagram employed for explaining synchronization between a virtual battlefield and a real battlefield.

도 14는 서버의 구성을 설명하기 위한 도면이다.14 is a diagram for explaining the configuration of a server.

도 15는 광학 코드와 템플릿을 기반으로 한 로테이션변환에 관한 위치보정을 설명하기 위한 도면이다.FIG. 15 is a diagram for describing position correction on a rotation transformation based on an optical code and a template.

도 16은 광학 매트를 예시한 도면이다.16 is a diagram illustrating an optical mat.

본 발명에 따른 스마트 로봇 게임 시스템은, 전차형태의 스마트 로봇 타입으로 사용자의 조종을 기반으로 하여 움직이고, 광학 코드를 이용하여 실제 위치에 대한 정보를 전송하는 스마트 로봇 플랫폼; 상기 스마트 로봇을 조종하는 컨트롤 인터페이스 및 가상현실의 전장을 보여주는 뷰 인터페이스를 기반으로 하는 사용자 디바이스; 및 상기 스마트 로봇이 움직이는 OID기반의 매트 타입의 지형과 3D 오브젝트가 입혀진 가상현실상의 전장을 구성하여 동기화를 시켜, 상기 스마트 로봇의 움직임에 맞추어 사용자에게 디스플레이되게 제공되는 배틀필드;를 포함한다.Smart robot game system according to the present invention, a smart robot type of the tank type smart robot platform that moves based on the user's control, and transmits information about the actual position using the optical code; A user device based on a control interface for manipulating the smart robot and a view interface showing a battlefield of virtual reality; And a battle field configured to be synchronized with the entire battlefield of the OID-based matte type terrain and the virtual reality on which the 3D object is coated so that the smart robot moves, and is displayed to the user in accordance with the movement of the smart robot.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

먼저, 본 발명의 명세서에서 사용되는 가상현실(virtual reality), 스마트 토이(smart toy), HMD에 대한 용어 정의를 한다.First, terms for virtual reality, smart toy, and HMD used in the specification of the present invention are defined.

가상현실은 실제 세계가 아닌 인공적인 기술로 만들어진 현실과 비슷한 환경 혹은 그 기술을 의미한다. 가상현실은 인간과 컴퓨터를 연결하여 인간으로 하여금 조작된 현실에 있다는 느낌을 넘어서 실제 가상공간 안에 존재하고 있다는 느낌을 주어야 한다. 이러한 가상현실을 구현하기 위하여서는 3D그래픽으로 이루어진 공간과 그것을 표현할 수 있는 디스플레이, 신체의 움직임을 측정하는 센서 등이 필요하다. 가상현실은 인간의 감각을 포함하여 사용자의 행동에 인지하고 이를 기반으로 발생하는 가상의 세계를 실시간으로 컴퓨터에 의해 창조하여 이를 현실과 같이 만들어낸 인공적인 세계이다. 따라서, 가상세계는 정적인 세계가 아니며 그 세계 안의 사물들은 움직임이 가능하고 서로 간에 상호 작용하며 외부적인 행위에 의해 영향을 받게 된다. 가상현실은 인조적으로 합성된 환경을 외부에서 관찰하는 것이라기보다는, 그러한 환경 내부에서 참여한다는 착각을 갖게 하는 것이 주요 관점 중 하나이다. 인체의 모든 감각기관을 자극하여 인위적으로 창조된 세계에 몰입하게 함으로써 자신이 바로 그곳에 있는 것처럼 느낄 수 있도록 만들어 준다. 사용자의 행동 및 감각을 기반으로 인지되는 객체가 사용자의 행동에 의해 창조되는 가상세계에서 사용자는 인식자인 동시에 창조자가 된다. 사용자의 행동에 대한 컴퓨터의 실시간 반응은 시뮬레이션과 다른 가상 현실 시스템의 중요한 요소중 하나이다. 가상현실의 가장 중요한 점은 자신이 바로 시뮬레이션의 중심이 되어 컴퓨터가 만들어 낸 가상세계와 상호작용한다는 점이다. 이러한 가상 세계는 머리에 착용하는 디스플레이 장치(HMD) 등의 주변 장치를 활용하면 몰입과 상호작용의 효과를 더할 수 있다. 가상현실 시스템을 구축하기 위한 중요한 요소 중 하나는 인간과 컴퓨터 사이의 효과적인 커뮤니케이션을 가능하게 하는 인터페이스의 구현이다. 기존의 사용자와 컴퓨터간의 커뮤니케이션은 사용자가 입력하는 정보를 기반으로 하여 이루어졌지만, 가상현실 시스템에서는 그것뿐만 아니라 사용자의 행동을 인지 혹은 감지하고 그것을 분석 및 해석할 수 있는 인지 시스템이 필요하다. Virtual reality refers to a reality-like environment or technology made of artificial technology, not the real world. Virtual reality must connect humans and computers to give humans a sense of being in a real virtual space, beyond a sense of being in a manipulated reality. In order to realize such a virtual reality, a space composed of 3D graphics, a display capable of expressing it, and a sensor for measuring a body's movement are required. Virtual reality is an artificial world that perceives user's actions including human senses and creates a virtual world generated based on it in real time by computer and creates it like reality. Thus, the virtual world is not a static world, and objects in the world are able to move, interact with each other, and are affected by external actions. Rather than observing artificially synthesized environments from the outside, virtual reality is one of the main perspectives. It stimulates all the sensory organs of the human body to immerse you in the artificially created world, making you feel like you are there. In the virtual world, where objects perceived based on the user's actions and sensations are created by the user's actions, the user becomes both a recognizer and a creator. The computer's real-time response to user behavior is one of the important elements of simulation and other virtual reality systems. The most important thing about virtual reality is that you are the center of simulation and interact with the virtual world created by computers. Such a virtual world can add effects of immersion and interaction by utilizing peripheral devices such as a head display device (HMD). One of the important elements for building a virtual reality system is the implementation of an interface that enables effective communication between humans and computers. Conventional communication between a user and a computer is based on information input by a user, but a virtual reality system requires a cognitive system that can recognize or detect a user's behavior and analyze and interpret it as well.

스마트 토이는 인공 지능을 가지고 있는 장난감 또는 네트워크에 연결되어 사용자와 교감할 수 있는 장난감을 지칭한다. 컴퓨터에 연결하거나 정교한 센서와 전기회로를 내장하여 컴퓨터의 기술을 이용하는 장난감을 이야기하기도 한다 지능을 가진 장난감은 대표적으로 소니의 Aibo와 같은 로봇 애완 동물이 있다. 인공지능을 통하여 실제 애완동물과 같은 행동을 학습시키고 사용자의 반응 혹은 교육에 따라서 다양한 행동을 할 수 있도록 개발되었다. 드론 스마트폰의 발달과 대중화로 인하여 스마트폰과 연동되는 다양한 장난감 또한 제안되었다. Nico Li 등은 실제 지형을 3D 프린터로 제작하여 handheld screen과 see-through headset을 이용하여 드론의 이동 경로를 설정하고 이를 실제 드론을 통해 실시간 영상을 전송 받을 수 있는 시스템을 제안하였다. Adrian David Cheok 등은 Virtual pad와 AR을 기반으로 하여 현실의 오브젝트와 사용자간의 인터렉션을 이용한 게임 시스템을 제안하였다. 스마트 토이와 사용자 간의 통신 혹은 스마트 토이와 스마트 토이간의 통신을 위하여 Stefan Schmid은 wireless 기반의 ToyBridge 와 ToyTalk를 제안하였고, Matthias Lampe 등은 장남간에 RFID를 삽입하여 사용자와 인터렉션이 가능한 시스템을 제안하였다. Nintendo는 닌텐도 게임기에 NFC를 기반으로 하여 피규어를 접속하면 게임을 즐길 수 있는 Amiibo를 출시하였으며, Lego는 블록으로 집을 만들고 이를 스마트 디바이스로 촬영하면 스마트 디바이스 앱속에 3D오브젝트가 생성되는 Lego Fusion을 발표하였다. 스마트 디바이스의 성장과 로봇을 비롯한 다양한 기반기술, 그리고 오브젝트와 사용자간의 커뮤니케이션 기술의 발전을 기반으로 스마트 토이 시장은 크게 성장하고 있다. A smart toy refers to a toy having artificial intelligence or a toy connected to a network to interact with a user. It may be connected to a computer, or it may be a toy that uses computer technology by incorporating sophisticated sensors and electric circuits. Intelligence toys include robot pets such as Sony's Aibo. Through artificial intelligence, it was developed to learn the behavior like a real pet and to perform various behaviors according to the user's reaction or education. Due to the development and popularization of drone smartphones, various toys linked with smartphones have also been proposed. Nico Li et al. Proposed a system that can produce real terrain using a 3D printer, set the drone's movement path using a handheld screen and see-through headset, and receive real-time images through the actual drone. Adrian David Cheok et al. Proposed a game system using the interaction between real objects and users based on virtual pads and AR. In order to communicate between smart toys and users or between smart toys and smart toys, Stefan Schmid proposed wireless-based ToyBridge and ToyTalk, and Matthias Lampe et al. Proposed a system that can interact with users by inserting RFID between eldest and oldest sons. Nintendo has released Amiibo, which allows users to play games based on NFC based on Nintendo game consoles, and Lego announced Lego Fusion, which creates a house out of blocks and shoots it with a smart device to create a 3D object in the smart device app. . Based on the growth of smart devices, various basic technologies including robots, and the development of communication technologies between objects and users, the smart toy market is growing significantly.

HMD는 사용자의 머리에 작용하는 영상 출력 기구로서, 사용자의 눈앞에서 직접 영상을 보여주는 디스플레이 장치이다. 마빈 민스키가 1963년 개발한 것이 최초의 것으로 알려져 있다. 구글 글래스와 같이 시야의 일부분에 정보를 표시하여 증강현실을 위한 디스플레이로 사용되는 경우와 오큘러스와 같이 사용자의 시야 전체에 영상을 디스플레이하고 헤드 트레킹과 같은 사용자의 이동을 감지하여 가상현실에 사용되는 제품들이 있다. 증강현실을 위한 HMD의 특징으로는 보안경 형태로 구성되며 사용자의 기존 시야를 확보하며, 그 위에 영상 혹은 텍스트를 표시하며 현재 사용자의 시야에서 보이는 영상을 카메라를 통해 입력받고, 입력받은 영상의 물체 및 공간에 대한 정보를 사용자에게 제공하거나 사용자의 SMS 및 SNS 정보 업데이트 상황을 보여줄 수 있다. 가상현실을 위한 HMD의 경우 헬멧 혹은 그에 준하는 고글 형태로 구성되며, 기존 사용자의 시야를 차단하고 양안시차기반의 3D영상을 제공한다. 특수한 경우 카메라를 설치하여 사용자의 기존 시야를 확보하기도 한다. 사용자의 움직임을 기반으로 영상이 전송되어야 하기 때문에 헤드 트레킹을 이용한 사용자의 방향측정이 가능하며, 사용자의 기존시야를 대체하는 3D 영상을 통하여 정보제공 보다는 가상현실의 몰입감 혹은 다른 공간에서의 작업을 위하여 사용된다. 증강현실을 위한 HMD와 가상현실을 위한 HMD에 대한 형태의 규정 및 기술은 정해져 있지 않으나, 대체적으로 사용자의 기존 시야를 확보하면 증강현실에 사용되고 그렇지 않으면 가상현실에 사용되는 것이 전반적인 추세이다. The HMD is an image output mechanism that acts on the user's head and is a display device that displays an image directly in front of the user's eyes. Marvin Minsky was first developed in 1963. It is used as a display for augmented reality by displaying information on a part of the field of view such as Google Glass, and it is used for virtual reality by displaying an image all over the field of view of the user such as Oculus and detecting user's movement such as head trekking. There are products. The HMD for augmented reality consists of a pair of goggles, which secures the user's existing field of view, displays images or text on it, receives an image from the field of view of the current user through the camera, Information about the space can be provided to the user or the user can update the status of SMS and SNS information. HMD for virtual reality is composed of helmet or goggles, and it blocks the view of existing users and provides 3D image based on binocular parallax. In special cases, cameras can be installed to ensure the user's existing field of view. Since the image must be transmitted based on the user's movement, it is possible to measure the direction of the user by using head tracking, and for the immersion of virtual reality or work in other spaces rather than providing information through the 3D image replacing the user's existing field of view. Used. There are no specific rules and techniques for HMD for augmented reality and HMD for virtual reality, but in general, it is generally used for augmented reality when the user's existing field of view is secured.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. In the following description of the present invention, the same reference numerals are used for the same elements in the drawings and redundant descriptions of the same elements will be omitted.

도 1은 본 발명의 실시예에 따른 스마트 로봇 게임 시스템의 전체 구성도이다. 도 1은 스마트 로봇 사용자 구성 환경과 같은 실 환경 모듈과 스마트 단말, 가상현실 환경과 같은 소프트웨어 모듈의 연동을 통한 시스템의 구성을 보여준다.1 is an overall configuration diagram of a smart robot game system according to an embodiment of the present invention. 1 illustrates a configuration of a system through interworking of a real environment module such as a smart robot user configuration environment and a software module such as a smart terminal and a virtual reality environment.

스마트 로봇 게임 시스템은, 스마트 로봇 플랫폼(10), 사용자 디바이스(20), 배틀필드 환경(30), 및 VR 배틀필드 환경(40)을 포함한다.The smart robot game system includes a smart robot platform 10, a user device 20, a battlefield environment 30, and a VR battlefield environment 40.

스마트 로봇 플랫폼(smart robot platform)(10)은 전차형태의 로봇 타입으로 사용자의 조종을 기반으로 하여 움직이고, 광학 코드를 이용하여 실제 위치에 대한 정보를 전송한다. 스마트 로봇 플랫폼(10)은 메시지 제어와 위치정보 관리 및 영상 인코더(encoder)의 기능을 포함하는 통신부(10a), 차체 컨트롤과 포탑 컨트롤 및 기존의 입력방식으로 이동의 제어를 행하는 제어부(10b), 및 적외선 모듈과 위치인식 모듈 및 카메라 모듈을 포함하는 센서부(10c)를 포함할 수 있다.The smart robot platform 10 is a tram-type robot type that moves based on the user's control and transmits information about an actual position using an optical code. The smart robot platform 10 includes a communication unit 10a including message control and location information management and an image encoder, a control unit 10b for controlling the movement of the vehicle body control and turret control and a conventional input method, And a sensor unit 10c including an infrared module, a position recognition module, and a camera module.

본 발명의 실시예에서 스마트 로봇 플랫폼(10)은 기본적으로 전차 타입의 스마트 로봇을 이용한다.In the embodiment of the present invention, the smart robot platform 10 basically uses a tram-type smart robot.

사용자 디바이스(user device)(20)는 스마트 로봇을 조종하는 컨트롤 인터페이스와 가상현실의 전장을 보여주는 뷰 인터페이스를 기반으로 하여 이루어진다. 즉, 사용자 디바이스(20)는 메시지 제어와 위치정보 관리 및 영상 디코더의 기능을 포함하는 제어부(20a), 컨트롤 인터페이스(control interface)와 뷰 인터페이스(view interface)를 포함하는 사용자 인터페이스(20b), 및 게임 룰과 이벤트 처리 및 이펙트 핸들링을 수행하는 게임 시스템(Game system)(20c)을 포함할 수 있다.The user device 20 is based on a control interface for manipulating a smart robot and a view interface showing the battlefield of virtual reality. That is, the user device 20 may include a control unit 20a including message control, location information management, and a video decoder, a user interface 20b including a control interface and a view interface, and It may include a game system 20c that performs game rules and event processing and effect handling.

배틀필드의 경우 스마트 로봇이 움직이는 OID기반의 매트 타입의 지형과 3D 오브젝트가 입혀진 가상현실상의 전장을 구성하여 동기화를 시키고, 서버(50)를 통하여 이 모든 것들이 연동될 수 있도록 한다. 그에 따라, 배틀필드 환경(battlefield environment)(30)은 내부에서 스마트 토이의 위치를 찾고 게임에 반영하기 위한 Indoor GPS와, 지형 타일, 지물 오브젝트로 구성될 수 있다. 그리고, VR 배틀필드 환경(40)은 각종 지형 및 지물에 대한 템플릿(template)을 가지는 맵 오브젝트 템플릿(Map oject template) 모듈(40a), 오프라인상의 맵 오브젝트 템플릿(map object template)에 대한 가상환경에서 표현되는 오브젝트(object)들을 포함하는 VR 배틀필드 오브젝트(battlefield object) 모듈(40b), 가상의 지형지물을 편집하는 3D 맵 편집기(Map editor)(40c), 및 효과에 대한 라이브러리(library)를 포함하는 효과 라이브러리(Effect Library)(40d)를 포함할 수 있다.In the case of Battlefield, the smart robot moves and synchronizes with the OID-based matte type terrain and the virtual reality battlefield in which 3D objects are applied, and all these things can be linked through the server 50. Accordingly, the battlefield environment 30 may include an indoor GPS, a terrain tile, and a feature object for locating a smart toy and reflecting it in a game. In addition, the VR battlefield environment 40 may include a map object template module 40a having templates for various terrains and features, and a virtual environment for an offline map object template. VR battlefield object module 40b including objects to be represented, a 3D map editor 40c for editing virtual features, and a library for effects An effect library 40d may be included.

도 1에 도시된 서버(server)(50)는 현실의 배틀필드와 가상의 배틀필드를 매칭시키고 사용자의 조종에 맞추어 위치정보를 전송 및 보정할 수 있다.The server 50 shown in FIG. 1 may match a real battlefield and a virtual battlefield and transmit and correct location information according to a user's manipulation.

도 2는 본 발명의 실시예에 따른 스마트 로봇 게임 시스템에 채용되는 스마트 토이를 전차 형태로 구현한 예이다.2 is an example of implementing a smart toy employed in a smart robot game system according to an embodiment of the present invention in the form of a tank.

도 2에 예시된 전차 형태의 스마트 토이(즉, 스마트 탱크라고 함)는 사용자가 컨트롤러를 이용하여 터렛(turret)의 회전 및 로봇의 이동을 조종할 수 있도록 구성된다. 그리고, 두 대의 카메라를 이용하여 전차의 정면 위치와 포신의 방향을 확인할 수 있고, OID(Optical Identification Device) 스캐너를 통하여 로봇의 위치를 확인할 수 있다.The tank-type smart toy illustrated in FIG. 2 (ie, called a smart tank) is configured to allow a user to control the rotation of the turret and the movement of the robot using a controller. The two cameras can be used to check the front position of the tank and the direction of the barrel, and the robot's position can be identified through an OID scanner.

따라서, 도 2에 예시된 전차 형태의 스마트 토이(스마트 탱크)는 구동용 모터(12), 포신 회전용 모터(11), 카메라(13, 14), IR 레이저 송신부(15), IR 레이저 수신부(16), 배터리 팩(17), 통신용 보드(18), 제어 보드(19), 및 OID 스캐너(21)를 포함할 수 있다.Accordingly, the smart toy (smart tank) of the tank type illustrated in FIG. 2 includes a driving motor 12, a barrel rotation motor 11, cameras 13 and 14, an IR laser transmitter 15, and an IR laser receiver ( 16, a battery pack 17, a communication board 18, a control board 19, and an OID scanner 21.

도 3은 도 2에 도시된 IR 레이저 송신부(15) 및 IR 레이저 수신부(16)의 구성을 나타낸 도면이다.3 is a diagram showing the configuration of the IR laser transmitter 15 and the IR laser receiver 16 shown in FIG.

스마트 토이(스마트 탱크)는 IR 레이저를 이용하여 포탄의 발사 및 격추 확인을 할 수 있는데, 포탄의 종류와 피탄 위치에 따라 스마트 탱크의 파손 상태 및 구동 가능 여부에 대하여 감지할 수 있다. 즉, 후술할 스마트 토이 로봇 시스템(60)의 메인 컨트롤러(72)는 IR 레이저 송신부(15) 및 IR 레이저 수신부(16)로부터의 IR 레이저를 이용하여 포탄의 발사 및 격추 확인을 할 수 있다. 그에 따라, 메인 컨트롤러(72)는 포탄의 종류와 피탄 위치에 따라 해당 스마트 탱크의 파손 상태 및 구동 가능 여부에 대하여 감지할 수 있다. The smart toy (smart tank) can check the firing and shooting down of the shell by using an IR laser. The smart toy (smart tank) can detect whether the smart tank is damaged and can be driven depending on the type of shell and the position of the shot. That is, the main controller 72 of the smart toy robot system 60, which will be described later, may check the firing and shooting down of the shell by using the IR lasers from the IR laser transmitter 15 and the IR laser receiver 16. Accordingly, the main controller 72 may detect a damage state of the smart tank and whether it can be driven depending on the type of shell and the position of the shell.

도 3에서, IR 레이저 송신부(15)는 IR 레이저를 송신하되 포탄의 종류와 같은 정보를 광학 코드(Optical code)를 이용하여 송신한다. 그리고, IR 레이저 수신부(16)는 IR 레이저를 수신한다.In FIG. 3, the IR laser transmitter 15 transmits an IR laser, but transmits information such as the type of shell using an optical code. The IR laser receiver 16 receives the IR laser.

본 발명에서의 전차 형태의 스마트 토이(즉, 스마트 탱크)에서는 메인 컨트롤러(72)(후술함)가 IR 레이저 수신부(16)를 통해 전달받은 광학 코드를 분석하여 피탄 여부 및 스마트 탱크의 상태를 설정할 수 있도록 하기 위해, 그에 상응하는 정보를 해당 스마트 토이(60)의 메인 컨트롤러(72)에게로 제공할 수 있다. In the smart toy (ie, smart tank) of the tank type in the present invention, the main controller 72 (to be described later) analyzes the optical code transmitted through the IR laser receiver 16 to set the status of the bullet and the state of the smart tank. In order to be able to do so, corresponding information may be provided to the main controller 72 of the smart toy 60.

그리고, IR 레이저 송신부(15) 및 IR 레이저 수신부(16)는 후술할 스마트 토이(60)의 IR 모듈(70)에 포함되는 것으로 볼 수 있다.In addition, the IR laser transmitter 15 and the IR laser receiver 16 may be regarded as being included in the IR module 70 of the smart toy 60 to be described later.

도 4는 본 발명의 실시예에 따른 스마트 로봇 게임 시스템에 채용되는 전차 형태의 스마트 토이 로봇 시스템의 내부 구성도이다.4 is an internal configuration diagram of a smart toy robot system of a tank type employed in the smart robot game system according to an embodiment of the present invention.

스마트 토이 로봇 시스템(60)은 메인 컨트롤러(72)를 통하여 각 모듈의 동작 설정과 정보를 수집한다. 메인 컨트롤러(72)는 사용자 디바이스(20)와 배틀필드(30, 40), 서버(50)와 연동하여 해당 전차 타입의 스마트 토이 로봇 시스템의 동작 및 위치를 통제한다. The smart toy robot system 60 collects operation settings and information of each module through the main controller 72. The main controller 72 interoperates with the user device 20, the battlefields 30 and 40, and the server 50 to control the operation and the location of the smart toy robot system of the corresponding vehicle type.

스마트 토이 로봇 시스템(60)은, 현장의 화면을 중계할 수 있는 카메라 모듈(62), 터렛(turret)(회전 포탑)의 회전 및 차체 이동을 수행하는 모터 모듈(64), 서버(50)와의 통신을 수행하는 네트워크 모듈(66), 위치인식을 위한 OID 모듈(68), 및 적외선 송수신을 위한 IR 모듈(70)을 포함한다. 여기서, 카메라 모듈(62)은 도 2에 예시된 카메라(13, 14)를 포함한다. 모터 모듈(64)은 도 2에 예시된 구동용 모터(12) 및 포신 회전용 모터(11)를 포함한다. 네트워크 모듈(66)은 도 2에 예시된 통신용 보드(18)를 포함한다. OID 모듈(68)은 도 2에 예시된 OID 스캐너(21)를 포함한다. 메인 컨트롤러(72)는 도 2에 예시된 제어 보드(19)를 포함한다.The smart toy robot system 60 includes a camera module 62 capable of relaying a screen of a field, a motor module 64 that performs rotation of a turret (rotation turret), and body movement, and a server 50. Network module 66 for performing communication, OID module 68 for location recognition, and IR module 70 for infrared transmission and reception. Here, the camera module 62 includes the cameras 13 and 14 illustrated in FIG. 2. The motor module 64 includes a drive motor 12 and a barrel rotation motor 11 illustrated in FIG. 2. Network module 66 includes a communication board 18 illustrated in FIG. 2. OID module 68 includes an OID scanner 21 illustrated in FIG. 2. The main controller 72 includes a control board 19 illustrated in FIG. 2.

상술한 바와 같은 스마트 토이 로봇 시스템(60)은 사용자의 조종에 따라 움직이며, OID 스캐너(21)를 이용하여 실제 배틀필드 내의 위치를 확인하여 서버(50)에 전송하고, 서버(50)에서 전송된 가상의 배틀필드의 지형 형태에 맞게 움직인다.The smart toy robot system 60 as described above moves according to the user's control, checks the position in the actual battle field by using the OID scanner 21, and transmits the same to the server 50, and transmits the data from the server 50. Move to match the terrain of the virtual battlefield.

OID 모듈(68)은 광학 코드가 입혀진 매트(광학 매트)상의 광학 코드를 OID 스캐너(21)로 스캔할 수 있다.The OID module 68 may scan the OID scanner 21 with an optical code on a mat coated with an optical code (optical mat).

상술한 도 4의 네트워크 모듈(66)은 도 1에서의 스마트 로봇 플랫폼(10)의 통신부(10a)에 상응할 수 있다. The above-described network module 66 of FIG. 4 may correspond to the communication unit 10a of the smart robot platform 10 of FIG. 1.

그리고, 도 4의 메인 컨트롤러(72)는 도 1에서의 스마트 로봇 플랫폼(10)의 제어부(10b)에 상응할 수 있다.In addition, the main controller 72 of FIG. 4 may correspond to the control unit 10b of the smart robot platform 10 of FIG. 1.

그리고, 도 4의 IR 모듈(70)과 OID 모듈(68) 및 카메라 모듈(62)은 도 1에서의 스마트 로봇 플랫폼(10)의 센서부(10c)에 상응할 수 있다.In addition, the IR module 70, the OID module 68, and the camera module 62 of FIG. 4 may correspond to the sensor unit 10c of the smart robot platform 10 of FIG. 1.

상술한 스마트 토이 로봇 시스템은 스마트 토이로 약칭할 수 있다.The above described smart toy robot system may be abbreviated as smart toy.

도 5 내지 도 7은 본 발명의 실시예에 따른 스마트 로봇 게임 시스템에서 사용가능한 사용자 디바이스의 예들로서, 다양한 사용자 디바이스 타입을 보여준다. 5 to 7 are examples of user devices usable in the smart robot game system according to an embodiment of the present invention, and show various user device types.

스마트 로봇 게임 시스템에서 사용가능한 사용자 디바이스는 스마트 탱크의 조종을 위한 컨트롤러와 전장환경을 보여주는 디스플레이 디바이스로 구성될 수 있다.  The user device usable in the smart robot game system may include a controller for controlling the smart tank and a display device showing the battlefield environment.

디스플레이 디바이스는 기본적으로 가상현실을 체감하기 위하여 자이로 스코프센서가 달린 HMD를 권장하지만, 스마트폰 또는 스마트 패드와 같은 스마트 디바이스를 사용할 수 있다. The display device basically recommends an HMD with a gyroscope sensor to experience virtual reality, but a smart device such as a smartphone or a smart pad can be used.

컨트롤러는 스마트 디바이스를 이용한 소프트웨어 타입의 컨트롤러와 VR HMD 사용자를 위한 전용 컨트롤러를 이용하여 조종할 수 있다. The controller can be controlled using a software type controller using a smart device and a dedicated controller for VR HMD users.

도 8은 소프트웨어 타입 컨트롤러의 구현을 예시한 도면으로서, Body Direction 을 통하여 해당 스마트 토이(스마트 탱크)의 차체를 조정할 수 있다. Function Direction 을 이용하여 포신이 움직일 수 있다. 사용자의 화면은 사용자 환경 설정에 따라 HMD의 경우 헤드 트레킹을 통해서 전장을 관찰할 수 있고, 스마트 패드의 경우 핸들링을 통하여 이와 같은 효과를 낼 수 있다. 8 is a diagram illustrating an implementation of a software type controller, in which a vehicle body of a corresponding smart toy (smart tank) may be adjusted through body direction. The barrel can be moved using the Function Direction. The user's screen can observe the battlefield through the head trekking in the case of HMD according to the user environment setting, and the handling can be achieved through the handling of the smart pad.

도 9는 사용자 인터페이스의 구조(아키텍쳐)를 나타낸 도면이다.9 is a diagram showing the structure (architecture) of a user interface.

사용자 인터페이스는 가상 현실에서의 사용자 인터페이스 오브젝트 모듈(74), 및 고정영역에 배치된 사용자 인터페이스 오브젝트 모듈(76)로 구분될 수 있다.The user interface may be divided into a user interface object module 74 in a virtual reality, and a user interface object module 76 disposed in a fixed area.

가상 현실에서의 사용자 인터페이스 오브젝트 모듈(74)은 스마트 토이(스마트 탱크)의 조정석 환경에 대한 정보 및 미니 맵, 시스템 버튼과 같은 움직임이 가능 한 오브젝트들을 포함한다.The user interface object module 74 in the virtual reality includes information on the cockpit environment of the smart toy (smart tank), and movable objects such as a mini map and a system button.

고정영역에 배치된 사용자 인터페이스 오브젝트 모듈(76)은 좌표와 발사점과 같은 고정된 오브젝트들을 포함한다. The user interface object module 76 disposed in the fixed area includes fixed objects such as coordinates and launch points.

도 10은 사용자 디바이스에 적용되는 게임 시스템의 구성을 나타낸 도면이다.10 is a diagram illustrating a configuration of a game system applied to a user device.

사용자 디바이스에 적용된 게임 시스템은 게임 콘텐츠 모듈(78) 및 이펙트 모듈(80)을 포함한다. The game system applied to the user device includes a game content module 78 and an effect module 80.

게임 콘텐츠 모듈(78)은 게임 룰(game rule)과 스코어(score), 업적(achievements) 등을 포함한다.Game content module 78 includes game rules, scores, achievements, and the like.

이펙트 모듈(80)은 포탄 발사(fire)와 포탄 피격(hit), 오브젝트 파괴(object destruction)를 포함한다. Effect module 80 includes shell fire, shell hits, and object destruction.

도 11은 실제 전장의 형태를 예시한 도면이고, 도 12는 가상 현실의 전장 디자인과 맵 오브젝트의 3D 템플릿에 대한 디자인을 예시한 도면이고, 도 13은 가상의 배틀필드와 현실의 배틀필드간의 동기화를 설명하는데 채용되는 도면이다.FIG. 11 is a diagram illustrating the shape of an actual battlefield, FIG. 12 is a diagram illustrating a design of a battlefield design of a virtual reality and a 3D template of a map object, and FIG. 13 is a synchronization between a virtual battlefield and a battlefield of reality. It is a figure which is adopted in order to demonstrate.

배틀필드(전장)의 경우 스마트 탱크를 움직이는 현실의 전장과 3D 그래픽 오브젝트로 만들어진 가상의 전장으로 구성된다. Battlefield consists of a battlefield of reality that moves a smart tank and a virtual battlefield made of 3D graphic objects.

배틀필드는 가상의 전장을 현실의 전장에 매핑시켜 스마트 토이(스마트 탱크)의 움직임에 맞추어 사용자에게 디스플레이될 수 있도록 제공된다. Battlefield is provided to map the virtual battlefield to the battlefield of reality to be displayed to the user according to the movement of the smart toy (smart tank).

도 11에서와 같이, 광학 코드가 입혀진 매트 위에 OID가 탑재된 맵 오브젝트를 설치하여 전장의 환경을 꾸밀 수 있도록 구현되었다. As illustrated in FIG. 11, an OID-mounted map object is installed on a mat coated with an optical code to decorate a battlefield environment.

실제의 전장을 기반으로 3D 그래픽으로 만들어진 가상 현실의 전장을 구축 할 수 있는데, 이는 도 12에서와 같이 가상 현실의 전장 디자인과 맵 오프젝트의 3D 템플릿에 대한 디자인을 보여줄 수 있다. Based on the actual battlefield, a battlefield of virtual reality made of 3D graphics may be constructed, which may show a design of a battlefield design of a virtual reality and a 3D template of a map object as shown in FIG. 12.

한편, 실제의 전장과 가상 현실의 전장은 도 13에서와 같이 OID 기반의 광학 코드를 이용하여 동기화가 이루어지고, 각각의 맵 오브젝트들은 3D 그래픽 오브젝트들과 매칭되어 가상의 전장을 이루게 된다. 여기서, 실제의 전장은 2D 광학 코드가 입혀진 매트형태로 존재하게 된다. Meanwhile, the actual battlefield and the battlefield of the virtual reality are synchronized using OID-based optical codes as shown in FIG. 13, and each map object is matched with 3D graphic objects to form a virtual battlefield. Here, the actual electric field is in the form of a mat coated with 2D optical code.

도 14는 서버의 구성을 설명하기 위한 도면이다.14 is a diagram for explaining the configuration of a server.

현실의 배틀필드와 가상의 배틀필드를 매칭시키고 사용자의 조종에 맞추어 위치정보를 전송 및 보정하기 위해서는, 서버(50)가 필요하다.In order to match the actual battlefield with the virtual battlefield and transmit and correct the location information according to the user's manipulation, the server 50 is required.

서버(50)는 클라우드 서버(52) 및 어플리케이션 서버(54)를 포함한다.The server 50 includes a cloud server 52 and an application server 54.

클라우드 서버(cloud server)(52)는 네트워크 서비스와 디바이스 연결, 게임에 대한 서비스를 제공할 수 있다. The cloud server 52 may provide network services, device connections, and services for games.

어플리케이션 서버(application server)(54)는 게임에 필요한 어플리케이션을 제공하며, SPDY2.0과 웹 소켓(web socket)으로 구성될 수 있다.The application server 54 provides an application required for the game, and may be composed of SPDY2.0 and a web socket.

특히, 본 발명의 실시예에서는 현실 공간과 가상현실의 공간을 연결하기 위해서 스마트 토이(스마트 탱크)의 위치를 정확하게 파악하고 보정하는 기법이 필요하다. 본 발명의 실시예에서는 스마트 토이(스마트 탱크)의 위치를 인식하기 위한 광학 코드(optical code)를 설계하고 그 광학 코드를 인식하는 기법을 채택하고, 광학 코드를 인식하여 위치를 나타낼 때 발생하는 오차에 대한 방법을 해결하기 위해 칼만 필터(kalman filter) 기반의 위치 보정을 실시하였다.In particular, the embodiment of the present invention requires a technique for accurately identifying and correcting the position of the smart toy (smart tank) in order to connect the space of the real space and the virtual reality. In an embodiment of the present invention, an optical code for recognizing a position of a smart toy (smart tank) is adopted, a technique for recognizing the optical code, and an error occurring when the position is indicated by recognizing the optical code In order to solve the method, the positional correction based on the Kalman filter was performed.

도 15는 광학 코드와 템플릿을 기반으로 한 로테이션변환에 관한 위치보정을 설명하기 위한 도면이고, 도 16은 광학 매트를 예시한 도면이다.FIG. 15 is a diagram for explaining position correction regarding a rotation transformation based on an optical code and a template, and FIG. 16 is a diagram illustrating an optical mat.

광학 코드는 기본적으로 도 15에서와 같이 5x5 형태의 점자로 표현되며, 세개의 사각 꼭지점은 코드의 위치를 보정하기 위한 템플릿을 가진다. 이때, 사용 가능한 최대 데이터 코드 비트 수는 21 비트(bit)이다. 이차원 좌표를 표시하기 위하여 X축 좌표와 Y축 좌표에 각 10 비트(bit)의 데이터를 할당하고, 1 비트(bit)는 플래그(flag) 값을 위하여 할당한다. X축과 Y축 각각에 대하여 1024개의 값에 대하여 표현이 가능하며, 이를 활용하여 배틀필드의 구성이 가능하다. The optical code is basically expressed in 5 × 5 braille as shown in FIG. 15, and three rectangular vertices have a template for correcting the position of the code. At this time, the maximum number of available data code bits is 21 bits. In order to display two-dimensional coordinates, 10 bits of data are allocated to the X-axis coordinates and the Y-axis coordinates, and one bit is allocated for the flag value. 1024 values can be expressed for each of the X and Y axes, and the battle field can be configured using this.

스마트 토이(스마트 탱크)가 이동함에 따라 코드가 회전된 상태로 인식을 하게 된다. 이때, 템플릿 코드를 이용하여 입력된 코드의 회전 각도를 계산하고, 스마트 탱크의 위치 및 각도를 계산할 수 있다. As the smart toy (smart tank) moves, the code is recognized as being rotated. In this case, the rotation angle of the input code may be calculated using the template code, and the position and angle of the smart tank may be calculated.

그리고, 광학 코드의 인식률을 증가하기 위하여 일정 영역에 동일한 좌표 코드를 반복하여 표시한다. 이를 통해 목표 인식률을 P라고 하고, 단위 인식률을 i 라고 가정할 때, 오차 거리당 부여된 코드의 반복수는 M이라 한다. 이를 P=1-(1-i)M 과 같은 수식으로 정의할 수 있다. In order to increase the recognition rate of the optical code, the same coordinate code is repeatedly displayed in a predetermined area. Through this, assuming that the target recognition rate is P and the unit recognition rate is i, the number of repetitions of the code given per error distance is M. This can be defined by an equation such as P = 1- (1-i) M.

만약, 목표 인식률을 99%라고 정하고 단위 인식률을 70%로 설정할 때, 오차 거리 1Cm2당 반복하여야 할 코드의 수(M)는 상술한 수식을 토대로 구할 수 있다. 이를 토대로 하여 광학 코드는 1Cm2당 4개의 동일한 코드를 반복하여 삽입하였고, 이는 도 16에서와 같은 1024cm × 1024cm 의 크기의 광학 매트 구성이 가능하다.If the target recognition rate is set to 99% and the unit recognition rate is set to 70%, the number of codes M to be repeated per error distance 1Cm 2 can be obtained based on the above-described formula. On the basis of this, the optical code was repeatedly inserted into four identical codes per 1 cm 2 , which is possible to construct an optical mat having a size of 1024 cm × 1024 cm as shown in FIG. 16.

한편, 칼만 필터는 물체의 측정값에 확률적인 오차가 포함되고, 물체의 특정시점에서의 상태는 이전시점의 상태와 선형적인 관계를 가지고 있는 경우에 적용할 수 있다. 게임 시스템에서는 스마트 토이(스마트 탱크)의 위치를 측정하기 위하여 칼만 필터를 적용한다. On the other hand, the Kalman filter may be applied to the case where the measured value of the object includes a probabilistic error, and the state at a specific time point of the object has a linear relationship with the state of the previous time point. In game systems, the Kalman filter is applied to measure the position of the smart toy.

광학 코드를 이용하여 스마트 토이의 위치를 추적하는 경우 스마트 토이의 주행 시 발생하는 위치 속도, 가속도에 대하여 측정할 수 있지만, 이 측정값에 오차가 포함되어 있을 수 있다. 이 경우, 메인 컨트롤러(72)는 연속적으로 측정하는 값들을 칼만 필터를 적용하여 해당 스마트 토이(즉, 스마트 탱크)의 위치를 측정할 수 있다. In the case of tracking the position of the smart toy using the optical code, the measurement may be performed on the position velocity and acceleration generated when the smart toy is driven, but the measurement value may include an error. In this case, the main controller 72 may measure the position of the corresponding smart toy (ie, the smart tank) by applying a Kalman filter to continuously measured values.

특정 시간 k에서의 상태 벡터를 xk라 정의하고 사용자가 컨트롤러를 이용하여 조종하는 것을 uk라 정의할 때, 칼만 필터에서는 다음과 같은 관계식 즉, xk = Fk xk-1 + Bkuk + wk 을 가정한다. 여기서, Fk는 해당 시간에서 이전 상태에 기반한 전이 행렬을 의미하고, Bk는 사용자 입력에 의한 상태 전이 행렬을 의미하고, wk는 잡음 변수를 의미한다. If we define the state vector at time k as x k and the user manipulates it with the controller as u k , the Kalman filter has the following relationship: x k Assume = F k x k-1 + B k u k + w k . Here, F k denotes a transition matrix based on a previous state at a corresponding time, B k denotes a state transition matrix by a user input, and w k denotes a noise variable.

상태 벡터 xk와 그 벡터를 측정하였을 때 실제로 얻어진 zk 는 다음과 같은 관계식 즉, zk = Hkxk + vk 을 가진다. 여기서, Hk 는 해당 시간에서 측정에 관계된 행렬이고, vk 는 잡음 변수이다. The state vector x k and the z k actually obtained when the vector is measured have the following relationship: z k = H k x k + v k . Where H k is the matrix involved in the measurement at that time and v k is the noise variable.

스마트 토이(스마트 탱크)의 움직임에 대하여 스마트 탱크의 상태를 나타내는 xk는 아래와 같이 스마트 토이의 위치와 속도로 나타낼 수 있다.The x k representing the state of the smart tank with respect to the movement of the smart toy (smart tank) may be represented by the position and speed of the smart toy as follows.

Figure PCTKR2016013322-appb-I000001
Figure PCTKR2016013322-appb-I000001

여기에서, xk는 시점 k에서의 위치를 의미하고,

Figure PCTKR2016013322-appb-I000002
는 시점 k에서의 속도를 의미한다. 또한, 스마트 토이(즉, 스마트 탱크)에 임의로 가해지는 가속도를 ak로 정의한다. 뉴턴의 운동 법칙에 의해, k와 k-1 사이에는 다음과 같은 관계식 즉, xk = Fkxk-1 + Bkuk + Gak이 성립한다. Here, x k means the position at the time point k,
Figure PCTKR2016013322-appb-I000002
Is the velocity at time k. In addition, the acceleration arbitrarily applied to the smart toy (ie, the smart tank) is defined as a k . According to Newton's law of motion, the following relation holds between k and k-1: x k = F k x k-1 + B k u k + G ak .

여기서, F는

Figure PCTKR2016013322-appb-I000003
로 표현 할 수 있고, G는
Figure PCTKR2016013322-appb-I000004
로 정의할 수 있다. 이것은 xk = Fkxk -1 + Bkuk + wk와 같으므로 wk ~ N(0,Q)로 정의된다. Where F is
Figure PCTKR2016013322-appb-I000003
Can be expressed as G
Figure PCTKR2016013322-appb-I000004
Can be defined as This is equal to x k = F k x k -1 + B k u k + w k and is defined by w k to N (0, Q).

그에 따라,

Figure PCTKR2016013322-appb-I000005
와 같이 표현할 수 있다. 사용자의 입력을 기반으로 하여 연속적으로 측정하는 값들을 칼만 필터를 이용하여 스마트 토이(스마트 탱크)의 위치를 추정할 수 있다. thereafter,
Figure PCTKR2016013322-appb-I000005
It can be expressed as Based on the user's input, the Kalman filter can be used to estimate the position of the smart toy (smart tank).

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, the best embodiment has been disclosed in the drawings and the specification. Although specific terms have been used herein, they are used only for the purpose of describing the present invention and are not used to limit the scope of the present invention as defined in the meaning or claims. Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible from this. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

본 발명에 따르면, 스마트 토이를 이용하여 가상현실 전투 게임을 할 수 있다.According to the present invention, a virtual battle game can be played using a smart toy.

그리고, HMD를 비롯한 다양한 스마트 디바이스 기반의 인터페이스와 스마트 로봇과 OID기반의 전장을 제공하여 사용자의 몰입도를 높일 수 있는 가상현실 전투 게임 시스템을 제공할 수 있고, 가상의 전장과 현실의 전장의 위치 동기화를 위하여 OID를 사용하고, 이에 대한 위치 보정을 위하여 템플릿 기반의 광학 코드 인식 기법과 칼만 필터를 이용한 위치 보정기법을 사용함으로써 스마트 로봇의 위치를 정확하게 추정할 수 있다.In addition, by providing various smart device-based interfaces including HMD and smart robots and OID-based battlefields, it is possible to provide a virtual reality battle game system that can increase user's immersion. By using OID for synchronization, and using the template-based optical code recognition technique and the position correction technique using Kalman filter, the position of smart robot can be estimated accurately.

Claims (7)

전차형태의 스마트 로봇 타입으로 사용자의 조종을 기반으로 하여 움직이고, 광학 코드를 이용하여 실제 위치에 대한 정보를 전송하는 스마트 로봇 플랫폼;A smart robot platform that is a smart robot type in the form of a tank and moves based on a user's control and transmits information about an actual position using an optical code; 상기 스마트 로봇을 조종하는 컨트롤 인터페이스 및 가상현실의 전장을 보여주는 뷰 인터페이스를 기반으로 하는 사용자 디바이스; 및A user device based on a control interface for manipulating the smart robot and a view interface showing a battlefield of virtual reality; And 상기 스마트 로봇이 움직이는 OID기반의 매트 타입의 지형과 3D 오브젝트가 입혀진 가상현실상의 전장을 구성하여 동기화를 시켜, 상기 스마트 로봇의 움직임에 맞추어 사용자에게 디스플레이되게 제공되는 배틀필드;를 포함하는 것을 특징으로 하는 스마트 로봇 게임 시스템.And a battle field configured to be synchronized with the OID-based matte type terrain and a virtual reality battlefield on which 3D objects are coated to be displayed to a user according to the movement of the smart robot. Smart robot game system. 청구항 1에 있어서,The method according to claim 1, 상기 스마트 로봇 플랫폼은, The smart robot platform, 메시지 제어와 위치정보 관리 및 영상 인코더의 기능을 포함하는 통신부; A communication unit including message control, location information management and video encoder functions; 차체 컨트롤과 포탑 컨트롤 및 이동의 제어를 행하는 제어부; 및 A control unit that controls the vehicle body control, turret control, and movement; And 적외선 모듈과 위치인식 모듈 및 카메라 모듈을 포함하는 센서부;를 포함하는 것을 특징으로 하는 스마트 로봇 게임 시스템.And a sensor unit comprising an infrared module, a position recognition module, and a camera module. 청구항 2에 있어서,The method according to claim 2, 상기 적외선 모듈은,The infrared module, IR 레이저를 송신하되, 포탄의 종류를 내포하는 정보를 광학 코드를 이용하여 송신하는 IR 레이저 송신부; 및An IR laser transmitter which transmits an IR laser, but transmits information containing the type of shell using an optical code; And IR 레이저를 수신하는 IR 레이저 수신부;를 포함하는 것을 특징으로 하는 스마트 로봇 게임 시스템. Smart robot game system comprising a; IR laser receiver for receiving an IR laser. 청구항 3에 있어서,The method according to claim 3, 상기 제어부는,The control unit, 상기 IR 레이저 수신부를 통해 전달된 광학 코드를 분석하여 피탄 여부 및 해당 스마트 로봇의 상태를 설정하는 것을 특징으로 하는 스마트 로봇 게임 시스템.Smart robot game system, characterized in that for analyzing the optical code transmitted through the IR laser receiver to set whether the bullet and the status of the smart robot. 청구항 2에 있어서,The method according to claim 2, 상기 위치인식 모듈은 광학 코드가 입혀진 매트상의 광학 코드를 스캔하고,The positioning module scans the optical code on the mat coated with the optical code, 상기 광학 코드는 5x5 형태의 점자로 구성되되, 세개의 사각 꼭지점은 코드의 위치를 보정하기 위한 템플릿을 가지고,The optical code consists of 5x5 braille, three square vertices having a template for correcting the position of the code, 상기 제어부는 상기 광학 코드를 이용한 위치 측정값들을 칼만 필터를 적용하여 해당 스마트 로봇의 위치를 측정하는 것을 특징으로 하는 스마트 로봇 게임 시스템. The control unit is a smart robot game system, characterized in that for measuring the position of the smart robot by applying a Kalman filter to the position measurement values using the optical code. 청구항 1에 있어서,The method according to claim 1, 상기 사용자 디바이스는, The user device, 메시지 제어와 위치정보 관리 및 영상 디코더의 기능을 포함하는 제어부;A controller including message control, location information management, and video decoder functions; 움직임이 가능한 오브젝트들을 포함하는 가상 현실에서의 사용자 인터페이스 오브젝트 모듈, 및 고정된 오브젝트들을 포함하는 고정영역에 배치된 사용자 인터페이스 오브젝트 모듈을 포함하는 사용자 인터페이스; 및A user interface including a user interface object module in a virtual reality including movable objects and a user interface object module disposed in a fixed area including fixed objects; And 게임 룰과 이벤트 처리 및 이펙트 핸들링을 수행하는 게임 시스템;을 포함하는 것을 특징으로 하는 스마트 로봇 게임 시스템. And a game system that performs game rules, event processing, and effect handling. 청구항 1에 있어서,The method according to claim 1, 상기 배틀필드는,The battlefield, 상기 스마트 로봇의 위치를 찾고 게임에 반영하기 위한 Indoor GPS와, 지형 타일, 지물 오브젝트로 구성된 실제의 배틀필드 환경; 및An actual battlefield environment composed of an indoor GPS, a terrain tile, and a feature object to locate and reflect the location of the smart robot in a game; And 각종 지형 및 지물에 대한 템플릿을 가지는 맵 오브젝트 템플릿 모듈, 오프라인상의 맵 오브젝트 템플릿에 대한 가상환경에서 표현되는 오브젝트들을 포함하는 가상의 배틀필드 오브젝트 모듈, 가상의 지형지물을 편집하는 3D 맵 편집기, 및 효과에 대한 라이브러리를 포함하는 효과 라이브러리를 포함하는 가상의 배틀필드 환경;을 포함하는 것을 특징으로 하는 스마트 로봇 게임 시스템.A map object template module having templates for various terrains and features, a virtual battlefield object module including objects represented in a virtual environment for offline map object templates, a 3D map editor for editing virtual features, and effects And a virtual battlefield environment comprising an effects library comprising a library for the smart robot game system comprising: a.
PCT/KR2016/013322 2016-11-18 2016-11-18 Smart robot game system Ceased WO2018092947A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2016/013322 WO2018092947A1 (en) 2016-11-18 2016-11-18 Smart robot game system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2016/013322 WO2018092947A1 (en) 2016-11-18 2016-11-18 Smart robot game system

Publications (1)

Publication Number Publication Date
WO2018092947A1 true WO2018092947A1 (en) 2018-05-24

Family

ID=62145239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/013322 Ceased WO2018092947A1 (en) 2016-11-18 2016-11-18 Smart robot game system

Country Status (1)

Country Link
WO (1) WO2018092947A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112354183A (en) * 2020-10-21 2021-02-12 天津大学 Tank control system and control method based on wireless local area network
CN114868173A (en) * 2019-12-23 2022-08-05 丹尼斯·维克托洛维奇·帕夫连科 Controller for virtual armored vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003325971A (en) * 2002-05-08 2003-11-18 Sega Toys:Kk GAME DEVICE AND GAME INPUT DEVICE
US20080004111A1 (en) * 2006-06-30 2008-01-03 Logitech Europe S.A. Non Impact Video Game Controller for Dancing Games
KR20090001683A (en) * 2007-05-10 2009-01-09 성균관대학교산학협력단 Vertical Lifting Manager's Method of Materials / Members Using Intelligent Hoist
JP2015232783A (en) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント Program and image creating device
JP2016532178A (en) * 2013-06-08 2016-10-13 株式会社ソニー・インタラクティブエンタテインメント System and method for transitioning between transmissive mode and non-transmissive mode in a head mounted display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003325971A (en) * 2002-05-08 2003-11-18 Sega Toys:Kk GAME DEVICE AND GAME INPUT DEVICE
US20080004111A1 (en) * 2006-06-30 2008-01-03 Logitech Europe S.A. Non Impact Video Game Controller for Dancing Games
KR20090001683A (en) * 2007-05-10 2009-01-09 성균관대학교산학협력단 Vertical Lifting Manager's Method of Materials / Members Using Intelligent Hoist
JP2016532178A (en) * 2013-06-08 2016-10-13 株式会社ソニー・インタラクティブエンタテインメント System and method for transitioning between transmissive mode and non-transmissive mode in a head mounted display
JP2015232783A (en) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント Program and image creating device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114868173A (en) * 2019-12-23 2022-08-05 丹尼斯·维克托洛维奇·帕夫连科 Controller for virtual armored vehicle
CN112354183A (en) * 2020-10-21 2021-02-12 天津大学 Tank control system and control method based on wireless local area network

Similar Documents

Publication Publication Date Title
US12197633B2 (en) Mixed reality high-simulation battlefield first aid training platform and training method using same
US12129026B2 (en) Method and system for controlling aircraft
US8634969B2 (en) Teleoperation method and human robot interface for remote control of a machine by a human operator
WO2017065348A1 (en) Collaboration method using head mounted display
Higuchi et al. Flying head: A head-synchronization mechanism for flying telepresence
WO2018131914A1 (en) Method and apparatus for providing guidance in a virtual environment
Tsykunov et al. Swarmtouch: Guiding a swarm of micro-quadrotors with impedance control using a wearable tactile interface
CN113448343B (en) Method, system and readable medium for setting a target flight path of an aircraft
CN111716365B (en) Immersive remote interaction system and method based on natural walking
WO2018038485A1 (en) Method and system for controlling virtual reality attraction
CN105573341A (en) Aerial vehicle optical control method and aerial vehicle optical control system
US20250061814A1 (en) Augmented reality training systems and methods
US20200175748A1 (en) Information processing device and image generation method
WO2015083915A1 (en) Battle game relay system using flying robots
CN116974379A (en) Multi-person VR experience system
WO2021118237A1 (en) Augmented reality visual field-sharing tactical training system optimized for multiple users
WO2019124728A1 (en) Apparatus and method for identifying object
WO2022030673A1 (en) Drone controller and control method therefor
WO2018092947A1 (en) Smart robot game system
WO2022075817A1 (en) Remote robot coding education system
WO2023027208A1 (en) Method and system for grouping plurality of devices
KR102387352B1 (en) Method And System for Providing Virtual Reality Game by using Autonomous Vehicle Information
WO2022173164A1 (en) Method and electronic device for displaying ar object
WO2018043920A1 (en) Augmented reality or virtual reality system
WO2018034412A1 (en) Haptic device linked with augmented reality or virtual reality implementation device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16921840

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11.09.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16921840

Country of ref document: EP

Kind code of ref document: A1