KR20030072640A - Game system and method in which cyber clone acts - Google Patents
Game system and method in which cyber clone acts Download PDFInfo
- Publication number
- KR20030072640A KR20030072640A KR1020020011765A KR20020011765A KR20030072640A KR 20030072640 A KR20030072640 A KR 20030072640A KR 1020020011765 A KR1020020011765 A KR 1020020011765A KR 20020011765 A KR20020011765 A KR 20020011765A KR 20030072640 A KR20030072640 A KR 20030072640A
- Authority
- KR
- South Korea
- Prior art keywords
- game
- input
- clone
- information
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 137
- 230000007704 transition Effects 0.000 claims abstract description 222
- 230000008569 process Effects 0.000 claims abstract description 74
- 230000008859 change Effects 0.000 claims description 24
- 238000012544 monitoring process Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000002349 favourable effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 18
- 241000282414 Homo sapiens Species 0.000 description 15
- 230000009471 action Effects 0.000 description 14
- KRQUFUKTQHISJB-YYADALCUSA-N 2-[(E)-N-[2-(4-chlorophenoxy)propoxy]-C-propylcarbonimidoyl]-3-hydroxy-5-(thian-3-yl)cyclohex-2-en-1-one Chemical compound CCC\C(=N/OCC(C)OC1=CC=C(Cl)C=C1)C1=C(O)CC(CC1=O)C1CCCSC1 KRQUFUKTQHISJB-YYADALCUSA-N 0.000 description 11
- 230000008901 benefit Effects 0.000 description 6
- 230000007774 longterm Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000036961 partial effect Effects 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 210000004958 brain cell Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
- A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6027—Methods for processing data by generating or executing the game program using adaptive systems learning from user actions, e.g. for skill level adjustment
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 컴퓨터 게임에서 게임자의 입력 성향에 관한 확률정보와 입력 등에 의해 야기되는 게임상태의 전이 경향에 관한 확률정보의 DB(데이터베이스)에 입각한 게임수행 모듈에 의해 수행되는 게임시스템으로서, 보다 구체적으로는, 게임자(주인)를 대신하여 게임을 수행하는 싸이버클론(cyber-clone)을 구현하는 모듈들로서 주인의 게임성향을 학습하는 주인성향학습 모듈; 싸이버클론이 주인 대신에 주인과 유사한 성향으로 게임을 수행하도록 하는 게임 대리수행 모듈; 게임수행과정에서 자율적으로 게임능력을 습득할 수 있도록 하는 게임능력습득 모듈; 상대 게임자별로 게임을 다르게 수행할 수 있도록 하는 게임상대대응 모듈을 포함하는 게임시스템에 관한 것이다.The present invention is a game system performed by a game performance module based on a DB (database) of probability information about a player's input tendency in a computer game and a probability information about a transition state of a game state caused by input. As a module for implementing a cyber-clone to perform the game on behalf of the game owner (master) as a master propensity learning module for learning the game propensity of the owner; A game surrogate module that allows the cyber clone to play the game in a manner similar to that of the owner instead of the owner; A game capability acquisition module that enables to acquire game ability autonomously in a game performance process; The present invention relates to a game system including a game correspondence module that allows a game player to perform a game differently.
Description
본 발명은 컴퓨터 게임에서 게임자의 입력 성향에 관한 확률정보와 입력 등에 의해 야기되는 게임상태의 전이 경향에 관한 확률정보의 DB(데이터베이스)에 입각한 게임수행 모듈에 의해 수행되는 게임시스템 및 게임방법에 관한 것이다. 보다 구체적으로, 본 발명은 게임자(주인)를 대신하여 게임을 수행하는 싸이버 클론을 구현하는 모듈들로서 주인의 게임성향을 학습하는 주인성향학습 모듈; 싸이버클론이 주인 대신에 주인과 유사한 성향으로 게임을 수행하도록 하는 게임 대리수행 모듈; 게임수행과정에서 자율적으로 게임능력을 습득할 수 있도록 하는 게임능력습득 모듈; 상대 게임자별로 게임을 다르게 수행할 수 있도록 하는 게임상대대응 모듈을포함하는 게임시스템에 관한 것이다.The present invention relates to a game system and a game method performed by a game performance module based on a DB (database) of probability information about a player's input tendency in a computer game and a probability information about a transition state of a game state caused by an input. It is about. More specifically, the present invention is a module for implementing a cyber clone to perform a game on behalf of the game owner (owner) as a master propensity learning module for learning the game propensity of the owner; A game surrogate module that allows the cyber clone to play the game in a manner similar to that of the owner instead of the owner; A game capability acquisition module that enables to acquire game ability autonomously in a game performance process; The present invention relates to a game system including a game correspondence module that enables different gamers to perform different games.
컴퓨터 프로그래밍 기술의 발전과 다양한 멀티미디어 수단 및 인터넷 등 통신수단의 출현에 따라 컴퓨터 게임이 고급화되면서 널리 확산되고 있다. 그러나 게임의 종류가 어떠하고 그 구현방법이 무엇이든 간에 종래에는 도1a와 같이 인터넷을 통해 연결된 각 게임자(gamer) A, B, C 간에 게임이 이루어지고 있다. 즉, 종래의 게임은 모두 사람과 사람간의 게임을 근간으로 하고 있다. 다만 보조적 수단으로서 게임자동화 엔진이 추가로 존재하고는 있다.Background Art With the development of computer programming technology and the emergence of various multimedia means and communication means such as the Internet, computer games have been advanced and widely spread. However, regardless of the type of game and its implementation method, the game is conventionally made between gamers A, B, and C connected through the Internet as shown in FIG. 1A. In other words, all conventional games are based on games between people. However, there is an additional game automation engine as an auxiliary means.
본 발명자는 특정 게임자(이하, "주인"이라 함)를 대신하는 가상의 게임자(이하, "싸이버클론"이라 함)로 하여금 싸이버 공간에서 주인을 대신하여 게임을 수행할 수 있게 함으로써 게임의 색다른 흥미와 재미를 창출할 수 있는 새로운 게임방식을 개발하였다. 본 발명에 따른 싸이버클론은 주인의 게임 스타일을 학습하여 주인의 게임 스타일대로 게임을 수행하게 되며, 게임 결과를 토대로 게임능력을 스스로 습득할 수 있을 뿐만 아니라 게임상대자에 따라 다른 게임을 수행할 수도 있음으로써 실제적으로 주인 게임자와 유사한 또는 동일한 게임수행 능력을 갖는다.The inventor of the present invention allows a virtual game player (hereinafter referred to as "cyber clone") to replace a specific game player (hereinafter referred to as "master") to perform the game on behalf of the owner in cyberspace. We have developed a new game method that can create different interests and fun. The cyber clone according to the present invention learns the game style of the owner to perform the game according to the owner's game style, and can acquire the game ability by itself based on the game result, and can also play different games according to the game partner. As a result, they have substantially the same or the same game performance as the host player.
도1a는 종래의 게임방식의 개념도Figure 1a is a conceptual diagram of a conventional game method
도1b는 본 발명의 게임방식의 개념도Figure 1b is a conceptual diagram of the game system of the present invention
도2a는 본 발명의 전체구성도Figure 2a is an overall configuration of the present invention
도2b는 싸이버클론 게임수행과정의 세부구성도Figure 2b is a detailed configuration of the cyber clone game performance process
도2c는 싸이버클론 학습과정의 정보 데이터베이스의 세부구성도Figure 2c is a detailed configuration of the information database of the cyber clone learning process
도2d는 싸이버클론에 의한 주인성향학습과정의 세부구성도Figure 2d is a detailed configuration of the host-oriented learning process by the cyber clone
도2e는 학습용 정보 데이터베이스들의 초기설정 및 갱신과정상의 구성도Figure 2e is a configuration diagram in the initial setting and updating process of the learning information databases
도3a는 게임대리수행 모듈의 동작 흐름도3a is an operation flowchart of a game proxy execution module
도3b와 도3c는 주인성향학습 모듈의 동작 흐름도3b and 3c is a flow chart of the operation of the propensity learning module
도3d는 게임능력습득 모듈의 동작 흐름도3d is a flow chart of operation of the game ability acquisition module
도4는 유한상태기계의 정의표4 is a definition table of a finite state machine.
도5는 상태전이도5 is a state transition diagram
도6은 상태구성 및 상태전이에 따른 상태변화의 예,6 is an example of a state change according to the state configuration and state transition;
도7은 상태구성의 범위변수 표현의 예7 is an example of a range variable representation of a state configuration.
도8은 유사한 상태들의 그룹상태도8 is a group state diagram of similar states.
도9는 입력에 따른 상태전이도9 is a state transition diagram according to the input
도10은 입력과 그룹상태도10 is an input and group state diagram
도11은 그룹입력과 그룹상태도11 is a group input and group state diagram
도12는 단위 시간별 상태전이도12 is a state transition diagram according to unit time
도13은 확률이 부가된 상태전이도Figure 13 is a state transition diagram with probability added
도14는 중간상태의 개념도14 is a conceptual diagram of an intermediate state
도15는 게임중 상태전이 경로의 예시도15 is an exemplary diagram of a state transition path during a game.
도16은 학습진행 경로의 예시도16 is an illustration of a learning progress path
도17은 입력에 따라 전이하는 그룹상태도17 is a group state transition according to the input
<발명의 개요><Overview of invention>
도1b는 본 발명에 따른 게임방법의 개념을 설명하기 위한 시스템도이다. 게임자 A, B, C 대신에 싸이버클론 A, B, C가 인터넷을 통해 게임을 하고 있다. 본 발명의 싸이버클론 게임에서는 주인과 싸이버클론을 동일시하여 주인이 게임을 하다가 급하게 다른 일을 해야 할 때 클론을 통해 게임을 계속 진행시킬 수도 있고 클론이 게임을 하고 있는 동안 주인이 이어받아서 게임을 계속 진행할 수도 있다. 싸이버클론은 주인이 정해놓은 상대(인간 게임자 또는 그의 싸이버클론)들과 주인의 부재 속에 게임을 수행해 나갈 수도 있고 싸이버클론 스스로 각종 게임 대회에 참여하여 게임을 수행할 수도 있다. 이를 위해 싸이버클론간 게임시스템은 게임대회 개최모듈, 실시간 방송 모듈, 재생을 위한 모듈, 주인과의 인터페이스 모듈을 포함하여 관련된 각종 모듈을 구비하여 제공하여야 한다. 구현의 하드웨어적 바탕은 서버/클라이언트 방식으로 구현될 수도 있으며 P2P(Peer-to-Peer)기술에 근거하여 서버 없이 PC간에 연결을 통해 구현될 수도 있다. 또는 두 방식의 혼합 방식으로 구현될 수도 있다. 이 경우 서버의 부하를 최소화하면서도 다양한 운영을 가능하게 하는 잇점이 있다.1B is a system diagram for explaining a concept of a game method according to the present invention. Instead of the players A, B, and C, the cyber clones A, B, and C are playing games over the Internet. In the cyber clone game of the present invention, the owner and the cyber clone are identified with the owner, and when the owner has to do other things in a hurry, the game may proceed through the clone or the owner takes over while the clone is playing the game. You can also proceed. Cyclone may play the game in the absence of the owner and the opponents (human gamers or their cyber clones) designated by the owner, or may participate in various game competitions by themselves. To this end, the cyber clone game system should be provided with various modules, including a game competition holding module, a real time broadcasting module, a module for playing, and an interface module with the owner. The hardware base of the implementation may be implemented in a server / client manner or through a connection between PCs without a server based on peer-to-peer technology. Or it may be implemented in a mixed manner of the two ways. This has the advantage of enabling a variety of operations while minimizing the load on the server.
본 발명의 구체적인 실시예의 구성과 작용을 설명하기 전에, 본 발명의 핵심이라고 할 수 있는 싸이버클론의 게임수행 방법과 주인의 게임성향 학습 및 게임능력 습득 방법의 이론을 설명한다. 본 발명에 따른 게임시스템에 있어서는, 입력성향과 상태전이경향을 확률로써 표현하고 주인 게임자의 입력 성향에 관한 확률정보와 게임 상황의 변화 경향에 관한 확률정보에 주로 입각한 게임수행 모듈에 의해 게임이 수행되는 것을 전제로 하여, 먼저, 1) 일반적인 게임시스템의 모델화에 관해서 설명하고, 2) 이에 근거하여 어떠한 종류의 게임에도 적용할 수 있는 싸이버클론 모델을 제공하는 방법에 관하여 설명한 다음에, 3) 본 발명의 핵심이 되는 싸이버클론의 주인 게임성향 학습, 자율 게임능력 습득 및 게임상대대응 방법에 관해서 설명할 것이다.Before explaining the structure and operation of a specific embodiment of the present invention, the theory of the game method of cyber clone, which can be said to be the core of the present invention, and the game propensity learning and game ability acquisition method of the owner will be described. In the game system according to the present invention, a game is performed by a game performance module which expresses the input tendency and the state transition tendency as a probability, and is mainly based on the probability information on the input tendency of the host player and the probability information on the change tendency of the game situation. Assuming that it is performed, firstly, 1) modeling of a general game system will be described, and 2) a method of providing a cyber clone model applicable to any kind of game will be explained. It will be described the master game propensity learning, autonomous game ability acquisition and game correspondence method of the cyber clone which is the core of the present invention.
<일반적인 게임시스템의 모델화>Modeling of a General Game System
전산학에서 컴퓨터는 입력이 주어지면 정해진 프로세싱 규칙에 따라 각종 메모리 저장 데이터의 내용의 변화를 통해 출력이 결정되는 기계이다. 이는 곧 컴퓨터 내부의 프로그램이 작동하는 원리이다. 전산학적으로 표현할 때 모든 컴퓨터 프로그램은 기본적으로 도4에 정의된 유한상태기계(finite-state automaton)로 표현될 수 있다. 이때의 상태란 각종 메모리들의 특정 시점에서의 내용이라고 할 수 있다. 메모리는 하드디스크, RAM, 레지스터 등을 포함한다.In computer science, a computer is a machine whose output is determined by changing the contents of various memory stored data according to a given processing rule. This is how programs inside a computer work. Computationally speaking, every computer program can be basically expressed as a finite-state automaton defined in FIG. The state at this time may be referred to as the contents of the various memories. The memory includes a hard disk, RAM, registers and the like.
이러한 기조로 모든 컴퓨터 게임시스템도 일차적으로 도5에서와 같은 상태전이 모델로 표현될 수 있다. 도5에서 상태는 원으로 표현되었고, 좌측 끝단이 시작상태이고 우측 끝단이 최종상태들이며 나머지는 게임진행 중에 가능한 모든 상태들을 의미한다. 도4의 유한상태기계에서는 최종상태가 하나이지만 여기서는 이해를 돕기 위해 여러 개로 구성하였다. 예를 들어, 둘 이상의 게임자가 게임을 할 때 승부가 갈리는 것을 전제로 하면 두 가지의 최종상태가 가능하다.Based on this, all computer game systems can also be represented primarily as a state transition model as shown in FIG. In FIG. 5, the state is represented by a circle, the left end is the start state, the right end is the final state, and the rest are all possible states during game play. In the finite state machine of FIG. 4, the final state is one, but here, it is composed of several for the sake of understanding. For example, two final states are possible, given that the game is split when more than one player plays the game.
여기서 상태(state)란 기계적 관점에서는 게임의 상황상황을 표현하기 위해 메모리에 저장된 특정 시점의 데이터열로 설명할 수 있으나 보다 구체적으로 게임 자체의 관점에서는, 게임자들에게 주어진 자원, 환경 등에 대한 해당 변수들의 특정 시점에서의 값이라고 할 수 있다.Here, a state may be described as a data string of a specific point of time stored in a memory in order to express a game situation from a mechanical point of view, but more specifically, from a game point of view, a state corresponding to a resource, an environment, etc. given to gamers may be described. It is the value of a variable at a specific point in time.
도6은 상태를 표현하는 데이터 구조의 일례와 상태전이에 따라 데이터 구조내 값들이 변하는 내용을 보여주고 있다. 상태를 구성하는 변수(field)들은 도7에 나타난 예와 같이 일정 값들의 영역에 대한 만족여부를 그 값으로 할 수도 있다.6 shows an example of a data structure representing a state and contents of values in the data structure change according to a state transition. The fields constituting the state may be satisfied with respect to a region of certain values as shown in the example shown in FIG. 7.
또한 상태는 상기 예들에서와 같이 반드시 정지된 모습일 필요는 없고 동일한 입력에 대해서 매번 동일하거나 유사한 메모리 데이터의 변화가 이뤄진다면 이 일련의 데이터 변화를 묶어서 하나의 상태로 표현할 수도 있다.In addition, the state does not necessarily have to be stopped as in the above examples, and if a same or similar memory data change is made every time for the same input, the series of data changes may be grouped and expressed as a single state.
더 나아가 도8에서와 같이 특정 관점에서 유사한 것으로 간주될 수 있는 몇 개의 상태들을 묶어서 하나의 그룹상태로 표현할 수도 있다. 그룹상태에서는 입력도 묶여질 수 있는데, 예를 들어 도9에서와 같이 입력에 따라 상태전이가 일어나는 상태전이도에서 중앙에 위치한 세 개의 상태들을 묶어서 하나로 표현할 경우에 도10에서와 같이 상태들이 묶이게 되고 이에 따라 입력들도 a와 b, d와 e를 각각 하나로 묶어서 표현할 수 있다. 이렇게 상태들을 묶어서 표현하면 복잡한 시스템을 단순화시켜 표현할 수 있는 잇점이 있다.Furthermore, as shown in FIG. 8, several states that can be regarded as similar in a particular aspect may be grouped and expressed as a group state. In the group state, the inputs can also be bundled. For example, in the state transition diagram in which the state transition occurs according to the input, as shown in FIG. 9, the states are bundled as shown in FIG. Accordingly, the inputs may be represented by a and b, d and e, respectively. This grouping of states has the advantage of simplifying the representation of complex systems.
예를 들어 상기 그림에서 a와 b를 묶은 입력은 A1이라 하고 d와 e를 묶은 입력은 A2라 할 때 게임자는 상태들이 묶여있는 그룹상태로 진입할 때 A1과 A2만을 입력하게 되며 통합된 상태 내부의 전이는 컴퓨터가 자체적으로 처리할 수 있다.For example, in the figure above, when the input that binds a and b is A1 and the input that binds d and e is A2, the player enters only A1 and A2 when entering the group state where the states are bundled. The transition can be handled by the computer itself.
더 나아가서 도11에서와 같이 통합된 상태 내부에서의 상태전이를 자동화하면 게임자는 입력 A1만 입력하면 된다. A1이 입력되어 통합된 상태로 전이되면 통합된 상태 내부에서의 상태전이는 미리 정해진 방식에 의해 자동으로 행해진다. 이러한 통합된 내부의 상태전이열은 매번 동일할 수도 있고 매번 다를 수도 있다.Furthermore, when automating the state transition in the integrated state as shown in Fig. 11, the player only needs to input the input A1. When A1 is input and transitioned to the integrated state, the state transition inside the integrated state is automatically performed in a predetermined manner. These integrated internal state transitions may be the same each time or may be different each time.
이상의 상태전이 모델은 입력에 따라 상태전이가 결정되는 많은 컴퓨터 게임을 표현하는 데에 효과적으로 이용될 수 있다. 예를 들어, 포커나 장기와 같은 게임도 게임자의 입력에 따라 다음 상태로의 전이가 결정되는 모델이며, 스트릿파이터와 같은 게임도 두 명의 게임자가 입력하는 내용에 따라 상태전이가 결정되는 모델이다. 이 때의 게임시스템에 대한 입력은 두 게임자 각자의 입력의 조합이다. 이들 게임들은 참여 게임자 모두가 입력을 하고 있지 않은 동안은 아무런 상태전이가 발생하지 않는다. 그러나 테트리스나 스타크래프트와 같은 게임은 게임자가 입력을 하지 않아도 상태전이가 발생한다. 또한 스트릿파이터와 같은 게임도 게임 당사자의 관점에서는 자신의 입력에 의해서만 상태전이가 결정되는 것은 아니므로 입력을 하지 않는 동안에도 상대 게임자에 의해 상태전이가 발생할 수 있다. 이러한 경우의 게임들은 상기와 같이 단순히 입력에 따라 상태전이가 발생하는 모델로는 표현하기가 어렵다.The above state transition model can be effectively used to represent many computer games whose state transitions are determined by input. For example, a game such as poker or chess is a model in which the transition to the next state is determined by the player's input, and a game such as a street fighter is a model in which the state transition is determined by two players' input. The input to the game system at this time is a combination of inputs of the two players. These games do not have any state transitions while all participating players are not typing. However, games such as Tetris and StarCraft can cause state transitions even if the player doesn't type. In addition, since a game such as Street Fighter is not determined only by its input from the game party's point of view, a state transition may be caused by the opponent player even when the input is not performed. Games in such a case is difficult to express as a model in which the state transition occurs simply by the input as described above.
그러면 포커와 같은 게임들과 테트리스와 같은 게임들의 어떤 면이 크게 다른지 살펴보자. 테트리스와 스타크래프트와 같은 게임은 시간의 요소가 상태전이에 큰 영향을 미침을 알 수 있다. 예를 들어, 테트리스의 경우 게임이 시작되면 게임자가 입력을 하지 않아도 게임이 진행되면서 일정 시간이 지나고 종료조건이 만족되면 자동으로 게임이 종료될 수 있다. 스타크래프트의 경우는 게임자가 특정 자동화된 모듈을 입력을 통해 활성화시키면 게임자의 비활성화를 위한 입력이 있기 전까지 상기 자동화 모듈은 게임자의 입력과는 독립적으로 상태전이에 영향을 미치는 게임 행위를 자동으로 수행한다. 따라서 테트리스와 같이 게임자의 입력이 없는 동안에도 게임진행을 위한 상태전이가 발생할 수 있다. 특히 스타크래프트의 경우는 게임자가 특정 자동화 모듈을 활성화시켜 놓고서 이 자동화 모듈에 의해 발생하는 상태전이가 원하는 상태까지 진행되기를 기다렸다가 다음 입력을 취하기도 한다.So let's look at the big difference between games like poker and games like Tetris. Games like Tetris and StarCraft show that the elements of time have a big impact on state transitions. For example, in the case of Tetris, the game may be automatically terminated when a game is started and a certain time passes and the end condition is satisfied even if the game player does not input. In the case of StarCraft, when a player activates a specific automated module through input, the automation module automatically performs a game action that affects the state transition independently of the input of the player until there is an input for deactivating the player. . Therefore, even when there is no input from the player, such as Tetris, a state transition for game play may occur. In the case of StarCraft, in particular, the player may activate a certain automation module, wait for the state transitions generated by the automation module to proceed to the desired state and then take the next input.
상태전이란 원칙적으로 전이하기 전의 상태에 변화를 가하는 어떤 이벤트가 발생하였기 때문에 이루어진다. 가장 대표적인 이벤트는 게임자의 입력이다. 하지만 위 단락에서 게임자의 입력이 없어도 상태전이가 일어날 수 있다고 하였다. 그렇다면 게임자의 입력이 없이도 일어나는 상태전이는 게임자 이외의 게임 구성 주체로부터 입력을 받아서 이뤄지는 것으로 해석해야 한다. 게임자 이외의 게임 구성 주체란 상대 게임자가 될 수도 있고 게임시스템 자체 또는 자동화모듈이 될 수 있다. 테트리스에서 게임자의 입력과 무관하게, 시간이 지나면서 새로운 조각아이템들이 나타나는 것은 게임시스템 자체가 그러한 상태전이가 발생하도록 입력을 제공하고 있기 때문이며, 스타크래프트에서 일꾼들에게 무기를 만들도록 하는 자동화 모듈을 게임자가 활성화시켜 놓으면 게임자의 다음 입력과 무관하게 상기 자동화 모듈은 계속해서 무기를 생산해 낸다. 무기란 상태를 구성하는 핵심 요소중의 하나임이 분명하므로 자동화 모듈이 상태전이를 일으키도록 입력을 수행하고 있는 것이다.State transition occurs in principle because some event occurs that changes the state before it transitions. The most representative event is the player's input. However, in the paragraph above, state transitions can occur even without input from the player. Then, the state transition that occurs even without the player's input should be interpreted as being input from game constituents other than the player. The game constituent other than the player may be an opponent player, the game system itself, or an automation module. Regardless of the player's input in Tetris, new fragment items appear over time because the game system itself is providing input for such a state transition, and there is an automation module in StarCraft that allows workers to build weapons. Once activated by the player, the automation module continues to produce weapons regardless of the player's next input. Weapons are obviously one of the key components of a state, so the automation module is doing input to cause state transitions.
본 발명은 어떤 종류의 게임에도 적용될 수 있는 싸이버클론 모델을 제공하는 것을 목표로 하고 있다. 따라서 이상과 같이 서로 상이한 게임들을 동일한 모델로 표현할 수 있기 위해서는 상기의 상태전이 모델에서 입력, 상태, 상태전이에 대한 개념을 포괄적으로 확장할 필요가 있다. 우선 상태전이는 게임자의 입력에 의해서만 발생하는 것이 아니라 시간 변화에 따라서도 발생할 수 있도록 게임시스템은 별도의 시간 체계를 두어 일정 간격의 시간을 단위 시간으로 하고 단위 시간의 경계에서 현재 상태에서 다음 상태로의 전이가 일어나도록 한다. 도12에 도시된 예와 같이 게임자의 입력은 입력된 시간에서 가장 가까운 단위 시간의 경계에서의 상태전이에 적용되고, 복수 게임자들의 입력이 동일한 단위 시간의 경계 사이에서 발생하면 이들은 동시에 발생한 것으로 간주된다. 따라서 단위 시간의 간격은 게임자들이 느끼지 못할 정도로 짧은 시간으로 설정하는 것이 바람직하다.The present invention aims to provide a cyber clone model that can be applied to any kind of game. Therefore, in order to be able to express different games with the same model as described above, it is necessary to comprehensively expand the concept of input, state, and state transition in the state transition model. First of all, the state transition is not caused only by the input of the player but also by the change of time so that the game system has a separate time system so that the time of a certain interval is the unit time and from the boundary of the unit time to the next state. Let the transition occur. As in the example shown in Fig. 12, the input of the player is applied to the state transition at the boundary of the unit time closest to the input time, and if the inputs of the multiple players occur between the boundaries of the same unit time, they are considered to occur at the same time. do. Therefore, it is desirable to set the interval of unit time to a time short enough that gamers do not feel.
입력과 상태전이의 관계에 있어서 입력이 발생하면 상태전이가 이뤄지지만 게임자의 입력이 없을 때에도 상태전이가 이뤄지는 것을 반영하도록 도12에서와 같이 매단위 시간의 경계에서 실제 게임자의 입력이 없을 때는 이를 의미하는 가상입력(ε)이 발생한 것으로 간주한다. 포커와 같은 게임에서는 실제 입력이 주어지지 않았을 때 단위 시간의 경계에서의 상태전이는 가상입력이 발생하고 이에 대한 상태전이는 자신으로 회귀하는 것과 같다. 사실 시간의 변화도 입력을 구성하는 하나의 요소로 간주할 수 있다. 상태를 구성하는 필드 중에 시간이 포함되어 있을 경우 매단위 시간마다 상태전이가 발생하는 것이 자연스럽게 받아들여질 수 있기 때문이다.In the relationship between the input and the state transition, when the input occurs, the state transition is made, but this means when there is no actual player input at the boundary of every unit time as shown in FIG. 12 to reflect the state transition even when there is no input from the player. Is assumed to have occurred. In a game such as poker, when no actual input is given, the state transition at the boundary of unit time is a virtual input, and the state transition to it is like returning to itself. In fact, a change in time can also be regarded as a component of the input. This is because it is naturally accepted that a state transition occurs every unit time when time is included in the field constituting the state.
이제 포커와 같은 게임들과 테트리스와 같은 게임들을 단일한 상태전이 모델로 표현할 수 있게 되었다. 하지만 이 모델만으로 스타크래프트와 같은 게임들을 표현하는 데는 아직 부족한 점이 있다. 지금까지의 상태는 특정 시점에서의 게임의 상황을 의미한다. 그러나 스타크래프트와 같은 게임에서는 특정 상태에서 게임자의 입력에 따라 자동으로 게임 상태에 영향을 미치는 액션을 수행하는 자동화 모듈이활성화 또는 비활성화 될 수 있다. 즉 상태가 상황에 대한 묘사 역할만이 아니라 입력에 따라 출력과 같은 액션을 취하기도 한다는 점이다. 이 점을 상기 모델이 반영해야만 스타크래프트와 같은 게임들도 표현할 수 있게 된다. 즉, 특정 상태에 입력이 가해지면 자동화 모듈을 활성화(실행) 또는 비활성화(종료)시킬 수 있는 명령이 해당 자동화 모듈로 출력되는 기능이 해당 상태에 내재되어 있도록 상기 모델을 확장한다. 이는 상태의 개념이 게임의 상황에 대한 데이터 표현임과 동시에 특정 이벤트를 발생시킬 수 있는 기능을 포함하고 있다는 의미이다. 이 경우 상태는 OOP(Object Oriented Programing)에서 객체(Object)와 같은 성격을 지닌다(물론 자동화 모듈이 게임시스템에 포함되는 것을 표현하기 위해 굳이 상태를 OOP의 객체와 반드시 매칭시킬 필요는 없다. 예를 들어, 상태내 특정 자동화 모듈에 활성화에 관련된 필드가 있고 그 값이 무엇이냐에 따라 게임시스템이 자동화 모듈을 활성화/비활성화 하도록 하면 되기 때문이다.)Now games like poker and games like Tetris can be represented as a single state transition model. But this model alone is still not enough to represent games like StarCraft. The state so far refers to the situation of the game at a particular point in time. However, in a game such as StarCraft, an automation module that automatically performs an action that affects the game state may be activated or deactivated according to a player's input in a specific state. In other words, state not only acts as a description of the situation, but also takes actions such as output based on input. This must be reflected in the model so that games such as StarCraft can be represented. That is, when an input is applied to a specific state, the model is extended so that a function for outputting the command to activate (execute) or disable (exit) the automation module is embedded in the corresponding automation module. This means that the concept of state is a data representation of the state of the game and includes the ability to trigger specific events. In this case, states have the same characteristics as objects in object-oriented programming (OOP) (of course, it is not necessary to match states to objects in the OOP to represent the automation module being included in the game system. For example, certain automation modules in the state have fields related to activation, and depending on what their values are, the game system needs to enable / disable the automation modules.)
이상 다양한 성격의 게임들을 상태전이 방식으로 모델화하기 위하여 입력, 상태, 상태전이에 대한 개념을 재정립하였다. 향후 이러한 개념하에서 본 발명에 필요한 설명을 진행해 나갈 것이다. 다만 상기의 개념들은 조금씩 변형이 가해져서도 변형전과 동일하거나 유사하게 게임들을 모델화할 수 있다. 예를 들어 "상태전이는 단위시간을 기준으로 발생하기도 하지만 입력이 주어지면 바로 발생할 수도 있다"와 같은 변형된 개념들로 게임들을 모델화할 수도 있다. 하지만 이 경우 본 모델과 큰 효과의 차이는 없다. 따라서 본 발명의 내용을 설명하기 위하여 정립된 상기 개념들은 본 발명의 설명을 다르게 표현하는 방향으로 다양하게 변형될 수 있음은 물론이다.The concept of input, state, and state transition has been redefined to model various games with various state transitions. In the future, the following description will be required for the present invention. However, the above concepts can be modeled in the same or similar way as before the transformation even if little modifications are made. For example, games can be modeled using variations of the concept, such as "state transitions may occur in terms of unit time, but may occur immediately if input is given." In this case, however, there is no significant difference between this model and the model. Therefore, the concepts established to explain the contents of the present invention can be variously modified in a direction expressing the description of the present invention differently.
<싸이버클론의 입력결정 원리><Physical clone input decision principle>
이상으로 게임시스템에 대해 모델화를 해 보았다. 이제부터는 이러한 게임시스템에서 본 발명의 핵심인 싸이버클론이 어떻게 구현될 수 있는지에 대해 설명한다.We have modeled the game system. The following describes how the cyber clone, which is the core of the present invention, can be implemented in such a game system.
게임에 있어서 특정 게임자에게는 자신을 제외한 모든 게임 관련 객체가 하나의 게임시스템으로 통합되어 인식된다고 할 수 있다. 이는 게임자의 액션에 따라 게임의 승패가 크게 좌우된다는 사고와 유사한데, 이 경우의 게임시스템은 상기와 같은 결정적 상태전이 모델로 설명할 수 없다. 동일한 상태에서 게임자가 동일한 입력을 하여도 상태전이는 매번 다르게 나올 수 있기 때문이다. 즉 상대 게임자의 입력이 자신의 입력과 함께 게임시스템의 입력을 구성할 때는 상기와 같은 상태전이로 표현할 수ㄷ 있으나 자신을 제외하고 상대 게임자를 포함한 나머지 모두를 게임시스템으로 확대 해석하면 입력은 자신의 입력으로만 구성이 되는데 게임시스템 내부적으로는 상대 게임자의 입력이 상태전이에 영향을 미치게 되므로 동일한 상태에서 동일한 입력을 수행하여도 매번 다른 상태전이가 발생할 수 있게 된다(실제 게임들에서는 상대게임자가 실제로 사람 이외에 컴퓨터 자체일 수도 있고 자동화 모듈이 상태전이에 영향을 미칠 수도 있다).In the game, it can be said that all game-related objects except themselves are integrated into one game system. This is analogous to the idea that the winning and losing of the game depends greatly on the action of the player, and the game system in this case cannot be explained by the deterministic state transition model as described above. This is because the state transition may come out differently each time even if the player inputs the same input in the same state. In other words, when the input of the opponent player constitutes the input of the game system together with his own input, it can be expressed as the above state transition. It is composed only of input, but internal game system affects the state transition, so even if the same input is performed in the same state, different state transitions can occur every time. In addition to humans, it may be the computer itself, or an automation module may affect the state transition).
이러한 현상은 상기 상태전이 모델에 확률 개념을 도입하면 명확하게 표현될 수 있다. 즉 특정상태에서 특정입력이 들어왔을 때 전이가 가능한 상태별로 전이가 발생할 확률을 할당하는 것이다. 게임의 모든 상태에 대해서 입력과 상태전이별 확률을 설정한다. 이러한 설정은 상대 게임자를 인식할 수 있을 때 상대 게임자별로 한세트씩 할당된다. 이는 게임자별 게임성향이 천차만별이어서 입력에 대한 상태전이 확률이 상대 게임자별로 다르게 나타나기 때문이다. 본 발명의 핵심인 싸이버클론은 이러한 확률이 부가된 상태전이 모델에 입각하여 구현된다.This phenomenon can be clearly expressed by introducing a probability concept into the state transition model. In other words, it assigns the probability that a transition will occur for each transitionable state when a specific input comes in a specific state. For every state in the game, we set the probabilities for input and state transitions. These settings are allocated one set per opponent player when the opponent player can be recognized. This is because the game propensity by gamers varies widely, so that the probability of state transition for input is different for each player. The cyber clone, which is the core of the present invention, is implemented based on the state transition model to which this probability is added.
본 발명의 싸이버클론은 게임자의 게임성향을 그대로 답습한 후 그 상태에서 게임능력을 배양해 나간다. 따라서 싸이버클론은 주인의 게임성향 파악을 할 수 있어야 한다. 이 경우 클론의 입장에서 주인의 게임성향에는 불확실성이 존재한다는 전제하에 특정 상태에서 주인이 어떤 입력을 선호할 것인가를 인지해야 한다. 이는 확률이 내포된 상태전이 모델에 각 입력 발생에 대한 확률을 추가함으로써 표현할 수 있게 된다. 도13은 이상의 두 가지 종류의 확률이 내포된 상태전이도의 예이다.The cyber clone of the present invention follows the game inclination of the game player as it is and then develops the game ability in the state. Therefore, CyberClone must be able to grasp the owner's game propensity. In this case, we need to be aware of which input the owner would prefer in a particular state, given the uncertainty in the game's propensity for the clone. This can be expressed by adding the probability for each input occurrence to the state transition model with probability. Fig. 13 is an example of a state transition diagram in which two kinds of probabilities are included.
상기 도13에 도시된 바와 같이 특정 게임에 대한 상태, 상태전이별 확률, 입력별 확률이 주어지면 싸이버클론은 기본적으로 수학식1과 같은 공식으로 특정상태에서 취할 입력을 결정하게 된다(아래 식에서는값을 최대로 하는 x의 값으로서 만일에 x 이외의 변수가 존재하는 경우 다른 변수들과 x의 가능한 값들의 조합 중값을 최대로 하는 조합에 포함된 x의 값을 의미한다). 수학식1은 특정 상태에서 게임자가 어떤 상태전이를 선호하여 어떤 입력을 선택할 것인지()와 상대 게임자의 입력과 게임시스템의 불확실성을 고려할 때 그에 따른 상태전이별 발생 가능성은 어느 정도인지()를 의미한다. 여기서 상대 게임자가 컴퓨터 자체가 될 수도 있음은 물론이다.As shown in FIG. 13, when a state, a probability for each state transition, and an input probability for a specific game are given, the cyber clone is basically an input such as Equation 1 to be taken in a specific state. Is determined by Is The value of x that maximizes the value If any variable other than x exists in the combination of other variables and possible values of x The value of x in the combination that maximizes the value). Equation (1) shows which state transition the player prefers to select in a particular state. ) And the probability of occurrence of a state transition according to the opponent's input and the uncertainty of the game system. ). Of course, the opponent may be the computer itself.
이와 같이 주인의 성향을 고려한 요소()와 그 성향을 성취하는데 방해가 되는 상대 게임자 등의 작용으로 영향받는 요소()는 싸이버클론을 구현하는 데에 필수적으로 포함되어야 한다. 물론 두 가지 요소를 반영하는 방식은 수학식1에 국한될 필요는 없다. 수학식1에 포함된 두 가지 파라미터, 특정 상태에서 발생할 입력에 대한 확률()과 상기 상태에서 전이 가능한 상태들에 대한 상태전이확률()은 각각 도2a에 도시된 입력성향 DB와 상태전이경향 DB에 저장되어 게임 대리수행 모듈에 의해 적합한 입력을 결정하는 데에 이용된다.In this way, factors in consideration of the owner's disposition ( ) And other factors influenced by the actions of opponents, such as opponents, that interfere with achieving that disposition ( ) Must be included in the implementation of the cyclone. Of course, the method of reflecting the two elements need not be limited to Equation (1). Two parameters included in Equation 1, the probability of the input to occur in a specific state ( ) And the probability of state transition for states transitionable from the state ( Are stored in the input tendency DB and the state transition tendency DB shown in Fig. 2A, respectively, and are used by the game proxy execution module to determine the appropriate input.
(확장 1)(Extension 1)
그리고 수학식1은 싸이버클론을 구현하는 접근 방법, 예를 들어 향후 싸이버클론의 학습 능력 부여의 효과성을 고려하는 등의 이유로 다양하게 확장될 수 있다. 그 한가지 예로, 게임시스템이 미리 싸이버클론에게 바람직한 상태전이를 제공하여 주인보다 더 나은 게임을 점차적으로 수행하게 할 수도 있다. 이 경우의 공식은 수학식2와 같다. 공식에서 확률는 시스템이 제공하는 확률로서 게임에 이길 가능성이 높은 상태들의 전이 경로 쪽에 높은 확률이 배정되어 있다. 이러한 확률은 게임 시스템 개발자가 게임을 아주 잘하는 사람들의 게임 과정을 모니터링함으로써 획득하여 배정해 놓은 것일 수도 있고 게임을 분석하여 적절하게 확률을 미리 배정해 놓은 것일 수도 있다. 바람직한 상태전이에 대한 확률 파라미터가 사용되는 시스템에서는 도2a에 도시된 우수상태전이경향 DB에 저장되어 상기 두 파라미터들과 함께 게임 대리수행 모듈에 의해 적합한 입력을 결정하는 데에 이용된다.Equation 1 may be variously expanded for reasons such as an approach for implementing a cyber clone, for example, considering the effectiveness of granting the learning ability of the cyber clone in the future. As an example, the game system may provide the CyberClone with desirable state transitions in advance, allowing them to gradually play better games than their owners. The formula in this case is the same as Equation 2. Probability in the formula The probability that the system provides is assigned a high probability towards the transition path of states that are likely to win the game. These probabilities may be obtained and assigned by the game system developer by monitoring the game progress of those who are very good at the game, or may be pre-assigned appropriately by analyzing the game. Probability Parameters for Desirable State Transitions In the system in which is used, it is stored in the storm state transition trend DB shown in Fig. 2A and used together with the above two parameters to determine an appropriate input by the game surrogate module.
(확장 2)(Extension 2)
또 다른 확장의 예는 각 상태들에 대하여 게임자에게 유리한 정도를 수치화한 후 이를 근거로 상태전이의 가치를 평가하는 요소로 수학식1에 포함시키는 것이다. 이를 포함한 공식이 수학식3이다. 각 상태 전이별 확률는 상태 전이 후 도달한 상태가 게임 환경 즉, 무기, 식량, 병사 등의 자원과 게임 수행 능력 등의 관점에서 게임자에게 유리한 정도에 있어서 상태전이 후 도달 가능한 상태들간의 차이에 근거해서 확정된다. 도달 가능한 상태들간에 나타나는 유리한 정도의 차이를 고려하는 이유는 특정상태에서 도달 가능한 상태들로의 전이에 대한 확률의 합은 1이 되어야 하기 때문이다. 이 확률은 한번 확정되면 상태별로 구성의 변화가 없는 것을 전제로 함으로 이 확률 역시 변화가 없이 고정된다.Another example of expansion is to quantify the degree of the player's advantage for each state and to include it in Equation 1 as an element that evaluates the value of the state transition based on this. The formula including this is equation (3). Probability for each state transition The state reached after the state transition is determined based on the difference between the states that can be reached after the state transition in terms of the game environment, that is, the advantage of the game player in terms of resources, such as weapons, food, soldiers, and the like, for game performance. The reason for taking into account the favorable difference between the reachable states is that the sum of the probabilities for transitioning from a particular state to the reachable states must be one. Once this probability is established, it is assumed that there is no change in composition for each state, so this probability is fixed without change.
상기 수학식3은 인간 게임자가 게임을 수행할 때 모니터를 통해 게임 환경을 확인하고 그에 따라 액션을 취하는 형태를 모델화한 것으로 볼 수 있다. 즉 인간 게임자는 눈과 귀 등으로 게임 상태의 변화를 감지하고 다음 상태가 자신에게 유리하도록 현재상태에서 최선의 입력을 취하게 되는 모델을 표현한 것이다. 그러나 상기 수학식3은 인간 게임자를 정확하게 모델화하고 있지는 못하다. 인간 게임자는 때로 다음 전이가 가능한 상태들 중 의도적으로 불리한 상태로 전이하기도 한다. 이는 작전상 상대 게임자를 속이기 위한 경우 등에서 나타난다. 물론 궁극적으로는 자신에게 유리한 상태로의 귀결을 기대하며 행하는 액션이다. 수학식2에서 언급한 승산이 높은 게임 상태전이 경로에 관련된 확률은 경로 자체에 가치를 부여한 것으로 해당 상태전이의 장기적 효용가치가 내재되어 있는 것으로 볼 수 있다(이하, 본 확률을 "장기적 효용가치"라 칭한다). 반면에 수학식3의 확률은 상태전이의 단기적 효용가치만을 고려한다(이하, 본 확률을 "단기적 효용가치"라 칭한다). 따라서 단독으로는 전략 및 전술적 후퇴 개념과 같은 게임의 특성을 반영하지 못한다. 때문에 이를 반영할 수 있도록 상기 수식을 수학식4와 같이 확장한다.Equation 3 may be regarded as a model of a form in which a human player checks a game environment through a monitor and takes an action accordingly when a human player performs a game. In other words, the human player expresses a model that senses a change in the state of the game with eyes and ears and takes the best input in the present state so that the next state is advantageous to him. However, Equation 3 does not accurately model the human game player. Human gamers sometimes intentionally transition to one of the next possible transitions. This may be the case, for example, to trick an opposing player. Ultimately, of course, the action is performed in anticipation of returning to a state that favors you. The probability associated with the high multiplier game state transition path mentioned in Equation 2 Is a value that adds value to the path itself and can be seen as inherent in the long-term utility value of the state transition (hereinafter, this probability is referred to as "long-term utility value"). On the other hand, the probability of Equation 3 Considers only the short-term utility value of state transitions (hereinafter, this probability is referred to as "short-term utility value"). Thus alone does not reflect the characteristics of the game, such as the concept of strategy and tactical retreat. Therefore, the expression is extended as shown in Equation 4 to reflect this.
수학식4에서 첨자 n은 현상태에서 몇번의 미래 전이까지 고려할 것인지를 나타낸다. 바람직하게는 종료상태까지의 전이를 고려할 수 있다. 그러나 실제 인간 게임자도 이렇게 하기는 어려우며 현재의 컴퓨팅 파워로 볼 때 복잡한 게임에서 미래의 전이들을 미리 고려하기란 쉽지 않다. 특히 하기에 기술할 클론의 학습에 있어서 파라미터가 많을수록 학습시키기가 어려워진다. 따라서 일반적으로 인공지능에서 n값은 컴퓨터가 처리하는 데 부하가 크지 않은 범위의 값으로 설정한다.The subscript n in Equation 4 represents how many transitions in the present state are considered. Preferably, transition to the end state can be considered. However, it is difficult for real human gamers to do this, and given the current computing power, it is not easy to consider future transitions in complex games. In particular, the more parameters there are in the learning of the clones described below, the more difficult the learning becomes. Therefore, in AI, the value of n is generally set to a value in a range in which a computer does not have a heavy load.
그러나 이렇게 수학식4에서 n값을 작게 설정하여 싸이버클론을 구현하면 인간 게임자인 주인을 올바르게 모델화했다고 보기 어렵다. 인간 게임자는 전략과 전술이라는 관점에서 미래의 상태를 다 고려하지는 않지만 중요한 미래 상태들을 염두에 두고서 게임을 진행시키기 때문이다. 다행히도 싸이버클론의 모델을 그러한 방향으로 확장할 수 있다. 이를 위해 중간 상태 또는 상태들의 그룹 또는 이들의 혼합이라는 개념을 도입한다. 중간 상태란 게임시스템 내 모든 상태들 중 중간중간에서 게임의 상이한 국면들을 대표할 만한 상태들이라 할 수 있다. 이들 중간상태들간의 전이 가능성을 확률로 표현하여 수학식4를 확장하면 수학식5와 같다. 수학식5에서 중간 상태는로부터 도달 가능한 전략적으로 중요한 중간 상태들 중의 하나이다. 상태그룹의 경우도 공식은 수학식5와 유사하고 정의에 있어서 게임시스템내 가능한 모든 상태들을 유사성을 기준으로 분류하여 처리가 용이한 수량의 그룹상태들을 만들어 별도로 상태전이 모델에 포함시키는 것이다. 그리고 이 두가지 방식의 결합 방식은 중간상태 주변의 유사한 상태들을 하나의 그룹상태로 묶어서 처리하는 것이다. 마찬가지로 클론 모델에 적용되는 공식은 수학식5와 같다. 어떤 경우든 이들에 대한 정보 등은 게임시스템 내부에 미리 준비되어 있어야 하고 싸이버클론이 만들어 질 때 제공되어야 한다. 도14는 결합 방식을 표현한 개념도이다.However, it is difficult to correctly model the master who is a human game player when the cyber clone is implemented by setting n to a small value in Equation (4). Human gamers do not consider all future states from the point of view of strategy and tactics, but play games with important future states in mind. Fortunately, the CyberClon model can be extended in that direction. To this end, we introduce the concept of intermediate states or groups of states or a mixture of these. Intermediate states are states that represent different phases of the game in the middle of all states in the game system. Equation 4 is extended by expressing the probability of transition between these intermediate states as probability. Intermediate state in equation (5) Is Is one of the strategically important intermediate states that can be reached. In the case of the state group, the formula is similar to Equation 5, and in the definition, all possible states in the game system are classified based on similarity, so that the group states are easily processed and included in the state transition model. The combined method of these two methods is to group similar states around the intermediate state into one group state. Similarly, the formula applied to the clone model is shown in Equation 5. In any case, information about them should be prepared in advance within the game system and provided when a cyber clone is created. 14 is a conceptual diagram representing a coupling scheme.
수학식5에 새롭게 포함된 파라미터과가 사용되는 시스템에서는 각각 도2a에 도시된 상태평가정보 DB와 중간상태평가정보 DB에 저장되어 나머지 파리미터들과 함께 게임 대리수행 모듈에 의해 적합한 입력을 결정하는 데에 이용된다. 파라미터는 상기 두 DB 중에 한곳에 함께 저장되게 된다.Parameters newly included in Equation 5 and In the system in which is used, the state evaluation information DB and the intermediate state evaluation information DB shown in FIG. 2A are respectively stored and used together with the remaining parameters to determine an appropriate input by the game surrogate performing module. parameter Is stored together in one of the two DBs.
상기 수학식5는 단기적 효용가치에 관해서만 중간상태 개념을 언급하였지만 이를 장기적 효용가치로 대체할 수도 있고 확장할 수도 있다. 단, 장기적 효용가치는 상태전이의 단기적 효용가치에 상관없이 승리를 위해 유리한 상태전이인지에 대한 확률이기 때문에 미래의 상태전이까지 고려하는 것은 큰 의미가 없고 컴퓨터 부하만 가중시킬 수 있다. 오히려 상기 수학식5에 단일 상태전이의 장기적 효용가치만을 포함시키는 것이 바람직해 보인다.Equation (5) mentioned the concept of the intermediate state only with respect to the short-term utility value, but can be replaced or extended by the long-term utility value. However, since the long-term utility value is a probability that it is a favorable state transition for victory regardless of the short-term utility value of the state transition, it is not significant to consider future state transitions and can only add computer load. Rather, the long-term utility value of a single state transition It seems desirable to include only.
또한 수학식5는 최선의 입력을 선택하는 데에 결정적인 기여를 하는 요소들을 확률로 표현하고 이들의 곱으로 공식을 구성하였다. 하지만 구현의 효용성 및 효과성을 고려하여 본 발명의 취지를 벗어나지 않는 범위에서 변형이 가해질 수 있다. 예를 들어, 곱으로 표현하기보다는 각 구성요소의 기여도에 차별을 두어 수학식6에서와 같이 덧셈으로 공식을 구성하는 것도 가능하며 오히려 이러한 방식이 더 바람직할 수도 있다. 수학식6에서 계수는 해당 게임시스템을 구축할 때 여러 차례의 실험을 통해 최적으로 미리 설정할 수도 있고, 클론이 학습을 통해 직접 조정하게 할 수도 있다. 물론 곱셈과 덧셈을 요소별로 달리 적용하는 공식도 가능하다.In addition, Equation 5 expresses probable factors that make a decisive contribution to selecting the best input and constructs a formula by multiplying them. However, modifications may be made without departing from the spirit of the present invention in consideration of the utility and effectiveness of the implementation. For example, it is also possible to construct the formula by addition as shown in Equation 6 by discriminating the contribution of each component rather than expressing it as a product, and this may be more preferable. Coefficient in equation (6) When you build the game system, you can set up optimally through several experiments, or you can have the clones adjust directly through learning. Of course, formulas that apply multiplication and addition differently by element are also possible.
또한, 확률로 표현된 부분을 확률이 아닌 점수(score)와 같은 수치로 표현하는 식의 변형도 가능하다. 특히 단기적 효용가치는 그 상태전이를 통해 얻게 되거나 잃게 되는 유리함을 정량적으로 표시하는 것이 더 바람직할 수도 있다.In addition, it is also possible to modify the equation to express the portion expressed as a probability, such as a score (score) rather than the probability. In particular, it may be more desirable to quantitatively indicate the short-term utility value that is gained or lost through its state transition.
<싸이버클론의 학습방법><How to learn cyber clone>
(학습원리)(Learning principle)
지금까지 주인의 게임성향과 상대게임자를 고려한 다양한 확률 파라미터들이 설정되어 있다는 가정하에서 게임시스템내 싸이버클론이 게임을 수행하는 원리를 기술하였다. 이제부터는 그러한 파라미터들을 획득하는 학습 방법에 대해서 기술한다. 파라미터 획득 과정 즉 학습은 크게 두 가지 형태로 이뤄진다. 주로 초기에 행해지는 방식으로 주인의 게임성향을 파악하는 단계에서의 학습과 게임을 수행하는 과정에서 자율적으로 게임 능력을 습득하는 단계에서의 학습이다.So far, we have described the principle that the cyber clone in the game system performs a game under the assumption that various probability parameters are set in consideration of the owner's game tendency and opponent. The following describes a learning method for obtaining such parameters. The parameter acquisition process, or learning, can be done in two forms. It is mainly learning at the stage of grasping the owner's game tendency in the early stage and learning at game stage autonomously in the process of playing the game.
일반적으로 학습의 근간이 되는 인공지능이란 인간의 두뇌에 대한 모델화를 통해 구현된다고 할 수 있다. 대표적인 모델로는 뉴럴네트웍(Neural Network)을 들수 있는데 인간 두뇌를 가장 유사하게 모델화하고 있다. 인간 두뇌는 뉴런이라는 무수히 많은 뇌세포들간의 연결을 통해 기억과 사고를 행하며 이들의 연결강도를 조절하면서 학습을 수행한다. 칭찬받은 일이나 성공한 일에 대해서는 더 익숙해지도록 해당 뉴런들의 연결 강도가 강화되고 반대로 야단맞거나 실패한 일에 대해서는 반대로 해당 뉴런들의 연결 강도가 약화되는 원리이다. 즉, 지향하는 방향과 관련된 뉴런들 사이의 연결강도는 강화하고 지양하는 방향과 관련된 뉴런들의 연결강도는 약화시켜 나가면서 학습을 수행한다. 뉴럴네트웍의 학습 방식도 이와 같고, 표현 방식은 확률이 내포된 상태전이 모델이다. 본 발명의 싸이버클론의 학습도 이와 유사한 방식으로 구현된다. 본 싸이버클론 시스템에서 학습을 통해 조정대상이 되는 핵심 확률 파라미터는 특정상태에 대한 입력확률과 가능한 전이들에 대한 상태전이확률이다. 특정 상태에서 특정 입력에 대한 확률과 특정 상태전이에 대한 확률이 강화 또는 약화 된다는 의미는 동일 상태에서 나머지 다른 입력 및 상태전이들에 대한 확률들은 반대로 조금씩 약화 또는 조금씩 강화된다는 의미이다.In general, artificial intelligence, which is the basis of learning, can be said to be realized through modeling the human brain. A typical model is Neural Network, which most closely models the human brain. The human brain conducts memory and thinking through the connections between a myriad of brain cells called neurons and learns by adjusting their connection strength. It is a principle that the connection strength of neurons is strengthened to be more accustomed to the praised or successful work, and the connection strength of the neurons is weakened on the contrary to the scolded or failed work. That is, the strength of the connection between the neurons related to the direction is strengthened, and the connection strength of the neurons related to the direction of retreat is weakened, and the learning is performed. The neural network learning method is the same, and the expression method is a state transition model with probability. Learning of the cyber clone of the present invention is implemented in a similar manner. The core probability parameters that can be adjusted through learning in this cyclone system are the input probability for a specific state and the state transition probability for possible transitions. In a particular state, the probability of a certain input and the probability of a specific state transition are enhanced or weakened, meaning that the probability of the other inputs and state transitions in the same state are slightly weakened or strengthened slightly.
(대상별 학습방식)(Learning method by target)
이상 싸이버클론의 학습 원리에 대해 언급하였다. 이제 이러한 원리를 기반으로 싸이버클론이 학습해야 하는 대상과 각 대상별 학습 방식에 대해 설명한다. 설명의 용이성과 명확성을 위해 먼저 싸이버클론을 구성하는 주요 구성요소들을 살펴 볼 필요가 있다. 싸이버클론을 생성할 수 있는 게임시스템은 각 게임자별로 클론을 생성할 수 있는 환경을 제공하여야 한다. 즉 주인학습용, 클론전용, 상대대응용 입력성향 DB들 및 상태전이경향 DB들, 상태평가정보 DB, 중간상태평가정보 DB, 우수상태전이경향 DB, 입력시간정보 DB와 클론초기화 모듈, 게임 대리수행 모듈, 주인성향학습 모듈, 게임능력습득 모듈, 게임상대대응 모듈이 제공되어야 한다. 제공되는 상기 DB들의 형태는 일종의 확률 메트릭스들이다.We have talked about the learning principle of cyber clone. Based on these principles, we will explain what the CyberClone needs to learn and how each learning works. For simplicity and clarity, we first need to look at the major components that make up the cyclone. A game system that can generate cyber clones must provide an environment in which clones can be created for each player. That is, master learning, clone only, and counterpart input propensity DBs and state transition trend DBs, state evaluation information DB, intermediate state evaluation information DB, excellent state transition trend DB, input time information DB, clone initialization module, and game proxy performance. Module, owner-oriented learning module, game ability acquisition module, and game correspondence module should be provided. The type of DBs provided is a kind of probability metrics.
싸이버클론은 주인학습용 입력성향 DB와 주인학습용 상태전이경향 DB가 도2c에 도시된 입력성향 초기 DB와 상태전이경향 초기 DB로 초기화되어 제공되면 기본적인 게임을 수행할 수 있는 게임수행능력을 갖게 되며 우수상태전이경향 DB가 주어지면 더 나은 게임 능력을 갖추게 된다(상기 초기 DB들은 별다른 게임성향을 반영하고 있지 않고 기본적인 게임 수행에 필요한 정도의 확률 분포를 보이는 것이 바람직하다.) 상기에서 언급하였듯이 클론의 지식 DB로서 입력성향 DB와 상태전이경향 DB는 각각 주인학습용, 클론전용, 상대대응용으로 구분된다. 주인학습용을 별도로 두는 이유는 주인으로부터 게임성향을 물려받은 후 게임수행과정에서 갱신된 싸이버클론의 게임성향이 물려받은 게임성향으로부터 어떻게 바뀌었는지 추적하여 역으로 주인을 교육하기 위한 또는 주인의 게임성향으로부터 크게 벗어나지 않기 위한 비교척도로서 활용하기 위해서이다. 또한 클론전용과 상대대응용을 구분하는 이유는 일반적 게임능력과 상대에 따른 게임능력을 별도록 습득 및 이용하기 위해서이다. 즉, 클론전용은 초기에 주인학습용으로 초기화되어 모든 게임상대와 게임을 수행하는 과정에서 습득된 게임수행능력으로 조금씩 내부의 확률 파라미터들이 조정되고, 상대대응용은 상대 게임자 인식 초기에 클론전용 DB들로 초기화되어 해당 상대와 게임을 수행하는 과정에서 습득된 게임수행능력으로 클론학습용의 경우보다 크게적극적으로 내부의 확률 파라미터들이 조정된다. 따라서 실제 싸이버클론이 게임수행에 이용하는 입력성향 DB와 상태전이경향 DB는 상대대응용이며, 매번 상대게임자를 확인하는 초기에 클론전용 DB들의 내용으로 초기화되고 게임을 수행하는 과정에서 갱신되어진다. 결국 주인학습용, 클론전용, 상대대응용 DB들의 데이터 구성 구조는 동일하며 내용값만이 게임수행과정을 통해 달라지게 된다.CyberClone has excellent game performance ability to perform basic game when the main learning input tendency DB and the main learning state transition tendency DB are initialized and provided as the initial tendency DB and the state transition tendency initial DB shown in FIG. 2C. Given the state transition trend DB, better game ability is provided. (It is preferable that the initial DBs do not reflect the different game tendencies and show the probability distribution required for basic game performance.) As mentioned above, the knowledge of the clone As the DB, the propensity DB and the state transition DB are classified into master learning, clone-only, and counterparting, respectively. The reason for the master learning is to keep the game propensity from the master and track how the updated cyber clone's game propensity is changed from the game propensity. This is to be used as a comparative measure not to deviate greatly. In addition, the reason for distinguishing between clone-only and opponent-use is to acquire and use general game ability and game ability according to opponent separately. In other words, clone-only is initially initialized for master learning, and internal probability parameters are adjusted little by little with the game execution ability acquired in the course of performing all game opponents and games. In this case, the probability of the game is acquired in the process of playing the game with the opponent, and the internal probability parameters are adjusted more actively than in the case of clone learning. Therefore, the input propensity DB and the state transition propensity DB used by the actual cyber clones for game performance are counterparts, and are initialized with the contents of the clone-specific DBs at the initial confirmation of the opponent game player and updated during the game execution. As a result, the data structure of the master learning, clone-only, and opponent-adaptive DBs is the same, and only the content is changed through the game execution process.
인간 게임자인 주인의 게임성향을 학습하는 데에는 다음과 같은 세가지 방식을 우선 고려할 수 있다. 이를 도식화한 구성은 도2d에 나타내었고, 구체적인 실시예에 의해서 설명될 것이다. 즉, 주인성향학습 모듈은 1) 설문기반학습으로서 주인과 일문일답식 질의응답 과정을 통해 주인의 게임성향을 학습하는 수단 또는, 2) 직접대련학습으로서 주인과 직접 게임 상대가 되어서(주인과의 대련) 게임을 진행하면서 주인의 게임성향을 학습하는 수단 또는, 3) 주인모니터링으로서 주인의 게임을 모니터링하면서 상기 각 확률값을 획득하는 수단 중 하나를 채택할 수 있다.The following three methods can be considered in learning the game propensity of a master who is a human game player. A configuration illustrating this is shown in FIG. 2D and will be described by specific embodiments. In other words, the master-oriented learning module is 1) a means of learning the owner's game propensity through a question-and-answer question and answer process with the master as a question-based learning, or 2) a direct game partner with the master as a direct peer learning (Dalian with the master). 3) one of means for learning the game propensity of the owner while playing the game, or 3) one of means for acquiring each probability value while monitoring the game of the owner as the host monitoring.
1)의 설문기반학습 수단은 주인의 게임성향을 파악하는 데 적절하게 활용될 수 있는 질문들을 미리 준비하여 이에 대한 응답에 따라 해당하는 확률값들을 설문기반학습 모듈이 조정하게 하는 방식이다. 이는 단시간에 주인의 성향을 파악할 수 있는 장점이 있는 반면에 질문의 질이 아주 중요해진다. 이러한 설문에 의해 주인의 게임성향을 학습하는 수단은 설문기반학습정보 DB로부터 데이터를 제공받아 동작한다. 이 DB는 게임 시스템 개발 당시에 전략과 전술 등의 관점에서 게임자들의성향차가 다양하게 나타나는 상황에서 어떻게 반응할 것인지에 대한 객관식 설문들과 그에 대한 대답에 따라 주인에 성향에 관련된 확률들을 어떻게 조정할 것인지에 대한 정보가 저장되어 있다.The questionnaire-based learning means of 1) prepares questions that can be appropriately used to grasp the owner's game propensity in advance and allows the questionnaire-based learning module to adjust the corresponding probability values according to the responses. This has the advantage of identifying the propensity of the owner in a short time, while the quality of the question becomes very important. The means for learning the game propensity of the owner by this questionnaire operates by receiving data from the questionnaire-based learning information DB. This DB provides multiple-choice questionnaires on how to react in the context of various gamers' inclinations in terms of strategy and tactics, and how to adjust probabilities related to propensity according to their answers. Is stored.
2)의 직접대련학습 수단은 주인의 성향을 파악하기 용이하도록 미리 프로그램된 직접대련학습 모듈로 수행되는 게임 방식으로 주인과 게임을 수행하면서 상기 확률값들을 조정하는 것이다. 이는 게임시스템에서 미리 어떤 상태에서 게임자의 성향차가 많이 발생하는지를 연구하여 이에 맞게 주인에게 공격하거나 방어하도록 프로그램되는 것이 바람직하다. 주인을 상대로 게임을 수행하여 주인의 게임성향을 학습하는 수단은 대련기반학습정보 DB로부터 정보를 제공받아 동작한다. 이 DB는 게임자의 성향차가 다양하게 나타나는 게임 상태들에 관한 정보와 이러한 상태에서 게임자들이 보이는 반응에 따라 주인에 성향에 관련된 확률들을 어떻게 조정할 것인지에 대한 정보가 저장되어 있다.The direct training means of 2) is to adjust the probability values while playing the game with the owner in a game method performed by the direct training module which is pre-programmed so as to easily grasp the propensity of the owner. It is desirable that the game system be programmed to attack or defend the owner according to the state in which the inclination of the gamers occurs a lot in advance. The means of learning the game propensity of the owner by playing the game against the owner operates by receiving information from the Dalian Based Learning Information DB. This DB stores information about game states in which the player's disparity varies, and how to adjust the probabilities related to the propensity to the owner according to the reactions of the players in this state.
3) 주인모니터링 수단은 싸이버클론에게 주인 게임자가 여러 상대들과 게임을 수행하는 모습을 도2d에 도시된 주인모니터링 모듈이 모니터링하게 하여 상기 2)의 수단과 같이 대련기반학습정보 DB로부터 관련 정보를 제공받아 상기 주인학습용 입력성향 DB와 주인학습용 상태전이경향 DB내 값들을 조정하도록 하는 것이다.3) The host monitoring means causes the cyber clone to monitor the host gamer playing the game with various opponents, so that the host monitoring module shown in FIG. 2D monitors the relevant information from the Dalian based learning information DB as in the above method 2). It is to be provided to adjust the values in the master propagation input propensity DB and the master learning state transition trend DB.
이상 세가지 방법은 독립적으로 적용된다기 보다는 서로 보완관계로서 함께 적용되는 것이 바람직할 것이다. 이렇게 하여 주인의 성향이 파악되면 클론은 스스로 주인의 게임성향과 비슷하게 게임을 수행할 수 있는 능력을 갖추게 된다.The above three methods may be applied together as complementary relations to each other, rather than independently. Once the owner's disposition is identified, the clone will have the ability to play the game on its own, similar to the owner's disposition.
<싸이버클론의 재교육><Re-education of Cyber Clones>
본 발명에서는 클론의 게임을 실시간 인터넷 중계를 가능하게 하는 시스템도 제공하지만 게임 완료 후에 게임을 재생할 수 있게 함으로써 주인이 클론의 게임을 재생하여 보면서 클론을 재교육시킬 수도 있다. 예를 들어, 상기 주인의 게임성향 학습 1)의 설문기반학습 모듈을 다시 불러서 자신의 응답을 수정하는 방식으로 클론을 재교육시킬 수도 있다(이 경우 상기 질의기반학습 모듈은 주인학습용 입력성향 DB와 상태전이경향 DB내 확률값들을 재조정하고 이를 클론전용 입력성향 DB와 상태전이경향 DB에 반영한다.)The present invention also provides a system that enables real-time Internet relay of the game of the clone, but the game can be re-educated while the owner plays the game of the clone by allowing the game to be played after completion of the game. For example, the clone may be retrained in a manner of modifying its response by calling back the questionnaire-based learning module of the game propensity learning 1) of the owner (in this case, the query-based learning module may be a master learning input propensity DB and state). Readjust the probability values in the transition trend DB and apply them to the clone-specific input propensity DB and the state transition trend DB.)
그리고 역으로 클론이 반복된 게임을 통해 게임능력을 향상시키면서 주인의 게임성향중 잘못된 것을 주인에게 지적해 줄 수도 있다. 이는 학습을 통해 게임 능력을 습득하면서 획득된 클론전용 DB 내 확률값이 주인으로부터 획득한 주인학습용 DB내 확률값과 상이해졌을 때 이에 관해 미리 지정된 언어를 통해 주인에게 알리는 것이다. 예를 들어, 설문기반확률조정정보 DB내 질의/응답 중 특정 질의/응답을 통해 획득한 확률이 학습을 통해 획득한 확률과 크게 차이가 발생할 때 그 질의에 대한 응답이 잘못 되었음을 지적해 주는 방식이 가능하다. 이렇게 주인을 역으로 가르치는 시스템을 위해서는 초기 주인이 지시해 준 내용을 담고 있는 주인학습용 DB들을 보존해 놓아야 한다. 그렇게 함으로써 내부 값들이 갱신된 클론전용 DB들과의 비교를 통해 주인에게 어떤 문제가 있는지 지적해 줄 수 있기 때문이다.Conversely, the game can be pointed out to the owner of the game's propensity to improve the game ability through repeated games. This is to inform the owner through a predetermined language when the probability value in the clone-only DB acquired while learning game ability through learning differs from the probability value in the master learning DB obtained from the owner. For example, when the probability obtained through a specific question / response among question / answers in the questionnaire-based probability adjustment information DB is significantly different from the probability obtained through learning, a method indicating that the response to the question is wrong. It is possible. For such a system that teaches the owner reversely, the master learning DBs containing the contents indicated by the initial owner should be preserved. By doing so, you can point out what's wrong with the owner by comparing the clones with updated internal values.
<시간요소의 고려><Consideration of time factor>
이상 주인의 게임성향을 습득하고 이를 기반으로 게임을 반복하면서 스스로 성장하는 싸이버클론에 대해 설명하였다. 상기 내용에서는 설명의 단순명확성을 위해서 입력과 상태전이를 위주로만 클론의 게임학습에 대해 설명하였지만 게임자의 게임성향을 학습하는 데에 있어서 빠져서는 안되는 하나가 시간요소이다. 예를 들어 키보드와 마우스를 통한 입력이 빠른 게임자가 있고 반대의 경우도 있다. 이 경우 분명 입력이 빠른 사람이 게임에 유리함은 자명하다. 따라서 이를 상기 상태전이 모델에 적용할 필요가 있다. 하지만 이를 공식에 직접 반영하는 것은 공식이 너무 복잡해지는 문제가 있다. 다행히 공식은 어느 정도 시간을 반영하고 있다고 할 수 있다. 왜냐하면 게임자가 특정 입력을 수행하고 다음 입력을 빠르게 하는 경우와 그렇지 않은 경우에 빠르게 도달한 상태와 그렇지 않은 상태에서의 상태전이의 가능성이 서로 다르게 측정되어질 것이기 때문이다. 여기서는 구체적인 시간 요소를 공식에 반영하기 보다는 상태와 입력에 따른 게임자의 다음 입력을 위한 대기시간을 측정하고 상태별로 이를 반영할 수 있는 데이터 구조를 설치하여 이용하는 방법으로 시간요소를 반영한다(물론 시간요소를 공식화할 수도 있지만 본 발명의 명세를 난해하게 만들기 때문에 여기서는 시간 요소가 구성요소로서 수행하는 역할을 단순한 방법의 실시예로 설명한다.)The above explained the cyber clone that grows itself by acquiring the game propensity of the owner and repeating the game based on this. In the above description, for the sake of simplicity of explanation, the game learning of the clones was mainly focused on the input and the state transition, but one of the essential elements in learning the game propensity of the gamers is the time element. For example, some players have quick keyboard and mouse input, and vice versa. In this case, it is obvious that a person who has a fast input is advantageous to the game. Therefore, it is necessary to apply it to the state transition model. However, reflecting this directly on the formula has a problem that the formula is too complicated. Fortunately, the formula reflects some time. This is because the probability of a state transition in a state where the player makes a certain input and makes the next input fast and when it is not reached quickly and otherwise will be measured differently. Rather than reflecting the specific time factor in the formula, the time factor is reflected by measuring the waiting time for the next input of the player according to the state and input and installing and using a data structure that can reflect this for each state. Can be formulated, but since this makes the specification of the present invention difficult, the role of the time element as an element is described here as an example of a simple method.)
게임자가 입력에 있어 시간적인 지연을 하게 되는 데는 세 가지 타입을 우선 고려할 수 있다. 첫번째 타입은 자동화 모듈이나 상대 게임자의 반응 등에 의해 게임이 특정 상태로 진입할 때까지 의도적으로 입력을 하지 않고 게임자가 기다리는경우이다. 그런데 이 경우는 사실상 상기에서 언급한 공식에 이미 내포되어 있다. 이미 게임시스템의 모델링에 대해 설명하면서 상태전이가 발생하는 단위시간의 경계에 입력이 없더라도 상태전이가 이뤄질 수 있다고 전제하였다. 이러한 전제하에 어떤 조건이 만족된 상태에 이르러서 실제 게임자가 입력을 수행하지 않는 경우에 해당하는 가상입력에 대한 발생할 확률()이 상대적으로 높게 나타나게 되고 클론은 그러한 상태에서 입력이 없는 상태전이를 발생시킬 것이다.There are three types of considerations that a player may make with time delays in input. The first type is a case in which the player waits without input intentionally until the game enters a specific state by the reaction of an automation module or an opponent player. This case, however, is already implicit in the above-mentioned formula. The modeling of the game system has already been described, and it is assumed that even if there is no input at the boundary of the unit time where the state transition occurs, the state transition can be achieved. Under this premise, when a condition is satisfied and the actual player does not perform the input, the probability of occurrence () for the virtual input is relatively high, and the clone generates a state transition without input in such a state. will be.
다음으로 두번째 타입은 게임자가 물리적 및 생리적 조건에 의해 입력 속도에 제한을 받는 경우이다. 이 경우는 상태의 조건에 상관없이 인간 게임자의 불가항력적 입력 속도에 제한을 받는 것이므로 이를 위해서는 별도의 처리 시스템이 필요하다. 예를 들어, 특정 입력을 통해 특정 상태로 진입한 후 입력이 없이 단위 시간마다 상태전이가 자동으로 이뤄지고 난 일정 시간 후까지는 다음 입력을 클론이 수행할 수 없도록 각 상태에 시간 장치를 설치하는 것이다. 즉, 각 상태에서 상태를 설명하는 다양한 자료구조들 중 하나로 대기시간 변수와 같은 시간장치를 설정한다. 이 변수값은 초기에 모두 "0"의 값을 갖도록 되고, 특정 상태에서 입력발생으로 전이되어 도달한 상태에서의 상기 변수값이 전이전 상태와 입력에 따라 학습된 주인의 입력 대기 시간에서 1 단위 시간을 뺀 나머지로 재설정된다. 이후 입력없이 상태전이가 발생할 때 1 단위 시간을 줄인 시간을 다음 상태내 상기 변수값으로 설정한다. 클론은 어떠한 상태에서도 상기 변수값이 0보다 크면 입력을 수행하지 않고 대기하도록 강제된다. 이는 게임상황의 조건과 무관하게 인간의 불가항력적인 면을 반영하는 것이므로 공식에 반영하기 보다는 이와 같은 단순한 프로세싱으로 처리하는 것이 바람직하다. 물론 게임의 반복과 컴퓨터 사용의 반복을 통해 인간은 입력 속도에 개선을 할 수 있기 때문에 이를 클론에도 반영할 필요는 있다. 이는 게임 수행 횟수와 기간을 토대로 학습되었던 입력 대기 시간을 조금씩 일정량까지만 줄여 나가는 식으로 하면 된다.The second type is when the player is limited in input speed by physical and physiological conditions. In this case, since it is limited by the force majeure input speed of the human player regardless of the conditions of the state, a separate processing system is required for this. For example, after entering a specific state through a certain input, the state transition is automatically performed every unit time without input, and a time device is installed in each state so that the clone cannot perform the next input until a certain time. That is, in each state, one of the various data structures describing the state sets a time mechanism, such as a latency variable. These variable values are all initially set to "0", and in the state where the variable value is reached by transitioning to the input generation in a specific state, the unit value is 1 unit in the transition state and the input waiting time of the master learned according to the input. Reset to minus time Then, when state transition occurs without input, the time reduced by one unit time is set as the variable value in the next state. The clone is forced to wait without performing input if the variable value is greater than zero under any condition. Since this reflects the force majeure of human beings regardless of the conditions of the game situation, it is preferable to process such simple processing rather than reflecting in the formula. Of course, because of the repetition of the game and the repetition of computer use, humans can improve the speed of input, so it is necessary to reflect this in the clone. This can be done by reducing the input wait time that has been learned based on the number and duration of the game by a small amount.
마지막으로 세번째 타입은 게임 도중 잠깐 쉬려고 입력을 지연하는 경우이다. 이 경우는 사실상 클론 게임시스템에 포함시키는 것이 쉽지 않다. 왜냐하면 어떤 상태에서 게임자가 잠깐 쉬기를 원할지 너무나 불확실하기 때문이다. 다만 상태들을 큰 그룹단위로 묶어서 어떤 그룹 상태에서 주인 게임자가 쉬는 경향이 있는지 학습하는 것은 가능할 것이다. 또한 판도가 게임자 자신에게 상당히 유리한 상태에서 쉴 가능성이 높다는 점에 근거하여 그러한 상태를 시발점으로 해서 가상입력발생 확률이 근접한 여러 상태전이 경로에 걸쳐서 아주 높게 계속 나타나는지를 탐지하여 클론이 그 시점에 쉬는 이벤트를 취할 수 있을 것이다. 이 경우에 대한 클론 게임시스템에서의 처리 방식은 상태전이가 상기 그룹상태에 진입한 경우 쉬는 이벤트를 발생하고 이 그룹상태에서 빠져 나올 때 다시 입력을 수행해 나가도록 하거나, 상태전이들에 따라 도달한 상태들에서 유리한 정도가 크게 악화되는 시점에서 다시 입력을 수행해 나가도록 한다. 물론 이 경우도 주인의 쉬는 시간의 길이에 대한 학습을 통해 획득한 쉬는 시간 길이를 넘지 않는 범위에서 입력 중단을 할 수 있도록 한다.Finally, the third type is the case of delaying the input to take a short break during the game. In this case, it is not easy to actually include it in the clone game system. Because it's too uncertain what state the player wants to take a break from. However, it may be possible to group states into large groups to learn in which group states the host player tends to rest. Also, based on the fact that the dominant is likely to rest in a player's own favor, the clone can be rested at that point by detecting if the state continues to be very high across multiple state transition paths where the probability of virtual input is close. You will be able to take events. The processing method in the clone game system for this case is to generate a rest event when the state transition enters the group state and to perform input again when exiting the group state or to reach the state transition according to the state transitions. In the case of an advantage in the field, the input is performed again when the degree of deterioration is greatly deteriorated. Of course, in this case as well, the learning of the length of the owner's rest time allows the input to be interrupted within the range not exceeding the acquired length of the rest time.
이상의 내용에 관련된 정보가 도2b에 도시된 입력시간정보 DB에 저장되고 게임 대리수행 모듈내 종속 모듈인 입력시간결정 모듈에서 이용되게 된다.Information related to the above is stored in the input time information DB shown in FIG. 2B and used in the input time determination module, which is a subordinate module in the game proxy execution module.
<게임성향차가 적은 영역에서의 게임자동수행><Game automatic performance in the area where game disparity difference is small>
지금까지 입력, 상태전이, 시간요소 들을 고려하여 싸이버클론의 게임에 관해 기술하였다. 컴퓨터의 프로세싱 파워를 고려하여 필요한 경우 해당 공식을 단순화하는 방법도 기술하였다. 하지만 여전히 시작상태에서 종료상태로 이어지는 전과정을 다루는 것에서는 모두 마찬가지이다. 그러나 복잡한 게임의 경우에는 더 구현의 용이성을 추구할 필요가 있을 수 있다. 이를 위해 소수의 국부적 상태 집단에서의 상태전이만을 고려하는 방법도 제시할 필요가 있다.So far, we have described the game of Cyclone considering input, state transition, and time factors. We also described how to simplify the formula if necessary, taking into account the processing power of the computer. But the same is true for the whole process from start to finish. However, in the case of complex games, it may be necessary to seek further ease of implementation. To this end, it is also necessary to present a method that considers only state transitions in a small number of local state groups.
일반적으로 대부분의 게임자들의 게임 과정을 지켜보면 모두 비슷하게 액션을 취하는 상태들의 전이영역이 있고 서로 게임성향에 따라 상이한 액션을 취하여 상태들의 전이가 각양 각색으로 나타나는 영역이 있다. 이 경우 비슷한 액션을 취하는 영역에서는 설혹 서로 다른 액션들이 취해져도 게임의 승패에 별다른 영향을 미치지 못하거나 모든 게임자들에게 이 영역에서는 일정한 입력패턴이 나타나는 특징이 있다. 따라서 클론의 경우도 주인의 게임성향을 게임의 전과정에서 습득하기보다는 게임성향이 구별되는 영역 위주로 습득하여도 전과정에서 습득하는 경우와 마찬가지의 효과를 얻을 수 있다(물론 시간에 관련된 요소는 여전히 모든 경우에 적용되어야 할 것이다.) 이 경우 비슷한 액션을 취하는 영역에서는 클론이 자동으로 게임을 수행하게 되고 이를 위해서는 게임시스템으로부터 이미 그러한 제반 환경이 제공된다. 도2b에 도시된 게임자동수행 모듈이 이러한 역할을 담당한다.In general, when watching the game process of most gamers, there is a transition area of states that all take similar actions, and there is an area where transitions of states are varied by taking different actions according to game tendencies of each other. In this case, even if different actions are taken in the area where similar actions are taken, they do not affect game win or lose, or all gamers have a certain input pattern in this area. Therefore, in the case of clones, the master's game propensity is acquired in the whole process of the game rather than the game propensity in the whole process of the game, and the same effect as in the whole process can be obtained. In this case, the clone will automatically play the game in areas where similar actions are taken, which will already provide such an environment from the game system. The automatic game execution module shown in Fig. 2b plays this role.
상기와 같이 부분 영역들에서만 주인 성향을 학습하여 이에 따라 게임을 진행하는 클론의 경우라 하더라도 시작과 종료상태를 설정할 수 있으며 따라서 상기에 기술한 공식을 마찬가지로 적용할 수 있다. 게임 과정을 통한 학습도 부분 영역에서의 승패와 유사한 판단을 내릴 수 있는 부분 영역내 종료상태를 설정해 놓으면 이에 근거하여 확률 파라미터값들을 조정함으로서 가능해진다. 단지 부분 영역별로 확률 파라미터값의 조정 방식에 있어서는 다소 차이가 있을 수는 있다. 왜냐하면 모든 부분 영역의 종료 상태가 게임의 최종 승패를 결정하는 데에 미치는 영향이 동일하지는 않을 것이기 때문이다.Even in the case of a clone that learns the owner's propensity only in the partial regions as described above and proceeds the game accordingly, the start and end states can be set, and thus the above-described formula can be applied as well. Learning through the game process is also possible by adjusting the probability parameter values based on the termination state in the partial region, which can make a decision similar to the win / loss in the partial region. There may be a slight difference in the method of adjusting the probability parameter value for each partial region. Because the effect of the exit status of all partial areas on determining the final win or loss of the game will not be the same.
<정리><Cleanup>
이상과 같이 본 발명의 클론 게임시스템에 대한 모델은 그 필요에 따라 다양하게 정립될 수 있다. 하지만 기본적으로 상태전이와 입력 발생에 확률 파라미터가 존재하며 이에 따라 클론의 게임 수행 방식이 결정되고 파라미터 조정을 통해 학습해 나가는 것은 모두 일치한다. 예를 들어, 도17에서와 같이 시간 요소와 입력을 크게 구분해보는 변형된 모델을 고려해 보자. 도17에는 그룹상태라는 개념이 다시 나타나고 있다. 하지만 이전까지에서 그룹상태 개념은 현재상태에 대한 주인 게임자의 성향에 맞는 최적입력을 찾는 공식에서 주로 부분상태들의 그룹으로 묘사되었다. 그러나 여기서는 일반적으로 상태전이는 입력에 기반하여 발생한다는 관점에서 그룹상태를 게임자의 입력과 입력 사이에서 발생하는 자동발생적 상태전이들의 묶음으로 본다. 이렇게 하면 그룹상태들 끼리의 전이는 입력을 전제로 발생하게 된다. 하지만 그룹상태는 상태들의 묶음이면서 게임시스템내 매시간 내부에 발생하는상태전이에 따라 도달한 내부상태가 그 시점의 그룹상태로 귀결된다. 즉, 그룹상태는 동적으로 그룹상태를 구성하는 필드값들이 변하는 특성을 가지고 있다고 할 수 있다. 그리고 그룹상태에 대한 게임자의 입력은 게임자의 입력시간 지연성향에 따라 시간 경과가 완료되었을 때 또는 상대게임자의 특정 입력에 따라 상태가 급변하였을 때 이뤄지는 것으로 두 경우 다 매번 다양한 상태가 그룹 상태를 대변하게 된다. 결국 변형 모델에서 입력이 발생할 시점에서의 그룹 상태는 지금까지 언급해온 변형전 모델의 일반적인 상태의 입력발생의 경우와 마찬가지로써 지금까지의 명세와 크게 다르지 않음을 알 수 있다.As described above, the model for the clone game system of the present invention may be variously established according to its needs. But basically, there are probability parameters in state transitions and input occurrences, which determine how the clones play the game and learn how to adjust the parameters. For example, consider a modified model that distinguishes time elements and inputs as shown in FIG. 17 again shows the concept of group state. Previously, however, the group state concept has been described primarily as a group of substates in the formula for finding the best input for the host gamers' propensity for the current state. However, in this context, in general, state transitions are based on inputs. In this regard, group states are regarded as bundles of autogenous state transitions that occur between the player's inputs and inputs. This allows transitions between group states to occur on the premise of an input. However, the group state is a bundle of states, and the internal state reached according to the state transition occurring within each hour in the game system results in the group state at that time. That is, the group state can be said to have the characteristic that the field values constituting the group state dynamically change. In addition, the player's input to the group state occurs when the time elapses due to the delay of the input time of the player or when the state changes suddenly according to the specific input of the opponent's game. do. As a result, it can be seen that the group state at the time of input generation in the deformation model is not very different from the specification so far as in the case of the input generation of the general state of the predeformation model mentioned above.
이상 클론의 게임 진행 방법, 주인의 게임성향 학습 방법, 클론 스스로 성장하는 방법, 상대 게임자에 개별적으로 게임을 진행하는 방법에 대해서 기술하였다. 지금까지 제시된 공식들은 발명을 구현하는 일례이며 동일한 취지하에 다양한 변형이 가능함은 물론이다.The above describes how to proceed with the game of the clone, how to learn the game propensity of the owner, how to grow the clone itself, and how to play the game individually to the opponent. The formulas presented so far are examples of implementing the invention and, of course, various modifications are possible under the same spirit.
이상의 명세는 모든 게임의 진행을 상태의 전이로 표현하고 불확실성이 존재하는 부분에 확률을 도입하였다. 하지만 인공지능 이론에서는 동일한 성격의 문제를 표현하는 방식에 있어서 규칙과 확률로 표현하는 방식도 존재한다. 규칙을 적용할 때 확률을 근거하여 적용하고 가치있는 규칙을 학습을 통해서 선택한다. 하지만 표현만 다를 뿐 기본적으로는 상기 상태전이 모델과 유사하거나 같다. 따라서 본 발명은 상기의 내용에 있어서 표현 방식이 다양하게 변형될 수 있음은 물론이다.The above specification describes the progress of every game as a transition of states and introduces probabilities where there is uncertainty. However, in AI theory, there are also ways of expressing problems with the same personality with rules and probabilities. When applying rules, apply them based on probabilities and select valuable rules through learning. However, only the expressions differ, but are basically similar to or the same as the state transition model. Therefore, of course, the present invention may be modified in various ways in the above description.
<실시예의 구성 및 작용><Configuration and operation of the embodiment>
본 발명은 컴퓨터 게임에서 게임자의 입력 성향에 관한 확률정보와 입력 등에 의해 야기되는 게임상태의 전이(轉移) 경향에 관한 확률정보의 DB(데이터베이스)에 입각한 게임수행 모듈에 의해 수행되는 게임시스템으로서, 도2a와 같이 구현될 수 있다. 즉, 게임엔진(10), 클론엔진(20), 클론의 지식 DB(30)로 구성될 수 있다.The present invention is a game system performed by a game performance module based on a DB (database) of probability information about a player's input tendency in a computer game and a probability information about a transition state of a game state caused by the input. It may be implemented as shown in FIG. 2A. That is, the game engine 10, the clone engine 20, can be composed of a knowledge database 30 of the clone.
게임엔진(10)은 클론엔진(20)으로부터 입력정보를 받으며 클론엔진(20)에 상태정보를 전송해주는 역할을 하는 것으로서, 게임의 상태를 제어하는 게임상태제어 모듈(11), 게임자동진행 모듈(12), 게임자 인터페이스(13) 등 게임별 특성에 맞추어 게임엔진이 일반적으로 갖추어야 하는 구성 모듈들과, 클론엔진(20)과의 인터페이스를 관리하는 클론인터페이스 모듈(14)로 구성된다(게임엔진에 대해서는 당업자들에게 충분히 알려져 있는바, 본 명세서에서는 게임엔진 자체에 대해서는 구체적인 언급을 피함).The game engine 10 receives input information from the clone engine 20 and transmits the state information to the clone engine 20. The game state control module 11 and the game automatic progress module that control the state of the game (12), the game module interface 13 is composed of the constituent modules that the game engine should generally have in accordance with the characteristics of each game, and the clone interface module 14 for managing the interface with the clone engine 20 (game The engine is well known to those skilled in the art, and the specification of the game engine itself is omitted herein.
클론엔진(20)은 싸이버클론이 이용할 각종 정보 DB들의 초기값을 설정하는 클론초기화 모듈(21); 주인을 대신하여 게임을 대리 수행하는 게임 대리수행 모듈(22); 주인의 게임성향을 학습하는 주인성향학습 모듈(23); 반복된 게임과정에서 게임능력을 스스로 습득하는 게임능력습득 모듈(24); 게임상대별로 다르게 게임을 수행하도록 해주는 게임상대대응 모듈(25)로 구성되며, 게임엔진(10)으로부터 상황별 게임상태에 대한 정보를 전송받고 게임엔진(10)에 각종 입력정보를 제공한다. 클론엔진(20)은 도2a에 도시된 클론의 지식 DB(30)들로부터 정보를 조회하여 게임을 수행하며, 학습된 내용으로 상기 DB들 중 관련 DB의 내용을 갱신한다.The clone engine 20 includes a clone initialization module 21 for setting initial values of various information DBs to be used by the cyber clone; A game proxy performing module 22 for performing a game on behalf of the owner; Master propensity learning module 23 for learning the game propensity of the master; A game ability acquisition module 24 for acquiring game capability by itself in a repeated game process; Consists of a game correspondence module 25 to perform a game differently for each game opponent, and receives information about the game status for each situation from the game engine 10 and provides various input information to the game engine (10). The clone engine 20 inquires information from the knowledge DBs 30 of the clones shown in FIG. 2A to play the game, and updates the contents of the relevant DB among the DBs with the learned contents.
클론의 지식 DB(30)는 주인 게임자의 게임상황별 입력 경향에 대한 확률 정보로 구성된 입력성향 DB(31); 게임상황의 변화 경향에 대한 확률정보로 구성된 상태전이경향 DB(32); 각 게임 상황에서의 자원 등의 게임 환경의 유리한 정도를 평가해 놓은 정보들로 구성된 상태평가정보 DB(33); 게임 과정에서 국면 변화가 큰 상태들을 대표하는 중간상태에서의 게임의 유리한 정도를 평가해 놓은 정보들로 구성된 중간상태평가정보 DB(34); 게임 상황별로 바람직한 상황변화에 대한 지침이 되는 정보로 구성된 우수상태전이경향 DB(35); 주인 게임자의 입력속도나 입력시간 등에 관한 정보로 구성된 입력시간정보 DB(36)로 구성된다.The clone knowledge DB 30 includes: an input propensity DB 31 composed of probability information on input tendencies for each game situation of a master game player; A state transition trend DB 32 composed of probability information on a change tendency of the game situation; State evaluation information DB 33 composed of information for evaluating an advantageous degree of a game environment such as resources in each game situation; An intermediate state evaluation information DB 34 composed of information for evaluating the advantageous degree of the game in the intermediate state representing the states where the phase change is large in the game process; Superior state transition trend DB (35) consisting of information to guide the change of the desired situation for each game situation; It consists of an input time information DB 36 composed of information on an input speed, an input time, etc. of the host game player.
본 발명의 핵심은 싸이버클론의 게임수행과정과 싸이버클론의 학습과정에 있다. 그리고 이들 과정들과 관련된 게임시스템은 보다 세부적인 요소들로 구성된다.The core of the present invention lies in the game performance process of the cyber clone and the process of learning the cyber clone. And the game system associated with these processes is composed of more detailed elements.
도2b는 싸이버클론의 게임수행 과정의 세부 구성도를 나타낸다. 상기에서 주인을 대신하여 게임을 수행하는 게임 대리수행 모듈은(22), 클론의 지식 DB(30)들에서 정보를 조회하여 게임상황별로 적합한 입력을 결정하는 입력내용결정 모듈(221); 주인의 입력시간에 대한 경향 정보를 조회하여 입력시간을 결정하는 입력시간결정 모듈(222); 게임자들에게 게임성향차가 거의 나타나지 않는 등의 이유로 주인의 게임성향정보가 조회되지 않는 게임상황에서 입력을 자동으로 결정하는 게임자동수행 모듈(223)과 같은 세부 모듈로 구성된다.Figure 2b shows a detailed configuration of the game execution process of the cyber clone. The game agent performing module for performing a game on behalf of the owner in the above 22, the input content determination module 221 to determine the appropriate input for each game situation by querying the information from the knowledge database 30 of the clone; An input time determining module 222 for determining an input time by querying trend information on the input time of the owner; It is composed of a detailed module such as a game automatic performance module 223 which automatically determines an input in a game situation in which the game propensity information of the owner is not inquired because the game propensity difference is hardly shown to the players.
그리고 상대대응용 입력성향 DB(313)와 상대대응용 상태전이경향 DB(323)는 게임수행과정에서 조회되는 도2a에 나타난 입력성향 DB(31)와 상태전이경향 DB(32)의부속 DB들로서 원칙적으로 게임상대별로 각각 하나씩 설정되며 게임상대에 따라 다르게 게임을 수행할 수 있도록 하는 정보들로 구성된다. 이에 대해서는 하기 싸이버클론의 학습과정에서 다시 언급한다.The opponent correspondence input tendency DB 313 and the opponent correspondence state transition tendency DB 323 are appended DBs of the input tendency DB 31 and the state transition tendency DB 32 shown in FIG. In principle, each game partner is set up one by one and consists of information that enables the game to be played differently depending on the game partner. This is mentioned again in the learning process of the following cyber clones.
도2b와 같이 구성되는 게임 대리수행 모듈(22)의 동작을 도3a의 플로우챠트를 통해 설명한다. 먼저, 클론엔진(20)의 게임 대리수행 모듈(22)은 게임엔진(10)으로부터 상태정보를 입수하여[1001], 이 상태에 대하여 가능한 입력 및 상태전이들에 대한 확률정보를 클론의 지식 DB(30)로부터 조회한다[1003]. 이때, 조회가 가능하지 않은 경우(가령, 게임자들에게 게임성향차가 거의 나타나지 않는 등의 경우)에는 게임자동수행 모듈(223)에 의해 자동으로 입력을 결정한다[1005]. 반면에 조회가 가능한 경우에는 입력내용결정 모듈(221)로 하여금 조회된 정보들을 입력결정 공식에 적용하여 상기 상태에 적합한(즉, 게임상황별로 적합한) 입력을 결정하도록 한다[1007]. 이렇게 하여 입력이 결정되면, 이 입력정보를 게임엔진(10)에 제공하고[1009], 게임엔진(10)으로부터 다음 상태의 상태정보를 입수한다[1011]. 입수된 상태가 최종상태라면 게임 대리수행 모듈(22)의 동작은 종료되며[1013], 최종상태가 아니라면 다시 단계 1003으로 돌아가 동일한 과정을 반복한다[1015].The operation of the game proxy execution module 22 configured as shown in FIG. 2B will be described with reference to the flowchart of FIG. 3A. First, the game proxy execution module 22 of the clone engine 20 obtains state information from the game engine 10 [1001], and displays the probability information on possible inputs and state transitions for this state. Inquiry is made from (30) [1003]. At this time, if the inquiry is not possible (for example, the game tendency difference is hardly shown to the players), the automatic determination is made by the automatic game execution module 223 [1005]. On the other hand, if the inquiry is possible, the input content determination module 221 applies the inquired information to the input determination formula to determine an input suitable for the state (that is, suitable for each game situation) [1007]. When the input is determined in this way, the input information is provided to the game engine 10 [1009], and state information of the next state is obtained from the game engine 10 [1011]. If the obtained state is the final state, the operation of the game proxy execution module 22 is terminated [1013]. If not, the process returns to step 1003 and repeats the same process [1015].
도2c는 클론엔진(20)에서의 싸이버클론이 학습하는 것을 나타내는 구성도이다. 여기서, 입력성향 DB(31)와 상태전이경향 DB(32)는 그 부속 DB들을 갖고 있는데, 각각, 주인의 게임성향을 학습한 과정에서 획득된 정보로 구성된 주인학습용 입력성향 DB(311)와 주인학습용 상태전이경향 DB(321); 싸이버클론 스스로 반복된 게임을 통해 게임능력을 습득하는 과정에서 획득된 정보로 구성된 클론전용 입력성향 DB(312)와 클론전용 상태전이경향 DB(322); 게임상대별로 게임수행능력을 습득하는 과정에서 획득된 정보로 구성된 위에서 언급한 상대대응용 입력성향 DB(313)와 상대대응용 상태전이경향 DB(323)로 구성된다.2C is a block diagram showing that the cyber clone in the clone engine 20 learns. Here, the input propensity DB 31 and the state transition propensity DB 32 have their associated DBs, respectively, the master learning input propensity DB 311 and the owner, which are composed of information acquired in the process of learning the owner's game propensity. Learning state transition trend DB 321; A clone-only input propensity DB 312 and a clone-only state transition trend DB 322 composed of information obtained in the process of acquiring game ability through repeated games of the cyber clone; It consists of the above-mentioned opponent application input propensity DB (313) composed of the information obtained in the process of acquiring the game performance ability for each game opponent and the opponent correspondence state transition trend DB (323).
도2c의 하단에 존재하는 입력성향 기초 DB(41)와 상태전이경향 기초 DB(42)는 게임시스템의 개발과정에서 게임자별 게임성향과 무관하게 초보적 수준으로 게임을 수행할 수 있는 정보를 저장한 DB들로서 클론초기화모듈(21)에 의해 각각 주인학습용 입력성향 DB(311)와 주인학습용 상태전이경향 DB(321)에 복사된다(도2e 참조).The input tendency base DB 41 and the state transition tendency base DB 42 existing at the bottom of FIG. 2C store information capable of playing a game at an elementary level regardless of the game tendency of each player during a game system development process. The clones are copied to the master learning input tendency DB 311 and the master learning state transition tendency DB 321 by the clone initialization module 21 as DBs (see FIG. 2E).
도2e는 본 발명에 사용된 학습용 정보 DB의 설정 및 갱신 과정을 나타내는 개요도이다. 각 주인학습용 DB들(311, 321)은 주인의 게임성향을 반영하는 정보 DB로서, 클론초기화 모듈(21)에 의해 기초 DB들(41, 42)의 내용으로 각각 초기화된 후 주인성향학습 모듈(23)에 의해 학습과정에서 그 내용이 갱신된다. 그리고 클론전용 DB(312, 322)들은 싸이버클론 고유의 게임능력을 반영하는 정보 DB로서 게임 대리수행 모듈(22)에 의해 주인학습용 DB(311, 321)내 정보들로 초기화되고 게임능력습득 모듈(24)에 의해 갱신된다. 또한 상대대응용 DB들(313, 323)은 실제 게임상대와 대전시에 게임상대별로 적합하게 게임을 수행할 수 있는 능력을 반영하는 정보 DB로서 게임상대대응 모듈(25)에 의해 클론전용 DB들(312, 322)의 내용으로 각각 초기화되고 게임능력습득 모듈(24)에 의해 갱신된다. 클론전용 DB들(312, 322)과 상대대응용 DB들(313, 323) 간의 구별점은 전자는 싸이버 클론의 고유의 게임능력을 DB화한 것으로 모든 게임상대에게 적용될 수 있는 게임능력을 정보화한 DB이고 후자는 초기내용은 클론전용 DB내용과 같지만 게임상대와 대련중에 게임상대에 맞추어 게임능력이 학습되어 저장되는 DB이다. 결국 싸이버클론이 게임수행중에 조회하는 DB는 상대대응용 DB들(313, 323)이다.Figure 2e is a schematic diagram showing the process of setting up and updating the learning information DB used in the present invention. Each of the master learning DBs 311 and 321 is an information DB reflecting the owner's game tendency, and is initialized by the clone initialization module 21 with the contents of the basic DBs 41 and 42, respectively. Is updated in the learning process. And the clone-only DB (312, 322) is an information DB reflecting the unique game ability of the cyber clone is initialized with the information in the master learning DB (311, 321) by the game proxy performance module 22 and the game ability acquisition module ( Is updated by 24). In addition, the opponent correspondence DBs (313, 323) is an information DB reflecting the ability to perform the game appropriately for each game opponent at the time of the actual game opponent and the clone-specific DB (by the game opponent correspondence module 25) ( The contents of 312 and 322 are initialized and updated by the game ability acquisition module 24, respectively. The distinction between clone-only DBs 312 and 322 and counterpart DBs 313 and 323 is that the former is a database of intrinsic game ability of the cyber clone, and it is a database in which the game ability can be applied to all game partners. In the latter, the initial contents are the same as the clone-only DB contents, but the game ability is learned and stored in accordance with the game opponent during the game opponent and Dalian. As a result, the DBs that the cyber clones inquire while playing games are the counterpart DBs 313 and 323.
한편 주인성향을 학습하는 과정에는 부가적인 구성요소가 더 존재한다. 도2d는 주인성향학습 모듈(22)이 주인의 게임성향을 학습하는 과정의 세부구성도를 나타내고 있다. 도2d에 나타난 바와 같이 주인성향학습 모듈(22)은, 게임 설계시 주인의 게임 성향을 파악하기 위하여 미리 제작된 설문을 통해 주인의 게임성향을 파악하는 설문기반학습 모듈(22a); 또는 주인과 직접 대련하는 과정에서 게임자별로 상이한 성향을 보이는 게임상황에서의 주인의 반응을 획득함으로써 주인의 게임성향을 파악하는 직접대련학습 모듈(22b); 또는 주인이 다른 게임자들과 게임을 하는 과정을 모니터링하면서 주인의 게임성향을 파악하는 주인모니터링 모듈(22c)들로 구현되며 이들 부속 모듈들은 주인성향 학습에 상호 보완적으로 적용된다.On the other hand, there are additional components in the process of learning ownership. Figure 2d shows a detailed configuration of the process of the master propensity learning module 22 to learn the game propensity of the master. As shown in FIG. 2D, the owner propensity learning module 22 includes a questionnaire based learning module 22a for identifying a game propensity of the owner through a pre-produced questionnaire to grasp the owner's game propensity when designing a game; Or a direct-learning module 22b which grasps the owner's game propensity by acquiring the owner's response in a game situation showing different propensities for each player in the process of directly engaging with the owner; Alternatively, the owner monitors the process of playing the game with other gamers, and is implemented as host monitoring modules 22c which grasp the owner's game propensity, and these submodules are complementarily applied to the master propensity learning.
그리고 설문기반학습정보 DB(43)는 설문기반학습 모듈(22a)이 조회하는 DB로서, 게임자의 성향을 파악하기 용이하도록 작성된 설문들과 설문에 대한 응답에 따라 게임 성향을 규정하는 데 필요한 정보들로 구성되어 있다. 대련기반학습정보 DB(44)는 직접대련학습 모듈(22b)과 주인모니터링 모듈(22c)에 의해 조회되는 DB로서, 게임자의 성향이 파악되어야 할 게임 상황에 대한 정보와 그 상황에서 게임자의 반응에 따라 게임 성향을 규정하는 데 필요한 정보로 구성되어 있다. 상기 주인성향학습모듈(22)은 상기 DB들(43, 44)을 참조하여 주인의 게임성향을 파악하고 이를 주인학습용 입력성향 DB(311) 및 주인학습용 상태전이경향 DB(321)에 반영한다.The questionnaire-based learning information DB 43 is a DB that the questionnaire-based learning module 22a inquires about, and information necessary to define the game propensity according to the surveys and the responses to the questionnaire prepared to easily grasp the inclination of the gamers. Consists of The Dalian-based learning information DB 44 is a DB that is inquired by the direct Dalian learning module 22b and the master monitoring module 22c. Therefore, it consists of information necessary to define the game propensity. The master tendency learning module 22 grasps the owner's game tendency with reference to the DBs 43 and 44 and reflects it in the master tendency input tendency DB 311 and the master learning state transition tendency DB 321.
도2d와 같이 구성되는 주인성향학습 모듈(22)의 동작을 도3b 및 도3c의 플로우챠트를 참조하여 정리하면 다음과 같다. 먼저 설문기반학습, 직접대련학습, 주인모니터링에 의한 학습 등의 방식들 중에서 주어진 시점에 어느 방식을 주인성향학습에 적용할 것인지를 결정하기 위하여 학습방식을 선택한다[1101]. 설문기반학습 방식 또는 직접대련 학습 방식이 선택된 경우의 알고리즘은 도3b에 도시되어 있고, 주인모니터링 방식이 선택된 경우의 알고리즘은 도3c에 도시되어 있다. 상기 알고리즘들은 각각 설문기반학습 모듈(22a), 직접대련학습 모듈(22b), 주인모니터링 모듈(22c)에 의해 실행된다.The operation of the owner-oriented learning module 22 configured as shown in FIG. 2D will be described below with reference to the flowcharts of FIGS. 3B and 3C. First, among the methods such as question-based learning, direct peer learning, and master monitoring, a learning method is selected to determine which method to apply to master-oriented learning at a given time point [1101]. The algorithm when the question-based learning method or the direct peer learning method is selected is shown in FIG. 3B, and the algorithm when the master monitoring method is selected is shown in FIG. 3C. The algorithms are executed by the questionnaire-based learning module 22a, the direct peer learning module 22b, and the host monitoring module 22c, respectively.
1) 설문기반학습 방식이 적용된 경우에는 설문기반학습정보 DB(43)로부터 설문 및 확률조정 정보를 조회한다[1103]. 모든 설문이 다 처리되어 조회가 가능하지 않으면 절차가 종료되고[1111], 조회가 가능하다면 상기 설문을 주인게임자에게 제시하고 이에 대한 주인의 응답을 입력받는다[1105]. 그리하여 주인학습용 DB(311, 321) 내의 해당 확률값을 조정하고[1107], 다음 설문과 확률조정 정보를 조회하는 과정을 되풀이한다[1109].1) When the questionnaire-based learning method is applied, the questionnaire and probability adjustment information is inquired from the questionnaire-based learning information DB 43 [1103]. If all the questionnaires have been processed and the inquiry is not possible, the procedure is terminated. [1111] If the inquiry is possible, the questionnaire is presented to the master game player and the owner's response is received [1105]. Thus, the process of adjusting the corresponding probability value in the master learning DB (311, 321) [1107] and retrieving the next questionnaire and the probability adjustment information [1109].
2) 한편, 단계 1101에서 직접대련학습 방식이 적용된 것으로 체크된 경우에는, 게임엔진(10)을 가동하여[1113], 게임엔진(10)으로부터 상태정보를 입수한다[1115]. 입수된 상태에 대하여 가능한 입력정보 및 입력별 주인의 반응에 따른 확률조정정보를 대련기반 학습정보 DB(44)로부터 조회한다[1117]. 조회정보로부터 상기 상태에 적합한 입력을 결정하여 이 입력정보를 게임엔진(10)에제공하고[1119], 주인의 입력정보를 입수한다[1121]. 다음에 게임엔진(10)으로부터 다음 상태의 정보를 입수하여[1123], 전이상태와 주인의 입력 및 그에 따른 상기 확률조정 정보를 기반으로 하여 주인학습용 DB(311, 312) 내의 해당 확률값을 조정한다[1125]. 상기 다음 상태가 최종상태라면[[1127], 직접대련학습 모듈(22b)에 의한 주인성향학습 과정이 종료되고, 최종상태가 아니라면[1128] 단계 1117로 돌아가 이후의 과정이 되풀이된다.2) On the other hand, if it is checked in step 1101 that the direct peer learning method is applied, the game engine 10 is started [1113] and state information is obtained from the game engine 10 [1115]. Possible input information on the obtained state and probability adjustment information according to the owner's response for each input are retrieved from the Dalian-based learning information DB 44 [1117]. From the inquiry information, an input suitable for the above state is determined, the input information is provided to the game engine 10 [1119], and input information of the owner is obtained [1121]. Next, information of the next state is obtained from the game engine 10 [1123], and the corresponding probability value in the master learning DB 311 and 312 is adjusted based on the transition state and the owner's input and the probability adjustment information accordingly. [1125]. If the next state is the final state [1127], the master propensity learning process by the direct-learning module 22b ends, and if not, the process returns to step 1117 and the subsequent process is repeated.
3) 한편, 단계 1101에서 주인모니터링학습 방식이 적용된 것으로 체크된 경우에는, 게임엔진(10)으로부터 상태정보를 입수하고[1129], 주인의 입력정보를 입수한다[1131]. 그리고 나서 게임엔진(10)으로부터 다음 상태정보를 입수한다[1133]. 입수된 정보를 근거로 상기 입력/상태전이 정보에 관련된 확률조정정보를 대련기반학습정보 DB(44)로부터 조회한다[1135]. 조회가 가능한지 체크하여[1136], 조회되는 정보가 없는 경우에는 단계 1139로 진행하고, 정보가 있는 경우에는 조회된 정보를 가지고 전이상태와 주인의 입력정보에 기반한 주인학습용 DB(311, 321) 내 해당 확률값을 조정한다[1137]. 상기 다음 과정이 최종상태인 경우라면[1139], 주인모니터링학습 모듈(2c)에 의한 주인성향 학습 과정은 종료되고[1141], 최종상태가 아니라면[1140] 단계 1129로 돌아가 이후의 과정이 되풀이된다.3) On the other hand, if it is checked in step 1101 that the master monitoring learning method is applied, state information is obtained from the game engine 10 [1129], and input information of the owner is obtained [1131]. Then, the next state information is obtained from the game engine 10 [1133]. Based on the obtained information, probability adjustment information related to the input / state transition information is inquired from the Dalian-based learning information DB 44 [1135]. Check if the inquiry is possible [1136], if there is no information to proceed to step 1139, if there is information in the master learning DB (311, 321) based on the transition state and the owner's input information with the information inquired Adjust the probability value [1137]. If the next process is in the final state [1139], the owner-oriented learning process by the master monitoring learning module (2c) is terminated [1141], if not in the final state [1140] and returns to step 1129, the subsequent process is repeated. .
이제, 게임능력습득 모듈(24)의 게임능력 습득 과정에 관하여 설명한다. 본 발명의 싸이버클론은 도2c에서와 같이 주인의 성향을 학습한 후 반복된 게임을 수행하는 과정에서 게임능력습득 모듈(24)에 의해 주인이 부여한 능력보다 더 나은 게임 능력을 자율 학습을 통해 확보할 수 있다. 이는 앞에서 설명한 인공지능의 기본 개념을 활용한 것으로서 클론이 DB내 값들을 통해 상태전이를 하면서 게임을 수행한 결과 승리하였을 때는 해당 경로에 있는 확률들을 상향 조정하고 반대로 패하였을 때에는 하향 조정하는 원리이다(조정 대상 확률은 주로 입력발생확률과 상태전이확률이지만, 만일 우수상태 전이경향 DB내 장기적 효용가치를 이용하고 있는 경우에는 이에 대한 조정을 할 수도 있다.) 예를 들어, 도15에서와 같은 상태전이 경로로 싸이버클론이 게임을 수행한 결과 최종 도달한 상태가 승리를 의미할 때 도16와 같이 역방향으로 해당 상태들간의 연결을 강화하기 위해 경로상 관련된 확률값들을 상향조정해 나간다. 반면에 도15에서 도달한 최종상태가 패배를 의미할 때는 마찬가지로 도16에 나타난 역방향 경로상에 존재하는 각종 확률값들을 하향 조정해 나간다.Now, the game capability acquisition process of the game capability acquisition module 24 will be described. The cyber clone of the present invention secures better game ability through self-learning than the ability given by the master by the game ability acquisition module 24 in the course of performing the repeated game after learning the propensity of the owner as shown in FIG. 2C. can do. This is based on the basic concept of artificial intelligence described above. When a clone wins as a result of a game transitioning through the values in a database, it increases the probability on the path and decreases it when it loses. The probability of adjustment is mainly an input occurrence probability and a state transition probability, but if the long-term utility value in the good state transition trend DB is used, it may be adjusted.) For example, as shown in FIG. As a result of the cyberclone performing the game as a path, when the final state indicates victory, as shown in FIG. 16, the probability values related to the path are adjusted upward to strengthen the connection between the states. On the other hand, when the final state reached in Fig. 15 means defeat, the various probability values existing in the reverse path shown in Fig. 16 are adjusted downward.
학습과정에서 조정대상이 되는 DB는 도2c에 도시된 클론전용 입력성향 DB(312)와 상태전이경향 DB(322) 및 상대대응용 입력성향 DB(313)와 상태전이경향 DB(323)이다. 상기에서 언급하였듯이 클론전용은 범용 게임수행능력을 저장 및 이용하기 위한 목적으로 설치되었기 때문에 게임결과에 따라 해당 확률 파라미터들을 조금씩 조정하고, 반면에 상대대응용의 경우는 특정 상대에 대한 게임수행능력을 저장 및 이용하기 위한 목적으로 설치되었기 때문에 게임결과에 따라 해당 확률 파라미터들을 클론전용의 경우보다 더 적극적으로 크게 조정한다.DB to be adjusted in the learning process is a clone-only input tendency DB 312, state transition trend DB 322, and relative correspondence input tendency DB 313 and state transition trend DB 323 shown in Figure 2c. As mentioned above, since the clone is dedicated to storing and using general game performance ability, the corresponding probability parameters are adjusted little by little according to the game result, whereas in the case of opponent application, the game performance ability for a specific opponent is adjusted. Because it is installed for storage and use, the probability parameters are adjusted more aggressively depending on the game result than for clone-only cases.
이러한 클론 스스로 게임을 통한 자율학습은 게임이 완료되고 나서 일괄 확률 파라미터 조정을 통해 이뤄지기도 하지만 게임 도중에도 국부적으로 부분적 액션들에 대한 부분적 성패가 확실한 경우에 곧바로 학습이 진행될 수도 있다.Self-learning through the game itself can be done through the adjustment of batch probability parameters after the game is completed. However, the learning can proceed as soon as the success or failure of local partial actions is confirmed during the game.
이제, 도3d를 참조하여 게임능력습득 모듈(24)의 동작 과정을 설명한다. 먼저, 게임 대리수행 모듈(24)로부터 게임중에 수행된 모든 입력 및 상태전이경로정보를 획득한다[1201]. 다음에, 해당 게임이 승리한 게임인지[1203] 패배한 게임인지[1213] 체크한다. 승리한 게임인 경우에는 상기 상태전이 경로상에서 학습에 미반영된 입력 및 해당 상태전이를 조회한다[1205]. 조회가 가능한지 체크하여[1207], 조회가 가능하다면 클론전용의 입력성향 DB(312) 및 상태전이경향 DB(322) 내에 있는 상기 입력정보 및 해당 상태전이 확률을 소정값으로 상향조정한다[1209]. 그 다음에, 상대대응용의 입력성향 DB(313) 및 상태전이경향 DB(323) 내에 있는 상기 입력정보 및 해당 상태전이 확률을 소정값으로 상향조정한다[1211]. 반면에, 단계 1207에서 조회가 가능하지 않다면[1206] 본 과정이 종료된다[1221]. 한편, 단계 1203 및 1213에서 패배한 게임으로 체크된 경우에는, 상기 상태전이 경로상에서 학습에 미반영된 입력 및 해당 상태전이를 조회한다[1215]. 조회가 가능한지 체크하여[1216], 조회가 가능하다면 클론전용의 입력성향 DB(312) 및 상태전이경향 DB(322) 내에 있는 상기 입력정보 및 해당 상태전이 확률을 소정값으로 하향조정하고[1217], 상대대응용의 입력성향 DB(313) 및 상태전이경향 DB(323) 내에 있는 상기 입력정보 및 해당 상태전이 확률을 소정값으로 하향조정한다[1219].Now, the operation process of the game ability acquisition module 24 will be described with reference to FIG. 3D. First, all input and state transition path information performed during the game are acquired from the game proxy execution module 24 [1201]. Next, it is checked whether the game is a winning game [1203] or a losing game [1213]. In the case of a winning game, an input not reflected in the learning and the corresponding state transition are inquired on the state transition path [1205]. Check if the inquiry is possible [1207], and if the inquiry is possible, the input information in the clone-only input tendency DB 312 and the state transition tendency DB 322 and the state transition probability are adjusted to a predetermined value [1209]. . Next, the input information and the state transition probability in the input tendency DB 313 and the state transition tendency DB 323 for counterpart correspondence are adjusted upward to a predetermined value [1211]. On the other hand, if the inquiry is not possible in step 1207 [1206], the process ends [1221]. On the other hand, if it is checked as a game lost in steps 1203 and 1213, the state transition is inquired on the state transition path and the corresponding state transition [1215]. [1216] If the inquiry is possible, the input information and corresponding state transition probability within the clone-only input tendency DB 312 and state transition tendency DB 322 are adjusted to a predetermined value. The input information and corresponding state transition probabilities in the input tendency DB 313 and the state transition tendency DB 323 for relative correspondence are adjusted downward to a predetermined value [1219].
마지막으로 상대 게임자에 대한 대응은 도2c에 도시된 게임상대대응 모듈(25)에 의해 상대 게임자가 인식되면 게임 과정에서의 상기 자율학습의 산물인 클론전용 입력성향 DB(312)와 상태전이경향 DB(322)를 상대대응용 입력성향 DB(313)와 상태전이경향 DB(323)에 복사하여 상대 게임자당 하나씩 설정함으로써 이뤄진다. 특정 게임자는 상대 게임자를 직접적으로 확인하여 학습할 수는 없고 간접적인 상태전이 경향을 통해 상대 게임자의 게임성향을 파악하게 된다. 따라서 자율 학습과정과 마찬가지로 도2c에 도시된 게임능력습득 모듈(24)이 상대게임자별로 하나씩 설정된 상대대응용 입력성향 DB(313)와 상대대응용 상태전이경향 DB(323)를 상대게임자별로 별도로 조정해 나가다보면 각 상대 게임자에 대하여 적절하게 게임을 수행할 수 있는 상대대응용 입력성향 DB(313)와 상태전이경향 DB(323)를 획득할 수 있게 된다. 이렇게 획득된 상대대응용 입력성향 DB(313)와 상태전이경향 DB(323)를 이용하여 싸이버클론은 특정 상대와 게임을 반복할수록 더욱 효과적인 게임을 수행할 수 있게 된다.Lastly, when the opponent player is recognized by the game counterpart module 25 shown in FIG. 2C, the clone-only input propensity DB 312 and the state transition trend that are the products of the self-learning in the game process. This is accomplished by copying the DB 322 to the opponent application input propensity DB 313 and the state transition trend DB 323 and setting one per opponent player. Certain gamers cannot directly identify and learn opponent gamers, but grasp the game tendency of opponent gamers through indirect state transition. Therefore, as in the autonomous learning process, the game ability acquisition module 24 shown in FIG. 2C sets the opponent correspondence input tendency DB 313 and the opponent correspondence state transition tendency DB 323 which are set one by one for each opponent. By adjusting separately, it is possible to obtain an opponent propagation input tendency DB 313 and a state transition tendency DB 323 capable of appropriately performing a game for each opponent. By using the opponent-applied input tendency DB 313 and the state transition tendency DB 323 thus obtained, the cyber clone can perform a more effective game as the game is repeated with a specific opponent.
이상에서, 도면을 참조하여 본 발명의 구체적인 실시예의 구성과 작용을 설명하였지만, 도면에 도시된 모든 구성요소가 본 발명을 구현하는 데에 반드시 사용되어야 하는 것은 아니며 게임의 특성과 개발 전략에 따라 일부 구성요소가 생략 또는 변형될 수 있음은 당업자에게 자명하다.In the above, the configuration and operation of the specific embodiment of the present invention has been described with reference to the drawings, but not all of the elements shown in the drawings are necessarily used to implement the present invention, and according to the characteristics and development strategy of the game It will be apparent to those skilled in the art that components may be omitted or modified.
이상의 싸이버클론은 기존의 모든 컴퓨터 게임들에 적용될 수 있다. 게임의 형태는 다양하게 존재한다. 따라서 효과적인 구현을 위해 약간의 변형이 가해질 수는 있지만 기본적으로 본 명세서에서 설명한 방식의 범주에서 크게 벗어나지 않을 것이다. 스타크래프트와 같은 게임은 상기 공식들이 이러한 게임 유형을 특히 고려하여 만들어졌기 때문에 자연스럽게 적용될 수 있다. 그리고 고스톱, 포커 등과 같은 게임도 게임자들이 번갈아 액션을 취하는 특징이 있어서 특정 게임자의 입력에 대한 상태전이에 상대 게임자의 입력이 직접적인 영향을 미치지는 못하겠지만 무작위로 섞여서 가려있는 바닥패들과 상대 게임자들의 개방된 바닥패들에 근거하여 추정이 가능하므로 여전히 상기 공식이 적용될 수 있다. 하지만 테트리스와 같은 게임은 한명의 게임자가 단독으로 액션을 취해 나가고 시간에 크게 제약을 받으며 승패가 아니라 게임 시간과 게임 중 획득한 점수에 의해 게임의 성과를 논의하게 된다. 이 경우도 주인에 대한 게임성향 학습은 타이핑 속도와 상태별 입력의 선호도(테트리스의 경우 이동 방향과 회전 횟수에 대한 습관적 선호)의 학습이며, 단지 입력에 따라 상태전이에 불확실성을 야기하는 요소는 의미가 약화될 수도 있다. 하지만 변형된 테트리스의 경우에서처럼 입력을 수행하는 중간에 바닥이 움직이거나 변형되는 테트리스의 경우는 입력이 다음 상태에 항상 동일한 결정력을 가지지 않는다고 볼 수 있으므로 이 경우에 상기 공식에서 입력에 따른 상태전이 확률은 여전히 의미가 크다. 그리고 이와 같은 게임을 수행할 클론이 스스로 성장하는 게임능력 증진 학습 방법은 주인의 평균 게임완료 시간과 획득점수를 기준으로 보다 장시간 더 많은 점수를 획득하는 경우에 다른 게임에서와 같은 승리의 개념을 도입하고 게임 시간이 짧아지고 획득 점수도 낮을 때 이를 다른 게임에서와 같은 패배의 개념을 도입하면 여전히 상기 공식이 유효해진다. 다만 승패를 시간의 길이와 획득점수라는 두 가지 팩터로 결정한다는 점에서 애매한 경우를 고려하여 승패가 나지 않는 상태일 때는 학습을 하지 않는 방식을 도입하거나 승리도 필요하면 완승인지 힘겨운 승리인지 등의 구별을 하여 학습시키는 것이 바람직하다.The above cyber clone can be applied to all existing computer games. There are various forms of games. Thus, slight modifications may be made for effective implementation but will not necessarily deviate significantly from the scope of the approaches described herein. Games such as StarCraft can be applied naturally because the formulas are made with this type of game in mind. In addition, games such as GoStop, Poker, etc. are characterized by the players taking action alternately so that the opponent's input does not directly affect the state transition of a particular player's input. The formula can still be applied since an estimate is possible based on their open paddles. However, in a game like Tetris, one player takes action alone and is heavily limited in time and discusses the performance of the game not by win or loss, but by game time and scores earned during the game. In this case, the game propensity learning for the master is the learning of typing speed and input preferences for each state (a habitual preference for the direction and number of rotations in the case of tetris), and the only factor that causes uncertainty in the state transition according to the input is meaning. May be weakened. However, in the case of Tetris where the floor moves or deforms in the middle of the input, as in the case of the modified Tetris, the input does not always have the same determinism in the next state. Still significant. In addition, the game ability improvement learning method in which a clone to play such a game grows on its own introduces the concept of victory as in other games when the player acquires more points for a longer time based on the master's average game completion time and score. If the game time is short and the acquisition score is low, the formula is still valid by introducing the concept of defeat as in other games. However, considering the fact that the game is decided in two factors, the length of time and the number of points obtained, it is possible to introduce a method of not learning when there is no winning or losing, or to win or lose if it is necessary. It is desirable to learn by doing.
이상의 싸이버클론 게임은 게임 문화에 큰 변화를 야기할 것으로 기대된다. 싸이버클론의 주인은 학교에서 공부를 하고 있을 수도 있고 회사에서 업무를 보고 있을 수도 있지만 자신의 싸이버클론의 게임이 궁금하면 아무때고 인터넷에 접속하여 게임 진행 상황을 체크해 볼 수 있고, 또한 집에 돌아와서 그날 클론이 수행한 게임들을 재생해서 보면서 싸이버클론을 재교육시키거나 역으로 싸이버클론으로부터 새로운 기술을 획득할 수도 있게 된다.The cyber clone game is expected to cause a big change in the game culture. The owner of the CyberClone may be studying at school or working at the company, but if you are curious about your CyberClone's game, you can check the progress of the game at any time by accessing the Internet. By playing games played by clones, you will be able to retrain your CyberClone or, conversely, acquire new skills from the CyberClone.
Claims (28)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020011765A KR20030072640A (en) | 2002-03-06 | 2002-03-06 | Game system and method in which cyber clone acts |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020011765A KR20030072640A (en) | 2002-03-06 | 2002-03-06 | Game system and method in which cyber clone acts |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20030072640A true KR20030072640A (en) | 2003-09-19 |
Family
ID=32223553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020020011765A Withdrawn KR20030072640A (en) | 2002-03-06 | 2002-03-06 | Game system and method in which cyber clone acts |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20030072640A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006022527A1 (en) * | 2004-08-27 | 2006-03-02 | Nhn Corporation | Method and system for replicating and educating a game player |
| KR100766545B1 (en) * | 2005-09-08 | 2007-10-11 | 엔에이치엔(주) | Game AI control method and game AI control system to copy gamers' input pattern to play game |
| KR100766546B1 (en) * | 2005-09-09 | 2007-10-11 | 엔에이치엔(주) | Card game AI control method and card game AI control system |
| KR100850913B1 (en) * | 2006-12-05 | 2008-08-07 | 한국전자통신연구원 | method for configuring game character |
| KR101108987B1 (en) * | 2009-03-05 | 2012-01-31 | 한국전자통신연구원 | Apparatus and method for pattern learning of game characters using space segmentation |
| CN110152290A (en) * | 2018-11-26 | 2019-08-23 | 深圳市腾讯信息技术有限公司 | Game running method and device, storage medium and electronic device |
-
2002
- 2002-03-06 KR KR1020020011765A patent/KR20030072640A/en not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006022527A1 (en) * | 2004-08-27 | 2006-03-02 | Nhn Corporation | Method and system for replicating and educating a game player |
| KR100766545B1 (en) * | 2005-09-08 | 2007-10-11 | 엔에이치엔(주) | Game AI control method and game AI control system to copy gamers' input pattern to play game |
| US9662584B2 (en) | 2005-09-08 | 2017-05-30 | Nhn Entertainment Corporation | Method and system for controlling game AI which copies input pattern of gamer and playing the game |
| KR100766546B1 (en) * | 2005-09-09 | 2007-10-11 | 엔에이치엔(주) | Card game AI control method and card game AI control system |
| US7966275B2 (en) | 2005-09-09 | 2011-06-21 | Nhn Corporation | Method and system for controlling playing of a card game which determines a level of a user by checking play/card patterns |
| KR100850913B1 (en) * | 2006-12-05 | 2008-08-07 | 한국전자통신연구원 | method for configuring game character |
| KR101108987B1 (en) * | 2009-03-05 | 2012-01-31 | 한국전자통신연구원 | Apparatus and method for pattern learning of game characters using space segmentation |
| CN110152290A (en) * | 2018-11-26 | 2019-08-23 | 深圳市腾讯信息技术有限公司 | Game running method and device, storage medium and electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Banerjee et al. | General Game Learning Using Knowledge Transfer. | |
| CN111111204B (en) | Interactive model training method and device, computer equipment and storage medium | |
| US7636701B2 (en) | Query controlled behavior models as components of intelligent agents | |
| Le Hy et al. | Teaching bayesian behaviours to video game characters | |
| Nielsen et al. | Towards generating arcade game rules with VGDL | |
| Ponsen et al. | Automatically generating game tactics through evolutionary learning | |
| Zhou et al. | Hierarchical control of multi-agent reinforcement learning team in real-time strategy (RTS) games | |
| Knegt et al. | Opponent modelling in the game of tron using reinforcement learning | |
| US20250010196A1 (en) | Methods and Systems for Generating and Managing Active Objects in Video Games | |
| KR20220086873A (en) | Device and method for generating npc capable of adjusting skill level | |
| Tang et al. | A review of computational intelligence for StarCraft AI | |
| Yin et al. | A data-driven approach for online adaptation of game difficulty | |
| KR20030072640A (en) | Game system and method in which cyber clone acts | |
| KR20050096791A (en) | Gamer's game style transplanting system and its processing method by artificial intelligence learning | |
| Cowley et al. | Adaptive artificial intelligence in games: issues, requirements, and a solution through behavlets-based general player modelling | |
| Delmas et al. | From tabletop RPG to interactive storytelling: Definition of a story manager for videogames | |
| KR100913030B1 (en) | Game strategy method and system using stepped fuzzy logic | |
| Utomo | Implementation of a reinforcement learning system with deep q network algorithm in the amc dash mark i game | |
| Hamilton et al. | Adversary modeling and simulation in cyber warfare | |
| Xiqi | Game Ai Evolution: Uniting Unity and Machine Learning for Enhanced Player Interaction and Experience | |
| Reis | Artificial intelligence methods for automated difficulty and power balance in games | |
| KR100850913B1 (en) | method for configuring game character | |
| Bontrager | Learning to Generate Form and Function | |
| Laagland | A HTN planner for a real-time strategy game | |
| Liu et al. | On emergent complex behaviour, self-organised criticality and phase transitions in multi-agent systems: autonomy oriented computing (AOC) perspectives |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20020306 |
|
| PG1501 | Laying open of application | ||
| PC1203 | Withdrawal of no request for examination | ||
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |