WO2022086361A1 - Controller for interacting in virtual reality - Google Patents
Controller for interacting in virtual reality Download PDFInfo
- Publication number
- WO2022086361A1 WO2022086361A1 PCT/RU2020/000714 RU2020000714W WO2022086361A1 WO 2022086361 A1 WO2022086361 A1 WO 2022086361A1 RU 2020000714 W RU2020000714 W RU 2020000714W WO 2022086361 A1 WO2022086361 A1 WO 2022086361A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- virtual reality
- controller
- magazine
- weapon simulator
- weapon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41A—FUNCTIONAL FEATURES OR DETAILS COMMON TO BOTH SMALLARMS AND ORDNANCE, e.g. CANNONS; MOUNTINGS FOR SMALLARMS OR ORDNANCE
- F41A33/00—Adaptations for training; Gun simulators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
Definitions
- This technical solution in general, refers to input devices for interaction in virtual reality, and in particular, to a controller for teaching shooting and practicing tactical and technical skills in handling small arms in virtual trainers and simulators.
- controllers include a low level of immersion and realism due to their design features (controller weight, universal controller case, tactile response, etc.). Also, such controllers are not intended for teaching and training professional skills in simulators and virtual simulators, where a low level of immersion and similarity to real objects can lead to extreme consequences.
- controllers designed to perform highly specialized actions, such as weapon simulators, welding machine simulator, etc.
- Such controllers typically provide high realism by resembling real objects in appearance and mimicking the functions inherent in the real object (eg recoil, aiming, firing, etc.) for which these objects were created.
- the specified controller exactly repeats the revolver and contains such elements as the trigger, drum, handle, barrel, baize.
- the controller is configured to translate into virtual reality the position of the weapon in space using an optical tracking system located on a rail mechanism under the barrel of the weapon simulator. Also, the controller is configured to load blank cartridges into the drum to recreate the recoil made when fired and simulate the discharge of the specified drum.
- a common drawback of existing solutions in this field of technology is the lack of a controller for teaching shooting and practicing weapon handling skills in a virtual simulator that generates real recoil and tracks and broadcasts the main elements of the weapon simulator (bolt, magazine) into virtual reality, to ensure high level of immersion and realism. Also, this kind of controller must be compatible with an inertial tracker and be able to track the moment of the shot.
- a controller for interaction in virtual reality containing: a body made in the form of an imitation of a firearm, containing a magazine, a trigger mechanism and a shutter, while the body contains: a magazine presence sensor configured to send a signal about the presence of a weapon simulator store on the status control module; a bolt position sensor configured to send a signal about the position of the gun simulator bolt to the status control module; vibration decoupling, made with the possibility of damping fluctuations and vibrations that occur when firing and moving in the space of the weapon simulator; a virtual reality tracker configured to broadcast a set of weapon simulator state data received from the state control module into virtual reality; a state control module comprising an inertial measurement module configured to: receive signals from a magazine presence sensor and a weapon simulator shutter position sensor; determining the moment of firing the weapon simulator; formation of a data set on the state of the weapon simulator, including: the position of the shutter, the presence of a magazine, orientation in space, making a shot; transferring a set of data
- the moment of firing is determined by receiving a signal from the inertial measurement module that the weapon simulator's vibration level is exceeded.
- the acceptable vibration level of the weapon simulator is a plateau level formed by the moving average method within the selected time window.
- the state control module after detecting a shot, stops detecting a shot for a predetermined time interval to block a multiple response to a perfect shot.
- the shutter position sensor consists of a magnet installed in the weapon simulator's shutter and a Hall sensor installed in the weapon simulator's handle.
- the magazine presence sensor consists of a magnet installed in the magazine of the weapon simulator and a Hall sensor installed in the handle of the weapon simulator.
- FIG. 1 shows an example implementation of an interaction controller in virtual reality.
- FIG. Figure 2 shows a diagram of how a shot is determined by the internal mechanics of an interaction controller in virtual reality.
- Virtual reality (VR, English, virtual reality, VR, artificial reality) is a world created by technical means, transmitted to a person through his sensations: sight, hearing, touch, and others. Virtual reality simulates both exposure and responses to exposure. To create a convincing set of sensations of reality, a computer synthesis of the properties and reactions of virtual reality is performed in real time.
- Sensor is a collective term that can mean: measuring transducer; primary measuring transducer; sensitive element.
- Vibration isolation is the ability of an obstacle (vibration isolator, vibration support, vibration decoupling) to isolate a structure from vibration propagating through it.
- FIG. 1 shows an example implementation of a virtual reality interaction controller 100.
- Said controller 100 includes a body 110 made in the form of a weapon simulator, containing a magazine presence sensor (not shown), a shutter position sensor (not shown), a vibration decoupler 120, a virtual reality tracker 130 and a control module. state (not shown).
- the elements of the inventive controller 100 are fixed to each other and to the supporting structural elements using a wide range of assembly operations, such as screwing, jointing, soldering, riveting, etc., depending on the most suitable method of fastening the elements.
- Building 110 is a simulated firearm.
- the body 110 includes the main elements of a firearm, such as a frame with a barrel and a trigger guard, a bolt with a striker, a firing mechanism, a handle, a magazine.
- Body 110 may also include a recoil simulation mechanism, such as compressed air or a mechanical spring, to simulate the recoil associated with firing a shot.
- the PM-658K pneumatic pistol is chosen as a simulator of firearms in as a simulator of the standard PM-56-A-125 due to the maximum coincidence of weight and size characteristics and the presence of a simulation of the shutter stroke when fired.
- any other model of both an air pistol and a combat pistol can be used as a simulated firearm, for example, a Gletcher PM, TT, Glock 17, etc. can be used as a simulated firearm.
- the main requirement when choosing the body 110 is to ensure maximum resemblance to a real weapon (the presence of a magazine, simulated shutter travel, simulated recoil) for a high level of user immersion in virtual reality and improving the learning process of shooting and weapon handling skills.
- the bolt position sensor and the magazine presence sensor are measuring means capable of detecting the presence of a magazine of a simulated weapon, for example, a pressure sensor, a compression sensor, etc., and the position of a shutter of a simulator weapon, for example, a linear motion sensor, position based on the Hall effect, etc.
- the shutter position sensor and magazine presence sensor are connected to the status control module.
- a position sensor based on the Hall effect is used.
- a Hall sensor is installed in the handle of the housing 110, and magnets are installed in the magazine and the bolt carrier. When each of the axes of the magnets and the position sensor coincide, a signal is generated that is sent to the status control module, where the received signal is further processed.
- Vibration decoupling 120 provides reliable and continuous tracking of the position in space of the virtual reality tracker 130 when firing.
- the main function of the vibration decoupler 120 is the vibration isolation of the tracker 130 from vibrations occurring in the device 100.
- vibration decoupling 120 is used, which consists of two plates interconnected by shock absorbers that dampen the resulting vibrations.
- vibration decoupling 120 may consist of a plate that is attached to the body 110 of the weapon simulator using shock absorbers.
- a vibration decoupler 120 a vibration damping plate, a vibration mount, etc., can also be used, without being limited.
- vibration decoupling refers to a structure that dampens vibrations caused by certain factors. Such factors, as mentioned above, may be, for example, sudden movement of the device 100, shaking of the device 100, etc., but not limited to.
- Vibration decoupler 120 also includes an area for attaching tracker 130 as shown in FIG. It will be obvious to a specialist that any design of vibration decoupling can be used, damping the vibrations that occur in the weapon simulator and intended for installing a virtual reality tracker. As a material from which the vibration decoupling plate 120 is made can be selected: carbon, plastic, aluminum, etc.
- the virtual reality tracker 130 is designed to determine the position of an object in space and recreate the position of the body in virtual space (VR). In addition, the tracker 130 allows you to broadcast incoming events into virtual reality. Also, the tracker 130 contains connectors for connecting controller elements, for example, a status control module.
- tracker 130 is an inertial virtual reality tracker mounted on a weapon simulator for broadcasting the weapon simulator's position in space and a set of weapon simulator state data into virtual reality.
- Tracker 130 may include one or more accelerometers and/or gyroscopes to track movement of body 110 of controller 100.
- tracker 130 may be an optical tracker and include a set of position sensors tracked by cameras.
- the inertial tracker may be a commercially available inertial tracker such as the ViveTM tracker from HTC. However, one skilled in the art will appreciate that any inertial virtual reality tracker can be used.
- the transmission of data on the position in space and the state of the weapon simulator from the tracker 130 to virtual reality is carried out using any of the known wired or wireless data transmission means, for example, a GSM modem, GPRS modem, LTE modem, 5G modem, satellite communication module, NFC module, Bluetooth and/or BLE module, Wi-Fi module, etc.
- the status monitoring module may be a controller board, a controller, a microcontroller, etc.
- the status control module also contains an inertial measurement module and an ADC.
- the status control module is configured to receive signals from the shutter position and magazine presence sensors, process the received signals, determine the moment of firing (the schemes for determining the moment of firing will be described in more detail in description below), generating a data set on the state of the weapon simulator based on the data received from the shutter position sensor, the magazine presence sensor and data on the shot, transferring the data set on the state of the weapon simulator to the virtual reality tracker 130.
- the state control module in a particular embodiment is made with the ability to connect to the tracker 130 via a wired connection, however, it will be obvious to the person skilled in the art that wireless means of connection can also be used.
- controller 100 for interaction in virtual reality allows you to determine the moment of the shot and control the position of the main elements of the specified controller 100 (shutter position, magazine position), as well as broadcast them in virtual reality.
- virtual reality refers to a specific technical tool that generates a virtual world.
- the controller 100 is configured to broadcast data on the shutter position, the presence of a magazine, orientation in space, as well as data on the completion of a shot, to a computer, smartphone, virtual console (Oculus Rift, Playstation VR, etc.), independent virtual reality glasses or helmets, etc. not limited.
- the main area of application of the controller 100 is training in shooting and working out skills in handling weapons in virtual trainers and simulators. However, said controller 100 is also intended for use in VR games.
- a VR simulator allows you to form behavior models and develop skills by simulating situations and reproducing the environment as close to life as possible.
- the features of the simulators include realistic physics of the behavior of objects, a high degree of detailing of objects, as close as possible the learning process to real conditions.
- the controller 100 provides a high level of user immersion in virtual reality by fully replicating the functions of real weapons. Thanks to the translation and tracking of the position of the shutter and the controller magazine 100, as well as the presence of recoil when fired, the user can see in virtual reality the movements that he makes on the specified controller 100, which increases the level of immersion of the user in virtual reality and enhances the interaction with the virtual environment.
- the user starts training in shooting and handling weapons in a virtual simulator.
- Skills that a user can practice while using the controller 100 may include reloading a weapon (changing a magazine), arming a weapon (cocking), and so on.
- the type of training depends on the level of training of the user and the specifics of his field of activity. So, for the military, a scenario of military operations in the field can be reproduced, for the police - a scenario for detaining a criminal, for collectors - a scenario for robbing a collection vehicle, etc.
- said controller 100 continuously broadcasts, using the virtual reality tracker 130, its position in space to the virtual reality. The translation of the position in space occurs in parallel with other actions that the user performs on the controller 100 and which are also translated into virtual reality.
- the status control module receives a signal from the shutter position sensor that the shutter of the controller 100 has moved.
- a sensor based on the Hall effect As a shutter position sensor , a magnet is placed in the shutter of the controller 100, and a position sensor based on the Hall effect is located in the handle of the controller.
- the axis of the shutter magnet In a state where the shutter of the controller 100 is displaced from its home position, the axis of the shutter magnet is also displaced relative to the handle, whereby a shutter displacement signal is sent to the status control module.
- the state monitoring module processes the received data with an ADC and sends the processed data to the tracker 130.
- the tracker 130 broadcasts the received data to virtual reality via wired or wireless communication.
- a similar approach is used to detect the presence of a magazine using the magazine presence sensor in the controller 100 body.
- the status control module receives a signal from the magazine presence sensor to change the position of the magazine. For example, when the magazine is empty, the user receives a signal in virtual reality about the need to replace the magazine. To perform a magazine change, the user removes the magazine from the controller 100 and reinserts it. Obviously, when performing a replacement operation, the user can interact with several stores.
- a magazine position sensor for example, a Hall effect sensor can be used, as well as to control the shutter position of the controller 100.
- a Hall effect position sensor is placed in the handle of the controller 100, and a magnet is placed in the controller 100 magazine.
- the magazine presence sensor sends a signal to the status control module about the displacement of the magnet axis from the handle.
- the magazine presence sensor sends a signal to the status control module that the axes of the magnet and the handle coincide.
- the status monitoring module After the status monitoring module receives a signal about the interaction with the store, the status monitoring module processes the received signal using the ADC and sends the processed data to the tracker 130.
- the tracker 130 broadcasts the received data into virtual reality.
- the status control module determines when the shot was fired using one of two shot determination schemes.
- the trigger of the controller 100 is pressed, the striker of the bolt is displaced and hits the cartridge to fire the shot.
- recoil occurs, caused by the released energy of the bullet, which moves the striker in the opposite direction from the impact to feed the next cartridge from the magazine and make the next shot.
- compressed air, a spring, etc. can be used as a recoil mechanism in the controller 100, simulating the energy of a live cartridge and moving the striker to the reverse position from the impact after the shot is fired.
- the recoil energy causes vibrations and vibrations of the controller 100, which in turn lead to positioning errors in the space of the tracker 130.
- the vibration decoupling 120 (described above) is used in the controller 100.
- the tracker 130 is attached to the specified vibration decoupling 120, which provides damping of vibrations that occur when the controller 100 is moved or fired in the specified tracker 130.
- condition control module is configured to determine the firing timing by the inertial measurement module and by internal mechanics.
- the condition monitoring module In order to determine the firing moment by means of the inertial measurement module, the condition monitoring module continuously interrogates the inertial measurement module and processes the obtained data using a moving average method. Based on the collected data, the condition monitoring module generates a vibration plateau level for the controller 100. The plateau level is generated within a certain time window. When the permissible level is exceeded vibration, which is a plateau level, the inertial measurement module sends a signal to the condition monitoring module. Thus, when the user presses the trigger of the controller 100, the striker of the shutter of the controller 100 strikes, which causes a strong vibration.
- the inertial measurement module After the inertial measurement module has detected an excess of the permissible vibration level, the inertial measurement module sends a signal about the excess of the permissible vibration level to the condition monitoring module.
- the state control module based on the received data, calls the shot processing function. While the shot processing function is in progress, the status control module also blocks further shot detection for a certain time. For example, after detecting a shot, the status control module sends a control signal to the inertial measurement module to stop measuring the vibration level for 100 ms. This eliminates multiple response to a perfect shot. To fix the shot in virtual reality, after the completion of the shot processing, the status control module sends a signal about the perfect shot to the tracker 130.
- FIG. 2 A scheme for determining a shot by internal mechanics is disclosed in FIG. 2.
- Spring-loaded contacts 210 are installed in magazine 220 and close when trigger 230 is depressed. It will be appreciated by one skilled in the art that compression sensors, etc., may be used in place of spring-loaded contacts 210. Spring loaded contacts 210 are connected to a condition monitoring module (not shown). When the user presses the trigger 230, the contacts 210 close and the status control module receives a signal to fire. Next, the state control module calls the shot processing function. To fix the shot in virtual reality, after the completion of the shot processing, the status control module sends a signal about the perfect shot to the tracker 130.
- the shot definition scheme can be selected depending on the rate of fire of the simulated weapon. So, if the controller 100 is made in the form of a submachine gun, then it is more expedient to increase shot detection accuracy, use the internal mechanics of shot detection, because high rate of fire creates strong fluctuations, due to which errors accumulate in the inertial measurement module, leading to incorrect formation of the plateau level and, consequently, incorrect determination of the moment of the shot.
- the submitted application materials describe a virtual reality interaction controller designed to train shooting and weapon handling skills in a virtual trainer and simulator.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
КОНТРОЛЛЕР ВЗАИМОДЕЙСТВИЯ В ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ VR INTERACTION CONTROLLER
ОБЛАСТЬ ТЕХНИКИ FIELD OF TECHNOLOGY
[1] Данное техническое решение, в общем, относится к устройствам ввода для взаимодействия в виртуальной реальности, а в частности, к контроллеру для обучения стрельбе и отработки тактико-технических навыков обращения со стрелковым оружием в виртуальных тренажерах и симуляторах. [1] This technical solution, in general, refers to input devices for interaction in virtual reality, and in particular, to a controller for teaching shooting and practicing tactical and technical skills in handling small arms in virtual trainers and simulators.
УРОВЕНЬ ТЕХНИКИ BACKGROUND OF THE INVENTION
[2] С развитием виртуальной реальности широкое распространение получили устройства и системы взаимодействия в виртуальной среде. Такие устройства и системы помогают расширить функциональные возможности в виртуальной среде и влияют на пользовательский опыт в целом наравне с технологиями самих VR-шлемов, расширяя границы уровня погружения. В настоящее время существует огромное множество устройств для взаимодействия в виртуальной реальности, например: геймпады, джойстики, игровые контроллеры и т.д. [2] With the development of virtual reality, devices and systems of interaction in a virtual environment have become widespread. Such devices and systems help to expand the functionality in the virtual environment and affect the user experience as a whole on a par with the technologies of the VR helmets themselves, pushing the boundaries of the level of immersion. Currently, there are a huge variety of devices for interaction in virtual reality, for example: gamepads, joysticks, game controllers, etc.
[3] Так, широкое распространение получили универсальные контроллеры, такие как контроллер Vive от компании НТС, контроллер touch от компании Oculus и др. Чаще всего их используют для взаимодействия с игровыми приставками VR (виртуальная реальность). Данный тип контроллеров обеспечивает взаимодействие с любыми объектами в виртуальной реальности. Например, они позволяют брать любые предметы, стрелять из оружия, взаимодействовать с любыми объектами в виртуальной реальности и т.д. [3] So, universal controllers, such as the Vive controller from the NTS company, the touch controller from the Oculus company, etc., have become widespread. Most often they are used to interact with VR (virtual reality) game consoles. This type of controller provides interaction with any objects in virtual reality. For example, they allow you to take any items, shoot weapons, interact with any objects in virtual reality, etc.
[4] К недостаткам таких контроллеров можно отнести низкий уровень погружения и реалистичности за счет их конструктивных особенностей (вес контроллера, универсальный корпус контроллера, тактильные отклик и т.д.). Также, такие контроллеры не предназначены для обучения и тренировки профессиональных навыков в симуляторах и виртуальных тренажерах, где низкий уровень погружения и сходства с реальными предметами может привести к чрезвычайным последствиям. [4] The disadvantages of such controllers include a low level of immersion and realism due to their design features (controller weight, universal controller case, tactile response, etc.). Also, such controllers are not intended for teaching and training professional skills in simulators and virtual simulators, where a low level of immersion and similarity to real objects can lead to extreme consequences.
[5] Помимо универсальных контроллеров, существуют и контроллеры, предназначенные для выполнения узкоспециализированных действий, например имитаторы оружия, имитатор сварочного аппарата и т.д. Такие контроллеры, как правило, обеспечивают высокую реалистичность за счет сходства с реальными предметами по внешнему виду и имитации функций, присущих реальному предмету (например, отдача, прицеливание, произведение выстрела и т.д.), для которого эти предметы были созданы. [5] In addition to universal controllers, there are controllers designed to perform highly specialized actions, such as weapon simulators, welding machine simulator, etc. Such controllers typically provide high realism by resembling real objects in appearance and mimicking the functions inherent in the real object (eg recoil, aiming, firing, etc.) for which these objects were created.
[6] Так, из уровня техники известен игровой контроллер для взаимодействия в виртуальной реальности раскрытый в патенте США № US 6569019 В2 (патентообладатель: COCHRAN WILLIAM), опубл. 27.05.2003. Контроллер содержит корпус, выполненный в виде винтовки и набор датчиков для позиционирования и отслеживания движений в виртуальном пространстве. Указанный контроллер обеспечивает интуитивно понятное управление объектами в виртуальном пространстве и высокий уровень реалистичности за счет повторения элементами управления реальных предметов (спусковой курок, приклад, дуло и т.д.), что делает стрельбу, прицеливание, удержание контроллера для пользователя таким же естественным, как взаимодействие с реальной винтовкой. [6] Thus, the prior art game controller for interaction in virtual reality disclosed in US patent No. US 6569019 B2 (patent holder: COCHRAN WILLIAM), publ. May 27, 2003. The controller contains a body made in the form of a rifle and a set of sensors for positioning and tracking movements in virtual space. The specified controller provides intuitive control of objects in virtual space and a high level of realism due to the repetition of the controls of real objects (trigger, stock, muzzle, etc.), which makes shooting, aiming, holding the controller for the user as natural as interaction with a real rifle.
[7] Недостатками указанного решения является невозможность его использования в симуляторах и виртуальных тренажерах для обучения стрельбе, т.к., не смотря на частичное совпадение внешнего вида контроллера с винтовкой, указанный контролер по массогабаритным характеристикам и внешнему виду в точности не повторяет реальное оружие, что является критичным при обучении обращению с оружием и стрельбе. Также, контролер не предусматривает возможность перезарядки, движения элементов винтовки (движение затвора) и отдачу, возникающую при совершении реального выстрела, что также критично для виртуальных тренажеров. [7] The disadvantages of this solution is the impossibility of its use in simulators and virtual simulators for training in shooting, because, despite the partial coincidence of the appearance of the controller with the rifle, the specified controller does not exactly repeat the real weapon in terms of weight, size and appearance, which is critical in learning to handle weapons and shooting. Also, the controller does not provide for the possibility of reloading, the movement of rifle elements (bolt movement) and the recoil that occurs when a real shot is fired, which is also critical for virtual simulators.
[8] Из уровня техники, также, известен контроллер, выполненный, в частности, в виде револьвера, предназначенный для симуляции стрельбы в виртуальной реальности, раскрытый в патенте США № US 10234240 В2 (патентообладатель: [8] From the prior art, also known controller, made, in particular, in the form of a revolver, designed to simulate shooting in virtual reality, disclosed in US patent No. US 10234240 B2 (patent holder:
SHOOTING SIMULATOR LLC), опубл. 19.03.2019. Указанный контроллер в точности повторяет револьвер и содержит такие его элементы, как курок, барабан, рукоятку, ствол, баек. Контроллер выполнен с возможностью трансляции в виртуальную реальность положения оружия в пространстве при помощи оптической системы трекинга, расположенной на рельсовом механизме под стволом имитатора оружия. Также, контроллер выполнен с возможностью загрузки холостых патронов в барабан для воссоздания отдачи, совершаемой при выстреле, и имитации разрядки указанного барабана. SHOOTING SIMULATOR LLC), publ. 03/19/2019. The specified controller exactly repeats the revolver and contains such elements as the trigger, drum, handle, barrel, baize. The controller is configured to translate into virtual reality the position of the weapon in space using an optical tracking system located on a rail mechanism under the barrel of the weapon simulator. Also, the controller is configured to load blank cartridges into the drum to recreate the recoil made when fired and simulate the discharge of the specified drum.
[9] Недостатками указанного решения является то, что данный контроллер не применим для использования в виртуальных тренажерах, имитирующих самозарядные (автоматические, полуавтоматические) пистолеты, поскольку такой тип имитаторов оружия оборудован затворами и магазинами, взаимодействие с которыми является важной частью процесса обучения стрельбе и отработки навыков обращения с оружием. Также, использование оптической системы трекинга имеет недостатки, такие, как проблемы прямой видимости и на ее работу может отрицательно влиять окружающий свет и инфракрасное излучение. [9] The disadvantages of this solution is that this controller is not applicable for use in virtual simulators that simulate self-loading (automatic, semi-automatic) pistols, since this type of weapon simulators is equipped with shutters and magazines, interaction with which is an important part of the process of learning to shoot and practice weapon handling skills. Also, the use of an optical tracking system has disadvantages, such as line-of-sight problems, and its operation can be adversely affected by ambient light and infrared radiation.
[10] Общим недостатком существующих решений в данной области техники является отсутствие контроллера для обучения стрельбе и отработки навыков обращения с оружием в виртуальном тренажере, генерирующего реальную отдачу и отслеживающего, и транслирующего основные элементы имитатора оружия (затвор, магазин) в виртуальную реальность, для обеспечения высокого уровня погружения и реалистичности. Также, такого рода контроллер должен быть совместим с инерциальным трекером и иметь возможность отслеживания момента выстрела. [10] A common drawback of existing solutions in this field of technology is the lack of a controller for teaching shooting and practicing weapon handling skills in a virtual simulator that generates real recoil and tracks and broadcasts the main elements of the weapon simulator (bolt, magazine) into virtual reality, to ensure high level of immersion and realism. Also, this kind of controller must be compatible with an inertial tracker and be able to track the moment of the shot.
СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ ESSENCE OF THE TECHNICAL SOLUTION
[11] Данное техническое решение направлено на устранение недостатков, присущих существующим решениям, известным из уровня техники. [12] Решением технической проблемы или технической задачей является создание нового контроллера, предназначенного для взаимодействия в виртуальной реальности. [11] This technical solution is aimed at eliminating the shortcomings inherent in existing solutions known from the prior art. [12] The solution to a technical problem or technical challenge is to create a new controller designed to interact in virtual reality.
[13] Техническим результатом, проявляющимся при решении вышеуказанной задачи, является расширение функциональных возможностей контроллера для взаимодействия в виртуальной реальности за счет отслеживания положения затвора, отслеживания наличия магазина и определения момента совершения выстрела. [13] The technical result, which manifests itself in solving the above problem, is to expand the functionality of the controller for interaction in virtual reality by tracking the position of the shutter, tracking the presence of the store and determining the moment the shot was fired.
[14] Дополнительным техническим результатом, проявляющимся при решении вышеуказанной задачи, является расширение арсенала технических средств данного назначения. [14] An additional technical result, manifested in the solution of the above problem, is the expansion of the arsenal of technical means for this purpose.
[15] Указанные технические результаты достигаются благодаря осуществлению контроллера для взаимодействия в виртуальной реальности, содержащего: корпус, выполненный в виде имитации огнестрельного оружия, содержащего магазин, спусковой механизм и затвор, при этом корпус содержит: датчик наличия магазина, выполненный с возможностью отправки сигнала о наличии магазина имитатора оружия на модуль контроля состояния; датчик положения затвора, выполненный с возможностью отправки сигнала о положении затвора имитатора оружия на модуль контроля состояния; виброразвязку, выполненную с возможностью демпфирования колебаний и вибраций, возникающих при выстреле и перемещении в пространстве имитатора оружия; трекер виртуальной реальности, выполненный с возможностью транслирования набора данных о состоянии имитатора оружия, полученных от модуля контроля состояния, в виртуальную реальность; модуль контроля состояния, содержащий инерциальный измерительный модуль, выполненный с возможностью: получения сигналов от датчика наличия магазина и датчика положения затвора имитатора оружия; определения момента выстрела имитатора оружия; формирования набора данных о состоянии имитатора оружия, включающего: положение затвора, наличие магазина, ориентацию в пространстве, совершение выстрела; передачи набора данных о состоянии имитатора оружия на трекер виртуальной реальности. [16] В одном из частных вариантов реализации контроллера трекер виртуальной реальности расположен на виброразвязке. [15] These technical results are achieved through the implementation of a controller for interaction in virtual reality, containing: a body made in the form of an imitation of a firearm, containing a magazine, a trigger mechanism and a shutter, while the body contains: a magazine presence sensor configured to send a signal about the presence of a weapon simulator store on the status control module; a bolt position sensor configured to send a signal about the position of the gun simulator bolt to the status control module; vibration decoupling, made with the possibility of damping fluctuations and vibrations that occur when firing and moving in the space of the weapon simulator; a virtual reality tracker configured to broadcast a set of weapon simulator state data received from the state control module into virtual reality; a state control module comprising an inertial measurement module configured to: receive signals from a magazine presence sensor and a weapon simulator shutter position sensor; determining the moment of firing the weapon simulator; formation of a data set on the state of the weapon simulator, including: the position of the shutter, the presence of a magazine, orientation in space, making a shot; transferring a set of data on the state of the weapon simulator to the virtual reality tracker. [16] In one of the private implementations of the controller, the virtual reality tracker is located on the vibration isolation.
[17] В другом частном варианте реализации контроллера момент совершения выстрела определяется посредством получения сигнала от инерциального измерительного модуля о превышении допустимого уровня вибрации имитатора оружия. [17] In another particular embodiment of the controller, the moment of firing is determined by receiving a signal from the inertial measurement module that the weapon simulator's vibration level is exceeded.
[18] В другом частном варианте реализации контроллера допустимый уровень вибрации имитатора оружия представляет собой уровень плато, сформированный методом скользящего среднего в пределах выбранного временного окна. [18] In another particular implementation of the controller, the acceptable vibration level of the weapon simulator is a plateau level formed by the moving average method within the selected time window.
[19] В другом частном варианте реализации контроллера после детектирования выстрела, модуль контроля состояния прекращает детектирование выстрела на заданный временной интервал для блокировки многократного отклика на совершенный выстрел. [19] In another particular embodiment of the controller, after detecting a shot, the state control module stops detecting a shot for a predetermined time interval to block a multiple response to a perfect shot.
[20] В другом частном варианте реализации контроллера датчик положения затвора состоит из магнита, установленного в затвор имитатора оружия и датчика Холла, установленного в рукоятке имитатора оружия. [20] In another particular embodiment of the controller, the shutter position sensor consists of a magnet installed in the weapon simulator's shutter and a Hall sensor installed in the weapon simulator's handle.
[21] В другом частном варианте реализации контроллера датчик наличия магазина состоит из магнита, установленного в магазин имитатора оружия и датчика Холла, установленного в рукоятке имитатора оружия. [21] In another particular embodiment of the controller, the magazine presence sensor consists of a magnet installed in the magazine of the weapon simulator and a Hall sensor installed in the handle of the weapon simulator.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ BRIEF DESCRIPTION OF THE DRAWINGS
[22] Признаки и преимущества настоящего технического решения будут раскрыты далее из приводимого ниже подробного описания и прилагаемых чертежей, на которых: [22] The features and advantages of the present technical solution will be further disclosed from the following detailed description and the accompanying drawings, in which:
[23] На Фиг. 1 показан пример реализации контроллера взаимодействия в виртуальной реальности. [23] FIG. 1 shows an example implementation of an interaction controller in virtual reality.
[24] На Фиг. 2 показана схема определения выстрела по внутренней механике контроллера взаимодействия в виртуальной реальности. [24] FIG. Figure 2 shows a diagram of how a shot is determined by the internal mechanics of an interaction controller in virtual reality.
ПОДРОБНОЕ ОПИСАНИЕ [25] Ниже будут описаны термины и понятия, необходимые для реализации настоящего технического решения. DETAILED DESCRIPTION [25] The terms and concepts necessary for the implementation of the present technical solution will be described below.
[26] Виртуальная реальность (ВР, англ, virtual reality, VR, искусственная реальность) — созданный техническими средствами мир, передаваемый человеку через его ощущения: зрение, слух, осязание и другие. Виртуальная реальность имитирует как воздействие, так и реакции на воздействие. Для создания убедительного комплекса ощущений реальности компьютерный синтез свойств и реакций виртуальной реальности производится в реальном времени. [26] Virtual reality (VR, English, virtual reality, VR, artificial reality) is a world created by technical means, transmitted to a person through his sensations: sight, hearing, touch, and others. Virtual reality simulates both exposure and responses to exposure. To create a convincing set of sensations of reality, a computer synthesis of the properties and reactions of virtual reality is performed in real time.
[27] Датчик - собирательный термин, который может означать: измерительный преобразователь; первичный измерительный преобразователь; чувствительный элемент. [27] Sensor is a collective term that can mean: measuring transducer; primary measuring transducer; sensitive element.
[28] Виброизоляция — способность препятствия (виброизолятора, виброопоры, виброразвязки) изолировать конструкцию от распространяющейся по ней вибрации. [28] Vibration isolation is the ability of an obstacle (vibration isolator, vibration support, vibration decoupling) to isolate a structure from vibration propagating through it.
[29] На Фиг. 1 показан пример реализации контроллера взаимодействия в виртуальной реальности 100. Указанный контроллер 100 содержит корпус 110 выполненный в виде имитатора оружия, содержащий датчик наличия магазина (не показан), датчик положения затвора (не показан), виброразвязку 120, трекер виртуальной реальности 130 и модуль контроля состояния (не показан). [29] FIG. 1 shows an example implementation of a virtual reality interaction controller 100. Said controller 100 includes a body 110 made in the form of a weapon simulator, containing a magazine presence sensor (not shown), a shutter position sensor (not shown), a vibration decoupler 120, a virtual reality tracker 130 and a control module. state (not shown).
[30] Элементы заявленного контроллера 100 фиксируются между собой и несущими элементами конструкции, с помощью широкого спектра сборочных операций, например, свинчивания, сочленения, спайки, склепки и др., в зависимости от наиболее подходящего способа крепления элементов. [30] The elements of the inventive controller 100 are fixed to each other and to the supporting structural elements using a wide range of assembly operations, such as screwing, jointing, soldering, riveting, etc., depending on the most suitable method of fastening the elements.
[31] Корпус 110 представляет собой имитатор огнестрельного оружия. Корпус 110 включает в себя основные элементы огнестрельного оружия, такие как рамка со стволом и спусковой скобой, затвор с ударником, ударно-спусковой механизм, рукоятка, магазин. Корпус 110, также, может включать механизм имитации отдачи, такой как сжатый воздух или механическая пружина, для имитации отдачи, связанной с совершением выстрела. В конкретном варианте реализации в качестве имитатора огнестрельного оружия выбран пневматический пистолет ПМ-658К в качестве имитатора штатного ПМ- 56-А-125 по причине максимального совпадения массогабаритных характеристик и наличия имитации хода затвора при выстреле. Однако специалисту в области техники очевидно, что в качестве имитатора огнестрельного оружия может быть использована любая другая модель как пневматического, так и боевого пистолета, например, в качестве имитатора огнестрельного оружия может быть использован Gletcher PM, ТТ, Glock 17, и т.д. [31] Building 110 is a simulated firearm. The body 110 includes the main elements of a firearm, such as a frame with a barrel and a trigger guard, a bolt with a striker, a firing mechanism, a handle, a magazine. Body 110 may also include a recoil simulation mechanism, such as compressed air or a mechanical spring, to simulate the recoil associated with firing a shot. In a specific embodiment, the PM-658K pneumatic pistol is chosen as a simulator of firearms in as a simulator of the standard PM-56-A-125 due to the maximum coincidence of weight and size characteristics and the presence of a simulation of the shutter stroke when fired. However, one of ordinary skill in the art will appreciate that any other model of both an air pistol and a combat pistol can be used as a simulated firearm, for example, a Gletcher PM, TT, Glock 17, etc. can be used as a simulated firearm.
[32] Основным требованием при выборе корпуса 110 является обеспечение максимального сходства с реальным оружием (наличие магазина, имитация хода затвора, имитация отдачи) для высокого уровня погружения пользователя в виртуальную реальность и улучшения процесса обучения стрельбе и навыкам обращения с оружием. [32] The main requirement when choosing the body 110 is to ensure maximum resemblance to a real weapon (the presence of a magazine, simulated shutter travel, simulated recoil) for a high level of user immersion in virtual reality and improving the learning process of shooting and weapon handling skills.
[33] Датчик положения затвора и датчик наличия магазина представляют собой средства измерения, выполненные с возможностью определения наличия магазина имитатора оружия, например, датчик давления, датчик обжатия и т.д., и положения затвора имитатора оружия, например, датчик линейного перемещения, датчик положения, основанный на эффекте Холла и т.д. Датчик положения затвора и датчик наличия магазина соединены с модулем контроля состояния. В качестве датчика положения затвора и датчика наличия магазина в конкретном варианте реализации используется датчик положения, основанный на эффекте Холла. Для реализации датчика положения в рукоятку корпуса 110 устанавливается датчик Холла, а в магазин и затворную раму устанавливаются магниты. При совпадении каждой из осей магнитов и датчика положения формируется сигнал, который отправляется в модуль контроля состояния, где происходит дальнейшая обработка полученного сигнала. [33] The bolt position sensor and the magazine presence sensor are measuring means capable of detecting the presence of a magazine of a simulated weapon, for example, a pressure sensor, a compression sensor, etc., and the position of a shutter of a simulator weapon, for example, a linear motion sensor, position based on the Hall effect, etc. The shutter position sensor and magazine presence sensor are connected to the status control module. As the shutter position sensor and the magazine presence sensor, in a specific embodiment, a position sensor based on the Hall effect is used. To implement the position sensor, a Hall sensor is installed in the handle of the housing 110, and magnets are installed in the magazine and the bolt carrier. When each of the axes of the magnets and the position sensor coincide, a signal is generated that is sent to the status control module, where the received signal is further processed.
[34] Виброразвязка 120 обеспечивает надежное и непрерывное отслеживание положения в пространстве трекеру виртуальной реальности 130 при стрельбе. Основной функцией виброразвязки 120 является виброизоляция трекера 130 от вибраций, возникающих в устройстве 100. [34] Vibration decoupling 120 provides reliable and continuous tracking of the position in space of the virtual reality tracker 130 when firing. The main function of the vibration decoupler 120 is the vibration isolation of the tracker 130 from vibrations occurring in the device 100.
[35] В процессе обучения или тренировки стрельбы и навыков обращения с оружием с использованием контроллеров взаимодействия в виртуальной реальности, существуют ситуации, когда при резком перемещении имитатора оружия или совершении серии выстрелов, возникают сильные колебания имитатора оружия, которые воздействуют на внутренний акселерометр инерциального трекера виртуальной реальности, снижая точность позиционирования имитатора оружия в пространстве, уровень погружения пользователя, а также приводят к рассинхронизации положения имитатора оружия в пространстве и в виртуальной реальности. Такие нежелательные эффекты могут не сильно сказаться на игровом процессе рядового пользователя, однако совершенно недопустимы при обучении стрельбе полицейских, инкассаторов, военных и т.д. не ограничиваясь, где требуется высокая точность и высокий уровень погружения обучаемого, так как любая неточность при обучении может привести к чрезвычайным последствиям в реальной ситуации. [35] In the process of learning or training shooting and weapon handling skills using virtual reality interaction controllers, there are situations where, during a sharp when the weapon simulator is moved or a series of shots are fired, strong oscillations of the weapon simulator occur, which affect the internal accelerometer of the virtual reality inertial tracker, reducing the positioning accuracy of the weapon simulator in space, the user’s level of immersion, and also lead to desynchronization of the weapon simulator’s position in space and in virtual reality . Such undesirable effects may not greatly affect the gameplay of an ordinary user, but they are completely unacceptable when training police officers, collectors, military, etc. to shoot. not limited to where high accuracy and a high level of student immersion are required, since any inaccuracy in training can lead to extreme consequences in a real situation.
[36] Для устранения колебаний трекера 130, возникающих в момент выстрела или перемещения оружия, используется виброразвязка 120, представляющая собой две пластины, соединенные между собой амортизаторами, демпфирующими возникающие колебания. В одном варианте осуществления, виброразвязка 120 может состоять из пластины, которая крепится на корпус 110 имитатора оружия с помощью амортизаторов. В качестве виброразвязки 120 также может использоваться вибродемпфирующая пластина, виброопора и т.д., не ограничиваясь. [36] To eliminate vibrations of the tracker 130 that occur at the moment of firing or moving the weapon, vibration decoupling 120 is used, which consists of two plates interconnected by shock absorbers that dampen the resulting vibrations. In one embodiment, vibration decoupling 120 may consist of a plate that is attached to the body 110 of the weapon simulator using shock absorbers. As a vibration decoupler 120, a vibration damping plate, a vibration mount, etc., can also be used, without being limited.
[37] Стоит также отметить, что в настоящем описании заявленного решения термин «виброразвязка» относится к конструкции, демпфирующей вибрации, вызванные определенными факторами. Такими факторами, как указывалось выше, могут являться, например, резкое перемещение устройства 100, тряска устройства 100 и т.д., не ограничиваясь. [37] It is also worth noting that in the present description of the claimed solution, the term "vibration decoupling" refers to a structure that dampens vibrations caused by certain factors. Such factors, as mentioned above, may be, for example, sudden movement of the device 100, shaking of the device 100, etc., but not limited to.
[38] Виброразвязка 120 также содержит область для крепления трекера 130, как показано на фиг.1. Специалисту будет очевидно, что может использоваться любая конструкция виброразвязки, демпфирующая возникающие колебания в имитаторе оружия и предназначенная для установки трекера виртуальной реальности. В качестве материала из которого изготавливается пластина виброразвязки 120 может быть выбран: карбон, пластик, алюминий и т.д. [38] Vibration decoupler 120 also includes an area for attaching tracker 130 as shown in FIG. It will be obvious to a specialist that any design of vibration decoupling can be used, damping the vibrations that occur in the weapon simulator and intended for installing a virtual reality tracker. As a material from which the vibration decoupling plate 120 is made can be selected: carbon, plastic, aluminum, etc.
[39] Трекер виртуальной реальности 130 предназначен для определения положения объекта в пространстве и воссоздания положения тела в виртуальном пространстве (VR). Кроме того, трекер 130 позволяет транслировать поступающие на него события в виртуальную реальность. Также, трекер 130 содержит разъемы, предназначенные для подключения элементов контроллера, например, модуля контроля состояния. В одном варианте осуществления трекер 130 представляет собой инерциальный трекер виртуальной реальности, установленный на имитатор оружия и предназначенный для трансляции положения имитатора оружия в пространстве и набора данных о состоянии имитатора оружия в виртуальную реальность. Трекер 130 может включать в себя один или несколько акселерометров и / или гироскопов для отслеживания движения корпуса 110 контроллера 100. В другом варианте осуществления, трекер 130 может являться оптическим трекером и содержать набор датчиков положения, отслеживаемый камерами. [39] The virtual reality tracker 130 is designed to determine the position of an object in space and recreate the position of the body in virtual space (VR). In addition, the tracker 130 allows you to broadcast incoming events into virtual reality. Also, the tracker 130 contains connectors for connecting controller elements, for example, a status control module. In one embodiment, tracker 130 is an inertial virtual reality tracker mounted on a weapon simulator for broadcasting the weapon simulator's position in space and a set of weapon simulator state data into virtual reality. Tracker 130 may include one or more accelerometers and/or gyroscopes to track movement of body 110 of controller 100. In another embodiment, tracker 130 may be an optical tracker and include a set of position sensors tracked by cameras.
[40] Инерциальный трекер может представлять собой коммерчески доступный инерциальный трекер, такой как трекер Vive™ от компании НТС. Однако специалисту в данной области техники очевидно, что может использоваться любой инерциальный трекер виртуальной реальности. Трансляция данных о положение в пространстве и состоянии имитатора оружия с трекера 130 в виртуальную реальность осуществляется при помощи любого из известных проводных или беспроводных средств передачи данных, например, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др. [40] The inertial tracker may be a commercially available inertial tracker such as the Vive™ tracker from HTC. However, one skilled in the art will appreciate that any inertial virtual reality tracker can be used. The transmission of data on the position in space and the state of the weapon simulator from the tracker 130 to virtual reality is carried out using any of the known wired or wireless data transmission means, for example, a GSM modem, GPRS modem, LTE modem, 5G modem, satellite communication module, NFC module, Bluetooth and/or BLE module, Wi-Fi module, etc.
[41] Модуль контроля состояния может являться платой-контроллером, контроллером, микроконтроллером и т.д. Модуль контроля состояния также содержит инерциальный измерительный модуль и АЦП. Модуль контроля состояния выполнен с возможностью получения сигналов с датчиков положения затвора и наличия магазина, обработки полученных сигналов, определения момента совершения выстрела (схемы определения момента выстрела будут более подробно раскрыты в описании ниже), формирования набора данных о состоянии имитатора оружия на основе полученных данных от датчика положения затвора, датчика наличия магазина и данных о совершении выстрела, передачи набора данных о состоянии имитатора оружия на трекер виртуальной реальности 130. Модуль контроля состояния в конкретном варианте реализации выполнен с возможностью подключения к трекеру 130 посредством проводного соединения, однако специалисту очевидно, что может быть использованы и беспроводные средства подключения. [41] The status monitoring module may be a controller board, a controller, a microcontroller, etc. The status control module also contains an inertial measurement module and an ADC. The status control module is configured to receive signals from the shutter position and magazine presence sensors, process the received signals, determine the moment of firing (the schemes for determining the moment of firing will be described in more detail in description below), generating a data set on the state of the weapon simulator based on the data received from the shutter position sensor, the magazine presence sensor and data on the shot, transferring the data set on the state of the weapon simulator to the virtual reality tracker 130. The state control module in a particular embodiment is made with the ability to connect to the tracker 130 via a wired connection, however, it will be obvious to the person skilled in the art that wireless means of connection can also be used.
[42] Использование контроллера 100 для взаимодействия в виртуальной реальности позволяет определять момент выстрела и контролировать положение основных элементов указанного контроллера 100 (положение затвора, положение магазина), а также транслировать их в виртуальную реальность. Под виртуальной реальностью в данном случае понимается конкретное техническое средство, генерирующее виртуальный мир. Так, например, контролер 100 выполнен с возможностью трансляции данных о положении затвора, наличии магазина, ориентации в пространстве, а также данных о совершении выстрела, на компьютер, смартфон, виртуальную консоль (Oculus Rift, Playstation VR и т.д.), независимые очки или шлемы виртуальной реальности и т.д. не ограничиваясь. Основной областью применения контроллера 100 является обучение стрельбе и отработка навыков обращения с оружием в виртуальных тренажерах и симуляторах. Однако указанный контроллер 100 также предназначен и для использования в VR играх. [42] The use of the controller 100 for interaction in virtual reality allows you to determine the moment of the shot and control the position of the main elements of the specified controller 100 (shutter position, magazine position), as well as broadcast them in virtual reality. In this case, virtual reality refers to a specific technical tool that generates a virtual world. For example, the controller 100 is configured to broadcast data on the shutter position, the presence of a magazine, orientation in space, as well as data on the completion of a shot, to a computer, smartphone, virtual console (Oculus Rift, Playstation VR, etc.), independent virtual reality glasses or helmets, etc. not limited. The main area of application of the controller 100 is training in shooting and working out skills in handling weapons in virtual trainers and simulators. However, said controller 100 is also intended for use in VR games.
[43] VR тренажер по сравнению с VR игрой позволяет формировать модели поведения и отрабатывать навыки, моделируя ситуации и воспроизводя обстановку максимально близкую к жизненной. К особенностям тренажеров можно отнести реалистичную физику поведения объектов, высокую степень детализации объектов, максимально приближенный процесс обучения к реальным условиям. [43] Compared to a VR game, a VR simulator allows you to form behavior models and develop skills by simulating situations and reproducing the environment as close to life as possible. The features of the simulators include realistic physics of the behavior of objects, a high degree of detailing of objects, as close as possible the learning process to real conditions.
[44] Для соответствия высоким требованием VR тренажеров контроллер 100 обеспечивает высокий уровень погружения пользователя в виртуальную реальность за счет полного повторения функций реального оружия. Благодаря трансляции и отслеживанию положения затвора и магазина контроллера 100, а также наличию отдачи при выстреле, пользователь может видеть в виртуальной реальности движения, которые он совершает на указанном контроллере 100, что повышает уровень погружения пользователя в виртуальную реальность и расширяет возможности взаимодействия с виртуальной средой. [44] To meet the high demand of VR simulators, the controller 100 provides a high level of user immersion in virtual reality by fully replicating the functions of real weapons. Thanks to the translation and tracking of the position of the shutter and the controller magazine 100, as well as the presence of recoil when fired, the user can see in virtual reality the movements that he makes on the specified controller 100, which increases the level of immersion of the user in virtual reality and enhances the interaction with the virtual environment.
[45] Далее перейдем к рассмотрению типичного сценария работы контролера 100 в тренажере виртуальной реальности. [45] Next, we move on to consider a typical scenario for the operation of the controller 100 in a virtual reality simulator.
[46] Пользователь начинает тренировку по стрельбе и обращению с оружием в виртуальном тренажере. В качестве навыков, которые может отрабатывать пользователь при использовании контроллера 100 может быть перезарядка оружия (замена магазина), приведение оружия в боевую готовность (взвод затвора) и т.д. Тип тренировки зависит от уровня подготовки пользователя и специфики его сферы деятельности. Так, для военных может быть воспроизведен сценарий боевых действий в полевых условиях, полицейским - сценарий задержания преступника, инкассаторам - сценарий ограбления инкассаторского транспорта и т.д. При взаимодействии пользователя с контроллером 100, указанный контролер 100 непрерывно транслирует, используя трекер виртуальной реальности 130, свое положение в пространстве в виртуальную реальность. Трансляция положения в пространстве происходит параллельно с другими действиями, которые совершает пользователь на контроллере 100 и которые также транслируются в виртуальную реальность. [46] The user starts training in shooting and handling weapons in a virtual simulator. Skills that a user can practice while using the controller 100 may include reloading a weapon (changing a magazine), arming a weapon (cocking), and so on. The type of training depends on the level of training of the user and the specifics of his field of activity. So, for the military, a scenario of military operations in the field can be reproduced, for the police - a scenario for detaining a criminal, for collectors - a scenario for robbing a collection vehicle, etc. When a user interacts with the controller 100, said controller 100 continuously broadcasts, using the virtual reality tracker 130, its position in space to the virtual reality. The translation of the position in space occurs in parallel with other actions that the user performs on the controller 100 and which are also translated into virtual reality.
[47] Так, при совершении пользователем на контроллере 100 выстрела или ручного сдвига затвора для его зарядки, модуль контроля состояния получает сигнал, от датчика положения затвора, о перемещении затвора контроллера 100. При использовании в качестве датчика положения затвора датчика, основанного на эффекте Холла, в затвор контроллера 100 помещается магнит, а в рукоятке контроллера располагается датчик положения на основе эффекта Холла. В положении, когда затвор контроллера 100 смещается из исходного положения, ось магнита затвора также смещается относительно рукоятки, посредством чего в модуль контроля состояния отправляется сигнал о сдвиге затвора. При совпадении оси магнита с датчиком положения на модуль контроля состояния также отправляется сигнал о возвращении затвора в исходное положение. [48] После получения сигнала модулем контроля состояния о взаимодействии с затвором, модуль контроля состояния обрабатывает полученные данные при помощи АЦП и отправляет обработанные данные на трекер 130. Трекер 130 транслирует полученные данные в виртуальную реальность посредством проводной или беспроводной связи. [47] Thus, when the user fires a shot on the controller 100 or manually moves the shutter to charge it, the status control module receives a signal from the shutter position sensor that the shutter of the controller 100 has moved. When using a sensor based on the Hall effect as a shutter position sensor , a magnet is placed in the shutter of the controller 100, and a position sensor based on the Hall effect is located in the handle of the controller. In a state where the shutter of the controller 100 is displaced from its home position, the axis of the shutter magnet is also displaced relative to the handle, whereby a shutter displacement signal is sent to the status control module. When the axis of the magnet coincides with the position sensor, a signal is also sent to the status control module to return the shutter to its original position. [48] After the state monitoring module receives a gate interaction signal, the state monitoring module processes the received data with an ADC and sends the processed data to the tracker 130. The tracker 130 broadcasts the received data to virtual reality via wired or wireless communication.
[49] Аналогичный подход используется и при определении наличия магазина, с помощью датчика наличия магазина, в корпусе контроллера 100. Когда пользователь взаимодействует с магазином контроллера 100, модуль контроля состояния получает сигнал от датчика наличия магазина об изменении положения магазина. Например, при разрядке магазина пользователь получает сигнал в виртуальной реальности о необходимости совершить замену магазина. Для совершения замены магазина пользователь извлекает из контроллера 100 магазин и вставляет его заново. Очевидно, что при совершении операции замены пользователь может взаимодействовать и с несколькими магазинами. В качестве датчика положения магазина может быть использован, например, датчик, основанный на эффекте Холла, как и для контроля положения затвора контроллера 100. Для этого в рукоятку контроллера 100 помещается датчик положения на основе эффекта Холла, а в магазин контроллера 100 помещается магнит. При изъятии магазина из контроллера 100, датчик наличия магазина отправляет сигнал на модуль контроля состояния об смещении оси магнита от рукоятки. При установке магазина в контроллер 100, датчик наличия магазина отправляет на модуль контроля состояния сигнал о совпадении осей магнита и рукоятки. [49] A similar approach is used to detect the presence of a magazine using the magazine presence sensor in the controller 100 body. When a user interacts with the magazine of the controller 100, the status control module receives a signal from the magazine presence sensor to change the position of the magazine. For example, when the magazine is empty, the user receives a signal in virtual reality about the need to replace the magazine. To perform a magazine change, the user removes the magazine from the controller 100 and reinserts it. Obviously, when performing a replacement operation, the user can interact with several stores. As a magazine position sensor, for example, a Hall effect sensor can be used, as well as to control the shutter position of the controller 100. To do this, a Hall effect position sensor is placed in the handle of the controller 100, and a magnet is placed in the controller 100 magazine. When the magazine is removed from the controller 100, the magazine presence sensor sends a signal to the status control module about the displacement of the magnet axis from the handle. When the magazine is installed in the controller 100, the magazine presence sensor sends a signal to the status control module that the axes of the magnet and the handle coincide.
[50] После получения сигнала модулем контроля состояния о взаимодействии с магазином, модуль контроля состояния обрабатывает полученный сигнал при помощи АЦП и отправляет обработанные данные на трекер 130. Трекер 130 транслирует полученные данные в виртуальную реальность. [50] After the status monitoring module receives a signal about the interaction with the store, the status monitoring module processes the received signal using the ADC and sends the processed data to the tracker 130. The tracker 130 broadcasts the received data into virtual reality.
[51] Отслеживание положения затвора и наличия магазина позволяет достичь синхронизации между действиями пользователя, совершаемыми на контроллере 100 и изображением, видимым пользователем в виртуальной реальности. Так, благодаря такой синхронизации пользователь при отведении затвора вручную или совершении выстрела, или замене магазина видит в реальном времени сдвиг затвора и изъятие магазина в виртуальной реальности, что повышает тактильную связь и уровень погружения в виртуальную среду. [51] Tracking the position of the shutter and the presence of the store allows you to achieve synchronization between the actions of the user performed on the controller 100 and the image seen by the user in virtual reality. So, thanks to this synchronization, the user, when retracting the shutter manually or making a shot, or magazine replacement sees real-time shutter shift and magazine removal in virtual reality, which enhances tactile connectivity and immersion in the virtual environment.
[52] При совершении выстрела пользователем, посредством нажатия на спусковой механизм, такой как курок, контроллера 100, модуль контроля состояния определяет момент совершения выстрела, используя одну из двух схем определения выстрела. При нажатии на спусковой механизм контролера 100, ударник затвора смещается и бьет по патрону для совершения выстрела. При этом при ударе возникает отдача, вызванная высвобождающейся энергией пули, которая перемещает ударник в обратную сторону от удара для подачи следующего патрона из магазина и совершения следующего выстрела. При этом, в качестве механизма отдачи в контроллере 100 может использоваться сжатый воздух, пружина и т.д., имитирующие энергию боевого патрона и перемещающие ударник в положение обратное от удара после совершения выстрела. Энергия отдачи вызывает вибрации и колебания контроллера 100, которые в свою очередь приводят к ошибкам позиционирования в пространстве трекера 130. Для устранения таких колебаний в трекере 130 без уменьшения силы отдачи в контроллере 100 используется виброразвязка 120 (описанная выше). К указанной виброразвязке 120 крепится трекер 130, что обеспечивает демпфирование колебаний, возникающих при перемещении или выстреле контроллера 100 в указанном трекере 130. [52] When a user fires a shot, by pulling a trigger mechanism such as a trigger of the controller 100, the status control module determines when the shot was fired using one of two shot determination schemes. When the trigger of the controller 100 is pressed, the striker of the bolt is displaced and hits the cartridge to fire the shot. In this case, upon impact, recoil occurs, caused by the released energy of the bullet, which moves the striker in the opposite direction from the impact to feed the next cartridge from the magazine and make the next shot. At the same time, compressed air, a spring, etc., can be used as a recoil mechanism in the controller 100, simulating the energy of a live cartridge and moving the striker to the reverse position from the impact after the shot is fired. The recoil energy causes vibrations and vibrations of the controller 100, which in turn lead to positioning errors in the space of the tracker 130. To eliminate such vibrations in the tracker 130 without reducing the recoil force, the vibration decoupling 120 (described above) is used in the controller 100. The tracker 130 is attached to the specified vibration decoupling 120, which provides damping of vibrations that occur when the controller 100 is moved or fired in the specified tracker 130.
[53] Возвращаясь к схемам определения момента совершения выстрела, модуль контроля состояния выполнен с возможностью определения момента совершения выстрела посредством инерциального измерительного модуля и посредством внутренней механики. [53] Returning to the firing timing determination circuits, the condition control module is configured to determine the firing timing by the inertial measurement module and by internal mechanics.
[54] Для определения момента совершения выстрела посредством инерциального измерительного модуля модуль контроля состояния непрерывно опрашивает, инерциальный измерительный модуль и обрабатывает полученные данные методом скользящего среднего. На основе собранных данных модуль контроля состояния формирует уровень плато вибраций контроллера 100. Уровень плато формируется в пределах определенного временного окна. При превышении допустимого уровня вибраций, который представляет собой уровень плато, инерциальный измерительный модуль отправляет сигнал на модуль контроля состояния. Так, когда пользователь нажимает на спусковой механизм контроллера 100, ударник затвора контроллера 100 совершает удар, что вызывает сильную вибрацию. После того, как инерциальный измерительный модуль зафиксировал превышение допустимого уровня вибраций, инерциальный измерительный модуль отправляет сигнал о превышении допустимого уровня вибраций модулю контроля состояния. Модуль контроля состояния на основе полученных данных вызывает функцию обработки выстрела. Пока происходит функция обработки выстрела, модуль контроля состояния также на определенное время блокирует дальнейшее детектирование выстрела. Например, после детектирования выстрела, модуль контроля состояния подает управляющий сигнал на инерциальный измерительный модуль о прекращении измерения уровня вибраций на 100 мс. Это исключает многократный отклик на совершенный выстрел. Для фиксации выстрела в виртуальной реальности, после завершения обработки выстрела, модуль контроля состояния подает сигнал о совершенном выстреле на трекер 130. [54] In order to determine the firing moment by means of the inertial measurement module, the condition monitoring module continuously interrogates the inertial measurement module and processes the obtained data using a moving average method. Based on the collected data, the condition monitoring module generates a vibration plateau level for the controller 100. The plateau level is generated within a certain time window. When the permissible level is exceeded vibration, which is a plateau level, the inertial measurement module sends a signal to the condition monitoring module. Thus, when the user presses the trigger of the controller 100, the striker of the shutter of the controller 100 strikes, which causes a strong vibration. After the inertial measurement module has detected an excess of the permissible vibration level, the inertial measurement module sends a signal about the excess of the permissible vibration level to the condition monitoring module. The state control module, based on the received data, calls the shot processing function. While the shot processing function is in progress, the status control module also blocks further shot detection for a certain time. For example, after detecting a shot, the status control module sends a control signal to the inertial measurement module to stop measuring the vibration level for 100 ms. This eliminates multiple response to a perfect shot. To fix the shot in virtual reality, after the completion of the shot processing, the status control module sends a signal about the perfect shot to the tracker 130.
[55] Схема определения выстрела по внутренней механике раскрыта на фиг. 2. [55] A scheme for determining a shot by internal mechanics is disclosed in FIG. 2.
В магазин 220 устанавливаются подпружиненные контакты 210, которые замыкаются при нажатии на спусковой механизм 230. Специалисту в области техники будет очевидно, что вместо подпружиненных контактов 210 могут использоваться датчики обжатия и т.д. Подпружиненные контакты 210 соединены с модулем контроля состояния (не показан). При нажатии пользователем на спусковой механизм 230, контакты 210 замыкаются и модуль контроля состояния получает сигнал о совершении выстрела. Далее модуль контроля состояния вызывает функцию обработки выстрела. Для фиксации выстрела в виртуальной реальности, после завершения обработки выстрела, модуль контроля состояния подает сигнал о совершенном выстреле на трекер 130. Spring-loaded contacts 210 are installed in magazine 220 and close when trigger 230 is depressed. It will be appreciated by one skilled in the art that compression sensors, etc., may be used in place of spring-loaded contacts 210. Spring loaded contacts 210 are connected to a condition monitoring module (not shown). When the user presses the trigger 230, the contacts 210 close and the status control module receives a signal to fire. Next, the state control module calls the shot processing function. To fix the shot in virtual reality, after the completion of the shot processing, the status control module sends a signal about the perfect shot to the tracker 130.
[56] Схема определения выстрела может быть выбрана в зависимости от скорострельности имитируемого оружия. Так, если контроллер 100 выполнен в виде пистолета-пулемета, то целесообразнее, для повышения точности определения выстрела, использовать внутреннюю механику определения выстрела, т.к. высокая скорострельность создает сильные колебания, из-за которых накапливаются ошибки в инерциальном измерительном модуле, приводя к некорректному формированию уровня плато и, следовательно, некорректному определению момента выстрела. [56] The shot definition scheme can be selected depending on the rate of fire of the simulated weapon. So, if the controller 100 is made in the form of a submachine gun, then it is more expedient to increase shot detection accuracy, use the internal mechanics of shot detection, because high rate of fire creates strong fluctuations, due to which errors accumulate in the inertial measurement module, leading to incorrect formation of the plateau level and, consequently, incorrect determination of the moment of the shot.
[57] Таким образом, в представленных материалах заявки описан контроллер взаимодействия в виртуальной реальности, предназначенный для тренировки стрельбы и навыков обращения с оружием в виртуальном тренажере и симуляторе. [57] Thus, the submitted application materials describe a virtual reality interaction controller designed to train shooting and weapon handling skills in a virtual trainer and simulator.
[58] Модификации и улучшения вышеописанных вариантов осуществления настоящего технического решения будут ясны специалистам в данной области техники. Предшествующее описание представлено только в качестве примера и не несет никаких ограничений для целей осуществления иных частных вариантов воплощения заявленного технического решения, не выходящего за рамки испрашиваемого объема правовой охраны. Конструктивные элементы, такие как микроконтроллеры, блоки, модули и т.д., описанные выше и используемые в данном техническом решении, могут быть реализованы с помощью электронных компонентов, используемых для создания цифровых интегральных схем. [58] Modifications and improvements to the above embodiments of the present technical solution will be clear to experts in this field of technology. The previous description is presented only as an example and does not carry any restrictions for the implementation of other particular embodiments of the claimed technical solution that does not go beyond the requested scope of legal protection. Structural elements such as microcontrollers, blocks, modules, etc., described above and used in this technical solution, can be implemented using electronic components used to create digital integrated circuits.
Claims
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020134609 | 2020-10-21 | ||
| RU2020134609 | 2020-10-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022086361A1 true WO2022086361A1 (en) | 2022-04-28 |
Family
ID=81290888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/RU2020/000714 Ceased WO2022086361A1 (en) | 2020-10-21 | 2020-12-16 | Controller for interacting in virtual reality |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2022086361A1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115371492A (en) * | 2022-09-30 | 2022-11-22 | 杭州虚仿科技有限公司 | A pistol VR shooting training device |
| US20230061207A1 (en) * | 2021-08-26 | 2023-03-02 | Street Smarts VR | Mount for adapting weapons to a virtual tracker |
| US20240139619A1 (en) * | 2022-10-27 | 2024-05-02 | AceXR, LLC | Handgun simulation assembly with mating cradle for virtual reality controller |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090010876U (en) * | 2008-04-22 | 2009-10-27 | (주)슛업 | A simulation firearms |
| DE102014200531A1 (en) * | 2014-01-14 | 2015-07-16 | Thales Deutschland Gmbh | A firearm for use in a weapon simulator, valve means for such a firearm, and weapon simulator for such a firearm |
| US10234240B2 (en) * | 2013-05-09 | 2019-03-19 | Shooting Simulator, Llc | System and method for marksmanship training |
-
2020
- 2020-12-16 WO PCT/RU2020/000714 patent/WO2022086361A1/en not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090010876U (en) * | 2008-04-22 | 2009-10-27 | (주)슛업 | A simulation firearms |
| US10234240B2 (en) * | 2013-05-09 | 2019-03-19 | Shooting Simulator, Llc | System and method for marksmanship training |
| DE102014200531A1 (en) * | 2014-01-14 | 2015-07-16 | Thales Deutschland Gmbh | A firearm for use in a weapon simulator, valve means for such a firearm, and weapon simulator for such a firearm |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230061207A1 (en) * | 2021-08-26 | 2023-03-02 | Street Smarts VR | Mount for adapting weapons to a virtual tracker |
| US11852436B2 (en) * | 2021-08-26 | 2023-12-26 | Street Smarts VR, Inc. | Mount for adapting weapons to a virtual tracker |
| CN115371492A (en) * | 2022-09-30 | 2022-11-22 | 杭州虚仿科技有限公司 | A pistol VR shooting training device |
| US20240139619A1 (en) * | 2022-10-27 | 2024-05-02 | AceXR, LLC | Handgun simulation assembly with mating cradle for virtual reality controller |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8528244B2 (en) | System and method for weapons instrumentation technique | |
| EP1007896B1 (en) | Network-linked laser target firearm training system | |
| US6059573A (en) | Mortar training device with functional simulated propelling charges | |
| WO2022086361A1 (en) | Controller for interacting in virtual reality | |
| KR20090113875A (en) | Simulated firearms with multiple integrated laser engagement systems | |
| US20210270569A1 (en) | Firearm simulation arrangement for a virtual reality system | |
| KR20250024762A (en) | Haptic system for gun simulator | |
| CN111486746B (en) | A grenade launch virtual training platform and training method | |
| RU206671U1 (en) | VIRTUAL REALITY INTERACTION CONTROLLER | |
| EA041214B1 (en) | VR INTERACTION CONTROLLER | |
| US20230068506A1 (en) | Recoil mount for usage with weapons in a virtual reality system | |
| US11852436B2 (en) | Mount for adapting weapons to a virtual tracker | |
| WO2024102059A1 (en) | Vr trigger control device to place inside a gun | |
| RU236038U1 (en) | VIRTUAL REALITY PISTOL SIMULATOR | |
| RU227033U1 (en) | PISTOL SIMULATOR IN VIRTUAL REALITY | |
| US20240318935A1 (en) | Recoil shot detection in an extended reality system | |
| US20250116475A1 (en) | Training Device and System for Firearm Weapon, Method for Controlling, and Use Thereof | |
| RU10920U1 (en) | SIMULATOR FOR TRAINING OPERATORS OF MANAGED WEAPONS | |
| RU2583018C1 (en) | Video shooting simulator | |
| US20230060494A1 (en) | Apparatus for adapting replica weapons to a virtual reality system | |
| EP4022244B1 (en) | Weapon training assembly | |
| KR20110043352A (en) | Trigger detection device using optical signal | |
| IL308309B1 (en) | Weapons training system | |
| IL316972A (en) | Weapon training assembly | |
| UA155658U (en) | Fitness center |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20958829 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20958829 Country of ref document: EP Kind code of ref document: A1 |