WO2020186314A1

WO2020186314A1 - Use of smartphones in calibrating simulators for pilots

Info

Publication number: WO2020186314A1
Application number: PCT/AZ2019/000004
Authority: WO
Inventors: Ариф Мир Джалал ПАШАЕВ; Роальд Зиннурович САГДЕЕВ; Даниель Алексеевич УСИКОВ; Адалет Солтан САМЕДОВ; Энвер Тапдыг ГАЗАРХАНОВ; Тогрул Иса КЕРИМЛИ; Васиф Айдын НЕЙМАТОВ; Сеймур Мир Мустафа КЕРИМОВ
Original assignee: National Aviation Academy
Current assignee: National Aviation Academy
Priority date: 2019-03-18
Filing date: 2019-03-18
Publication date: 2020-09-24
Anticipated expiration: 2021-09-18

Abstract

The invention relates to aviation, specifically to devices for teaching and training pilots on the ground (simulators). The invention describes methods of calibrating simulators which are equipped with a dynamic platform so as to maximally approximate a pilot's actions and perceptions in a simulator to the actions and perceptions of a pilot in a real aircraft. The main difference of the proposed device consists in that the information collection system does not require a connection to any onboard telemetry channel of the aircraft, which substantially simplifies the entire procedure since it eliminates the need to obtain permission from the aircraft manufacturer for the necessary modifications of the telemetry channels of the aircraft. The video information received using modern image identification methods is converted into the digital form necessary for subsequent calibration of the simulator.

Description

ИСПОЛЬЗОВАНИЕ СМАРТФОНОВ В ПРОЦЕССЕ КАЛИБРОВКИ ТРЕНАЖЕРОВ USING SMARTPHONES DURING SIMULATOR CALIBRATION

ДЛЯ ПИЛОТОВ FOR PILOTS

Изобретение относится к авиации, в частности к устройствам обучения и тренировки пилотов на земле (тренажеры). Изобретение описывает методы калибровки тренажеров, оснащенных динамической платформой, с целью максимального приближения действий и ощущений пилота на тренажере к соответствующим действиям и ощущениям пилота на реальном воздушном судне (ВС). В изобретении эта цель достигается комбинацией доступных технических средств, известных математических методов оптимизации, а также методов кодирования и распознавания изображений В качестве датчиков для калибровки используютс смартфоны, имеющие видеокамеры высокого разрешения, трёхосные акселерометры, датчиков давления, GPS, и датчики приближения (proxlmitysensofs) [1], которые размещены в кабине пилота таким: образом, чтобы не мешать пилоту, и в то же время осуществляющие видеофиксацию всех его основных действий, таких как управление штурвалом, тягой и рулями направления. Смартфоны также ведут видеозапись приборов в кабине пилотов самолета, показания которых затем используются для калибровки тренажера. В результате калибровки, во-первых, уточняется модель полета самолета, и, во- вторых, создается наилучшая имйтацияислытываемых пилотом ускорений при помощи динамической платформы тренажера. The invention relates to aviation, in particular to devices for teaching and training pilots on the ground (simulators). The invention describes methods for calibrating simulators equipped with a dynamic platform in order to maximally approximate the actions and feelings of the pilot on the simulator to the corresponding actions and feelings of the pilot on a real aircraft (AC). In the invention, this goal is achieved by a combination of available technical means, known mathematical optimization methods, as well as methods of encoding and image recognition. Smartphones with high-resolution video cameras, triaxial accelerometers, pressure sensors, GPS, and proximity sensors (proxlmitysensofs) are used as sensors for calibration [ 1], which are located in the cockpit in such a way as not to interfere with the pilot, and at the same time video recording of all his main actions, such as control of the steering wheel, thrust and rudders. Smartphones also record video recordings of cockpit instruments, which are then used to calibrate the simulator. As a result of the calibration, firstly, the aircraft flight model is refined, and, secondly, the best imitation of the accelerations given by the pilot is created using the dynamic platform of the simulator.

Изобретение значительно упрощает процесс получения динамических данных реального ВС, а также последующей калибровки виртуальной модели ВО и динамической платформы тренажера, а также избавляет от необходимости использования специальных бортовых систем регистраций динамических характеристик реального ВС. The invention greatly simplifies the process of obtaining dynamic data of a real aircraft, as well as subsequent calibration of the virtual model of the AO and the dynamic platform of the simulator, and also eliminates the need to use special onboard systems for recording the dynamic characteristics of a real aircraft.

Изобретение может быть использовано как для тренажеров, снабженных динамической платформой, так и без нее. The invention can be used for simulators equipped with a dynamic platform, and without it.

Существуют приложения к смартфонам [2], которые способны получать полетную информацию о ВС, если самолет подключен к системе NexfGen, с использованием протокола Automatic Dependent Surveillance— Broadcast, (ADS-B). Недостатком системы является не только то, что многие ВС не подключены к системе, но и в том, что передается очень ограниченный объём полетной информации, и только раз в секунду. Этого далеко недостаточно, чтобы на основе передаваемых данных производить калибровку тренажера. Отдельные примеры применения смартфонов в авиации можно найти в разных публикациях. Так в работе [3] описан метод калибровки сенсора атмосферного давления в смартфоне данные о которого используются для калибровки модели самолета. Применение смартфона для определения свойств атмосферы на разных высотах с помощью дронов описывается в работе [4]. Примеры использования смартфонов для калибровки отдельных приборов в кабине пилотов можно найти в [5]. There are applications for smartphones [2] that are able to receive flight information about the aircraft if the aircraft is connected to the NexfGen system using the Automatic Dependent Surveillance — Broadcast (ADS-B) protocol. The disadvantage of the system is not only that many aircraft are not connected to the system, but also that a very limited amount of flight information is transmitted, and only once a second. This is far from enough to calibrate the simulator based on the transmitted data. Selected examples of the use of smartphones in aviation can be found in various publications. So in [3], a method for calibrating an atmospheric pressure sensor in a smartphone is described, the data on which is used to calibrate an aircraft model. The use of a smartphone to determine the properties of the atmosphere at different altitudes using drones is described in [4]. Examples of using smartphones to calibrate individual instruments in the cockpit can be found in [5].

Известен способ получения динамических данных реального ВС, наиболее близкими является патенты US2G160G27335A1 и RU2523G92C2 [6/7]. В них описывается автоматизированный сбор аудио- и видеоинформации на борту самолета. Видеокамеры располагаются в различных местах кабины пилотов, откуда снимаются движения рук пилотов, показания инструментов, расположенных на кабине пилотов перед пилотами, и вид из окон кабины. Записанные изображения и другие данные синхронизируются с позицией самолета, его скоростью и другими телеметрическими сигналами, поступающими от приборов в кабине пилотов и аудио сигналами от диспетчеров. A known method for obtaining dynamic data of a real aircraft, the closest is patents US2G160G27335A1 and RU2523G92C2 [6/7]. They describe the automated collection of audio and video information on board an aircraft. Video cameras are located in various places in the cockpit, from where the movements of the pilots' hands, the readings of instruments located on the cockpit in front of the pilots, and the view from the cockpit windows are recorded. Recorded images and other data are synchronized with the aircraft's position, speed and other telemetry signals from cockpit instruments and audio signals from controllers.

Основное отличие предлагаемого устройства собирания информации от описанного в указанных выше патентах заключается в том, что система сбора информации не нуждается в подключении к какому-либо бортовому телеметрическому каналу самолета, что существенно упрощает всю процедуру, так как избавляет от необходимости получения разрешения от фирмы- изготовителя самолета на необходимые модификации телеметрических каналов самолета. Кроме того, полученная видеоинформация при помощи современных методов распознавания изображений превращается в цифровую форму, необходимую для последующей калибровки тренажера. The main difference between the proposed device for collecting information from that described in the above patents is that the information collection system does not need to be connected to any onboard telemetry channel of the aircraft, which greatly simplifies the entire procedure, since it eliminates the need to obtain permission from the manufacturer. aircraft for the necessary modifications of the aircraft telemetry channels. In addition, the received video information is converted into a digital form using modern image recognition methods, which is necessary for the subsequent calibration of the simulator.

На рис.1 показана последовательность получения и обработки данных в данном изобретении о целью калибровки тренажера. Figure 1 shows the sequence of data acquisition and processing in this invention about the purpose of the simulator calibration.

Вначале пилот осуществляет полет на реальном воздушном судне. Все его основные действия и соответствующая реакция самолета на эти действия запоминаются на регистраторах (Блок А, рис. 1 ). В качестве устройств, получающих и записывающих информацию о полете, используется необходимое число смартфонов (на схеме Блок А, рис. 1 помечены красными точками), имеющих видеокамеры высокого разрешения, трёхосные акселерометры, высотомер и датчики приближения (proximity sensors), которые размещены в кабине пилотов таки образом, чтобы не мешать пилоту, и в то же время осуществлятьеидеозапись всех его основных действий, таких как управление штурвалом, тягой и рулями направления. Смартфоны также ведут видеозапись приборов в кабине пилотов самолета, показания которых затем используются для калибровки тренажера. Для синхронизации показаний со всех датчиков всех смартфонов, перед началом записи синхронизируются часы всех смартфонов. Для упрощения хранения потока данных, цифровые данные (метка времени кадра, показания акселерометров и высотомера) превращаются в текст и включаются в кадр текущего изображения видеокамеры смартфона (например, помещаются внизу каждого кадра). First, the pilot flies on a real aircraft. All his main actions and the corresponding reaction of the aircraft to these actions are memorized on the recorders (Block A, Fig. 1). The required number of smartphones (in the diagram Block A, Fig. 1 marked with red dots) with high-resolution video cameras, three-axis accelerometers, an altimeter and proximity sensors located in the cockpit are used as devices that receive and record information about the flight. pilots in such a way so as not to interfere with the pilot, and at the same time make an video recording of all his basic actions, such as steering wheel, thrust and rudders. Smartphones also record video recordings of cockpit instruments, which are then used to calibrate the simulator. To synchronize readings from all sensors of all smartphones, the clocks of all smartphones are synchronized before recording. To simplify storage of the data stream, digital data (frame timestamp, accelerometers and altimeter readings) are converted into text and included in the frame of the current image of the smartphone video camera (for example, placed at the bottom of each frame).

После окончания полета дешифрируются данные, записанные в виде фильмов на смартфонах (Блок В, рис 1). Цель дешифровки - получить в цифровом виде все необходимые данные, чтобы появилась возможность повторить полет с теми же командами пилота, но уже в автоматическом режиме попета на тренажере. Метка времени кадра, показания акселерометров и высотомера извлекаются из картинки каждого кадра с помощью OCR {opticaicharacterrecognition) и превращаются в цифровую форму. Необходимые показания приборов в кабине пилотов считываются методами распознавания изображений, которые разрабатываются специально для каждого прибора. Определение текущего положение штурвала, рукоятки тяги и педалей требуют более сложных методов обработки изображений. Они базируются на измерении 3D положений камер смартфонов в системе координат кабины пилотов, ориентации камер смартфонов в стой системе координат и 3D положения устройства управления полетом самолета. Для ускорения измерений положений устройств можно использовать датчики приближения (proximity sensors) смартфонов. Если смартфон снабжен устройством расчета карты глубин, то он также может быть использовать для отслеживания текущего положения устройств управления. After the end of the flight, the data recorded in the form of films on smartphones are decrypted (Block B, Fig. 1). The purpose of decryption is to receive in digital form all the necessary data so that it becomes possible to repeat the flight with the same pilot's commands, but in automatic mode, it will be played on the simulator. The frame time stamp, accelerometer and altimeter readings are extracted from the picture of each frame using OCR (opticaicharacterrecognition) and converted into digital form. The required readings of the instruments in the cockpit are read by image recognition methods that are developed specifically for each instrument. Determining the current position of the handwheel, throttle stick, and pedals requires more sophisticated image processing techniques. They are based on measuring the 3D positions of smartphone cameras in the cockpit coordinate system, orientation of smartphone cameras in the fixed coordinate system, and 3D position of the aircraft flight controller. Proximity sensors of smartphones can be used to speed up measurements of device positions. If the smartphone is equipped with a device for calculating a depth map, then it can also be used to track the current position of control devices.

После того, как определены цифровые положения приборов управления самолетов для всех моментов полета реального ВС, эти данные используются для автоматизированного воспроизведения полета на модели самолета в данном тренажере_. Полетные данные запоминаются для последующей калибровки модели самолета (Блок С, рис. 1). After the digital positions of the aircraft control devices have been determined for all moments of flight of the real aircraft, these data are used for automated flight simulation on the aircraft model in this simulator _. Flight data are stored for subsequent calibration of the aircraft model (Block C, Fig. 1).

На следующем этапе калибровки сравниваются полетные данные реального BG и тренажера. Обнаруженное расхождение показаний датчиков положения в пространстве и соответствующих ускорений на реальном ВС и на виртуальном ВС затем устраняется путем подгонки параметров модели самолета (Блок D, рис, 1). Разные симуляторы (например, Flight Simulator, Prepar 3D [8]) могут использовать различные математические модели полета самолета. Калибровка осуществляется в полуавтоматическом режиме. Вначале выбираются те параметры модели самолета, которые влияют на обнаруженное расхождение в полетных данных. Затем эти параметры подгоняются автоматически с использованием одного или нескольких стандартных математических методов оптимизации (градиентные методы, метод сопряженных градиентов, Support Vector Machine (SVM) и другие). Могут потребоваться несколько итераций (Блок С и Блок D) пока будут вычислены оптимальные параметры модели самолета. На этом заканчивается калибровка модели самолета. The next stage of calibration compares the flight data of the real BG and the simulator. The detected discrepancy between the readings of the position sensors in space and the corresponding accelerations on the real aircraft and on the virtual aircraft is then eliminated by adjusting the parameters of the aircraft model (Block D, Fig. 1). Various simulators (eg Flight Simulator, Prepar 3D [8]) can use various mathematical models of aircraft flight. Calibration is carried out in a semi-automatic mode. First, those parameters of the aircraft model are selected that affect the detected discrepancy in the flight data. These parameters are then automatically fitted using one or more standard mathematical optimization methods (gradient methods, conjugate gradient method, Support Vector Machine (SVM), and others). Several iterations (Block C and Block D) may be required until the optimal parameters of the aircraft model are calculated. This completes the calibration of the aircraft model.

Если тренажер снабжен динамической моделью, имитирующей ускорения реального самолета, то производится также калибровка методов имитации ускорений (Блок Е, рис. 1). Для этого записываются данные акселерометров со смартфонов, укрепленных на динамической платформе тренажеров тех же позициях в системе координат кабины пилотов тренажера, что и в кабине пилотов реального тренажера, Необходимость устанавливать смартфоны в позициях на динамической платформе, эквивалентных позициям в кабине пилотов реального ВС, связана с тем, что ускорения для различных точек в самолете не обязательно совпадают Примером может служить поворот самолета вокруг его продольной оси. При этом первый и второй пилот испытают противоположные ускорения, проектируемые на плоскость перпендикулярную оси поворота. Однако, в большинстве случаев разность в ускорениях невелика, так что, практически, для калибровки можно ограничиться одним смартфоном, прикрепленным где-либо креслу пилота на динамическом платформе, Производится автоматический полет на тренажере по той же траектории, что использовалась для калибровки динамической модели самолета, и запоминаются данные с акселерометров смартфона. If the simulator is equipped with a dynamic model that simulates the acceleration of a real aircraft, then the methods for simulating accelerations are also calibrated (Block E, Fig. 1). To do this, the data of accelerometers are recorded from smartphones mounted on the dynamic platform of simulators in the same positions in the cockpit coordinate system of the simulator as in the cockpit of the real simulator.The need to install smartphones in positions on the dynamic platform that are equivalent to positions in the cockpit of a real aircraft is associated with the fact that accelerations for different points in an airplane do not necessarily coincide. An example is the rotation of an airplane around its longitudinal axis. In this case, the first and second pilots will experience opposite accelerations projected onto a plane perpendicular to the pivot axis. However, in most cases, the difference in accelerations is small, so that, in practice, for calibration, you can limit yourself to one smartphone attached somewhere to the pilot's seat on a dynamic platform.Automatic flight is performed on the simulator along the same trajectory that was used to calibrate the dynamic aircraft model. and the data from the smartphone accelerometers are stored.

Последняя стадия калибровки программы, вычисляющей поведение динамической программы (Блок Е, рис. 1), методически близок к описанной выше (Блок D, рис. 1). Сравниваются ускорения, испытываемые пилотами во время реального полета на ВС, с ускорениями, зафиксированными на динамической платформе тренажера. Расчетная программа корректируется, если отклонения превосходят допустимые. Сравнение ускорений не является тривиальным, так как допустимо использование специальных трюков (например, использования метода washout), эксплуатирующих артефакты восприятия человеком ускорений при наличии визуальной информации, противоречащей реальным ускорениям. Подробное описание имитационных артефактов ускорений на тренажерах можно найти во многих руководствах [9]. The last stage of the calibration of the program calculating the behavior of the dynamic program (Block E, Fig. 1) is methodically close to the one described above (Block D, Fig. 1). The accelerations experienced by the pilots during a real flight in the aircraft are compared with the accelerations recorded on the dynamic platform of the simulator. The calculation program is corrected if the deviations exceed the permissible ones. Comparison of accelerations is not trivial, since it is permissible to use special tricks (for example, using the washout method) that exploit the artifacts of human perception of accelerations in the presence of visual information that contradicts real accelerations. A detailed description of simulated acceleration artifacts on simulators can be found in many manuals [9].

ИСТОЧНИКИ ИНФОРМАЦИИ SOURCES OF INFORMATION

1 "How То”: Video on checking the calibration on a tachometer using a video camera, ceil phone, or iPad 1 "How That": Video on checking the calibration on a tachometer using a video camera, ceil phone, or iPad

hg|^; /www,voutMbe,oom/watch?v“ Kd6FZy~OVV8 hg | ^; / www, voutMbe, oom / watch? v “Kd6FZy ~ OVV8

2. Приложения для смартфона, которые получают текущую информацию о полете самолета 2. Smartphone applications that receive current information about the aircraft flight

https://nuil~byte.wondefhow o,com/hoW tQ/t:rack~ads-b-eauspped-aircraft-VQyi- smartp hone-017 666/ https: //nuil~byte.wondefhow o, com / hoW tQ / t: rack ~ ads-b-eauspped-aircraft-VQyi- smartp hone-017 666 /

3. Как калибровать сенсоры на смартфоне 3. How to calibrate sensors on a smartphone

ht ps://www,andrQidpit com/ho 40 Calbrate~sensDrs-on-android- ht ps: // www, andrQidpit com / ho 40 Calbrate ~ sensDrs-on-android-

4. Proximity sensors

https://piay.goopte.som store/aope/cleta ls?ici~com.mobjjodireotion.proximitvsens orreset&hteert https: //piay.goopte.som store / aope / cleta ls? ici ~ com.mobjjodireotion.proximitvsens orreset & hteert

5. Exploring the atmosphere using smartphones. 5. Exploring the atmosphere using smartphones.

https_::/ 3rxiv._:org/?tp/arxiv/papem/1512/1512.0151 i .pdf https _:: / 3rxiv. _: org /? tp / arxiv / papem / 1512 / 1512.0151 i .pdf

6. Flight training image recordin apparatus, https://patents,pgg(|le,cogi^atejit ySg0iep02?335 6. Flight training image recordin apparatus, https: // patents, pgg (| le, cogi ^ atejit ySg0iep02? 335

7. integrated system of _^flight _^ infb^^accfuisitiom ^ control, processing and7.integrated system of _^ flight _^ infb ^^ accfuisitiom ^ control, processing and

8. htlomsoft flight simulator hftps://en.wiklpedla,ora/w / icmsoft Flight Simulator8.htlomsoft flight simulator hftps: //en.wiklpedla,ora/w / icmsoft Flight Simulator

9. The perfect illusion: Technology of full flight simulators

Claims

FORMULA OF THE INVENTION USING SMARTPHONES IN THE PROCESS OF CALIBRATING SIMULATOR FOR PILOTS

1. Measurement of the response of an aircraft (AC) to the actions of pilots by means of one or more smartphones located in the cockpit is carried out 8 in the following sequence: 30 The position of smartphones and their orientation in the cockpit coordinate system is measured using a measuring tape and eclimeters, or using proximity sensors; during the flight, each smartphone records aircraft accelerations along three axes, air pressure, GPS data, recording from a video camera and smartphone microphones; video cameras of smartphones record pictures of devices on the cockpit, the actions of the pilots with their hands and feet, the speech of the pilots; at the end of the flight, the accumulated information in smartphones turns into digital form: video information from cockpit instruments is converted into digital information by means of pattern recognition; video information of pilots' actions on control instruments is digitized (taking into account the 3D position of smartphones in the cockpit) by means of object recognition and tracking in the scene; the received digital information is divided into two data streams - "command stream", those. aircraft control commands from the side of the pilots, and the “flow of aircraft behavior”, i.e. the reaction of the aircraft to the commands given.

2. Calibration of the parameters of the aircraft model used in the simulator is performed in the following sequence: by successive iterations, where the simulator is automatically controlled by the flow of commands used in the real flight; the response of the simulator is recorded, that is, the “tray of aircraft model behavior”, which is compared with the flow of the model's behavior; to eliminate the observed discrepancy, the corresponding parameters of the aircraft model are changed and the next iteration is performed; iterations are repeated until the flows of behavior of the real aircraft and its model in the simulator begin to coincide within the specified accuracy.

3. Calibration of control methods for the dynamic platform of the simulator is carried out in the following sequence: placing smartphones on the dynamic platform s the same positions in the simulator cockpit coordinate system as in the cockpit of a real simulator; if the aircraft does not make fast rolls, then in practice it is enough to place only one smartphone on the platform; an automatic flight is performed on the simulator under the control of the flow of commands used in the real flight of the aircraft, and the readings of the accelerometers of the smartphone mounted on the platform are recorded; taking into account the corrections from washout methods and fixed gravity on the ground, the accelerations in the real aircraft are compared with those achieved by the corresponding simulation on the dynamic platform; upon detection of tangible differences, the method of managing the dynamic platform is modified; iterations are repeated until an acceptable match is achieved in the subjective feelings of the pilot on the real aircraft and the pilot on the simulator.

4. Calibration of control methods for the dynamic platform of the simulator, containing the features of claim 3., Differs in that the calibration is performed by placing smartphones with high-precision calibration accelerometers connected to it on the dynamic platform in the same positions in the cockpit coordinate system of the simulator as in cockpit of a real simulator.