[go: up one dir, main page]

RU2735196C1 - Control method of landing of small unmanned aerial vehicle - Google Patents

Control method of landing of small unmanned aerial vehicle Download PDF

Info

Publication number
RU2735196C1
RU2735196C1 RU2019143472A RU2019143472A RU2735196C1 RU 2735196 C1 RU2735196 C1 RU 2735196C1 RU 2019143472 A RU2019143472 A RU 2019143472A RU 2019143472 A RU2019143472 A RU 2019143472A RU 2735196 C1 RU2735196 C1 RU 2735196C1
Authority
RU
Russia
Prior art keywords
unmanned aerial
aerial vehicle
landing
platform
vision system
Prior art date
Application number
RU2019143472A
Other languages
Russian (ru)
Inventor
Дмитрий Владимирович Рыбаков
Денис Александрович Гаврилов
Иван Иванович Пасечников
Александр Владимирович Краюхин
Original Assignee
федеральное государственное бюджетное образовательное учреждение высшего образования "Тамбовский государственный университет имени Г.Р. Державина"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by федеральное государственное бюджетное образовательное учреждение высшего образования "Тамбовский государственный университет имени Г.Р. Державина" filed Critical федеральное государственное бюджетное образовательное учреждение высшего образования "Тамбовский государственный университет имени Г.Р. Державина"
Priority to RU2019143472A priority Critical patent/RU2735196C1/en
Application granted granted Critical
Publication of RU2735196C1 publication Critical patent/RU2735196C1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00—Ground or aircraft-carrier-deck installations
    • B64F1/18—Visual or acoustic landing aids
    • B64F1/20—Arrangement of optical beacons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

FIELD: aviation.
SUBSTANCE: invention relates to control method of small unmanned aerial vehicle (SUAV) landing on platform of universal robotic platform. To implement the method, the system of binocular stereoscopic vision placed on the platform is activated, focused on the SUAV, depth maps of the stereo image are calculated and the distance in real time is determined therefrom, based on which control commands are sent over the radio channel to correct SUAV flight. Additionally, a command is sent to the aircraft to search for LED marks displayed on the LED panel for orientation on them using the technical vision system located on it.
EFFECT: higher accuracy of automatic landing of unmanned aerial vehicle.
4 cl, 5 dwg

Description

Изобретение относится к способам управления скоростью изменения высоты полета и может быть использовано в составе системы управления универсальной роботизированной платформы базирования беспилотных летательных аппаратов для осуществления их контролируемой автоматической посадки.The invention relates to methods for controlling the rate of change in flight altitude and can be used as part of a control system for a universal robotic platform for basing unmanned aerial vehicles for their controlled automatic landing.

Из уровня техники известен способ точной посадки беспилотного летательного аппарата (RU 2539703 C1, МПК В64С 13/20, опубл. 27.01.2015). Способ включает в себя выполнение посадки БЛА в улавливающую сеть. При этом предварительно формируют круговую зону захода на посадку, для чего в заданной точке посадки устанавливают ненаправленный источник радиоизлучения, а на борту БЛА устанавливают радиопеленгатор, выполняют автономный ввод БЛА в зону захода на посадку, используя штатное бортовое навигационное оборудование, производят прием сигналов ненаправленного источника радиоизлучения и выполняют его угловое сопровождение в горизонтальной и вертикальной плоскостях бортовым радиопеленгатором, по данным которого с помощью бортовой системы управления формируют команды самонаведения БЛА на источник радиоизлучения.From the prior art, there is a known method for precise landing of an unmanned aerial vehicle (RU 2539703 C1, IPC В64С 13/20, publ. 27.01.2015). The method includes landing a UAV in a capture network. At the same time, a circular approach zone is preliminarily formed, for which a non-directional source of radio emission is installed at a given landing point, and a radio direction finder is installed on board the UAV, autonomous entry of the UAV into the approach zone is performed, using standard on-board navigation equipment, and signals from a non-directional radio emission source are received and perform its angular tracking in the horizontal and vertical planes with an on-board radio direction finder, according to which, using the on-board control system, UAV homing commands to the radio emission source are formed.

Недостатком известного способа точной посадки является то, что он применим только к беспилотным летательным аппаратам самолетного типа и не применим для БЛА других типов. Кроме того при посадке БЛА в улавливающую сеть значительно возрастает вероятность повреждения летательного аппарата.The disadvantage of the known precision landing method is that it is applicable only to unmanned aerial vehicles of the aircraft type and is not applicable to UAVs of other types. In addition, when the UAV lands in the trapping net, the probability of damage to the aircraft significantly increases.

Наиболее близким техническим решением к заявленному изобретению и выбранным в качестве прототипа признан способ контроля автоматической посадки/взлета беспилотного летательного аппарата на круглую посадочную сетку платформы (RU 2490687 C1, МПК G05D 1/06, опубл. 20.08.2013). Способ включает в себя этапы отслеживания движений, вычисления среднего положения, вычисления предсказаний положения и вычисления минимальных значений скорости перемещения сетки, а также этап определения положения беспилотного летательного аппарата, при этом если беспилотный летательный аппарат не может следовать за перемещением сетки и если перемещение сетки является ограниченным, то есть меньше ее радиуса, применяют стратегию посадки путем отслеживания среднего положения сетки, тогда как, если перемещение сетки является значительным, то есть превышающим радиус сетки, применяют стратегию посадки путем позиционирования по минимальным значениям скорости сетки.The closest technical solution to the claimed invention and selected as a prototype is the method of monitoring the automatic landing / takeoff of an unmanned aerial vehicle on a circular landing grid of the platform (RU 2490687 C1, IPC G05D 1/06, publ. 08/20/2013). The method includes the steps of tracking movements, calculating the average position, calculating position predictions and calculating the minimum values of the velocity of the mesh movement, as well as the step of determining the position of the unmanned aerial vehicle, while if the unmanned aerial vehicle cannot follow the movement of the mesh and if the movement of the mesh is limited , that is, less than its radius, a landing strategy is applied by tracking the average position of the mesh, whereas if the movement of the mesh is significant, that is, exceeding the radius of the mesh, a landing strategy is applied by positioning at the minimum values of the mesh velocity.

Недостатком известного способа является сложность его адаптации для решения задач регулярного автоматического беспилотного мониторинга объектов и территорий в удаленных и труднодоступных районах.The disadvantage of this method is the complexity of its adaptation to solve the problems of regular automatic unmanned monitoring of objects and territories in remote and hard-to-reach areas.

Технической задачей, на решение которой направлено заявленное изобретение, является обеспечение возможности автоматической точной посадки малого беспилотного летательного аппарата на универсальную роботизированную платформу базирования.The technical problem to be solved by the claimed invention is to provide the possibility of automatic precise landing of a small unmanned aerial vehicle on a universal robotic home platform.

Указанная задача решена тем, что способ управления посадкой беспилотного летательного аппарата включает отслеживание системой управления универсальной роботизированной платформы базирования перемещений малого беспилотного летательного аппарата и передачу ему управляющих команд для выполнения маневра на снижение и заход на посадку по радиоканалу. Отличает способ от известных аналогов то, что предварительно активируют светодиодную панель, закрепленную на взлетно-посадочной площадке универсальной роботизированной платформы, отображающую светотехнические метки для ориентации по ним системы технического зрения малого беспилотного летательного аппарата, активируют систему бинокулярного стереоскопического зрения, установленную на универсальной роботизированной платформе базирования, фокусируют ее на летательном аппарате, вычисляя карты глубины стереоизображения и определяя расстояние от него до универсальной роботизированной платформы в реальном времени. На этапах выравнивания и выдерживания подают команду малому беспилотному летательному аппарату на поиск светотехнических меток, отображаемых светодиодной панелью, корректируя его полет на основе вычисляемого расстояния от летательного аппарата до универсальной роботизированной платформы. После нахождения малым беспилотным летательным аппаратом взлетно-посадочной площадки и зависания над ней подают летательному аппарату команду на поиск светотехнических меток, нанесенных на поверхность универсальной роботизированной платформы, а при снижении вертикальной скорости и приземлении корректируют скорость и координаты малого беспилотного летательного аппарата с помощью системы технического зрения упомянутого летательного аппарата и системы бинокулярного стереоскопического зрения платформы базирования.This problem is solved by the fact that the method for controlling the landing of an unmanned aerial vehicle includes tracking by a control system of a universal robotic platform for basing the movements of a small unmanned aerial vehicle and transmitting control commands to it to perform a descent and approach maneuver via a radio channel. The method differs from known analogs in that it pre-activates the LED panel fixed on the runway of the universal robotic platform, displaying light-technical marks for orientation of the vision system of a small unmanned aerial vehicle, activates the binocular stereoscopic vision system installed on the universal robotic basing platform , focus it on the aircraft, calculating the depth maps of the stereo image and determining the distance from it to the universal robotic platform in real time. During the alignment and maintenance stages, a command is given to the small unmanned aerial vehicle to search for the lighting marks displayed by the LED panel, correcting its flight based on the calculated distance from the aircraft to the universal robotic platform. After the small unmanned aerial vehicle finds the landing site and hovers over it, the aircraft is given a command to search for lighting marks applied to the surface of the universal robotic platform, and with a decrease in vertical speed and landing, the speed and coordinates of the small unmanned aerial vehicle are adjusted using a vision system the above-mentioned aircraft and the binocular stereoscopic vision system of the basing platform.

Положительным техническим результатом, обеспечивающимся раскрытой выше совокупностью признаков способа, является возможность пространственной ориентации малого беспилотного летательного аппарата и его автоматической посадки на универсальную роботизированную платформу базирования малых беспилотных летательных аппаратов (МБЛА).A positive technical result provided by the set of features of the method disclosed above is the possibility of spatial orientation of a small unmanned aerial vehicle and its automatic landing on a universal robotic platform for basing small unmanned aerial vehicles (MBLA).

Изобретение поясняется чертежами, где на фиг. 1 представлен общий вид универсальной роботизированной платформы базирования МБЛА; на фиг. 2 представлена взлетно-посадочная площадка с зафиксированным на ней малым беспилотным летательным аппаратом; на фиг. 3 представлено устройство технического зрения, используемого в составе системы бинокулярного зрения и системе технического зрения беспилотного летательного аппарата; на фиг. 4 представлен малый беспилотный летательный аппарат мультироторного типа с закрепленной на ней системе технического зрения; на фиг 5 приведена геометрическая схема системы бинокулярного зрения.The invention is illustrated by drawings, where Fig. 1 shows a general view of the universal robotic platform based MBLA; in fig. 2 shows a runway with a small unmanned aerial vehicle fixed on it; in fig. 3 shows a vision device used as part of a binocular vision system and a vision system of an unmanned aerial vehicle; in fig. 4 shows a small unmanned aerial vehicle of a multi-rotor type with a vision system attached to it; Fig. 5 shows a geometric diagram of a binocular vision system.

Способ управления посадкой беспилотного летательного аппарата осуществляется с помощью технических средств, состав и структура которых описаны ниже.The method for controlling the landing of an unmanned aerial vehicle is carried out using technical means, the composition and structure of which are described below.

Универсальная роботизированная платформа базирования 1 беспилотных летательных аппаратов закреплена на крыше наземного транспортного средства 2 высокой проходимости. Платформа включает в себя роботизированный док 3, содержащий взлетно-посадочную площадку 4, выполненную с возможностью посадки на нее беспилотных летательных аппаратов 5 вертикального взлета и их фиксации, снабженную узлом бесконтактной зарядки аккумуляторных батарей упомянутых аппаратов.A universal robotic base platform 1 for unmanned aerial vehicles is fixed on the roof of a ground vehicle 2 with high cross-country ability. The platform includes a robotic dock 3 containing a runway 4, made with the possibility of landing unmanned aerial vehicles 5 of vertical take-off on it and fixing them, equipped with a contactless battery charging unit for said vehicles.

Система бинокулярного стереоскопического зрения выполнена на основе двух устройств технического зрения, включающих в себя камеры, размещенные в одной плоскости таким образом, что главные оптические оси камер являются взаимно параллельными друг другу и перпендикулярными плоскости камер. Камеры работают синхронно и передают видеопоток по беспроводному каналу связи на сервер системы управления универсальной роботизированной платформы, снабженный Ethernet-контроллером и WiFi-модулем, выполняющий вычисление карты глубины изображения и распознавание трехмерных объектов в реальном времени. Система управления платформой дополнительно снабжена радиостанцией.The binocular stereoscopic vision system is based on two technical vision devices, including cameras located in one plane so that the main optical axes of the cameras are mutually parallel to each other and perpendicular to the plane of the cameras. The cameras work synchronously and transmit the video stream over a wireless communication channel to the server of the control system of the universal robotic platform equipped with an Ethernet controller and a WiFi module, which calculates the image depth map and recognizes three-dimensional objects in real time. The platform control system is additionally equipped with a radio station.

Каждое из устройств технического зрения имеет следующую конструкцию.Each of the vision devices has the following design.

Основой устройства является корпус 6, с закрепленной на его внешней поверхности видеокамерой 7 с USB-выходом, совмещенной с дальномером (на фигурах условно не показан), подключенной с помощью USB-кабеля к видеовходу 8 блока управления, размещенному внутри корпуса 6, выполненного на основе микроконтроллера 9, содержащего микропроцессорное ядро 10, соединенное с помощью системной шины с FLASH-памятью программ 11, SRAM-памятью данных 12, USB-контроллером 13, Ethernet-контроллером 14, модулем LCD-интерфейса 15, интерфейсом ввода-вывода общего назначения, сгруппированного в восьмиразрядный GPI/O-порт ввода-вывода 16, и модулем подключения SD-карты 17. Видеокамера 7 выполнена с возможностью получения видеопотока сверхвысокой четкости, к USB-контроллеру 13 подключен видеовход 8 блока управления, Ethernet-контроллер 14 подключен к WiFi-модулю 18, к модулю LCD-интерфейса 15 электрически подключен TFT-дисплей 19, к восьмиразрядному GPI/O-порту ввода-вывода 16 подключена кнопочная клавиатура 20, а в слот модуля подключения SD-карты 17 вставлена и электрически соединена с модулем SD-карта 21.The basis of the device is the case 6, with a video camera 7 with a USB-output fixed on its outer surface, combined with a range finder (not shown in the figures), connected with a USB cable to the video input 8 of the control unit located inside the case 6, made on the basis of a microcontroller 9 containing a microprocessor core 10, connected via a system bus to FLASH program memory 11, SRAM data memory 12, USB controller 13, Ethernet controller 14, LCD interface module 15, general purpose I / O interface, grouped into an eight-bit GPI / O-port 16, and a module for connecting an SD-card 17. The video camera 7 is designed to receive an ultra-high-definition video stream, the video input 8 of the control unit is connected to the USB controller 13, and the Ethernet controller 14 is connected to the WiFi module 18, a TFT display 19 is electrically connected to the LCD interface module 15, a keypad 20 is connected to the eight-digit GPI / O-port 16, and an SD card 21 is inserted into the slot of the SD card connection module 17 and electrically connected to the module.

В качестве видеокамеры, выполненной с возможностью получения видеопотока сверхвысокой четкости, может быть применена «экшн камера» модели YI 4K+1 (1 Экшн камера YI 4К+ // YI. URL: http://www.yitechnology.ru/yi-4k-plus-action-camera-specs (дата обращения: 12.12.2019)); в качестве дальномера может быть использован лазерный датчик расстояния VL53L0X2 (2 Датчик расстояния лазерный VL53L0X // MCU Store. URL: https://mcustore.ru/store/datchiki-i-sensory / datchik-rasstoyaniya-lazernyj-v15310x-gy-530/?gclid=Cj0KCQiA89zvBRDoARIsAOIePbAKYLBUlgBsySS-4FmwgHK5KG8k2w9CO0-86m76K2SSK7HJMBKzRFgaAoVHEALwwcB (дата обращения: 12.12.2019)), подключенный к микроконтроллеру посредством интерфейса I2C; в качестве микроконтроллера может быть использована любая известная микросхема на микропроцессорном ядре Cortex-M4F/R, ориентированном на создание высокопроизводительных систем реального времени для авиации и других ответственных применений. В качестве такой микросхемы может быть применен отечественный микроконтроллер К1921ВК01Т3 (3 Практический курс микропроцессорной техники на базе процессорных ядер ARM-Cortex-M3/M4/M4F [электронный ресурс]: учебное пособие - электрон, текстовые дан. (12 Мб) / В.Ф. Козаченко, А.С. Анучин, Д.И. Алямкин и др.; под общ. ред. В.Ф. Козаченко. - М.: Издательство МЭИ, 2019. - 543 с. Режим доступа: http://motorcontrol.ru/wp-content/uploads/2019/04/Практический курс микропроцессор.pdf); в качестве WiFi-модуля может быть использована сборка ESP8266-014 (4 Модуль ESP8266-01 WiFi // MCU Store. URL: https://mcustore.ru/store/moduli-svazi/modul-wifi-esp8266/?gclid=CjwKCAiA58fvBRAzEiwAQW-hzezFoQo60DEhZStdn7fMT-5DeNRZ2oIBfBdkNm5re0i2KG bfe3YFBoCu08QAvD BwE. (дата обращения: 12.12.2019)), а в качестве TFT-дисплея модель RPI LCD5 (5 3.2 inch RPi LCD // ChipDip.ru URL: https://www.chipdip.ru/product/3.2inch-rpi-lcd-b (дата обращения: 12.12.2019)) с резистивным сенсорным экраном и диагональю 8,1 см.An "action camera" model YI 4K + 1 ( 1 Action camera YI 4K + // YI. URL: http://www.yitechnology.ru/yi-4k-) can be used as a video camera capable of receiving an ultra-high definition video stream. plus-action-camera-specs (date accessed 12.12.2019)); as a rangefinder can be used laser distance sensor VL53L0X 2 ( 2 Laser distance sensor VL53L0X // MCU Store. URL: https://mcustore.ru/store/datchiki-i-sensory / datchik-rasstoyaniya-lazernyj-v15310x-gy- 530 /? Gclid = Cj0KCQiA89zvBRDoARIsAOIePbAKYLBUlgBsySS-4FmwgHK5KG8k2w9CO0-86m76K2SSK7HJMBKzRFgaAoVHEALwwcB (date of access: 12.12.2019 to the microcontroller) 2 Croller; Any known microcircuit based on the Cortex-M4F / R microprocessor core, aimed at creating high-performance real-time systems for aviation and other critical applications, can be used as a microcontroller. As such a microcircuit, the domestic microcontroller K1921VK01T 3 can be used ( 3 Practical course of microprocessor technology based on ARM-Cortex-M3 / M4 / M4F processor cores [electronic resource]: textbook - electron, text data. (12 Mb) / V. F. Kozachenko, A. S. Anuchin, D. I. Alyamkin and others; under the general editorship of V. F. Kozachenko .-- Moscow: MPEI Publishing House, 2019 .-- 543 pp. Access mode: http: // motorcontrol.ru/wp-content/uploads/2019/04/ Practical course microprocessor.pdf); assembly ESP8266-01 4 ( 4 Module ESP8266-01 WiFi // MCU Store.URL: https://mcustore.ru/store/moduli-svazi/modul-wifi-esp8266/?gclid= CjwKCAiA58fvBRAzEiwAQW-hzezFoQo60DEhZStdn7fMT-5DeNRZ2oIBfBdkNm5re0i2KG bfe3YFBoCu08QAvD BwE (reference date: 12.12.2019).), as well as TFT-display model RPI LCD 5 (5 3.2 inch RPi LCD // ChipDip.ru URL: https://www.chipdip.ru /product/3.2inch-rpi-lcd-b (date accessed 12.12.2019)) with resistive touchscreen and 8.1 cm diagonal.

Для осуществления способа посадки малый беспилотный летательный аппарат снабжают системой технического зрения, состоящей из одного устройства, конструкция которого описана выше. Корпус устройства закрепляют на кронштейне 22 малого беспилотного летательного аппарата 5. После активации блока управления с помощью кнопочной клавиатуры 20 и TFT-дисплея 19 производят калибровку устройства, заключающуюся в настройке режимов видеосъемки видеокамеры 7, конфигурировании параметров Ethernet-контроллера 14 и WiFi-модуля 18, для осуществления обмена данными между микроконтроллером 9 системой управления МБЛА и системой управления универсальной роботизированной платформы базирования беспилотных летательных аппаратов. Конфигурирование параметров Ethernet-контроллера 14 и WiFi-модуля 18 включает в себя выбор способа шифрования данных (предпочтительным является шифрование WPA2] и ввод ключа безопасности сети. В SD-карту 21 записывают изображения-эталоны светотехнических меток, нанесенных на поверхность универсальной роботизированной платформы базирования МБЛА, после чего SD-карту 21 устанавливают в гнездо модуля интерфейса подключения SD-карты 17.To implement the landing method, a small unmanned aerial vehicle is equipped with a vision system consisting of one device, the design of which is described above. The body of the device is fixed on the bracket 22 of a small unmanned aerial vehicle 5. After activating the control unit using the keypad 20 and the TFT display 19, the device is calibrated, which consists in setting the video recording modes of the video camera 7, configuring the parameters of the Ethernet controller 14 and WiFi module 18, for data exchange between the microcontroller 9, the MBLA control system and the control system of the universal robotic platform for basing unmanned aerial vehicles. Configuring the parameters of the Ethernet controller 14 and WiFi module 18 includes the choice of the data encryption method (WPA2 encryption is preferred] and entering the network security key. Image-standards of lighting marks applied to the surface of the MBLA universal robotic base platform are recorded into the SD card 21 , after which the SD card 21 is installed in the slot of the SD card connection interface module 17.

Способ управления посадкой беспилотного летательного аппарата осуществляют следующим образом.The method for controlling the landing of an unmanned aerial vehicle is as follows.

При выполнении всех этапов полета система управления универсальной роботизированной платформы базирования осуществляет отслеживание перемещений малого беспилотного летательного аппарата (МБЛА) мультироторного типа по радиоканалу.During all flight stages, the control system of the universal robotic base platform monitors the movements of a multi-rotor small unmanned aerial vehicle (MBLA) via a radio channel.

Последний этап полета связан с выполнением посадки МБЛА «по-вертолетному», при этом посадочной траектории такого способа присущи следующие элементы: выравнивание, выдерживание и висение.The last stage of the flight is associated with the implementation of the MBLA landing "in a helicopter" way, while the landing trajectory of this method is characterized by the following elements: alignment, holding and hovering.

Перед началом передачи управляющих команд для выполнения маневра на снижение и заход на посадку система управления роботизированной платформы на основе управляющей программы раскрывает створки ангара платформы и с помощью рычажного механизма 23 выдвигает из роботизированного дока 3 взлетно-посадочную площадку 4, а затем активирует светодиодную панель 24, закрепленную на взлетно-посадочной площадке и формирующую сложные динамически изменяемые светотехнические метки, различимые системой технического зрения беспилотного летательного аппарата на большой высоте, обеспечивающие пространственную ориентацию по ним МБЛА. Далее система управления активирует систему бинокулярного стереоскопического зрения, установленную на универсальной роботизированной платформе базирования и фокусирует ее на летательном аппарате.Before the start of the transmission of control commands for the descent and landing maneuver, the control system of the robotic platform, based on the control program, opens the platform hangar doors and, using the lever mechanism 23, pushes the runway 4 out of the robotic dock 3, and then activates the LED panel 24, fixed on the runway and forming complex dynamically variable lighting marks, distinguishable by the technical vision system of an unmanned aerial vehicle at a high altitude, providing the MBLA spatial orientation along them. The control system then activates the binocular stereoscopic vision system installed on a universal robotic home platform and focuses it on the aircraft.

После подачи команды МБЛА на выполнение маневра на снижение и захода на посадку система управления платформы начинает в реальном времени осуществлять его съемку с помощью системы бинокулярного стереоскопического зрения, вычисляя карты глубины стереоизображения и определяя расстояние от МБЛА до универсальной роботизированной платформы.After the MBLA command has been given to perform a descent maneuver and an approach, the platform control system begins to take pictures of it in real time using the binocular stereoscopic vision system, calculating the depth maps of the stereo image and determining the distance from the MBLA to the universal robotic platform.

Вычисление карт глубины стереоизображения включает в себя предобработку входных данных, вычисление диспаритета пикселей и конечную постобработку выходных данных медианным фильтром. Под диспаритетом понимается расстояние между пикселями одного и того же объекта на левом и правом изображении. Существующие локальные методы по вычислению карты диспаритета основаны на принципе «скользящего окна». Они характеризуются определенной сбалансированностью скорости-качества, хорошо масштабируются и реализуются на таких параллельных архитектурах, как видеокарты6 (6 Kanade Т., Okutomi М.А. Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment // Proceedings of the 1991 IEEE International Conference on Robotics and Automation (ICRA'91). 1991. P. 1088-1095.).The computation of stereo image depth maps includes preprocessing the input data, calculating the pixel disparity and final post-processing of the output data with a median filter. Disparity refers to the distance between pixels of the same object in the left and right images. The existing local methods for calculating the disparity map are based on the "sliding window" principle. They are characterized by a certain balance of speed and quality, scale well and are implemented on such parallel architectures as video cards 6 ( 6 Kanade T., Okutomi M.A. Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment // Proceedings of the 1991 IEEE International Conference on Robotics and Automation (ICRA'91). 1991. P. 1088-1095.).

Расстояние от платформы до МБЛА может быть определено следующим образом. Учитывая, что оптические оси видеокамер 7 параллельны, а сами камеры находятся друг от друга на некотором расстоянии d, известно фокусное расстояние камер ƒ и начало координат О (фиг. 5), для вычисления трехмерной координаты точки положения МБЛА М (х, у, z) в мировых координатах трехмерного пространства можно использовать следующие зависимости:The distance from the platform to the MBLA can be determined as follows. Considering that the optical axes of the video cameras 7 are parallel, and the cameras themselves are at a certain distance d from each other, the focal length of the cameras ƒ and the origin of coordinates O are known (Fig. 5), to calculate the three-dimensional coordinate of the MBLA position point M (x, y, z ) in the world coordinates of three-dimensional space, you can use the following dependencies:

Figure 00000001
Figure 00000001

где L(x1, у1) - левая проекция точки М; R(x2, у2) - правая проекция точки М; d - расстояние между камерами; ƒ - фокусное расстояние.where L (x 1 , y 1 ) is the left projection of the point M; R (x 2 , y 2 ) - right projection of point M; d is the distance between cameras; ƒ - focal length.

Полученные данные передаются по радиоканалу малому беспилотному летательному аппарату и используются системой его управления для корректировки траектории полета летательного аппарата.The received data is transmitted over the radio channel to a small unmanned aerial vehicle and is used by its control system to correct the flight trajectory of the aircraft.

На этапах выравнивания и выдерживания система управления платформы подает беспилотному летательному аппарату команду на поиск светотехнических меток, отображаемых светодиодной панелью. Для этого система технического зрения МБЛА с помощью видеокамеры 7 выполняет непрерывную съемку взлетно-посадочной площадки с заданной частотой кадров и разрешением, передавая видеопоток через видеовход 8 и USB-контроллер 13 микроконтроллеру 9 для обработки изображений и распознавания светотехнических меток на основе управляющей программы, хранящейся во FLASH-памяти программ 11. Процедура распознавания меток выполняется в несколько этапов. На первом этапе выполняется бинарное квантование изображения, на втором этапе выполняется логическая обработка изображения, заключающаяся в определении координат и площади найденных меток, на последнем этапе осуществляется идентификация объектов путем сравнения их выборочных характеристик с параметрами объектов-эталонов изображений светотехнических меток, хранящихся в памяти SD-карты 21.During the leveling and holding phases, the platform control system instructs the UAV to search for the lighting marks displayed by the LED panel. For this, the MBLA technical vision system, using a video camera 7, performs continuous shooting of the take-off and landing site with a given frame rate and resolution, transmitting the video stream through the video input 8 and the USB controller 13 to the microcontroller 9 for image processing and recognition of light technical marks based on the control program stored in FLASH-memory programs 11. The procedure for recognizing marks is carried out in several stages. At the first stage, binary quantization of the image is performed, at the second stage, logical image processing is performed, which consists in determining the coordinates and area of the found marks, at the last stage, objects are identified by comparing their sample characteristics with the parameters of reference objects of images of light technical marks stored in the SD memory. cards 21.

После нахождения беспилотным летательным аппаратом взлетно-посадочной площадки и зависания над ней система управления платформой подает команду беспилотному летательному аппарату на поиск светотехнических меток, нанесенных на поверхность универсальной роботизированной платформы.After the unmanned aerial vehicle finds the landing site and hovers over it, the platform control system issues a command to the unmanned aerial vehicle to search for lighting marks applied to the surface of the universal robotic platform.

При снижении вертикальной скорости и приземлении скорость и координаты малого беспилотного летательного аппарата корректируются с помощью системы технического зрения упомянутого МБЛА и системой управления платформой на основе видеопотока, получаемого от бинокулярной системы стереоскопического зрения способами, описанными выше.With a decrease in vertical speed and landing, the speed and coordinates of the small unmanned aerial vehicle are corrected using the technical vision system of the said MBLA and the platform control system based on the video stream received from the binocular stereoscopic vision system by the methods described above.

Таким образом, рассмотренный в настоящей заявке способ, обеспечивает посадку малого беспилотного летательного аппарата на взлетно-посадочную площадку универсальной роботизированной платформы в автоматическом режиме с высокой точностью, за счет применения двух систем коррекции положения - системы бинокулярного стереоскопического зрения платформы и системы технического зрения МБЛА.Thus, the method considered in this application provides for the landing of a small unmanned aerial vehicle on the runway of a universal robotic platform in an automatic mode with high accuracy, due to the use of two position correction systems - the binocular stereoscopic vision system of the platform and the MBLA vision system.

Claims (4)

1. Способ управления посадкой беспилотного летательного аппарата, включающий отслеживание системой управления универсальной роботизированной платформы базирования перемещений малого беспилотного летательного аппарата и передачу ему управляющих команд для выполнения маневра на снижение и заход на посадку по радиоканалу, отличающийся тем, что предварительно активируют светодиодную панель, закрепленную на взлетно-посадочной площадке универсальной роботизированной платформы, отображающую светотехнические метки для ориентации по ним системы технического зрения малого беспилотного летательного аппарата, активируют систему бинокулярного стереоскопического зрения, установленную на универсальной роботизированной платформе базирования, фокусируют ее на летательном аппарате, вычисляя карты глубины стереоизображения и определяя расстояние от него до универсальной роботизированной платформы в реальном времени; на этапах выравнивания и выдерживания подают команду малому беспилотному летательному аппарату на поиск светотехнических меток, отображаемых светодиодной панелью, корректируя его полет на основе вычисляемого расстояния от летательного аппарата до универсальной роботизированной платформы; после нахождения малым беспилотным летательным аппаратом взлетно-посадочной площадки и зависания над ней подают летательному аппарату команду на поиск светотехнических меток, нанесенных на поверхность универсальной роботизированной платформы, а при снижении вертикальной скорости и приземлении корректируют скорость и координаты малого беспилотного летательного аппарата с помощью системы технического зрения упомянутого летательного аппарата и системы бинокулярного стереоскопического зрения платформы базирования.1. A method for controlling the landing of an unmanned aerial vehicle, including tracking by a control system of a universal robotic platform for basing the movements of a small unmanned aerial vehicle and transmitting control commands to it to perform a descent and landing approach via a radio channel, characterized in that the LED panel fixed on the take-off and landing site of a universal robotic platform, displaying light technical marks for orientation along them of the technical vision system of a small unmanned aerial vehicle, activates the binocular stereoscopic vision system installed on a universal robotic home platform, focuses it on the aircraft, calculating the depth maps of the stereo image and determining the distance from him to a universal robotic platform in real time; at the stages of alignment and maintenance, a command is given to the small unmanned aerial vehicle to search for the lighting marks displayed by the LED panel, correcting its flight based on the calculated distance from the aircraft to the universal robotic platform; after the small unmanned aerial vehicle finds the landing site and hovers over it, the aircraft is given a command to search for lighting marks applied to the surface of the universal robotic platform, and with a decrease in vertical speed and landing, the speed and coordinates of the small unmanned aerial vehicle are adjusted using a vision system the said aircraft and the binocular stereoscopic vision system of the basing platform. 2. Способ по п. 1, отличающийся тем, что карты глубины стереоизображения формируют, выполняя предобработку входных данных, вычисление диспаритета пикселей и осуществляя конечную постобработку выходных данных медианным фильтром.2. The method according to claim 1, characterized in that the depth maps of the stereo image are formed by performing preprocessing of the input data, calculating the pixel disparity and performing the final post-processing of the output data with a median filter. 3. Способ по п. 1, отличающийся тем, что для поиска светотехнических меток, отображаемых светодиодной панелью, системой технического зрения МБЛА с помощью видеокамеры выполняют непрерывную съемку взлетно-посадочной площадки с заданной частотой кадров и разрешением, передавая видеопоток через видеовход и USB-контроллер микроконтроллеру системы технического зрения для обработки изображений и распознавания светотехнических меток на основе управляющей программы, хранящейся во FLASH-памяти программ.3. The method according to claim 1, characterized in that in order to search for the lighting marks displayed by the LED panel, the MBLA vision system uses a video camera to continuously record the runway at a given frame rate and resolution, transmitting the video stream through the video input and the USB controller a microcontroller of a computer vision system for image processing and recognition of lighting technical marks based on a control program stored in the FLASH program memory. 4. Способ по п. 3, отличающийся тем, что для распознавания меток выполняют бинарное квантование изображения, далее выполняют логическую обработку изображения, заключающуюся в определении координат и площади найденных меток, затем осуществляют идентификацию объектов путем сравнения их выборочных характеристик с параметрами объектов-эталонов изображений светотехнических меток, хранящихся в памяти SD-карты.4. The method according to claim 3, characterized in that for recognition of marks, binary quantization of the image is performed, then logical processing of the image is performed, which consists in determining the coordinates and area of the found marks, then identification of objects is carried out by comparing their sample characteristics with the parameters of image reference objects lighting tags stored in the SD card memory.
RU2019143472A 2019-12-24 2019-12-24 Control method of landing of small unmanned aerial vehicle RU2735196C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2019143472A RU2735196C1 (en) 2019-12-24 2019-12-24 Control method of landing of small unmanned aerial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2019143472A RU2735196C1 (en) 2019-12-24 2019-12-24 Control method of landing of small unmanned aerial vehicle

Publications (1)

Publication Number Publication Date
RU2735196C1 true RU2735196C1 (en) 2020-10-28

Family

ID=73398360

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019143472A RU2735196C1 (en) 2019-12-24 2019-12-24 Control method of landing of small unmanned aerial vehicle

Country Status (1)

Country Link
RU (1) RU2735196C1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2769016C1 (en) * 2021-08-11 2022-03-28 Федеральное государственное автономное образовательное учреждение высшего образования «Южно-Уральский государственный университет (национальный исследовательский университет)» ФГАОУ ВО «ЮУрГУ (НИУ)» Reusable rocket landing control system with artificial intelligence

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007124014A2 (en) * 2006-04-19 2007-11-01 Swope John M System for position and velocity sense and control of an aircraft
US20170314924A1 (en) * 2016-04-28 2017-11-02 Rogerson Aircraft Corporation System and method for determining a synthesized position of a vehicle
RU2666479C1 (en) * 2015-07-16 2018-09-07 Сафран Электроникс Энд Дифенс Method of providing the automatic landing of the flying apparatus
RU2666975C1 (en) * 2017-11-22 2018-09-13 Общество с ограниченной ответственностью "СЪЕМКА С ВОЗДУХА" System of landing of unmanned aerial vehicle and landing vehicle of vertical take-off and landing
WO2019055340A2 (en) * 2017-09-13 2019-03-21 X Development Llc A backup navigation system for unmanned aerial vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007124014A2 (en) * 2006-04-19 2007-11-01 Swope John M System for position and velocity sense and control of an aircraft
RU2666479C1 (en) * 2015-07-16 2018-09-07 Сафран Электроникс Энд Дифенс Method of providing the automatic landing of the flying apparatus
US20170314924A1 (en) * 2016-04-28 2017-11-02 Rogerson Aircraft Corporation System and method for determining a synthesized position of a vehicle
WO2019055340A2 (en) * 2017-09-13 2019-03-21 X Development Llc A backup navigation system for unmanned aerial vehicles
RU2666975C1 (en) * 2017-11-22 2018-09-13 Общество с ограниченной ответственностью "СЪЕМКА С ВОЗДУХА" System of landing of unmanned aerial vehicle and landing vehicle of vertical take-off and landing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2769016C1 (en) * 2021-08-11 2022-03-28 Федеральное государственное автономное образовательное учреждение высшего образования «Южно-Уральский государственный университет (национальный исследовательский университет)» ФГАОУ ВО «ЮУрГУ (НИУ)» Reusable rocket landing control system with artificial intelligence

Similar Documents

Publication Publication Date Title
US11604479B2 (en) Methods and system for vision-based landing
US12416926B2 (en) UAV hardware architecture
US11704812B2 (en) Methods and system for multi-target tracking
US10802509B2 (en) Selective processing of sensor data
EP3347789B1 (en) Systems and methods for detecting and tracking movable objects
EP3420428B1 (en) Systems and methods for visual target tracking
US10963749B2 (en) Systems and methods for automatic vehicle imaging
WO2017004799A1 (en) Camera configuration on movable objects
JP2018504652A (en) Prominent feature based mobile positioning
CN113228103A (en) Target tracking method, device, unmanned aerial vehicle, system and readable storage medium
US12148205B2 (en) Contour scanning with an unmanned aerial vehicle
CN110187716A (en) Geological survey unmanned aerial vehicle flight control method and device
RU2735196C1 (en) Control method of landing of small unmanned aerial vehicle
CN118567383A (en) Vehicle escape method, electronic device and storage medium
US12461543B2 (en) Using NeRF models to facilitate operations of a UAV delivery service
US12518515B2 (en) Compressing a scene into a generative neural network for UAV scene analysis applications
US20250046064A1 (en) Compressing a scene into a generative neural network for uav scene analysis applications
JP7707439B2 (en) Contour scanning using unmanned aerial vehicles
CN109709982A (en) A kind of unmanned aerial vehicle altitude fixed control system and method
Schneider et al. Real-time Bundle Adjustment with an Omnidirectional Multi-Camera System and GPS
Hubbard Vision-based Control and Flight optimization of a Rotorcraft UAV

Legal Events

Date Code Title Description
QB4A Licence on use of patent

Free format text: LICENCE FORMERLY AGREED ON 20201221

Effective date: 20201221