RU2814302C1 - Automated system for continuous monitoring of vigilance of train driver and method for continuously monitoring vigilance of train driver using this system - Google Patents
Automated system for continuous monitoring of vigilance of train driver and method for continuously monitoring vigilance of train driver using this system Download PDFInfo
- Publication number
- RU2814302C1 RU2814302C1 RU2023108404A RU2023108404A RU2814302C1 RU 2814302 C1 RU2814302 C1 RU 2814302C1 RU 2023108404 A RU2023108404 A RU 2023108404A RU 2023108404 A RU2023108404 A RU 2023108404A RU 2814302 C1 RU2814302 C1 RU 2814302C1
- Authority
- RU
- Russia
- Prior art keywords
- driver
- period
- vigilance
- automated system
- train
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 17
- 210000000744 eyelid Anatomy 0.000 claims abstract description 14
- 230000004397 blinking Effects 0.000 claims abstract description 9
- 230000004044 response Effects 0.000 claims abstract description 3
- 230000007423 decrease Effects 0.000 claims abstract 3
- 238000013500 data storage Methods 0.000 claims description 13
- 210000003128 head Anatomy 0.000 claims description 10
- 230000004297 night vision Effects 0.000 claims description 6
- 230000000977 initiatory effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 210000001508 eye Anatomy 0.000 description 23
- 230000001960 triggered effect Effects 0.000 description 15
- 206010041349 Somnolence Diseases 0.000 description 6
- 230000036626 alertness Effects 0.000 description 6
- BUADUHVXMFJVLH-UHFFFAOYSA-N 7-chloro-3-imidazol-1-yl-2H-1,2,4-benzotriazin-1-ium 1-oxide Chemical compound N1[N+](=O)C2=CC(Cl)=CC=C2N=C1N1C=CN=C1 BUADUHVXMFJVLH-UHFFFAOYSA-N 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004399 eye closure Effects 0.000 description 2
- 230000003304 psychophysiological effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Abstract
Description
Группа изобретений относится к средствам контроля бдительности, касается автоматизированной системы непрерывного контроля бдительности машиниста поезда и способа непрерывного контроля бдительности машиниста поезда, осуществляемого с помощью этой системы, которая может быть использована на железнодорожном транспорте для непрерывного отслеживания функционального состояния человека в период выполнения рейса, сфокусированности его взгляда и способности адекватно реагировать на изменяющуюся путевую ситуацию.The group of inventions relates to means of vigilance monitoring, concerns an automated system for continuous monitoring of the vigilance of a train driver and a method for continuous monitoring of the vigilance of a train driver, carried out using this system, which can be used in railway transport for continuous monitoring of the functional state of a person during a flight, his focus perspective and ability to adequately respond to a changing travel situation.
Состояние сонливости нарушает способность операторов управлять самыми различными механизмами, включая транспортные средства всех видов: автомобильные, железнодорожные, воздушные и водные, а также промышленное оборудование, выявление такого состояния имеет большое значение. Проблему сонливости во время управления транспортным средством невозможно решить, научив водителей принимать меры для восстановления бдительности, когда они почувствуют сонливость. Сложность заключается в том, что многие люди не осознают, что они находятся в состоянии сонливости в этот момент, хотя после пробуждения могут понимать, что были сонными. Это значит, что человек не может прогнозировать, когда его уровень сонливости возрастет до уровня возникновения опасности, поскольку в сонном состоянии человек перестает осознавать текущий момент и непроизвольно теряет внимание.The state of drowsiness impairs the ability of operators to operate a wide variety of machinery, including vehicles of all types: road, rail, air and water, as well as industrial equipment, identification of such a condition is of great importance. The problem of drowsiness while driving cannot be solved by teaching drivers to take steps to regain alertness when they feel drowsy. The difficulty is that many people do not realize that they are sleepy at this moment, although upon awakening they may realize that they were sleepy. This means that a person cannot predict when his level of sleepiness will increase to the level of danger, since in a sleepy state a person ceases to be aware of the current moment and involuntarily loses attention.
Известен способ оценки безопасного состояния операторов систем управления (RU 2432120 С2, кл. А61В 10/00, опубл. 27.10.2011), включающий контроль параметров движения глазного яблока, и сравнение полученных величин с данными оператора, находящегося в нормальном состоянии, определяют мгновенное психофизическое состояние оператора, для чего определяют быстроизменяющиеся параметры движений глазного яблока оператора, в зоне их когнитивного изменения.There is a known method for assessing the safe state of control system operators (RU 2432120 C2, class A61B 10/00, published 10/27/2011), including monitoring the parameters of the movement of the eyeball, and comparing the obtained values with the data of the operator in a normal state, determining the instantaneous psychophysical the operator’s state, for which the rapidly changing parameters of the operator’s eyeball movements are determined in the zone of their cognitive change.
Недостатком известного способа является низкая информативность и недостаточное быстродействие: для целого ряда применений важно определить изменение состояния оператора за доли секунды. Кроме того, определенные процессы, происходящие в его организме, отражаются преимущественно на быстрых движениях глазного яблока и век. Также существенными ограничением способа являются: ношение оператором очков (особенно, противосолнечных), повороты головы, изменения позы, вибрация, связанная с особенностями транспортного средства и состоянием дорожного покрытия.The disadvantage of this known method is its low information content and insufficient performance: for a number of applications it is important to determine a change in the operator’s state in a fraction of a second. In addition, certain processes occurring in his body are reflected mainly in the rapid movements of the eyeball and eyelids. Also significant limitations of the method are: wearing glasses by the operator (especially sunglasses), turning the head, changing posture, vibration associated with the characteristics of the vehicle and the condition of the road surface.
Известен способ непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования, система, его реализующая, и блок обработки и управления, используемый в ней (RU 2662293 С2, кл. B60R 99/00, B60K 28/06, G10L 15/22, G08C 19/00, опубл. 25.07.2018), включающий сбор данных о состоянии водителя от датчиков электроэнцефалограммы и видеокамеры, сбор данных о характере движения транспортного средства, обработку и интерпретацию собранных данных, голосовой опрос водителя посредством формирования звукового сигнала в его адрес, содержащего вопрос на основе шаблонов вопросов, фиксацию и запись ответа, предоставленного водителем на полученный вопрос, с дальнейшим переводом речи в текст, одновременную фиксацию данных о времени, затраченном водителем на обдумывание вопроса и предоставление ответа, сопоставление полученного ответа с эталонным ответом из базы эталонных ответов, предварительно сформированной экспертами с применением семантической и онтологической разметки и словарей, классификацию состояния водителя в режиме реального времени на основании обработки данных о состоянии водителя и о характере движения транспортного средства и данных его голосового опроса путем сопоставления обработанных сигналов с автоматическим классификатором, содержащим все возможные комбинации параметров и их значений, характеризующих динамику изменений параметров, и интеллектуального отслеживания пороговых значений и динамики данных, активацию устройств, предназначенных для стимуляции деятельности водителя и вывода его из опасного состояния, в зависимости от результатов классификации, активацию бортовых приборов транспортного средства для предупреждения окружающих в случае невозврата водителя к нормальному психофизиологическому состоянию в течение заданного временного интервала.There is a known method for continuous monitoring of the psychophysiological state of drivers transporting dangerous goods and passengers on public roads, a system that implements it, and a processing and control unit used in it (RU 2662293 C2, class B60R 99/00, B60K 28/06, G10L 15/22, G08C 19/00, published July 25, 2018), including collecting data on the driver’s condition from electroencephalogram sensors and a video camera, collecting data on the nature of the vehicle’s movement, processing and interpreting the collected data, voice questioning of the driver by generating an audio signal in his address containing a question based on question templates, recording and recording the answer provided by the driver to the received question, with further translation of speech into text, simultaneous recording of data on the time spent by the driver thinking about the question and providing an answer, comparing the received answer with the standard answer from a database of standard answers, pre-generated by experts using semantic and ontological markup and dictionaries, classification of the driver’s state in real time based on processing data on the driver’s state and the nature of the vehicle’s movement and data from his voice survey by comparing the processed signals with an automatic classifier containing all possible combinations of parameters and their values, characterizing the dynamics of changes in parameters, and intelligent tracking of threshold values and data dynamics, activation of devices designed to stimulate the driver’s activity and remove him from a dangerous state, depending on the classification results, activation of the vehicle’s on-board devices for warning surrounding people in the event of the driver’s failure to return to a normal psychophysiological state within a given time interval.
Недостатком данного аналога является значительная вычислительная сложность, затрудняющая его реализацию во встроенных бортовых вычислительных средствах автомобиля, не обладающих достаточной вычислительной мощностью, увеличение времени получения сигнала о засыпании из-за относительно длительного процесса обнаружения глаз.The disadvantage of this analogue is significant computational complexity, which complicates its implementation in the built-in on-board computing facilities of a car, which do not have sufficient computing power, and an increase in the time it takes to receive a signal about falling asleep due to the relatively long eye detection process.
Известен способ предупреждения засыпания водителя транспортного средства (RU 2413632 С2, кл. B60K 28/02, опубл. 10.03.2011), включающий получение изображения лица, обнаружение областей, предположительно содержащих глаза, обнаружение областей глаз. Дополнительно осуществляют формирование эталона зрачка текущего водителя на основе общего для любого человека описания, периодическое освещение лица водителя инфракрасным светом, обнаружение области изображения, содержащей лицо, определение границ области движения зрачка, определение частоты и направлений движения глаз, определение частоты морганий, определение длительности периода времени, в течение которого глаза закрыты, сравнение параметров, характеризующих состояние водителя с эталонными для состояния засыпания и состояния сна, принятие решения о необходимости сигнализации о засыпании водителя.There is a known method for preventing a vehicle driver from falling asleep (RU 2413632 C2, class B60K 28/02, published on March 10, 2011), which includes obtaining a face image, detecting areas presumably containing eyes, and detecting eye areas. Additionally, a standard pupil of the current driver is formed based on a description common to any person, periodic illumination of the driver’s face with infrared light, detection of an image area containing a face, determination of the boundaries of the area of pupil movement, determination of the frequency and directions of eye movement, determination of the frequency of blinks, determination of the duration of the time period , during which the eyes are closed, comparing the parameters characterizing the driver’s state with the reference ones for the state of falling asleep and the state of sleep, making a decision on the need to signal the driver falling asleep.
Недостатком известного технического решения является низкая информативность и недостаточное быстродействие.The disadvantage of the known technical solution is low information content and insufficient performance.
Данное техническое решение выбрано в качестве прототипа.This technical solution was chosen as a prototype.
В задачу группы изобретений положено создание новой автоматизированной системы непрерывного контроля бдительности машиниста поезда и нового способа непрерывного контроля бдительности машиниста поезда с помощью этой системы.The task of the group of inventions is to create a new automated system for continuous monitoring of the vigilance of a train driver and a new method for continuous monitoring of the vigilance of a train driver using this system.
Технический результат от использования заявленной группы изобретений заключается в повышении быстродействия получения сигнала машинистом поезда при потере бдительности.The technical result from the use of the claimed group of inventions is to increase the speed of receiving a signal by a train driver in case of loss of vigilance.
Поставленная задача достигается тем, что автоматизированная система для непрерывного контроля бдительности машиниста, установленная в кабине машиниста поезда, содержит высокочастотную видеокамеру, компьютер, датчик спутникового мониторинга, блок приема и интерпретации сигналов, блок сигнализации при низком уровне бдительности, звуковую сигнализацию, хранилище накопленных данных, при этом в компьютере установлен блок приема и интерпретации сигналов, блок сигнализации при низком уровне бдительности, хранилище накопленных данных, звуковая сигнализация, блок приема и интерпретации сигналов содержит видеокарту и процессор компьютера, блок сигнализации при низком уровне бдительности содержит звуковую карту и динамики компьютера, высокочастотная видеокамера соединена с компьютером и с блоком приема и интерпретации сигналов, датчик спутникового мониторинга соединен с компьютером и с блоком приема и интерпретации сигналов, видеокарта, процессор, звуковая карта и хранилище накопленных данных соединены системной платой компьютера, динамик подключен через порт вывода к звуковой карте блока сигнализации при низком уровне бдительности, причем высокочастотная видеокамера установлена в кабине поезда напротив машиниста ниже его головы под углом 20-30°; высокочастотная камера соединена с компьютером посредством провода USB 3.0 в качестве высокочастотной видеокамеры используют камеру типа Web-камера Logitech Brio с обзором 65°, 78° или 90° без опции ночного видения, направленная внутрь кабины; в качестве компьютера используют компьютер, обладающий параметрами ноутбука типа ноутбук DELL G15 5510, конфигурация которого WVA, Intel Core i7 10870Н 2.2ГГц, 8ГБ, 512ГБ SSD, NVIDIA GeForce RTX 3050 для ноутбуков - 4096 Мб, Linux, G515-7128, но не ниже; компьютер связан с датчиком спутникового мониторинга посредством провода USB 2.0; в качестве датчика спутникового мониторинга используют приемник по типу GPS/ГЛОНАСС Globalsat BU-353 N5 (USB); в качестве звуковой сигнализации используют аудио-записи, размещенные в хранилище накопленных данных; хранилище накопленных данных представляет собой жесткий диск компьютера.The task is achieved by the fact that the automated system for continuous monitoring of the driver's vigilance, installed in the train driver's cabin, contains a high-frequency video camera, a computer, a satellite monitoring sensor, a signal receiving and interpretation unit, an alarm unit for low levels of alertness, an audio alarm, a storage of accumulated data, In this case, the computer contains a block for receiving and interpreting signals, an alarm block for a low level of alertness, a storage of accumulated data, a sound alarm, a unit for receiving and interpreting signals contains a video card and a computer processor, an alarm unit for a low level of alertness contains a sound card and speakers of the computer, high-frequency the video camera is connected to the computer and to the unit for receiving and interpreting signals, the satellite monitoring sensor is connected to the computer and to the unit for receiving and interpreting signals, the video card, processor, sound card and accumulated data storage are connected to the computer’s motherboard, the speaker is connected through the output port to the sound card of the unit signaling at a low level of vigilance, with a high-frequency video camera installed in the train cabin opposite the driver below his head at an angle of 20-30°; the high-frequency camera is connected to the computer via a USB 3.0 cable; as a high-frequency video camera, a Logitech Brio web camera type camera is used with a view of 65°, 78° or 90° without a night vision option, directed inside the cabin; as a computer they use a computer with the parameters of a laptop such as a DELL G15 5510 laptop, the configuration of which is WVA, Intel Core i7 10870H 2.2 GHz, 8 GB, 512 GB SSD, NVIDIA GeForce RTX 3050 for laptops - 4096 MB, Linux, G515-7128, but not lower ; the computer is connected to the satellite monitoring sensor via a USB 2.0 cable; a GPS/GLONASS Globalsat BU-353 N5 (USB) receiver is used as a satellite monitoring sensor; audio recordings placed in the accumulated data storage are used as sound signaling; the accumulated data storage is a computer hard drive.
Поставленная задача достигается также тем, что способ непрерывного контроля бдительности машиниста осуществляют с помощью автоматизированной системы, содержащей видеокамеру, соединенную с компьютером, связанным с датчиком спутникового мониторинга, в котором установлен блок приема и интерпретации сигнала с видеокамеры, блок сигнализации при низком уровне бдительности, хранилище накопленных данных, звуковая сигнализация, причем видеокамера установлена в кабине поезда напротив машиниста ниже его головы под углом 20-30°, срабатывание автоматизированной системы осуществляется при потере высокочастотной видеокамерой лица машиниста в течение 4-7 с, или в течение 1-2 с при выполнении одного из двух условий потери бдительности в момент X, когда максимальное значение доли времени в окне 30 секунд, когда глаз закрыт верхним веком более чем на 80%, в периоде 2 больше чем 90% значений в периоде 1, и при этом максимальное значение в периоде 2 минимум в 10 раз больше чем среднее значение в периоде 1, и при этом среднее значение в периоде 2 больше чем 0, а максимальное значение в периоде 1 больше чем 0,1, либо когда в периоде 2 встречается пять и более случаев, когда при моргании глаз закрыт более, чем на 1 секунду, при этом для срабатывания автоматизированной системы используются ключевые метрики, такие как количество эпизодов закрытия глаза на 1 и более секунд в 30-секундном окне с шагом 1 секунда «М_1», доля времени в окне 30 секунд, когда глаз закрыт более, чем на 80% «ДВ_80», при срабатывании автоматизированной системы машинисту подается звуковой сигнал посредством звуковой сигнализации; в качестве высокочастотной видеокамеры используют камеру типа Web-камера Logitech Brio с обзором 65°, 78° или 90° без опции ночного видения, направленная внутрь кабины; в качестве компьютера используют компьютер, обладающий параметрами ноутбука типа ноутбук DELL G15 5510, конфигурация которого WVA, Intel Core i7 10870Н 2.2ГГц, 8ГБ, 512ГБ SSD, NVIDIA GeForce RTX 3050 для ноутбуков - 4096 Мб, Linux, G515-7128, но не ниже; в качестве датчика спутникового мониторинга используют приемник по типу GPS/ГЛОНАСС Globalsat BU-353 N5 (USB); в качестве звуковой сигнализации используют аудио-записи, размещенные в хранилище накопленных данных; хранилище накопленных данных представляет собой жесткий диск компьютера.The objective is also achieved by the fact that the method of continuous monitoring of the driver’s vigilance is carried out using an automated system containing a video camera connected to a computer connected to a satellite monitoring sensor, in which a unit for receiving and interpreting a signal from a video camera, an alarm unit for low levels of alertness, and storage are installed accumulated data, sound alarm, and the video camera is installed in the train cabin opposite the driver below his head at an angle of 20-30°, the automated system is triggered when the high-frequency video camera loses the driver's face for 4-7 s, or for 1-2 s when performing one of two conditions for loss of vigilance at moment X, when the maximum value of the proportion of time in a window of 30 seconds, when the eye is closed by more than 80% of the upper eyelid, in period 2 is greater than 90% of the values in period 1, and at the same time the maximum value in period 2 the minimum is 10 times greater than the average value in period 1, and the average value in period 2 is greater than 0, and the maximum value in period 1 is greater than 0.1, or when five or more cases occur in period 2, when blinking of the eyes is closed for more than 1 second, while key metrics are used to trigger the automated system, such as the number of episodes of eye closure for 1 or more seconds in a 30-second window with a step of 1 second “M_1”, the proportion of time in a 30-second window when the eye is closed by more than 80% “DV_80”, when the automated system is triggered, the driver is given a sound signal through an audible alarm; as a high-frequency video camera, they use a Logitech Brio web camera with a view of 65°, 78° or 90° without a night vision option, directed inside the cabin; as a computer they use a computer with the parameters of a laptop such as a DELL G15 5510 laptop, the configuration of which is WVA, Intel Core i7 10870H 2.2 GHz, 8 GB, 512 GB SSD, NVIDIA GeForce RTX 3050 for laptops - 4096 MB, Linux, G515-7128, but not lower ; a GPS/GLONASS Globalsat BU-353 N5 (USB) receiver is used as a satellite monitoring sensor; audio recordings placed in the accumulated data storage are used as sound signaling; the accumulated data storage is a computer hard drive.
На фиг. 1 представлена функциональная схема автоматизированной системы непрерывного контроля бдительности машиниста поезда.In fig. Figure 1 shows a functional diagram of an automated system for continuous monitoring of train driver vigilance.
На фиг. 2 представлена схема расположения машиниста и элементов кабины поезда, с которыми машинист взаимодействует. На фиг. 2А представлен угол в градусах, который соответствует видимости бокового окна поезда относительно головы машиниста. Треугольником обозначено место расположения камеры. На фиг. 2Б представлено расположение элементов кабины машиниста (вид сбоку). На фиг. 2В представлены углы в градусах, которые соответствуют видимости крайних боковых элементов кабины, с которыми машинист взаимодействует в процессе управления поездом.In fig. Figure 2 shows a diagram of the location of the driver and the elements of the train cabin with which the driver interacts. In fig. 2A shows the angle in degrees, which corresponds to the visibility of the side window of the train relative to the driver’s head. The triangle indicates the location of the camera. In fig. Figure 2B shows the arrangement of elements of the driver's cabin (side view). In fig. 2B shows the angles in degrees, which correspond to the visibility of the outer side elements of the cabin, with which the driver interacts while driving the train.
На фиг. 3 представлена временная шкала срабатывания системы, на которой: период 1=Х при значениях от (Х-60) до (Х-30); период 2=Х при значениях (X-30) до X, где X - время срабатывания системы, с.In fig. Figure 3 shows the time scale of the system’s operation, on which: period 1=X with values from (X-60) to (X-30); period 2=X at values (X-30) up to X, where X is the system response time, s.
На фиг. 4, фиг. 5 представлены графики, иллюстрирующие примеры срабатывания автоматизированной системы непрерывного контроля бдительности машиниста поезда 1 и 2, где: сплошная линия - значения измеряемого показателя (ДВ_80, М_1) в течение работы системы (1400 с); точки - моменты X, когда произошло срабатывание автоматизированной системы непрерывного контроля бдительности машиниста поезда.In fig. 4, fig. 5 presents graphs illustrating examples of the operation of the automated system for continuous monitoring of the vigilance of train drivers 1 and 2, where: solid line - the values of the measured indicator (DV_80, M_1) during system operation (1400 s); points - moments X when the automated system for continuous monitoring of the train driver’s vigilance was triggered.
Автоматизированная система контроля бдительности машиниста на фиг. 1 содержит:Automated driver vigilance monitoring system in Fig. 1 contains:
1 - высокочастотную видеокамеру,1 - high-frequency video camera,
2 - компьютер,2 - computer,
3 - датчик спутникового мониторинга,3 - satellite monitoring sensor,
4 - блок приема и интерпретации сигналов,4 - block for receiving and interpreting signals,
5 - блок сигнализации при низком уровне бдительности,5 - alarm block at low level of vigilance,
6 - звуковую сигнализацию,6 - sound alarm,
7 - хранилище накопленных данных.7 - storage of accumulated data.
Высокочастотная камера 1 соединена с компьютером 2, например, посредством провода USB 3.0.The high-frequency camera 1 is connected to the computer 2, for example, via a USB 3.0 cable.
Высокочастотная видеокамера 1 установлена в кабине поезда напротив машиниста ниже его головы под углом 20-30°.High-frequency video camera 1 is installed in the train cabin opposite the driver below his head at an angle of 20-30°.
В компьютере 2 установлен блок приема и интерпретации сигнала 4, блок сигнализации при низком уровне бдительности 5, звуковая сигнализация 6, хранилище данных 7.Computer 2 has a signal receiving and interpretation unit 4, a low alert alarm unit 5, an audio alarm 6, and a data storage 7.
Блок приема и интерпретации сигнала 4 содержит видеокарту и процессор компьютера 2.The signal reception and interpretation unit 4 contains a video card and a computer processor 2.
Блок сигнализации при низком уровне бдительности 5 содержит звуковую карту и динамики компьютера 2.Low Alert Alarm Unit 5 contains the sound card and computer speakers 2.
В качестве звуковой сигнализации 6 используют, например, аудиозаписи, размещенные в хранилище накопленных данных 7.As a sound alarm 6, for example, audio recordings located in the accumulated data storage 7 are used.
Хранилище накопленных данных 7 представляет собой, например, жесткий диск компьютера 2.The accumulated data storage 7 is, for example, a hard drive of a computer 2.
Компьютер 2 связан с датчиком спутникового мониторинга 3, например, посредством провода USB 2.0. Через CDC-порт информация с датчика спутникового мониторинга 3 поступает в процессор компьютера 2 блока приема и интерпретации сигналов 4.Computer 2 is connected to satellite monitoring sensor 3, for example, via a USB 2.0 cable. Through the CDC port, information from the satellite monitoring sensor 3 enters the computer processor 2 of the signal receiving and interpretation unit 4.
Видеокарта, процессор, звуковая карта и хранилище накопленных данных 7 соединены системной платой компьютера 2. Динамик подключен через порт вывода к звуковой карте блока сигнализации при низком уровне бдительности 5.The video card, processor, sound card and accumulated data storage 7 are connected by the computer system board 2. The speaker is connected through the output port to the sound card of the low alert alarm unit 5.
В качестве видеокамеры 1 используют, например, камеру типа Web-камера Logitech Brio с обзором 65°, 78° или 90° без опции ночного видения, направленную внутрь кабины.As video camera 1, for example, a Logitech Brio web camera with a view of 65°, 78° or 90° without a night vision option, directed inside the cabin, is used.
В качестве компьютера 2 используют, например, компьютер, обладающий параметрами ноутбука типа ноутбук DELL G15 5510, конфигурация которого WVA, Intel Core i7 10870Н 2.2ГГц, 8ГБ, 512ГБ SSD, NVIDIA GeForce RTX 3050 для ноутбуков - 4096 Мб, Linux, G515-7128, но не ниже.As computer 2, use, for example, a computer with the parameters of a laptop such as a DELL G15 5510 laptop, the configuration of which is WVA, Intel Core i7 10870H 2.2 GHz, 8 GB, 512 GB SSD, NVIDIA GeForce RTX 3050 for laptops - 4096 MB, Linux, G515-7128 , but not lower.
В качестве датчика спутникового мониторинга 3 используют, например, приемник, обладающий параметрами типа приемник GPS/ГЛОНАСС Globalsat BU-353 N5 (USB).As a satellite monitoring sensor 3, for example, a receiver is used that has parameters such as a GPS/GLONASS receiver Globalsat BU-353 N5 (USB).
Предусмотренное изобретением взаимодействие средств реализуется в известных процессах различного назначения в области транспорта. В процессе изготовления автоматизированной транспортной системы может быть использовано типовое, стандартное промышленное оборудование, материалы и комплектующие изделия.The interaction of means provided for by the invention is implemented in known processes for various purposes in the field of transport. In the process of manufacturing an automated transport system, standard industrial equipment, materials and components can be used.
Работа автоматизированной системы контроля бдительности машиниста поезда обеспечивается с помощью программного обеспечения, реализованного на языке Python, установленного на компьютере 2, содержащего базу данных, включающую фото машинистов, аудио-записей звуковых сигналов, ключевых метрик потери бдительности машинистом, размещенную в хранилище данных 7.The operation of the automated train driver vigilance monitoring system is ensured using software implemented in Python installed on computer 2, containing a database including photos of drivers, audio recordings of sound signals, key metrics of driver loss of vigilance, located in data storage 7.
Предлагаемый способ непрерывного контроля бдительности машиниста с помощью предлагаемой автоматизированной системы осуществляют следующим образом.The proposed method for continuous monitoring of the driver's vigilance using the proposed automated system is carried out as follows.
Высокочастотную видеокамеру 1, компьютер 2 с блоком приема и интерпретации сигналов 4, с блоком сигнализации при низком уровне бдительности 5, с хранилищем данных 6 и звуковой сигнализация 7, и датчик спутникового мониторинга 3 устанавливают в кабине машиниста поезда.A high-frequency video camera 1, a computer 2 with a unit for receiving and interpreting signals 4, with an alarm unit for a low level of alertness 5, with a data storage 6 and an audio alarm 7, and a satellite monitoring sensor 3 are installed in the train driver's cabin.
Машинист может поворачивать лицо внутри кабины в сторону приборов, с которыми он может взаимодействовать (фиг. 2). Учитывая эту информацию, высокочастотную видеокамеру располагают в кабине поезда напротив машиниста под углом 20-30° ниже его головы. При таком расположении высокочастотной видеокамеры 1 период времени, когда лицо машиниста не попадает в объектив высокочастотной видеокамеры 1 минимален.The driver can turn his face inside the cab towards the instruments with which he can interact (Fig. 2). Taking this information into account, a high-frequency video camera is placed in the train cabin opposite the driver at an angle of 20-30° below his head. With this arrangement of the high-frequency video camera 1, the period of time when the driver’s face does not fall into the lens of the high-frequency video camera 1 is minimal.
Положение поезда в текущий момент времени определяют с помощью датчика спутникового мониторинга 3. Если скорость поезда, определяемая по датчику спутникового мониторинга 3, больше нуля, то соответствующая информация в виде сигнала поступает в блок приема и интерпретации сигналов 4, который в свою очередь, передает сигнал на высокочастотную камеру 1. После этого происходит запись лица машиниста поезда высокочастотной видеокамерой 1 и обработка видео в блоке приема и интерпретации сигналов 4. Если скорость поезда, определяемая по датчику спутникового мониторинга 3, равна нулю в течение 1-5 минут, то система переходит в режим ожидания, если более - выключается. Если период ожидания машиниста составляет 1-5 минут, то система переходит в режим ожидания. Если более - выключается. Идентификация машиниста в автоматизированной системе непрерывного контроля бдительности машиниста поезда осуществляется по Face ID. При этом изначально составляют базу фото машинистов, которые будут принимать участие в поездках. Фото машинистов хранятся на жестком диске компьютера 2.The position of the train at the current time is determined using the satellite monitoring sensor 3. If the speed of the train, determined by the satellite monitoring sensor 3, is greater than zero, then the corresponding information in the form of a signal is sent to the signal receiving and interpretation unit 4, which in turn transmits the signal to high-frequency camera 1. After this, the face of the train driver is recorded by high-frequency video camera 1 and the video is processed in the signal reception and interpretation unit 4. If the train speed, determined by the satellite monitoring sensor 3, is zero for 1-5 minutes, then the system goes into standby mode, if more, it turns off. If the driver's waiting period is 1-5 minutes, the system goes into standby mode. If more, it turns off. Driver identification in the automated system for continuous monitoring of train driver vigilance is carried out using Face ID. At the same time, a database of photos of the drivers who will take part in the trips is initially compiled. Photos of drivers are stored on the hard drive of computer 2.
Высокочастотная видеокамера 1 детектирует лицо машиниста, а блок приема и интерпретации сигналов 4 высчитывает положение верхних век машиниста в каждом кадре и фиксирует начало эпизода потери бдительности машиниста по параметрам движения его век.High-frequency video camera 1 detects the driver's face, and the signal receiving and interpretation unit 4 calculates the position of the driver's upper eyelids in each frame and records the beginning of the driver's loss of vigilance based on the movement parameters of his eyelids.
Система срабатывает в двух случаях.The system works in two cases.
Во-первых, если лицо машиниста полностью отсутствует в объективе высокочастотной видеокамеры 1 в течение 4-7 с (такой период времени дается машинисту на выполнение действий, связанных с управлением поездом и предполагающих направление взгляда не на дорогу), то соответствующая информация в виде сигнала подается от высокочастотной видеокамеры 1 на блок приема и интерпретации сигнала 4, который в свою очередь, подает сигнал на блок сигнализации при низком уровне бдительности 5. При этом срабатывает звуковая сигнализация 6 и подается звуковой сигнал, например: «Внимание! Посмотрите на дорогу!»Firstly, if the driver’s face is completely absent from the lens of the high-frequency video camera 1 for 4-7 s (this period of time is given to the driver to perform actions related to driving the train and implying a direction of view other than the road), then the corresponding information is sent in the form of a signal from the high-frequency video camera 1 to the signal receiving and interpretation unit 4, which in turn sends a signal to the alarm unit at a low level of vigilance 5. In this case, the sound alarm 6 is triggered and a sound signal is given, for example: “Attention! Look at the road!
Во-вторых, срабатывание автоматизированной системы происходит в течение 1-2 с, если выполняется хотя бы одно из двух условий, свидетельствующих о потере машинистом бдительности:Secondly, the automated system is activated within 1-2 s if at least one of two conditions are met, indicating the loss of vigilance by the driver:
1. Система срабатывает в момент времени X (фиг. 3, 4), если максимальное значение доли времени в окне 30 секунд, когда глаз закрыт более чем на 80%, в периоде 2 больше (период 2=X при значениях от (Х-30) до X), чем 90% значений в периоде 1 (период 1=X при значениях от (Х-60) до (Х-30)), и при этом максимальное значение в периоде 2 минимум в 10 раз больше чем среднее значение в периоде 1, и при этом среднее значение в периоде 2 больше чем 0, а максимальное значение в периоде 1 больше чем 0,1.1. The system is triggered at time X (Fig. 3, 4), if the maximum value of the fraction of time in a window of 30 seconds, when the eye is closed by more than 80%, in period 2 is greater (period 2 = X with values from (X- 30) to X), than 90% of the values in period 1 (period 1=X with values from (X-60) to (X-30)), and the maximum value in period 2 is at least 10 times greater than the average value in period 1, and the average value in period 2 is greater than 0, and the maximum value in period 1 is greater than 0.1.
2. Система срабатывает в момент X (фиг. 5), если в периоде 2 встречается пять и более случаев, когда при моргании глаз закрыт более чем на 1 секунду.2. The system is triggered at moment X (Fig. 5), if in period 2 there are five or more cases when the eye is closed for more than 1 second when blinking.
При этом блок приема и интерпретации сигналов 4 высчитывает следующие ключевые метрики:In this case, the block for receiving and interpreting signals 4 calculates the following key metrics:
- количество эпизодов закрытия глаза на 1 и более секунд в 30-секундном окне с шагом 1 секунда «М_1»;- the number of episodes of eye closure for 1 or more seconds in a 30-second window in increments of 1 second “M_1”;
- доля времени в окне 30 секунд, когда глаз закрыт более, чем на 80% «ДВ_80».- the proportion of time in a 30 second window when the eye is closed more than 80% “DV_80”.
Все данные метрик вычисляются в режиме реального времени и обрабатываются системой с помощью программного обеспечения. Файлы с рассчитанными метриками сохраняются в хранилище накопленных данных 7.All metrics data is calculated in real time and processed by the system using software. Files with calculated metrics are saved in the accumulated data storage 7.
В случае если данные метрик соответствуют правилам срабатывания автоматизированной системы, то программное обеспечение также инициирует работу блока приема и интерпретации сигналов 4, который в свою очередь, подает сигнал на блок сигнализации при низком уровне бдительности 5. Блок сигнализации при низком уровне бдительности 5 запускает звуковую сигнализацию 6. При этом подается звуковой сигнал, например, «Внимание! Сосредоточьтесь на управлении поездом!»If the metrics data corresponds to the rules for triggering the automated system, then the software also initiates the operation of the signal receiving and interpretation unit 4, which in turn sends a signal to the alarm unit at a low alert level 5. The alarm unit at a low alert level 5 triggers an audible alarm 6. At this time, a sound signal is given, for example, “Attention! Focus on driving the train!”
Автоматизированная система не предоставляет неудобств для машиниста поезда и не предусматривает использования носимых элементов.The automated system does not cause any inconvenience for the train driver and does not involve the use of wearable elements.
Использование одной видеокамеры и ее установка в кабине напротив машиниста ниже его головы под углом 20-30°, а также использование высокоточных алгоритмов определения движений век с помощью автоматизированной системы, отслеживание которых производится непрерывно, обеспечивает повышение быстродействия получения сигнала машинистом поезда при потере бдительности.The use of one video camera and its installation in the cabin opposite the driver below his head at an angle of 20-30°, as well as the use of high-precision algorithms for determining eyelid movements using an automated system, which are continuously monitored, improves the speed of receiving a signal by the train driver in case of loss of vigilance.
Ниже представлены примеры конкретного осуществления изобретения.Below are examples of specific implementations of the invention.
Пример 1Example 1
Высокочастотную видеокамеру Web-камера Logitech Brio с обзором 65°, без опции ночного видения, установили в кабине поезда напротив машиниста ниже его головы под углом 20°.A high-frequency video camera, a Logitech Brio web camera with a 65° view, without a night vision option, was installed in the train cabin opposite the driver below his head at an angle of 20°.
Измеряли частоту и продолжительность морганий верхних век машиниста поезда в течение 1400 с.The frequency and duration of blinks of the upper eyelids of a train driver were measured for 1400 s.
Автоматизированная система срабатывала в момент 1284 с, когда среднее значение доли времени в окне 30 секунд, когда глаз закрыт более чем на 80%, в период 1224-1254 с было 0.006, а максимальное значение доли времени в окне 30 секунд, когда глаз закрыт более, чем на 80%, в период 1254-1284 с было 0.144 (фиг. 4).The automated system was triggered at 1284 s, when the average value of the fraction of time in a 30-second window when the eye was closed by more than 80% in the period 1224-1254 s was 0.006, and the maximum value of the fraction of time in a 30-second window when the eye was closed more than , than by 80%, in the period 1254-1284 s it was 0.144 (Fig. 4).
Автоматизированная система срабатывала в момент 666 с, когда в периоде 636-666 с детектировано 6 случаев, когда при моргании глаз закрыт более, чем на 1 секунду. Автоматизированная система срабатывала в момент 812 с, когда в периоде 788-812 с детектировано 10 случаев, когда при моргании глаз закрыт более, чем на 1 секунду (фиг. 5).The automated system was triggered at 666 s, when in the period 636-666 s 6 cases were detected when the eye was closed for more than 1 second when blinking. The automated system was triggered at 812 s, when in the period 788-812 s 10 cases were detected when the eye was closed for more than 1 second when blinking (Fig. 5).
Пример 2Example 2
Высокочастотную видеокамеру Web-камера Logitech Brio с обзором 90°, без опции ночного видения, установили в кабине поезда напротив машиниста ниже его головы под углом 30°.A high-frequency video camera, a Logitech Brio web camera with a 90° view, without a night vision option, was installed in the train cabin opposite the driver below his head at an angle of 30°.
Измеряли частоту и продолжительность морганий верхних век машиниста поезда в течение 1400 с.The frequency and duration of blinks of the upper eyelids of a train driver were measured for 1400 s.
Автоматизированная система срабатывала в момент 793 с, когда среднее значение доли времени в окне 30 секунд, когда глаз закрыт более, чем на 80%, в период 733-763 с было 0.009, а максимальное значение доли времени в окне 30 секунд, когда глаз закрыт более, чем на 80%, в период 763-793 с было 0.101. Автоматизированная система срабатывала в момент 890 с, когда среднее значение доли времени в окне 30 секунд, когда глаз закрыт более, чем на 80%, в период 830-860 с было 0.009, а максимальное значение доли времени в окне 30 секунд, когда глаз закрыт более, чем на 80%, в период 860-890 с было 0.145. Автоматизированная система срабатывала в момент 1098 с, когда среднее значение доли времени в окне 30 секунд, когда глаз закрыт более чем на 80%, в период 1038-1068 с было 0.014, а максимальное значение доли времени в окне 30 секунд, когда глаз закрыт более, чем на 80%, в период 1068-1098 с было 0.182 (фиг. 4).The automated system was triggered at 793 s, when the average value of the fraction of time in a 30-second window when the eye was closed by more than 80% in the period 733-763 s was 0.009, and the maximum value of the fraction of time in a 30-second window when the eye was closed by more than 80%; in the period 763-793 s it was 0.101. The automated system was triggered at 890 s, when the average value of the fraction of time in a 30-second window when the eye was closed by more than 80% in the period 830-860 s was 0.009, and the maximum value of the fraction of time in a 30-second window when the eye was closed by more than 80%; in the period 860-890 s it was 0.145. The automated system was triggered at 1098 s, when the average value of the fraction of time in a 30-second window when the eye was closed by more than 80% in the period 1038-1068 s was 0.014, and the maximum value of the fraction of time in a 30-second window when the eye was closed more than , than by 80%, in the period 1068-1098 s it was 0.182 (Fig. 4).
Автоматизированная система срабатывала в момент 753 с, когда в периоде 723-753 с детектировано 12 случаев, когда при моргании глаз закрыт более, чем на 1 секунду. Автоматизированная система срабатывала в момент 1003 с, когда в периоде 983-1003 с детектировано 7 случаев, когда при моргании глаз закрыт более, чем на 1 секунду. Автоматизированная система срабатывала в момент 1307 с, когда в периоде 1007-1307 с детектировано 10 случаев, когда при моргании глаз закрыт более, чем на 1 секунду (фиг. 5).The automated system was triggered at 753 s, when in the period 723-753 s 12 cases were detected when the eye was closed for more than 1 second when blinking. The automated system was triggered at 1003 s, when in the period 983-1003 s 7 cases were detected when the eye was closed for more than 1 second when blinking. The automated system was triggered at 1307 s, when in the period 1007-1307 s 10 cases were detected when the eye was closed for more than 1 second when blinking (Fig. 5).
Claims (7)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2814302C1 true RU2814302C1 (en) | 2024-02-28 |
Family
ID=
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622600A (en) * | 2012-02-02 | 2012-08-01 | 西南交通大学 | High-speed train driver alertness detecting method based on face image and eye movement analysis |
| CN101639894B (en) * | 2009-08-31 | 2013-03-20 | 华南理工大学 | Method for detecting train driver behavior and fatigue state on line and detection system thereof |
| CN103356163A (en) * | 2013-07-08 | 2013-10-23 | 东北电力大学 | Fixation point measurement device and method based on video images and artificial neural network |
| CN105764735A (en) * | 2013-10-29 | 2016-07-13 | 金在哲 | Two-step sleepy driving prevention apparatus through recognizing operation, front face, eye, and mouth shape |
| CN105788176A (en) * | 2016-05-25 | 2016-07-20 | 厦门理工学院 | Fatigue driving monitoring and prompting method and system |
| CN109389806A (en) * | 2018-11-08 | 2019-02-26 | 山东大学 | Fatigue driving detection method for early warning, system and medium based on multi-information fusion |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101639894B (en) * | 2009-08-31 | 2013-03-20 | 华南理工大学 | Method for detecting train driver behavior and fatigue state on line and detection system thereof |
| CN102622600A (en) * | 2012-02-02 | 2012-08-01 | 西南交通大学 | High-speed train driver alertness detecting method based on face image and eye movement analysis |
| CN103356163A (en) * | 2013-07-08 | 2013-10-23 | 东北电力大学 | Fixation point measurement device and method based on video images and artificial neural network |
| CN105764735A (en) * | 2013-10-29 | 2016-07-13 | 金在哲 | Two-step sleepy driving prevention apparatus through recognizing operation, front face, eye, and mouth shape |
| CN105788176A (en) * | 2016-05-25 | 2016-07-20 | 厦门理工学院 | Fatigue driving monitoring and prompting method and system |
| CN109389806A (en) * | 2018-11-08 | 2019-02-26 | 山东大学 | Fatigue driving detection method for early warning, system and medium based on multi-information fusion |
Non-Patent Citations (3)
| Title |
|---|
| реферат, фиг. 1. * |
| реферат, фиг. 5. Lin, Zhui et al. "Efficient Train Driver Drowsiness Detection on Machine Vision Algorithms." TELKOMNIKA Indonesian Journal of Electrical Engineering, vol. 11, No. 5, May 2013, pp. 2566 - 2573 ISSN: 2302-4046. * |
| реферат. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11447140B2 (en) | Cognitive tunneling mitigation device for driving | |
| EP1988815B1 (en) | Incapacity monitor | |
| Arunasalam et al. | Real-time drowsiness detection system for driver monitoring | |
| Guria et al. | Iot-enabled driver drowsiness detection using machine learning | |
| TW201441080A (en) | Fatigue driving monitoring system and method | |
| Chatterjee et al. | Driving fitness detection: A holistic approach for prevention of drowsy and drunk driving using computer vision techniques | |
| RU2814302C1 (en) | Automated system for continuous monitoring of vigilance of train driver and method for continuously monitoring vigilance of train driver using this system | |
| Mašanović et al. | Driver monitoring using the in-vehicle camera | |
| Awasekar et al. | Driver fatigue detection and alert system using non-intrusive eye and yawn detection | |
| Samiappan et al. | Comprehensive analysis on drowsiness detection of drivers using facial analysis | |
| Arya et al. | Effective Driver Fatigue Management and Prevention Using Cloud-Integrated RNN Models | |
| Shekar et al. | Smart Driver Warning and Alert System using Visual Features | |
| Mackie et al. | Countermeasures to loss of alertness in motor vehicle drivers: A taxonomy and evaluation | |
| Muralidharan et al. | Smart safety and accident prevention system | |
| CN115610430A (en) | An intelligent vehicle safety driving assistance system and method | |
| Reddy et al. | Artificial Intelligence Based Drowsiness Detection | |
| KR20220082500A (en) | Drowsy driving prevention system through analysis of direct and indirect effects on the outside and inside of driver and vehicle | |
| Malik et al. | A Comprehensive Review of Deep Learning and IoT in Driver Drowsiness Detection for Safer Roads | |
| Thummar et al. | A real time driver fatigue system based on eye gaze detection | |
| Kommey et al. | Drowsing Driver Alert System for Commercial Vehicles | |
| Ibrahim et al. | The Application of Driving Fatigue Detection and Monitoring Technologies in Transportation Sector: A Review | |
| Mishra et al. | Enhancing Road Safety with IoT-Based Smart Alert Scheme for Drowsy Driver Recognition | |
| Victoreia et al. | Driver fatigue monitoring system using eye closure | |
| Sharma et al. | Eye blink detection for drowsy drivers | |
| Kaur et al. | Intelligent impaired driving detection and road emergency services system |