RU2851682C1 - Method of classifying web traffic for setting up a secure connection - Google Patents
Method of classifying web traffic for setting up a secure connectionInfo
- Publication number
- RU2851682C1 RU2851682C1 RU2024129036A RU2024129036A RU2851682C1 RU 2851682 C1 RU2851682 C1 RU 2851682C1 RU 2024129036 A RU2024129036 A RU 2024129036A RU 2024129036 A RU2024129036 A RU 2024129036A RU 2851682 C1 RU2851682 C1 RU 2851682C1
- Authority
- RU
- Russia
- Prior art keywords
- connection
- request
- web server
- bot
- request parameters
- Prior art date
Links
Abstract
Description
Область техники:Field of technology:
[0001] Изобретение относится к области вычислительной техники для классификации веб-трафика для установки защищенного соединения.[0001] The invention relates to the field of computing technology for classifying web traffic for establishing a secure connection.
Уровень техники:State of the art:
[0002] В настоящее время существует множество решений, предназначенных для классификации веб-трафика. Одним из примеров таких решений является способ обнаружения ботнетов на основе машинного обучения с использованием извлеченных в реальном времени характеристик трафика, описанный в US 8682812 B1. Известное решение предусматривает этапы, на которых выполняют анализ исторических сетевых данных с использованием заранее определенной эвристики для определения значений признака в исторических сетевых данных, получение набора данных подспутниковых наблюдений с метками, назначенными единицам данных в исторических сетевых данных, идентифицирующих известные вредоносные узлы в сети, анализ исторических сетевых данных и набора данных наземной достоверности с использованием алгоритма машинного обучения для создания модели, представляющей метки как функцию значений признака, анализ сетевых данных в реальном времени с использованием заранее определенной эвристики для определения значения признака для единицы данных в сетевых данных в реальном времени, назначение метки единице данных путем применения модели к значению признака и категоризация единицы данных как связанной с ботнетом на основе метки.[0002] Currently, there are many solutions designed to classify web traffic. One example of such solutions is a method for detecting botnets based on machine learning using real-time extracted traffic characteristics, described in US 8682812 B1. The known solution includes the steps of analyzing historical network data using predetermined heuristics to determine feature values in historical network data, obtaining a set of ground truth data with labels assigned to data units in the historical network data that identify known malicious nodes in the network, analyzing the historical network data and the ground truth data set using a machine learning algorithm to create a model representing labels as a function of feature values, analyzing real-time network data using predetermined heuristics to determine a feature value for a data unit in the real-time network data, assigning a label to the data unit by applying the model to the feature value, and categorizing the data unit as associated with a botnet based on the label.
[0003] Однако, известному решению присущи недостатки. Недостаток известного решения заключается в том, что в нем анализ сетевого трафика выполняется уже после установленного соединения. Данное обстоятельство снижает уровень защиты веб-сервера от внешних воздействий (например, от DDoS атак на сервис авторизации веб-сервера), т.к. в момент уже установленного соединения может произойти вредоносное воздействие на веб-сервер до момента обнаружения того, что соединение установил бот. Кроме того, известное решение для анализа трафика использует анализ потока четвертого транспортного уровня, что также снижает вероятность своевременного обнаружения бота, предназначенного для авторизации.[0003] However, the known solution has its drawbacks. One drawback is that it performs network traffic analysis after a connection has been established. This reduces the web server's protection from external influences (for example, DDoS attacks on the web server's authorization service), as malicious attacks can occur on the web server after the connection has been established, even before the bot's connection is detected. Furthermore, the known traffic analysis solution uses Layer 4 transport flow analysis, which also reduces the likelihood of timely detection of a bot attempting authorization.
Раскрытие изобретения:Disclosure of invention:
[0004] Задачей изобретения является устранение указанных выше недостатков.[0004] The objective of the invention is to eliminate the above-mentioned disadvantages.
[0005] Техническим результатом при этом является повышение уровня защиты веб-сервера от внешних воздействий.[0005] The technical result is an increase in the level of protection of the web server from external influences.
[0006] Для достижения технического результата предложен способ классификации веб-трафика для установки защищенного соединения, содержащий этапы, на которых выполняют:[0006] In order to achieve the technical result, a method for classifying web traffic for establishing a secure connection is proposed, comprising stages in which the following is performed:
- прием веб-сервером от клиентского устройства запроса на установку HTTPS-соединения, где HTTPS-соединение является безопасным протоколом передачи данных с возможностью шифрования посредством криптографических протоколов SSL и TLS;- the receipt by the web server from the client device of a request to establish an HTTPS connection, where the HTTPS connection is a secure data transfer protocol with the ability to be encrypted using the SSL and TLS cryptographic protocols;
- считывание веб-сервером параметров запроса, принятого от клиентского устройства, для установки HTTPS-соединения, где параметры запроса включают параметры прикладного уровня и уровня представления модели ISO/OSI, которые: - reading by the web server of the request parameters received from the client device to establish an HTTPS connection, where the request parameters include application layer and presentation layer parameters of the ISO/OSI model that:
- обозначают версию SSL для дальнейшей работы;- indicate the SSL version for further work;
- обозначают выбранный алгоритм обмена ключами и алгоритм аутентификации;- indicate the selected key exchange algorithm and authentication algorithm;
-обозначают набор расширения спецификации протокола, устраняющего обнаруженные недоработки или добавляющего функционал, не предусмотренный при утверждении оригинальной спецификации протокола защиты транспортного уровня TLS;- designate a set of extensions to the protocol specification that eliminate identified deficiencies or add functionality that was not provided for when the original TLS transport layer security protocol specification was approved;
- обозначает коды/номера поддерживаемых эллиптических кривых;- denotes codes/numbers of supported elliptic curves;
- обозначает поддерживаемый формат точек эллиптических кривых;- denotes the supported format of elliptic curve points;
- передача считанных запросов в модуль анализа параметров запроса;- transfer of read requests to the request parameters analysis module;
- анализ, упомянутым модулем анализа, параметров запроса для оценки вероятности того, что подключение сгенерировано ботом для авторизации, где анализ включает этапы, на которых:- analysis by the said analysis module of the request parameters to assess the probability that the connection was generated by a bot for authorization, where the analysis includes the steps at which:
а) выполняют посредством математической модели анализ параметров соединения TLS и HTTP, где математическая модель прогнозирует вероятность того, что запрос выполнен ботом для авторизации, при этом, математическая модель строится на основании сохраненной статистики по обращению к сайту для установки соединения настоящих пользователей и ботов;a) perform an analysis of the TLS and HTTP connection parameters using a mathematical model, where the mathematical model predicts the probability that the request was made by a bot for authorization, while the mathematical model is built on the basis of stored statistics on access to the site to establish a connection between real users and bots;
б) рассчитывают процентную вероятность того, что подключение сгенерировано ботом для авторизации;b) calculate the percentage probability that the connection was generated by a bot for authorization;
в) сравнивают рассчитанную вероятность с пороговым значением, и, в случае превышения заданного порога, устанавливают защищенную сессию между клиентским устройством и веб-сервером, а в случае не достижения порогового значения сбрасывают соединение.c) compare the calculated probability with the threshold value, and if the specified threshold is exceeded, establish a secure session between the client device and the web server, and if the threshold value is not reached, reset the connection.
[0007] В частных случаях реализации заявленного способа сравнение на этапе в) выполняется функцией сравнения trashhold > FP(x), где x – параметры запроса, в частности Cipher, SSLExtension, а FP(x) – функция от параметров запроса, рассчитывающая вероятность того что запрос принадлежит боту, trashhold – пороговое значение, выше которого можно считать запрос ботовым.[0007] In particular cases of the implementation of the claimed method, the comparison at step c) is performed by the comparison function trashhold > FP(x), where x are the request parameters, in particular Cipher, SSLExtension, and FP(x) is a function of the request parameters that calculates the probability that the request belongs to a bot, trashhold is the threshold value above which the request can be considered a bot.
[0008] Очевидно, что как предыдущее общее описание, так и последующее подробное описание даны лишь для примера и пояснения и не являются ограничениями данного изобретения.[0008] It is understood that both the foregoing general description and the following detailed description are given by way of example and explanation only and are not limitations of the invention.
Краткое описание чертежей:Brief description of the drawings:
[0009] Фиг. 1 – схематическое изображение способа классификации веб-трафика для установки защищенного соединения.[0009] Fig. 1 is a schematic representation of a method for classifying web traffic to establish a secure connection.
[00010] Фиг. 2 – схематическое изображение аппаратной архитектуры, реализующей способ классификации веб-трафика для установки защищенного соединения.[00010] Fig. 2 is a schematic representation of a hardware architecture that implements a method for classifying web traffic to establish a secure connection.
Осуществление изобретения:Implementation of the invention:
[0011] Схематическое изображение способа 100 классификации веб-трафика для установки защищенного соединения показано на фиг. 1. [0011] A schematic illustration of a method 100 for classifying web traffic to establish a secure connection is shown in Fig. 1.
[0012] На первом этапе 101 выполняется прием веб-сервером 202 от клиентского устройства 101 запроса на установку HTTPS-соединения. В контексте настоящего изобретения HTTPS-соединение является безопасным протоколом передачи данных с возможностью шифрования посредством криптографических протоколов SSL и TLS. Следует отметить, что прием выполняется модулем приема 203, размещенным в пределах сервера. Модуль приема может быть выполнен, но не ограничиваясь этим, в виде интерфейсного Ethernet модуля, дискретного модуля RS-485, в виде универсального асинхронного приёмопередатчика UART и т.д. Далее способ переходит к этапу 102.[0012] At the first step 101, a request for establishing an HTTPS connection is received by the web server 202 from the client device 101. In the context of the present invention, an HTTPS connection is a secure data transfer protocol with the possibility of encryption by means of the SSL and TLS cryptographic protocols. It should be noted that the reception is performed by a receiving module 203 located within the server. The receiving module can be implemented, but is not limited to, in the form of an Ethernet interface module, a discrete RS-485 module, a universal asynchronous receiver-transmitter UART, etc. The method then proceeds to step 102.
[0013] На этапе 102 выполняется считывание веб-сервером 202 параметров запроса, принятого от клиентского устройства 201, для установки HTTPS-соединения. Параметры запроса включают параметры прикладного уровня и уровня представления модели ISO/OSI. В контексте настоящего технического решения в качестве упомянутых параметров используются параметр SSLVersion, выполненный с возможностью обозначения версии SSL для дальнейшей работы, параметр Cipher, выполненный выбора алгоритма обмена ключами и алгоритма аутентификации и параметра SSLExtension, выполненный с возможностью расширения спецификации протокола, устраняющего обнаруженные недоработки или добавляющего функционал, не предусмотренный при утверждении оригинальной спецификациипротокола защиты транспортного уровня TLS (Transport Layer Security). Далее способ переходит к этапу 103.[0013] At step 102, the web server 202 reads the parameters of the request received from the client device 201 for establishing an HTTPS connection. The request parameters include parameters of the application layer and the presentation layer of the ISO/OSI model. In the context of the present technical solution, the mentioned parameters are the SSLVersion parameter, configured to designate the SSL version for further operation, the Cipher parameter, configured to select the key exchange algorithm and the authentication algorithm, and the SSLExtension parameter, configured to extend the protocol specification, eliminating the detected deficiencies or adding functionality not provided for when approving the original specification of the TLS (Transport Layer Security) protocol. The method then proceeds to step 103.
[0014] На этапе 103 в пределах веб-сервера 202 выполняется передача считанных запросов в модуль 204 анализа параметров запроса. В контексте настоящего изобретения модуль анализа параметров запроса выполнен аппаратно и размещен в пределах корпуса веб-сервера. В качестве примеров, но не ограничиваясь этим, модуль 204 анализа параметров запроса может быть выполнен в виде отдельного блейд-сервера, размещенного в корпусе веб-сервера 202, в виде отдельного контроллера, размещенного в корпусе веб-сервера 202, в виде отдельной печатной платы, размещенной в корпусе веб-сервера 202 и т.д. Далее способ переходит к этапу 104.[0014] At step 103, within the web server 202, the read requests are transmitted to the module 204 for analyzing the request parameters. In the context of the present invention, the module for analyzing the request parameters is implemented in hardware and is located within the body of the web server. As examples, but not limited to, the module 204 for analyzing the request parameters can be implemented in the form of a separate blade server located in the body of the web server 202, in the form of a separate controller located in the body of the web server 202, in the form of a separate printed circuit board located in the body of the web server 202, etc. The method then proceeds to step 104.
[0015] На этапе 104 модулем 204 анализа параметров запроса выполняется анализ параметров запроса для оценки вероятности того, что подключение сгенерировано ботом для авторизации. Упомянутый анализ включает этапы, на которых: а) выполняют посредством математической модели анализ параметров соединения TLS и HTTP, б) рассчитывают процентную вероятность того, что подключение сгенерировано ботом для авторизации и в) сравнивают рассчитанную вероятность с пороговым значением. Математическая модель прогнозирует вероятность того, что запрос выполнен ботом для авторизации и строится на основании сохраненной статистики по обращению к сайту для установки соединения настоящих пользователей и ботов. В случае превышения заданного порога, устанавливают защищенную сессию между клиентским устройством 201 и веб-сервером 202, т.е. выполняют этап 105. При этом в случае не достижения порогового значения сбрасывают соединение, т.е. выполняют этап 106. Следует отметить, что сравнение выполняется функцией сравнения trashhold > FP(x), где x – параметры запроса, в частности Cipher, SSLExtension, а FP(x) – функция от параметров запроса, рассчитывающая вероятность того что запрос принадлежит боту, trashhold – пороговое значение, выше которого можно считать запрос ботовым. Следует отметить, что упомянутое соединение устанавливают посредством модуля установки соединения 205. В контексте настоящего технического решения модуль установки соединения 205 может быть выполнен, но не ограничиваясь этим, в виде интерфейсного Ethernet модуля, дискретного модуля RS-485, в виде универсального асинхронного приёмопередатчика UART и т.д. Кроме того, в альтернативном варианте реализации, модуль 203 и модуль 205 могут быть выполнены в виде одного модуля приема и передачи данных. Для оценки вероятности принадлежности классу (бот/человек) каждого запроса используется алгоритм результатом работы которого является ансамбль (сумма результатов работы) моделей, каждая из которых представляет объединение логических условий в структуру дерева. [0015] At step 104, the request parameter analysis module 204 analyzes the request parameters to estimate the probability that the connection was generated by a bot for authorization. Said analysis includes the steps of: a) analyzing the TLS and HTTP connection parameters using a mathematical model, b) calculating the percentage probability that the connection was generated by a bot for authorization, and c) comparing the calculated probability with a threshold value. The mathematical model predicts the probability that the request was made by a bot for authorization and is built on the basis of stored statistics on access to the site for establishing a connection between real users and bots. If the specified threshold is exceeded, a secure session is established between the client device 201 and the web server 202, i.e., step 105 is performed. In this case, if the threshold value is not reached, the connection is reset, i.e. Step 106 is performed. It should be noted that the comparison is performed by the comparison function trashhold > FP(x), where x are the request parameters, in particular Cipher, SSLExtension, and FP(x) is a function of the request parameters that calculates the probability that the request belongs to a bot, trashhold is a threshold value above which the request can be considered a bot. It should be noted that the said connection is established by means of connection establishment module 205. In the context of the present technical solution, connection establishment module 205 can be implemented, but not limited to, in the form of an Ethernet interface module, a discrete RS-485 module, a universal asynchronous receiver-transmitter UART, etc. Moreover, in an alternative embodiment, module 203 and module 205 can be implemented as a single data receiving and transmitting module. To assess the probability of each request belonging to a class (bot/human), an algorithm is used, the result of which is an ensemble (the sum of the results of the work) of models, each of which represents the union of logical conditions in a tree structure.
Другими словами, общий вид ансамбля F(x) = f1(x) + fn(x) + fn+1(x) + fN(x), где f(x) – базовая модель ансамбля (дерево решений), N – количество деревьев, входящих в ансамбль, x – параметры запроса, включающий переменные сгенерированные на основание данных с L6-L7 уровня модели OSI, как сказано выше.In other words, the general form of the ensemble F(x) = f1(x) + fn(x) + fn+1(x) + fN(x), where f(x) is the basic model of the ensemble (decision tree), N is the number of trees included in the ensemble, x is the query parameters, including variables generated based on data from the L6-L7 level of the OSI model, as mentioned above.
[0016] Хотя данное изобретение было показано и описано со ссылкой на определенные варианты его осуществления, специалистам в данной области техники будет понятно, что различные изменения и модификации могут быть сделаны в нем, не покидая фактический объем изобретения. Следовательно, описанные варианты осуществления имеют намерение охватывать все подобные преобразования, модификации и разновидности, которые попадают под сущность и объем прилагаемой формулы изобретения.[0016] Although the present invention has been shown and described with reference to certain embodiments thereof, it will be understood by those skilled in the art that various changes and modifications can be made therein without departing from the actual scope of the invention. Accordingly, the described embodiments are intended to cover all such transformations, modifications and variations that fall within the spirit and scope of the appended claims.
Claims (14)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2851682C1 true RU2851682C1 (en) | 2025-11-27 |
Family
ID=
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6412000B1 (en) * | 1997-11-25 | 2002-06-25 | Packeteer, Inc. | Method for automatically classifying traffic in a packet communications network |
| RU2690758C1 (en) * | 2018-09-12 | 2019-06-05 | федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого" (ФГАОУ ВО "СПбПУ") | Method for automatic classification of network traffic based on heuristic analysis |
| US10681048B1 (en) * | 2018-11-26 | 2020-06-09 | Jpmorgan Chase Bank, N.A. | Systems and methods for intercepting WebView traffic |
| EP3700147A1 (en) * | 2019-02-22 | 2020-08-26 | Sandvine Corporation | System and method for classifying network traffic |
| RU2775824C2 (en) * | 2019-09-05 | 2022-07-11 | Общество С Ограниченной Ответственностью «Яндекс» | Method and system for detecting abnormal visits to websites |
| US20220345382A1 (en) * | 2021-04-19 | 2022-10-27 | Corelight, Inc. | System and method for network traffic classification using snippets and on the fly built classifiers |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6412000B1 (en) * | 1997-11-25 | 2002-06-25 | Packeteer, Inc. | Method for automatically classifying traffic in a packet communications network |
| RU2690758C1 (en) * | 2018-09-12 | 2019-06-05 | федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого" (ФГАОУ ВО "СПбПУ") | Method for automatic classification of network traffic based on heuristic analysis |
| US10681048B1 (en) * | 2018-11-26 | 2020-06-09 | Jpmorgan Chase Bank, N.A. | Systems and methods for intercepting WebView traffic |
| EP3700147A1 (en) * | 2019-02-22 | 2020-08-26 | Sandvine Corporation | System and method for classifying network traffic |
| RU2775824C2 (en) * | 2019-09-05 | 2022-07-11 | Общество С Ограниченной Ответственностью «Яндекс» | Method and system for detecting abnormal visits to websites |
| US20220345382A1 (en) * | 2021-04-19 | 2022-10-27 | Corelight, Inc. | System and method for network traffic classification using snippets and on the fly built classifiers |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pourvahab et al. | An efficient forensics architecture in software-defined networking-IoT using blockchain technology | |
| Yu et al. | An efficient SDN-based DDoS attack detection and rapid response platform in vehicular networks | |
| Dusi et al. | Tunnel hunter: Detecting application-layer tunnels with statistical fingerprinting | |
| US12058274B2 (en) | Method for detecting anomalies in SSL and/or TLS communications, corresponding device, and computer program product | |
| CN112788065B (en) | Internet of things zombie network tracking method and device based on honeypots and sandboxes | |
| CN101364981A (en) | Hybrid Intrusion Detection Method Based on Internet Protocol Version 6 | |
| Dusi et al. | Detection of encrypted tunnels across network boundaries | |
| RU2768567C1 (en) | Method and system for preventing malicious automated attacks | |
| CN116346418A (en) | DDoS detection method and device based on federal learning | |
| de Neira et al. | Early botnet detection for the internet and the internet of things by autonomous machine learning | |
| CN120151057A (en) | Computer data dynamic protection method and system based on fusion factors | |
| Carvalho et al. | DataPlane‐ML: an integrated attack detection and mitigation solution for software defined networks | |
| KR100684602B1 (en) | Scenario-based Intrusion Response System using Session State Transition and Its Method | |
| RU2851682C1 (en) | Method of classifying web traffic for setting up a secure connection | |
| Teyssier et al. | QUICShield: A rapid detection mechanism against QUIC-flooding attacks | |
| CN119766556B (en) | A distributed data security protection system based on Internet of Things nodes | |
| AU2021102049A4 (en) | Method and system for defense against Distributed Denial-of-Service attack | |
| Ji et al. | Encrypted Cyberattack Detection System over Encrypted IoT Traffic Based on Statistical Intelligence. | |
| CN118174968B (en) | An explicit and implicit feature recognition device and method for an Internet of Things terminal device | |
| Otoum et al. | Blockchain Meets Adaptive Honeypots: A Trust-Aware Approach to Next-Gen IoT Security | |
| Kumar | Dos attacks on cloud platform: Their solutions and implications | |
| CN119450470A (en) | Wireless router access management method, system and wireless router | |
| US12063237B2 (en) | Methods for tracing malicious endpoints in direct communication with application back ends using TLS fingerprinting techniques | |
| Khosroshahi et al. | Detection of sources being used in ddos attacks | |
| Gokcen | A Preliminary Study for Identifying NAT Traffic Using Machine Learning |