[go: up one dir, main page]

RU2834889C2 - Method and device for personal authentication, terminal and data medium - Google Patents

Method and device for personal authentication, terminal and data medium Download PDF

Info

Publication number
RU2834889C2
RU2834889C2 RU2024125071A RU2024125071A RU2834889C2 RU 2834889 C2 RU2834889 C2 RU 2834889C2 RU 2024125071 A RU2024125071 A RU 2024125071A RU 2024125071 A RU2024125071 A RU 2024125071A RU 2834889 C2 RU2834889 C2 RU 2834889C2
Authority
RU
Russia
Prior art keywords
password
characters
backend server
gestures
virtual keyboard
Prior art date
Application number
RU2024125071A
Other languages
Russian (ru)
Other versions
RU2024125071A (en
Inventor
Янь Ли
Original Assignee
Биго Текнолоджи Пте. Лтд.
Filing date
Publication date
Application filed by Биго Текнолоджи Пте. Лтд. filed Critical Биго Текнолоджи Пте. Лтд.
Publication of RU2024125071A publication Critical patent/RU2024125071A/en
Application granted granted Critical
Publication of RU2834889C2 publication Critical patent/RU2834889C2/en

Links

Abstract

FIELD: physics.
SUBSTANCE: invention relates to a method, a device, a terminal and a computer-readable data medium for personal authentication. Method comprises generating a random matching target function in response to an identity verification command, wherein the arbitrary matching target function is a function generated to associate characters with gestures in an arbitrary manner; displaying a virtual keyboard based on the arbitrary matching target function, wherein the virtual keyboard displays information indicating the need to convert the password, which corresponds to the arbitrary matching target function and which is determined as an indication of the need to convert password characters in the original password into gestures, wherein different password symbols correspond to different gestures, password conversion mode displayed by information indicating the need for password conversion is randomly generated, and password characters include at least one type of numbers, letters, punctuation marks and special characters; wherein the virtual keyboard display based on the arbitrary matching target function comprises: determining a password conversion unit based on the arbitrary matching target function, wherein the password conversion unit includes one of the password symbols and a gesture corresponding to one of the password symbols in the arbitrary matching target function; and displaying the password conversion unit on the virtual keyboard based on the first display mode corresponding to one of the password symbols and the second display mode corresponding to the gesture identifier, wherein the first display mode is different from the second display mode; obtaining facial feature data by extracting facial features from identity verification images collected by the camera; obtaining a sequence of gestures by detecting activity on identity verification images; obtaining a source password by converting a password from a sequence of gestures based on an arbitrary matching target function; and performing identity authentication based on the initial password and facial features data.
EFFECT: high reliability of identity authentication.
11 cl, 7 dwg, 1 tbl

Description

Область техники, к которой относится настоящее изобретениеField of technology to which the present invention relates

[1] Варианты осуществления настоящего изобретения относятся к области технологий обеспечения информационной безопасности в облачных средах, в частности, к способу и устройству для аутентификации личности, а также к терминалу, носителю данных и его программному продукту.[1] Embodiments of the present invention relate to the field of technologies for ensuring information security in cloud environments, in particular, to a method and device for personal authentication, as well as to a terminal, a data carrier and its software product.

Предшествующий уровень техники настоящего изобретенияPrior art of the present invention

[2] Двухфакторная аутентификация (2FA) представляет собой способ аутентификации личности пользователя путем комбинирования двух различных типов факторов аутентификации (таких как пароли учетных записей, проверочные коды службы коротких сообщений (SMS) и биометрические данные). В процессе проверки личности пользователю необходимо предоставить два различных фактора аутентификации для подтверждения своей личности, что позволяет лучше защитить учетные данные пользователей и доступные ему ресурсы по сравнению со способом проверки, где используется всего один фактор.[2] Two-factor authentication (2FA) is a method of authenticating a user's identity by combining two different types of authentication factors (such as account passwords, Short Message Service (SMS) verification codes, and biometric data). During the identity verification process, a user must provide two different authentication factors to confirm their identity, which allows for better protection of users' credentials and the resources available to them compared to a verification method that uses only one factor.

[3] В некоторых практиках способ 2FA обычно использует два фактора из числа следующих трех факторов аутентификации: (1) личной информации пользователей, такой как пароли или персональные идентификационные номера (PIN); (2) биометрических данных пользователей, таких как образцы голоса, черты лица, отпечатки пальцев и тому подобное; и (3) персональных средств пользователей, таких как проверочные коды SMS, электронные ключи безопасности и тому подобное.[3] In some practices, the 2FA method typically uses two factors from among the following three authentication factors: (1) users' personal information, such as passwords or personal identification numbers (PINs); (2) users' biometric data, such as voice samples, facial features, fingerprints, and the like; and (3) users' personal assets, such as SMS verification codes, electronic security keys, and the like.

[4] Однако способы аутентификации личности в некоторых случаях предусматривают следующее: все способы, основанные на двух типах биометрических данных, такие как способ, основанный на кодовых фразах и паролях, и способ, основанный на биометрических данных и личной информации пользователя, требуют от пользователей выполнения, по меньшей мере, двух проверочных операций, таких как ввод образцов голоса и отпечатков пальцев или ввод отпечатков пальцев и паролей, что усложняет проверочные операции и затягивает процесс проверки.[4] However, personal authentication methods in some cases provide for the following: all methods based on two types of biometric data, such as a method based on passphrases and passwords and a method based on biometric data and the user's personal information, require users to perform at least two verification operations, such as entering voice samples and fingerprints or entering fingerprints and passwords, which complicates the verification operations and delays the verification process.

Краткое раскрытие настоящего изобретенияBrief summary of the present invention

[5] Вариантами осуществления настоящего изобретения предложен способ и устройство для аутентификации личности, а также терминал, носитель данных и его программный продукт. Ниже описаны технические решения, реализованные в настоящем изобретении.[5] The embodiments of the present invention propose a method and device for authentication of a person, as well as a terminal, a data carrier and its software product. The technical solutions implemented in the present invention are described below.

[6] Согласно одному из аспектов настоящего изобретения вариантами его осуществления предложен способ аутентификации личности. Этот способ предусматривает выполнение следующих стадий:[6] According to one aspect of the present invention, embodiments thereof provide a method for authenticating a person. This method involves performing the following steps:

[7] генерирование целевой функции произвольного соответствия в ответ на команду на проверку личности, причем целевая функция произвольного соответствия представляет собой функцию, сгенерированную с возможностью соотнесения символов с жестами произвольным образом;[7] generating a random matching target function in response to a command to verify the identity, wherein the random matching target function is a function generated with the ability to match symbols with gestures in an arbitrary manner;

[8] отображение виртуальной клавиатуры на основе целевой функции произвольного соответствия, причем на виртуальной клавиатуре отображается информация с указанием на необходимость преобразования пароля, которая соответствует целевой функции произвольного соответствия, и которая определяется как указание на необходимость преобразования символов пароля в исходном пароле в жесты, причем разные символы пароля соответствуют разным жестам, режим преобразования символов пароля, отображаемый информацией с указанием на необходимость преобразования пароля, генерируется произвольным образом, а символы пароля включают в себя, по меньшей мере, один тип цифр, букв, знаков препинания и специальных символов; при этом отображение виртуальной клавиатуры на основе целевой функции произвольного соответствия предусматривает: определение блока преобразования пароля на основе целевой функции произвольного соответствия, причем блок преобразования пароля включает в себя один из символов пароля и жест, соответствующий одному из символов пароля в целевой функции произвольного соответствия; и отображение блока преобразования пароля на виртуальной клавиатуре на основе первого режима отображения, соответствующего одному из символов пароля, и второго режима отображения, соответствующего идентификатору жеста, причем первый режим отображения отличается от второго режима отображения;[8] displaying a virtual keyboard based on an arbitrary correspondence target function, wherein password conversion indication information is displayed on the virtual keyboard, which corresponds to an arbitrary correspondence target function and which is defined as an indication of the need to convert password characters in an original password into gestures, wherein different password characters correspond to different gestures, the password character conversion mode displayed by the password conversion indication information is arbitrarily generated, and the password characters include at least one type of digits, letters, punctuation marks and special characters; wherein displaying a virtual keyboard based on an arbitrary correspondence target function comprises: determining a password conversion unit based on an arbitrary correspondence target function, wherein the password conversion unit includes one of the password characters and a gesture corresponding to one of the password characters in the arbitrary correspondence target function; and displaying the password conversion unit on the virtual keyboard based on a first display mode corresponding to one of the password characters and a second display mode corresponding to a gesture identifier, wherein the first display mode is different from the second display mode;

[9] получение данных о чертах лица путем извлечения черт лица из изображений для проверки личности, собранных камерой;[9] obtaining facial feature data by extracting facial features from identity verification images collected by the camera;

[10] получение последовательности жестов путем детектирования активности на изображениях для проверки личности;[10] obtaining gesture sequences by detecting activity in images for identity verification;

[11] получение исходного пароля путем преобразования пароля из последовательности жестов на основе целевой функции произвольного соответствия; и[11] obtaining the original password by transforming the password from a sequence of gestures based on the arbitrary correspondence objective function; and

[12] выполнение аутентификации личности на основе исходного пароля и данных о чертах лица.[12] Performing identity authentication based on the original password and facial features data.

[13] Согласно другому аспекту настоящего изобретения вариантами его осуществления предложено устройство для аутентификации личности. Это устройство включает в себя:[13] According to another aspect of the present invention, embodiments thereof provide a device for authenticating a person. This device includes:

[14] первый модуль отображения, выполненный с возможностью генерирования целевой функции произвольного соответствия в ответ на команду на проверку личности, причем целевая функция произвольного соответствия представляет собой функцию, сгенерированную с возможностью соотнесения символов с жестами произвольным образом; и отображения виртуальной клавиатуры на основе целевой функции произвольного соответствия, причем на виртуальной клавиатуре отображается информация с указанием на необходимость преобразования пароля, которая соответствует целевой функции произвольного соответствия, и которая определяется как указание на необходимость преобразования символов пароля в исходном пароле в жесты, причем разные символы пароля соответствуют разным жестам, режим преобразования символов пароля, отображаемый информацией с указанием на необходимость преобразования пароля, генерируется произвольным образом, а символы пароля включают в себя, по меньшей мере, один тип цифр, букв, знаков препинания и специальных символов; при этом первый модуль отображения выполнен с дополнительной возможностью: определения блока преобразования пароля на основе целевой функции произвольного соответствия, причем блок преобразования пароля включает в себя один из символов пароля и жест, соответствующий одному из символов пароля в целевой функции произвольного соответствия; и отображения блока преобразования пароля на виртуальной клавиатуре на основе первого режима отображения, соответствующего одному из символов пароля, и второго режима отображения, соответствующего идентификатору жеста, причем первый режим отображения отличается от второго режима отображения;[14] a first display module configured to generate an arbitrary correspondence target function in response to an identity verification command, wherein the arbitrary correspondence target function is a function generated with the ability to arbitrarily associate characters with gestures; and displaying a virtual keyboard based on the arbitrary correspondence target function, wherein information indicating the need for converting a password is displayed on the virtual keyboard, which corresponds to the arbitrary correspondence target function and which is determined as an indication of the need for converting password characters in the original password into gestures, wherein different password characters correspond to different gestures, a password character conversion mode displayed by the password conversion indication information is arbitrarily generated, and the password characters include at least one type of digits, letters, punctuation marks and special characters; wherein the first display module is further configured to: determine a password conversion unit based on the arbitrary correspondence target function, wherein the password conversion unit includes one of the password characters and a gesture corresponding to one of the password characters in the arbitrary correspondence target function; and displaying a password conversion block on a virtual keyboard based on a first display mode corresponding to one of the password characters and a second display mode corresponding to the gesture identifier, wherein the first display mode is different from the second display mode;

[15] первый модуль извлечения черт лица, выполненный с возможностью получения данных о чертах лица путем извлечения черт лица из изображений для проверки личности, собранных камерой;[15] a first facial feature extraction module configured to obtain facial feature data by extracting facial features from identity verification images collected by a camera;

[16] модуль детектирования активности, выполненный с возможностью получения последовательности жестов путем детектирования активности на изображениях для проверки личности;[16] an activity detection module configured to obtain a sequence of gestures by detecting activity in images for identity verification;

[17] модуль преобразования пароля, выполненный с возможностью получения исходного пароля путем преобразования пароля из последовательности жестов; и[17] a password conversion module configured to obtain an original password by converting the password from a sequence of gestures; and

[18] модуль аутентификации личности, выполненный с возможностью осуществления аутентификации личности на основе исходного пароля и данных о чертах лица.[18] a personal authentication module configured to perform personal authentication based on an initial password and facial feature data.

[19] Согласно еще одному аспекту настоящего изобретения вариантами его осуществления предложен терминал, включающий в себя процессор и память; при этом в памяти хранится, по меньшей мере, одна команда, по меньшей мере, одна программа, набор кодов или набор команд, и при загрузке и исполнении, по меньшей мере, одной команды, по меньшей мере, одной программы, набора кодов или набора команд инициируется реализация процессором способа аутентификации личности согласно указанного аспекту.[19] According to another aspect of the present invention, embodiments thereof provide a terminal comprising a processor and a memory; wherein at least one instruction, at least one program, set of codes or set of commands is stored in the memory, and upon loading and execution of at least one instruction, at least one program, set of codes or set of commands, the processor initiates the implementation of a method for authenticating a person according to said aspect.

[20] Согласно еще одному аспекту настоящего изобретения вариантами его осуществления предложен машиночитаемый носитель данных, в котором хранится, по меньшей мере, одна компьютерная программа, причем эта компьютерная программа при ее загрузке и выполнении процессором инициирует реализацию этим процессором способа аутентификации личности согласно указанного аспекту.[20] According to another aspect of the present invention, embodiments thereof provide a machine-readable data carrier in which at least one computer program is stored, wherein this computer program, when loaded and executed by a processor, initiates the implementation by this processor of a method for authenticating a person according to the said aspect.

[21] Технические решения, реализованные в вариантах осуществления настоящего изобретения, обеспечивают достижение, по меньшей мере, следующих положительных эффектов:[21] The technical solutions implemented in the embodiments of the present invention ensure the achievement of at least the following positive effects:

[22] Вариантами осуществления настоящего изобретения предложен механизм аутентификации личности на основе двух факторов аутентификации, таких как пароль пользователя и черты лица, так что пользователь может одновременно осуществить ввод пароля и выполнить идентификацию лица, введя жест всего один раз. Таким образом, упрощается процесс аутентификации личности пользователя и повышается эффективность аутентификации личности. На основе генерируемого произвольным образом режима преобразования символов пароля пользователь вводит произвольную последовательность жестов, полученную путем преобразования исходного пароля, так что исходный пароль пользователя не «утекает» на этапе ввода пароля, а мгновенный пароль, полученный на основе корректного исходного пароля, позволяет успешно пройти аутентификацию, защищая процесс идентификации лица от атак с использованием поддельных черт лица и дополнительно повышая уровень безопасности и точность аутентификации личности.[22] The embodiments of the present invention provide a personality authentication mechanism based on two authentication factors such as a user password and facial features, so that the user can simultaneously enter a password and perform facial identification by entering a gesture only once. Thus, the process of authenticating the user's personality is simplified and the efficiency of the personality authentication is improved. Based on the randomly generated password character conversion mode, the user enters an arbitrary sequence of gestures obtained by converting the original password, so that the user's original password is not "leaked" at the password input stage, and the instant password obtained based on the correct original password allows successful authentication, protecting the facial identification process from attacks using fake facial features and further improving the security level and accuracy of personality authentication.

Краткое описание чертежейBrief description of the drawings

[23] На фиг. 1 представлено схематическое изображение среды реализации согласно некоторым вариантам осуществления настоящего изобретения;[23] Fig. 1 is a schematic diagram of an implementation environment according to some embodiments of the present invention;

[24] На фиг. 2 представлена блок-схема, иллюстрирующая способ аутентификации личности согласно некоторым вариантам осуществления настоящего изобретения;[24] Fig. 2 is a block diagram illustrating a method for authenticating an individual according to some embodiments of the present invention;

[25] На фиг. 3 представлена блок-схема, иллюстрирующая способ аутентификации личности согласно некоторым вариантам осуществления настоящего изобретения;[25] Fig. 3 is a block diagram illustrating a method for authenticating an individual according to some embodiments of the present invention;

[26] На фиг. 4 представлено схематическое изображение виртуальной клавиатуры согласно некоторым вариантам осуществления настоящего изобретения;[26] Fig. 4 is a schematic diagram of a virtual keyboard according to some embodiments of the present invention;

[27] На фиг. 5 представлена блок-схема, иллюстрирующая способ аутентификации личности согласно некоторым вариантам осуществления настоящего изобретения;[27] Fig. 5 is a block diagram illustrating a method for authenticating an individual according to some embodiments of the present invention;

[28] На фиг. 6 представлена блок-схема, иллюстрирующая способ аутентификации личности согласно некоторым вариантам осуществления настоящего изобретения; и[28] Fig. 6 is a block diagram illustrating a method for authenticating an individual according to some embodiments of the present invention; and

[29] На фиг. 7 представлена структурная схема устройства для аутентификации личности согласно некоторым вариантам осуществления настоящего изобретения.[29] Fig. 7 is a block diagram of a device for personal authentication according to some embodiments of the present invention.

Подробное раскрытие настоящего изобретенияDetailed disclosure of the present invention

[30] Для разъяснения целей, технических решений и преимуществ настоящего изобретения далее по тексту подробно описаны варианты его осуществления, раскрытые в привязке к прилагаемым чертежам.[30] To clarify the objectives, technical solutions and advantages of the present invention, embodiments of the present invention are described in detail below in connection with the accompanying drawings.

[31] Термин «множество», используемый в контексте настоящего документа, означает два или более. Термин «и/или» описывает ассоциативное соотношение между связанными объектами и указывает на то, что существует три варианта соотношений. Например, фраза «А и/или В» означает (А), (В) или (А и В). Символ «/» обычно указывает на соотношение «или» между связанными объектами.[31] The term "set" as used in this document means two or more. The term "and/or" describes an associative relationship between related objects and indicates that there are three possible relationships. For example, the phrase "A and/or B" means (A), (B), or (A and B). The symbol "/" typically indicates an "or" relationship between related objects.

[32] В некоторых практиках способ 2FA обычно использует лишь два фактора из числа следующих трех факторов аутентификации: (1) личной информации пользователей, такой как пароли или персональные идентификационные номера (PIN); (2) биометрических данных пользователей, таких как образцы голоса, черты лица, отпечатки пальцев и тому подобное; и (3) персональных средств пользователей, таких как проверочные коды SMS, электронные ключи безопасности и тому подобное. Однако в некоторых случаях способы аутентификации личности предусматривают следующее: способ 2FA, основанный на образцах голоса и прочих биометрических данных (например, на отпечатках пальцев и изображениях лица) требует, чтобы пользовательское устройство было снабжено дополнительными специальными датчиками (например, сканером отпечатков пальцев) или дополнительными программными и аппаратными ключами безопасности; а решение 2FA, основанное на паролях и графических условных обозначениях, часто требует от пользователя ввода информации по несколько раз. Все способы аутентификации личности, как основанные на биометрических данных двух типов, так и основанные на кодовых фразах и паролях, а также на биометрических данных пользователя, требуют от пользователей выполнения, по меньшей мере, двух проверочных операций, таких как ввод образцов голоса и отпечатков пальцев или ввод отпечатков пальцев и паролей, что усложняет проверочные операции и затягивает процесс проверки.[32] In some practices, the 2FA method typically uses only two factors from the following three authentication factors: (1) users’ personal information, such as passwords or personal identification numbers (PINs); (2) users’ biometric data, such as voice samples, facial features, fingerprints, etc.; and (3) users’ personal means, such as SMS verification codes, electronic security keys, etc. However, in some cases, identity authentication methods provide for the following: a 2FA method based on voice samples and other biometric data (e.g., fingerprints and facial images) requires the user’s device to be equipped with additional special sensors (e.g., a fingerprint scanner) or additional software and hardware security keys; and a 2FA solution based on passwords and graphic symbols often requires the user to enter information multiple times. All personal authentication methods, whether based on two types of biometric data or based on passphrases and passwords, as well as on user biometric data, require users to perform at least two verification operations, such as entering voice samples and fingerprints or entering fingerprints and passwords, which complicates the verification operations and delays the verification process.

[33] Вариантами осуществления настоящего изобретения предложен способ аутентификации личности, устраняющий указанные технические проблемы, повышающий эффективность способа 2FA и упрощающий сам процесс. На фиг. 1 представлено схематическое изображение среды реализации настоящего изобретения согласно некоторым вариантам его осуществления. Среда реализации включает в себя: терминал 110 и бэкэнд-сервер 120.[33] The embodiments of the present invention provide a method for authenticating a person that eliminates the above technical problems, increases the efficiency of the 2FA method, and simplifies the process itself. Fig. 1 is a schematic representation of an implementation environment of the present invention according to some embodiments thereof. The implementation environment includes: a terminal 110 and a backend server 120.

[34] Терминал 110 включает в себя модуль 111 преобразования пароля и модуль 112 извлечения черт лица. В ответ на команду на проверку личности модуль 111 преобразования пароля генерирует режим преобразования символов пароля, причем режим преобразования символов пароля генерируется произвольным образом. Терминал 110 отображает режим преобразования символов пароля через интерфейс, и на основании этого режима пользователь преобразует исходный пароль и вводит последовательность жестов через камеру, после чего терминал 110 осуществляет извлечение черт лица и детектирует активность на изображениях для проверки личности, собранных камерой. Модуль 111 преобразования пароля получает исходный пароль путем восстановления идентифицированной последовательности жестов на основе режима преобразования символов пароля. Модуль 112 извлечения черт лица получает данные о чертах лица путем извлечения черт лица из изображений для проверки личности. Терминал 110 передает исходный пароль и данные о чертах лица на бэкэнд-сервер 120 для аутентификации личности. Следовательно, в предложенном способе осуществляется ввод двух факторов аутентификации лишь с использованием одних и тех же данных пользователя всего один раз, что упрощает работу пользователя.[34] The terminal 110 includes a password conversion module 111 and a facial feature extraction module 112. In response to an identity verification command, the password conversion module 111 generates a password character conversion mode, wherein the password character conversion mode is randomly generated. The terminal 110 displays the password character conversion mode through an interface, and based on this mode, the user converts the original password and inputs a gesture sequence through the camera, after which the terminal 110 performs facial feature extraction and detects activity in the identity verification images collected by the camera. The password conversion module 111 obtains the original password by reconstructing the identified gesture sequence based on the password character conversion mode. The facial feature extraction module 112 obtains facial feature data by extracting facial features from the identity verification images. The terminal 110 transmits the original password and the facial feature data to the backend server 120 for identity authentication. Therefore, the proposed method involves entering two authentication factors using the same user data only once, which simplifies the user's work.

[35] После получения исходного пароля и данных о чертах лица бэкэнд-сервер 120 выполняет аутентификацию личности на основе базы данных и передает результат аутентификации на терминал 110. Хотя на фиг. 1 показан лишь один терминал 110, на практике с бэкэнд-сервером 120 для аутентификации личности может поддерживать связь большее количество терминалов. В бэкэнд-сервере 120 хранятся исходные пароли и данные о чертах лица, соответствующие различным учетным записям.[35] After receiving the initial password and the facial feature data, the backend server 120 performs identity authentication based on the database and transmits the authentication result to the terminal 110. Although only one terminal 110 is shown in Fig. 1, in practice, more terminals may communicate with the backend server 120 for identity authentication. The backend server 120 stores the initial passwords and facial feature data corresponding to different accounts.

[36] Далее по тексту иллюстративно описаны сценарии применения способа аутентификации личности согласно вариантам осуществления настоящего изобретения.[36] The following text illustratively describes scenarios for using the method for authenticating a person according to embodiments of the present invention.

[37] 1. Оплата в режиме онлайн[37] 1. Online payment

[38] Предложенный способ аутентификации личности может быть реализован в виде функции оплаты в режиме онлайн в таком приложении, как приложение для покупок или приложение для оплаты в режиме онлайн или на веб-странице таким образом, что процесс 2FA реализуется путем однократного ввода данных. По факту получения операции оплаты терминал произвольным образом генерирует режим преобразования символов пароля, отображает режим преобразования символов пароля на интерфейсе и собирает изображения для проверки личности, включив камеру. Пользователь преобразует исходный пароль своей учетной записи в мгновенную последовательность жестов на основе режима преобразования символов пароля, отображаемого терминалом, и показывает соответствующие жесты камере. Терминал получает данные о чертах лица путем извлечения черт лица из изображений для проверки личности, идентифицирует последовательность жестов, выполняет аутентификацию личности на основе исходного пароля и черт лица после получения исходного пароля путем восстановления идентифицированной последовательности жестов и завершает операцию оплаты в случае успешного прохождения 2FA.[38] The proposed identity authentication method can be implemented as an online payment function in an application such as a shopping application or an online payment application or a web page so that the 2FA process is realized by entering data once. Upon receiving a payment transaction, the terminal arbitrarily generates a password character conversion mode, displays the password character conversion mode on the interface, and collects identity verification images by turning on the camera. The user converts the original password of his or her account into an instant gesture sequence based on the password character conversion mode displayed by the terminal and shows the corresponding gestures to the camera. The terminal obtains facial feature data by extracting facial features from the identity verification images, identifies the gesture sequence, performs identity authentication based on the original password and facial features after receiving the original password by recovering the identified gesture sequence, and completes the payment transaction if the 2FA is successful.

[39] 2. Вход в учетную запись[39] 2. Login to your account

[40] Для учетных записей пользователей, содержащих важную информацию или ресурсы пользователей, описанный выше способ аутентификации личности применим к аутентификации личности при входе в систему. В случае получения операции входа в учетную запись пользователь вводит идентификатор учетной записи, запускает процесс аутентификации личности и одновременно вводит исходный пароль и черты лица с помощью входной последовательности жестов для аутентификации личности. Кроме того, предложенный способ аутентификации личности применим к сценарию входа в учетную запись в приложении и на веб-странице на терминале.[40] For user accounts containing important information or user resources, the above-described identity authentication method is applicable to identity authentication when logging in. In the case of receiving an account login operation, the user inputs the account ID, starts the identity authentication process, and simultaneously inputs the initial password and facial features using the identity authentication gesture input sequence. In addition, the proposed identity authentication method is applicable to the scenario of logging in to an account in an application and on a web page on a terminal.

[41] На фиг. 2 представлена блок-схема, иллюстрирующая способ аутентификации личности согласно некоторым вариантам осуществления настоящего изобретения. Варианты осуществления настоящего изобретения описаны на примере способа, применимого к терминалу, который обладает функциями сбора и обработки изображений. Этот способ предусматривает выполнение стадий, описанных ниже.[41] Fig. 2 is a flow chart illustrating a method for authenticating a person according to some embodiments of the present invention. The embodiments of the present invention are described using the example of a method applicable to a terminal that has image collection and processing functions. This method includes performing the steps described below.

[42] На стадии S201 отображается информация с указанием на необходимость преобразования пароля в ответ на команду на проверку личности.[42] At step S201, information indicating the need to convert the password in response to the identity verification command is displayed.

[43] Информация с указанием на необходимость преобразования пароля определяется как указание на необходимость преобразования символов пароля в исходном пароле в жесты, причем разные символы пароля соответствуют разным жестам, а режим преобразования символов пароля, отображаемый информацией с указанием на необходимость преобразования пароля, генерируется произвольным образом.[43] The password conversion instruction information is defined as an instruction to convert password characters in the original password into gestures, wherein different password characters correspond to different gestures, and the password character conversion mode displayed by the password conversion instruction information is generated arbitrarily.

[44] В некоторых вариантах осуществления настоящего изобретения аутентификации личности требует получения двух факторов аутентификации, таких как пароль и черты лица пользователя. Идентификация лица используется в вариантах осуществления заявленного изобретения для упрощения процесс аутентификации личности пользователя, т.е. ввод указанных двух факторов аутентификации осуществляется путем выполнения всего одной операции. Терминал обеспечивает произвольный режим преобразования символов пароля для предотвращения взлома исходного пароля. В ответ на команду на проверку личности терминал предоставляет пользователю режим преобразования символов пароля путем отображения информации с указанием на необходимость преобразования пароля. Пользователь должен преобразовать исходный пароль своей учетной записи в мгновенную последовательность жестов на основе режима преобразования символов пароля, предоставленного терминалом, а затем выполнить последовательность жестов для ее ввода через камеру терминала. Режим преобразования символов пароля генерируется произвольным образом и является нефиксированным режимом преобразования, благодаря чему режим преобразования символов пароля не может быть взломан третьими лицами.[44] In some embodiments of the present invention, the identity authentication requires obtaining two authentication factors, such as a password and facial features of the user. Facial identification is used in embodiments of the claimed invention to simplify the process of authenticating the user's identity, i.e., entering the two authentication factors is carried out by performing only one operation. The terminal provides an arbitrary password character conversion mode to prevent the original password from being hacked. In response to a command to verify the identity, the terminal provides the user with a password character conversion mode by displaying information indicating the need to convert the password. The user must convert the original password of his account into an instant gesture sequence based on the password character conversion mode provided by the terminal, and then perform the gesture sequence to enter it through the terminal camera. The password character conversion mode is randomly generated and is an unfixed conversion mode, due to which the password character conversion mode cannot be hacked by third parties.

[45] В некоторых вариантах осуществления настоящего изобретения режим преобразования символов пароля обеспечивает взаимное преобразование символов и жестов и соотносит символы с жестами, которые могут быть выполнены пользователем. Например, символы включают в себя цифры, буквы, знаки препинания, специальные символы и прочее, а жесты включают в себя различные выражения лица, движения головы, комбинированные движения головы и рук и прочее, что не носит ограничительного характера в вариантах осуществления заявленного изобретения.[45] In some embodiments of the present invention, the password character conversion mode provides mutual conversion of characters and gestures and relates characters to gestures that can be performed by the user. For example, characters include numbers, letters, punctuation marks, special characters, etc., and gestures include various facial expressions, head movements, combined head and hand movements, etc., which is not limiting in embodiments of the claimed invention.

[46] На стадии S202 обеспечивается получение данных о чертах лица путем извлечения черт лица из изображений для проверки личности, собранных камерой.[46] In step S202, facial feature data is obtained by extracting facial features from identity verification images collected by the camera.

[47] После отображения информации с указанием на необходимость преобразования пароля терминал включает камеру и с помощью камеры собирает данные в виде изображений, таких как видео или фотографии. По завершении сбора изображений для проверки личности терминал получает данные о чертах лица пользователя путем извлечения черт лица из изображений для проверки личности.[47] After displaying the information indicating that the password needs to be converted, the terminal turns on the camera and uses the camera to collect data in the form of images such as videos or photographs. After collecting the identity verification images, the terminal obtains the user's facial features by extracting the facial features from the identity verification images.

[48] В некоторых вариантах осуществления настоящего изобретения предусмотрено, что после получения команды на проверку личности терминал автоматически включает камеру с целью сбора изображения для проверки личности. В альтернативном варианте терминал отображает информацию с указанием на необходимость преобразования пароля и включает камеру после получения операции подтверждения ввода пароля (например, операции запуска с помощью органа управления идентификацией лица) для сбора изображений. Терминал выключает камеру для завершения сбора изображений в случае, если продолжительность работы камеры достигает порогового значения. В альтернативном варианте терминал выключает камеру при получении операции завершения ввода пароля (например, операции запуска с помощью органа управления завершением ввода информации). В качестве альтернативы терминал идентифицирует собранные изображения для проверки личности в режиме реального времени и автоматически выключает камеру в случае, если лицо не обнаружено или жест пользователя на изображениях не изменился в течение заданного периода времени, что не носит ограничительного характера в вариантах осуществления настоящего изобретения.[48] In some embodiments of the present invention, it is provided that after receiving an identity verification command, the terminal automatically turns on the camera to collect an image for identity verification. Alternatively, the terminal displays information indicating the need to convert a password and turns on the camera after receiving a password input confirmation operation (for example, a start operation using the face identification control) to collect images. The terminal turns off the camera to complete the image collection if the camera operation duration reaches a threshold. Alternatively, the terminal turns off the camera upon receiving a password input completion operation (for example, a start operation using the information input completion control). Alternatively, the terminal identifies the collected images for identity verification in real time and automatically turns off the camera if the face is not detected or the user's gesture in the images does not change within a predetermined period of time, which is not limiting in the embodiments of the present invention.

[49] В некоторых вариантах осуществления настоящего изобретения терминал содержит модуль извлечения черт лица, и терминал вводит изображения для проверки личности в модуль извлечения черт лица для получения данных о чертах лица.[49] In some embodiments of the present invention, the terminal comprises a facial feature extraction module, and the terminal inputs identity verification images to the facial feature extraction module to obtain facial feature data.

[50] В некоторых вариантах осуществления настоящего изобретения изображения для проверки личности представляют собой изображения, захваченные терминалом с помощью камеры, или видеокадры, извлеченные терминалом из видео, захваченного камерой.[50] In some embodiments of the present invention, the identity verification images are images captured by the terminal using a camera, or video frames extracted by the terminal from video captured by the camera.

[51] На стадии S203 обеспечивается получения последовательности жестов путем детектирования активности на изображениях для проверки личности.[51] In step S203, a sequence of gestures is obtained by detecting activity in images for identity verification.

[52] После получения изображений для проверки личности терминал дополнительно осуществляет детектирование активности на изображениях для проверки личности, получает жесты пользователя и определяет последовательность жестов в хронологическом порядке.[52] After receiving the identity verification images, the terminal further performs activity detection on the identity verification images, receives the user's gestures, and determines the sequence of gestures in chronological order.

[53] В некоторых вариантах осуществления настоящего изобретения терминал содержит модуль детектирования живого тела, и терминал вводит изображения для проверки личности в этот модуль детектирования и получает последовательность жестов путем идентификации жестов в изображениях.[53] In some embodiments of the present invention, the terminal comprises a living body detection module, and the terminal inputs images for identity verification to the detection module and obtains a gesture sequence by identifying the gestures in the images.

[54] В некоторых вариантах осуществления настоящего изобретения терминал вводит все собранные изображения для проверки личности в модуль извлечения черт лица и в модуль детектирования живого пользователя. В альтернативном варианте терминал выбирает подходящие изображения, такие как четкие изображения, содержащие полные лица, из собранных изображений для проверки личности на основе стандарта сбора изображений системы распознавания лиц, и вводит выбранные изображения в модуль извлечения черт лица и в модуль обнаружения живого пользователя, что повышает эффективность и точность проверки личности.[54] In some embodiments of the present invention, the terminal inputs all collected images for identity verification into the facial feature extraction module and the live user detection module. Alternatively, the terminal selects suitable images, such as clear images containing complete faces, from the collected images for identity verification based on the image collection standard of the face recognition system, and inputs the selected images into the facial feature extraction module and the live user detection module, which improves the efficiency and accuracy of identity verification.

[55] Следует отметить, что на фиг. 2 показан лишь один из возможных алгоритмов реализации предложенного способа, а стадии S202 и S203 не ограничены строгой последовательностью их выполнения, и в альтернативном варианте терминал может выполнить стадию S203 перед стадией S202 или выполнить стадии S202 и S203 одновременно.[55] It should be noted that Fig. 2 shows only one of the possible algorithms for implementing the proposed method, and steps S202 and S203 are not limited to a strict sequence of their execution, and in an alternative embodiment, the terminal can perform step S203 before step S202 or perform steps S202 and S203 simultaneously.

[56] На стадии S204 обеспечивается получение исходного пароля путем преобразования пароля из последовательности жестов.[56] In step S204, an initial password is obtained by converting the password from a sequence of gestures.

[57] После получения последовательности жестов терминал выполняет обратное преобразование последовательности жестов (т.е. восстанавливает пароль, определяя, какое слово или слова были преобразованы с использованием режима преобразования символов пароля для получения указанной выше последовательности жестов) на основе режима преобразования символов пароля, используемого при текущей аутентификации личности, в результате чего обеспечивается получение исходного пароля.[57] After receiving the gesture sequence, the terminal performs a reverse transformation of the gesture sequence (i.e., recovers the password by determining which word or words were transformed using the password character transformation mode to obtain the above gesture sequence) based on the password character transformation mode used in the current identity authentication, thereby obtaining the original password.

[58] Например, в режиме преобразования символов пароля, генерируемого произвольным образом терминалом, символ «1» соответствует жесту «Поворот головы влево». По факту детектирования жеста «Поворот головы влево» в последовательности жестов терминал определяет, что символом, соответствующим этому жесту, является символ «1».[58] For example, in the mode of converting symbols of a password generated arbitrarily by the terminal, the symbol “1” corresponds to the gesture “Turn head left”. Upon detecting the gesture “Turn head left” in the sequence of gestures, the terminal determines that the symbol corresponding to this gesture is the symbol “1”.

[59] На стадии S205 осуществляется аутентификация личности на основе исходного пароля и данных о чертах лица.[59] In step S205, identity authentication is performed based on the initial password and the facial feature data.

[60] Терминал осуществляет аутентификацию личности на основе двух факторов аутентификации, таких как исходный пароль и данные о чертах лица. Терминал подтверждает успешность аутентификации личности только в том случае, если исходный пароль, полученный путем его «перевода», совпадает с зарегистрированным паролем, соответствующим учетной записи, а данные о чертах лица совпадают с зарегистрированными данными о чертах лица, соответствующими учетной записи. В случае несовпадения какого-либо из этих факторов аутентификация личности будет безуспешной.[60] The terminal performs identity authentication based on two authentication factors, such as the original password and facial feature data. The terminal confirms the success of identity authentication only if the original password obtained by “translating” it matches the registered password corresponding to the account, and the facial feature data matches the registered facial feature data corresponding to the account. If any of these factors do not match, identity authentication will fail.

[61] В некоторых вариантах осуществления настоящего изобретения предусмотрено, что после получения исходного пароля и данных о чертах лица терминал осуществляет аутентификацию личности локально. В альтернативном варианте терминал передает исходный пароль и данные о чертах лица на облако, после чего облачный сервер осуществляет аутентификацию личности и передает результат этой аутентификации обратно.[61] In some embodiments of the present invention, it is provided that after receiving the initial password and the facial feature data, the terminal performs identity authentication locally. In an alternative embodiment, the terminal transmits the initial password and the facial feature data to the cloud, after which the cloud server performs identity authentication and transmits the result of this authentication back.

[62] Суммируя все вышесказанное, можно сказать, что вариантами осуществления настоящего изобретения предложен механизм аутентификации личности, основанный на двух факторах аутентификации, т.е. на пароле и чертах лица пользователя, с помощью которого пользователь может осуществить ввод пароля и идентификацию лица путем однократного ввода жеста. Таким образом, упрощается процесс аутентификации личности и повышается эффективность аутентификации личности. За счет использования произвольным образом сгенерированного режима преобразования символов пароля пользователь вводит произвольную последовательность жестов, полученную путем преобразования исходного пароля, благодаря чему предотвращается возможность взлома исходного пароля пользователя на стадии его ввода, а мгновенный пароль, полученный на основе корректного исходного пароля, позволяет успешно пройти аутентификацию, защищая идентификацию лица от атак с использованием поддельных черт лица и дополнительно повышая безопасность и точность аутентификации личности.[62] To summarize the above, the embodiments of the present invention propose a personal authentication mechanism based on two authentication factors, i.e., a password and the user's facial features, by which the user can enter a password and identify the face by entering a gesture once. Thus, the process of personal authentication is simplified and the efficiency of personal authentication is increased. By using a randomly generated password character conversion mode, the user enters an arbitrary sequence of gestures obtained by converting the original password, thereby preventing the possibility of hacking the user's original password at the input stage, and the instant password obtained on the basis of the correct original password allows successful authentication, protecting the face identification from attacks using fake facial features and further increasing the security and accuracy of personal authentication.

[63] В некоторых вариантах осуществления настоящего изобретения терминал определяет режим преобразования символов пароля на основе функции произвольного соответствия и отображает режим преобразования символов пароля с помощью виртуальной клавиатуры. На фиг. 3 представлена блок-схема, иллюстрирующая способ аутентификации личности согласно некоторым вариантам осуществления настоящего изобретения. Эти варианты осуществления описаны на примере способа, применимого к терминалу, который обладает функцией сбора и обработки изображений. Предложенный способ предусматривает выполнение стадий, описанных ниже.[63] In some embodiments of the present invention, the terminal determines a password character conversion mode based on an arbitrary correspondence function and displays the password character conversion mode using a virtual keyboard. Fig. 3 is a flow chart illustrating a method for authenticating a person according to some embodiments of the present invention. These embodiments are described using an example of a method applicable to a terminal that has a function for collecting and processing images. The proposed method involves performing the steps described below.

[64] На стадии S301 генерируется целевая функция произвольного соответствия в ответ на команду на проверку личности.[64] At step S301, a random matching target function is generated in response to the identity verification command.

[65] Функция произвольного соответствия представляет собой функцию, сгенерированную с возможностью соотнесения символов с жестами произвольным образом.[65] An arbitrary mapping function is a function generated with the ability to map symbols to gestures in an arbitrary way.

[66] В некоторых вариантах осуществления настоящего изобретения предусмотрено, что виды жестов предварительно сохраняются в терминале, и терминал произвольным образом генерирует целевую функцию произвольного соответствия при каждой аутентификации личности для задания соответствующего соотношения между символами пароля и жестами. Количество видов жестов превышает или равно количеству видов символов пароля.[66] In some embodiments of the present invention, it is provided that the types of gestures are pre-stored in the terminal, and the terminal randomly generates a random correspondence target function at each identity authentication to set a corresponding relationship between password characters and gestures. The number of types of gestures is greater than or equal to the number of types of password characters.

[67] К примеру, символы, задающие пароль, представляют собой цифры от 0 до 9, и терминал генерирует функцию произвольного соответствия (Hrand(x)=FaceExp) следующим образом:[67] For example, the characters that define the password are the digits 0 through 9, and the terminal generates a random matching function (Hrand(x)=FaceExp) as follows:

[68] Hrand(1)=LV, Hrand(2)=RV, Hrand(3)=UP, Hrand(4)=RT, Hrand(5)=LT, Hrand(6)=DW, Hrand(7)=LW, Hrand(8)=RW, Hrand(9)=CE, a Hrand(0)=SM.[68] H rand (1)=LV, H rand (2)=RV, H rand (3)=UP, H rand (4)=RT, H rand (5)=LT, H rand (6)=DW, H rand (7)=LW, H rand (8)=RW, H rand (9)=CE, and H rand (0)=SM.

[69] В функции произвольного соответствия величина X соответствует символу, величина FaceExp соответствует идентификатору жеста, а соответствующие соотношения между идентификатором и жестом показаны в Таблице 1:[69] In the arbitrary correspondence function, the value of X corresponds to the character, the value of FaceExp corresponds to the gesture identifier, and the corresponding relationships between the identifier and the gesture are shown in Table 1:

[70] На стадии S302 отображается виртуальная клавиатура на основе целевой функции произвольного соответствия, причем на виртуальной клавиатуре будет отображаться информация с указанием на необходимость преобразования пароля, соответствующая целевой функции произвольного соответствия.[70] In step S302, a virtual keyboard is displayed based on the arbitrary matching target function, and information indicating the need to convert the password corresponding to the arbitrary matching target function is displayed on the virtual keyboard.

[71] Терминал отображает информацию с указанием на необходимость преобразования пароля на интерфейсе в виде виртуальной клавиатуры, при этом блок преобразования пароля отображается на одной и той же клавише виртуальной клавиатуры. Сначала пользователь ищет на виртуальной клавиатуре символы, содержащиеся в исходном пароле, затем определяет требуемую для ввода последовательность жестов, используя для этого блоки преобразования пароля, после чего совершает соответствующие жесты.[71] The terminal displays information indicating the need to convert the password on the interface in the form of a virtual keyboard, with the password conversion block displayed on the same key of the virtual keyboard. The user first searches the virtual keyboard for the characters contained in the original password, then determines the sequence of gestures required for input using the password conversion blocks, and then makes the corresponding gestures.

[72] В некоторых вариантах осуществления настоящего изобретения стадия S302 включает в себя подстадии, описанные ниже.[72] In some embodiments of the present invention, step S302 includes the sub-steps described below.

[73] На подстадии S302a определяется блок преобразования пароля на основе целевой функции произвольного соответствия, причем блок преобразования пароля включает в себя символ пароля и жест, соответствующий символу пароля в целевой функции произвольного соответствия.[73] In the sub-step S302a, a password conversion unit is determined based on the arbitrary correspondence target function, wherein the password conversion unit includes a password character and a gesture corresponding to the password character in the arbitrary correspondence target function.

[74] Терминал определяет блоки преобразования пароля, каждый из которых включает в себя символ пароля и жест, на основе целевой функции произвольного соответствия. Пользователь преобразует исходный пароль в последовательность жестов на основе символов пароля в исходном пароле и блоков преобразования пароля, отображаемых терминалом.[74] The terminal determines password transformation blocks, each of which includes a password character and a gesture, based on the arbitrary correspondence objective function. The user transforms the original password into a sequence of gestures based on the password characters in the original password and the password transformation blocks displayed by the terminal.

[75] Основываясь на примере стадии S301, терминал определяет, что блоки преобразования пароля включают в себя: (1, LV), (2, RV), (3, UP), (4, DW), (5, LT), (6, RT), (7, LW), (8, RW), (9, СЕ) и (0, SM).[75] Based on the example of step S301, the terminal determines that the password conversion blocks include: (1, LV), (2, RV), (3, UP), (4, DW), (5, LT), (6, RT), (7, LW), (8, RW), (9, CE), and (0, SM).

[76] В некоторых вариантах осуществления настоящего изобретения блок преобразования пароля включает в себя символ пароля и множество жестов.[76] In some embodiments of the present invention, the password conversion unit includes a password symbol and a plurality of gestures.

[77] На подстадии S302b блок преобразования пароля отображается на виртуальной клавиатуре на основе первого режима отображения, соответствующего символу пароля, и второго режима отображения, соответствующего идентификатору жеста, причем первый режим отображения отличается от второго режима отображения.[77] In sub-step S302b, the password conversion block is displayed on the virtual keyboard based on a first display mode corresponding to the password character and a second display mode corresponding to the gesture identifier, wherein the first display mode is different from the second display mode.

[78] В некоторых вариантах осуществления настоящего изобретения терминал отображает символ пароля и идентификатор жеста соответственно в двух разных режимах отображения с тем, чтобы провести различие между символом пароля и идентификатором жеста на общей клавише и избежать длительного времени на идентификацию пользователем символа и идентификатора в случае, если символ пароля и идентификатор жеста отображаются в одном режиме отображения. Первый режим отображения отличается от второго режима отображения, по меньшей мере, одним из следующих параметров:[78] In some embodiments of the present invention, the terminal displays a password symbol and a gesture identifier in two different display modes, respectively, so as to distinguish between the password symbol and the gesture identifier on the common key and to avoid a long time for the user to identify the symbol and the identifier in the case where the password symbol and the gesture identifier are displayed in the same display mode. The first display mode differs from the second display mode in at least one of the following parameters:

[79] имеются различия в типе между символом пароля и символом идентификатора жеста; имеются различия в цвете отображения между символом пароля и идентификатором жеста; имеются различия в шрифте отображения между символом пароля и идентификатором жеста; имеются различия в размере шрифта отображения между символом пароля и идентификатором жеста; или имеются различия в специальных эффектах отображения между символом пароля и идентификатором жеста.[79] There are differences in the type between the password symbol and the gesture identifier symbol; there are differences in the display color between the password symbol and the gesture identifier; there are differences in the display font between the password symbol and the gesture identifier; there are differences in the display font size between the password symbol and the gesture identifier; or there are differences in the special display effects between the password symbol and the gesture identifier.

[80] К примеру, на фиг. 4 представлено схематическое изображение виртуальной клавиатуры. Виртуальная клавиатура содержит 10 клавиш, каждая из которых отображает блок преобразования пароля. В каждом блоке преобразования пароля символ пароля отображается слева, а идентификатор жеста - справа. На виртуальной клавиатуре - в отличие от символов пароля - идентификаторы жестов дополнительно снабжены двумя специальными эффектами в виде выделения жирным шрифтом и подчеркивания. В частности, идентификаторы жестов могут отличаться от символов пароля по цвету. Например, символы пароля могут быть черного цвета, а идентификаторы жестов красного.[80] For example, Fig. 4 shows a schematic representation of a virtual keyboard. The virtual keyboard contains 10 keys, each of which displays a password conversion block. In each password conversion block, the password symbol is displayed on the left, and the gesture identifier is displayed on the right. On the virtual keyboard, in contrast to the password symbols, the gesture identifiers are additionally provided with two special effects in the form of bolding and underlining. In particular, the gesture identifiers may differ from the password symbols in color. For example, the password symbols may be black, and the gesture identifiers red.

[81] В некоторых вариантах осуществления настоящего изобретения символы пароля и идентификаторы жестов отображаются на виртуальной клавиатуре одновременно, а подстадия S302b, в частности, предусматривает выполнение операций, описанных ниже.[81] In some embodiments of the present invention, the password characters and gesture identifiers are displayed on the virtual keyboard simultaneously, and sub-step S302b, in particular, provides for performing the operations described below.

[82] Операция S1: определение первого положения отображения символа пароля на виртуальной клавиатуре.[82] Operation S1: determining the first display position of the password symbol on the virtual keyboard.

[83] Операция S2: отображение блока преобразования пароля, соответствующего каждому символу пароля, на виртуальной клавиатуре в соответствии с первым положением отображения на основе первого режима отображения и второго режима отображения.[83] Operation S2: displaying a password conversion block corresponding to each character of the password on the virtual keyboard in accordance with the first display position based on the first display mode and the second display mode.

[84] В некоторых вариантах осуществления настоящего изобретения положение отображения символа пароля на виртуальной клавиатуре является фиксированным, и терминал сначала определяет первое положение отображения символа пароля на виртуальной клавиатуре, а затем отображает символ пароля в первом положении отображения.[84] In some embodiments of the present invention, the display position of the password symbol on the virtual keyboard is fixed, and the terminal first determines a first display position of the password symbol on the virtual keyboard, and then displays the password symbol at the first display position.

[85] Например, на виртуальной клавиатуре, показанной на фиг. 4, символы пароля каждый раз отображаются в виде цифр от 1 до 0, если двигаться сверху вниз и слева направо. Сначала терминал определяет первые положения 10-и символов пароля на клавиатуре по порядку их следования, а затем отображает 10 блоков преобразования пароля, соответствующих 10-и символам пароля, в соответствующих первых положениях отображения. Например, блок (1, LV) преобразования пароля, соответствующий цифре 1, отображается на клавише в верхнем левом углу, а блок (2, RV) преобразования пароля, соответствующий цифре 2, отображается на клавиатуре посередине первого ряда.[85] For example, in the virtual keyboard shown in Fig. 4, the password characters are displayed as digits from 1 to 0 each time, moving from top to bottom and left to right. First, the terminal determines the first positions of 10 password characters on the keyboard in the order of their sequence, and then displays 10 password conversion blocks corresponding to the 10 password characters at the corresponding first display positions. For example, the password conversion block (1, LV) corresponding to the digit 1 is displayed on the key in the upper left corner, and the password conversion block (2, RV) corresponding to the digit 2 is displayed on the keyboard in the middle of the first row.

[86] Поскольку пользователю постоянно необходимо отслеживать, обдумывать и выполнять процессы восстановления исходного пароля, поиска положения отображения каждого символа пароля в исходном пароле, определения жеста, соответствующего каждому символу пароля, и т.д., то в случае, когда терминал одновременно отображает символы пароля и идентификаторы жестов, на виртуальных клавишах отображается множество символов, что вызывает путаницу. В некоторых вариантах осуществления настоящего изобретения терминал сначала отображает на виртуальной клавиатуре только символы пароля, а затем - после подтверждения пользователем возможности начала преобразования пароля - отображает идентификаторы жестов. Подстадия S302b дополнительно включает в себя операции, описанные ниже.[86] Since the user constantly needs to monitor, think about, and perform the processes of recovering the original password, searching for the display position of each password character in the original password, determining the gesture corresponding to each password character, etc., in the case where the terminal simultaneously displays the password characters and gesture identifiers, a plurality of characters are displayed on the virtual keys, which causes confusion. In some embodiments of the present invention, the terminal first displays only the password characters on the virtual keyboard, and then displays the gesture identifiers after the user confirms that the password conversion can be started. Sub-step S302b further includes the operations described below.

[87] Операция S3: отображение символа пароля на виртуальной клавиатуре на основании первого положения отображения символа пароля на виртуальной клавиатуре и первого режима отображения.[87] Operation S3: displaying a password character on the virtual keyboard based on a first display position of the password character on the virtual keyboard and a first display mode.

[88] Аналогичным образом терминал отображает символы пароля в первых положениях на виртуальной клавиатуре по порядку их следования, заданному по умолчанию, благодаря чему пользователь может быстро определить положение отображения каждого символа пароля в исходном пароле в соответствии со знакомым положением, что максимально облегчает последующее определение последовательности жестов.[88] Similarly, the terminal displays the password characters in the first positions on the virtual keyboard in the default order, allowing the user to quickly determine the display position of each password character in the original password according to the familiar position, making it as easy as possible to subsequently determine the gesture sequence.

[89] Операция S4: определение второго положения отображения идентификатора жеста на виртуальной клавиатуре на основании символа пароля, соответствующего этому идентификатору жеста в блоке преобразования пароля, в соответствии с операцией отображения режима преобразования.[89] Operation S4: determining a second display position of the gesture identifier on the virtual keyboard based on the password character corresponding to this gesture identifier in the password conversion unit, in accordance with the conversion mode display operation.

[90] Когда пользователь готов к преобразованию пароля, выполняется операция отображения режима преобразования, позволяющая терминалу отобразить идентификатор жеста на виртуальной клавиатуре и отобразить блок преобразования пароля.[90] When the user is ready to convert the password, a conversion mode display operation is performed, allowing the terminal to display the gesture identifier on the virtual keyboard and display the password conversion block.

[91] В некоторых вариантах осуществления настоящего изобретения операция отображения режима преобразования представляет собой операцию запуска посредством органа управления подтверждением преобразования или голосовой команды на преобразование пароля, вводимой пользователем, что не носит ограничительного характера в вариантах осуществления настоящего изобретения.[91] In some embodiments of the present invention, the operation of displaying the conversion mode is an operation of starting by means of a conversion confirmation control or a voice command for converting a password entered by the user, which is not limiting in the embodiments of the present invention.

[92] После получения операции отображения режима преобразования терминал определяет второе положение отображения каждого идентификатора жеста на основании символа пароля, соответствующего идентификатору жеста в блоке преобразования пароля, и первого положения отображения символа пароля.[92] After receiving the display operation of the conversion mode, the terminal determines a second display position of each gesture identifier based on a password character corresponding to the gesture identifier in the password conversion unit and a first display position of the password character.

[93] Например, при использовании виртуальной клавиатуры, показанной на фиг. 4, терминал сначала отображает цифру в левой части каждой клавиши, а затем отображает идентификатор жеста в ее правой части при получении операции отображения режима преобразования.[93] For example, when using the virtual keyboard shown in Fig. 4, the terminal first displays a digit on the left side of each key and then displays a gesture identifier on the right side thereof upon receiving a display operation of the conversion mode.

[94] Операция S5: отображение идентификатора жеста на виртуальной клавиатуре в соответствии со вторым положением отображения на основании второго режима отображения.[94] Operation S5: displaying the gesture identifier on the virtual keyboard according to the second display position based on the second display mode.

[95] После определения вторых положений отображения всех идентификаторов жестов терминал отображает идентификаторы жестов на виртуальной клавиатуре, благодаря чему пользователь может определить мгновенную последовательность жестов.[95] After determining the second display positions of all gesture identifiers, the terminal displays the gesture identifiers on the virtual keyboard, allowing the user to determine the instantaneous gesture sequence.

[96] При выполнении всех указанных операций отображается виртуальная клавиатура, фиксирующая положения отображения символов пароля. Иначе говоря, положения отображения блоков преобразования пароля определяются на основе первых положений отображения символов пароля, причем первые положения отображения представляют собой фиксированные положения, что облегчает быстрое определение последовательности жестов пользователем на основе знакомых положений клавиш. При практическом применении первое положение отображения может быть также произвольным.[96] When performing all of the above operations, a virtual keyboard is displayed that fixes the display positions of the password characters. In other words, the display positions of the password conversion blocks are determined based on the first display positions of the password characters, and the first display positions are fixed positions, which facilitates the user to quickly determine the gesture sequence based on the familiar key positions. In practical use, the first display position may also be arbitrary.

[97] На стадии S303 обеспечивается получение данных о чертах лица путем извлечения черт лица из изображений для проверки личности, собранных камерой.[97] In step S303, facial feature data is obtained by extracting facial features from identity verification images collected by the camera.

[98] На стадии S304 обеспечивается получение последовательности жестов путем детектирования активности на изображениях для проверки личности.[98] In step S304, a sequence of gestures is obtained by detecting activity in images for identity verification.

[99] Для ознакомления с частными вариантами реализации стадий S303-S304 следует обратиться к стадиям S202-S203, которые повторно не описываются в вариантах осуществления настоящего изобретения.[99] For specific embodiments of steps S303-S304, refer to steps S202-S203, which are not described again in the embodiments of the present invention.

[100] На стадии S305 обеспечивается получение исходного пароля путем преобразования пароля из последовательности жестов на основе целевой функции произвольного соответствия.[100] In step S305, an initial password is obtained by converting the password from a sequence of gestures based on an arbitrary correspondence target function.

[101] После получения последовательности жестов на основе изображений для проверки личности терминал получает символ пароля, соответствующий каждому жесту, путем обратного преобразования (восстановления) каждого жеста в последовательности жестов на основе сгенерированной на данный момент времени целевой функции произвольного соответствия, после чего он определяет исходный пароль.[101] After receiving a sequence of gestures based on images for identity verification, the terminal obtains a password symbol corresponding to each gesture by inversely transforming (restoring) each gesture in the gesture sequence based on the currently generated random correspondence target function, after which it determines the original password.

[102] К примеру, при использовании режима преобразования символов пароля на виртуальной клавиатуре, показанной на фиг. 4, предусмотрено, что если исходный пароль записан как «1234», то пользователь определит, что последовательность жестов будет выглядеть как «Поворот головы влево-поворот головы вправо-подъем головы-опускание головы», и выполнит последовательность этих жестов. После получения последовательности жестов «Поворот головы влево-поворот головы вправо-подъем головы-опускание головы» путем сбора и идентификации изображений для проверки личности терминал придет к выводу (на основе целевой функции произвольного соответствия), что исходным паролем является пароль «1234».[102] For example, when using the password character conversion mode on the virtual keyboard shown in Fig. 4, it is provided that if the original password is written as "1234", the user will determine that the gesture sequence will be "Turn head left-turn head right-raise head-lower head", and will perform the sequence of these gestures. After receiving the gesture sequence "Turn head left-turn head right-raise head-lower head" by collecting and identifying images for identity verification, the terminal will conclude (based on the arbitrary correspondence target function) that the original password is the password "1234".

[103] На стадии S306 выполняется аутентификация личности на основе исходного пароля и данных о чертах лица.[103] In step S306, identity authentication is performed based on the initial password and the facial feature data.

[104] Для ознакомления с частными вариантами реализации стадии S306 следует обратиться к стадии S205, которая повторно не описывается в вариантах осуществления настоящего изобретения.[104] For specific embodiments of step S306, refer to step S205, which is not described again in the embodiments of the present invention.

[105] В вариантах осуществления настоящего изобретения терминал генерирует целевую функцию произвольного соответствия, определяет режим преобразования символов пароля и визуально отображает блоки преобразования пароля, задаваемые целевой функцией произвольного соответствия в виде виртуальной клавиатуры, благодаря чему пользователь может быстро и точно преобразовать пароль, а эффективность и точность ввода пароля при этом повышается.[105] In embodiments of the present invention, the terminal generates an arbitrary correspondence target function, determines a password character conversion mode, and visually displays password conversion blocks specified by the arbitrary correspondence target function in the form of a virtual keyboard, so that the user can quickly and accurately convert the password, and the efficiency and accuracy of entering the password are improved.

[106] Описанные выше варианты осуществления настоящего изобретения иллюстрируют процессы определения и отображения терминалом режима преобразования символов пароля и получения терминалом исходного пароля методом преобразования на основе мгновенной последовательности жестов. Для реализации стадии аутентификации личности, в частности, терминал передает полученный исходный пароль и данные о чертах лица на бэкэнд-сервер, а бэкэнд-сервер определяет результат аутентификации личности на основании базы данных. Перед выполнением стадии аутентификации личности пользователю сначала необходимо ввести свои черты лица и исходный пароль для сохранения на бэкэнд-сервере. На фиг. 5 представлена блок-схема, иллюстрирующая способ аутентификации личности согласно некоторым вариантам осуществления настоящего изобретения. Эти варианты осуществления описаны на примере способа, применимого к терминалу, который обладает функциями сбора и обработки изображений. Предложенный способ предусматривает выполнение стадий, описанных ниже.[106] The embodiments of the present invention described above illustrate the processes of determining and displaying a password character conversion mode by the terminal and obtaining an initial password by the instantaneous gesture sequence conversion method by the terminal. In order to implement the identity authentication step, in particular, the terminal transmits the obtained initial password and facial feature data to the backend server, and the backend server determines the identity authentication result based on the database. Before performing the identity authentication step, the user first needs to input his/her facial features and the initial password to be stored on the backend server. Fig. 5 is a flow chart illustrating a method for identity authentication according to some embodiments of the present invention. These embodiments are described using an example of a method applicable to a terminal that has image collection and processing functions. The proposed method provides for performing the steps described below.

[107] На стадии S501 отображается набор жестов в ответ на команду на ввод черт лица.[107] In step S501, a set of gestures is displayed in response to a command to input facial features.

[108] Набор жестов содержит все жесты, необходимые для преобразования символов пароля.[108] The gesture set contains all the gestures needed to transform password characters.

[109] В некоторых вариантах осуществления настоящего изобретения пользователю необходимо ввести свои черты лица перед запуском указанной функции 2FA. Как и на стадии аутентификации личности, терминал произвольным образом преобразует символы исходного пароля в любые жесты в наборе жестов, причем жесты варьируются, когда они совершаются другими пользователями, после чего терминал получает изображения всех жестов пользователя для повышения точности идентификации жестов. Жесты представляют собой выражения лица или движения головы, и терминал извлекает черты лица, когда пользователь совершает соответствующий жест. В ответ на команду на ввод черт лица терминал отображает набор жестов для облегчения ввода жестов пользователем в определенном порядке.[109] In some embodiments of the present invention, the user is required to input his/her facial features before activating the 2FA function. As in the identity authentication stage, the terminal arbitrarily converts the characters of the original password into any gestures in the gesture set, wherein the gestures vary when they are performed by other users, and then the terminal obtains images of all the user's gestures to improve the accuracy of gesture identification. The gestures represent facial expressions or head movements, and the terminal extracts facial features when the user performs the corresponding gesture. In response to the command to input facial features, the terminal displays the gesture set to facilitate the user to input gestures in a certain order.

[110] На стадии S502 обеспечивается получение целевых данных о чертах лица, соответствующих каждому жесту, путем извлечения черт лица из изображений лица, собранных камерой.[110] In step S502, target data of facial features corresponding to each gesture is obtained by extracting facial features from facial images collected by the camera.

[111] На стадии регистрации черт лица терминал получает целевые данные о чертах лица для каждого жеста путем извлечения черт лица из собранных изображений лица. В альтернативном варианте терминал напрямую передает собранные изображения лица на бэкэнд-сервер, а бэкэнд-сервер осуществляет извлечение черт лица и сохраняет данные о чертах лица.[111] In the facial feature registration stage, the terminal obtains the target facial feature data for each gesture by extracting facial features from the collected facial images. Alternatively, the terminal directly transmits the collected facial images to the backend server, and the backend server performs facial feature extraction and stores the facial feature data.

[112] На стадии S503 осуществляется передача данных о чертах лица и идентификатора учетной записи на бэкэнд-сервер.[112] In step S503, the facial feature data and the account identifier are transmitted to the backend server.

[113] Бэкэнд-сервер выполнен с возможностью обновления базы данных, в которой хранятся соответствующие соотношения между учетной записью, целевым исходным паролем и целевыми данными о чертах лица.[113] The backend server is configured to update a database that stores the relevant relationships between the account, the target initial password, and the target facial feature data.

[114] Терминал передает данные о чертах лица и идентификатор учетной записи на бэкэнд-сервер, а бэкэнд-сервер сохраняет в базе данных идентификатор учетной записи совместно с данными о чертах лица после получения данных о чертах лица и идентификатора учетной записи. В базе данных хранится такая информация, как идентификатор учетной записи, данные о чертах лица и исходный пароль каждой учетной записи, причем эта информация используются для аутентификации личности на основе базы данных и полученной информации для аутентификации на последующей стадии аутентификации личности.[114] The terminal transmits the facial feature data and the account ID to the backend server, and the backend server stores the account ID together with the facial feature data in the database after receiving the facial feature data and the account ID. The database stores information such as the account ID, the facial feature data, and the initial password of each account, and this information is used to authenticate the identity based on the database and the received authentication information in the subsequent identity authentication stage.

[115] Кроме того, в случае использования указанного механизма 2FA пользователю также необходимо ввести исходный пароль. Исходный пароль вводится перед сбором целевых данных о чертах лица или после сбора целевых данных о чертах лица, что не носит ограничительного характера в вариантах осуществления настоящего изобретения.[115] In addition, in the case of using the said 2FA mechanism, the user also needs to enter the initial password. The initial password is entered before collecting the target facial feature data or after collecting the target facial feature data, which is not limiting in the embodiments of the present invention.

[116] На стадии S504 отображается информация с указанием на необходимость преобразования пароля в ответ на команду на проверку личности.[116] At step S504, information indicating the need to convert the password in response to the identity verification command is displayed.

[117] На стадии S505 обеспечивается получение данных о чертах лица путем извлечения черт лица из изображений для проверки личности, собранных камерой.[117] In step S505, facial feature data is obtained by extracting facial features from identity verification images collected by the camera.

[118] На стадии S506 обеспечивается получение последовательности жестов путем детектирования активности на изображениях для проверки личности.[118] In step S506, a sequence of gestures is obtained by detecting activity in images for identity verification.

[119] На стадии S507 обеспечивается получение исходного пароля путем преобразования пароля из последовательности жестов.[119] In step S507, an initial password is obtained by converting the password from a sequence of gestures.

[120] Для ознакомления с частными вариантами реализации стадий S504-S507 следует обратиться к стадиям S201-S204, которые повторно не описываются в вариантах осуществления настоящего изобретения.[120] For specific embodiments of steps S504-S507, refer to steps S201-S204, which are not described again in the embodiments of the present invention.

[121] На стадии S508 осуществляется передача исходного пароля и данных о чертах лица на бэкэнд-сервер.[121] At step S508, the initial password and facial feature data are transmitted to the backend server.

[122] Бэкэнд-сервер выполнен с возможностью выполнения аутентификации личности на основе исходного пароля и данных о чертах лица.[122] The backend server is configured to perform identity authentication based on the initial password and facial features data.

[123] В некоторых вариантах осуществления настоящего изобретения предусмотрено, что после получения исходного пароля, введенного лицом, личность которого подлежит аутентификации, и данных о чертах лица терминал одновременно передает два типа информации для аутентификации на бэкэнд-сервер, в результате чего бэкэнд-сервер одновременно выполняет два типа аутентификации и определяет конечный результат аутентификации личности на основе результатов аутентификации двух типов. В альтернативном варианте предусмотрено, что после получения исходного пароля, введенного лицом, личность которого подлежит аутентификации, и данных о чертах лица терминал сначала передает один из двух типов информации для аутентификации на бэкэнд-сервер. Если бэкэнд-сервер подтверждает, что аутентификация на основе двух типов информации для аутентификации прошла успешно, то терминал передает другой тип информации из двух типов информации для аутентификации на бэкэнд-сервер; а если аутентификация первого типа информации для аутентификации прошла безуспешно, то терминал напрямую подтверждает безуспешность аутентификации, не передавая второй тип информации для аутентификации, благодаря чему эффективность аутентификации возрастает с одновременным повышением точности и уровня безопасности аутентификации личности.[123] In some embodiments of the present invention, it is provided that after receiving the initial password entered by the person whose identity is to be authenticated and the facial feature data, the terminal simultaneously transmits two types of authentication information to the backend server, as a result of which the backend server simultaneously performs two types of authentication and determines the final result of the identity authentication based on the results of the two types of authentication. In an alternative embodiment, it is provided that after receiving the initial password entered by the person whose identity is to be authenticated and the facial feature data, the terminal first transmits one of the two types of authentication information to the backend server. If the backend server confirms that the authentication based on the two types of authentication information is successful, the terminal transmits the other type of information of the two types of authentication information to the backend server; and if the authentication of the first type of authentication information fails, the terminal directly confirms the failure of authentication without transmitting the second type of authentication information, thereby increasing the authentication efficiency while simultaneously improving the accuracy and security level of personal authentication.

[124] После получения исходного пароля и данных о чертах лица терминал сначала определяет один тип информации для аутентификации, а затем передает другой тип информации для аутентификации в случае, если аутентификация информации для аутентификации прошла успешно. В некоторых вариантах осуществления настоящего изобретения терминал сначала передает исходный пароль для его аутентификации, при этом стадия S508 включает в себя подстадии, описанные ниже.[124] After receiving the initial password and the facial feature data, the terminal first determines one type of authentication information, and then transmits another type of authentication information if the authentication of the authentication information is successful. In some embodiments of the present invention, the terminal first transmits the initial password for its authentication, wherein step S508 includes the sub-steps described below.

[125] На подстадии S508a исходный пароль и идентификатор учетной записи текущей учетной записи для входа передаются на бэкэнд-сервер, причем бэкэнд-сервер выполнен с возможностью определения первого результата аутентификации личности на основании целевого исходного пароля, соответствующего текущей учетной записи для входа, содержащейся в базе данных.[125] In sub-step S508a, the initial password and the account identifier of the current login account are transmitted to the backend server, wherein the backend server is configured to determine a first identity authentication result based on the target initial password corresponding to the current login account contained in the database.

[126] Терминал передает идентификатор учетной записи (такой как имя пользователя) текущей учетной записи для входа и преобразованный исходный пароль на бэкэнд-сервер. На основе полученного идентификатора учетной записи бэкэнд-сервер осуществляет поиск в базе данных с тем, чтобы получить целевой исходный пароль, соответствующий идентификатору учетной записи, и сравнивает целевой исходный пароль с исходным паролем, полученным от терминала. Если целевой исходный пароль полностью совпадает с исходным паролем, то бэкэнд-сервер подтверждает успешность прохождения аутентификации; а если целевой исходный пароль не полностью совпадает с исходным паролем, то бэкэнд-сервер подтверждает безуспешность прохождения аутентификации. Бэкэнд-сервер передает первый результат аутентификации личности на терминал.[126] The terminal transmits the account identifier (such as the user name) of the current login account and the converted initial password to the backend server. Based on the received account identifier, the backend server searches the database to obtain a target initial password corresponding to the account identifier, and compares the target initial password with the initial password received from the terminal. If the target initial password is exactly the same as the initial password, the backend server confirms that the authentication has succeeded; and if the target initial password is not exactly the same as the initial password, the backend server confirms that the authentication has failed. The backend server transmits the first identity authentication result to the terminal.

[127] На подстадии S508b данные о чертах лица передаются на бэкэнд-сервер по факту получения с бэкэнд-сервера первого результата аутентификации личности, указывающего на успешность аутентификации пароля, причем бэкэнд-сервер выполнен с возможностью определения второго результата аутентификации личности на основании целевых данных о чертах лица, соответствующих текущей учетной записи для входа, содержащейся в базе данных.[127] In sub-step S508b, the facial feature data is transmitted to the backend server upon receiving from the backend server a first identity authentication result indicating the success of the password authentication, wherein the backend server is configured to determine the second identity authentication result based on the target facial feature data corresponding to the current login account contained in the database.

[128] По факту получения первого результата аутентификации личности, указывающего на успешность аутентификации пароля, терминал передает данные о чертах лица на бэкэнд-сервер. Бэкэнд-сервер осуществляет поиск в базе данных на основе идентификатора учетной записи с тем, чтобы получить целевые данные о чертах лица, соответствующие идентификатору учетной записи. Бэкэнд-сервер определяет второй результат аутентификации личности путем сравнения целевых данных о чертах лица с данными о чертах лица человека, личность которого подлежит аутентификации, полученными с терминала.[128] Upon receiving the first identity authentication result indicating that the password authentication is successful, the terminal transmits the facial feature data to the backend server. The backend server searches the database based on the account identifier to obtain the target facial feature data corresponding to the account identifier. The backend server determines the second identity authentication result by comparing the target facial feature data with the facial feature data of the person whose identity is to be authenticated received from the terminal.

[129] В некоторых вариантах осуществления настоящего изобретения на бэкэнд-сервере задается пороговое значение степени сходства. Если степень сходства между целевыми данными о чертах лица и данными о чертах лица человека, личность которого подлежит аутентификации, полученными от терминала, превышает пороговое значение степени сходства, то бэкэнд-сервер подтверждает успешность прохождения аутентификации лица; а если степень сходства между целевыми данными о чертах лица и данными о чертах лица человека, личность которого подлежит аутентификации, полученными от терминала, меньше порогового значения степени сходства, то бэкэнд-сервер подтверждает безуспешность прохождения аутентификации лица. Бэкэнд-сервер передает второй результат аутентификации личности на терминал.[129] In some embodiments of the present invention, a threshold similarity value is set at the backend server. If the similarity value between the target facial feature data and the facial feature data of the person whose identity is to be authenticated received from the terminal exceeds the threshold similarity value, the backend server confirms that the face authentication has been successful; and if the similarity value between the target facial feature data and the facial feature data of the person whose identity is to be authenticated received from the terminal is less than the threshold similarity value, the backend server confirms that the face authentication has not been successful. The backend server transmits the second identity authentication result to the terminal.

[130] После выполнения подстадии S508a способ аутентификации личности согласно вариантам осуществления настоящего изобретения дополнительно предусматривает выполнение следующей операции:[130] After performing sub-step S508a, the identity authentication method according to the embodiments of the present invention further comprises performing the following operation:

[131] определения безуспешности аутентификации личности и отмены передачи данных о чертах лица по факту получения первого результата аутентификации личности с бэкэнд-сервера, указывающего на безуспешность аутентификации лица.[131] determining the failure of the identity authentication and canceling the transmission of the facial features data upon receipt of the first identity authentication result from the backend server indicating the failure of the identity authentication.

[132] Если первый результат аутентификации личности указывает на безуспешность аутентификации пароля, то терминал не передает данные о чертах лица и прямо подтверждает конечный результат как неудачную попытку аутентификации, благодаря чему уменьшается объем предаваемых данных и повышается эффективность аутентификации личности.[132] If the first result of the identity authentication indicates that the password authentication is unsuccessful, the terminal does not transmit the facial features data and directly confirms the final result as an authentication failure, thereby reducing the amount of transmitted data and improving the efficiency of identity authentication.

[133] В некоторых вариантах осуществления настоящего изобретения терминал сначала передает данные о чертах лица для аутентификации образца голоса, а стадия S508 дополнительно включает в себя подстадии, описанные ниже.[133] In some embodiments of the present invention, the terminal first transmits facial feature data to authenticate the voice sample, and step S508 further includes the sub-steps described below.

[134] На подстадии S508c данные о чертах лица и идентификатор учетной записи текущей учетной записи для входа передаются на бэкэнд-сервер, при этом бэкэнд-сервер выполнен с возможностью определения третьего результата аутентификации личности на основании данных о чертах лица, соответствующих текущей учетной записи для входа, содержащейся в базе данных.[134] In sub-step S508c, the facial feature data and the account identifier of the current login account are transmitted to the backend server, wherein the backend server is configured to determine a third identity authentication result based on the facial feature data corresponding to the current login account contained in the database.

[135] Терминал передает идентификатор учетной записи (такой как имя пользователя) текущей учетной записи для входа и извлеченные данные о чертах лица на бэкэнд-сервер. Бэкэнд-сервер осуществляет поиск в базе данных на основе полученного идентификатора учетной записи с тем, чтобы получить целевые данные о чертах лица, соответствующие идентификатору учетной записи. Бэкэнд-сервер определяет третий результат аутентификации личности путем сравнения целевых черт лица с данными о чертах лица человека, личность которого подлежит аутентификации, полученными с терминала.[135] The terminal transmits the account identifier (such as the user name) of the current login account and the extracted facial feature data to the backend server. The backend server searches the database based on the received account identifier to obtain the target facial feature data corresponding to the account identifier. The backend server determines the third identity authentication result by comparing the target facial feature data with the facial feature data of the person whose identity is to be authenticated obtained from the terminal.

[136] На стадии S508d исходный пароль передается на бэкэнд-сервер по факту получения третьего результата аутентификации личности с бэкэнд-сервера, указывающего на то, что аутентификации лица прошла успешно, причем бэкэнд-сервер выполнен с возможностью определения четвертого результата аутентификации личности на основе целевого исходного пароля, соответствующего текущей учетной записи для входа, содержащейся в базе данных.[136] In step S508d, the initial password is transmitted to the backend server upon receiving a third identity authentication result from the backend server indicating that the person authentication has been successful, wherein the backend server is configured to determine a fourth identity authentication result based on the target initial password corresponding to the current login account contained in the database.

[137] По факту получения третьего результата аутентификации личности, указывающего на успешность прохождения аутентификации лица, терминал передает исходный пароль на бэкэнд-сервер. Бэкэнд-сервер осуществляет поиск в базе данных на основе идентификатора учетной записи с тем, чтобы получить целевой исходный пароль, соответствующий идентификатору учетной записи, и сравнивает целевой исходный пароль с исходным паролем, полученным от терминала. Если целевой исходный пароль полностью совпадает с исходным паролем, то бэкэнд-сервер подтверждает успешность аутентификации пароля; а если целевой исходный пароль не полностью совпадает с исходным паролем, то бэкэнд-сервер подтверждает безуспешность аутентификации пароля. Бэкэнд-сервер передает четвертый результат аутентификации личности на терминал.[137] Upon receiving the third identity authentication result indicating that the person authentication is successful, the terminal transmits the initial password to the backend server. The backend server searches the database based on the account ID to obtain the target initial password corresponding to the account ID, and compares the target initial password with the initial password received from the terminal. If the target initial password is exactly the same as the initial password, the backend server confirms that the password authentication is successful; and if the target initial password is not exactly the same as the initial password, the backend server confirms that the password authentication is unsuccessful. The backend server transmits the fourth identity authentication result to the terminal.

[138] После выполнения подстадии S508c способ аутентификации личности согласно вариантам осуществления настоящего изобретения дополнительно предусматривает выполнение следующей операции:[138] After performing sub-step S508c, the identity authentication method according to the embodiments of the present invention further comprises performing the following operation:

[139] определения безуспешности аутентификации личности и отмены передачи исходного пароля по факту получения третьего результата аутентификации личности с бэкэнд-сервера, указывающего на безуспешность аутентификации лица.[139] determining the failure of the identity authentication and canceling the transmission of the original password upon receipt of a third identity authentication result from the backend server indicating the failure of the identity authentication.

[140] На стадии S509 осуществляется получение результата аутентификации личности с бэкэнд-сервера, причем результат аутентификации личности определяется как успешная или безуспешная попытка аутентификации.[140] In step S509, an identity authentication result is obtained from the backend server, and the identity authentication result is determined as a successful or unsuccessful authentication attempt.

[141] В случае, если терминал одновременно передает на бэкэнд-сервер два типа информации для аутентификации, т.е. данные о чертах лица и исходный пароль, то терминал сразу определяет успешность или безуспешность аутентификации на основе результата аутентификации личности, полученного с бэкэнд-сервера. В случае, если терминал сначала передает один из двух типов информации для аутентификации, то сразу же определяется безуспешность аутентификации личности по факту получения первого результата аутентификации личности или третьего результата аутентификации личности, указывающего на безуспешность аутентификации, или же успешность или безуспешность аутентификации определяется на основе второго результата аутентификации личности или четвертого результата аутентификации личности.[141] In the case where the terminal simultaneously transmits two types of authentication information, i.e., the facial feature data and the initial password, to the backend server, the terminal immediately determines the success or failure of the authentication based on the identity authentication result received from the backend server. In the case where the terminal first transmits one of the two types of authentication information, the failure of the identity authentication is immediately determined based on the fact of receiving the first identity authentication result or the third identity authentication result indicating the failure of the authentication, or the success or failure of the authentication is determined based on the second identity authentication result or the fourth identity authentication result.

[142] В вариантах осуществления настоящего изобретения терминал передает исходный пароль и данные о чертах лица на бэкэнд-сервер с тем, чтобы бэкэнд-сервер выполнил аутентификацию личности на основе базы данных, что повышает уровень безопасности и конфиденциальности пользовательской информации. Кроме того, терминал сначала передает на бэкэнд-сервер один из типов информации для аутентификации; определяет, предавать ли второй тип информации для аутентификации, исходя из результата аутентификации первого типа информации для аутентификации; и сразу же определяет результат аутентификации в случае безуспешности аутентификации первого типа информации для аутентификации, благодаря чему максимально уменьшается объем передачи данных и их утечка, а также повышается эффективность аутентификации личности.[142] In the embodiments of the present invention, the terminal transmits an initial password and facial feature data to the backend server so that the backend server performs identity authentication based on the database, which improves the security and privacy of user information. In addition, the terminal first transmits one of the types of authentication information to the backend server; determines whether to transmit the second type of authentication information based on the authentication result of the first type of authentication information; and immediately determines the authentication result if the authentication of the first type of authentication information fails, thereby minimizing the amount of data transmission and data leakage, and improving the efficiency of identity authentication.

[143] В некоторых вариантах осуществления настоящего изобретения, основанных на вариантах осуществления, описанных выше, способ выполнения задачи 2FA терминалом и бэкэнд-сервером проиллюстрирован на фиг. 6. Этот способ предусматривает выполнение стадий, описанных ниже.[143] In some embodiments of the present invention based on the embodiments described above, a method for performing a 2FA task by a terminal and a backend server is illustrated in Fig. 6. This method involves performing the steps described below.

[144] На стадии S601 терминал отображает виртуальную клавиатуру на основе режима преобразования символов пароля.[144] At step S601, the terminal displays a virtual keyboard based on the password character conversion mode.

[145] На стадии S602 терминал собирает изображения лица с помощью камеры.[145] At step S602, the terminal collects facial images using the camera.

[146] На стадии S603 терминал получает данные о чертах лица путем извлечения черт лица из изображений лица и получает исходный пароль, соответствующий последовательности жестов, путем детектирования активности.[146] In step S603, the terminal obtains facial feature data by extracting facial features from facial images and obtains an initial password corresponding to a gesture sequence by detecting the activity.

[147] На стадии S604 терминал передает исходный пароль, данные о чертах лица и идентификатор учетной записи на бэкэнд-сервер.[147] At step S604, the terminal transmits the initial password, facial feature data, and account ID to the backend server.

[148] На стадии S605 бэкэнд-сервер осуществляет аутентификацию личности на основе данных о чертах лица и исходного пароля.[148] At step S605, the backend server performs identity authentication based on the facial feature data and the original password.

[149] На стадии S606 бэкэнд-сервер передает результат аутентификации личности на терминал.[149] At step S606, the backend server transmits the identity authentication result to the terminal.

[150] На фиг. 7 представлена структурная схема устройства для аутентификации личности согласно некоторым иллюстративным вариантам осуществления настоящего изобретения. Это устройство включает в себя модули, описанные ниже.[150] Fig. 7 is a block diagram of a device for authenticating a person according to some exemplary embodiments of the present invention. This device includes modules described below.

[151] Первый модуль 701 отображения выполнен с возможностью отображения информации с указанием на необходимость преобразования пароля в ответ на команду на проверку личности, при этом информация с указанием на необходимость преобразования пароля определяется как указание на необходимость преобразования символов пароля в исходном пароле в жесты, причем разные символы пароля соответствуют разным жестам, а режим преобразования символов пароля, отображаемый информацией с указанием на необходимость преобразования пароля, генерируется произвольным образом.[151] The first display module 701 is configured to display information indicating the need to convert a password in response to a command to verify the identity, wherein the information indicating the need to convert a password is defined as an indication of the need to convert password characters in the original password into gestures, wherein different password characters correspond to different gestures, and the mode of converting password characters displayed by the information indicating the need to convert a password is generated arbitrarily.

[152] Первый модуль 702 извлечения черт лица выполнен с возможностью получения данных о чертах лица путем извлечения черт лица из изображений для проверки личности, собранных камерой.[152] The first facial feature extraction module 702 is configured to obtain facial feature data by extracting facial features from identity verification images collected by a camera.

[153] Модуль 703 детектирования активности выполнен с возможностью получения последовательности жестов путем детектирования активности на изображениях для проверки личности.[153] The activity detection module 703 is configured to obtain a sequence of gestures by detecting activity in images for identity verification.

[154] Модуль 704 преобразования пароля выполнен с возможностью получения исходного пароля путем преобразования пароля из последовательности жестов.[154] The password conversion module 704 is configured to obtain an original password by converting the password from a sequence of gestures.

[155] Модуль 705 аутентификации личности выполнен с возможностью осуществления аутентификации личности на основе исходного пароля и данных о чертах лица.[155] The identity authentication module 705 is configured to perform identity authentication based on the initial password and facial feature data.

[156] В некоторых вариантах осуществления настоящего изобретения первый модуль 701 отображения включает в себя блоки, описанные ниже.[156] In some embodiments of the present invention, the first display module 701 includes the blocks described below.

[157] Генерирующий блок выполнен с возможностью генерирования целевой функции произвольного соответствия в ответ на команду на проверку личности, причем функция произвольного соответствия представляет собой функцию, сгенерированную с возможностью соотнесения символов с жестами произвольным образом.[157] The generating unit is configured to generate a random matching target function in response to a command to verify an identity, wherein the random matching function is a function generated with the capability of matching symbols with gestures in an arbitrary manner.

[158] Блок отображения выполнен с возможностью отображения виртуальной клавиатуры на основе целевой функции произвольного соответствия, при этом на виртуальной клавиатуре отображается информация с указанием на необходимость преобразования пароля, соответствующая целевой функции произвольного соответствия.[158] The display unit is configured to display a virtual keyboard based on the arbitrary correspondence target function, wherein information indicating the need to convert a password corresponding to the arbitrary correspondence target function is displayed on the virtual keyboard.

[159] Модуль 704 преобразования пароля включает в себя блоки, описанные ниже.[159] The password conversion module 704 includes the blocks described below.

[160] Блок преобразования выполнен с возможностью получения исходного пароля путем преобразования пароля в последовательность жестов на основе целевой функции произвольного соответствия.[160] The conversion unit is configured to obtain the original password by converting the password into a sequence of gestures based on an arbitrary correspondence target function.

[161] В некоторых вариантах осуществления настоящего изобретения блок отображения выполнен с дополнительной возможностью:[161] In some embodiments of the present invention, the display unit is configured with the additional capability of:

[162] определения блока преобразования пароля на основе целевой функции произвольного соответствия, причем блок преобразования пароля включает в себя один из символов пароля и жест, соответствующий этому одному из символов пароля в целевой функции произвольного соответствия; и[162] determining a password transformation unit based on a random matching target function, wherein the password transformation unit includes one of the password characters and a gesture corresponding to that one of the password characters in the random matching target function; and

[163] отображения блока преобразования пароля на виртуальной клавиатуре на основе первого режима отображения, соответствующего одному из символов пароля, и второго режима отображения, соответствующего идентификатору жеста, причем первый режим отображения отличается от второго режима отображения.[163] displaying a password conversion block on a virtual keyboard based on a first display mode corresponding to one of the password characters and a second display mode corresponding to a gesture identifier, wherein the first display mode is different from the second display mode.

[164] В некоторых вариантах осуществления настоящего изобретения блок отображения выполнен с дополнительной возможностью:[164] In some embodiments of the present invention, the display unit is configured to further:

[165] определения первого положения отображения одного из символов пароля на виртуальной клавиатуре; и[165] determining the first display position of one of the password symbols on the virtual keyboard; and

[166] отображения блока преобразования пароля, соответствующего одному из символов пароля, на виртуальной клавиатуре в соответствии с первым положением отображения на основе первого режима отображения и второго режима отображения.[166] displaying a password conversion block corresponding to one of the password characters on the virtual keyboard in accordance with the first display position based on the first display mode and the second display mode.

[167] В некоторых вариантах осуществления настоящего изобретения блок отображения выполнен с дополнительной возможностью:[167] In some embodiments of the present invention, the display unit is configured with the additional capability of:

[168] отображения одного из символов пароля на виртуальной клавиатуре на основе первого положения отображения одного из символов пароля на виртуальной клавиатуре и первого режима отображения;[168] displaying one of the password characters on the virtual keyboard based on a first display position of one of the password characters on the virtual keyboard and a first display mode;

[169] определения - в ответ на получение операции отображения режима преобразования - второго положения отображения идентификатора жеста на виртуальной клавиатуре на основе одного из символов пароля, соответствующего идентификатору жеста в блоке преобразования пароля; и[169] determining - in response to receiving the operation of displaying the conversion mode - a second display position of the gesture identifier on the virtual keyboard based on one of the password characters corresponding to the gesture identifier in the password conversion block; and

[170] отображения идентификатора жеста на виртуальной клавиатуре в соответствии со вторым положением отображения на основе второго режима отображения.[170] displaying the gesture identifier on the virtual keyboard in accordance with the second display position based on the second display mode.

[171] В некоторых вариантах осуществления настоящего изобретения первый режим отображения отличается от второго режима отображения, по меньшей мере, одним из следующих параметров:[171] In some embodiments of the present invention, the first display mode differs from the second display mode in at least one of the following parameters:

[172] имеются различия в типе между одним из символов пароля и символом идентификатора жеста;[172] there are differences in type between one of the password characters and the gesture identifier character;

[173] имеются различия в цвете отображения между одним из символов пароля и идентификатором жеста;[173] There are differences in the display color between one of the password characters and the gesture identifier;

[174] имеются различия в шрифте отображения между одним из символов пароля и идентификатором жеста; и[174] there are differences in the display font between one of the password characters and the gesture identifier; and

[175] имеются различия в размере шрифта отображения между одним из символов пароля и идентификатором жеста;[175] There are differences in the display font size between one of the password characters and the gesture identifier;

[176] имеются различия в специальных эффектах отображения между одним из символов пароля и идентификатором жеста.[176] There are differences in the special display effects between one of the password characters and the gesture identifier.

[177] В некоторых вариантах осуществления настоящего изобретения жест включает в себя выражение лица и движение головы.[177] In some embodiments of the present invention, the gesture includes a facial expression and a head movement.

[178] Предложенное устройство дополнительно включает в себя модули, описанные ниже.[178] The proposed device additionally includes the modules described below.

[179] Второй модуль отображения выполнен с возможностью отображения набора жестов в ответ на команду на ввод черт лица, причем набор жестов содержит все жесты для преобразования символов пароля.[179] The second display module is configured to display a set of gestures in response to a command to input facial features, wherein the set of gestures comprises all gestures for converting password characters.

[180] Модуль сбора черт лица выполнен с возможностью получения целевых данных го чертах лица, соответствующих каждому жесту, путем извлечения черт лица из изображений лица, собранных камерой.[180] The facial feature collection module is configured to obtain target data of facial features corresponding to each gesture by extracting facial features from facial images collected by the camera.

[181] Модуль передачи информации выполнен с возможностью передачи целевых данных о чертах лица и идентификатора учетной записи на бэкэнд-сервер, причем бэкэнд-сервер выполнен с возможностью обновления базы данных, в которой содержатся соответствующие соотношения между учетной записью, целевым исходным паролем и целевыми данными о чертах лица.[181] The information transmission module is configured to transmit the target facial feature data and the account identifier to the backend server, wherein the backend server is configured to update a database that contains corresponding relationships between the account, the target initial password, and the target facial feature data.

[182] В некоторых вариантах осуществления настоящего изобретения модуль 705 аутентификации личности включает в себя блоки, описанные ниже.[182] In some embodiments of the present invention, the identity authentication module 705 includes the units described below.

[183] Блок передачи информации выполнен с возможностью передачи исходного пароля и данных о чертах лица на бэкэнд-сервер, причем бэкэнд-сервер выполнен с возможностью осуществления аутентификации личности на основе исходного пароля и данных о чертах лица.[183] The information transmission unit is configured to transmit the initial password and the facial features data to the backend server, wherein the backend server is configured to perform identity authentication based on the initial password and the facial features data.

[184] Блок приема информации выполнен с возможностью получения результата аутентификации личности с бэкэнд-сервера, причем результат аутентификации личности указывает на успешность или безуспешность попытки аутентификации.[184] The information receiving unit is configured to receive the result of the identity authentication from the backend server, wherein the result of the identity authentication indicates the success or failure of the authentication attempt.

[185] В некоторых вариантах осуществления настоящего изобретения блок передачи информации выполнен с дополнительной возможностью:[185] In some embodiments of the present invention, the information transmission unit is configured with the additional capability of:

[186] передачи исходного пароля и идентификатора учетной записи текущей учетной записи для входа на бэкэнд-сервер, причем бэкэнд-сервер выполнен с возможностью определения первого результата аутентификации личности на основе целевого исходного пароля, соответствующего текущей учетной записи для входа, содержащейся в базе данных; и[186] transmitting an initial password and an account identifier of a current login account to a backend server, wherein the backend server is configured to determine a first identity authentication result based on a target initial password corresponding to the current login account contained in the database; and

[187] передачи данных о чертах лица на бэкэнд-сервер по факту получения первого результата аутентификации личности с бэкэнд-сервера, указывающего на успешность аутентификации пароля, причем бэкэнд-сервер выполнен с возможностью определения второго результата аутентификации личности на основе целевых данных о чертах лица, соответствующих текущей учетной записи для входа, содержащейся в базе данных.[187] transmitting the facial feature data to the backend server upon receipt of a first identity authentication result from the backend server indicating successful password authentication, wherein the backend server is configured to determine a second identity authentication result based on the target facial feature data corresponding to the current login account contained in the database.

[188] Предложенное устройство дополнительно включает в себя следующий модуль:[188] The proposed device additionally includes the following module:

[189] первый модуль определения, выполненный с возможностью определения безуспешности аутентификации личности и отмены передачи данных о чертах лица по факту получения первого результата аутентификации личности с бэкэнд-сервера, указывающего на безуспешность попытки аутентификации пароля.[189] a first determining module configured to determine the failure of the identity authentication and cancel the transmission of the facial features data upon receipt of a first identity authentication result from the backend server indicating the failure of the password authentication attempt.

[190] В некоторых вариантах осуществления настоящего изобретения блок передачи информации выполнен с дополнительной возможностью:[190] In some embodiments of the present invention, the information transmission unit is configured with the additional capability of:

[191] передачи данных о чертах лица и идентификатора учетной записи текущей учетной записи для входа на бэкэнд-сервер, причем бэкэнд-сервер выполнен с возможностью определения третьего результата аутентификации личности на основе целевых данных о чертах лица, соответствующих текущей учетной записи для входа, содержащейся в базе данных; и[191] transmitting the facial feature data and the account identifier of the current login account to a backend server, wherein the backend server is configured to determine a third identity authentication result based on the target facial feature data corresponding to the current login account contained in the database; and

[192] передачи исходного пароля на бэкэнд-сервер по факту получения третьего результата аутентификации личности с бэкэнд-сервера, указывающего на успешность прохождения аутентификации лица, причем бэкэнд-сервер выполнен с возможностью определения четвертого результата аутентификации личности на основе целевого исходного пароля, соответствующего текущей учетной записи для входа, содержащейся в базе данных.[192] transmitting the initial password to the backend server upon receipt of a third result of the personal authentication from the backend server indicating successful completion of the personal authentication, wherein the backend server is configured to determine a fourth result of the personal authentication based on the target initial password corresponding to the current login account contained in the database.

[193] Предложенное устройство дополнительно включает в себя следующий модуль:[193] The proposed device additionally includes the following module:

[194] Второй модуль определения, выполненный с возможностью определения безуспешности аутентификации личности и отмены передачи исходного пароля по факту получения третьего результата аутентификации личности с бэкэнд-сервера, указывающего на безуспешность попытки аутентификации лица.[194] A second determining module configured to determine the failure of the person authentication and cancel the transmission of the original password upon receipt of a third person authentication result from the backend server indicating the failure of the person authentication attempt.

[195] Суммируя все вышеизложенное, можно сказать, что вариантами осуществления настоящего изобретения предложен механизм аутентификации личности, основанный на двух факторах, т.е. на пароле и чертах лица пользователя, используя который пользователь может одновременно ввести пароль и выполнить аутентификацию личности путем лишь однократного ввода жеста. Таким образом, упрощается процесс аутентификации личности пользователя и повышается эффективность аутентификации личности. На основе генерируемого произвольным образом режима преобразования символов пароля пользователь вводит произвольную последовательность жестов, полученную путем преобразования исходного пароля, так что исходный пароль пользователя не «утекает» на этапе ввода пароля, а мгновенный пароль, полученный на основе корректного исходного пароля, позволяет успешно пройти аутентификацию, защищая процесс идентификации лица от атак с использованием поддельных черт лица и дополнительно повышая уровень безопасности и точность аутентификации личности.[195] To summarize the above, the embodiments of the present invention provide a mechanism for personal authentication based on two factors, i.e., a password and the user's facial features, using which the user can simultaneously enter a password and perform personal authentication by entering a gesture only once. Thus, the process of personal authentication of the user is simplified and the efficiency of personal authentication is increased. Based on the randomly generated password character conversion mode, the user enters an arbitrary sequence of gestures obtained by converting the original password, so that the user's original password does not "leak" at the password entry stage, and the instant password obtained based on the correct original password allows successful authentication, protecting the process of personal identification from attacks using fake facial features and further increasing the security level and accuracy of personal authentication.

[196] Некоторыми вариантами осуществления настоящего изобретения дополнительно предложен терминал. Терминал включает в себя процессор и память, при этом в памяти хранится, по меньшей мере, одна команда, по меньшей мере, одна программа, набор кодов или набор команд, и при загрузке и исполнении, по меньшей мере, одной команды, по меньшей мере, одной программы, набора кодов или набора команд инициируется реализация процессором способа аутентификации личности, применимого к терминалу, как это определено в описанных выше вариантах осуществления настоящего изобретения.[196] Some embodiments of the present invention further provide a terminal. The terminal includes a processor and a memory, wherein at least one instruction, at least one program, a set of codes, or a set of commands is stored in the memory, and when the at least one instruction, at least one program, a set of codes, or a set of commands is loaded and executed, the processor initiates the implementation of a method for authenticating a person applicable to the terminal, as defined in the above-described embodiments of the present invention.

[197] Вариантами осуществления настоящего изобретения дополнительно предложен машиночитаемый носитель данных, на котором хранится, по меньшей мере, одна команда, причем, по меньшей мере, одна команда при ее загрузке и исполнении процессором инициирует реализацию этим процессором способа аутентификации личности согласно описанным выше вариантам осуществления заявленного изобретения.[197] Embodiments of the present invention further provide a machine-readable data carrier on which at least one instruction is stored, wherein the at least one instruction, when loaded and executed by a processor, initiates the implementation by that processor of a method for authenticating a person according to the embodiments of the claimed invention described above.

[198] Согласно одному из аспектов настоящего изобретения предложен компьютерный программный продукт или компьютерная программа. Этот компьютерный программный продукт или компьютерная программа содержит машинные команды, которые хранятся на машиночитаемом носителе данных. Процессор терминала считывает машинные команды из машиночитаемого носителя данных, и при исполнении машинных команд процессором этот процессор инициирует реализацию терминалом способа аутентификации личности согласно различным вариантам осуществления указанного аспекта заявленного изобретения.[198] According to one aspect of the present invention, a computer program product or a computer program is provided. This computer program product or computer program comprises machine instructions that are stored on a machine-readable storage medium. A terminal processor reads the machine instructions from the machine-readable storage medium, and when the processor executes the machine instructions, the processor initiates the terminal to implement a method for authenticating a person according to various embodiments of the said aspect of the claimed invention.

[199] Специалистам в данной области техники должно быть понятно, что в одном или нескольких вариантах осуществления настоящего изобретения функции, описанные в рамках раскрытия вариантов осуществления заявленного изобретения, могут быть реализованы в виде аппаратных средств, программных средств, встроенных программных средств или любой комбинации указанных средств. Функции, реализованные в виде программных средств, могут быть сохранены на машиночитаемом носителе данных или переданы в виде одной или нескольких команд или кодов на машинном носителе данных. Машиночитаемый носитель данных включает в себя носитель данных компьютера и среду передачи данных, причем среда передачи данных включает в себя любой носитель, который облегчает перенос компьютерной программы с одного места в другое. Носителем данных может служить любой доступный носитель данных, к которому может иметь доступ универсальный компьютер или специализированный компьютер.[199] Those skilled in the art will appreciate that in one or more embodiments of the present invention, the functions described within the disclosure of embodiments of the claimed invention may be implemented as hardware, software, firmware, or any combination thereof. Functions implemented as software may be stored on a computer-readable storage medium or transmitted over as one or more instructions or codes on a computer-readable storage medium. A computer-readable storage medium includes a computer storage medium and a communication medium, where the communication medium includes any medium that facilitates transfer of a computer program from one place to another. The storage medium may be any available storage medium that can be accessed by a general-purpose computer or a special-purpose computer.

[200] Следует отметить, что информация (включающая в себя, помимо прочего, информацию об устройстве пользователя, личные данные пользователя и тому подобное), данные (включающие в себя, помимо прочего, данные для анализа, сохраненные данные, отображаемые данные и тому подобное) и сигналы, упомянутые в настоящем документе, должны быть авторизированы пользователем или полностью авторизированы различными третьими сторонами, а сбор, использование и обработка соответствующих данных должны соответствовать применяемых законам и нормативным актам и стандартам в соответствующих странах и регионах. Например, получение идентификаторов учетной записи, исходных паролей, данных о чертах лица и всех прочих данных подобного рода, задействованных в настоящем изобретении, осуществляется только при надлежащей авторизации.[200] It should be noted that the information (including but not limited to the user's device information, the user's personal information, and the like), data (including but not limited to the analysis data, stored data, displayed data, and the like), and signals mentioned in this document must be authorized by the user or fully authorized by various third parties, and the collection, use, and processing of the relevant data must comply with the applicable laws and regulations and standards in the relevant countries and regions. For example, the acquisition of account IDs, initial passwords, facial feature data, and all other similar data involved in the present invention is carried out only under proper authorization.

[201] Выше описаны лишь необязательные варианты осуществления настоящего изобретения, которые никоим образом не ограничивают заявленное изобретение. Любые модификации, эквивалентные замены и усовершенствования и прочие изменения, внесенные в рамках сущности и принципа настоящего изобретения, должны входить в объем правовой охраны заявленного изобретения.[201] The above are described only as optional embodiments of the present invention, which in no way limit the claimed invention. Any modifications, equivalent replacements and improvements and other changes made within the scope of the essence and principle of the present invention must be included in the scope of legal protection of the claimed invention.

Claims (48)

1. Способ аутентификации личности, предусматривающий:1. A method of personal authentication that includes: генерирование целевой функции произвольного соответствия в ответ на команду на проверку личности, причем целевая функция произвольного соответствия представляет собой функцию, сгенерированную с возможностью соотнесения символов с жестами произвольным образом;generating a random matching target function in response to a command to verify the identity, wherein the random matching target function is a function generated with the ability to match symbols with gestures in an arbitrary manner; отображение виртуальной клавиатуры на основе целевой функции произвольного соответствия, причем на виртуальной клавиатуре отображается информация с указанием на необходимость преобразования пароля, которая соответствует целевой функции произвольного соответствия и которая определяется как указание на необходимость преобразования символов пароля в исходном пароле в жесты, причем разные символы пароля соответствуют разным жестам, режим преобразования символов пароля, отображаемый информацией с указанием на необходимость преобразования пароля, генерируется произвольным образом, а символы пароля включают в себя по меньшей мере один тип цифр, букв, знаков препинания и специальных символов; при этом отображение виртуальной клавиатуры на основе целевой функции произвольного соответствия предусматривает: определение блока преобразования пароля на основе целевой функции произвольного соответствия, причем блок преобразования пароля включает в себя один из символов пароля и жест, соответствующий одному из символов пароля в целевой функции произвольного соответствия; и отображение блока преобразования пароля на виртуальной клавиатуре на основе первого режима отображения, соответствующего одному из символов пароля, и второго режима отображения, соответствующего идентификатору жеста, причем первый режим отображения отличается от второго режима отображения;displaying a virtual keyboard based on an arbitrary correspondence target function, wherein information indicating the need for converting a password is displayed on the virtual keyboard, which corresponds to an arbitrary correspondence target function and which is determined as an indication of the need to convert password characters in the original password into gestures, wherein different password characters correspond to different gestures, the password character conversion mode displayed by the information indicating the need for converting a password is generated in an arbitrary manner, and the password characters include at least one type of digits, letters, punctuation marks and special characters; wherein displaying a virtual keyboard based on an arbitrary correspondence target function comprises: determining a password conversion unit based on an arbitrary correspondence target function, wherein the password conversion unit includes one of the password characters and a gesture corresponding to one of the password characters in the arbitrary correspondence target function; and displaying the password conversion unit on the virtual keyboard based on a first display mode corresponding to one of the password characters and a second display mode corresponding to a gesture identifier, wherein the first display mode is different from the second display mode; получение данных о чертах лица путем извлечения черт лица из изображений для проверки личности, собранных камерой;obtaining facial feature data by extracting facial features from identity verification images collected by the camera; получение последовательности жестов путем детектирования активности на изображениях для проверки личности;obtaining a sequence of gestures by detecting activity in images for identity verification; получение исходного пароля путем преобразования пароля из последовательности жестов на основе целевой функции произвольного соответствия; иobtaining the original password by transforming the password from the gesture sequence based on the arbitrary correspondence target function; and выполнение аутентификации личности на основе исходного пароля и данных о чертах лица.Performing identity authentication based on the original password and facial features data. 2. Способ по п. 1, в котором отображение блока преобразования пароля на виртуальной клавиатуре на основе первого режима отображения, соответствующего одному из символов пароля, и второго режима отображения, соответствующего идентификатору жеста, предусматривает:2. The method according to claim 1, wherein the display of the password conversion block on the virtual keyboard based on the first display mode corresponding to one of the password symbols and the second display mode corresponding to the gesture identifier, provides for: определение первого положения отображения одного из символов пароля на виртуальной клавиатуре; иdetermining the first display position of one of the password symbols on the virtual keyboard; and отображение блока преобразования пароля, соответствующего каждому из символов пароля, на виртуальной клавиатуре в соответствии с первым положением отображения на основе первого режима отображения и второго режима отображения.displaying a password conversion block corresponding to each of the password characters on a virtual keyboard in accordance with a first display position based on a first display mode and a second display mode. 3. Способ по п. 1, в котором отображение блока преобразования пароля на виртуальной клавиатуре на основе первого режима отображения, соответствующего одному из символов пароля, и второго режима отображения, соответствующего идентификатору жеста, предусматривает:3. The method according to claim 1, wherein the display of the password conversion block on the virtual keyboard based on the first display mode corresponding to one of the password symbols and the second display mode corresponding to the gesture identifier, provides for: отображение одного из символов пароля на виртуальной клавиатуре на основе первого положения отображения одного из символов пароля на виртуальной клавиатуре и первого режима отображения;displaying one of the password characters on the virtual keyboard based on the first display position of one of the password characters on the virtual keyboard and the first display mode; определение - в ответ на операцию отображения режима преобразования - второго положения отображения идентификатора жеста на виртуальной клавиатуре на основе одного из символов пароля, соответствующего идентификатору жеста в блоке преобразования пароля; иdetermining, in response to the operation of displaying the conversion mode, a second display position of the gesture identifier on the virtual keyboard based on one of the password symbols corresponding to the gesture identifier in the password conversion block; and отображение идентификатора жеста на виртуальной клавиатуре в соответствии с вторым положением отображения на основе второго режима отображения.displaying a gesture identifier on the virtual keyboard according to the second display position based on the second display mode. 4. Способ по п. 1, в котором первый режим отображения отличается от второго режима отображения по меньшей мере одним из следующих параметров:4. The method according to claim 1, wherein the first display mode differs from the second display mode by at least one of the following parameters: имеются различия в типе между одним из символов пароля и символом идентификатора жеста;there are differences in type between one of the password characters and the gesture identifier character; имеются различия в цвете отображения между одним из символов пароля и идентификатором жеста;there are differences in the display color between one of the password characters and the gesture identifier; имеются различия в шрифте отображения между одним из символов пароля и идентификатором жеста;there are differences in the display font between one of the password characters and the gesture identifier; имеются различия в размере шрифта отображения между одним из символов пароля и идентификатором жеста; или there is a difference in the display font size between one of the password characters and the gesture identifier; or имеются различия в специальных эффектах отображения между одним из символов пароля и идентификатором жеста.There are differences in the special display effects between one of the password characters and the gesture identifier. 5. Способ по любому из пп. 1-4, в котором5. The method according to any one of paragraphs 1-4, in which жест включает в себя выражение лица и движение головы, аa gesture includes facial expression and head movement, and перед отображением виртуальной клавиатуры на основе целевой функции произвольного соответствия предложенный способ предусматривает:Before displaying the virtual keyboard based on the arbitrary correspondence target function, the proposed method provides for: отображение набора жестов в ответ на команду на ввод черт лица, причем набор жестов содержит все жесты для преобразования символов пароля;displaying a set of gestures in response to a command to enter facial features, wherein the set of gestures contains all the gestures for converting password characters; получение целевых данных о чертах лица, соответствующих каждому жесту, путем извлечения черт лица из изображений лица, собранных камерой; иobtaining target facial feature data corresponding to each gesture by extracting facial features from facial images collected by the camera; and передачу целевых данных о чертах лица и идентификатора учетной записи на бэкэнд-сервер, причем бэкэнд-сервер выполнен с возможностью обновления базы данных, в которой содержатся соответствующие соотношения между учетной записью, целевым исходным паролем и целевыми данными о чертах лица.transmitting the target facial feature data and the account identifier to a backend server, wherein the backend server is configured to update a database that contains corresponding relationships between the account, the target initial password, and the target facial feature data. 6. Способ по п. 5, в котором осуществление аутентификации личности на основе исходного пароля и данных о чертах лица предусматривает:6. The method according to paragraph 5, wherein the implementation of authentication of the individual based on the initial password and data on facial features includes: передачу исходного пароля и данных о чертах лица на бэкэнд-сервер, причем бэкэнд-сервер выполнен с возможностью осуществления аутентификации личности на основе исходного пароля и данных о чертах лица; иtransmitting the initial password and the facial feature data to a backend server, wherein the backend server is configured to perform identity authentication based on the initial password and the facial feature data; and получение результата аутентификации личности с бэкэнд-сервера, причем результат аутентификации личности указывает на успешность или безуспешность попытки аутентификации.receiving an identity authentication result from the backend server, wherein the identity authentication result indicates the success or failure of the authentication attempt. 7. Способ по п. 6, в котором7. The method according to item 6, in which передача исходного пароля и данных о чертах лица на бэкэнд-сервер предусматривает:Transferring the original password and facial features data to the backend server involves: передачу исходного пароля и идентификатора учетной записи текущей учетной записи для входа на бэкэнд-сервер, причем бэкэнд-сервер выполнен с возможностью определения первого результата аутентификации личности на основе целевого исходного пароля, соответствующего текущей учетной записи для входа, содержащейся в базе данных; иtransmitting an initial password and an account identifier of a current login account to a backend server, wherein the backend server is configured to determine a first identity authentication result based on a target initial password corresponding to the current login account contained in the database; and передачу данных о чертах лица на бэкэнд-сервер по факту получения первого результата аутентификации личности с бэкэнд-сервера, указывающего на успешность аутентификации пароля, причем бэкэнд-сервер выполнен с возможностью определения второго результата аутентификации личности на основе целевых данных о чертах лица, соответствующих текущей учетной записи для входа, содержащейся в базе данных; а предложенный способ дополнительно предусматриваетtransmitting the facial feature data to the backend server upon receipt of a first identity authentication result from the backend server indicating successful password authentication, wherein the backend server is configured to determine a second identity authentication result based on the target facial feature data corresponding to the current login account contained in the database; and the proposed method further comprises определение безуспешности аутентификации личности и отмену передачи данных о чертах лица по факту получения первого результата аутентификации личности с бэкэнд-сервера, указывающего на безуспешность попытки аутентификации пароля.determining the failure of the identity authentication and canceling the transmission of facial features data upon receipt of the first identity authentication result from the backend server indicating the failure of the password authentication attempt. 8. Способ по п. 6, в котором8. The method according to item 6, in which передача исходного пароля и данных о чертах лица на бэкэнд-сервер предусматривает:Transferring the original password and facial features data to the backend server involves: передачу данных о чертах лица и идентификатора учетной записи текущей учетной записи для входа на бэкэнд-сервер, причем бэкэнд-сервер выполнен с возможностью определения третьего результата аутентификации личности на основе целевых данных о чертах лица, соответствующих текущей учетной записи для входа, содержащейся в базе данных; иtransmitting the facial feature data and the account identifier of the current login account to a backend server, wherein the backend server is configured to determine a third identity authentication result based on the target facial feature data corresponding to the current login account contained in the database; and передачу исходного пароля на бэкэнд-сервер по факту получения третьего результата аутентификации личности с бэкэнд-сервера, указывающего на успешность прохождения аутентификации лица, причем бэкэнд-сервер выполнен с возможностью определения четвертого результата аутентификации личности на основе целевого исходного пароля, соответствующего текущей учетной записи для входа, содержащейся в базе данных; аtransmitting the initial password to the backend server upon receipt of a third result of the personal authentication from the backend server indicating the successful completion of the personal authentication, wherein the backend server is configured to determine the fourth result of the personal authentication based on the target initial password corresponding to the current login account contained in the database; and предложенный способ дополнительно предусматриваетThe proposed method additionally provides определение безуспешности аутентификации личности и отмену передачи исходного пароля по факту получения третьего результата аутентификации личности с бэкэнд-сервера, указывающего на безуспешность попытки аутентификации лица.determining the failure of the identity authentication and canceling the transmission of the original password upon receipt of a third identity authentication result from the backend server indicating the failure of the attempt to authenticate the person. 9. Устройство для аутентификации личности, содержащее:9. A device for personal authentication, comprising: первый модуль отображения, выполненный с возможностью генерирования целевой функции произвольного соответствия в ответ на команду на проверку личности, причем целевая функция произвольного соответствия представляет собой функцию, сгенерированную с возможностью соотнесения символов с жестами произвольным образом; и отображения виртуальной клавиатуры на основе целевой функции произвольного соответствия, причем на виртуальной клавиатуре отображается информация с указанием на необходимость преобразования пароля, которая соответствует целевой функции произвольного соответствия и которая определяется как указание на необходимость преобразования символов пароля в исходном пароле в жесты, причем разные символы пароля соответствуют разным жестам, режим преобразования символов пароля, отображаемый информацией с указанием на необходимость преобразования пароля, генерируется произвольным образом, а символы пароля включают в себя по меньшей мере один тип цифр, букв, знаков препинания и специальных символов; при этом первый модуль отображения выполнен с дополнительной возможностью: определения блока преобразования пароля на основе целевой функции произвольного соответствия, причем блок преобразования пароля включает в себя один из символов пароля и жест, соответствующий одному из символов пароля в целевой функции произвольного соответствия; и отображения блока преобразования пароля на виртуальной клавиатуре на основе первого режима отображения, соответствующего одному из символов пароля, и второго режима отображения, соответствующего идентификатору жеста, причем первый режим отображения отличается от второго режима отображения;a first display module configured to generate an arbitrary correspondence target function in response to a command to verify the identity, wherein the arbitrary correspondence target function is a function generated with the ability to associate characters with gestures in an arbitrary manner; and displaying a virtual keyboard based on the arbitrary correspondence target function, wherein information indicating the need to convert a password is displayed on the virtual keyboard, which corresponds to the arbitrary correspondence target function and which is determined as an indication of the need to convert password characters in the original password into gestures, wherein different password characters correspond to different gestures, the password character conversion mode displayed by the information indicating the need to convert a password is generated in an arbitrary manner, and the password characters include at least one type of digits, letters, punctuation marks and special characters; wherein the first display module is configured with the additional capability of: determining a password conversion unit based on the arbitrary correspondence target function, wherein the password conversion unit includes one of the password characters and a gesture corresponding to one of the password characters in the arbitrary correspondence target function; and displaying a password conversion block on a virtual keyboard based on a first display mode corresponding to one of the password characters and a second display mode corresponding to the gesture identifier, wherein the first display mode is different from the second display mode; первый модуль извлечения черт лица, выполненный с возможностью получения данных о чертах лица путем извлечения черт лица из изображений для проверки личности, собранных камерой;a first facial feature extraction module configured to obtain facial feature data by extracting facial features from identity verification images collected by a camera; модуль детектирования активности, выполненный с возможностью получения последовательности жестов путем детектирования активности на изображениях для проверки личности;an activity detection module configured to obtain a sequence of gestures by detecting activity in images for identity verification; модуль преобразования пароля, выполненный с возможностью получения исходного пароля путем преобразования пароля из последовательности жестов на основе целевой функции произвольного соответствия; иa password conversion module configured to obtain an original password by converting a password from a sequence of gestures based on an arbitrary correspondence target function; and модуль аутентификации личности, выполненный с возможностью осуществления аутентификации личности на основе исходного пароля и данных о чертах лица.a personality authentication module configured to perform personality authentication based on an initial password and facial feature data. 10. Терминал для аутентификации личности, содержащий процессор и память, причем в памяти хранится по меньшей мере одна команда, по меньшей мере одна программа, набор кодов или набор команд и при загрузке и исполнении по меньшей мере одной команды, по меньшей мере одной программы, набора кодов или набора команд инициируется реализация процессором способа аутентификации личности по любому из пп. 1-8.10. A terminal for personal authentication, comprising a processor and a memory, wherein at least one command, at least one program, set of codes or set of commands is stored in the memory, and when loading and executing at least one command, at least one program, set of codes or set of commands, the implementation of the personal authentication method according to any of paragraphs 1-8 is initiated by the processor. 11. Машиночитаемый носитель данных, на котором хранится по меньшей мере одна компьютерная программа, причем эта компьютерная программа при ее загрузке и выполнении процессором инициирует реализацию этим процессором способа аутентификации личности по любому из пп. 1-8.11. A machine-readable data carrier on which at least one computer program is stored, wherein this computer program, when loaded and executed by a processor, initiates the implementation by this processor of the method for authenticating a person according to any of paragraphs 1-8.
RU2024125071A 2022-02-25 Method and device for personal authentication, terminal and data medium RU2834889C2 (en)

Publications (2)

Publication Number Publication Date
RU2024125071A RU2024125071A (en) 2024-10-08
RU2834889C2 true RU2834889C2 (en) 2025-02-17

Family

ID=

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8627096B2 (en) * 2011-07-14 2014-01-07 Sensible Vision, Inc. System and method for providing secure access to an electronic device using both a screen gesture and facial biometrics
RU2629541C2 (en) * 2015-11-09 2017-08-29 АРТЕК ЮРОП С.а.р.Л. Noncontact biometric device for user identification by face
US9880629B2 (en) * 2012-02-24 2018-01-30 Thomas J. Moscarillo Gesture recognition devices and methods with user authentication
US20180196966A1 (en) * 2014-03-06 2018-07-12 International Business Machines Corporation Contemporaneous facial gesture and keyboard entry authentication
US10509951B1 (en) * 2016-04-26 2019-12-17 Massachusetts Mutual Life Insurance Company Access control through multi-factor image authentication
US20200169566A1 (en) * 2017-06-20 2020-05-28 Bank Of America Corporation System for authentication of a user based on multi-factor passively acquired data
EP3540621B1 (en) * 2014-09-03 2020-07-29 Alibaba Group Holding Limited Identity authentication method and apparatus, terminal and server
US10733275B1 (en) * 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8627096B2 (en) * 2011-07-14 2014-01-07 Sensible Vision, Inc. System and method for providing secure access to an electronic device using both a screen gesture and facial biometrics
US9880629B2 (en) * 2012-02-24 2018-01-30 Thomas J. Moscarillo Gesture recognition devices and methods with user authentication
US20180196966A1 (en) * 2014-03-06 2018-07-12 International Business Machines Corporation Contemporaneous facial gesture and keyboard entry authentication
EP3540621B1 (en) * 2014-09-03 2020-07-29 Alibaba Group Holding Limited Identity authentication method and apparatus, terminal and server
RU2629541C2 (en) * 2015-11-09 2017-08-29 АРТЕК ЮРОП С.а.р.Л. Noncontact biometric device for user identification by face
US10733275B1 (en) * 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
US10509951B1 (en) * 2016-04-26 2019-12-17 Massachusetts Mutual Life Insurance Company Access control through multi-factor image authentication
US20200169566A1 (en) * 2017-06-20 2020-05-28 Bank Of America Corporation System for authentication of a user based on multi-factor passively acquired data

Similar Documents

Publication Publication Date Title
US8392975B1 (en) Method and system for image-based user authentication
US10671716B2 (en) User authentication method and system using variable keypad and biometric identification
US9411946B2 (en) Fingerprint password
US9275212B2 (en) Secure element biometric authentication system
EP2887267A1 (en) Biometric authentication device and reference data verification method
US20230262057A1 (en) Systems and methods for authenticating users within a computing or access control environment
CN108171137B (en) Face recognition method and system
JPWO2017170384A1 (en) Biometric data processing apparatus, biometric data processing system, biometric data processing method, biometric data processing program, and storage medium for storing biometric data processing program
WO2016188230A1 (en) Unlocking method and device
CN110378090A (en) Account logon method, device, computer readable storage medium and computer equipment
JP7536175B2 (en) Mobile app login and device registration
CN106469269B (en) A kind of method, apparatus and terminal of Password Management
US10936706B2 (en) Biometric authentication
WO2018137309A1 (en) Wireless communication processing method and device
US11128620B2 (en) Online verification method and system for verifying the identity of a subject
US20250158980A1 (en) Method for authenticating identity, and terminal, storage medium, and program product thereof
RU2834889C2 (en) Method and device for personal authentication, terminal and data medium
CN114467283B (en) Identity authentication method, device, terminal, storage medium and program product
KR20030052194A (en) A system for user verification using biometric information, a method for registering certificates in the system and a user verification method
Manikandan et al. Efficient Password Mechanism to Overcome Spyware Attack: Quantum Network and AI
CN120822951A (en) Information verification method, device, computer equipment, computer readable storage medium and computer program product
CN105550548A (en) Information processing method and terminal
JP2021149514A (en) Biometric authentication system, biometric authentication method and program