Claims (24)
1. Способ автоматической проверки присутствия живого лица человека в биометрических системах, состоящий из следующих операций: осуществляют дистанционный сбор трехмерных данных изображения, характеризующих зону обнаружения, который основывается на использовании трехмерного сенсора, в виде стереоскопической системы, состоящей из двух и более оптических датчиков с заранее известным расположением; осуществляют дистанционный сбор звуковых сигналов о зоне наблюдения, при этом для получения сигнала используют стереомикрофон; осуществляют сбор данных об активном пользователе по результатам интерактивного режима работы пользователя с системой по сценарию, который включает визуальные, аудиальные, кинестетические действия пользователя и задается некоторым случайным образом; осуществляют сбор данных о пассивном пользователе по результатам скрытого обнаружения трехмерных объектов другими сенсорами; осуществляют захват зон интереса внутри зоны обнаружения на основе анализа глобальных характеристик изображений; осуществляют трехмерное детектирование элементов объекта в каждой из захваченных зон, применяя последовательное уточнение таких черт, как голова, лицо, локальные черты; осуществляют слежение за обнаруженными элементами черт объекта на последующем трехмерном изображении; осуществляют обобщение черт объекта на основе последовательности трехмерных изображений; осуществляют приведение изображения трехмерного объекта к первой нормализованной формы живого лица, имеющей только глобальные характеристики; проводят проверку статических элементов трехмерного объекта на предмет присутствия живого лица в зоне обнаружения, в процессе которой трехмерный объект, находящийся в первой нормализованной форме, последовательно уточняется тремя различными представлениями лица, а именно граф антропометрических черт объекта, текстура объекта, текстура поверхности объекта, которые соответствуют второй, третьей и четвертой нормализованным формам представления живого лица; проводят проверку динамических характеристик трехмерного объекта, таких как звук и параметры движения элементов объекта, приведенного к одной из четырех нормализованных форм представления живого лица, с целью определения того, является ли данный объект живым лицом, при этом движение трехмерного объекта последовательно уточняется применением процедур нормализации и построения подписей, а именно, речевой подписи, подписи головы, мимической подписи, фонемно-мимической и кинестетической подписи; проводят обнаружение живого лица на основе анализа статической и динамической подписей в каждой зоне интереса, анализа результатов от выбранных зон интереса, представляющих собой множество активных и скрытых зон интереса, подсчета количества лиц и принятия решения о ситуации в зоне наблюдения.1. A method for automatically checking the presence of a living person in biometric systems, consisting of the following operations: remote collection of three-dimensional image data characterizing the detection zone, which is based on the use of a three-dimensional sensor, in the form of a stereoscopic system consisting of two or more optical sensors with advance known location; carry out remote collection of audio signals about the observation area, while using a stereo microphone to obtain a signal; collecting data about the active user according to the results of the user's interactive mode of operation with the system according to a scenario that includes visual, auditory, kinesthetic user actions and is set in some random way; collect data about the passive user based on the results of covert detection of three-dimensional objects by other sensors; capture zones of interest within the detection zone based on an analysis of global image characteristics; carry out three-dimensional detection of the elements of the object in each of the captured zones, using the sequential refinement of such features as the head, face, local features; tracking the detected features of the features of the object in the subsequent three-dimensional image; generalize features of the object based on a sequence of three-dimensional images; bringing the image of a three-dimensional object to the first normalized form of a living face having only global characteristics; they check the static elements of a three-dimensional object for the presence of a living face in the detection zone, during which the three-dimensional object in the first normalized form is sequentially refined with three different representations of the face, namely, the graph of anthropometric features of the object, the texture of the object, the surface texture of the object, which correspond to the second, third and fourth normalized forms of representation of a living person; they check the dynamic characteristics of a three-dimensional object, such as sound and motion parameters of elements of an object reduced to one of four normalized forms of representation of a living face, in order to determine whether this object is a living face, while the movement of a three-dimensional object is subsequently refined using normalization procedures and building signatures, namely, voice signatures, head signatures, facial expressions, phoneme-mimic and kinesthetic signatures; detecting a live face based on the analysis of static and dynamic signatures in each zone of interest, analysis of the results from the selected zones of interest, which are many active and hidden zones of interest, counting the number of people and deciding on the situation in the observation zone.
2. Способ по п.1, отличающийся тем, что этап захвата множества зон интереса, предполагаемого расположения головы и лица пользователя, а также установка приоритета зонам интереса осуществляют путем выполнения следующих операций: построение и анализ карты диспаратности, характеризующей удаленность объектов наблюдения от камеры, выполнение процедур цветовой сегментации и фильтрации по набору фильтров Габора для уточнения карты диспаратности; вычисление координат расположения и размеров зон интереса на основе методов проекций и методов сопоставления шаблонов; установка приоритетов зонам обзора в соответствии с оценками на текущем и предыдущих множествах кадров.2. The method according to claim 1, characterized in that the step of capturing multiple areas of interest, the proposed location of the head and face of the user, as well as setting priority for areas of interest, is carried out by performing the following operations: building and analyzing a disparity map characterizing the remoteness of the observation objects from the camera, performing color segmentation and filtering procedures for a set of Gabor filters to clarify the disparity map; calculation of location coordinates and sizes of zones of interest based on projection methods and pattern matching methods; prioritization of viewing areas in accordance with estimates on the current and previous sets of frames.
3. Способ по п.1, отличающийся тем, что построение первой нормализованной формы представления живого лица, осуществляют с помощью процедуры детекции в зоне интереса, состоящей из следующих операций: проведение спецификации пирамиды двумерных изображений на основе полученной вычисленной карты диспаратности; разделение трехмерной информации на два множества, а именно множества проекций - двумерных изображений и множества карт диспаратности; выделение в двумерном изображении информации о цвете и проведение цветовой сегментации; фильтрация двумерных изображений по набору фильтров Габора и использование кластеризации; разложение трехмерной информации на три множества карт черт, отвечающих за репрезентативность и информативность информации о лице; использование процедур детекции черт по картам черт и построение трех представлений модели лица; представление и детекция лица с помощью локальных черт, объединенных в такие кластеры черт, как "брови/глаза", "ноздри/ усы/рот/подбородок", "щеки/нос"; представление и детекция лица с помощью цветовой сегментации; представление и детекция лица с помощью анализа карты диспаратности в виде анализа выпуклости множества соответственных точек.3. The method according to claim 1, characterized in that the construction of the first normalized representation of a live face is carried out using the detection procedure in the zone of interest, consisting of the following operations: specifying a pyramid of two-dimensional images based on the obtained calculated disparity map; the division of three-dimensional information into two sets, namely, a set of projections - two-dimensional images and a plurality of disparity maps; highlighting color information in a two-dimensional image and performing color segmentation; filtering two-dimensional images by a set of Gabor filters and using clustering; the decomposition of three-dimensional information into three sets of feature maps responsible for the representativeness and informativeness of face information; the use of trait detection procedures on trait maps and the construction of three representations of the face model; representation and detection of the face using local features combined in such clusters of features as “eyebrows / eyes”, “nostrils / mustache / mouth / chin”, “cheeks / nose”; face representation and detection using color segmentation; representation and detection of a face by analyzing a disparity map in the form of an analysis of the convexity of a plurality of corresponding points.
4. Способ по п.1, отличающийся тем, что построение трехмерного объекта, приведенного к первой нормализованной форме живого лица, осуществляют путем следующей процедуры слежения в зоне интереса, улучшающей скорость работы детекции: используют разделение множества на три представления лица; анализируют оптический поток множества точек; ненайденные точки уточняют процедурами детекции; в случае некачественного слежения запускают процедуру детекции.4. The method according to claim 1, characterized in that the construction of a three-dimensional object, reduced to the first normalized shape of a living face, is carried out by the following tracking procedure in the zone of interest, which improves the speed of detection: use the separation of the set into three face representations; analyze the optical flow of multiple points; points not found are specified by detection procedures; in case of poor tracking, the detection procedure is started.
5. Способ по п.1, отличающийся тем, что построение трехмерного объекта, приведенного к первой нормализованной форме живого лица, осуществляют с помощью следующей процедуры обобщения в зоне интереса, улучшающей точность работы детекции по множеству кадров трехмерных изображений: проводят разделение множества на три представления лица; анализируют оптический поток множества точек трехмерных изображений, построенный по серии из нескольких кадров; уточняют ненайденные точки и точки, найденные с низкой вероятностью с помощью процедур реконструкции и проверки нормализованного лица на целостность и информативность.5. The method according to claim 1, characterized in that the construction of a three-dimensional object, reduced to the first normalized shape of a living face, is carried out using the following generalization procedure in the zone of interest, which improves the accuracy of the detection of multiple frames of three-dimensional images: the set is divided into three views persons; analyze the optical flow of many points of three-dimensional images, built on a series of several frames; specify undetected points and points found with low probability using reconstruction procedures and checking a normalized person for integrity and information content.
6. Способ по п.5, отличающийся тем, что для построения второй нормализованной формы проводят следующие шаги: строят множества двумерных изображений по проекциям трехмерного изображения; используют фильтрацию по градиентным фильтрам и фильтрам Габора в зависимости от выбранного направления проектирования трехмерного изображения; строят репрезентативные и информативные карты локальных черт; проводят кластеризацию черт на кадре и нормализуют яркость изображения локальных черт; идентифицируют объект лица на основе экспертных эвристических правил; уточняют антропометрические черты лица точными алгоритмами детекции; находят точки соответствия, уточняют карту диспаратности и верифицируют антропометрические черты лица путем сопоставления с уточненной картой диспаратности.6. The method according to claim 5, characterized in that in order to build a second normalized shape, the following steps are taken: construct a plurality of two-dimensional images from the projections of the three-dimensional image; use filtering by gradient filters and Gabor filters depending on the chosen direction of designing a three-dimensional image; construct representative and informative maps of local features; cluster features on the frame and normalize the brightness of the image of local features; identify the entity of an entity based on expert heuristic rules; refine anthropometric facial features with accurate detection algorithms; find points of correspondence, refine the disparity map and verify the anthropometric facial features by comparing it with the updated disparity map.
7. Способ по п.5, отличающийся тем, что для построения третьей нормализованной формы выполняют следующие шаги: строят множества двумерных изображений по проекциям трехмерного изображения; проводят представление изображений в модель HSB из RGB и выделяют первую компоненту тона; используют пороговую фильтрацию; строят репрезентативные и информативные карты локальных черт; проводят кластеризацию черт на кадре и нормализующей яркости изображения локальных черт; идентифицируют объект лица, на основе экспертных эвристических правил; уточняют антропометрические черты лица точными алгоритмами детекции; находят точки соответствия, уточняю карту диспаратности, а антропометрические черты лица верифицируют путем сопоставления с уточненной картой диспаратности.7. The method according to claim 5, characterized in that in order to build a third normalized shape, the following steps are performed: construct a plurality of two-dimensional images from projections of a three-dimensional image; represent the images in the HSB model from RGB and select the first component of the tone; use threshold filtering; construct representative and informative maps of local features; clustering features on the frame and normalizing the brightness of the image of local features; identify the entity of the person, based on expert heuristic rules; refine anthropometric facial features with accurate detection algorithms; find points of correspondence, I clarify the disparity map, and anthropometric facial features are verified by comparison with the updated disparity map.
8. Способ по п.5, отличающийся тем, что для построения четвертой нормализованной формы осуществляют следующие шаги: строят подмножества карты диспаратности, где точки соответствия найдены с низкой вероятностью, на этих подмножествах с помощью метода проекции строят двумерные изображения, уточняют точки соответствия, производят реконструкцию и сглаживание трехмерных поверхностей; выделяют основные поверхности лица и трехмерные элементы лица, после чего; находят их интегральные характеристики объектов и поверхностей; анализируют выпуклость трехмерных форм; в случае наличия внешних объектов, таки как очки, шляпа, усы, производят уточнение четвертой нормализованной формы на основе второй и третьей.8. The method according to claim 5, characterized in that the following steps are carried out to build the fourth normalized form: build subsets of the disparity map, where the match points are found with low probability, on these subsets using the projection method build two-dimensional images, refine the match points, produce reconstruction and smoothing of three-dimensional surfaces; highlight the main surface of the face and three-dimensional elements of the face, after which; find their integral characteristics of objects and surfaces; analyze the convexity of three-dimensional shapes; in the case of external objects, such as glasses, hat, mustache, refine the fourth normalized form on the basis of the second and third.
9. Способ по п.5, отличающийся тем, что для построения статической подписи живого лица выполняют процедуру редукции признаков первой, второй, третьей и четвертой нормализованных форм, и веса признаков подбирают в зависимости от биометрического приложения, а именно, идентификации лица, обнаружения живого лица и муляжа, распознавания криминальной ситуации, распознавания ситуации столпотворения пользователей, т.е. пробок.9. The method according to claim 5, characterized in that to construct a static signature of a living face, the procedure for reducing the signs of the first, second, third and fourth normalized forms is performed, and the weight of the signs is selected depending on the biometric application, namely, face identification, live detection faces and models, recognition of a criminal situation, recognition of a situation of a crowd of users, i.e. traffic jams.
10. Способ по п.1, отличающийся тем, что для динамической проверки трехмерного объекта на предмет живого лица используют, по крайней мере, один из блоков: блок подписи головы, блок голосовой подписи, блок мимической подписи, блок фонемно-мимической подписи, блок кинестетической подписи, блок редукции признаков в динамическую подпись.10. The method according to claim 1, characterized in that for dynamically checking a three-dimensional object for an object of a living face, at least one of the blocks is used: a head signature block, a voice signature block, a mimic signature block, a phoneme-mimic signature block, a block kinesthetic signature, block reduction of signs in a dynamic signature.
11. Способ по п.10, отличающийся тем, что для получения динамической подписи головы используют нахождение траектории движения трехмерного объекта, приведенного к первой нормализованной форме, при этом траекторию движения строят как адекватный результат интерактивной работы пользователя с системой в соответствии со случайным сценарием и при построении траектории используют такие точки, как центр масс головы и неподвижные точки поверхности лица, определяющие взгляд и фокусировку лица.11. The method according to claim 10, characterized in that to obtain a dynamic signature of the head, the trajectory of the three-dimensional object reduced to the first normalized form is used, while the trajectory is constructed as an adequate result of the user's interactive work with the system in accordance with a random scenario and To construct the trajectory, use points such as the center of mass of the head and fixed points on the surface of the face that determine the look and focus of the face.
12. Способ по п.10, отличающийся тем, что для получения речевой подписи используют сегментацию звукового сигнала и распознавание фонем за счет извлечения локально-частотных свойств сигнала.12. The method according to claim 10, characterized in that to obtain a voice signature using segmentation of the audio signal and recognition of phonemes by extracting the local-frequency properties of the signal.
13. Способ по п.10, отличающийся тем, что для мимической подписи используют вторую, третью, четвертую нормализованные формы, проводят процедуры точной детекции и слежения за локальными чертами, которыми являются брови, глаза, рот, подбородок, нормализуют параметры их движения, и строят детерминированный конечный автомат для описания мимического состояния лица.13. The method according to claim 10, characterized in that the second, third, fourth normalized forms are used for mimic signature, the procedures for accurate detection and tracking of local features, which are eyebrows, eyes, mouth, chin, normalize the parameters of their movement, and a deterministic finite state machine is constructed to describe the facial state of the face.
14. Способ по п.10, отличающийся тем, что для получения фонемно-мимической подписи производят синхронизацию мимической и речевой подписи, и на основе двух конечных автоматов строят один автомат, позволяющий детектировать мимику с более высокой точностью.14. The method according to claim 10, characterized in that to obtain a phoneme-mimic signature, the mimic and speech signature is synchronized, and one automaton is built on the basis of two finite state machines, which allows detecting facial expressions with higher accuracy.
15. Способ по п.10, отличающийся тем, что для защиты от управляемой голограммы и получения кинестетической подписи, являющейся мерой контакта с аппаратурой, используют клавиатуру, с помощью которой пользователь набирает пин-код.15. The method according to claim 10, characterized in that for protection against a controlled hologram and obtaining a kinesthetic signature, which is a measure of contact with the equipment, a keyboard is used with which the user types a PIN code.
16. Способ по п.10, отличающийся тем, что для получения кинестетической подписи используют сенсорный планшет, на котором пользователь ставит свою подпись.16. The method according to claim 10, characterized in that to obtain a kinesthetic signature using a touch tablet on which the user puts his signature.
17. Способ по п.10, отличающийся тем, что для получения кинестетической подписи используют физическое устройство, измеряющее вес пользователя.17. The method according to claim 10, characterized in that to obtain a kinesthetic signature using a physical device that measures the weight of the user.
18. Способ по п.10, отличающийся тем, что для получения кинестетической подписи используют физическое устройство, измеряющее рост пользователя.18. The method according to claim 10, characterized in that to obtain the kinesthetic signature using a physical device that measures the growth of the user.
19. Способ по п.10, отличающийся тем, что получение динамической подписи живого лица осуществляют процедурами редукции признаков первой, второй, третьей, четвертой нормализованных форм, и веса признаков подбирают в зависимости от биометрического приложения.19. The method according to claim 10, characterized in that the dynamic signature of a live person is obtained by the procedures for reducing the signs of the first, second, third, fourth normalized forms, and the weight of the signs is selected depending on the biometric application.
20. Способ по п.1, отличающийся тем, что принятие решение о ситуации в зоне наблюдения принимают по результатам идентификации живого активного лица в соответствии со статическими и динамическими подписями живого лица.20. The method according to claim 1, characterized in that the decision on the situation in the observation area is made according to the identification of a living active person in accordance with the static and dynamic signatures of a living person.
21. Способ по п.1, отличающийся тем, что принятие решения о ситуации в зоне наблюдения принимают по результатам идентификации пассивных лиц в соответствии с их статическими и динамическими подписями живого лица, где пассивные лица, не взаимодействующие с аппаратурой, идентифицируется скрытым наблюдением.21. The method according to claim 1, characterized in that the decision on the situation in the observation area is made according to the identification of passive persons in accordance with their static and dynamic signatures of a living person, where passive persons who do not interact with the equipment are identified by covert observation.
22. Способ по п.1, отличающийся тем, что принятие решения о ситуации в зоне наблюдения принимают с помощью анализа изменений в текущей ситуации и проводят слежение за количеством активных и пассивных лиц в зоне обнаружения.22. The method according to claim 1, characterized in that the decision on the situation in the observation zone is made by analyzing the changes in the current situation and tracking the number of active and passive persons in the detection zone.
23. Способ по п.1, отличающийся тем, что принятие решения о распознавания живого лица от муляжа-голограммы принимают с помощью анализа механических изменений в текущей ситуации и проводят проверку контакта активного пользователя с кинестетическим сенсором, выполненным преимущественно в виде клавиатуры, весов, планшета для подписи.23. The method according to claim 1, characterized in that the decision on recognition of a living face from a dummy hologram is made by analyzing mechanical changes in the current situation and checking the contact of the active user with the kinesthetic sensor, made primarily in the form of a keyboard, scales, tablet for signature.
24. Система обнаружения трехмерных объектов и проверки их на предмет живого лица в биометрических системах, состоящая из следующих компонентов: блок активных сенсоров, включающий в себя сенсоры трехмерных изображений, стереомикрофон, кинестетический сенсор (клавиатура, планшет) и дисплей, которые размещаются на сцене для непосредственной интерактивной работы с пользователем; блок пассивных сенсоров, включающий в себя сенсоры трехмерных изображений, которые размещаются на сцене для скрытого наблюдения за пользователями; блок захвата и предобработки сигналов изображения, голоса или кинестетического сигнала; блок памяти для записи кадров трехмерных изображений; устройство обнаружения трехмерного объекта и первичной нормализации, состоящее из блоков захвата зоны интереса, детектирования, слежения, обобщения, которые могут быть реализованы на отдельных процессорах, и блока разделяемой памяти, в которую записывается и считывается информация о лицеподобном трехмерном объекте, приведенной к первой нормализованной форме живого лица; устройство распознавания и нормализации статических форм трехмерного объекта, состоящее из блоков нормализации трехмерного объекта блока антропометрического анализа, анализа текстуры, анализа поверхностей и блока разделяемой памяти, в которую записывается и считывается информация о лицеподобном трехмерном объекте, приведенной ко второй, третьей, четвертой нормализованной форме живого лица и блока редукции и генерации статической подписи; устройство распознавания и нормализации динамических форм трехмерного объекта, состоящее из блоков распознавания движения головы, распознавания мимики лица, распознавания фонем, синхронизации фонем и мимики лица, распознавания кинестетических сигналов, блоков разделяемой памяти, в которую записывается и считывается информация о подписи головы, о голосовой подписи, мимической подписи, фонемно-мимической подписи, кинестетической подписи, а также из блока редукции и генерации динамической подписи; устройство принятия решений, состоящее из системы управления базой данных (команд, эталонов подписей, метрик сравнения, оценок распознавания); база данных (команд, эталонов подписей, метрик сравнения, оценок распознавания живого лица); блок принятии решений о распознавании живого лица в каждой из зон интереса; блок подсчета активных и пассивных лиц; блок идентификации лица; блок распознавания типа ситуации.24. A system for detecting three-dimensional objects and checking them for a living face in biometric systems, consisting of the following components: an active sensor unit that includes three-dimensional image sensors, a stereo microphone, a kinesthetic sensor (keyboard, tablet) and a display that are placed on the stage for direct interactive work with the user; a block of passive sensors, including sensors of three-dimensional images, which are placed on the stage for covert observation of users; a block for capturing and pre-processing the image signals, voice or kinesthetic signal; a memory unit for recording frames of three-dimensional images; a device for detecting a three-dimensional object and primary normalization, consisting of blocks for capturing a zone of interest, detection, tracking, generalization, which can be implemented on separate processors, and a shared memory block, in which information about a face-like three-dimensional object reduced to the first normalized form is written and read a live face; A device for recognizing and normalizing the static forms of a three-dimensional object, consisting of normalization blocks for a three-dimensional object, an anthropometric analysis block, texture analysis, surface analysis and a shared memory block, into which information is written about a face-like three-dimensional object reduced to the second, third, fourth normalized living form face and block reduction and generation of static signatures; recognition device and normalization of the dynamic forms of a three-dimensional object, consisting of blocks for recognizing head movements, recognizing facial expressions, recognizing phonemes, synchronizing phonemes and facial expressions, recognizing kinesthetic signals, shared memory blocks, into which information about the signature of the head is recorded and read out, about voice signature mimic signature, phonemic-mimic signature, kinesthetic signature, as well as from the reduction and generation of dynamic signature block; a decision-making device consisting of a database management system (commands, signature standards, comparison metrics, recognition ratings); database (commands, signature standards, comparison metrics, live face recognition ratings); a decision making unit for recognizing a living face in each of the zones of interest; block counting active and passive persons; face identification unit; recognition unit type of situation.