RU2005133866A - Способ и система для автоматического обнаружения трехмерных образов - Google Patents

Claims (25)

1. Способ автоматического обнаружения и отслеживания людей по изображениям с нескольких источников и биометрического распознавания личности по целевому списку, включающий в себя следующие операции:

производят дистанционный сбор трехмерных и двумерных данных по изображениям, характеризующих зону слежения на базе использования трехмерной стереоскопической системы, состоящей из двух и более оптических датчиков с заранее заданным их расположением;

на основе трехмерных данных о сцене и двумерных данных, характеризующих оптический поток, производят обнаружение объектов-шумов сцены, выделяют статические объекты фона и регулярные динамические объекты-шумы;

на основе сравнения трехмерных и двумерных данных о сцене на текущем кадре с референтными данными на предыдущих кадрах и картой объектов-шумов определяют изменения на сцене, формируют трехмерную зону интереса на сцене;

в трехмерных зонах интереса производят предварительную проверку наличия человекоподобных объектов, производят уточнение зон интереса и отслеживание их изменений;

производят выделение контура отдельных элементов тела человека, зоны интереса разделяют на множество подзон интереса для элементов, производят уточнение положений элементов в пространстве;

производят обнаружение трехмерной головы человека и слежение за ней в каждой из зон интереса;

производят слежение за лицом человека в каждой из зон интереса;

изображения обнаруженного лица нормализуют по размерам, по ракурсам и по освещенности;

производят распознавание личности по целевому списку согласно сценарию работы биометрической системы.

2. Способ по п.1, отличающийся тем, что сбор трехмерных и двумерных данных по изображениям, характеризующих зону обнаружения, проводят при заданной геометрии сцены: камеры располагают в заданной последовательности и в определенном положении.

3. Способ по п.1, отличающийся тем, что представление и кодирование изображений объектов производят на основе использования нескольких карт черт, в частности, карты расстояний, цветовой карты, карт Габора.

4. Способ по п.1, отличающийся тем, что для обнаружения объектов-шумов сцены последовательно находят фоновые статические объекты, регулярные динамические объекты-шумы и динамические объекты на дальнем плане.

5. Способ по п.1, отличающийся тем, что обнаружение зоны изменений осуществляют путем сравнения карт черт с референтными и дополнительного уточнения при помощи сравнения с картой объектов-шумов

6. Способ по п.1, отличающийся тем, что проверки трехмерной зоны интереса на наличие в ней человека осуществляют с помощью принятия решения на основе оценки трехмерных размеров и пропорций объекта, параметров его движения, в частности, по карте оптического потока.

7. Способ по п.1, отличающийся тем, что при заданной геометрии сцены преимущественно используют и оценивают заданные параметры человека, в частности, выбирают параметры, соответствующие текущему расстоянию и расположению отдельных частей тела человека, траектории движения и ориентации человека в пространстве по отношению к оптическим датчикам.

8. Способ по п.1, отличающийся тем, что все данные по всем отслеживаемым объектам используют для определения перекрытий, для управления тем, какие объекты обрабатывать, какой этап обработки применять и какие признаки человека выделять.

9. Способ по п.1, отличающийся тем, что обнаружение отдельных трехмерных объектов "тело человека" в зоне интереса осуществляют на основе слежения за трехмерными границами объектов и обнаружения трехмерных объектов "голова человека", осуществления процесса сегментации перекрывающихся частей объектов в соответствии с положением головы и трехмерными границами.

10. Способ по п.1, отличающийся тем, что определяют траектории движения и ориентации в пространстве человека и отдельных частей его тела, предсказывают их наиболее вероятное последующее положение.

11. Способ по п.1, отличающийся тем, что обнаружение и слежение за головой человека осуществляют путем предсказания областей интереса, установки точной пирамиды изображений, фильтрации изображений по Габору и сопоставления признаков трехмерного объекта "голова" с известными признаками геометрических форм головы.

12. Способ по п.1, отличающийся тем, что обнаружение и слежение за лицом на голове человека осуществляют путем установки точной пирамиды изображений, фильтрации изображений по Габору и сопоставления признаков отдельных локальных черт лица с известными признаками карт черт лица и верификации полученной модели на основе сопоставления целостных признаков лица с использованием нейронной сета SNOW.

13. Способ по п.1, отличающийся тем, что обнаружение и слежение за лицом на голове человека осуществляют путем установки точной пирамиды изображений, предсказания областей интереса элементов лица и нахождения контуров данных элементов с заданной точностью.

14. Способ по п.1, отличающийся тем, что для нормализации признаков изображений применяют последовательные процедуры обработки изображений: выравнивание освещенности, согласование размеров и ракурсов.

15. Способ по п.1, отличающийся тем, что на каждом кадре выделяют признаки человека и накапливают их в качестве набора параметров, соответствующих расстоянию до отдельных частей человека на сцене и их ориентации по отношению к камерам.

16. Способ по п.1, отличающийся тем, что на каждом кадре оценивают репрезентативность каждого из выделенных признаков в зависимости от качества съемки, расстояния до человека, ориентации человека в пространстве, степени перекрытия человека с другими объектами и информативности этого признака, обновляют репрезентативность по параметрам по всем кадрам записи, обновляют суммарную репрезентативность записи.

17. Способ по п.1, отличающийся тем, что при регистрации эталонов отбрасывают записи с репрезентативностью ниже заданного порога, причем имеется возможность модернизировать эталоны с помощью дополнительных записей и требовать этого при репрезентативности записи меньшей порога.

18. Способ по п.1, отличающийся тем, что при распознавании личности вычисляют меру сходства параметров записи человека с эталоном и надежность оценки сходства, причем надежность оценки сходства меньше репрезентативности и для записи и для эталона

19. Способ по п.1, отличающийся тем, что при распознавании личности для организации быстрого доступа к элементам целевого списка эталоны кластеризуют по параметрам, при которых их можно использовать для оценки сходства: расстоянию до человека, ориентации человека в пространстве, качеству съемки.

20. Способ по п.1, отличающийся тем, что при распознавании личности задают порог на надежность оценки сходства; отказывают в распознавании, если репрезентативность записи меньше этого порога; выбирают список вероятных эталонов из целевого списка, обладающих не менее, чем одним из признаков записи, и таких, что суммарное значение минимумов репрезентативности признака эталона и признака записи больше порога надежности.

21. Способ по п.1, отличающийся тем, что при распознавании личности признаки записи оценивают последовательно в порядке убывания репрезентативности и выбрасывают эталон из списка вероятных эталонов, если порог надежности недостижим.

22. Способ по п.1, отличающийся тем, что при распознавании личности суммарную меру сходства записи человека с эталоном определяют как сумму мер сходства по признакам, взвешенную значениями надежности оценки для каждого признака.

23. Способ по п.1, отличающийся тем, что при распознавании личности задают порог на суммарную меру сходства, эталоны с суммарными значениями меньшими заданных порогов по мере сходства и по надежности выбрасывают из списка вероятных эталонов, упорядоченный по мере сходства список выдают как результат распознавания.

24. Способ по п.1, отличающийся тем, что для распознавания на дальнем расстоянии используют характеристики движения человека, характеристики фигуры человека.

25. Система автоматического обнаружения, отслеживания людей по изображениям с нескольких источников и биометрического распознавания личности по целевому списку, состоящая из следующих устройств:

устройство дистанционного сбора данных в виде трехмерных и двумерных изображений, характеризующих зону слежения, основывается на использовании трехмерного сенсора, состоящего из двух и более оптических датчиков с заранее известным их расположением;

устройство обнаружения объектов-шумов сцены, обрабатывающее трехмерные данные о сцене и выдающее карту вероятных объектов-шумов;

устройство выделения зон интереса, сравнивающее трехмерные данные о сцене с референтными данными с предыдущего кадра и с данными карты объектов-шумов, отслеживающее изменения на сцене, выделяющее трехмерные зоны интереса;

устройство проверки наличия трехмерных человекоподобных объектов в зоне интереса и коррекции зоны интереса, выдающее на основании движений или формы объекта поднабор из выделенных зон интереса, содержащих человекоподобные объекты, и передающее его на устройство управления системой слежения;

устройство управления системой слежения и распознавания трехмерных объектов, формирующее список объектов слежения, вызывающее одно или несколько устройств слежения и оценки параметров объектов слежения, выделяющее и разделяющее объекты слежения в зонах интереса по результатам их работы, определяющее тип ситуации на сцене, вызывающее устройство формирования биометрических признаков для объекта слежения, по результатам формирования набора признаков инициирующее создание эталона или распознавание личности для объекта слежения; выдающее описание распознанного объекта и список вероятных эталонов;

устройство слежения и оценки параметров объектов слежения, состоящее из следующих блоков:

блок выделения параметров фигуры человека;

блок обнаружения и слежения за трехмерной головой человека в области интереса;

блок обнаружения и слежения за лицом человека на голове;

блок обнаружения и слежения за чертами лица человека;

блок обнаружения и предсказания траектории движения человека в области интереса;

блок обнаружения ориентации тела человека в пространстве;

устройство формирования биометрических признаков, состоящее из следующих боков:

блок формирования набора параметров по переданным признакам;

блок наложения ограничений сцены, выделяющий признаки, соответствующие предсказанному поведению человека на сцене;

блок нормализации признаков с учетом расстояния и ориентации человека в пространстве;

блок оценки репрезентативности признаков, определяющий тип и качество выделения признаков с учетом нормализации;

блок обновления параметров и оценок репрезентативности признаков человека;

устройство распознавания личности, формирующее из целевого списка список вероятных эталонов и просеивающее его с учетом расстояния до человека, ориентации тела человека в пространстве, качества съемки; проводящее сравнение и фильтрацию эталонов в списке с учетом порогов для меры сходства и надежности; выдающее устройству управления меру сходства и надежность сходства объекта с эталонами из списка;

СУБД, хранящая переданные из устройства управления эталоны, кластеризующая их по доступным расстояниям, ориентациям, репрезентативности; организующая доступ устройства распознавания личности к эталонам и их признакам с учетом кластеризации; выдающая устройству управления список вероятных эталонов.